CN103020591B - 一种基于因果网络分析的中等规模人群异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于因果网络分析的中等规模人群异常行为检测方法，利用认知概念及社会力模型表达个体间的相互作用，根据Granger因果检验评估个体间关联度，从而依据个体间的联系，构建因果认知复杂网络，在保留个体微观信息的前提下，通过分析网络的功能参数，在宏观上表达和分析人群行为，可有效地检测与判别中等规模人群的异常行为。

Description

一种基于因果网络分析的中等规模人群异常行为检测方法

技术领域

本发明涉及一种视频分析与图像理解领域的人群异常行为检测方法，具体地说，是涉及一种基于因果网络分析的中等规模人群异常行为检测方法。

背景技术

人群异常行为检测是视频监控与图像分析领域的前沿课题和研究难点，在公共场所监控（如机场、地铁站、校园等）、安全管理等领域有着迫切需求，如犯罪行为报警、多路视频筛选、长视频中的事件检索等等。

人群行为分析的方法取决于人群的规模和运行模式：对于规模较大且具有共同运动模式的人群，往往将其看作一个整体，从群体的全局外部表现入手分析其宏观特性；对于极小规模人数的场景，适合从微观角度入手，利用目标的运动轨迹或姿态去识别人群行为。以上方法的局限在于：宏观分析的方法忽视了个体的位置、运动方向等特征，无法应用在行人运动无共同物理规律的场合；微观分析的方法无法应用在人数较多且相互间存在遮挡的人群，此时识别个体的姿态并不可行。

现实生活中的常见人群通常具有中等规模且运动模式松散，行人的运动方向和速度较为自由，因此无法利用宏观的方法进行识别，同时，行人间相互遮挡较为严重，难以识别个体姿态。因此，检测和分析常规中等规模人群，应综合考虑人群的宏观和微观特性，结合宏观与微观的方法，从个体的运动轨迹出发，并依此在宏观层面进一步表达、分析人群，进而检测异常事件。

发明内容

本发明的目的是通过视频图像分析技术解决运动模式较为松散的中等规模人群的异常行为分析问题。

为了实现上述目的，本发明提供了一种基于因果网络分析的中等规模人群异常行为检测方法，其步骤包括如下内容：

步骤一依据社会力模型来表达人群目标间的作用力和构建其因果认知模型；

针对视频中一运动行人目标i，依据该目标的位置、速度参数，利用社会力模型计算目标i的受力状态，所述的社会力模型主要考虑影响目标的三个因素：目标i自身的主观意图即个人期望力，其他行人对目标i的作用，即社会关系影响力，以及环境对目标i的影响，即环境影响力，目标i最后的运行状态由这三个力决定，计算公式如下：

F_i=F_i ^pers+F_i ^soc+F_i ^phys           (1)

其中，F_i ^pers为目标的个人期望力，F_i ^soc为社会关系影响力，F_i ^phys为环境影响力。

利用目标所受合力与个人期望力的关系，构建衡量目标间相互影响的因果认知模型，所述的因果认知模型是将目标间的相互影响表达成导致、能够和阻止三种概念。例如：目标i为避免与目标j发生碰撞而避让，则目标j对目标i的运动起到阻止的作用。在微观个体特征（位置、速度）的基础上，获得了体现个体间相互关系的进一步描述；

步骤二定量评估目标间的因果关联程度，根据目标受力的大小与方向，依据因果认知概念表达人群目标间的相互影响，构建描述人群行为的因果认知复杂网络；

所述构建描述人群行为因果认知的复杂网络的步骤包括如下内容：

a)定量评估目标间的因果关联度；

利用目标的位置参数，对个体目标的位置参数进行预处理后，依据Granger因果检验方法来定量评估目标间的因果关联度，所依据的基本计算公式如下：

$P_i\left(t\right)=\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\λ}}_m{P}_i(t-m)+\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\γ}}_m{P}_j(t-m)+{\mathrm{\ϵ}}_{\mathrm{it}}---\left(2\right)$

$P_j\left(t\right)=\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\α}}_m{P}_i(t-m)+\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\β}}_m{P}_j(t-m)+{\mathrm{\ϵ}}_{\mathrm{jt}}---\left(3\right)$

其中，P_i,P_j为目标i，j的运动轨迹，ε_it，ε_jt为模型的误差项；

b)建立基于因果认知概念的复杂网络模型；

分别抽取具有导致、能够和阻止关系的三类行人目标作为网络节点，每二个节点间，即每二个行人间，连接一条网络的边，构建三类因果认知复杂网络图模型，即导致网络、能够网络和阻止网络,然后将此因果关联度赋予相应网络节点间边的权值，如权值为0则节点为孤立节点，从而构建三类因果认知复杂网络模型，从宏观尺度上建立了人群行为的表达。

步骤三依据Granger因果关联检验定量评估目标间的因果关联度，结合目标间的因果关联度及其因果认知概念表达，分析复杂网络的结构和功能特性，构建人群因果认知复杂网络模型，计算网络特征参数，通过分析网络特征参数的变化来分析人群行为，检测人群异常行为和检测异常事件的发生。

计算人群复杂网络的特征参数，即平均路径长度、介数（平均值，最大值，最小值）、聚合系数，针对导致、能够和阻止三个复杂网络，提取相应特征的向量，依据不同人群行为会引起因果认知复杂网络特征参数变化的原理，利用支持向量机对人群行为分类，即从宏观角度获得了人群行为的整体表现，又体现了个体间相互关联的微观特性，从而更细致的揭示中等规模人群的行为。

由于采用上述技术方案，与现有的技术相比，本发明的有益效果是：在行人运动物理参数的微观表达基础上，利用因果认知复杂网络度量行人个体间的相互关联，从而在保留微观信息的同时，从宏观上表达人群行为，可有效地分析中等规模人群行为并检测异常行为。

附图说明

图1为本发明的一种基于因果网络分析的中等规模人群异常行为检测方法的流程图；

图2为本发明的一种基于因果网络分析的中等规模人群异常行为检测方法的具体实现步骤流程图；

图3为本发明的一种基于因果网络分析的中等规模人群异常行为检测方法的实例说明；

具体实施方式

下面结合附图和具体实施方式，对本发明的一种基于因果网络分析的中等规模人群异常行为检测方法作进一步的说明。

如图1、图2所示，本发明包含以下步骤：

步骤一依据社会力模型来表达人群目标间的作用力和构建其因果认知模型；

本步骤的具体实现步骤如下：

步骤1.1、跟踪每个目标得到目标的运动轨迹并且计算出每个目标的速度，进而计算各目标的受力状态。目标的最终运动受三个力的影响：目标的个人期望力、社会关系影响力及环境影响力。

a)计算个人期望力

个人期望力可如以下公式计算：

${F_i}^{\mathrm{pers}}=m_i\frac{{\hat{v}}_i{\hat{e}}_i-v_i}{{\mathrm{\τ}}_i}---\left(4\right)$

其中m_i为各个目标的质量，在此假设各目标质量相同，取成人的平均质量；和分别为目标的期望运动速度和期望运动方向，在此取目标最后的运动状态为准；v_i为目标的实际运动速度，τ_i为松弛时间，即达到期望速度和期望方向的时间间隔。

b)计算社会影响力

社会影响力只考虑人与人之间的相互影响，目标i与目标j之间的影响力公式为：

$F_{i,j}^{\mathrm{soc}}=a_j{e}^{\left(\frac{r_{i,j}-d_{i,j}}{b_j}\right)}{n}_{i,j}---\left(5\right)$

其中，根据目标标定技术，计算出图像中场景与实际场景的比例k，由此可以将两个目标看作圆柱体，半径分别为r_i和r_j，通常取肩宽[0.5k，0.7k],r_i,j为两目标的半径和，d_i，j为两目标之间的欧氏距离，a_j和b_j分别为目标i和目标j相互作用的强度和范围，通常a_j取值满足函数常数b_j通常取值为0.3k，n_i，j为目标i指向目标j的单位方向向量。

c)计算环境影响力：

环境影响力考虑目标与目标或目标与障碍物之间的具有物理作用的相互作用力，公式如下：

$F_{i,j}^{\mathrm{phys}}=c_{j}g(r_{i,j}-d_{i,j})n_{i,j}---\left(6\right)$

其中，对于函数g(x)，如果x>0，则g(x)=x，否则g(x)=0；c_j表示目标j对目标i强加作用力的强度，取值满足：若j为障碍物，则c_j=-600d_i，j+120，若j为行人时，则c_j=-250d_i，j+100。

目标的运动状态受合力的影响，合力计算公式如下：

$F_i={F_i}^{\mathrm{pers}}+F_{i,j}^{\mathrm{soc}}+F_{i,j}^{\mathrm{phys}}---\left(7\right)$

步骤1.2、由步骤1.1得到的各目标的受力状态，将人群目标间的行为关系表达成导致、能够、阻止三种因果认知概念，表达方式如下：F_i与F_i ^pers方向一致时表达为导致，用数字1表示；作用力及合力F_i三个力的方向均与F_i ^pers的方向一致时表达为能够，用数字0表示；作用力F_i的方向与F_i ^pers的方向不一致时表达为阻止，用数字-1表示；

步骤二定量评估目标间的因果关联程度，根据目标受力的大小与方向，依据因果认知概念表达人群目标间的相互影响，构建描述人群行为的因果认知的复杂网络；

本步骤的具体实现步骤如下：

步骤2.1、评估目标间的因果关联度，首先对个体目标的位置参数进行预处理，并作为Granger因果关系检验的输入数据。数据预处理公式如下：

$P\left(t\right)=P^{\′}\left(t\right)-\frac{1}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}{P}^{\′}\left(t\right)---\left(8\right)$

其中，P′(t)为原t时刻目标的位置参数，P(t)为处理后t时刻的目标位置参数，n为视频的帧数；

对于目标i和目标j，两目标之间的因果关系检验公式定义如下：

$P_i\left(t\right)=\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\λ}}_m{P}_i(t-m)+\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\γ}}_m{P}_j(t-m)+{\mathrm{\ϵ}}_{\mathrm{it}}---\left(9\right)$

$P_j\left(t\right)=\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\α}}_m{P}_i(t-m)+\underset{m=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\β}}_m{P}_j(t-m)+{\mathrm{\ϵ}}_{\mathrm{jt}}---\left(10\right)$

其中，P_i,P_j为目标i，j的运动轨迹，ε_it，ε_jt为模型的误差项。当γ_m,α_m都为0时，为目标i，j的自回归模型，可以得到此时的误差项ε_it和ε_jt；当γ_m,α_m不都为0时，为目标i，j的互回归模型，可以得到此时的误差项ε_it′和ε_jt'；目标j对目标i的因果关联度大小为：

${\mathrm{gc}}_{j\→i}=\ln \frac{\mathrm{var}\left({\mathrm{\ϵ}}_{\mathrm{it}}\right)}{\mathrm{var}\left({{\mathrm{\ϵ}}_{\mathrm{it}}}^{\′}\right)}---\left(11\right)$

步骤2.2、由步骤1.2得到的目标间的作用力状态和步骤21得到的各目标间的因果关联度，确定网络的结构。所有目标间的作用力状态可以分为三组，即1、0、-1，每种行为可以构建成三个分别对应不同作用力状态的复杂网络。若gc_i→j>0，则目标i对目标j有因果作用，就将这两个目标相连作为网络的边，每个目标作为节点，因果关联度作为网络的权值。由此，可以得到一系列复杂网络模型；

步骤三依据Granger因果关联检验定量评估目标间的因果关联度，结合目标间的因果关联度及其因果认知概念表达，分析复杂网络的结构和功能特性，构建人群因果认知复杂网络模型，计算网络特征参数，通过分析网络特征参数的变化来分析人群行为，检测人群异常行为和检测异常事件的发生。

本步骤的具体实现步骤如下：

步骤3.1：由步骤2.2得到的一系列复杂网络，分别计算复杂网络的特征参数，即平均路径长度、介数（平均值，最大值，最小值）、聚合系数，相应计算公式如下：

平均路径长度反映了网络中各目标节点间的分离程度，计算公式如下：

$L=\frac{2}{N(N+1)}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{gc}}_{i\→j}---\left(12\right)$

介数反映了相应的目标在整个人群中的作用和影响力，节点k的介数计算公式如下：

$g_k=\underset{i\≠j}{\mathrm{\Σ}}\frac{d_k(i,j)}{d(i,j)}---\left(13\right)$

其中，d(i，j)为节点i和j之间最短路径的条数，d_k(i,j)为经过节点k的节点i和j之间最短路径的条数，并进一步计算整个复杂网络介数的平均值g_av、最大值g_max、最小值g_min；

聚合系数是用来描述网络中各目标的聚集程度，即各目标之间的关系有多紧密，计算公式如下：

$C=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{2E_i}{k_i(k_i-1)}---\left(14\right)$

其中，E_i为与节点i相连的边数，k_i为与节点i相连的节点数。

步骤3.2：将步骤3.1得到的特征参数作为相应的人群特征，针对导致、能够和阻止网络构建特征向量：

V＝[V₁,V₀,V_-1]                (15)

其中，

$V_1=[L^1,g_{\mathrm{av}}^1,g_{\max }^1,g_{\min }^1,C^1],$ $V_0=[L^0,g_{\mathrm{av}}^0,g_{\max }^0,g_{\min }^0,C^0],$ $V_{-1}=[L^{-1},g_{\mathrm{av}}^{-1},g_{\max }^{-1},g_{\min }^{-1},C^{-1}],$

人群异常行为发生时，复杂网络的结构发生改变，从而引发特征向量的变化，利用这15维特征向量，根据支持向量机的分类方法，可识别人群异常行为。

实例：构建因果认知网络对聊天和徘徊两种行为进行分析，如附图3所示，两种行为的网络参数有着明显的不同，例如介数的最大值，介数反映一个目标在整个网络中的作用力和影响力，徘徊可以看作是一种异常行为，在此行为中有一个目标为人群的中心人物，而中心人物往往具有较大的作用力和影响力，因此该目标的介数值最大，而在聊天这一行为中，个体间的角色差别不大，因此介数最大值要明显小于徘徊行为，因此，利用网络参数可有效地识别人群行为。

Claims (2)

1.一种基于因果网络分析的中等规模人群异常行为检测方法，其特征在于：其步骤包括如下内容：

步骤一依据社会力模型来表达人群目标间的作用力和构建其因果认知模型；

步骤二定量评估目标间的因果关联程度，根据目标受力的大小与方向，依据因果认知概念表达人群目标间的相互影响，构建描述人群行为的因果认知的复杂网络；

步骤三依据Granger因果关联检验定量评估目标间的因果关联度，结合目标间的因果关联度及其因果认知概念表达，分析复杂网络的结构和功能特性，构建人群因果认知复杂网络模型，计算网络特征参数，通过分析网络特征参数的变化来分析人群行为，检测人群异常行为和检测异常事件的发生；

步骤一所述的依据社会力模型来表达人群目标间的作用力和构建其因果认知模型的步骤包括如下内容：

步骤1.1基于因果认知概念的复杂网络建立；

分别抽取具有导致、能够和阻止关系的三类行人目标作为网络节点，每二个节点间，即每二个行人间，连接一条网络的边，构建三类因果认知复杂网络图模型，即导致网络、能够网络和阻止网络；

步骤1.2复杂网络边的权值确立机制；

利用目标的位置参数，依据Granger因果检验方法来定量评估目标间的因果关联度，所依据的基本计算公式如下：

其中，P_i,P_j为目标i，j的运动轨迹，ε_it,ε_jt为模型的误差项；将此因果关联度赋予相应网络节点间边的权值，如权值为0则节点为孤立节点，从而构建三类因果认知复杂网络模型，从宏观尺度上建立了人群行为的表达；

步骤二所述的构建描述人群行为的因果认知的复杂网络的步骤包括如下内容：

步骤2.1、评估目标间的因果关联度，首先对个体目标的位置参数进行预处理，并作为Granger因果关系检验的输入数据，数据预处理公式如下：

其中，P′(t)为原t时刻目标的位置参数，P(t)为处理后t时刻的目标位置参数，n为视频的帧数；

对于目标i和目标j，两目标之间的因果关系检验公式定义如下：

其中，P_i,P_j为目标i，j的运动轨迹，ε_it,ε_jt为模型的误差项，当γ_m,α_m都为0时，为目标i，j的自回归模型，可以得到此时的误差项ε_it和ε_jt；当γ_m,α_m不都为0时，为目标i，j的互回归模型，可以得到此时的误差项ε_it'和ε_jt'；目标j对目标i的因果关联度大小为：

步骤2.2、由步骤2.1得到的目标间的作用力状态和步骤2.1得到的各目标 间的因果关联度，确定网络的结构；所有目标间的作用力状态可以分为三组，即1、0、-1，每种行为可以构建成三个分别对应不同作用力状态的复杂网络。若gc_i→j>0，则目标i对目标j有因果作用，就将这两个目标相连作为网络的边，每个目标作为节点，因果关联度作为网络的权值，由此，可以得到一系列复杂网络模型；

步骤三的具体实现步骤如下：

步骤3.1：由步骤2.2得到的一系列复杂网络，分别计算复杂网络的特征参数，即平均路径长度、介数的平均值g_av、最大值g_max、最小值g_min、聚合系数，相应计算公式如下：

平均路径长度反映了网络中各目标节点间的分离程度，计算公式如下：

介数反映了相应的目标在整个人群中的作用和影响力，节点k的介数计算公式如下：

其中，d(i,j)为节点i和j之间最短路径的条数，d_k(i,j)为经过节点k的节点i和j之间最短路径的条数，并进一步计算整个复杂网络介数的平均值g_av、最大值g_max、最小值g_min；

聚合系数是用来描述网络中各目标的聚集程度，即各目标之间的关系有多紧密，计算公式如下：

其中，E_i为与节点i相连的边数，k_i为与节点i相连的节点数；

步骤3.2：将步骤31得到的特征参数作为相应的人群特征，针对导致、能够和阻止网络构建特征向量：

V＝[V₁,V₀,V_-1] 

其中，

人群异常行为发生时，复杂网络的结构发生改变，从而引发特征向量的变化，利用这15维特征向量，根据支持向量机的分类方法，可识别人群异常行为。

2.根据权利要求1所述的一种基于因果网络分析的中等规模人群异常行为检测方法，其特征在于：步骤一所述的社会力模型主要考虑影响目标的三个因素：目标i自身的主观意图即个人期望力，其他行人对目标i的作用，即社会关系影响力，以及环境对目标i的影响，即环境影响力，目标i最后的运行状态由这三个力决定，计算公式如下：

F_i＝F_i ^pers+F_i ^soc+F_i ^phys

其中，F_i为目标所受合力，F_i ^pers为目标的个人期望力，F_i ^soc为社会关系影响力，F_i ^phys为环境影响力。