CN117437599A - 面向监控场景的行人异常事件检测方法和系统 - Google Patents

Abstract

本发明公开了一种面向监控场景的行人异常事件检测方法和系统，包括识别监控场景中的行人，构建行人特征，根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；根据所述字典向量，对行人的异常时事件进行判别。本发明提出的行人异常事件检测方法具有广泛的覆盖范围，且有效降低对人工标注数据的依赖，同时，具有较好的监测场景迁移性。

Description

面向监控场景的行人异常事件检测方法和系统

技术领域

本发明涉及行人异常技术领域，更具体的说是涉及一种面向监控场景的行人异常事件检测方法和系统。

背景技术

监控摄像无处不在，如何自动查找监控视频数据中的异常部分并标记，以避免人工监控，是当前主要研究方向。

目前，面向监控场景的行人异常事件的检测主要基于规则，或基于深度学习算法，但无论哪种方法，在实际应用中，都存在各自的局限性，主要表现为：

1）异常覆盖范围有限；基于规则的方法主要依赖于预设的规则或行为模式，当检测到的行为违反这些规则时，系统就会认为这是一种异常行为。基于监督学习模式的方法只能检测标注数据中已定义的异常类别，这两种检测方式对于新型、复杂或未知的异常行为都无法进行覆盖识别；

2）数据标注需求量大；数据驱动的神经网络依赖于大量的人工标注数据。一方面数据的标注需要大量的人工投入，另一方面，对于许多复杂的情况，比如在一些高技术领域或特定的领域，非专家可能难以进行准确的标注。同时，数据的标注也需要大量的时间，这对于那些需要快速响应的场合显然是不合适的。而且，对于一些罕见的异常情况，由于其发生的概率较低，很难获得足够数量的样本进行标注，这也会影响模型的训练和性能；

3）应用场景可迁移性差，当前异常检测方法多数情况下只能专注于特定的应用场景，由于每一个应用场景都有其独特的特性，包括数据分布、异常行为的定义和特征等，使得一个在某一场景下表现良好的模型在迁移到其他场景时可能无法获得满意的结果。

基于上述缺陷与不足，急需开展进一步研究，以研发可以提高异常覆盖范围、降低对于标注数据需求，以及易迁移到其它场景的技术方案。

发明内容

有鉴于此，为至少部分解决上述技术问题，本发明提供了一种面向监控场景的行人异常事件检测方法和系统。

为了实现上述目的，本发明采用如下技术方案：

一方面，本发明公开了一种面向监控场景的行人异常事件检测方法，其特征在于，包括如下步骤：

识别监控场景中的行人，构建行人特征，

根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；

对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

根据所述字典向量，对行人的异常时事件进行判别。

另一方面，本发明还公开了一种面向监控场景的行人异常事件检测系统，其特征在于，包括学习模块和异常检测模块，

所述学习模块，用于识别监控场景中的行人，构建行人特征，根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；以及对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

所述异常检测模块，用于根据所述字典向量，对行人的异常事件进行判别。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向监控场景的行人异常事件检测方法和系统，通过学习正常模式的概率分布，可以对未知的异常进行有效的检测；

并利用开源数据资源训练的模型对于目标进行跟踪，有效降低了对手动标注数据的依赖，减少数据标注的人力和时间成本；

另外，通过时空与或图，可捕获实体以及实体间复杂的关系，同时描绘实体和关系随时间的演变，可广泛适用于各种场景。

本发明的另一有益效果在于，

通过高斯混合模型和马尔科夫链，有效处理了动态过程和数据分布问题，提高了检测方法的适应性和准确性；且只需少量标注数据以确定异常阈值，可进一步降低标注数据的需求，同时，即使标注数据稀缺，仍能通过对无标注数据的学习，挖掘出数据的内在规律，从而达到良好的建模效果；

同时，基于ST-AOG、马尔科夫链、高斯混合模型等，本方案在异常检测上能够覆盖更广泛的范围，包括未知的异常情况，提升了异常检测的全面性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明面向监控场景的行人异常事件检测方法流程图；

图2附图为本发明面向监控场景的行人异常事件检测方法流程框图；

图3附图为本发明构建的ST-AOG图；

图4附图为本发明监控场景摄像头下的一帧图像；

图5附图为本发明基于高斯混合模型（K=10）的行人位置概率分布；

图6附图为本发明人的动向直方图；

图7附图为本发明包含关系转移矩阵。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术中存在的问题，实现监控下场景下，自动且智能的对行人异常行为事件进行异常决策，本发明实施例公开了一种面向监控场景的行人异常事件检测方法和系统。

为使本领域技术人员清楚本发明方案的实施过程，现通过如下实施例进行说明。

实施例一

本实施例中，面向监控场景的行人异常事件检测方法，如图1，包括如下步骤：

识别监控场景中的行人，构建行人特征，

根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；

对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

根据所述字典向量，对行人的异常时事件进行判别。

图2为给出了本发明面向监控场景的行人异常事件检测方法流程示意图，包括；

第一步、识别监控场景中的行人，构建行人特征，其中，行人特征包括属性特征、时序特征以及关系特征，

对于实体识别，本发明利用在开源数据集上训练的目标检测与跟踪算法，从连续的视频帧中识别和追踪感兴趣的目标，并利用前后背景分割算法，得到目标Mask,用于提取目标更详尽的特征。同时利用OpenPose识别人体、手部、面部和足部等的关键点,并将随时间变化的特征记录成序列。

上述步骤直接利用已有的开源数据资源训练的模型进行跟踪，减轻了人工标注数据带来的工作量和成本，可复用可替换，可根据实际效果和成本代价进行微调优化。

本实施例中，目标检测与跟踪算法采用DeepSORT，也可替换为DaSiamRPN，MDNet。

假设从监控场景中识别出了N个实体，每个实体表示为特征向量/>,根据识别结果构建包括属性、关系、时序等多层级特征。

具体的，

构建属性特征：为满足本发明概率语法模型完整建模所需特征，使属性特征包含实体的人脸ID，骨骼点，大小、颜色、形状、动向、位置、mask等信息，为一个d维向量，其中d是属性的数量。如人体骨骼点表示为,其中/>代表一个二维坐标；/>表示实体i的位置，/>，为感知检测框的中心点。/>表示实体i的动向，位置的二阶导离散可得。

构建时序特征：时序特征指的是属性特征中随时间变化的量。对于每一个实体i，可以跟踪T个时间步长内的属性变化，从而得到一个的矩阵/>，其中每一行是实体i在某一时间步t随时间变化的属性向量。

构建关系特征：关系特征为行人之间的关系随时间步长的变化量。对于每一对前景实体i和j，定义一个邻近关系向量，用于描述实体i和j的相对位置、相对运动方向等关系（邻近关系是一个时空概念，距离/>小于/>且保持/>的关系才是邻近关系）；对于前景实体i和背景实体j之间是否存在包含关系，使用/>描述。

进一步，跟踪这个关系在T个时间步长内的变化，得到一个的矩阵/>，其中每一行是实体i和j在某一时间步长的关系向量，/>是关系的维度。包含关系同理。

第二步、根据监控场景，构建时空与或图，并将行人特征挂载到时空与或图中对应的节点上。

本实施例中，使用ST-AOG建模街景。

街景中的空间概念被表示为与或图节点，从而表达场景中的不同层次的结构和对象，描述帧内实体空间关系；并通过给节点赋予属性特征，以表示场景中对象的属性信息；同时，将随时间变化的属性作为时序属性特征挂载到图上的节点。实体节点之间存在相互关系，包括前景实体之间的邻近关系，以及前景实体与背景实体之间的包含关系。

其中，构建的时空与或图中，第一级节点为场景，第二级节点为监控图像中的区域，第三级节点为处于各区域下的行人。

本实施例中，首先构建一个ST-AOG图，如图3所示，场景(Scene)是一个And节点，其子节点由图像中的区域组成，所有区域共同覆盖了图像的全部像素（100%）。即进一步将场景细分为M个区域，区域包括但不限于人行道、车道线、自行车道线等各类明确的空间区域。在区域节点下,是具有实体属性的行人。假设场景最多容纳N个人,在第二层区域节点和第三层人的实体节点之间是全连接的包含关系，意味着任何一个人都可能出现在任何一个区域。此外，人和人之间的关系在模型中被定义为邻近关系，即每一个人都可能与其它人存在交互或者相互影响的可能性。

第三步、对行人特征进行概率学习，构建单个时间步内行人字典向量；

行人字典向量包括单个时间步内的位置概率、动向概率、包含关系概率，动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率；其中，本发明采用高斯混合模型和直方图概率统计以及状态转移模型来学习和理解场景中的空间特征和时序特征，具体的，

采用高斯混合模型和直方图对属性特征和关系特征进行学习，通过高斯混合模型对行人位置进行建模，模拟行人分布，通过直方图进行统计，得到单个时间步内的位置概率、动向概率、包含关系概率；

本申请使用高斯混合模型对属性变量进行建模，以呈现随机变量的总体统计分布。高斯混合模型可以处理复杂的数据分布，能够捕捉数据中的多模态特性，因此非常适用于空间特征的建模,如位置、速度等特征。一个随机变量的概率分布被假定为多个高斯分布的混合。假设有一个随机变量X，其分布可以用k个高斯分布的混合来表示：

其中，是第i个高斯分布的权重，满足/>且/>，/>是均值为/>、协方差矩阵为/>的高斯分布。

直方图通过将数据划分为多个等宽区间，并统计每个区间中的数据点数量，能够直观地描述出数据的分布情况，如包含关系、离散化的动向等特征。在直方图中，将属性值的范围划分为m个等宽的区间，统计每个区间内的数据点数量并归一化，从而得到一个m维的直方图向量，其中/>表示数据落在第i个区间的概率。

进一步，采用马尔科夫链对时序特征进行学习，以模拟状态随时间的动态变化，得到动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率。

对于时序特征，假设状态跳转符合马尔科夫性质，即当前的状态只和上一步的状态有关，而和上一步之前的状态无关。因此，基于马尔科夫链建模ST-AOG属性和关系中存在的动态过程。

具体来说，统计各状态间的转移概率，形成状态转移矩阵。假设状态集合为，状态转移矩阵/>是一个/>的矩阵，其中/>表示从状态/>转移到状态/>的概率。对于一条给定的轨迹/>，其中/>表示在第i次移动时人处于的状态，可以通过计算其在马尔可夫链中的出现概率来评估其正常性。具体来说，这个概率可以表示为：

本申请中，通过学习空间和时序特征概率模型，可以更好地理解和建模场景中的对象和事件。同时，这种方法还具有很好的通用性，可以适用于各种类型的场景和应用。

进行概率学习后，构建行人字典向量；

本发明通过构建字典向量来描述和表征当前的实体i，字典向量是一种综合了多个关键变量的高维向量。包括位置，动向/>，以及连续T步的位置序列，动向序列/>和包含关系序列。

进一步，字典向量的构建是通过将所有这些变量进行展平并拼接得到的。具体见下表：

其中，位置和动向描述了当前状态的基本空间属性，而连续T步的位置序列，动向序列和包含关系序列则描绘了场景的动态变化和实体间的相互关系。

通过构建的字典向量，可以利用所学习的概率模型来评估场景的状态。此外，通过将这些信息压缩为一个字典向量，也大大简化了场景的表征，使得后续的处理和计算更加便捷。

第四步、根据字典向量，对行人的异常事件进行判别。判别过程包括：

根据字典向量，获取信息量，根据信息量对行人的异常事件进行判别；其中，通过对所述字典向量中各概率取对数，获取信息量；或

根据字典向量的概率值对行人的异常事件进行判别；或

根据字典向量的概率散度对行人的异常事件进行判别。

一种实施例中，通过计算每个状态的信息量来描述该状态的复杂程度。具体来说，首先通过上述步骤计算出每个状态的概率。然后，将这个概率取对数，进行加权求和后得到了该实体的信息量。

在信息论中，一个事件的信息量与其发生的概率的对数成反比，即信息量，其中是该事件发生的概率。所以，信息量越大，表示该状态的概率越小，即该状态越复杂，更可能发生异常。

本实施例通过信息量，提供了一种量化衡量状态复杂程度和异常程度的方法。通过这种方法，可以更好地理解和解释场景中的各种状态，并能更有效地识别和处理异常。此外，基于信息量的方法具有良好的数学性质，从而能够在理论上分析和比较各种状态的复杂程度。对于提升模型在异常检测等任务上的性能具有重要作用。

其次，根据信息量，判断当前的状态是否属于异常。

信息量这一度量方式主要衡量某一事件发生的稀有程度或者说复杂度，如果一个状态的信息量超过了设定的阈值，那么将其视为异常状态。如此，可基于该原理进行自动检测和报告异常，以提高处理大规模场景的效率和准确性。此外，该方法的结果具有良好的可解释性，可以通过分析高信息量的状态，来理解和解决异常的根源。

另一种实施例中，本申请并不限于使用信息量进行异常判断。实际上，本发明检测方法还支持使用概率值本身或者Kullback-Leibler散度（KLD）进行异常判别。

使用概率值进行判别时，主要依据的是异常事件在样本空间中的稀有性，也就是说，如果一个状态的出现概率低于设定的阈值，就可以将其视为异常状态。另一种方式是使用Kullback-Leibler散度（KLD）。KLD是一种衡量两个概率分布差异的度量方式，也常用于异常检测。在这种情况下，将当前状态的概率分布和正常状态的概率分布进行比较，如果差异超过设定的阈值，则将其视为异常状态。

实施例二

本实施例公开了一种面向监控场景的行人异常事件检测系统，包括学习模块和异常检测模块，其中，

所述学习模块，用于识别监控场景中的行人，构建行人特征，根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；以及对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

所述异常检测模块，用于根据所述字典向量，对行人的异常事件进行判别。

一种实施例中，学习模块包括，

建模单元，用于对监控场景进行建模，得到时空与或图；

行人识别单元，用于识别监控场景中的行人，构建行人特征；

建模单元，用于根据监控场景，构建时空与或图，并将所述行人特征挂载至时空与或图中对应的节点；

行人字典向量构建单元，用于对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

一种实施例中，所述异常检测模块包括，

信息量计算单元，用于根据字典向量，获取信息量；

异常判别单元，用于根据信息量对行人的异常事件进行检测判别。

为了进一步优化上述技术方案，对时空与或图中的节点特征进行学习，包括：

采用高斯混合模型学习属性特征和关系特征中的分布，并通过直方图得到单个时间步内的位置概率、动向概率、包含关系概率；以及，

采用马尔科夫链对时序特征进行学习，以模拟状态随时间的动态变化，得到动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率。

本发明相对于现有技术的有点在于：

1）在异常覆盖范围方面，

ST-AOG捕获了对象（如，人，车道线）的多维度特征，包括它们的属性（如，大小、颜色、形状、速度）和它们之间的关系。也可以捕获动态场景中的状态变化和状态间的转移概率。意味着可以检测到的不仅基于单一时刻的异常，而且基于时间序列的异常。通过学习正常模式的概率分布，可以对未知的异常进行有效的检测。这是因为任何偏离学习到的正常模式的行为都可能被视为异常。这大大增加了可以检测到的异常的覆盖范围，特别是对于那些在训练数据中未曾出现的异常。

2）在标注数据需求方面

利用开源数据资源训练的模型对于跟踪任务具有显著的效率优势。它大大降低了对于手动标注数据的依赖，从而减少了数据标注的人力和时间成本。由于开源数据集的丰富性和多样性，这种方法能够充分利用已有的数据资源，避免了重复性的数据标注工作，提高了工作效率。使用高斯混合模型和马尔科夫链等只需少量标注数据以确定异常阈值，能进一步降低标注数据的需求。这些模型能够通过学习数据的概率分布和动态变化规律，对场景进行准确的建模。即使在标注数据稀缺的情况下，这些模型仍能通过对无标注数据的学习，挖掘出数据的内在规律，从而达到良好的建模效果。

3）在应用场景可迁移方面

ST-AOG（时空与或图）作为一种强大的时空结构，能够捕获实体以及实体间复杂的关系，同时描绘这些实体和关系随时间的演变。ST-AOG的构建可以通过人工设计或自动化学习方式完成，具有极强的灵活性。借助ST-AOG的结构，可以根据实际需求灵活组合各类开源感知和追踪模块，从而使本发明的方法在众多不同的应用场景中都能发挥出色的性能。此外，本申请采用的马尔科夫链和高斯混合模型也为模型的迁移应用提供了便利。马尔科夫链作为一种状态转移模型，可以模拟各类状态随时间变化的动态过程。而高斯混合模型则能够有效地描述多模态的数据分布，对于处理多样性丰富的数据具有很强的适应性。这意味着，无论在何种应用场景，只要存在数据分布的问题，都可以使用高斯混合模型进行处理。只要存在动态过程，可简单建模为马尔科夫链条。

ST-AOG结构的灵活性和适应性，以及马尔科夫链和高斯混合模型对于动态过程和数据分布的模拟能力，使得本申请中检测方法在迁移应用场景上具有显著的优势。无论是对于感知和追踪任务的处理，还是对于各种实体属性的正常分布进行建模，本申请检测方法都能够适应不同的场景需求，从而在各类应用中都能实现高效的异常检测。

总体来说，

ST-AOG的引入和利用：ST-AOG（时空与或图）作为一种强大的时空结构，能够捕获实体以及实体间复杂的关系，并描绘这些实体和关系随时间的演变。其引入能够有效处理复杂的场景，增加了模型的表达能力。

马尔科夫链和高斯混合模型的应用：马尔科夫链用于模拟状态随时间的动态变化，高斯混合模型则能有效地描述多模态的数据分布。这两个模型的使用，有效处理了动态过程和数据分布问题，提高了模型的适应性和准确性。

基于开源感知和追踪模块的模型组合：通过灵活组合各类开源感知和追踪模块，使得本申请检测方法在众多不同的应用场景中都能发挥出色的性能。

无监督学习的使用：本方案利用无监督学习来自动学习和建模实体及其属性的正常模式，这一方法减少了对大量标注数据的依赖，节省了标注成本。

异常检测的范围：基于ST-AOG、马尔科夫链、高斯混合模型等，本方案在异常检测上能够覆盖更广泛的范围，包括未知的异常情况，提升了异常检测的全面性。

对本发明行人异常事件检测方法或系统的评估：

为保证本发明检测方法的有效性，主要从以下两个方面对模型的性能进行评估：区域层面（region-based）和帧层面（frame-based）

上述指标指标均采用曲线下 的面积（AUC）进行度量，更为直观地反映了模型在各种阈值下的性能。

对于区域层面，评估指标主要关注模型对异常区域的检测能力，其计算方法是将检测到的异常区域数与总的异常区域数的比值作为y轴（称为RBDR，即异常区域检测率），将误报率（false positive rate）作为x轴，绘制ROC曲线，计算该曲线下的面积，即为Region-based AUC。这个指标能够反映模型在空间精度方面的表现，其值越大，说明模型在异常区域定位方面的能力越强。

对于帧层面，将检测到的异常帧数与总的异常帧数的比值作为y轴，将误报区域总数与总帧数的比值（即空间上的误报率）作为x轴，绘制ROC曲线，计算曲线下的面积，即为Frame-based AUC。这个指标的值越大，说明模型在时间精度上的性能越好，即更准确地在时间轴上定位出异常事件。

进一步，为了对模型性能进行全面和深入的评估，在"完美感知"的数据上进行了测试，从而真实地反映出本发明中模型在理想环境下的性能上限。测试结果如下表：

在完美感知的数据上，可见，本发明提供的模型在基于区域的评估（Region-basedAUC）上实现了85.70%的表现。

与此同时，目前表现最优的方法FG mask在同样的条件下，其Region-based AUC只能达到21%。可以看出，在相同的条件下，本发明中的模型在区域性异常检测的能力方面，显著超过了目前最优秀的方法，足以证明本发明中模型在空间精度上有着显著的优势。

同样，在基于帧的评估（Frame-based AUC）上，本发明模型实现了80%的表现，而当前最好的方法的表现仅为61%。说明在时间精度上，本发明同样具有明显优势，能更准确地在时间轴上定位出异常事件。

综上所述，无论是在空间精度（Region-based AUC）还是时间精度（Frame-basedAUC）上，本发明在完美感知的条件下，都显著超越了目前最优秀的方法，充分证明了本申请中模型的卓越性能和强大的异常检测能力。

实施案例

首先，本实施例，在开源数据集Street Scene上实施并评估本发明中的异常检测检测方案，这些视频序列是从静态USB摄像头拍摄的，俯视一条有自行车道和人行道的双车道街道场景。由46个训练视频序列和35个测试视频序列组成，其中训练视频序列是正常街景，测试视频序列是包含异常的街景。异常活动包括横穿马路的行人、在人行道上闲逛的行人、人行道上骑自行车的人。

有关数据集中的典型帧，请参见图4。

进一步，利用在开源数据集上训练的DeepSORT目标检测与跟踪算法，从连续的视频帧中识别和追踪感兴趣的目标

其次，基于识别结果构建时空与或图，对于前景实体人，基于高斯混合模型建模其位置分布，基于直方图统计其动向，基于马尔科夫链建模其运动过程。

具体的，

高斯混合模型对位置分布建模：对于训练数据集的数据（正常数据），提取跟踪算法中人的bounding box,其中心作为人的位置，使用高斯混合模型学习人的位置属性的概率分布。如图5所示，选取高斯模型的个数K=10模拟出人正常位置分布，图中颜色越亮表示人出现在这个位置的概率越大，与人行道所在位置一致。如果人出现在上述图中颜色暗淡的区域（如车道线），则可能出现异常。

概率直方图统计人的动向：离散化人以自我为中心的动向，将人在1s的时间窗口内的动向分为9个不同的区间。这九个区间中，八个用于表示人的移动方向，将[0,360]度的范围均匀划分为八个部分，而剩下的一个则用于表示人在一秒的时间窗口内没有发生移动的情况。得到一个9维的直方图向量，如图6所示，每一维表示数据落在这一区间的概率。

转移矩阵建模人包含关系状态跳转：包含关系跳转矩阵描述行人（或其他前景实体）从一种背景实体（例如人行道、车道、自行车道）跳转到另一种背景实体的概率。这个矩阵的每个元素(i, j)表示行人从状态i跳转到状态j的概率。通过统计行人在连续两帧之间的状态变化来计算这些跳转概率。如图7所示，是计算的人的包含关系跳转矩阵。

然后，将实体状态编码为字典，即构建字典向量，

最后，进行异常检测，包括，

信息量计算：

基于编码的字典以及学习到的高斯混合模型、直方图统计、状态转移矩阵等计算该实体状态的概率，并通过方法上述公式计算信息量。

异常判别：

选定异常判定阈值为20,当某个状态的信息量超过这个阈值时，就认为这个状态是异常的。这样，就可以用这种方法来自动检测和报告异常，极大地提高了处理大规模场景的效率和准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种面向监控场景的行人异常事件检测方法，其特征在于，包括如下步骤：

识别监控场景中的行人，构建行人特征，

根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；

对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

根据所述字典向量，对行人的异常时事件进行判别。

2.根据权利要求1所述的一种面向监控场景的行人异常事件检测方法，其特征在于，利用在开源数据集上训练的目标检测与跟踪算法对监控场景中的行人进行识别。

3.根据权利要求1所述的一种面向监控场景的行人异常事件检测方法，其特征在于，行人特征包括属性特征、时序特征以及关系特征。

4.根据权利要求3所述的一种面向监控场景的行人异常事件检测方法，其特征在于，所述属性特征包含行人的人脸ID、骨骼点、大小、颜色、形状、动向、位置，和/或mask信息；

所述时序特征为属性特征随时间步长的变化量；

所述关系特征为行人之间的关系随时间步长的变化量，包括邻近关系和包含关系。

5.根据权利要求1所述的一种面向监控场景的行人异常事件检测方法，其特征在于，时空与或图中，第一级节点为场景，第二级节点为监控图像中的区域，第三级节点为处于各区域下的行人。

6.根据权利要求1所述的一种面向监控场景的行人异常事件检测方法，其特征在于，所述字典向量包括单个时间步内的位置概率、动向概率、包含关系概率，动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率；其中

采用高斯混合模型和直方图对属性特征和关系特征进行学习，通过高斯混合模型对行人位置进行建模，模拟行人分布，通过直方图进行统计，得到单个时间步内的位置概率、动向概率、包含关系概率；

采用马尔科夫链对时序特征进行学习，以模拟状态随时间的动态变化，得到动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率。

7.根据权利要求1所述的一种面向监控场景的行人异常事件检测方法，其特征在于，根据字典向量，获取信息量，根据信息量对行人的异常事件进行判别；其中，通过对所述字典向量中各概率取对数，获取信息量；或

根据字典向量的概率值对行人的异常事件进行判别；或

根据字典向量的概率散度对行人的异常事件进行判别。

8.一种面向监控场景的行人异常事件检测系统，其特征在于，包括学习模块和异常检测模块，

所述学习模块，用于识别监控场景中的行人，构建行人特征，根据监控场景，构建时空与或图，将所述行人特征挂载至时空与或图中对应的节点；以及对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量；

所述异常检测模块，用于根据所述字典向量，对行人的异常事件进行判别。

9.根据权利要求8所述的一种面向监控场景的行人异常事件检测系统，其特征在于，所述学习模块包括，

行人识别单元，用于识别监控场景中的行人，构建行人特征；

建模单元，用于根据监控场景，构建时空与或图，并将所述行人特征挂载至时空与或图中对应的节点；

行人字典向量构建单元，用于对时空与或图中的节点特征进行学习，构建单个时间步内行人的字典向量。

10.根据权利要求9所述的一种面向监控场景的行人异常事件检测系统，其特征在于，对时空与或图中的节点特征进行学习，包括采用高斯混合模型学习属性特征和关系特征中的分布，并通过直方图得到单个时间步内的位置概率、动向概率、包含关系概率；以及，

采用马尔科夫链对时序特征进行学习，以模拟状态随时间的动态变化，得到动向从第一时刻跳转到第二时刻的概率，以及包含关系从第一时刻跳转到第二时刻的概率。