CN103761748B - 异常行为检测方法和装置 - Google Patents

Abstract

本发明提供一种异常行为检测方法和装置。该方法包括：对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个待检测运动目标的行为特征，行为类型包括正常和异常行为，行为特征包括三维空间信息和时间点信息；根据待检测运动目标的行为特征构建对应的待检测行为特征模型；将待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。本发明提供的异常行为检测方法和装置，避免了由于行人之间遮挡严重导致的对运动目标行为特征的分析误差较大，检测结果的准确性较低的问题。

Description

异常行为检测方法和装置

技术领域

本发明涉及图像处理和模式识别技术领域，尤其涉及一种异常行为检测方法和装置。

背景技术

异常行为检测技术通常应用于行人较多的公共场合（如商场、医院、地铁站内等）的视频监控系统中，当监控场景中发生异常事件（如打架、群殴、游行等）时，能及时告警，以便监控人员及时做出反应与处理，避免对公共财产安全、当事人的人身安全以及社会和谐造成危害。

目前，对异常行为的检测通常基于传统摄像机采集的二维视频图像，具体过程如下：首先对二维样本视频中的已确定行为类型（正常行为或异常行为）的多个运动目标的行为进行分析，获取每个运动目标的行为特征（二维空间信息和时间点信息），并构建每个运动目标的行为特征模型存入数据库。然后对实时采集到的待检测二维视频中的多个运动目标的行为进行分析，获取每个运动目标的行为特征（二维空间信息和时间点信息），并构建对应的行为特征模型，并和数据库中的行为特征模型进行比对，选取数据库中与该运动目标相似度最大的行为特征模型对应的行为类型（正常行为或异常行为）作为检测结果。

但现有技术存在如下缺陷：在行人较多的监控场景中，由于行人之间遮挡严重，导致对运动目标行为特征的分析误差较大，检测结果的准确性较低。

发明内容

本发明提供一种异常行为检测方法和装置，用以解决现有技术中存在的在行人较多的监控场景中，检测结果的准确性较低的问题。

一方面，本发明提供了一种异常行为检测方法，包括：

对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个所述待检测运动目标的行为特征，所述行为类型包括正常行为和异常行为，所述行为特征包括三维空间信息和时间点信息；

根据所述待检测运动目标的所述行为特征构建与所述待检测运动目标对应的待检测行为特征模型；

将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型。

另一方面，本发明提供了一种异常行为检测装置，包括：

获取模块，用于对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个所述待检测运动目标的行为特征，所述行为类型包括正常行为和异常行为，所述行为特征包括三维空间信息和时间点信息；

构建模块，用于根据所述待检测运动目标的所述行为特征构建与所述待检测运动目标对应的待检测行为特征模型；

确定模块，用于将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型。

本发明提供的异常行为检测方法和装置，通过获取待检测运动目标的包括三维空间信息的行为特征，并构建对应的待检测行为特征模型，将构建的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型，由于三维空间信息中包含了深度信息，避免了在行人较多的监控场景中，由于行人之间遮挡严重导致的对运动目标行为特征的分析误差较大，检测结果的准确性较低的问题。

附图说明

图1为本发明提供的异常行为检测方法一个实施例的流程示意图；

图2为本发明提供的异常行为检测方法又一个实施例的流程示意图；

图3为本发明提供的异常行为检测装置一个实施例的结构示意图。

具体实施方式

下面通过具体的实施例及附图，对本发明的技术方案做进一步的详细描述。

图1为本发明提供的异常行为检测方法一个实施例的流程示意图。如图1所示，该方法具体可以包括：

S101，对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个待检测运动目标的行为特征，行为类型包括正常行为和异常行为，行为特征包括三维空间信息和时间点信息。

具体的，可以采用三维（3Dimensional，简称3D）体感摄影机实时采集监控场景中不同方向、不同角度、不同照明条件下的多段视频（包括RGB视频和深度视频），即待检测三维视频。对待检测三维视频中未确定行为类型（包括正常行为和异常行为）的多个待检测运动目标（即行人）的行为进行分析，具体可以采用尺度不变特征变换（Scale Invariant FeatureTransform，简称SIFT）算法或快速鲁棒特征（Speed Up Robust Features，简称SURF）算法，以及光流法提取每个待检测运动目标的行为特征。行为特征包括根据RGB视频提取的二维空间信息和时间点信息，还包括根据深度视频提取的深度信息和时间点信息，深度信息和二维空间信息共同构成了三维空间信息。

S102，根据待检测运动目标的行为特征构建与待检测运动目标对应的待检测行为特征模型。

具体的，可以采用隐马尔可夫（Hidden Markov Model，简称HMM）模型构建与每个待检测运动目标对应的待检测行为特征模型，隐马尔可夫模型包括5个参数：隐含状态、可观测状态、初始状态概率矩阵、隐含状态转移概率矩阵和观测状态转移概率矩阵。

S103，将待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。

具体的，将待检测行为特征模型与数据库中的每个样本行为特征模型分别进行比较，确定与待检测行为特征模型相似度最大的样本行为特征模型。若待检测行为特征模型和样本行为特征模型均采用的隐马尔可夫模型，则确定与待检测行为特征模型转移概率和最大的样本行为特征模型为与待检测行为特征模型相似度最大的样本行为特征模型。若确定的该样本行为特征模型对应的行为类型为正常行为，则确定与该待检测行为特征模型对应的待检测运动目标的行为类型为正常行为；若确定的该样本行为特征模型对应的行为类型为异常行为，则确定与该待检测行为特征模型对应的待检测运动目标的行为类型为异常行为。此处需要说明的是，若确定待检测运动目标行为类型为异常行为，则还可以采取相应的措施，例如录像、报警等。

其中，数据库中已确定行为类型的样本行为特征模型具体可以采用如下步骤S1031-S1033得到：

S1031，对预先采集的三维样本视频中已确定行为类型的多个样本运动目标的行为进行分析，获取每个样本运动目标的行为特征。

S1032，根据样本运动目标的行为特征构建与样本运动目标对应的样本行为特征模型。

具体的，步骤S1031和S1032的具体过程可以参见步骤S101和S102的相关描述，区别仅在于预先采集的三维样本视频中多个样本运动目标的行为类型已人为确定。

S1033，建立样本行为特征模型和对应的样本运动目标的行为类型之间的第一映射关系，并在数据库中存储第一映射关系。

具体的，建立样本行为特征模型和对应的样本运动目标的行为类型之间的第一映射关系，并在数据库中存储第一映射关系，即在数据库中存储已确定行为类型的样本行为特征模型。

本实施例提供的异常行为检测方法，通过获取待检测运动目标的包括三维空间信息的行为特征，并构建对应的待检测行为特征模型，将构建的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型，由于三维空间信息中包含了深度信息，避免了在行人较多的监控场景中，由于行人之间遮挡严重导致的对运动目标行为特征的分析误差较大，检测结果的准确性较低的问题。

图2为本发明提供的异常行为检测方法又一个实施例的流程示意图。如图2所示，该方法具体可以包括：

S201，对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个待检测运动目标的行为特征，行为类型包括正常行为和异常行为，行为特征包括三维空间信息和时间点信息。

S202，根据待检测运动目标的行为特征构建与待检测运动目标对应的待检测行为特征模型。

具体的，具体过程参见步骤S101和S102中的相关描述，此处不再赘述。

S203，根据待检测行为特征模型，判断待检测运动目标是否为可疑运动目标。

具体的，可以先对待检测待检测运动目标是否为可疑运动目标进行检测，再对判断为可疑运动目标的待检测运动目标是否为异常行为进行判断。其中，判断待检测运动目标是否为可疑运动目标具体可以采用如下步骤S2031或S2032进行判断：

S2031，根据待检测行为特征模型，计算待检测运动目标的隐含状态变化，并确定隐含状态变化大于第一用户预设值的待检测运动目标为可疑运动目标。

具体的，根据待检测运动目标对应的待检测行为特征模型，计算该待检测运动目标的隐含状态变化。若该待检测运动目标的隐含状态变化大于第一用户预设值，则判断该待检测运动目标为可疑运动目标。若该待检测运动目标的隐含状态变化等于或者小于第一用户预设值，则判断该待检测运动目标为非可疑运动目标，对应的行为类型为正常行为。通过本步骤可以检测出存在逆人流反向运动或在人流中快速奔跑等可疑行为的待检测运动目标，并将检测出的存在可疑行为的待检测运动目标作为异常行为判断的目标。

S2032，根据待检测行为特征模型，计算任意两个待检测运动目标之间的距离，确定距离小于第二用户预设值且深度信息相同的两个待检测运动目标为可疑运动目标。

具体的，根据多个待检测运动目标对应的多个待检测行为特征模型，计算任意两个待检测运动目标之间的距离。若距离小于第二用户预设值，则继续判断这两个待检测运动目标的深度信息是否相同，若深度信息相同，则判断这两个待检测运动目标为可疑运动目标；若深度信息不相同，则判断这两个待检测运动目标为非可疑运动目标，对应的行为类型为正常行为。若距离大于或者等于第二用户预设值，则判断这两个待检测运动目标为非可疑运动目标，对应的行为类型为正常行为。通过本步骤可以检测出有交互等可疑行为的待检测运动目标，并将检测出的存在可疑行为的待检测运动目标作为异常行为判断的目标。

S204，将与可疑运动目标对应的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与可疑运动目标对应的待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。

具体的，将可疑运动目标对应的待检测行为特征模型与数据库中的每个样本行为特征模型分别进行比较，确定与可疑运动目标对应的待检测行为特征模型相似度最大的样本行为特征模型。若待检测行为特征模型和样本行为特征模型均采用的隐马尔可夫模型，则确定与待检测行为特征模型转移概率和最大的样本行为特征模型为与待检测行为特征模型相似度最大的样本行为特征模型。若确定的该样本行为特征模型对应的行为类型为正常行为，则确定与该待检测行为特征模型对应的可疑运动目标的行为类型为正常行为；若确定的该样本行为特征模型对应的行为类型为异常行为，则确定与该待检测行为特征模型对应的可疑运动目标的行为类型为异常行为。此处需要说明的是，若确定可疑运动目标的行为类型为异常行为，则还可以采取相应的措施，例如录像、报警等。

S205，将待检测行为特征模型作为样本行为特征模型，并建立待检测行为特征模型与对应的待检测运动目标的行为类型之间的第二映射关系，并在数据库中存储第二映射关系。

具体的，将确定为正常行为的待检测运动目标对应的待检测行为特征模型与正常行为之间的第二映射关系存储到数据库中，以增加数据库中与正常行为对应的样本行为特征模型的数量。将确定为异常行为的待检测运动目标对应的待检测行为特征模型与异常行为之间的第二映射关系存储到数据库中，以增加数据库中与异常行为对应的样本行为特征模型的数量。

本实施例提供的异常行为检测方法，通过获取待检测运动目标的包括三维空间信息的行为特征，并构建对应的待检测行为特征模型，根据待检测行为特征模型判断待检测运动目标是否为可疑运动目标，将构建的可疑运动目标对应的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与可疑运动目标对应的待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为可疑运动目标的行为类型，由于三维空间信息中包含了深度信息，避免了在行人较多的监控场景中，由于行人之间遮挡严重导致的对运动目标行为特征的分析误差较大，检测结果的准确性较低的问题。

图3为本发明提供的异常行为检测装置一个实施例的结构示意图。如图3所示，本实施例提供的异常行为检测装置为执行上述异常行为检测方法的特定执行主体，该装置具体可以包括：获取模块31、构建模块32和确定模块33，其中：

获取模块31，用于对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个待检测运动目标的行为特征，行为类型包括正常行为和异常行为，行为特征包括三维空间信息和时间点信息。

构建模块32，用于根据待检测运动目标的行为特征构建与待检测运动目标对应的待检测行为特征模型。

确定模块33，用于将待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。

进一步的，获取模块31还可以用于：

对预先采集的三维样本视频中已确定行为类型的多个样本运动目标的行为进行分析，获取每个样本运动目标的行为特征；

根据样本运动目标的行为特征构建与样本运动目标对应的样本行为特征模型；

建立样本行为特征模型和对应的样本运动目标的行为类型之间的第一映射关系，并在数据库中存储第一映射关系。

进一步的，确定模块33还可以用于：

在将待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较之前在对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析之前，根据待检测行为特征模型，判断待检测运动目标是否为可疑运动目标。

进一步的，确定模块33具体可以用于：

将与可疑运动目标对应的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与可疑运动目标对应的待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。

进一步的，确定模块33具体可以用于：

根据待检测行为特征模型，计算待检测运动目标的隐含状态变化，并确定隐含状态变化大于第一用户预设值的待检测运动目标为可疑运动目标。或者，根据待检测行为特征模型，计算任意两个待检测运动目标之间的距离，确定距离小于第二用户预设值且深度信息相同的两个待检测运动目标为可疑运动目标。

进一步的，获取模块31具体可以用于：

采用快速鲁棒特征SURF算法和光流法获取每个待检测运动目标的行为特征。

进一步的，确定模块33还可以用于：

在确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型之后，将待检测行为特征模型作为样本行为特征模型，并建立待检测行为特征模型与对应的待检测运动目标的行为类型之间的第二映射关系，并在数据库中存储第二映射关系。

进一步的，待检测行为特征模型和样本行为特征模型具体可以为隐马尔可夫模型，确定模块33具体可以用于：

确定数据库中与待检测行为特征模型转移概率和最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型。

具体的，各个模块实现其功能的具体过程可以参见上述方法实施例中的相关描述，此处不再赘述。

本实施例提供的异常行为检测装置，通过获取待检测运动目标的包括三维空间信息的行为特征，并构建对应的待检测行为特征模型，将构建的待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定数据库中与待检测行为特征模型相似度最大的样本行为特征模型对应的行为类型为待检测运动目标的行为类型，由于三维空间信息中包含了深度信息，避免了在行人较多的监控场景中，由于行人之间遮挡严重导致的对运动目标行为特征的分析误差较大，检测结果的准确性较低的问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种异常行为检测方法，其特征在于，包括：

对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个所述待检测运动目标的行为特征，所述行为类型包括正常行为和异常行为，所述行为特征包括三维空间信息和时间点信息；

根据所述待检测运动目标的所述行为特征构建与所述待检测运动目标对应的待检测行为特征模型；

将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型；

所述对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析之前，还包括：

对预先采集的三维样本视频中已确定所述行为类型的多个样本运动目标的行为进行分析，获取每个所述样本运动目标的所述行为特征；

根据所述样本运动目标的所述行为特征构建与所述样本运动目标对应的样本行为特征模型；

建立所述样本行为特征模型和对应的所述样本运动目标的行为类型之间的第一映射关系，并在所述数据库中存储所述第一映射关系；

所述将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较之前，还包括：

根据所述待检测行为特征模型，判断所述待检测运动目标是否为可疑运动目标；

相应的，所述将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型，具体为：

将与所述可疑运动目标对应的所述待检测行为特征模型与所述数据库中已确定所述行为类型的所述样本行为特征模型进行比较，确定所述数据库中与所述可疑运动目标对应的所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型；

其中，所述根据所述待检测行为特征模型，判断所述待检测运动目标是否为可疑运动目标，具体为：

根据所述待检测行为特征模型，计算所述待检测运动目标的隐含状态变化，并确定所述隐含状态变化大于第一用户预设值的所述待检测运动目标为所述可疑运动目标；

或者，根据所述待检测行为特征模型，计算任意两个所述待检测运动目标之间的距离，确定所述距离小于第二用户预设值且深度信息相同的两个所述待检测运动目标为所述可疑运动目标。

2.根据权利要求1所述的方法，其特征在于，所述获取每个所述待检测运动目标的行为特征，具体为：

采用快速鲁棒特征SURF算法和光流法获取每个所述待检测运动目标的所述行为特征。

3.根据权利要求1所述的方法，其特征在于，所述确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型之后，还包括：

将所述待检测行为特征模型作为所述样本行为特征模型，并建立所述待检测行为特征模型与对应的所述待检测运动目标的行为类型之间的第二映射关系，并在所述数据库中存储所述第二映射关系。

4.根据权利要求1所述的方法，其特征在于，所述待检测行为特征模型和所述样本行为特征模型为隐马尔可夫模型。

5.根据权利要求4所述的方法，其特征在于，所述确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型，具体为：

确定所述数据库中与所述待检测行为特征模型转移概率和最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型。

6.一种异常行为检测装置，其特征在于，包括：

获取模块，用于对实时采集的待检测三维视频中未确定行为类型的多个待检测运动目标的行为进行分析，获取每个所述待检测运动目标的行为特征，所述行为类型包括正常行为和异常行为，所述行为特征包括三维空间信息和时间点信息；

构建模块，用于根据所述待检测运动目标的所述行为特征构建与所述待检测运动目标对应的待检测行为特征模型；

确定模块，用于将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较，确定所述数据库中与所述待检测行为特征模型相似度最大的所述样本行为特征模型对应的行为类型为所述待检测运动目标的行为类型；其中，所述将所述待检测行为特征模型与数据库中已确定行为类型的样本行为特征模型进行比较是在根据所述待检测行为特征模型，判断所述待检测运动目标是否为可疑运动目标之后进行的；所述根据所述待检测行为特征模型，判断所述待检测运动目标是否为可疑运动目标，具体为：根据所述待检测行为特征模型，计算所述待检测运动目标的隐含状态变化，并确定所述隐含状态变化大于第一用户预设值的所述待检测运动目标为所述可疑运动目标；或者，根据所述待检测行为特征模型，计算任意两个所述待检测运动目标之间的距离，确定所述距离小于第二用户预设值且深度信息相同的两个所述待检测运动目标为所述可疑运动目标。