CN110969645A - 面向拥挤场景的无监督异常轨迹检测方法和装置 - Google Patents

面向拥挤场景的无监督异常轨迹检测方法和装置 Download PDF

Info

Publication number
CN110969645A
CN110969645A CN201911194882.9A CN201911194882A CN110969645A CN 110969645 A CN110969645 A CN 110969645A CN 201911194882 A CN201911194882 A CN 201911194882A CN 110969645 A CN110969645 A CN 110969645A
Authority
CN
China
Prior art keywords
abnormal
tracks
motion
shannon entropy
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911194882.9A
Other languages
English (en)
Inventor
宋旭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moviebook Technology Corp Ltd
Original Assignee
Beijing Moviebook Technology Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moviebook Technology Corp Ltd filed Critical Beijing Moviebook Technology Corp Ltd
Priority to CN201911194882.9A priority Critical patent/CN110969645A/zh
Publication of CN110969645A publication Critical patent/CN110969645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种面向拥挤场景的无监督异常轨迹检测方法和装置，涉及异常轨迹检测领域。该方法包括：获取拥挤场景视频的多个帧；使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，每个帧的所有候选框均不重叠；在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；根据运动轨迹的密度、形状、平均位置和标准偏差，对运动轨迹上的所有数据点进行聚类分析；在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。该装置包括：获取模块、确定模块、跟踪模块、聚类模块和检测模块。本申请提高了检测的准确率，解决了现有方法面向拥挤场景时检测准确率降低的问题。

Description

面向拥挤场景的无监督异常轨迹检测方法和装置
技术领域
本申请涉及异常轨迹检测领域，特别是涉及一种面向拥挤场景的无监督异常轨迹检测方法和装置。
背景技术
计算机视觉旨在融合类似人类的能力，从描述性的一组视觉数据中解释和提取有关行为模式和行为异常的有用信息，然而在分析共同变化的多信号数据时，人的能力有明显的局限性。例如人群，它表现为一个相当大的同时变化的参数集合，其特征通常是一般的主导模式和某些异常模式。随着与人群相关的暴力事件的增加，扩大研究以分析人群错综复杂的本质是至关重要的，安全是了解人群动态和隔离异常模式的主要原因。了解拥挤场景中的异常情况可以实现更好的公共空间设计，可以构建更好的监控系统，并且可以帮助人们了解人群中的异常模式规律。目前可以使用概率主成分分析器来学习局部人群的模式，然后通过马尔可夫随机场验证一致性；可以使用光流的多尺度直方图作为特征描述符，并将其用作稀疏重建的基础；可以使用拉格朗日粒子动力学模拟相干人群流动作为流体流动。但是这些方法都是有监督的，需要大量的带标记数据，这些数据可以直接用于构建数据视频功能和视频标签之间的连接。但在实际情况中，并不是所有领域的视频数据都有公开的带标记的数据集，因此监督学习的方法在异常轨迹检测方面的实用价值相对较小。因此，开发无监督异常检测系统比监督系统更具挑战性且应用价值也更高。拥挤场景中的异常轨迹可以根据其组成的行人和物体的运动模式来确定。分析轨迹数据使人们能够以极高的准确度预测和识别异常。有学者提出使用层次聚类框架，用于基于成对相似性对车辆运动轨迹进行分类，但仅限于使用单个特征进行聚类。
现有技术大多数属于监督学习范畴，但无监督的方法却更具实际意义。已有的少数无监督异常轨迹检测方法，在面向拥挤场景时往往准确率降低，如何在拥挤场景中准确快速的检测异常轨迹成为需要解决的问题。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种面向拥挤场景的无监督异常轨迹检测方法，包括：
获取拥挤场景视频的多个帧；
使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠；
在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析；
在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
可选地，对所述运动轨迹上的所有数据点进行聚类分析，包括：
采用Mean Shift聚类算法对所述运动轨迹上的所有数据点进行聚类分析。
可选地，在得到的所有聚类中，根据香农熵检测出异常轨迹，包括：
使用所述运动轨迹和所有聚类中心之间的距离来建立概率分布，评估所述概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
可选地，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，包括：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在所述多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
可选地，所述方法还包括：
将所述运动轨迹的坐标更新为所述平均位置的坐标。
根据本申请的另一个方面，提供了一种面向拥挤场景的无监督异常轨迹检测装置，包括：
获取模块，其配置成获取拥挤场景视频的多个帧；
确定模块，其配置成使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠；
跟踪模块，其配置成在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
聚类模块，其配置成根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析；
检测模块，其配置成在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
可选地，所述聚类模块具体配置成：
采用Mean Shift聚类算法对所述运动轨迹上的所有数据点进行聚类分析。
可选地，所述检测模块具体配置成：
使用所述运动轨迹和所有聚类中心之间的距离来建立概率分布，评估所述概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
可选地，所述检测模块具体配置成：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在所述多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
可选地，所述跟踪模块还配置成：
将所述运动轨迹的坐标更新为所述平均位置的坐标。
根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。
根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。
根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。
本申请提供的技术方案，通过获取拥挤场景视频的多个帧，使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠，在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹，根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，能够更适用于拥挤场景中的异常轨迹检测，提高了检测的准确率，解决了现有方法面向拥挤场景时检测准确率降低的问题。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请一个实施例的面向拥挤场景的无监督异常轨迹检测方法流程图；
图2是根据本申请另一个实施例的面向拥挤场景的无监督异常轨迹检测方法流程图；
图3是根据本申请另一个实施例的面向拥挤场景的无监督异常轨迹检测装置结构图；
图4是根据本申请另一个实施例的计算设备结构图；
图5是根据本申请另一个实施例的计算机可读存储介质结构图。
具体实施方式
图1是根据本申请一个实施例的面向拥挤场景的无监督异常轨迹检测方法流程图。参见图1，该方法包括：
101：获取拥挤场景视频的多个帧；
102：使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，每个帧的所有候选框均不重叠；
103：在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
104：根据运动轨迹的密度、形状、平均位置和标准偏差，对运动轨迹上的所有数据点进行聚类分析；
105：在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
本实施例中，可选的，对运动轨迹上的所有数据点进行聚类分析，包括：
采用Mean Shift聚类算法对运动轨迹上的所有数据点进行聚类分析。
本实施例中，可选的，在得到的所有聚类中，根据香农熵检测出异常轨迹，包括：
使用运动轨迹和所有聚类中心之间的距离来建立概率分布，评估概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
本实施例中，可选的，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，包括：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
本实施例中，可选的，上述方法还包括：
将运动轨迹的坐标更新为平均位置的坐标。
本实施例提供的上述方法，通过获取拥挤场景视频的多个帧，使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠，在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹，根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，能够更适用于拥挤场景中的异常轨迹检测，提高了检测的准确率，解决了现有方法面向拥挤场景时检测准确率降低的问题。
图2是根据本申请另一个实施例的面向拥挤场景的无监督异常轨迹检测方法流程图。参见图2，该方法包括：
201：获取拥挤场景视频的多个帧；
202：使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，每个帧的所有候选框均不重叠；
203：在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
具体的，可以使用标准Kanade-Lucas跟踪算法来跟踪检测到的所有特征点的质心，还可以定期引入新的候选框以跟踪新引入的物体。
204：将运动轨迹的坐标更新为平均位置的坐标；
205：根据运动轨迹的密度、形状、平均位置和标准偏差，采用Mean Shift聚类算法对运动轨迹上的所有数据点进行聚类分析；
本实施例中，采用运动轨迹的密度、形状、平均位置和标准偏差等多特征的方式，以此丰富获得的物体信息。
其中，密度是指运动轨迹可以在其周围具有不同的密度，这取决于其邻域的大小，因此可以使用不同大小的邻域来计算密度特征。
形状是指运动轨迹在时空场景上绘制的特定形状，并将其表示为多项式函数。对于坐标分别为x和y的物体运动轨迹，可以产生特征向量f。其中x和y的物体运动轨迹可以描述为公式1：
Figure BDA0002294442790000071
其中，t代表物体运动时间，a0,a1,a2,a3,b0,b1,b2,b3代表描述物体运动轨迹的参数。因此特征向量f的表示公式为：f＝[a0,...,a3,b0,...,b3]。特征向量f即本实施例所需的形状特征。
另外，由于在很远的距离上分离的轨迹可能具有相似的速度，方向和密度特征，因此可以聚集在同一组中。为避免这种情况，需要进行平均位置测量，将物体轨迹坐标更新为平均位置坐标。标准偏差是一种非常流行的衡量标准，用于量化时间序列数据中的变化或离差量。
本实施例中所采用的MeanShift聚类算法是一种通用的迭代聚类算法，适用于各种领域，如对象跟踪，纹理分割和数据挖掘等等。具体来讲MeanShift聚类算法的步骤如下：
(1)在未被标记的数据点中随机选择一个点作为起始中心点center；
(2)找出以center为中心半径为radius的区域中出现的所有数据点，认为这些点同属于一个聚类C，同时在该聚类中记录数据点出现的次数加1；
(3)以center为中心点，计算从center开始到集合中每个元素的向量，将这些向量相加，得到向量shift；
(4)center＝center+shift，即center沿着shift的方向移动，移动距离是||shift||；
(5)重复步骤(2)、(3)、(4)，直到shift很小(就是迭代到收敛)，记住此时的center；其中，这个迭代过程中遇到的点都应该归类到簇C；
(6)如果收敛时当前簇C的center与其它已经存在的簇C2中心的距离小于阈值，则把C2和C合并，数据点出现次数也对应合并；否则，把C作为新的聚类；
(7)重复步骤(1)至(5)直到所有的点都被标记为已访问；
(8)根据每个类，对每个点的访问频率，取访问频率最大的那个类，作为当前点集的所属类。
通过Mean Shift聚类算法对运动轨迹上的所有数据点进行聚类分析，可以观察到，平均偏移矢量总是指向密度最大增加的方向。因此为获得的每个独立特征找到了这些获得的模式或聚类的中心，也提供了一组非重叠的轨迹，这些轨迹是它们所属的集群的特征。
206：使用运动轨迹和所有聚类中心之间的距离来建立概率分布，评估概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
另外，本实施例中，还可以多次进行香农熵(Shannon Entropy)检测，然后筛选出异常轨迹，具体步骤如下：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
本实施例中，人群通常以一些主导模式为特征，基于这些模式，整个运动轨迹集合被聚集。在整个拥挤场景中存在的异常轨迹可以属于这些聚类中的任何一个。香农熵最大优点是它允许以单个数字的形式汇总特征分布，因此，与正常轨迹相比，异常轨迹将表现出更高水平的香农熵。由于在拥挤的场景中，运动轨迹属性的变化是随机发生的，人群的特定部分可以表现出密度的时空变化，从而影响轨迹的各个特征参数。因此，基于多次香农熵检测采用投票机制筛选出的异常轨迹，能够进一步地提高检测的准确率。
本实施例提供的上述方法，通过获取拥挤场景视频的多个帧，使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠，在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹，根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，能够更适用于拥挤场景中的异常轨迹检测，提高了检测的准确率，解决了现有方法面向拥挤场景时检测准确率降低的问题。
图3是根据本申请另一个实施例的面向拥挤场景的无监督异常轨迹检测装置结构图。参见图3，该装置包括：
获取模块301，其配置成获取拥挤场景视频的多个帧；
确定模块302，其配置成使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，每个帧的所有候选框均不重叠；
跟踪模块303，其配置成在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
聚类模块304，其配置成根据运动轨迹的密度、形状、平均位置和标准偏差，对运动轨迹上的所有数据点进行聚类分析；
检测模块305，其配置成在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
本实施例中，可选的，聚类模块具体配置成：
采用Mean Shift聚类算法对运动轨迹上的所有数据点进行聚类分析。
本实施例中，可选的，检测模块具体配置成：
使用运动轨迹和所有聚类中心之间的距离来建立概率分布，评估概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
本实施例中，可选的，检测模块具体配置成：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
本实施例中，可选的，跟踪模块还配置成：
将运动轨迹的坐标更新为平均位置的坐标。
本实施例提供的上述装置，可以执行上述任一方法实施例提供的方法，详细过程详见方法实施例中的描述，此处不赘述。
本实施例提供的上述装置，通过获取拥挤场景视频的多个帧，使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠，在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹，根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，能够更适用于拥挤场景中的异常轨迹检测，提高了检测的准确率，解决了现有方法面向拥挤场景时检测准确率降低的问题。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备，参照图4，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。
本申请实施例还提供了一种计算机可读存储介质。参照图5，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种面向拥挤场景的无监督异常轨迹检测方法，包括：
获取拥挤场景视频的多个帧；
使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠；
在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析；
在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
2.根据权利要求1所述的方法，其特征在于，对所述运动轨迹上的所有数据点进行聚类分析，包括：
采用Mean Shift聚类算法对所述运动轨迹上的所有数据点进行聚类分析。
3.根据权利要求1所述的方法，其特征在于，在得到的所有聚类中，根据香农熵检测出异常轨迹，包括：
使用所述运动轨迹和所有聚类中心之间的距离来建立概率分布，评估所述概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
4.根据权利要求1所述的方法，其特征在于，在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选，包括：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在所述多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
将所述运动轨迹的坐标更新为所述平均位置的坐标。
6.一种面向拥挤场景的无监督异常轨迹检测装置，包括：
获取模块，其配置成获取拥挤场景视频的多个帧；
确定模块，其配置成使用多物体跟踪器在每个帧内确定多个包含人群区域的候选框，所述每个帧的所有候选框均不重叠；
跟踪模块，其配置成在每个候选框内检测低级特征，跟踪检测到的所有特征点的质心，得到跟踪物体的运动轨迹；
聚类模块，其配置成根据所述运动轨迹的密度、形状、平均位置和标准偏差，对所述运动轨迹上的所有数据点进行聚类分析；
检测模块，其配置成在得到的所有聚类中，根据香农熵检测出异常轨迹，使用投票机制对检测出的异常轨迹进行筛选。
7.根据权利要求6所述的装置，其特征在于，所述聚类模块具体配置成：
采用Mean Shift聚类算法对所述运动轨迹上的所有数据点进行聚类分析。
8.根据权利要求6所述的装置，其特征在于，所述检测模块具体配置成：
使用所述运动轨迹和所有聚类中心之间的距离来建立概率分布，评估所述概率分布的香农熵，如果超过指定阈值，则将该熵对应的运动轨迹归类为异常轨迹。
9.根据权利要求6所述的装置，其特征在于，所述检测模块具体配置成：
在得到的所有聚类中，多次进行香农熵检测得到异常轨迹，使用投票机制在所述多次香农熵检测出的异常轨迹中，筛选出被标记异常的次数超过指定次数的异常轨迹。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述跟踪模块还配置成：
将所述运动轨迹的坐标更新为所述平均位置的坐标。
CN201911194882.9A 2019-11-28 2019-11-28 面向拥挤场景的无监督异常轨迹检测方法和装置 Pending CN110969645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194882.9A CN110969645A (zh) 2019-11-28 2019-11-28 面向拥挤场景的无监督异常轨迹检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194882.9A CN110969645A (zh) 2019-11-28 2019-11-28 面向拥挤场景的无监督异常轨迹检测方法和装置

Publications (1)

Publication Number Publication Date
CN110969645A true CN110969645A (zh) 2020-04-07

Family

ID=70032133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194882.9A Pending CN110969645A (zh) 2019-11-28 2019-11-28 面向拥挤场景的无监督异常轨迹检测方法和装置

Country Status (1)

Country Link
CN (1) CN110969645A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241767A (zh) * 2020-11-03 2021-01-19 广州杰赛科技股份有限公司 管网水压监测节点布置方法、装置、设备及存储介质
CN112464880A (zh) * 2020-12-11 2021-03-09 东莞先知大数据有限公司 夜间异动物体检测方法、装置、介质及设备
CN113221677A (zh) * 2021-04-26 2021-08-06 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320B (zh) * 2018-12-24 2021-05-11 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320B (zh) * 2018-12-24 2021-05-11 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEEPAN DAS等: ""Unsupervised Anomalous Trajectory Detection for Crowded Scenes"", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241767A (zh) * 2020-11-03 2021-01-19 广州杰赛科技股份有限公司 管网水压监测节点布置方法、装置、设备及存储介质
CN112464880A (zh) * 2020-12-11 2021-03-09 东莞先知大数据有限公司 夜间异动物体检测方法、装置、介质及设备
CN113221677A (zh) * 2021-04-26 2021-08-06 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台
CN113221677B (zh) * 2021-04-26 2024-04-16 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台

Similar Documents

Publication Publication Date Title
Mabrouk et al. Abnormal behavior recognition for intelligent video surveillance systems: A review
US10964031B2 (en) Video analysis methods and apparatus
US8660368B2 (en) Anomalous pattern discovery
Bansod et al. Crowd anomaly detection and localization using histogram of magnitude and momentum
Zhou et al. Random field topic model for semantic region analysis in crowded scenes from tracklets
JP6474854B2 (ja) 背景モデルを更新するための方法及び装置
CN108230364B (zh) 一种基于神经网络的前景物体运动状态分析方法
CN106446922B (zh) 一种人群异常行为分析方法
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
CN110969645A (zh) 面向拥挤场景的无监督异常轨迹检测方法和装置
Luo et al. Traffic analytics with low-frame-rate videos
Athanesious et al. Trajectory based abnormal event detection in video traffic surveillance using general potential data field with spectral clustering
Lamba et al. Detecting anomalous crowd scenes by oriented Tracklets’ approach in active contour region
Turchini et al. Convex polytope ensembles for spatio-temporal anomaly detection
Rao et al. Detection of anomalous crowd behaviour using hyperspherical clustering
Wu et al. Improving video anomaly detection performance by mining useful data from unseen video frames
Singh et al. Crowd escape event detection via pooling features of optical flow for intelligent video surveillance systems
CN115187884A (zh) 一种高空抛物识别方法、装置、电子设备及存储介质
Mahmood et al. Anomaly event detection and localization of video clips using global and local outliers
Wang et al. Detection Anomaly in Video Based on Deep Support Vector Data Description
Sampath et al. Abnormal Crowd Behaviour Detection in Surveillance Videos Using Spatiotemporal Inter-Fused Autoencoder.
Cui et al. A cutting-edge video anomaly detection method using image quality assessment and attention mechanism-based deep learning
Roy et al. Real-time record sensitive background classifier (RSBC)
Yang et al. Graph stream mining based anomalous event analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200407

RJ01 Rejection of invention patent application after publication