CN110263690A - 一种基于小群组的群体行为特征提取与描述方法及系统 - Google Patents
一种基于小群组的群体行为特征提取与描述方法及系统 Download PDFInfo
- Publication number
- CN110263690A CN110263690A CN201910505137.5A CN201910505137A CN110263690A CN 110263690 A CN110263690 A CN 110263690A CN 201910505137 A CN201910505137 A CN 201910505137A CN 110263690 A CN110263690 A CN 110263690A
- Authority
- CN
- China
- Prior art keywords
- group
- improved
- small group
- space
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于小群组的群体行为特征提取与描述方法及系统,将自适应帧间差分法融入混合高斯背景模型获得改进的混合高斯背景模型;使用改进的ST时空立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群体运动区域中的特征点,在空间上连接所述特征点,进而将所述特征点划分为小群组;基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子。实现了完整地描述行人的全局和局部运动信息。
Description
技术领域
本申请涉及视频图像处理技术领域,具体涉及一种基于小群组的群体行 为特征提取与描述方法及系统。
背景技术
当前,视频监控系统在公共安防领域发挥着越来越重要的作用,成为打 击犯罪、治安防控和社会管理的重要技术支撑。近五年来,随着人工智能技 术的发展,智能监控系统也成为研发的热门,此类系统希望能够从海量视频 中智能地提取、分析和查找有用的信息。其中,最为重要的一种就是群体异 常行为智能监控系统,它能够实时、准确地在火车、汽车站等公共区域检测 潜在的群体异常行为(例如,恐慌和聚集),实现实时报警,从而有效地减轻 因公共区域发生斗殴、恐袭或踩踏等群体事件对群众造成的巨大危害,保护 人民群众的生命和财产安全。
群体行为的特征提取与描述技术是群体异常行为智能监控系统的核心技 术,直接关系到群体异常行为的识别率。目标检测是群体行为特征提取的第 一步,主要用来提取群体的运动区域(前景区域),群体目标检测主要有四类 方法:1)光流法;2)帧间差分法(Temporal Difference);3)背景差分法; 4)混合高斯模型(Gaussian mixture modelGMM)。其中最好的目标检测是 通过混合高斯模型来动态地更新背景的变化,以实现准确、实时地获取完整 的群体运动区域。但是,混合高斯模型采用统一的更新率导致背景模型的更 新率较慢而不能跟上实际背景的变化。
在提取到群体的运动区域之后,第二步就是在群体运动区域中追踪群体 得到群体的运动轨迹。目前群体目标跟踪算法有卡尔曼滤波(Kalman Filter)、 粒子滤波(Particle Filter)、均值移动(Meanshift)和特征点跟踪等算法。基 于特征点的KLT(Kanade Lucas Tomasi)跟踪是最好的方法,此方法通过跟 踪图像的一些显著特征来跟踪群体目标,能够实时地跟踪群体运动。而且, 即使有一部分群体被遮挡,它仍然可以跟踪到未遮挡的群体。因此,本申请 从实时性和准确性两方面考虑,选用基于KLT的跟踪方法来跟踪群体对象。
经典的群体特征提取算法是通过分割和追踪单个个体来提取行人的运动 特征。随着技术的发展,群体特征提取算法从分割和追踪单个个体过渡到更 为合理的“基于整体”的方法,从单个个体的微观尺度发展到部分群体的介 观尺度,从单一的二维平面扩展到更精确的三维时空立方体。同时,随着人 数的增多,场景变得越来越复杂(例如,严重的遮挡和重叠),群体特征提取 算法开始提取时空特征来表达复杂场景下的群体行为。这些特征提取算法仅 限于研究单个个体之间或者部分群体内部个体之间的相互影响,丢弃了部分 群体之间或群体与个体之间的相互作用力,从而丢弃了群体关键的运动特征 直接导致了群体行为的识别率低。
发明内容
本申请为了解决上述技术问题,提出了如下技术方案:
第一方面,本申请实施例提供了一种基于小群组的群体行为特征提取与 描述方法,所述方法包括:将自适应帧间差分法融入混合高斯背景模型获得 改进的混合高斯背景模型,以精确、完整地提取群体运动区域;在提取的群 体运动区域上,使用改进的ST时空立方体分割算法在时间上通过目标追踪 KLT算法检测并跟踪群体运动区域中的特征点,在空间上连接所述特征点, 进而将所述特征点划分为小群组;基于小群组改进群体的一致性、冲突性、 稳定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD 时空体特征描述算子,以实现对群体行为的特征提取与描述。
采用上述实现方式,改进的ST时空体分割算法不根据复杂的一致性滤波(Coherent Filtering-CF)对群体进行分组,而是根据最邻近的特征点(K-NN) 来划分小群组,一方面可以计算行人之间的相互作用力,另一方面弥补了CF 算法划分子群体时丢弃了子群体之间的运动交互信息。引入了高斯核密度函 数来统计人群的空间分布,此算法不仅考虑了人群的空间位置,还考虑了人 群的空间分布,能够在异常情形发生时快速地定位局部区域。并且基于小群 组改进了一致性、冲突性、稳定性和密度属性的计算方法,并将这些交互属 性融合编码成场景独立的STFD描述算子。此STFD实例不仅集成描述了小 群组的运动交互信息,还定量地计算了群体的空间分布。另外,该STFD实 例完整地编码了小群组的运动交互信息。同时在高密度群体场景下(个体存 在大量遮挡或重叠)其依然可以被提取与描述,进而可以完整地描述行人的 全局和局部运动信息。
结合第一方面,在第一方面第一种可能的实现方式中,所述将自适应帧 间差分法融入混合高斯背景模型获得改进的混合高斯背景模型,以精确、完 整地提取群体运动区域包括:确定所述自适应帧间差分法,其中改进的帧间 差分算法是加入自适应阀值,以使得背景模型能够自适应光照的变化;将改 进的自适应帧间差分法融入混合高斯背景模型GMM获得改进的混合高斯背 景模型。
结合第一方面,在第一方面第二种可能的实现方式中,所述在提取的群 体运动区域上,使用改进的ST时空立方体分割算法在时间上通过目标追踪 KLT算法检测并跟踪群体运动区域中的特征点,在空间上连接所述特征点, 进而将所述特征点划分为小群组,包括:通过KLT局部特征点提取群体运动 的轨迹,并计算该轨迹蕴藏的速度、方向、位置和夹角等信息来获得群体的 运动趋势;根据改进的ST时空立方体分割算法,分别从时间和空间上计算群 体运动的连动性和相关性,以实现高效地划分小群组。
结合第一方面第二种可能的实现方式,在第一方面第三种可能的实现方 式中,还包括:计算了小群组的一致性、冲突性、稳定性和密度属性,并将 这四个交互属性融合成STFD时空体特征描述算子,以实现完整地提取小群 组的一致性、冲突性、稳定性和密度,并且量化表达了群体的交互信息。
结合第一方面第三种可能的实现方式,在第一方面第四种可能的实现方 式中,所述基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计 算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子, 以实现对群体行为特征的提取与描述,包括:通过小群组的几何结构、拓扑 结构、小群组之间的相互作用力以及新增的密度属性来改进计算四种交互信 息的描述算子;将这四个描述算子融合编码成场景独立的STFD时空体特征 描述算子。
第二方面,本申请实施例提供了一种基于小群组的群体行为特征提取与 描述系统,其特征在于,所述系统包括:获取模块,用于将自适应帧间差分 法融入混合高斯背景模型获得改进的混合高斯背景模型,以精确、完整地提 取群体的运动区域;时空分割模块,用于在提取的群体运动区域上,使用改 进的ST时空立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群 体运动区域中的特征点,在空间上连接所述特征点,进而将所述特征点划分 为小群组;特征描述模块,用于基于小群组改进群体的一致性、冲突性、稳 定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD 时空体特征描述算子,以实现对群体行为的特征提取与描述。
结合第二方面,在第二方面第一种可能的实现方式中,所述获取模块包 括:确定单元,用于确定所述自适应帧间差分法,其中改进的帧间差分算法 是加入自适应阀值,以使得背景模型能够自适应光照的变化;第一获取单元, 用于将改进的自适应帧间差分法融入混合高斯背景模型GMM获得改进的混 合高斯背景模型。
结合第二方面,在第二方面第二种可能的实现方式中,所述时空分割模 块包括:第二获取单元,用于通过KLT局部特征点提取群体的运动轨迹,并 计算该轨迹蕴藏的速度、方向、位置和夹角等信息来获得群体的运动趋势; 第一计算单元,用于根据改进的ST时空立方体分割算法,分别从时间和空间 上计算群体运动的连动性和相关性,以实现高效地划分小群组。
结合第一方面第二种可能的实现方式,在第一方面第三种可能的实现方 式中,还包括:第二计算单元,用于计算了小群组的一致性、冲突性、稳定 性和密度属性,并将这四个交互属性融合编码成STFD时空体特征描述算子, 以实现完整地提取小群组的一致性、冲突性、稳定性和密度属性,并且量化 表达了群体的运动交互信息。
结合第一方面第三种可能的实现方式,在第一方面第四种可能的实现方 式中,所述特征描述模块包括:第三计算单元,用于通过小群组的几何结构、 拓扑结构、小群组之间的相互作用力以及新增的密度属性来改进计算四种运 动交互信息描述算子;描述算子融合单元,用于将这四个描述算子融合编码 成场景独立的STFD时空体特征描述算子。
附图说明
图1为本申请实施例提供的一种基于小群组的群体行为特征提取与描述 方法的流程示意图;
图2为视频数据库中草坪场景的第21帧原始图像;
图3为图2通过传统的GMM算法检测得到群体的运动区域示意图;
图4为本申请实施例提供的一种改进的自适应帧间差分法融入GMM算 法的框架示意图;
图5为本申请实施例提供的一种展示KLT跟踪特征点的示意图;
图6为本申请实施例提供的一种中层特征提取的示意图;
图7为本申请实施例提供的一种基于小群组的群体行为特征提取与描述 系统的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种基于小群组的群体行为特征提取与描述 方法,参见图1,本实施例中的基于小群组的群体行为特征提取与描述方法 包括:
S101,将自适应帧间差分法融入混合高斯背景模型获得改进的混合高斯 背景模型,以精确、完整地提取群体运动区域。
本实施例中首先确定所述自适应帧间差分法,其中改进的帧间差分算法 是加入自适应阀值,以使得背景模型能够自适应光照的变化。将改进的自适 应帧间差分法融入混合高斯背景模型GMM获得改进的混合高斯背景模型。
传统技术中混合高斯背景模型(GMM)算法的流程如下:
(1)GMM参数初始化
用户自定义赋值期望和方差。
(2)GMM模型匹配
如果图像中第i个像素点在第z帧的值Ii,z与前B个高斯分布匹配,即该 像素点的值Ii,z与前一时刻的期望ui,z-1相减小于λσi,z-1,那么背景模型匹配成功 (Mi,z=1),该像素点为背景。像素点匹配的公式为:
(3)GMM的参数更新
图像的像素值随着参数的不断更新而更新。因此,GMM能够应用到不 同的复杂环境下。权值的更新公式为(a是学习率):
wi,z=(1-a)wi,z-1+aMi,z(0≤a≤1)
(4)生成背景模型
重新对混合高斯分布按优先级w/σ的值从大到小进行排序。如果某个像 素点的前B个高斯分布的加权系数wi大于阀值T,那么该像素点为背景,否 则该像素点为前景。判断像素点是背景模型的公式为:
背景图像在第z帧的像素值(Ibg)表示为:
本实施例中,首先获得改进的混合高斯背景模型,包括:改进的自适应 帧间差分法(TD)和将改进的自适应帧间差分法(TD)融入GMM模型。
改进的帧间差分算法是加入自适应阀值T1,使背景模型能够自适应光照 的变化。自适应光照阀值T1的改进公式为:
其中,Tnew为改进后的背景阀值;Ns表示图像像素点的大小;改进的TD 算法新添加了一项T1来自适应光照突变的情况。因此,改进的帧间差分法公 式为:
Abg表示前一帧到当前帧图像的背景区域;Ac表示相邻两帧群体的变化区 域。
图2是视频数据库中草坪场景的第21帧原始图像。图3是图2通过传统 的GMM算法检测得到群体的运动区域。其中,黑色区域是第21帧图像的背 景Abg;白色区域Ac是第21帧图像中群体的运动区域。此Ac区域留存有第 20帧人体的“影子”(Aubg)和当前帧群体的运动区域(Am)。因此,本申请需 要进一步在Ac区域中去除前一帧行人的影子Aubg。
图4是改进的自适应帧间差分法融入GMM算法的框架图。本申请首先 使用改进的自适应帧间差分法得到相邻两帧变化的区域Ac和背景区域Abg, 然后Ac区域通过混合高斯模型来区分前一帧留存的背景区域Aubg和人群的运 动区域Am,接着将不同的区域(Abg和Aubg)赋予不同的学习率来响应背景的 动态变化,使前一帧留存的人体的“影子”能够迅速融入背景,从而消除前一 帧人体的“影子”(Aubg),最后Am区域通过形态学算法(腐蚀和膨胀)来提取 完整的群体运动区域。
S102,在提取的群体运动区域上,使用改进的ST时空立方体分割算法 在时间上通过目标追踪KLT算法检测并跟踪群体运动区域中的特征点,在空 间上连接所述特征点,进而将所述特征点划分为小群组。
本实施例中通过KLT局部特征点提取群体的运动轨迹,并计算该轨迹蕴 藏的速度、方向、位置和夹角等信息来获得群体的运动趋势。根据改进的ST 时空立方体分割算法,分别从时间和空间上计算群体运动的连动性和相关性, 以实现高效地划分小群组。
在时间上,改进的ST时空立方体分割算法只使用KLT算法追踪群体的 运动。KLT跟踪运动区域中的特征点形成群体的运动轨迹。这些轨迹包含群 体的速度、方向、位置和夹角等信息,能够精确地表达视频流中群体的运动 趋势。图5显示KLT跟踪特征点的示意图,KLT在时空体中(fnum帧)跟踪 m个特征点形成m条轨迹,第z帧的轨迹Tr z定义为:
其中,fnum是视频序列的帧率,即每秒的视频帧数(fnum=25);Tp z表示p 点在第z帧上运动所形成的轨迹;F表示时空体的分段轨迹数(F=5);xp z表 示特征点p在第z帧的坐标,px和py分别表示p点的横坐标和纵坐标;τ表示 分段轨迹Tp z时间间隔的帧数。
在空间上,本申请将特征点看作研究对象而不是行人,从而将行人之间的 相互作用力转换为研究特征点之间的相互作用力。改进的ST时空体分割算法 不根据复杂的一致性滤波(CF)对群体进行划分,而是根据最邻近的特征点 (K-NN)来划分小群组,一方面可以计算行人之间的相互作用力,另一方面 弥补了CF算法划分子群体会丢弃子群体之间的运动交互信息的问题。
本申请不再是将整个群体划分为多个独立的子群体,而是将特征点p与 最邻近的K个特征点组成一个小群组Cp z,K的取值为3到5,因此,特征点 p在第z帧的小群组Cp z定义为:
其中,表示特征点p在第z帧图像上最邻近的K个特征点。
S103,基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计 算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子, 以实现对群体行为特征的提取与描述。
本实施例中计算了小群组的一致性、冲突性、稳定性和密度属性,并将 这四个运动交互属性融合成STFD时空体特征描述算子,以实现完整地提取 小群组的一致性、冲突性、稳定性和密度属性,并且量化表达了群体的运动 交互信息。
通过小群组的几何结构、拓扑结构、小群组之间的相互作用力以及新增 的密度属性来改进计算四种运动交互信息描述算子,将这四个描述算子融合 编码成场景独立的STFD时空体特征描述算子。
具体地,本申请通过小群组的几何结构、拓扑结构、小群组之间的相互作 用力以及新增的密度属性来改进、计算四种运动交互信息描述算子,然后将 这四个描述算子融合编码成场景独立的STFD时空体特征描述算子。
一致性是指小群组中的各个成员整体运动的一致程度。本申请在空间上通 过最邻近的特征点(K-NN)来重新划分小群组。本申请不通过复杂的一致性 滤波(CF)对群体进行分组,而是根据改进的ST时空立方体分割算法计算 一致性描述算子,改进后的一致性实际上是计算视频图像中的每个特征点与 其相应小群组的方向差。
其中,表示p点与它相应的小群组(最邻近的K个 特征点);表示p点在第z帧的运动向量;Tθ表示行人之间夹角的阀值。
空间稳定性表示小群组中的各个成员在一定时间内保持稳定的拓扑结构。 同样,本申请通过小群组来计算稳定性描述算子,改进后的稳定性实际上是 计算视频图像的每个特征点与其相应小群组在时空体(fnum帧)中保持稳定的 拓扑结构,即视频图像中每个特征点与其相应小群组保持稳定的个数。
其中,表示p点在第z-fnum帧组成的小群组;表示p点属于第z-fnum帧的小群组,但p点不属 于第z帧的小群组。
冲突性表示行人之间相互靠近时产生的相互作用力。同样,改进的冲突 性表示场景中的各个特征点与其相应小群组彼此之间的相互作用力。
其中,pz和iz表示p和i点在相同的小群组中。
本申请的密度属性是计算场景中群体空间分布的紧密程度,并通过小群 组来计算密度描述算子,但是本申请不使用传统的正态曲线分配权重矩阵, 而是采用小群组之间的距离来当作权重矩阵。
其中,点p和i表示相同小群组中的特征点;σ表示高斯核的宽度。
图6为一种中层特征提取的示意图,本申请将小群组的交互信息(一致 性coll、冲突性conf、稳定性stab和密度den)融合编码成一个新颖的STFD 时空体特征描述算子,并将每一帧STFD描述算子组合成一个STFD实例(二 维图像)。该STFD实例不仅具有行人之间的相互作用力,还能体现行人的空 间分布,同时在高密度群体场景下(个体存在大量遮挡或重叠)其依然可以 被提取与描述。因此,该实例可以完整地描述行人的全局和局部运动信息。
由上述实施例可知,本实施例提供了一种基于小群组的群体行为特征提 取与描述方法,改进的ST时空体分割算法不根据复杂的一致性滤波(CF) 对群体进行分组,而是根据最邻近的特征点(K-NN)来划分小群组,一方面 可以计算行人之间的相互作用力,另一方面弥补了CF算法划分子群体丢弃 了子群体之间的运动交互信息。引入了高斯核密度函数来统计人群的空间分 布,此算法不仅考虑了人群的空间位置,还考虑了人群的空间分布,能够在 异常情形发生时快速地定位局部区域。并且基于小群组改进了一致性、冲突 性、稳定性和密度属性的计算方法,并将这些运动交互属性融合编码成场景 独立的STFD描述算子。此STFD实例不仅集成编码了小群组的运动交互信 息,还定量地计算了群体的空间分布。同时在高密度群体场景下(个体存在 大量遮挡或重叠)其依然可以被提取与描述,进而可以完整地描述行人的全 局和局部运动信息。
与上述实施例提供的一种基于小群组的群体行为特征提取与描述方法相 对应,本申请还提供了一种基于小群组的群体行为特征提取与描述系统实施 例。参见图7,基于小群组的群体行为特征提取与描述系统20包括:
一种基于小群组的群体行为特征提取与描述系统,其特征在于,所述系 统包括:获取模块201、时空分割模块202和特征描述模块203。
所述获取模块201,用于将改进的自适应帧间差分法融入混合高斯背景 模型获得改进的混合高斯背景模型,以精确、完整地提取群体的运动区域。 所述时空分割模块202,用于在提取的群体运动区域上,使用改进的ST时空 立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群体运动区域中 的特征点,在空间上连接所述特征点,进而将所述特征点划分为小群组。所 述特征描述模块203,用于基于小群组改进群体的一致性、冲突性、稳定性 和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD时空 体特征描述算子,以实现对群体行为的特征提取与描述。
一个示意性实施例,所述获取模块201包括:确定单元和第一获取单元。
所述确定单元,用于确定所述自适应帧间差分法,其中改进的帧间差分 算法是加入自适应阀值,以使得背景模型能够自适应光照的变化。所述第一 获取单元,用于将改进的自适应帧间差分法融入混合高斯背景模型GMM获 得改进的混合高斯背景模型。
所述时空分割模块202包括:第二获取单元和第一计算单元。
所述第二获取单元,用于通过KLT局部特征点提取群体的运动轨迹,并 计算该轨迹蕴藏的速度、方向、位置和夹角等信息来获得群体的运动趋势。 所述第一计算单元,用于根据改进的ST时空立方体分割算法,分别从时间和 空间上计算群体运动的连动性和相关性,以实现高效地划分小群组。
本实施例中的基于小群组的群体行为特征提取与描述系统20还包括:第 二计算单元,用于计算了小群组的一致性、冲突性、稳定性和密度属性,并 将这四个运动交互属性融合编码成STFD时空体特征描述算子,以实现完整 地提取小群组的一致性、冲突性、稳定性和密度属性,并且量化表达了群体 的运动交互信息。
所述特征描述模块203包括:第三计算单元和描述算子融合单元。
所述第三计算单元,用于通过小群组的几何结构、拓扑结构、小群组之 间的相互作用力以及新增的密度属性来改进计算四种运动交互信息描述算子。 所述描述算子融合单元,用于将这四个描述算子融合编码成场景独立的STFD 时空体特征描述算子。
本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其, 对于系统实施例而言,由于其中的方法基本相似于方法的实施例,所以描述 的比较简单,相关之处参见方法实施例中的说明即可。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得 包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包 括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设 备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的 要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外 的相同要素。
当然,上述说明也并不仅限于上述举例,本申请未经描述的技术特征可 以通过或采用现有技术实现,在此不再赘述;以上实施例及附图仅用于说明 本申请的技术方案并非是对本申请的限制,如来替代,本申请仅结合并参照 优选的实施方式进行了详细说明,本领域的普通技术人员应当理解,本技术 领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替 换都不脱离本申请的宗旨,也应属于本申请的权利要求保护范围。
Claims (10)
1.一种基于小群组的群体行为特征提取与描述方法,其特征在于,所述方法包括:
将自适应帧间差分法融入混合高斯背景模型获得改进的混合高斯背景模型,以精确、完整地提取群体运动区域;
在提取的群体运动区域上,使用改进的ST时空立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群体运动区域中的特征点,在空间上连接所述特征点,进而将所述特征点划分为小群组;
基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子,以实现对群体行为特征的提取与描述。
2.根据权利要求1所述的基于小群组的群体行为特征提取与描述方法,其特征在于,所述将自适应帧间差分法融入混合高斯背景模型获得改进的混合高斯背景模型,以精确、完整地提取群体运动区域包括:
确定所述自适应帧间差分法,其中改进的帧间差分算法是加入自适应阀值,以使得背景模型能够自适应光照的变化;
将改进的自适应帧间差分法融入混合高斯背景模型GMM获得改进的混合高斯背景模型。
3.根据权利要求1所述的基于小群组的群体行为特征提取与描述方法,其特征在于,所述在提取的群体运动区域上,使用改进的ST时空立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群体运动区域中的特征点,在空间上连接所述特征点,进而将所述特征点划分为小群组,包括:
通过KLT局部特征点提取群体的运动轨迹,并计算该轨迹蕴藏的速度、方向、位置和夹角等信息来获得群体的运动趋势;
根据改进的ST时空立方体分割算法,分别从时间和空间上计算群体运动的连动性和相关性,以实现高效地划分小群组。
4.根据权利要求3所述的基于小群组的群体行为特征提取与描述方法,其特征在于,还包括:
计算了小群组的一致性、冲突性、稳定性和密度属性,并将这四个运动交互属性融合成STFD时空体特征描述算子,以实现完整地提取小群组的一致性、冲突性、稳定性和密度,并且量化表达了群体的运动交互信息。
5.根据权利要求4所述的基于小群组的群体行为特征提取与描述方法,其特征在于,所述基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子,以实现对群体行为特征的提取与描述,包括:
通过小群组的几何结构、拓扑结构、小群组之间的相互作用力以及新增的密度属性来改进计算四种运动交互信息的描述算子;
将这四个描述算子融合编码成场景独立的STFD时空体特征描述算子。
6.一种基于小群组的群体行为特征提取与描述系统,其特征在于,所述系统包括:
获取模块,用于将自适应帧间差分法融入混合高斯背景模型获得改进的混合高斯背景模型,以精确、完整地提取群体运动区域;
时空分割模块,用于在提取的群体运动区域上,使用改进的ST时空立方体分割算法在时间上通过目标追踪KLT算法检测并跟踪群体运动区域的特征点,在空间上连接所述特征点,进而将所述特征点划分为小群组;
特征描述模块,用于基于小群组改进群体的一致性、冲突性、稳定性和密度属性的计算方法,将改进的群体运动交互信息融合编码成STFD时空体特征描述算子,以实现对群体行为的特征提取与描述。
7.根据权利要求6所述的基于小群组的群体行为特征提取与描述系统,其特征在于,所述获取模块包括:
确定单元,用于确定所述自适应帧间差分法,其中改进的帧间差分算法是加入自适应阀值,以使得背景模型能够自适应光照的变化;
第一获取单元,用于将改进的自适应帧间差分法融入混合高斯背景模型GMM获得改进的混合高斯背景模型。
8.根据权利要求6所述的基于小群组的群体行为特征提取与描述系统,其特征在于,所述时空分割模块包括:
第二获取单元,用于通过KLT局部特征点提取群体运动的轨迹,并计算该轨迹蕴藏的速度、方向、位置和夹角等信息来获得群体的运动趋势;
第一计算单元,用于根据改进的ST时空立方体分割算法,分别从时间和空间上计算群体运动的连动性和相关性,以实现高效地划分小群组。
9.根据权利要求8所述的基于小群组的群体行为特征提取与描述系统,其特征在于,还包括:
第二计算单元,用于计算小群组的一致性、冲突性、稳定性和密度属性,并将这四个交互属性融合成STFD时空体特征描述算子,以实现完整地提取小群组的一致性、冲突性、稳定性和密度属性,并且量化表达了群体的运动交互信息。
10.根据权利要求9所述的基于小群组的群体行为特征提取与描述系统,其特征在于,所述特征描述模块包括:
第三计算单元,用于通过小群组的几何结构、拓扑结构、小群组之间的相互作用力以及新增的密度属性来改进计算四种运动交互信息的描述算子;
描述算子融合单元,用于将这四个描述算子融合编码成场景独立的STFD时空体特征描述算子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505137.5A CN110263690A (zh) | 2019-06-12 | 2019-06-12 | 一种基于小群组的群体行为特征提取与描述方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505137.5A CN110263690A (zh) | 2019-06-12 | 2019-06-12 | 一种基于小群组的群体行为特征提取与描述方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110263690A true CN110263690A (zh) | 2019-09-20 |
Family
ID=67917809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910505137.5A Pending CN110263690A (zh) | 2019-06-12 | 2019-06-12 | 一种基于小群组的群体行为特征提取与描述方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263690A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101443A (zh) * | 2020-09-09 | 2020-12-18 | 中国航空工业集团公司雷华电子技术研究所 | 多群目标场景下基于量测处理的小群航迹起始方法 |
CN113362457A (zh) * | 2021-08-10 | 2021-09-07 | 成都信息工程大学 | 一种基于散斑结构光的立体视觉测量方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064484A (zh) * | 2018-03-21 | 2018-12-21 | 南京邮电大学 | 基于子群组划分与动量特征融合的人群运动行为识别方法 |
CN109299700A (zh) * | 2018-10-15 | 2019-02-01 | 南京地铁集团有限公司 | 基于人群密度分析的地铁群体异常行为检测方法 |
-
2019
- 2019-06-12 CN CN201910505137.5A patent/CN110263690A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064484A (zh) * | 2018-03-21 | 2018-12-21 | 南京邮电大学 | 基于子群组划分与动量特征融合的人群运动行为识别方法 |
CN109299700A (zh) * | 2018-10-15 | 2019-02-01 | 南京地铁集团有限公司 | 基于人群密度分析的地铁群体异常行为检测方法 |
Non-Patent Citations (2)
Title |
---|
卢丽: "基于安防视频的群体异常行为特征提取与识别技术研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
陈非予: "智能视频监控中小群体运动分析研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101443A (zh) * | 2020-09-09 | 2020-12-18 | 中国航空工业集团公司雷华电子技术研究所 | 多群目标场景下基于量测处理的小群航迹起始方法 |
CN112101443B (zh) * | 2020-09-09 | 2023-10-20 | 中国航空工业集团公司雷华电子技术研究所 | 多群目标场景下基于量测处理的小群航迹起始方法 |
CN113362457A (zh) * | 2021-08-10 | 2021-09-07 | 成都信息工程大学 | 一种基于散斑结构光的立体视觉测量方法及系统 |
CN113362457B (zh) * | 2021-08-10 | 2021-11-02 | 成都信息工程大学 | 一种基于散斑结构光的立体视觉测量方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105447458B (zh) | 一种大规模人群视频分析系统和方法 | |
CN101883261B (zh) | 大范围监控场景下异常目标检测及接力跟踪的方法及系统 | |
CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
CN109670446A (zh) | 基于线性动态系统和深度网络的异常行为检测方法 | |
CN101635835A (zh) | 智能视频监控方法及系统 | |
CN102903124A (zh) | 一种运动目标检测方法 | |
CN104123544A (zh) | 基于视频分析的异常行为检测方法及系统 | |
CN102930248A (zh) | 基于机器学习的人群异常行为检测方法 | |
CN102142085B (zh) | 一种林区监控视频中运动火焰目标的鲁棒跟踪方法 | |
CN105426820A (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
CN109359563A (zh) | 一种基于数字图像处理的占道现象实时检测方法 | |
CN114022910A (zh) | 泳池防溺水监管方法、装置、计算机设备及存储介质 | |
CN107659754A (zh) | 一种树叶扰动情况下监控视频的有效浓缩方法 | |
CN110263690A (zh) | 一种基于小群组的群体行为特征提取与描述方法及系统 | |
Ramirez-Alonso et al. | Temporal weighted learning model for background estimation with an automatic re-initialization stage and adaptive parameters update | |
CN108596157A (zh) | 一种基于运动检测的人群惊扰场景检测方法及系统 | |
CN110348371A (zh) | 人体三维动作自动提取方法 | |
Cancela et al. | Unsupervised trajectory modelling using temporal information via minimal paths | |
WO2016019973A1 (en) | Method for determining stationary crowds | |
Leyva et al. | Video anomaly detection based on wake motion descriptors and perspective grids | |
Feng et al. | Fall detection based on motion history image and histogram of oriented gradient feature | |
Zhou et al. | R2-D2: a system to support probabilistic path prediction in dynamic environments via" Semi-lazy" learning | |
Maheshwari et al. | A review on crowd behavior analysis methods for video surveillance | |
Wang et al. | Improving 3-D Zebrafish Tracking With Multiview Data Fusion and Global Association | |
Waddenkery et al. | Adam-Dingo optimized deep maxout network-based video surveillance system for stealing crime detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |