CN108280408A - 一种基于混合跟踪和广义线性模型的人群异常事件检测方法 - Google Patents
一种基于混合跟踪和广义线性模型的人群异常事件检测方法 Download PDFInfo
- Publication number
- CN108280408A CN108280408A CN201810015559.XA CN201810015559A CN108280408A CN 108280408 A CN108280408 A CN 108280408A CN 201810015559 A CN201810015559 A CN 201810015559A CN 108280408 A CN108280408 A CN 108280408A
- Authority
- CN
- China
- Prior art keywords
- model
- crowd
- generalized linear
- detection method
- linear model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于混合跟踪和广义线性模型的人群异常事件检测方法,包括以下步骤:跟踪行人运动轨迹;提取所述跟踪路径的特征点;采用基于广义线性模型的神经网络对前景对象的方向和活动中至少一种进行分类。本申请采用混合跟踪模型和遗传算法相结合的神经网络进行建模,并由建立的特征模型来更直观的表达场景中的群体事件信息。选取恰当的特征模型对最终群体异常事件检测的性能有着重要影响。
Description
技术领域
本发明涉及图像特征描述的技术领域,特别是一种基于混合跟踪和广义线性模型的人群异常事件检测方法。
背景技术
近年来,各类重大群体性异常事件的可能性显著增加,公共安全问题日益受到国家重视。智能视频监控(intelligent video surveillance,IVS)作为公共安防领域的关键技术,被广泛研究和普遍推广。该技术融合了图像处理、模式识别及人工智能等多个学术领域,是计算机领域的研究热点之一。
群体事件是指由群体参与或引发的事件,这类事件往往采取集结力量的态势,对社会影响力大,冲击力强,对社会的稳定发展有着重大影响。在现实中,这些事件经常伴随着斗殴、暴乱、交通事故以及自然灾害等的发生,对社会有不利影响的,我们将其定义为群体异常事件。
国内学者胡卫明等人在文献《A Hierarchical Self-Organizing Approach forLearning the Patterns of Motion Trajectories》中利用自层次化的自组织神经网络技术建立运动目标的轨迹模型,并根据一系列轨迹点对模型进行学习,同时,根据当前轨迹点和模型参数对运动目标在下一时刻的方向和位置进行预测以便检测出交通车辆运动方向异常以及在停车场中是否有可疑行人等测试系统。上海交通大学研发的基于IP网络的智能化视频内容监控系统采用了背景建模的方法,对采集到的视频流进行场景背景更新维护,然后提取出去除运动干扰的视频监控场景画面,采用对象分割的方法,从监控视频中提取运动目标,最后采用视频跟踪的方法,利用相邻帧中运动目标的颜色特征,实现对视频对象的跟踪,并对监控对象的丢失进行报警处理。
国外学者Jonathan等人在《Application of the Self-Organizing Map toTrajectory Classification》一文中提到在运动分割、目标分类以及运动跟踪获得目标的运动轨迹之后,利用自组织映射神经网络对停车场这个特殊的监控场景中行人的正常轨迹进行学习,然后根据学习得到的特征模型对行人的异常轨迹或者可疑的轨迹进行检测。文献《Motion detection and trajectory Analysis》中使用正交高斯-赫密特矩(Orthogonal Gaussian-Hermite Moments)提取图像中的每个独立运动区域,并在假定获得运动轨迹的前提下,用三次样条曲线拟合离散的一系列轨迹点集,并基于样条曲线方程和相关矩阵运算分析目标的速度、加速度信息,根据这些运动信息对目标在当前时刻的运动方向进行判别。文献《ABayesian Computer Vision System for Modeling HumanInteractions》中利用计算机视觉与机器学习技术对人与人之间的行为建立模型,根据贝叶斯网络模型对感兴趣的活动进行识别,如人的尾随、人改变方向与他人打招呼等可疑事件。Tony在文献《Neural Network Based Threat Assessment for Automated VisualSurveillance》对运动轨迹曲线和运动历史图像建立模型,并提出一种新的概率神经网络分类器,对行人或者车辆活动的安全性进行评估。Kingsley在《Computer Vision f orSecurity applications》介绍了图像处理与计算机视觉在安全监控中的应用,并对场景中出现了运动目标的入侵检测进行了较详细的分析。文献《Recognizing Human Actions ina Static Room》中基于跟踪、肤色检测、变化检测等低层视觉处理技术,提取出监控视频中每个运动目标的状态信息,并在获得先验知识(一个特定的室内场景的每个区域位置的布局信息)的前提下,建立行为模型,对人进入室内、使用电脑终端、打开存储柜、接电话等事件进行识别。在每个不同的环境下,这种监控系统需要预先得知相关监控场景的先验知识,因此,对不同环境需要重新分析场景内的每个区域位置信息。文献《Analyzing andrecognizing walking figures in XYT》中提出了一种基于空间和时间运动特征的步态识别技术,对每个行人的步态建立模型,通过基本的模式识别技术建立行人与其步态之间的联系。Supriya Rao等人在《Abnormal activity detection in video sequences usinglearnt probability densities》对地铁中行人或者车辆的轨迹建立模型,学习正常情况下行人或者车辆的模型状态并使用最大似然估计算法估测模型的参数,在提取出运动目标的轨迹后,将这些参数与正常事件模型参数进行比较,即可自动检测出行人是否穿越地铁轨道或者车辆违规驾驶等异常事件。Jun Wang等人在《Adaptive Monitoring for VideoSurveillance》中提到在当前监控视频中检测出前景运动目标,根据每帧中检测的运动目标的状态信息反馈给监控计算机,计算机使用这个反馈信息自动调整摄像头的位置,通过镜头的旋转与缩放等实时地跟踪监控视频中的运动目标,这种监控系统可以使得摄像机能够自动地跟踪值得关注的运动目标,如果能够结合多摄像机对前景目标进行异常事件检测,则可以更好地获得可疑运动目标的状态信息,如人脸区域、轨迹等。Stauffer等人在《Learning Patterns of Activity Using Real-Time Tracking》开发了一个智能监控系统,用来对某个场景实现远程监控,在不同的场景下,需要配置多个摄像机交互监控信息,当利用多高斯背景模型与在线更新算法成功检测前景目标之后,建立一种跟踪机制获得每帧中运动目标的诸如位置、速度、方向等信息,根据这些信息对不同类型的正常事件建立运动模型,并用大量的含有正常事件的视频对这些模型进行学习,然后,使用学习后的含有正常事件的视频的运动模型对监控场景中的某个事件进行匹配以检测出含有异常行为的视频。
公开号为CN102799863A的发明专利申请公开了一种视频监控中团体人群异常行为检测方法,包括步骤如下:视频目标检测:通过相继帧中的边缘信息差异检测得到视频对象,和通过前景帧与背景帧的帧差得到运动变化的视频对象,结合两种视频对象检测结果得到相对精确的运动目标;视频目标跟踪:通过基于视频粒子的长周期的运动估计方法,对目标进行跟踪得到相应的运动轨迹;团体人群检测:通过团体人群在视频中的运动特性,对轨迹间距离,行进速度信息进行谱聚类分析;人群异常行为识别:使用MGHMM模型对人群轨迹建立模型,通过正常轨迹的突然变化来进行堵塞和跌倒的识别。该方法在视频质量较低、人群密度较为密集的情况下检测效果不好,鲁棒性较差。
发明内容
为了解决上述的技术问题,本发明提出一种基于混合跟踪和广义线性模型的人群异常事件检测方法,采用混合跟踪模型和遗传算法相结合的神经网络进行建模,并由建立的特征模型来更直观的表达场景中的群体事件信息。选取恰当的特征模型对最终群体异常事件检测的性能有着重要影响。
本发明提供一种基于混合跟踪和广义线性模型的人群异常事件检测方法,包括以下步骤:
步骤1:跟踪视频中行人运动轨迹;
步骤2:提取所述跟踪路径的特征点;
步骤3:采用基于广义线性模型的神经网络对前景对象的方向和活动中至少一种进行分类。
优选的是,所述步骤1为在基于零终止限制的混合跟踪模型中采用邻搜索方法估计对象头部位置并采用HSIM算法实现基于视觉的跟踪。
在上述任一方案中优选的是,所述步骤1包括以下子步骤:
步骤11:读取监控图像和参考点;
步骤12:提取最佳的头部对象;
步骤13:构建混合跟踪模型。
在上述任一方案中优选的是,所述步骤11包括输入拥挤视频V并提取视频中的每一帧。然后将V∈{vi;1≤i≤n}作为输入采用混合跟踪模型跟踪人体对象,其中拥挤视频V包括n帧。
在上述任一方案中优选的是,所述步骤11还包括第一帧v1中随机寻找参考点Rj以获取第一帧中人体头部部分,Rj=(xj,yj);1≤xj≤M;1≤yj≤N,其中,M×N表示所述监控图像的尺寸大小。
在上述任一方案中优选的是,所述步骤12包括提取所述参考点Rj后,采用基于近邻估计算法寻找到人体的头部位置,所述参考点Rj的头部位置可由参考点设置为中心的最小外接矩形h×w得到,其中h和w分别表示最小外接矩形的长度和宽度。
在上述任一方案中优选的是,所述步骤12还包括根据所述参考点Rj在同一关键帧中沿左右方向移动得到最佳参考点。
在上述任一方案中优选的是,所述步骤13包括采用基于运动的估计模型和EWMA模型来观察人体头部的运动情况。
在上述任一方案中优选的是,在所述基于运动的估计模型中,跟踪过程采用基于运动的估计方法通过将当前帧中的对象与下一帧进行匹配来完成。
在上述任一方案中优选的是,所述基于运动的估计方法为假设Tj M是第j个对象的跟踪路径,并将初始头部位置添加到跟踪路径中,得到运动估计模型Tj M,公式如下:其中和分别表示所述参考点Rj的x、y的位置坐标。
在上述任一方案中优选的是,在所述EWMA模型中,将跟踪路径定义如下: 其中,Tj E(t+1)表示在EWMA模型中第t+1帧中第j个对象的跟踪位置,Tj E表示在EWMA模型中第t帧中第j个对象的跟踪位置,DF表示影响因子,Rj(t)表示第t帧中第j个对象的参考位置,为Rj(t)的平方。
在上述任一方案中优选的是,所述步骤13还包括基于所述运动估计模型Tj M和所述跟踪输出位置Tj E结合零终止约束条件来得到输入拥挤视频V的第j个对象的运动轨迹,公式为当当
在上述任一方案中优选的是,所述步骤2为通过提取输入视频Tj中第j个对象的跟踪路径的特征,获取前景对象移动方向和行为特征。
在上述任一方案中优选的是,所述输入视频Tj中第j个对象的跟踪路径为:其中表示第j个对象的x和y坐标下的第一个位置。
在上述任一方案中优选的是,所述特征包括条件增量、条件减量、条件不规则、速度、方差和熵中至少一个特征。
在上述任一方案中优选的是,所述条件增量是一个参数,用于确定对象运动方向是否始终处于正方向,公式为其中,CIk表示微分路径,计算公式为
在上述任一方案中优选的是,所述条件减量用于确定运动方向是否始终处于负方向,公式为
在上述任一方案中优选的是,所述条件不规则是指每次运动方向不规则时所得到的值,公式为
在上述任一方案中优选的是,跟踪路径中的人群对象的所述速度的计算公式为其中,N1表示对应每一像素以米为单位的映射距离,表示像素点的运动总长,na是视频播放的帧数,nT表示是每秒播放的帧数。
在上述任一方案中优选的是,所述方差的计算公式如下:其中,μ表示所有像素运动路径的平均值。
在上述任一方案中优选的是,所述熵的计算公式如下:其中,u(la)表示位置路径la的唯一数据值。
在上述任一方案中优选的是,当a分别为x和y时,提取12个特征点来检测拥挤对象的方向和行为信息,则第j个对象最终提取得到的特征点,公式为
在上述任一方案中优选的是,所述步骤3为根据所述特征利用基于广义线性模型(GLM)的神经网络来查找对象的方向和活动。
在上述任一方案中优选的是,所述步骤3包括以下步骤:
步骤31:构建自适应神经网络;
步骤32:根据所述广义线性模型(GLM)算法进行训练。
在上述任一方案中优选的是,所述步骤31包括将神经网络初始化为12个输入和6个输出。
在上述任一方案中优选的是,所述输出包括根据前四个输出中找到对象的方向、得到对象的活动和预测该事件的性质中至少一种。
在上述任一方案中优选的是,所述事件的性质是正常或异常。
在上述任一方案中优选的是,所述步骤31包括设置一个隐含层,并根据实验训练不断校正隐藏神经元的数量。
在上述任一方案中优选的是,所述步骤32包括在所述自适应神经网络中,随机初始化权重向量W,用12×Q加权元素连接输入层和隐含层,用Q×7加权元素将隐含层与输出层连接起来,隐藏层中的Q个偏置权重和六个偏置单元连接输出层。
在上述任一方案中优选的是,所述权重W的公式为W={ωi,1≤i≤42+7×Q},其中ω表示节点权重和偏置权重。
在上述任一方案中优选的是,所述步骤32包括使用LM算法更新每次迭代的权重的公式为H=JT×J,其中,μ表示Levenberg的阻尼因子,I表示身份矩阵。J是系统以一个向量值函数的一阶偏导数得到的雅可比矩阵。
在上述任一方案中优选的是,所述雅可比矩阵J通过找到每个输出相对于每个权重的偏导数来计算,并且具有F(r,W)的形式,其中,r表示神经网络的特征向量,W表示网络的权值。
在上述任一方案中优选的是,所述g为G的梯度矩阵,计算公式为g=JT×E,其中E代表和JT相同维度的单位矩阵。
在上述任一方案中优选的是,计算得到权值计算后,将权值应用于神经网络函数,计算出神经网络的输出YLM=F(r,WLM),其中,F(r,WLM)是利用所述权重向量W对训练信号的每个特征向量进行计算的网络函数,r是由网络近似或预测的关联输出向量。
在上述任一方案中优选的是,利用神经网络输出和原始真实值计算训练网络中每个输入向量的输出误差
在上述任一方案中优选的是,在当前迭代中,对使用所述权值Wt和应用交叉和变异算子来生成权重
在上述任一方案中优选的是,将所述权重应用于神经网络函数,获得神经网络的输出,用于计算误差,公式为YGA=F(r,WGA),
在上述任一方案中优选的是,计算ELM和EGA处的两个误差值时,选择其中一个较小的值作为当前迭代值赋值给Et+1,同时对应的相关的权重值作为最终的权值赋值给Wt+1。
在上述任一方案中优选的是,将当前迭代Et+1与前一次迭代Et的误差进行比较,如果误差值减少,则μ随因子v减小;如果误差值增加,则μ随因子v增加。
在上述任一方案中优选的是,经过T次迭代重复,把最终权重作为训练权重,将所述训练权重用于人群对象的方向和活动估计。
本发明提出了一种基于混合跟踪和广义线性模型的人群异常事件检测方法,该方法具有较高的实时性,对异常事件的反应时间可达几十毫秒级别;与场景无关,不需要对特定场景建模,具备较广泛的适用性;具有较低的复杂度,容易移植和部署到现有的监控系统中;准确率可以达到其他经典算法的平均水平。
附图说明
图1为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的一优选实施例的流程图。
图2为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图1所示实施例的自适应神经网络架构图。
图3为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的一优选实施例的正常事件图。
图3A为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图3所示实施例的另一正常事件图。
图3B为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图3所示实施例的再一正常事件图。
图4为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图3所示实施例的异常事件图。
图4A为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图3所示实施例的另一异常事件图。
图4B为按照本发明的基于混合跟踪和广义线性模型的人群异常事件检测方法的如图3所示实施例的再一异常事件图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示,执行步骤100,提取行人轨迹。行人的运动轨迹作为检测前景目标移动方向和行为的重要特征,具有重要的作用。在行人跟踪方面,本步骤采用基于零终止限制的混合跟踪模型。在该模型中首先采用近邻搜索方法估计对象头部位置并采用HSIM算法实现基于视觉的跟踪。在步骤100中,执行子步骤101,读取监控图像和参考点。首先输入拥挤视频V并提取视频中的每一帧。然后将V∈{vi;1≤i≤n}作为输入采用混合跟踪模型跟踪人体对象。假设输入视频包含n帧,从第一帧v1中随机寻找参考点Rj以获取第一帧中人体头部部分。Rj=(xj,yj);1≤xj≤M;1≤yj≤N,其中,M×N表示图像的尺寸大小。执行子步骤102,提取最佳的头部图像。从第一帧中提取参考点Rj后,采用基于近邻估计算法寻找到人体的头部位置。参考点Rj的头部位置可由参考点设置为中心的最小外接矩形h×w得到。然后根据参考点在同一关键帧中沿左右方向移动得到最佳参考点。执行子步骤103,一旦我们检测到人体的头部,便可以采用基于运动的估计模型和EWMA模型来观察人体头部的运动情况。在基于运动的估计模型中,跟踪过程通过将当前帧中的对象与下一帧进行匹配来完成。假设Tj M是基于运动的估计方法的第j个对象的跟踪路径,并且将第二步识别的初始头部位置添加到跟踪路径中,得到运动估计模型EWMA模型公式中,将跟踪路径定义如下:
其中,Tj E(t+1)表示在EWMA模型中第t+1帧中第j个对象的跟踪位置,Tj E表示在EWMA模型中第t帧中第j个对象的跟踪位置,DF表示影响因子,Rj(t)表示第t帧中第j个对象的参考位置。最后将基于运动估计模型Tj M和EWNA模型的跟踪输出结合零终止约束条件来得到输入拥挤视频V的第j个对象的运动轨迹,公式为当当
执行步骤110,提取跟踪路径的特征点。通过提取输入视频Tj中第j个对象的跟踪路径的特征达到获取前景对象移动方向和行为特征的目的。我们提取了条件增量、条件减量、条件不规则、速度、方差和熵六个不同的特征。其中前三种特征体现了前景对象的方向特征。后三种特征表示前景对象的行为特征。本题将输入视频Tj的第j个对象的跟踪路径表示为:其中表示第j个对象的x和y坐标下的第一个位置。差分路径是通过位置的连续差来计算的。计算微分路径的公式如下所示:利用微分路径能够计算条件增量、条件减量和条件不规则。条件增量是一个参数,用于确定对象运动方向是否始终处于正方向,条件减量将确定运动方向是否始终处于负方向。条件不规则是指每次运动方向不规则时所得到的值。计算上述三个特征的公式如下所示:跟踪路径中的人群对象的运动速度计算公式如下:其中,N1表示对应每一像素以米为单位的映射距离,表示像素点的运动总长,na是视频播放的帧数,nT表示是每秒播放的帧数。方差的计算公式如下:其中,μ表示所有像素运动路径的平均值。熵的计算公式如下:其中,u(lx)表示位置路径lx的唯一数据值。同样地对跟踪路径的位置y提取上述六种特征。最终根据跟踪路径提取12个特征点来检测拥挤对象的方向和行为信息,则第j个对象最终提取得到的特征点如下所示:
执行步骤120,采用基于广义线性模型(GLM)的神经网络对前景对象的方向和活动分类。根据从输入人群视频中的每个对象的跟踪路径中提取出的特征,接着利用所提出的基于GLM的神经网络来查找对象的方向和活动。前馈神经网络是一种应用广泛的人工智能模型,它使用训练和测试两个重要过程来进行分类。在训练过程中,通过找到最优权重并利用这些特征学习神经元,然后利用学习权重找到跟踪对象的类标签,以确定对象的运动方向和活动方向。在步骤120中,执行子步骤121,构建自适应神经网络结构。首先将神经网络初始化为12个输入和6个输出,12个输入是指在x和y两个分量上分别取我们提取了条件增量、条件减量、条件不规则、速度、方差和熵六个不同的特征,共计12个特征作为输入,即x分量上的条件增量条件减量条件不规则速度方差熵y分量上的条件增量条件减量条件不规则速度方差和熵第一个输出是根据前四个输出中找到对象的方向,第二个输出是得到对象的活动,最后两个输出预测该事件是正常事件还是异常事件。然后,设置一个隐含层,并根据实验训练不断校正隐藏神经元的数量。自适应神经网络的体系结构如图2所示,标号200的为输入层,标号210的为隐含层,标号220的为输出层。在自适应网络中,节点权值和阈值随着每次的训练进行逐次调整。逐步试验得到隐层节点数就是先设置一个初始值,然后在这个值的基础上逐渐增加,比较每次网络的预测性能,选择性能最好的对应的节点数作为隐含层神经元节点数。所以Q是在多次训练后产生的,具有不确定性。执行子步骤122,根据广义线性模型(GLM)算法训练。对于初始化后的神经网络结构,权重值应该用随机值进行初始化。对于自适应神经网络,用12×Q加权元素连接输入层和隐含层,用Q×7加权元素将隐含层与输出层连接起来。另外,隐藏层中的Q个偏置权重和六个偏置单元连接输出层。因此,权重向量可以表示为,W={ωi,1≤i≤42+7×Q},其中ω表示节点权重和偏置权重。最初,权重是随机初始化的,然后在每次迭代过程t中动态地更新权重。使用LM算法更新每个迭代的权重的公式如下所示:H=JT×J,其中,μ表示Levenberg的阻尼因子,I表示身份矩阵。J是系统以一个向量值函数的一阶偏导数得到的雅可比矩阵。它可以通过找到每个输出相对于每个权重的偏导数来计算,并且具有F(r,W)的形式,这是一个神经网络的非线性函数。r表示神经网络的特征向量,W表示网络的权值,x表示神经网络中定义的权值的总个数,包括节点和偏置权值,G的梯度矩阵用下面的方程计算,g=JT×E,其中E代表与JT相同维度的单位矩阵。经计算得到权值计算后,将权值应用于神经网络函数,计算出神经网络的输出,YLM=F(r,WLM),其中,F(r,WLM)是利用所述权重向量W对训练信号的每个特征向量进行计算的网络函数,r是由网络近似或预测的关联输出向量。利用神经网络输出和原始真实值,WLM用于计算训练网络中每个输入向量的输出误差在当前迭代中,权值Wt和被用于基于遗传算法寻找新的权重。在遗传算法中,我们对这两个向量应用交叉和变异算子来生成权重定义完交叉点之后,权重向量从开始的染色体到交叉点是复制Wt,其余的通过复制找到一个新的权重向量。这个新的权重向量被用来执行变异操作,其中,对应于变异点的元素以随机值更新。变异算子称为最后得到的权重向量权重再次应用于神经网络函数,以获得神经网络的输出,然后用于计算误差,YGA=F(r,WGA),计算ELM和EGA处的两个误差值时,选择其中一个较小的值作为当前迭代值赋值给Et+1,同时对应的相关的权重值作为最终的权值赋值给Wt+1。当前迭代Et+1与前一次迭代Et的误差相比若值下降,则μ随因子v减小,如果误差值增加,则μ随因子v增加。经过T次迭代重复该过程,并且将最终权重作为训练权重,然后将其用于人群对象的方向和活动估计。
实施例二
群体事件是指由群体参与或引发的事件,这类事件往往采取集结力量的态势,对社会影响力大,冲击力强,对社会的稳定发展有着重大影响。如图3、3A、3B所示,人们在视频场景中自由地散步、走动,这些正常的生活事件被定义为群体正常事件,如图4、4A、4B所示,人群出现短时聚集或惊慌逃散现象,在现实中,这些事件经常伴随着斗殴、暴乱、交通事故以及自然灾害等的发生,对社会有不利影响的,我们将其定义为群体异常事件。
针对目前人群异常事件检测模型具有较高计算复杂度的问题,提出了一种基于混合跟踪和广义线性模型(GLM)的人群异常事件检测算法。定义输入的拥挤视频V表示一系列帧序列,其中V∈{vi;1≤i≤n}。输入视频中包含多个前景对象,通过每一帧的图像来跟踪获取得到每个对象的移动路径。本文根据前景对象的向前、向后、向左、向右的运动轨迹和行为动作进行分类判断其是否为人群异常现象。首先采用零终止限制的混合跟踪模型跟踪拥挤视频中的行人。其次提取跟踪对象的物理参数如速度、方向、方差和熵作为定量指标。最后采用神经网络对正常事件和异常事件两类人群特征进行分析计算来检测异常事件的发生。
为了更好的表示这些群体事件,本文采用混合跟踪模型和遗传算法相结合的神经网络进行建模,并由建立的特征模型来更直观的表达场景中的群体事件信息。选取恰当的特征模型对最终群体异常事件检测的性能有着重要影响。
本申请具有以下几方面的优点:首先,算法具有较高的实时性,对异常事件的反应时间可达几十毫秒级别;其次,算法与场景无关,不需要对特定场景建模,具备较广泛的适用性;另外,算法具有较低的复杂度,容易移植和部署到现有的监控系统中;最后,算法的准确率可以达到其他经典算法的平均水平。
Claims (10)
1.一种基于混合跟踪和广义线性模型的人群异常事件检测方法,包括以下步骤:
步骤1:跟踪视频中行人运动轨迹;
步骤2:提取所述跟踪路径的特征点;
步骤3:采用基于广义线性模型的神经网络对前景对象的方向和活动中至少一种进行分类。
2.如权利要求1所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤1为在基于零终止限制的混合跟踪模型中采用邻搜索方法估计对象头部位置并采用HSIM算法实现基于视觉的跟踪。
3.如权利要求2所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤1包括以下子步骤:
步骤11:读取监控图像和参考点;
步骤12:提取最佳的头部对象;
步骤13:构建混合跟踪模型。
4.如权利要求3所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤11包括输入拥挤视频V并提取视频中的每一帧。然后将V∈{vi;1≤i≤n}作为输入采用混合跟踪模型跟踪人体对象,其中拥挤视频V包括n帧。
5.如权利要求4所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤11还包括第一帧v1中随机寻找参考点Rj以获取第一帧中人体头部部分,Rj=(xj,yj);1≤xj≤M;1≤yj≤N,其中,M×N表示所述监控图像的尺寸大小。
6.如权利要求5所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤12包括提取所述参考点Rj后,采用基于近邻估计算法寻找到人体的头部位置,所述参考点Rj的头部位置可由参考点设置为中心的最小外接矩形h×w得到,其中h和w分别表示最小外接矩形的长度和宽度。
7.如权利要求6所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤12还包括根据所述参考点Rj在同一关键帧中沿左右方向移动得到最佳参考点。
8.如权利要求7所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述步骤13包括采用基于运动的估计模型和EWMA模型来观察人体头部的运动情况。
9.如权利要求8所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:在所述基于运动的估计模型中,跟踪过程采用基于运动的估计方法通过将当前帧中的对象与下一帧进行匹配来完成。
10.如权利要求9所述的基于混合跟踪和广义线性模型的人群异常事件检测方法,其特征在于:所述基于运动的估计方法为假设Tj M是第j个对象的跟踪路径,并将初始头部位置添加到跟踪路径中,得到运动估计模型Tj M,公式如下:其中和分别表示所述参考点Rj的x、y的位置坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015559.XA CN108280408B (zh) | 2018-01-08 | 2018-01-08 | 一种基于混合跟踪和广义线性模型的人群异常事件检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015559.XA CN108280408B (zh) | 2018-01-08 | 2018-01-08 | 一种基于混合跟踪和广义线性模型的人群异常事件检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108280408A true CN108280408A (zh) | 2018-07-13 |
CN108280408B CN108280408B (zh) | 2021-11-02 |
Family
ID=62803355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810015559.XA Active CN108280408B (zh) | 2018-01-08 | 2018-01-08 | 一种基于混合跟踪和广义线性模型的人群异常事件检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108280408B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684916A (zh) * | 2018-11-13 | 2019-04-26 | 恒睿(重庆)人工智能技术研究院有限公司 | 基于路径轨迹数据异常检测方法、系统、设备及存储介质 |
CN111722983A (zh) * | 2020-06-19 | 2020-09-29 | 中国银行股份有限公司 | 一种可配置化的事件操作控制方法和系统 |
CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547445A (zh) * | 2008-03-25 | 2009-09-30 | 上海摩波彼克半导体有限公司 | 移动通信网络中基于移动性进行入侵异常检测的系统和方法 |
CN101556697A (zh) * | 2008-04-10 | 2009-10-14 | 上海宝康电子控制工程有限公司 | 一种基于快速特征点的运动目标跟踪方法与系统 |
CN101739686A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标跟踪方法及其系统 |
CN103092316A (zh) * | 2013-01-22 | 2013-05-08 | 浪潮电子信息产业股份有限公司 | 一种基于数据挖掘的服务器功耗管理系统 |
CN105807906A (zh) * | 2014-12-31 | 2016-07-27 | 吴江 | 运动识别方法 |
CN104239865B (zh) * | 2014-09-16 | 2017-04-12 | 宁波熵联信息技术有限公司 | 一种基于多级检测的行人检测与跟踪方法 |
CN106845389A (zh) * | 2017-01-18 | 2017-06-13 | 山东大学 | 一种基于方向‑集群性模型的人群逃散事件检测方法及系统 |
CN106846362A (zh) * | 2016-12-26 | 2017-06-13 | 歌尔科技有限公司 | 一种目标检测跟踪方法和装置 |
-
2018
- 2018-01-08 CN CN201810015559.XA patent/CN108280408B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547445A (zh) * | 2008-03-25 | 2009-09-30 | 上海摩波彼克半导体有限公司 | 移动通信网络中基于移动性进行入侵异常检测的系统和方法 |
CN101556697A (zh) * | 2008-04-10 | 2009-10-14 | 上海宝康电子控制工程有限公司 | 一种基于快速特征点的运动目标跟踪方法与系统 |
CN101739686A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标跟踪方法及其系统 |
CN103092316A (zh) * | 2013-01-22 | 2013-05-08 | 浪潮电子信息产业股份有限公司 | 一种基于数据挖掘的服务器功耗管理系统 |
CN104239865B (zh) * | 2014-09-16 | 2017-04-12 | 宁波熵联信息技术有限公司 | 一种基于多级检测的行人检测与跟踪方法 |
CN105807906A (zh) * | 2014-12-31 | 2016-07-27 | 吴江 | 运动识别方法 |
CN106846362A (zh) * | 2016-12-26 | 2017-06-13 | 歌尔科技有限公司 | 一种目标检测跟踪方法和装置 |
CN106845389A (zh) * | 2017-01-18 | 2017-06-13 | 山东大学 | 一种基于方向‑集群性模型的人群逃散事件检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
C.A. GHUGE ETAL: "Query-Specific Distance and Hybrid Tracking Model for Video Object Retrieval", 《JOURNAL OF INTELLIGENT SYSTEM》 * |
肖献强等: "基于运动估计和图像匹配的视觉控制算法", 《吉林大学学报(工学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684916A (zh) * | 2018-11-13 | 2019-04-26 | 恒睿(重庆)人工智能技术研究院有限公司 | 基于路径轨迹数据异常检测方法、系统、设备及存储介质 |
CN111722983A (zh) * | 2020-06-19 | 2020-09-29 | 中国银行股份有限公司 | 一种可配置化的事件操作控制方法和系统 |
CN111722983B (zh) * | 2020-06-19 | 2024-03-15 | 中国银行股份有限公司 | 一种可配置化的事件操作控制方法和系统 |
CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108280408B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bisagno et al. | Group lstm: Group trajectory prediction in crowded scenarios | |
Makris et al. | Automatic learning of an activity-based semantic scene model | |
Javan Roshtkhari et al. | Online dominant and anomalous behavior detection in videos | |
Karim et al. | A dynamic spatial-temporal attention network for early anticipation of traffic accidents | |
Piciarelli et al. | Surveillance-oriented event detection in video streams | |
CN108280408A (zh) | 一种基于混合跟踪和广义线性模型的人群异常事件检测方法 | |
Tomar et al. | Crowd analysis in video surveillance: A review | |
CN114155270A (zh) | 行人轨迹预测方法、装置、设备及存储介质 | |
Kadim et al. | Deep-learning based single object tracker for night surveillance. | |
Inaba et al. | Conversational group detection based on social context using graph clustering algorithm | |
Singh et al. | Crowd escape event detection via pooling features of optical flow for intelligent video surveillance systems | |
Savitha et al. | Motion detection in video surviellance: A systematic survey | |
Khan et al. | Comparative study of various crowd detection and classification methods for safety control system | |
Brax et al. | Finding behavioural anomalies in public areas using video surveillance data | |
CN115147921B (zh) | 基于多域信息融合的重点区域目标异常行为检测与定位方法 | |
Bera et al. | Modeling trajectory-level behaviors using time varying pedestrian movement dynamics | |
Bruckner et al. | High-level hierarchical semantic processing framework for smart sensor networks | |
Akella et al. | Crowd density analysis and suspicious activity detection | |
Yugendar et al. | Analysis of crowd flow parameters using artificial neural network | |
Kang et al. | Motion pattern study and analysis from video monitoring trajectory | |
Teoh et al. | Fast Regression Convolutional Neural Network for Visual Crowd Counting | |
CN115424207B (zh) | 自适应监控系统及方法 | |
Ma et al. | Anomaly detection with spatio-temporal context using depth images | |
Zhou et al. | Co-occurrence Background Model with Hypothesis on Degradation Modification for Robust Object Detection. | |
Priya et al. | Unusual Activity And Anomaly Detection In Surveillance Using GMM-KNN Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |