CN107133971B - 一种基于网络节点能量传递的人物异常轨迹检测方法 - Google Patents

一种基于网络节点能量传递的人物异常轨迹检测方法 Download PDF

Info

Publication number
CN107133971B
CN107133971B CN201710256750.9A CN201710256750A CN107133971B CN 107133971 B CN107133971 B CN 107133971B CN 201710256750 A CN201710256750 A CN 201710256750A CN 107133971 B CN107133971 B CN 107133971B
Authority
CN
China
Prior art keywords
track
network
abnormal
nodes
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710256750.9A
Other languages
English (en)
Other versions
CN107133971A (zh
Inventor
冯文廷
陈志�
岳文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710256750.9A priority Critical patent/CN107133971B/zh
Publication of CN107133971A publication Critical patent/CN107133971A/zh
Application granted granted Critical
Publication of CN107133971B publication Critical patent/CN107133971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于网络节点能量传递的人物异常轨迹检测方法。该方法提出一种将整个场景模型化为一个网络，网络中的每个节点相当于场景中的一个网格，每一条边代表不同网格之间的能量传递关系，再使用上述网络将场景中的人物以其中心点表示，人物的运动轨迹被模型化为网络中节点之间的能量传递，最后通过计算轨迹起始点间总的传递能量并和正常轨迹所需能量作对比即可检测该轨迹是否异常。本发明中网络节点间的能量阈值能够根据实际情况动态更新调整，对人物异常轨迹检测具有良好的检测效果。

Description

一种基于网络节点能量传递的人物异常轨迹检测方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于网络节点能量传递的人物异常轨迹检测方法。
背景技术
人物轨迹追踪和检测是计算机视觉领域内非常活跃的研究方向，在视频监控、医疗看护、无人驾驶等领域都有着十分广泛的应用前景。通过计算机对人物的轨迹进行追踪和判断，既能大大减轻人们实际的工作负担，又由于计算机对图像独特的处理能力，使得一些人们难以发现的微小的安全隐患得以及时被发现，并反馈给相应工作人员做进一步的处理。
人物轨迹追踪技术建立在人物识别技术之上，目前已有的很多技术已经能较好地识别出人体所在的位置，如基于Haar特征和Adaboost分类器的人体检测技术和基于Hog特征和SVM分类器的人体检测技术等等。通过以上技术获取人体所在位置并提取出人体的几何中心即是本发明的轨迹异常检测的前提。
现有的行为分析方法有基于时空特征的模式分析方法，这类方法先提取每帧图像的人体区域，然后通过各种几何特征来分析人体动作，但该方法只能局限于简单的单人行为。也有基于图像统计处理的方法直接对视频帧的低层信息进行统计分析从而对视频段的人物行为进行理解，但这种方法需要进行大量的图像分析，导致计算量非常的大。现阶段对人物的异常动作检测效果欠佳且检测过程复杂的问题。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于网络节点能量传递的人物异常轨迹检测方法，以简单高效地对人物异常轨迹进行检测。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于网络节点能量传递的人物异常轨迹检测方法，包括以下步骤：
步骤1、定义场景G，将G模型化为一个网络，具体如下：
步骤11、将G分成n*n个互不相交的网格，每一个网格代表网络中的一个节点，n为G中横向的网格数和纵向的网格数；
步骤12、在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小；
步骤2、输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21、设输入的轨迹起始点为s，终点为e；定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),...,(sn-1,e)}，s1,s2,...,sn-1为轨迹所途经的节点；
步骤22、定义E(i,j)为连接第i个节点和第j个节点之间的边权，初始化相邻两个节点的边权为1，其它节点间的边权为0，通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
其中，i,j分别代表轨迹中第i个节点和第j个节点，E(s,e)代表轨迹起点和终点间的边权；
步骤3、重复步骤2对多个人物的轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的预设要求为止；
步骤4、输入一视频序列，检测视频中人物的运动轨迹是否存在异常；具体步骤如下：
步骤41、将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st；
步骤42、记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧的形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格记为该运动轨迹的终点et，得到当前运动轨迹R(st,et)，其中，et作为下一轨迹开始的起点；
步骤43、计算轨迹R(st,et)传递的总能量为：
步骤44、比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹；
步骤5、根据判断输入轨迹正常与否动态对网络模型的边权进行调整更新：若步骤4中检测的轨迹没发生异常，或出现了异常但该异常轨迹在预设的接受范围内，则采用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在预设的接受范围内则给予警告。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤1中将场景模型化为网络，将人物轨迹模型化为人物中心点在网络节点中的移动。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤4中人物形状中心点为人体的几何形心。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤4中通过判断T(st,et)与E(st,et)的大小关系判断轨迹R(st,et)是否异常。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤5中，对网络模型的边权进行调整更新，且更新权值为原来边权的值与轨迹能量总和的值的平均值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明提出一种基于网络节点能量传递的人物异常轨迹检测方法，其完整的方法过程包括将场景模型化为网络，网络的节点代表场景中的一个网格，节点之间的边代表网格间的能量传递关系；基于这个网络，我们进一步将场景中的人物以其中心点表示，人物的运动轨迹就被模型化为网络中节点之间的能量传递。通过计算轨迹起始点间总的传递能量并和正常轨迹所需能量作对比即可检测该轨迹是否异常；
(2)本发明所述网络能够对新的轨迹进行动态学习，不断更新网络的边的权值以适应新的变化，使得网络更具灵活性，检测的正确性得以提高；
(3)本发明将人物模型化为人体的形心，人物的运动轨迹模型化为网络节点间能量的传输途径，在保证正确性的同时大大简化了检测的复杂性。
附图说明
图1是基于网络节点能量传递的人物异常轨迹检测方法流程。
图2是划分场景示例。
图3是人物运动轨迹示例；其中，(a)，(b)，(c)分别代表不同的运动轨迹。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
根据附图1所示基于网络节点能量传递的人物异常轨迹检测方法对应的流程图，附图2所示划分场景示例，附图3所示人物运动轨迹示例，本发明具体实施方式为：
1)定义场景G，将G模型化为一个网络，具体步骤如下：
11)如附图2所示，将G分成6*6个互不相交的网格，每一个网格代表网络中的一个节点。
步骤12)在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小。
步骤2)输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21)如图3中的(a)所示，红色路径代表输入的轨迹，起始点为s，终点为e。定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),(s2,s3),(s3,s4),(s4,e)}。
步骤22)定义E(i,j)为连接两个节点的边的权值，初始化相邻两个节点的边权为1，其它节点间的边权为0。通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
所述i,j为循环变量，分别代表轨迹中第i个节点和第j个节点。计算得到图3中的(a)中，E(s,e)＝5
步骤3)重复步骤2)对大量的人物正常轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的要求为止。
步骤4)输入一视频序列，检测视频中人物的运动轨迹是否存在异常。具体步骤如下：
步骤41)将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st。
步骤42)记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格计为轨迹的终点et，得到当前运动轨迹R(st,et)，其中et作为下一轨迹开始的起点。
步骤43)设步骤42)得到的轨迹为R(st,et),计算该轨迹传递的总能量为：
以图3中的(b)和图3中的(c)为例，分别计算得T1(s,e)＝9,T2(s,e)＝3。
步骤44)比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹。如附图3中的(b)所示轨迹T1(s,e)＞E(s,e),该轨迹就被判定为正常轨迹；图3中的(c)所示轨迹T2(s,e)＜E(s,e)，该轨迹被判定为异常轨迹。
步骤5)若步骤4)检测出的轨迹有异常，但该异常轨迹在人的接受范围内，则重新调整节点的边权，否则给予警告；若没有发生异常，则更新轨迹起始点和终点的边权。具体步骤如下：
步骤51)若步骤4中检测的轨迹有异常，但该异常轨迹在人的接受范围内，则用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在人的接受范围内则应给予警告。
步骤52)若步骤4中检测的轨迹没有发生异常，则用公式(1)对轨迹起始点和终点的边权进行更新。以图3中的(b)为例，该轨迹被判定为正常轨迹，所以更新边权E(s,e)＝(E(s,e)+T1(s,e))/2＝(5+9)/2＝7。
本发明所述网络能够对新的轨迹进行动态学习，不断更新网络的边的权值以适应新的变化，使得网络更具灵活性，检测的正确性得以提高。同时将人物模型化为人体的形心，人物的运动轨迹模型化为网络节点间能量的传输途径，在保证正确性的同时大大简化了检测的复杂性。
本发明将视频场景模拟成一个网络，网络的一个节点对应场景中的一个网格，节点间的边代表网格之间能量传递的关系，边权代表能量传递的大小。通过训练样本对网络进行训练，更新网络中每条边的权值，并通过在实际测试中动态地调整边权使得网络更具灵活性，检测结果更为准确。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替代，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，包括以下步骤：
步骤1、定义场景G，将G模型化为一个网络，具体如下：
步骤11、将G分成n*n个互不相交的网格，每一个网格代表网络中的一个节点，n为G中横向的网格数和纵向的网格数；
步骤12、在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小；
步骤2、输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21、设输入的轨迹起始点为s，终点为e；定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),...,(sn-1,e)}，s1,s2,...,sn-1为轨迹所途经的节点；
步骤22、定义E(i,j)为连接第i个节点和第j个节点之间的边权，初始化相邻两个节点的边权为1，其它节点间的边权为0，通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
其中，i,j分别代表轨迹中第i个节点和第j个节点，E(s,e)代表轨迹起点和终点间的边权；
步骤3、重复步骤2对多个人物的轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的预设要求为止；
步骤4、输入一视频序列，检测视频中人物的运动轨迹是否存在异常；具体步骤如下：
步骤41、将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st；
步骤42、记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧的形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格记为该运动轨迹的终点et，得到当前运动轨迹R(st,et)，其中，et作为下一轨迹开始的起点；
步骤43、计算轨迹R(st,et)传递的总能量为：
步骤44、比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹；
步骤5、根据判断输入轨迹正常与否动态对网络模型的边权进行调整更新：若步骤4中检测的轨迹没发生异常，或出现了异常但该异常轨迹在预设的接受范围内，则采用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在预设的接受范围内则给予警告。
2.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤1中将场景模型化为网络，将人物轨迹模型化为人物中心点在网络节点中的移动。
3.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤4中人物形状中心点为人体的几何形心。
4.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤4中通过判断T(st,et)与E(st,et)的大小关系判断轨迹R(st,et)是否异常。
5.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤5中，对网络模型的边权进行调整更新，且更新权值为原来边权的值与轨迹能量总和的值的平均值。
CN201710256750.9A 2017-04-19 2017-04-19 一种基于网络节点能量传递的人物异常轨迹检测方法 Active CN107133971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710256750.9A CN107133971B (zh) 2017-04-19 2017-04-19 一种基于网络节点能量传递的人物异常轨迹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710256750.9A CN107133971B (zh) 2017-04-19 2017-04-19 一种基于网络节点能量传递的人物异常轨迹检测方法

Publications (2)

Publication Number Publication Date
CN107133971A CN107133971A (zh) 2017-09-05
CN107133971B true CN107133971B (zh) 2019-12-10

Family

ID=59715006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710256750.9A Active CN107133971B (zh) 2017-04-19 2017-04-19 一种基于网络节点能量传递的人物异常轨迹检测方法

Country Status (1)

Country Link
CN (1) CN107133971B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944384B (zh) * 2017-11-21 2021-08-20 天地伟业技术有限公司 一种基于视频的递物行为检测方法
CN109218985B (zh) * 2018-08-08 2020-09-22 上海中交水运设计研究有限公司 一种基于模式相似度的船舶作业行为异常检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523370A (zh) * 2011-11-22 2012-06-27 上海交通大学 基于网络传输算法的多摄像头视频异常行为检测方法
CN103392187A (zh) * 2010-12-30 2013-11-13 派尔高公司 利用从物体轨迹数据获取的统计和语义特征的场景活动分析
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法
CN105741315A (zh) * 2015-12-30 2016-07-06 电子科技大学 一种基于降采样策略的统计背景减除方法
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105825242A (zh) * 2016-05-06 2016-08-03 南京大学 基于混合网格分层聚类的集群通信终端轨迹实时异常检测方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392187A (zh) * 2010-12-30 2013-11-13 派尔高公司 利用从物体轨迹数据获取的统计和语义特征的场景活动分析
CN102523370A (zh) * 2011-11-22 2012-06-27 上海交通大学 基于网络传输算法的多摄像头视频异常行为检测方法
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法
CN105741315A (zh) * 2015-12-30 2016-07-06 电子科技大学 一种基于降采样策略的统计背景减除方法
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105825242A (zh) * 2016-05-06 2016-08-03 南京大学 基于混合网格分层聚类的集群通信终端轨迹实时异常检测方法与系统

Also Published As

Publication number Publication date
CN107133971A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN106682696B (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
Li et al. Data-free prior model for facial action unit recognition
CN102968643B (zh) 一种基于李群论的多模态情感识别方法
CN115345278A (zh) 卷积神经网络的结构学习
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN107301376B (zh) 一种基于深度学习多层刺激的行人检测方法
US11789466B2 (en) Event camera based navigation control
CN104517097A (zh) 一种基于kinect的运动人体姿态识别方法
CN104573665A (zh) 一种基于改进维特比算法的连续动作识别方法
CN109508686B (zh) 一种基于层次化特征子空间学习的人体行为识别方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
Vasudevan et al. Introduction and analysis of an event-based sign language dataset
CN107133971B (zh) 一种基于网络节点能量传递的人物异常轨迹检测方法
Liang et al. Simaug: Learning robust representations from 3d simulation for pedestrian trajectory prediction in unseen cameras
Ghaleb et al. Skeleton-based explainable bodily expressed emotion recognition through graph convolutional networks
CN111402156B (zh) 一种涂抹图像的复原方法、装置及存储介质和终端设备
Huu et al. Proposal gesture recognition algorithm combining cnn for health monitoring
Salam et al. Learning and leveraging features in flow-like environments to improve situational awareness
CN102930250A (zh) 一种多尺度条件随机场模型的动作识别方法
Banerjee et al. Generation of movement explanations for testing gesture based co-operative learning applications
CN112183315A (zh) 动作识别模型训练方法和动作识别方法及装置
Behera et al. PIDLNet: A physics-induced deep learning network for characterization of crowd videos
de Dios et al. Landmark-based methods for temporal alignment of human motions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant