CN113822188B - 一种时间因果诱导的斗殴行为的识别方法 - Google Patents
一种时间因果诱导的斗殴行为的识别方法 Download PDFInfo
- Publication number
- CN113822188B CN113822188B CN202111067634.5A CN202111067634A CN113822188B CN 113822188 B CN113822188 B CN 113822188B CN 202111067634 A CN202111067634 A CN 202111067634A CN 113822188 B CN113822188 B CN 113822188B
- Authority
- CN
- China
- Prior art keywords
- individual
- causal
- features
- time
- individuals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000001364 causal effect Effects 0.000 claims abstract description 234
- 230000006399 behavior Effects 0.000 claims abstract description 112
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000010586 diagram Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000011176 pooling Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 238000013519 translation Methods 0.000 claims description 16
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种时间因果诱导的斗殴行为的识别方法。本发明针对群体斗殴行为特点，即多人之间具有因果关系，具有时间延迟关系，具有空间依赖关系，来实现群体斗殴行为的特征提取。针对上述三个问题，分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合。依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本发明可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为检测。
Description
技术领域
本发明涉及视频监控中的行为识别技术领域，尤其涉及一种时间因果诱导的斗殴行为的识别方法，利用granger因果关系分析多人行为因果关系，从而更准确的识别群体斗殴行为。
背景技术
为了保证公共场合安全，保证人民生命安全，需要对群体斗殴行为进行监控。随着深度学习和计算机视觉技术的发展，群体斗殴行为识别正逐步引起社会的重视。
群体行为识别。群体行为识别方向一直收到学者们的广泛关注。随着深度学习的发展，卷积神经网络CNN提取的特征，明显改善了群体行为识别的性能。循环神经网络RNN模型可以有能力处理时序数据问题，例如LSTM构建层次时序模型，可以用来推断个体行为和群体活动。将图模型与深度神经网络相结合是深度学习领域的一个重要课题。由于对结构化数据进行表示的优势，图卷积可以进行空间上下文的融合，用于更好的描述个体行为特征。然而，上述方法并未考虑，空间上下文中多人的因果关系，即没有考虑交互行为双方谁是主动行为者，谁是被动行为者，不能很好的揭示空间特征融合过程的规律。
现有因果分析方法，主要涉及文本数据中的任务。《202011408734.5一种基于图模型的篇章级别事件因果关系抽取方法》在文本分析中，使用注意力融合上下文，得到篇章级的事件表示，用于估计事件因果关系。《201911144453.0一种用于矛盾纠纷事件因果关系识别的深度学习方法》设计上下文注意力模块用于文本处理中的因果关系识别。《202010829960.4一种面向事件序列的因果建模方法及装置》在文本事件分析中，使用时间条件找出对应事件的时间关系，设计时间因果网格用于因果关系分析。还有一些方法关注于面向数据的因果分析的方法。《202010972803.9一种基于因果关系的信息预测方法》计算节点之间的条件概率，分析多源数据和业务目标之间的因果关系。《201910242406.3一种基于深度学习的因果关系挖掘方法》通过分别对目标特征和备选特征进行时序统计量估计，使用统计量的差值来描述granger因果关系，当差值大于阈值，则说明备选特征有显著影响，备选特征和目标特征之间存在因果关系。《201910754617.5一种离散时序数据的非稳态性granger因果》使用期望最大化方法来估计序列中的granger因果关系。多人行为之间的因果分析，主要是基于轨迹特征分析。《钱乐义等，视频监控中小群体分析关键技术研究》利用轨迹特征的Granger因果关系构建有向图，并计算因果比率和反馈率用于分析交互行为类别。《张旭光等，基于因果网络分析的小规模人群行为识别》根据Granger模型，来计算成对轨迹中的位置序列的因果关系，并考虑第三方轨迹，来计算成组的因果关系。《谭程午等，基于融合特征的群体行为识别》在Granger因果关系估计基础上，估计因果约束的平均路径长度作为因果特征。《王军等，基于因果分析的群体行为识别》利用轨迹特征估计Granger因果关系对多人的交互关系进行分组。
外观特征也被用于分析多人行为之间的因果关系。《201910459028.4一种基于时序因果卷积网络的视频行为识别方法》设计时序卷积基础上，添加时空注意力，分析时间依赖关系作为时间因果，用于行为特征提取。《吴东涛等，复杂因果关联语境下交互行为分析》利用行为特征估计Granger因果关系，并用于验证视频摘要的合理性。现有的外观特征的Granger因果关系，还没有用于多人行为特征的空间图模型，更没有使用因果关系将多人行为特征进行融合，因此，本发明具有非可易见性。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种时间因果诱导的斗殴行为的识别方法。该方法针对群体斗殴行为特点，即多人之间具有因果关系，具有时间延迟关系，具有空间依赖关系，来实现群体斗殴行为的特征提取。针对上述三个问题，分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合。依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本方法可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为识别。
本发明是通过以下技术方案实现的：
一种时间因果诱导的斗殴行为的识别方法，具体包括以下步骤：
步骤1、根据群体斗殴行为训练集视频进行个体行为特征提取；
步骤2、根据提取的个体行为特征进行个体间时间因果关系强度识别，得到个体之间的因果关系矩阵和因果延迟矩阵；
步骤3、根据得到的个体之间的因果关系矩阵和因果延迟矩阵进行时间因果图融合的个体特征提取；
步骤4、根据步骤1提取的个体行为特征和步骤3提取的时间因果图融合后的个体特征进行群体特征空间图推理特征提取，进行预测群体斗殴行为类别；
步骤5、对群体斗殴行为训练集视频进行群体斗殴行为模型训练，得到群体斗殴识别模型参数；
步骤6、根据群体斗殴识别模型参数进行训练群体斗殴行为识别。
所述的步骤1的具体内容如下：
步骤1-1：输入群体斗殴行为训练集视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；
步骤1-2：对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，识别框作为个体的位置特征，并且同一个人在不同视频帧上的位置特征记作该个体的位置特征集合；
步骤1-3：将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且同一个人在不同视频帧上的外观特征记作该个体的外观特征集合；
所述的步骤2的具体内容如下：
步骤2-1：从步骤1-3中提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；
步骤2-2：将待分析的2个个体的外观特征集合记作Fi＝{fi,t}和Fj＝{fj,t}，其中i和j是个体编号，t是时间编号；
步骤2-3：设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；
步骤2-4：由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充，得到时间平移后的个体i的外观特征集合；
步骤2-5：根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和RSSR，有约束时，同时考虑两个个体；
步骤2-6：根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和RSSU，无约束时，只考虑第j个个体；
步骤2-7：计算F分布因果关系统计量，用于回归误差验证：
其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数，RSSU是无约束的回归误差总和，RSSR是有约束的回归误差总和；
步骤2-8：给定显著性水平α下F分布的临界值阈值Fα(delay，n-k)，该阈值是因果关系的阈值；
步骤2-9：将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系aij；
步骤2-9-1：如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；
步骤2-9-2：如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，第i个个体是主动行为者，第j个个体是被动行为者；
步骤2-10：重复步骤2-3到步骤2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子dij；
步骤2-11重复步骤2-1到步骤2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{aij}，并依次记录个体之间的最强因果关系的时间延迟矩阵D＝{dij}。
所述的步骤2-5的具体内容如下：
步骤2-5-1：设置因果时间窗口大小k；
步骤2-5-2：使用因果时间窗内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fi,t-s是第i个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]，fj,t-s是第j个个体在时间窗口内的特征，β0是有约束回归模型常数项参数，βs是有约束回归模型第j个个体的特征参数，αs是有约束回归模型第i个个体的特征参数，ε是有约束回归误差项；
步骤2-5-3：对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-5-4：对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-5-5：使用学习到的有约束回归模型，计算回归模型的特征预测误差，并计算多个方程有约束回归情况下的特征预测误差总和，记作有约束误差总和RSSR。
所述的步骤2-6的具体内容如下：
步骤2-6-1：设置因果时间窗口大小k；
步骤2-6-2：使用因果时间窗口内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fj,t-s是第j个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]，γ0是无约束回归模型常数项参数，γs是无约束回归模型第j个个体的特征参数，η是无约束回归模型误差项；
步骤2-6-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-6-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-6-5使用学习到的无约束回归模型，计算回归模型的特征预测误差，并计算多个方程无约束回归情况下的特征预测误差总和，记作无约束误差总和RSSU。
所述的步骤2-10的具体内容如下：
步骤2-10-1：找出个体i和个体j之间最大的因果关系统计量，作为最强因果关系；
步骤2-10-1-1：如果最大的因果关系统计量，大于步骤2-8的临界值阈值，则认为个体之间存在因果关系，记作aij＝1；
步骤2-10-1-2：如果最大的因果关系统计量，小于步骤2-8的临界值阈值，则认为个体之间不存在因果关系，记作aij＝0；
步骤2-10-2：记录最强因果关系时间延迟因子delay，记作dij。
所述的步骤3的具体内容如下：
步骤3-1：根据步骤2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；
步骤3-2：在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系aij＝1的个体，获得有因果关系的主动行为者集合；
步骤3-3：依次遍历主动行为者，获得主动行为者的外观特征集合；
步骤3-4：根据步骤2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；
步骤3-5：对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；
步骤3-6：将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征
其中，C是外观特征的通道数，表示第j个个体的第t帧的特征，其中选择了第1个通道到第/>个通道的特征，/>表示平均后的主动行为者的第t帧的特征，其中选择了第/>个通道到第C个通道的特征，融合后的个体特征包括C个通道，其中3/4的通道是原始特征，1/4的通道是平均后的主动行为者特征；
步骤3-7：重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；
所述的步骤4的具体内容如下：
步骤4-1：根据位置特征，构建空间关系图：
步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；
步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重ei,j＝0，如果个体间的距离小于阈值，则在空间关系图中个体之间的权重ei,j＝1；
步骤4-2根据融合后的特征，构建外观关系图；
步骤4-2-1：输入步骤3-6得到的融合后的个体特征
步骤4-2-2：根据融合后的特征，计算2个个体之间特征的相关性si,j，计算公式如下
其中是个体i融合后的特征，T是特征向量的转置插座，/>是个体j融合后的特征；
步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为:
其中ei,j是步骤4-1-2计算的个体之间的权重，si,j是个体之间的相似度；
步骤4-4：根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为
Fgraph＝σ(G·Fagg·W)
其中是一个矩阵，该矩阵包含各个空间外观图融合后的个体特征，σ(·)是sigmoid函数，/>是矩阵，该矩阵包含各个融合后的个体特征，W为图卷积的参数；
步骤4-5：将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；
步骤4-6：将群体特征经过2层全连接层处理，预测群体斗殴行为类别。
所述的步骤5的具体内容如下：
步骤5-1：输入训练视频集合，采用滑动窗口获得视频帧集合；
步骤5-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；
步骤5-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；
步骤5-4：输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤5-5：输入因果融合后的个体特征，位置特征，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤5-6：输入空间融合后的个体特征，根据步骤4-5和步骤4-6，预测群体斗殴行为类别；
步骤5-7：根据预测的群体斗殴行为类别，和训练集上的真实标记，使用交叉熵函数设置损失函数
Loss＝L(y,ygt)+||θ||1
其中，第1项是预测误差，Y是步骤4-6预测的类别，ygt是人工标记的类别，L(.)是交叉熵函数,第2项是1范数的正则项，其中θ是模型的参数，模型的参数包括步骤4-4中图卷积参数和步骤4-6中的全连接层参数；
步骤5-8：根据训练集的预测结果、真实标记和损失函数，对模型进行训练，获得群体斗殴识别模型的参数，参数包括步骤4-4中图卷积参数和步骤4-6中的全连接层参数。
所述的步骤6的具体内容如下：
步骤6-1：输入测试视频，采用滑动窗口获得视频帧；
步骤6-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；
步骤6-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵和因果延时矩阵；
步骤6-4：输入个体特征，根据因果关系矩阵、因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤6-5：输入因果融合后的个体特征、位置特征，输入步骤5-8获得的图卷积参数，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤6-6：输入空间融合后的个体特征，输入步骤5-8获得的全连接层参数，根据步骤4-5和步骤4-6，预测群体斗殴行为类别。
本发明的优点是：本发明分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合，依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本发明可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为检测。
附图说明
图1时间因果诱导的斗殴行为识别方法流程图。
图2人体检测和个体行为位置特征。
图3个体间时间因果关系的提取(图3a为Granger无约束回归预测；图3b为Granger有约束回归预测；图3c为F分布因果关系阈值；图3d为因果关系矩阵；图3e为因果延时矩阵)。
图4个体的时间因果图融合特征提取(图4a为个体检测；图4b为主动行为者和被动行为者；图4c为主动行为者特征平移；图4d为因果图特征融合)。
图5群体特征空间图推理特征提取与预测。
具体实施方式
如图1所示，一种时间因果诱导的斗殴行为的识别方法，具体包括以下步骤：
步骤1个体行为特征提取，如图2所示：
步骤1-1输入视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；
步骤1-2对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，该识别框作为个体的位置特征，并且将多个人在不同视频帧上的位置特征记作个体的位置特征集合；
步骤1-3将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且将多个人在不同视频帧上的外观特征记作个体的外观特征集合；
步骤2个体间时间因果关系强度识别
步骤2-1从步骤1-3中，提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；
步骤2-2将待分析的2个个体的外观特征集合记作Fi＝{fi,t}和Fj＝{fj,t}，其中i和j是个体编号，t是时间编号；
步骤2-3设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；
步骤2-4由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充；得到时间平移后的个体i的外观特征集合；
步骤2-5根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和，如图3所示，图3a为Granger无约束回归预测；图3b为Granger有约束回归预测；图3c为F分布因果关系阈值；图3d为因果关系矩阵；图3e为因果延时矩阵，有约束时，同时考虑两个个体：
步骤2-5-1设置因果时间窗口大小k；
步骤2-5-2使用因果时间窗内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fi,t-s是第i个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]，fj,t-s是第j个个体在时间窗口内的特征。β0是有约束回归模型常数项参数，βs是有约束回归模型第j个个体的特征参数，αs是有约束回归模型第i个个体的特征参数，ε是有约束回归误差项，允许回归模型存在误差，以便鲁棒处理不同的时间窗。
步骤2-5-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-5-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-5-5使用学习到的有约束回归模型，计算回归模型的特征预测误差，并计算多个方程有约束回归情况下的特征预测误差总和，记作有约束误差总和RSSR；
步骤2-6根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和，无约束时，只考虑第j个个体：
步骤2-6-1设置因果时间窗口大小k；
步骤2-6-2使用因果时间窗口内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fj,t-s是第j个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]。γ0是无约束回归模型常数项参数，γs是无约束回归模型第j个个体的特征参数，η是无约束回归模型误差项，允许回归模型存在误差，以便鲁棒处理不同时间窗。
步骤2-6-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-6-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-6-5使用学习到的无约束回归模型，计算回归模型的特征预测误差，并计算多个方程无约束回归情况下的特征预测误差总和，记作无约束误差总和RSSU；
步骤2-7计算F分布因果关系统计量，用于回归误差验证：
其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数。RSSU是无约束的回归误差总和，由步骤2-6-5得到，RSSR是有约束的回归误差总和，由步骤2-5-5得到；
步骤2-8给定显著性水平α下F分布的临界值阈值Fα(delay，n-k)，该阈值是因果关系的阈值；
步骤2-9将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系；
步骤2-9-1如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；
步骤2-9-2如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，也就是说，第i个个体是主动行为者，第j个个体是被动行为者。
步骤2-10重复步骤2-3到2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子；
步骤2-10-1找出个体i和个体j之间最大的因果关系统计量，作为最强因果关系；
步骤2-10-1-1如果最大的因果关系统计量，大于步骤2-8的临界值阈值，则认为个体之间存在因果关系，记作aij＝1；
步骤2-10-1-2如果最大的因果关系统计量，小于步骤2-8的临界值阈值，则认为个体之间不存在因果关系，记作aij＝0；
步骤2-10-2记录最强因果关系时间延迟因子delay，记作dij；
步骤2-11重复步骤2-1到2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{aij}，并依次记录个体之间的最强因果关系的时间延迟矩阵D＝{dij}；
步骤3时间因果图融合的个体特征提取：如图4所示，图4a为个体检测；图4b为主动行为者和被动行为者；图4c为主动行为者特征平移；图4d为因果图特征融合；
步骤3-1根据2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；
步骤3-2在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系aij＝1的个体，获得有因果关系的主动行为者集合；
步骤3-3依次遍历主动行为者，获得主动行为者的外观特征集合；
步骤3-4根据2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；
步骤3-5对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；
步骤3-6将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征
其中，C是外观特征的通道数，表示第j个个体的第t帧的特征，其中选择了第1个通道到第/>个通道的特征，/>表示平均后的主动行为者的第t帧的特征，其中选择了第/>个通道到第C个通道的特征，融合后的个体特征包括C个通道，其中3/4的通道是原始特征，1/4的通道是平均后的主动行为者特征；
步骤3-7重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；
步骤4群体特征空间图推理特征提取，如图5所示：
步骤4-1根据位置特征，构建空间关系图：
步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；
步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重ei,j＝0，如果个体间的距离小于阈值，则在空间关系图中个体之间的权重ei,j＝1；
步骤4-2根据融合后的特征，构建外观关系图：
步骤4-2-1输入步骤3-6得到的融合后的个体特征
步骤4-2-2根据融合后的特征，计算2个个体之间特征的相关性si,j，计算公式如下
其中是个体i融合后的特征，T是特征向量的转置插座，/>是个体j融合后的特征；
步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为:
其中ei，j是步骤4-1-2计算的个体之间的权重，si，j是个体之间的相似度；
步骤4-4根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为
Fgraph＝σ(G·Fagg·W)
其中是一个矩阵，该矩阵包含各个空间外观图融合后的个体特征，σ(·)是sigmoid函数，/>是矩阵，该矩阵包含各个融合后的个体特征，W为图卷积的参数；
步骤4-5将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；
步骤4-6将群体特征经过2层全连接层处理，预测群体斗殴行为类别；
步骤5群体斗殴行为模型训练：
步骤5-1输入训练视频集合，采用滑动窗口获得视频帧集合；
步骤5-2输入视频帧集合，根据步骤1提取，及其个体位置特征，个体外观特征；
步骤5-3输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；
步骤5-4输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤5-5输入因果融合后的个体特征，位置特征，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤5-6输入空间融合后的个体特征，根据步骤4-5和步骤4-6，预测群体斗殴行为类别；
步骤5-7根据预测的群体斗殴行为类别，和训练集上的真实标记，使用交叉熵函数设置损失函数
Loss＝L(y，ygt)+||θ||1
其中，第1项是预测误差，y是步骤4-6预测的类别，ygt是人工标记的类别，L(.)是交叉熵函数，第2项是1范数的正则项，其中θ是模型的参数，这些参数包括，步骤4-4中图卷积参数，步骤4-6中的全连接层参数；
步骤5-8根据训练集的预测结果，真实标记，和损失函数，对模型进行训练，获得群体斗殴识别模型的参数，参数包括，步骤4-4中图卷积参数，步骤4-6中的全连接层参数；
步骤6群体斗殴行为识别:
步骤6-1输入测试视频，采用滑动窗口获得视频帧；
步骤6-2输入视频帧集合，根据步骤1提取，及其个体位置特征，个体外观特征；
步骤6-3输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；
步骤6-4输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤6-5输入因果融合后的个体特征，位置特征，输入步骤5-8获得的图卷积参数，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤6-6输入空间融合后的个体特征，输入步骤5-8获得的全连接层参数，根据步骤4-5和步骤4-6，预测群体斗殴行为类别。
Claims (6)
1.一种时间因果诱导的斗殴行为的识别方法，其特征在于：具体包括以下步骤：
步骤1、根据群体斗殴行为训练集视频进行个体行为特征提取；
步骤2、根据提取的个体行为特征进行个体间时间因果关系强度识别，得到个体之间的因果关系矩阵和因果延迟矩阵；
步骤3、根据得到的个体之间的因果关系矩阵和因果延迟矩阵进行时间因果图融合的个体特征提取；
步骤4、根据步骤1提取的个体行为特征和步骤3提取的时间因果图融合后的个体特征进行群体特征空间图推理特征提取，进行预测群体斗殴行为类别；
步骤5、对群体斗殴行为训练集视频进行群体斗殴行为模型训练，得到群体斗殴识别模型参数；
步骤6、根据群体斗殴识别模型参数进行训练群体斗殴行为识别；
所述的步骤1的具体内容如下：
步骤1-1：输入群体斗殴行为训练集视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；
步骤1-2：对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，识别框作为个体的位置特征，并且同一个人在不同视频帧上的位置特征记作该个体的位置特征集合；
步骤1-3：将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且同一个人在不同视频帧上的外观特征记作该个体的外观特征集合；
所述的步骤2的具体内容如下：
步骤2-1：从步骤1-3中提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；
步骤2-2：将待分析的2个个体的外观特征集合记作Fi＝{fi,t}和Fj＝{fj,t}，其中i和j是个体编号，t是时间编号；
步骤2-3：设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；
步骤2-4：由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充，得到时间平移后的个体i的外观特征集合；
步骤2-5：根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和RSSR，有约束时，同时考虑两个个体；
步骤2-6：根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和RSSU，无约束时，只考虑第j个个体；
步骤2-7：计算F分布因果关系统计量，用于回归误差验证：
其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数，RSSU是无约束的回归误差总和，RSSR是有约束的回归误差总和；
步骤2-8：给定显著性水平α下F分布的临界值阈值Fα(delay，n-k)，该阈值是因果关系的阈值；
步骤2-9：将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系aij；
步骤2-9-1：如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；
步骤2-9-2：如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，第i个个体是主动行为者，第j个个体是被动行为者；
步骤2-10：重复步骤2-3到步骤2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子dij；
步骤2-11重复步骤2-1到步骤2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{aij}，并依次记录个体之间的最强因果关系的时间延迟矩阵D＝{dij}；
所述的步骤3的具体内容如下：
步骤3-1：根据步骤2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；
步骤3-2：在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系aij＝1的个体，获得有因果关系的主动行为者集合；
步骤3-3：依次遍历主动行为者，获得主动行为者的外观特征集合；
步骤3-4：根据步骤2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；
步骤3-5：对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；
步骤3-6：将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征
其中，C是外观特征的通道数，表示第j个个体的第t帧的特征，其中选择了第1个通道到第/>个通道的特征，/>表示平均后的主动行为者的第t帧的特征，其中选择了第/>个通道到第C个通道的特征，融合后的个体特征包括C个通道，其中3/4的通道是原始特征，1/4的通道是平均后的主动行为者特征；
步骤3-7：重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；
所述的步骤4的具体内容如下：
步骤4-1：根据位置特征，构建空间关系图：
步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；
步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重ei,j＝0，如果个体间的距离小于阈值，则在空间关系图中个体之间的权重ei,j＝1；
步骤4-2根据融合后的特征，构建外观关系图；
步骤4-2-1：输入步骤3-6得到的融合后的个体特征
步骤4-2-2：根据融合后的特征，计算2个个体之间特征的相关性si,j，计算公式如下
其中Fi agg是个体i融合后的特征，T是特征向量的转置插座，是个体j融合后的特征；
步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为:
其中ei,j是步骤4-1-2计算的个体之间的权重，si,j是个体之间的相似度；
步骤4-4：根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为
Fgraph＝σ(G·Fagg·W)
其中Fgraph＝{Fi graph}是一个矩阵，该矩阵包含各个空间外观图融合后的个体特征，σ(·)是sigmoid函数，Fagg＝{Fi agg}是矩阵，该矩阵包含各个融合后的个体特征，W为图卷积的参数；
步骤4-5：将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；
步骤4-6：将群体特征经过2层全连接层处理，预测群体斗殴行为类别。
2.根据权利要求1所述的一种时间因果诱导的斗殴行为的识别方法，其特征在于：所述的步骤2-5的具体内容如下：
步骤2-5-1：设置因果时间窗口大小k；
步骤2-5-2：使用因果时间窗内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fi,t-s是第i个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]，fj,t-s是第j个个体在时间窗口内的特征，β0是有约束回归模型常数项参数，βs是有约束回归模型第j个个体的特征参数，αs是有约束回归模型第i个个体的特征参数，ε是有约束回归误差项；
步骤2-5-3：对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-5-4：对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-5-5：使用学习到的有约束回归模型，计算回归模型的特征预测误差，并计算多个方程有约束回归情况下的特征预测误差总和，记作有约束误差总和RSSR。
3.根据权利要求1所述的一种时间因果诱导的斗殴行为的识别方法，其特征在于：所述的步骤2-6的具体内容如下：
步骤2-6-1：设置因果时间窗口大小k；
步骤2-6-2：使用因果时间窗口内的特征，预测下一帧被动行为者的特征，回归模型如下：
其中fj,t是第j个个体的第t帧的特征，t是第t帧的时间编号，fj,t-s是第j个个体在时间窗口内的特征，s的取值范围是[1,k]，因果时间窗为[t-k,t-1]，γ0是无约束回归模型常数项参数，γs是无约束回归模型第j个个体的特征参数，η是无约束回归模型误差项；
步骤2-6-3对外观特征集合，利用因果时间窗滑动，得到多个滑动窗口的回归方程，其方程个数即为样本容量n；
步骤2-6-4对多个滑动窗口的回归方程，进行回归，使用误差作为目标函数，使用梯度下降法求解回归模型参数，得到在多个方程上预测误差最小的回归模型；
步骤2-6-5使用学习到的无约束回归模型，计算回归模型的特征预测误差，并计算多个方程无约束回归情况下的特征预测误差总和，记作无约束误差总和RSSU。
4.根据权利要求1所述的一种时间因果诱导的斗殴行为的识别方法，其特征在于：所述的步骤2-10的具体内容如下：
步骤2-10-1：找出个体i和个体j之间最大的因果关系统计量，作为最强因果关系；
步骤2-10-1-1：如果最大的因果关系统计量，大于步骤2-8的临界值阈值，则认为个体之间存在因果关系，记作aij＝1；
步骤2-10-1-2：如果最大的因果关系统计量，小于步骤2-8的临界值阈值，则认为个体之间不存在因果关系，记作aij＝0；
步骤2-10-2：记录最强因果关系时间延迟因子delay，记作dij。
5.根据权利要求1所述的一种时间因果诱导的斗殴行为的识别方法，其特征在于：所述的步骤5的具体内容如下：
步骤5-1：输入训练视频集合，采用滑动窗口获得视频帧集合；
步骤5-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；
步骤5-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵，和因果延时矩阵；
步骤5-4：输入个体特征，根据因果关系矩阵，因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤5-5：输入因果融合后的个体特征，位置特征，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤5-6：输入空间融合后的个体特征，根据步骤4-5和步骤4-6，预测群体斗殴行为类别；
步骤5-7：根据预测的群体斗殴行为类别，和训练集上的真实标记，使用交叉熵函数设置损失函数
Loss＝L(y,ygt)+||θ||1
其中，第1项是预测误差，Y是步骤4-6预测的类别，ygt是人工标记的类别，L(.)是交叉熵函数,第2项是1范数的正则项，其中θ是模型的参数，模型的参数包括步骤4-4中图卷积参数和步骤4-6中的全连接层参数；
步骤5-8：根据训练集的预测结果、真实标记和损失函数，对模型进行训练，获得群体斗殴识别模型的参数，参数包括步骤4-4中图卷积参数和步骤4-6中的全连接层参数。
6.根据权利要求5所述的一种时间因果诱导的斗殴行为的识别方法，其特征在于：所述的步骤6的具体内容如下：
步骤6-1：输入测试视频，采用滑动窗口获得视频帧；
步骤6-2：输入视频帧集合，根据步骤1提取个体位置特征和个体外观特征；
步骤6-3：输入视频帧的个体外观特征，根据步骤2，进行个体间的因果关系预测，得到个体间的因果关系矩阵和因果延时矩阵；
步骤6-4：输入个体特征，根据因果关系矩阵、因果延时矩阵，根据步骤3，获得因果融合后的个体特征；
步骤6-5：输入因果融合后的个体特征、位置特征，输入步骤5-8获得的图卷积参数，根据步骤4-1到步骤4-4，获得空间融合后的个体特征；
步骤6-6：输入空间融合后的个体特征，输入步骤5-8获得的全连接层参数，根据步骤4-5和步骤4-6，预测群体斗殴行为类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111067634.5A CN113822188B (zh) | 2021-09-13 | 2021-09-13 | 一种时间因果诱导的斗殴行为的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111067634.5A CN113822188B (zh) | 2021-09-13 | 2021-09-13 | 一种时间因果诱导的斗殴行为的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822188A CN113822188A (zh) | 2021-12-21 |
| CN113822188B true CN113822188B (zh) | 2024-06-11 |
Family
ID=78914389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111067634.5A Active CN113822188B (zh) | 2021-09-13 | 2021-09-13 | 一种时间因果诱导的斗殴行为的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822188B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020591A (zh) * | 2012-11-21 | 2013-04-03 | 燕山大学 | 一种基于因果网络分析的中等规模人群异常行为检测方法 |
| CN104504637A (zh) * | 2014-12-11 | 2015-04-08 | 广东工业大学 | 基于行为时间序列的社交网络因果关系发现算法 |
| WO2019160138A1 (ja) * | 2018-02-19 | 2019-08-22 | 日本電信電話株式会社 | 因果推定装置、因果推定方法、及びプログラム |
| CN111401174A (zh) * | 2020-03-07 | 2020-07-10 | 北京工业大学 | 一种基于多模态信息融合的排球群体行为识别方法 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113297936A (zh) * | 2021-05-17 | 2021-08-24 | 北京工业大学 | 一种基于局部图卷积网络的排球群体行为识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8255346B2 (en) * | 2009-11-11 | 2012-08-28 | International Business Machines Corporation | Methods and systems for variable group selection and temporal causal modeling |
-
2021
- 2021-09-13 CN CN202111067634.5A patent/CN113822188B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020591A (zh) * | 2012-11-21 | 2013-04-03 | 燕山大学 | 一种基于因果网络分析的中等规模人群异常行为检测方法 |
| CN104504637A (zh) * | 2014-12-11 | 2015-04-08 | 广东工业大学 | 基于行为时间序列的社交网络因果关系发现算法 |
| WO2019160138A1 (ja) * | 2018-02-19 | 2019-08-22 | 日本電信電話株式会社 | 因果推定装置、因果推定方法、及びプログラム |
| CN111401174A (zh) * | 2020-03-07 | 2020-07-10 | 北京工业大学 | 一种基于多模态信息融合的排球群体行为识别方法 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113297936A (zh) * | 2021-05-17 | 2021-08-24 | 北京工业大学 | 一种基于局部图卷积网络的排球群体行为识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于因果分析的群体行为识别;王军;夏利民;;电子科技大学学报;20180330(第02期);全文 * |
| 基于融合特征的群体行为识别;谭程午;夏利民;王嘉;;计算机技术与发展;20171019(第01期);全文 * |
| 复杂的时间序列Granger因果模型的参数估计;廖加武;陈福来;;生物数学学报;20160915(第03期);全文 * |
| 多维时间序列Granger因果性的一种图模型学习方法;魏岳嵩;田铮;;系统科学与数学;20110515(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822188A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11881022B2 (en) | Weakly-supervised action localization by sparse temporal pooling network | |
| CN111652066A (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN109902564B (zh) | 一种基于结构相似性稀疏自编码网络的异常事件检测方法 | |
| CN111753918B (zh) | 一种基于对抗学习的去性别偏见的图像识别模型及应用 | |
| CN111191667A (zh) | 基于多尺度生成对抗网络的人群计数方法 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| Goyal et al. | Your behavior signals your reliability: Modeling crowd behavioral traces to ensure quality relevance annotations | |
| CN112329974B (zh) | 基于lstm-rnn的民航安保事件行为主体识别与预测方法及系统 | |
| CN112766339A (zh) | 一种轨迹识别模型训练方法及轨迹识别方法 | |
| CN117061322A (zh) | 物联网流量池管理方法及系统 | |
| Urgun et al. | Composite system reliability analysis using deep learning enhanced by transfer learning | |
| CN111881299A (zh) | 基于复制神经网络的离群事件检测与识别方法 | |
| CN117530684B (zh) | 一种基于健康大数据的血糖异常检测与预警系统及方法 | |
| CN113822188B (zh) | 一种时间因果诱导的斗殴行为的识别方法 | |
| CN117612369A (zh) | 短时交通流量预测方法、系统、存储介质、设备及终端 | |
| CN117257302A (zh) | 人员心理健康状态评估方法及系统 | |
| CN112347965A (zh) | 一种基于时空图的视频关系检测方法和系统 | |
| CN117009900A (zh) | 一种基于图神经网络的物联网信号异常检测方法和系统 | |
| CN106845386B (zh) | 一种基于动态时间规整与多核学习的动作识别方法 | |
| CN115240271A (zh) | 基于时空建模的视频行为识别方法与系统 | |
| Li et al. | A human-like action learning process: Progressive pose generation for motion prediction | |
| CN111698269A (zh) | 一种基于Plackett-Luce模型的网络入侵检测方法 | |
| Geng | [Retracted] Adaptive Gaussian Incremental Expectation Stadium Parameter Estimation Algorithm for Sports Video Analysis | |
| Gerych et al. | Positive unlabeled learning with a sequential selection bias | |
| CN109886183B (zh) | 基于桥式神经网络的人脸年龄估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |