CN111626171A - 基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法 - Google Patents

Abstract

本发明提出一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，主要用于解决视频监控场景下群组行为识别的精度问题，以提高群组行为识别精度并排除视频中大量冗余信息；首先，利用片段注意力机制提取视频中的关键片段，并通过P3D网络提取其时空特征；然后利用卷积关系机制构建群组活动图以捕获人与人之间的交互关系，并通过多个阶段、不同类型的卷积操作对活动图进行优化，形成对组群关系的动态描述；进一步，通过融合机制将优化后的组群关系活动图与原始的P3D特征进行融合，旨在将底层的P3D特征和高层的组群特征进行结合，避免特征丢失；最后，将融合后的特征利用softmax分类器对群组行为进行识别，以获得更高的组群行为识别精度和效果。

Description

基于视频片段注意力机制与交互关系活动图建模的群组行为 识别方法

技术领域

本发明属于组群行为识别领域，具体涉及一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法。

背景技术

近年来，基于视频的人体行为识别技术受到了学术界的广泛关注，并且在许多工业领域也有着非常重要的应用前景，例如智能监控领域，公共安全领域以及人机交互领域等。卷积神经网络的出现，极大程度地促进了图像分类、图像分割以及目标检测等任务的发展。许多科研人员通过建立各种不同深度和宽度的网络结构，从图像中提取复杂的特征。而行为识别系统性能的好坏，在很大程度上取决于是否可以有效的利用这些重要信息。针对基于视频的群组行为识别而言，不仅要考虑场景中单人的行为，而且要考虑场景中人与人之间的交互关系。

公开号为【CN109064484A】的发明专利公开一种“基于子群组划分与动量特征融合的人群运动行为识别方法”，包括以下步骤：第一步：输入连续的视频帧，并对视频帧进行划分，将每一帧中的每个人作为一个特征跟踪点，并跟踪每个特征点的三种动量信息，包括每个点的空间坐标、位移大小以及运动方向；并将所有跟踪点的动量信息进行统计；第二步：子群体的移动特征由动量特征决定，以子群体和子群体内的特征跟踪点为基础，定义三种不同的动量特征：运动方向一致性、空间稳定性、人群摩擦冲突性；第三步：计算连续5帧内的描述因子的平均值，用三个平均值构造一个向量，共同组成一个三通道的图像，并输入到微分递归卷积神经网络中进行训练，最后采用输出函数将特征向量转化为人群行为标签，实现人群运动行为识别。

但是，该方案中：(1)第一步采用Harris角点跟踪算法获取视频图像帧中运动目标的空间信息，该算法虽然对L型、X型和Y型的角点提取效果较好，但在提取型T斜T型角点时存在定位偏差；另外，Harris算法不具有尺度不变性，而且检测时间较长；(2)第三步中所使用的微分循环神经网络是将VGG-16网络与LSTM网络进行连接，实现端到端的特征提取；这样做虽然可以有效捕获连续帧间的时空特征，但无法提取底层信息之间的依存关系，容易丢失上下文信息；(3)另外，该方案采用人工标注的方法，根据行为发生的主体、地点以及行为本身的特点来对训练样本进行标注，需要耗费大量的时间和人力成本，对模型训练数据集的规模扩大带来了限制，且人工标注的数据集掺杂了很多人为因素，不利于网络的学习。

发明内容

为克服现有技术的缺点和不足，综合考虑各种行为识别网络的性能和有效性，本发明提出了一种基于片段注意机制与卷积关系机制的深度网络模型，该网络能够通过片段注意力机制提取视频中的关键片段，并利用卷积关系机制提取群组活动中人与人之间的交互关系，二者相结合能够获得更好的群组行为识别效果。

本发明是采用以下的技术方案实现的：一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于，包括以下步骤：

步骤A、基于片段注意力机制提取关键视频片段；

步骤A1、将待识别视频数据等时长分段，并利用稀疏采样策略在每个分段视频中随机抽取一帧代表一个小的片段，然后对每个视频帧进行空间特征提取；

步骤A2、构建片段注意力模型对不同视频帧分配不同权重，并对权重进行迭代优化，实现对关键片段的有效利用；

步骤A3、提取迭代优化后的最高权重对应的关键视频帧，进而得到其所对应的关键视频片段；

步骤B、提取关键视频片段的时空特征；

步骤C、基于卷积关系机制提取上述时空特征中的组群成员活动强度交互关系，所述卷积关系机制是指基于单人和群组活动，通过其学习产生一个活动图，并通过多个阶段、不同类型的卷积操作对活动图进行优化，形成对组群关系的动态描述；

步骤D、融合步骤B提取的时空特征与步骤C提取的交互关系进行群组行为识别。

进一步的，所述步骤B中，提取关键视频片段的时空特征时具体采用以下方式：

步骤B1、构建P3DResNet网络；

(1)P3DResNet网络中的卷积核为3D卷积核，将3*3*3的卷积核分解成1*3*3的二维空间卷积和3*1*1的一维时间卷积，二维空间卷积用S表示，一维时间卷积用T表示；

(2)设计P3D-A、P3D-B和P3D-C三种块结构：

P3D-A的表示形式为：

(I+T·S)·x_t＝x_t+T(S(x_t))＝x_t+1 (7)

其中，I表示原始视频图像，x_t和x_t+1分别表示残差单元在时间t的输入和输出，S(x_t)表示对x_t进行空间卷积，T(S(x_t)表示对S(x_t)进行时域卷积；

P3D-B的表示形式为：

(I+S+T)·x_t＝x_t+S(x_t)+T(x_t)＝x_t+1 (8)

P3D-C的表示形式为：

(I+S+T·S)·x_t＝x_t+S(x_t)+T(S(x_t))＝x_t+1 (9)

(3)将P3D-A、P3D-B和P3D-C三种块结构进行顺次连接组合形成P3D-ResNet网络结构；

步骤B2、提取时空特征：将步骤A3中提取的关键视频片段输入至所构建的P3DResNet网络中，得到整个关键片段的时空特征向量F_p3d，也称之为初始特征；

进一步的，所述步骤C具体采用以下方式实现：

步骤C1、构建单人活动图A^I：

基于每个人的边界框、单人行为类别以及群组活动类别，通过二维高斯概率密度函数构建活动图，进而得到单人活动图A^I，设第m个人的活动图为

其中，

m∈[1,N_p]，N_p表示组群中成员的总数，则；

f_m(z)为二维高斯概率密度函数，第m个人的边界框为

单人行为类别为i，z是第m人运动属性i中运动特征变量F_p3d，μ_m为第m个人边界框的中心位置坐标，∑m是一个协方差矩阵，根据每个人边界框的宽度和高度计算得到；

步骤C2、构建整体群组活动图

以初始特征F_p3d作为卷积关系机制网络的输入，产生初始群组活动图

初始群组活动图

是由卷积函数φ生成每个个人的单人活动图A^I、并分配不同的初始权重构建出的整体性联合高斯混合模型，且所有人的权重之和为1；权重初始化时采用均匀分布策略，使得每个个体活动图权重均为

再经过几个阶段的迭代优化，得到最后的群组活动图

具体表示为：

其中，T为总的优化阶段数，

表示融合，函数φ和ψ是卷积机制中的不同卷积层的卷积函数；定义conv(x)是含有x个卷积核的卷积层并且步长为1，φ为由三个conv(3)和两个conv(1)组成的函数；所有的ψ与φ具有相同的卷积层数，仅卷积核的尺寸不同，ψ_t为由三个conv(7)和两个conv(1)组成的函数，在第t阶段产生当前活动图

其中N＝N_I+N_G，N_I和N_G分别为个人行为类别数量和群组活动类别的数量。

进一步的，所述步骤D具体通过以下方式实现：

步骤D1、特征融合；

融合初始特征F_p3d以及最终的群租活动图

作为最终的组群行为特征，以预测最终的群组行为类别，得到融合特征：

其中，

是组群行为特征；

步骤D2、模型训练；

(1)设计损失函数：

L＝w_AL_A+w_GL_G, (16)

其中L_A是T时间段内总活动图的损失函数，

是第t个阶段活动图的损失函数，L_G是群组活动损失函数，L是该模型所有阶段的损失函数，P_i表示群组活动真实标签，

表示实际输出标签，w_A和w_G分别控制总活动图损失和群组活动损失的重要性；

(2)构建优化函数：采用Adam算法作为模型的优化函数，使损失函数中的损失值最小；

步骤D3、群组行为识别；

将步骤D1中的融合特征输入至softmax分类器中，输出预测的群组行为标签，并通过L_G计算预测值与真实值之间的损失函数，通过反向传播对参数进行不断优化，输出最终的群组行为标签，进而实现对群租行为的识别。

进一步的，所述步骤A1中，在进行预处理时具体采用以下方式：

Step1：对某一视频V进行等时长分组，分组数为α，将视频划分为α个等时长的片段{S₁,S₂,...S_i,...S_α}；

Step2：从每个片段中随机选择一帧组成一个新的重组序列{T₁,T₂,...T_i,T_α}，每个帧T_i为片段S_i的代表，从其对应的分段中随机抽取；

Step3：基于Step2中的采样策略对该视频执行K次，以生成K组重组片段N＝{N₁,N₂,...,N_K}；

N＝{N₁,N₂,....N_k}

{[T₁₁,T₁₂,...,T_1α],[T₂₁,T₂₂,...,T_2α],......,[T_i1,T_i2,...,T_iα],......,[T_K1,T_K2,...,T_Kα]}；

Step4：将K组重组片段分别作为一个独立的单元，基于卷积神经网络提取其空间特征。

进一步的，所述步骤A2通过构建片段注意力模型实现关键片段的有效利用，具体采用以下方式实现：

Step1:视频稀疏采样，并提取多通道特征；

提取空间特征后，重组视频片段中的每一帧将产生多个特征通道，每个特征通道代表一个特征检测器；

Step2:通过平均池化压缩每个通道的空间特征，得到压缩后的特征图，实现降维以减少计算负荷，全局平均池化公式如下：

其中，C＝[C₁,C₂,...,C_αβ]表示所有特征检测器，G_s-ave表示空间全局池化函数，x_m表示C中一个通道的特征统计信息，m∈[1,αβ]，C_m是C中的第m个通道；

Step3:设计两个全连接层子网络，基于高阶非线性激活函数得到片段注意力权重；

(1)将压缩后的特征图输入到依次连接的两个全连接层以捕获全局时间依赖关系，第一个全连接层的尺寸为1×αβ×r，其中r表示减少率，第二个全连接层尺寸为1×αβ，α·β表示通道特征的数量；

(2)基于高阶非线性激活函数计算片段权重，并通过原始向量与该权重的点乘操作实现对输入特征的优化。

进一步的，所述步骤B2具体采用以下方式实现：

首先，将输入层或时空特征提取层的输出经过一个1*1*1的卷积层调整特征维度；

然后输入1*3*3的空间卷积层提取空间特征，进一步输入3*1*1的时间卷积层得到时空特征；

最后，使用1*1*1的卷积核进行特征融合得到时空特征表示，通过平均池化层和全连接层得到整个关键片段的时空特征向量F_p3d。

与现有技术相比，本发明的优点和积极效果在于：

(1)基于分段稀疏采样策略对原始视频帧进行分组采样，并利用片段注意力机制提取对行为识别贡献率最大的视频片段，以极大程度的降低视频的冗余信息的干扰；减少了数据存储的空间，提高了网络的运行效率，具有更低的计算成本和更优的普适性；

(2)利用卷积关系机制进行群组行为识别，通过构建交互活动图捕获群组活动中人与人之间的交互关系，经过多个阶段的卷积优化策略，对交互活动图进行不断更新，从而使得到的特征更加精细，识别效果更佳精确；

(3)基于片段注意力机制与卷积关系机制相结合的方法进行群组行为识别，能够有效地利用深度神经网络，对组群成员活动强弱分布关系进行精确建模，从而提高对复杂行为的识别精度。

附图说明

图1为本发明实施例所述片段注意力模型示意图；

图2为本发明实施例三种不同P3D-ResNet块结构示意图；

图3为本发明实施例P3D-ResNet网络结构示意图；

图4为本发明实施例所述卷积关系机制结构示意图；

图5为本发明实施例所述组群行为识别方法整体流程示意图。

具体实施方式

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。

本发明公开一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，包括以下步骤：

第一步：基于片段注意力机制提取关键视频片段；

第二步：基于P3DResNet提取关键视频片段的时空特征；

第三步：基于卷积关系机制提取上述时空特征中的组群成员活动强度交互关系；

第四步：融合第二步提取的时空特征与第三步提取的交互关系进行群组行为识别。

具体的：

第一步：基于片段注意力机制提取关键视频片段

考虑到在整个视频片段中，每个视频帧的重要程度并不相同，有些视频帧对行为的识别是至关重要的，而有些视频帧是冗余的。针对该问题，本方案引入片段注意力机制对特征信息进行建模，在增强重要特征信息的同时抑制次要特征信息，从而提高模型的识别精度，其基本原理为：

首先，利用随机采样策略对待识别视频进行预处理；然后，将预处理好的数据通过卷积神经网络提取空间特征；进而通过特征变换，将所有空间特征进行级联，形成具有多个通道的时空特征；进一步利用片段注意力机制，为每一代表帧分配不同的权重，并通过反向传播对权重参数进行优化，权重值越大表示特征所对应的视频片段越重要；最后，提取权重值较大的视频片段，即为关键片段(注：片段注意力机制需要经过单独训练实现对关键片段自动赋予较大权重，具体链接softmax层，本实施例以groundtruth(volleyball)为例的样本实现训练，习得对关键片段的重视)，具体实施步骤如下所示：

1.1.利用随机采样策略对数据集进行预处理

本实施例以Volleyball数据集为例进行处理，该数据集共有160个视频，其中带有标注的有55个视频，共标注的视频帧数有4830帧，其中个人行为标签有9种：waiting，setting(二传)，digging(救球：接对方的扣球)，failing，spiking，blocking，jumping，moving，standing；群组行为标签有8种：rightset，rightspike，rightpass,rightwinpoint,leftwinpoint,leftpass,left spike，leftset.

在某种程度上，由于连续若干视频帧中提取的视觉特征不会发生显著变化，因此密集的时间采样通常会导致相邻采样帧之间存在较大信息冗余，采用稀疏时间采样策略可以去除冗余信息，同时降低计算量，提高运行速率。因此，基于该思路，本实施例对Volleyball数据集进行等时长分段，然后利用稀疏采样策略在每个分段视频中随机抽取一帧代表一个小的片段，具体操作如下：

Step1：对某一视频V进行等时长分组，分组数为α，即将视频划分为α个等时长的片段{S₁,S₂,...S_i,...S_α}；

Step2：从每个片段中随机选择一帧组成一个新的重组序列{T₁,T₂,...T_i,T_α}，每个帧T_i为片段S_i的代表，它是从其对应的分段中随机抽取；

Step3：为了避免上述随机抽取的偏差，将Step2中的采样策略对该视频执行K次，以生成K组重组片段N＝{N₁,N₂,...,N_K}，该步骤旨在增强训练样本，提高模型训练效果；

N＝{N₁,N₂,....N_k}

{[T₁₁,T₁₂,...,T_1α],[T₂₁,T₂₂,...,T_2α],......,[T_i1,T_i2,...,T_iα],......,[T_K1,T_K2,...,T_Kα]}；

Step4：将K组重组片段，分别以一个独立的单元输入卷积神经网络中提取空间特征，以便提高片段注意力模型的训练效果和模型精度。

1.2.构建片段注意力模型

一段完整的监控视频，无论在时间维度还是空间维度上都有大量的冗余信息，因此，增加了无关的干扰信息以及网络训练的负担。为了解决该问题，本发明提出一种片段注意力模型，通过网络训练让网络自动将更多注意力放在重要的视频片段上，实现对视频中与组群行为密切关联的重要片段的关注，来减少视频中的冗余信息，并降低网络的运算成本，同时提高识别精度。

受人类注意力感知机制的启发，注意力机制本质上是为了模仿人脑收集信息的方式，一般来说，人脑在进行人体活动识别时，除了从全局把握信息外，还更加关注某个时间段的信息。因此，本实施例通过构建片段注意力模型，实现关键片段的有效利用，如图1所示，其具体实现过程如下。

Step1:视频稀疏采样，并提取多通道特征

将步骤1.1中得到的重组视频片段{[T₁₁,T₁₂,...,T_1α],[T₂₁,T₂₂,...,T_2α],...[T_i1,T_i2,...T_iα]分别单独输入卷积神经网络中，以提取每个片段中每一帧的空间特征，以样本片段[T₁₁,T₁₂,...,T_1α]为例，在经过卷积神经网络提取特征后，样本片段中的每一帧都会产生多个特征通道，每个通道代表一个特征检测器(例如：β个卷积核就能产生β个特征通道)。

传统意义上的通道注意力机制是为每个卷积核分配不同权重，通过学习找到贡献率最大的卷积核，而在本方案中，通过设计为每β个卷积核分配一个权重，即为每一帧分配不同权重，通过学习找到贡献率最大的视频帧。

如，以样本片段[T₁₁,T₁₂,...,T_1α]为例，经过卷积神经网络所提取特征表示为：F₁＝[F₁₁,F₁₂,...,F_1α]，F_1i表示第i帧的β个通道特征，它是由F_1i分别与β个通道卷积核卷积运算获得。然后，将所有帧的特征进行级联，形成α·β个通道特征，将变换后的特征表示为

其中

表示级联。

F{α,β,W×H}→F'{1,αβ,W×H} (1)

其中，W和H表示每个特征检测器的宽度和高度。

Step2:通过平均池化压缩每个通道的空间特征，实现降维以减少计算负荷。

进一步执行空间全局平均池化操作，以将每个通道的空间信息进行压缩。全局平均池化计算公式如下：

其中，C＝[C₁,C₂,...,C_αβ]表示所有特征检测器，G_s-ave表示空间全局池化函数，x_m表示C中一个通道的特征统计信息，m∈[1,αβ]，C_m是C中的第m个通道，从而，可以将特征形状进一步更改为如下形式：

F'{1,αβ,W×H}→F”{1,αβ,1×1} (3)

Step3:通过两个全连接层和激活函数，以更高阶的非线性激活函数计算出片段注意力权重。

将压缩后的特征图输入到由两个全连接层组成的子网络中，目的是捕获全局时间依赖关系，构建第一个全连接层的尺寸为1×αβ×r，其中r表示减少率，这样设计的目的是将输入特征向量维度降低为原来的1/r，以降低参数量和计算开销(在实验中设置r＝1/16)，构建第二个全连接层尺寸为1×αβ，它等于输入的特征图数量，这样设计的目的是再将通道维度恢复至初始水平，目的是为了保持特征尺寸的不变性。

经过上述两层网络设计可以通过高阶非线性激活函数计算片段权重：

原始向量与该权重进行点乘运算，实现对输入特征的优化选择：

其中，F_T表示分配了权重的特征检测器，

表示sigmoid函数，δ表示ReLU函数，FC和FC’分别表示两个全连接层。相比一层全连接层，本实施例设置的优点是在降低计算开销的同时增加更高阶的非线性，增强网络的表达能力。

1.3.提取关键视频片段

根据步骤1.2为不同视频帧分配不同权重，通过迭代对权重进行优化经过反向传播算法对参数进行不断优化，提取最高权重所对应的关键视频帧，并将关键帧返回，找到其所对应的视频片段，即为关键的片段。

需要说明的是，本实施例中，在对所构建的片段注意力模型进行训练时采用以下方式：

本实施例采用分段训练方式，将上述得到的K组重组片段N＝{N₁,N₂,...,N_K}分别单独训练，以增强训练样本。所有片段在经过两个全连接层后，通过softmax归一化层获取属于每个行为类别的概率；最后，将所有的预测值取平均，以生成最终的预测结果，该策略不仅可以覆盖整个视频结构，而且还更适合本方案的片段注意力网络模型，它可以在保持准确性的同时降低计算成本。

设计损失函数:根据标准的交叉熵损失函数，损失函数如下：

其中，Λ＝ave(f(N₁；w),f(N₂；w),f(N_k；w)),Λ是带有参数w的平均聚合函数，表示从所有片段中推断出属于同一行为类别的分类得分；Λ_i是第i片段中推断出属于同一行为类别的分类得分；N_i为第i个样本片段，U为群组行为类别总数，y_i为类别i的groundtruth标签。

第二步：基于P3DResNet提取关键视频片段的时空特征

2.1.构建P3DResNet网络

为了构建P3DResNet网络，将ResNet中的2D残差单元的卷积核替换成3D卷积核，将3*3*3的卷积核分解成1*3*3的二维空间卷积(用S表示)和3*1*1的一维时间卷积(用T表示)。构建网络时，需要考虑的一个问题是，空间2D卷积和时间1D卷积应该具有直接作用还是间接作用。直接作用是指，将空间卷积运算的结果直接作为时间卷积的输入；间接作用是指，空间卷积运算和时间卷积运算并行执行；另外需要考虑的问题是两个卷积核的结果是否应直接应用于残差单元的输出，基于以上两种设计思想，本实施例采用三种P3D-ResNet块结构，如图2所示；

·P3D-A:

该方式是S直接影响T，首先完成特征图的2D卷积，然后执行时间1D卷积，T卷积的结果与原始特征进行融合一起作为残差块的输出，可以由以下公式进行表示：

(I+T·S)·x_t＝x_t+T(S(x_t))＝x_t+1 (7)

其中x_t和x_t+1分别表示残差单元中时间t的输入和输出；

·P3D-B:

该方法与P3D-A的不同之处在于，空间卷积和时间卷积之间没有直接联系，二者单独进行卷积运算，最后将它们的结果进行级联作为残差块的输出；

(I+S+T)·x_t＝x_t+S(x_t)+T(x_t)＝x_t+1 (8)

·P3D-C:

该方法是前两种方法的组合，并且将S的结果融合在最终结果中；

(I+S+T·S)·x_t＝x_t+S(x_t)+T(S(x_t))＝x_t+1 (9)

在设计残差单元时，将瓶颈结构添加到基本的2D残差块中以降低计算复杂性，具体来说，在3*3卷积层的前面和后面添加1*1的卷积层，以缩小和恢复特征图的尺寸；并且在将2D网络扩展成3D网络的过程中也保留了此想法。将P3D-A，P3D-B，P3D-C结构组合在一起，构成本实施例最终所需要的P3D-ResNet网络结构，如图3所示。

2.2.提取时空特征

输入步骤1.3所提取的关键视频片段S_i∈D×H×W×C到步骤2.1构建好的P3D-ResNet网络中，产生初始特征F_p3d，它将进一步输入卷积关系机制中，用来进行活动图预测以及最终的群组活动预测，其中W和H分别为输入视频帧的宽度和高度，D为输入的视频帧数，C为输入的通道数。

首先，将输入层或时空特征提取层的输出经过一个1*1*1的卷积层调整特征维度；然后输入1*3*3的空间卷积层提取空间特征，进一步输入3*1*1的时间卷积层得到时空特征；最后，使用1*1*1的卷积核进行特征融合得到时空特征表示。在经过若干个(比如取经验值33)时空特征提取模块后，通过平均池化层和全连接层得到整个关键片段的时空特征向量F_p3d，进而可以将初始特征F_p3d输入卷积关系机制中，捕获群组活动中人与人之间的交互关系。

第三步：组群交互关系活动图建模

本方案提出了一种描述组群中所有成员运动强弱的整体结构图，来表征组群成员交互关系强弱整体分布的建模方法，刻画组群整体的时空关系，用于捕获群组活动中人与人之间的交互关系，并将这种关系用一种活动图进行描述，通过设置多个阶段对活动图进行优化，以获得整体组群的活动图特征，具体的：

将步骤2.2所得到的时空特征向量F_p3d(初始特征)作为卷积关系机制网络的输入，产生初始活动图

经过多个阶段的优化过程，在第t阶段产生活动图

其中N＝N_I+N_G，N_I和N_G分别为个人行为类别数量和群组活动类别的数量。经过多个阶段的优化后，将会产生最终的活动图

其中T为优化阶段的总次数，t∈[1,T]。

其中，构建卷积关系机制实现组群关系活动图的建模的核心原理如下：

个人和组群的活动图的时序演变优化是由图4的卷积关系机制网络实现的，初始活动图

是由φ产生的，在空间形式上表示个人活动图

和群组活动图

其中，群组活动图可以看成是个人活动图联合分布，是对个人活动图的整合。定义conv(x)是含有x个卷积核的卷积层并且步长为1，φ是由三个conv(3)和两个conv(1)组成的函数；接下来，活动图经过T个阶段，使用ψ_t对其进行优化，ψ_t是由三个conv(7)和两个conv(1)组成的函数。

提取人与人之间的交互关系的具体步骤如下：

Stage1.构建单人活动图

根据数据集中所标注的每个人的边界框、单人行为类别以及群组活动类别，通过二维高斯概率密度函数来构建活动图，并将活动图表示为一组2D字段，用来描述该个体运动区域的中心坐标、运动强度、活动范围，并且每种行为对应一个活动图，每个人的活动图用活动区域的单高斯模型表示；

在训练过程中，假设将单人作为输入，通过获取地面真实人物边界框B∈R^M×4来构建活动图，其中单人行为类别为I∈{1,...,N_I}^M，群组活动类别G∈{1,...,N_G}。设第m个人的边界框为

单人行为类别为i，群组活动为g，第m个人的单人活动图

产生过程如下：

f_m(z)为二维高斯概率密度函数，z是运动属性i中运动特征变量F_p3d，μ_m为第m个人边界框的中心位置坐标，∑m是一个协方差矩阵，根据每个人边界框的宽度和高度计算得到。由于边界框是沿垂直和水平方向，因此协方差矩阵成对角线型。

Stage2:整体组群活动图的动态过程建模

群组活动图是对每个人活动区域的融合，采用高斯混合模型表示，并通过对每个个人的单人活动图分配不同的权重，构建整体性联合高斯混合模型，其中，活动剧烈的个体模型获得较大权重，以示其在组群行为中的主导作用，所有人的权重之和等于1；群组活动图优化过程描述如下：

给定输入的初始特征F_p3d，通过函数φ在第一阶段产生初始活动图

然后，通过另一个函数ψ₁，将F_p3d和

进行结合产生优化后的活动图

这样可以递推优化下去。卷积关系机制中的优化组件可以通过如下公式表示：

其中，T为总的优化阶段数，

表示融合。函数φ和ψ是由不同卷积层组成的卷积函数。定义conv(x)是含有x个卷积核的卷积层并且步长为1。φ是由三个conv(3)和两个conv(1)组成的函数。所有的ψ与φ具有相同的卷积层数，只是卷积核的尺寸不同，ψ_t是由三个conv(7)和两个conv(1)组成的。

第四步：融合时空特征与活动图交互关系进行群组行为识别

4.1.特征融合

优化后的活动图

为特征图F_p3d中个体之间的空间关系做一个丰富的描述，本方案接下来通过联合特征图F_p3d以及最终的活动图

作为最终的组群行为特征，用来预测最终的群组行为类别，由公式(15)计算得到：

其中，

是组群行为特征，它是ζ通过使用卷积层和池化层将原始特征F和活动图

进行融合，以产生最终的群组活动预测。假设定义一个形式为pool(x)的池化层表示过滤器的尺寸为x，步长为2。ζ的网络结构由conv(7)，pool(2)，conv(7)，pool(2)，conv(1)和一个全局平均池化层组成。对于ζ而言，共同推理特征图和活动图是很重要的。如果ζ的输入只有活动图，则网络将无法考虑到视觉表示与相应活动图之间的匹配，从而无法准确识别群组活动。

4.2网络模型训练

本实施例按照7:2:1的比例划分数据集，70％用来做训练集，20％用来做测试集，10％用来做验证集；为了让模型更加容易训练，本方案采用两阶段的训练策略进行训练：

Step1.构建损失函数

卷积关系机制具有多任务目标，必须尽可能准确的预测阶段t的活动图

进而生成正确的群组活动标签，根据单人和群组活动的活动图，将损失函数定义如下：

L＝w_AL_A+w_GL_G, (16)

其中L_A是T时间段内总活动图的损失函数，

是第t个阶段活动图的损失函数，L_G是群组活动损失函数，L是该模型所有阶段的损失函数。另外，P表示群组活动标签，

表示实际输出标签，w_A和w_G分别控制总活动图损失和群组活动损失的重要性。

在网络设计过程中，将第一阶段的w_G设置为0，使模型只专注于学习真实的活动图的生成。在第一个阶段结束后，将w_G和w_A都赋予非零值，以使所有权重一起得到优化。由于本方案的主要目标是进行群组活动识别，因此w_A的设定值应该小于w_G，以便将更多的注意力放在群组活动类别的预测上。

Step2.构建优化函数

使用Adam算法作为模型的优化函数，使损失函数中的损失值最小，本实施例设置学习率为0.01，其他超参数使用PyTorch中的默认值。比如，在PyTorch中，定义Adam优化函数可用如下代码实现：Optim＝torch.optim.Adam(lr＝0.001)。

4.3.群组行为识别

将步骤4.1中所得到的融合特征，输入softmax分类器中，输出预测的群组行为标签，并通过L_G计算预测值与真实值之间的损失函数，通过反向传播对参数进行不断优化，直到网络收敛，输出最终的群组行为标签，进而实现对群租行为的识别。

在传统的行为识别工作中，通常将所有采样片段独立作为卷积神经网络的输入提取特征，进而通过对所有采样片段的分类得分进行平均，以此来评估整个视频的分类情况，这样做的缺点是容易忽略不同片段之间的依存关系。而本发明的目的是让网络自动将更多注意力放在视频中的重要片段(时间上的概念)上，基于此，引入了片段注意力机制，在经过卷积神经网络提取特征后，每个样本帧会产生多个通道，每个通道代表一个特征检测器，利用片段注意力机制为相应视频片段分配合理的权重，使网络可以更加关注重要片段，以此来有效降低网络的运算成本；

另外，支撑群组行为识别任务的信息有两大类：一种信息是每个人的外观特征，以及连续视频帧间的时间信息；另一种是群组活动中人与人之间的交互关系。在现有的一些方法中，通过使用各种池化操作来提取部分关系线索，但它们并没有完全利用所有可获取的信息来建模人与人之间的交互关系。另外一些工作希望通过使用卷积神经网络来提取人与人之间的内部关系，但相关实验表明，卷积神经网络很难学习到高级的交互关系。因此，本发明提出一种卷积关系机制，利用人体之间的空间关系信息来进行群组活动识别，基于单人和群组活动，通过学习产生一个中间描述符(又称为活动图)，进而通过多个阶段的优化来减少活动图中的错误预测，最后，通过融合组件将优化后的活动图与原始特征图进行融合，并输入softmax分了器中进行群组行为识别。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于，包括以下步骤：

步骤A、基于片段注意力机制提取关键视频片段；

步骤A1、将待识别视频数据等时长分段，并利用稀疏采样策略在每个分段视频中随机抽取一帧代表一个小的片段，然后对每个视频帧进行空间特征提取；

步骤A2、构建片段注意力模型对不同视频帧分配不同权重，并对权重进行迭代优化，实现对关键片段的有效利用；

步骤A3、提取迭代优化后的最高权重对应的关键视频帧，进而得到其所对应的关键视频片段；

步骤B、提取关键视频片段的时空特征；

步骤C、基于卷积关系机制提取上述时空特征中的组群成员活动强度交互关系，所述卷积关系机制是指基于单人和群组活动，通过其学习产生一个活动图，并通过多个阶段、不同类型的卷积操作对活动图进行优化，形成对组群关系的动态描述；

步骤D、融合步骤B提取的时空特征与步骤C提取的交互关系进行群组行为识别。

2.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤B中，提取关键视频片段的时空特征时具体采用以下方式：

步骤B1、构建P3D ResNet网络；

(1)P3D ResNet网络中的卷积核为3D卷积核，将3*3*3的卷积核分解成1*3*3的二维空间卷积和3*1*1的一维时间卷积，二维空间卷积用S表示，一维时间卷积用T表示；

(2)设计P3D-A、P3D-B和P3D-C三种块结构：

P3D-A的表示形式为：

(I+T·S)·x_t＝x_t+T(S(x_t))＝x_t+1 (7)

其中，I表示原始视频图像，x_t和x_t+1分别表示残差单元在时间t的输入和输出，S(x_t)表示对x_t进行空间卷积，T(S(x_t)表示对S(x_t)进行时域卷积；

P3D-B的表示形式为：

(I+S+T)·x_t＝x_t+S(x_t)+T(x_t)＝x_t+1 (8)

P3D-C的表示形式为：

(I+S+T·S)·x_t＝x_t+S(x_t)+T(S(x_t))＝x_t+1 (9)

(3)将P3D-A、P3D-B和P3D-C三种块结构进行顺次连接组合形成P3D-ResNet网络结构；

步骤B2、提取时空特征：将步骤A3中提取的关键视频片段输入至所构建的P3D ResNet网络中，得到整个关键片段的时空特征向量F_p3d，也称之为初始特征。

3.根据权利要求1或2所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤C具体采用以下方式实现：

步骤C1、构建单人活动图A^I：

基于每个人的边界框、单人行为类别以及群组活动类别，通过二维高斯概率密度函数构建活动图，进而得到单人活动图A^I，设第m个人的活动图为

其中，

m∈[1,N_p]，N_p表示组群中成员的总数，则；

f_m(z)为二维高斯概率密度函数，第m个人的边界框为

单人行为类别为i，z是第m人运动属性i中运动特征变量F_p3d，μ_m为第m个人边界框的中心位置坐标，∑m是一个协方差矩阵，根据每个人边界框的宽度和高度计算得到；

步骤C2、构建整体群组活动图

以初始特征F_p3d作为卷积关系机制网络的输入，产生初始群组活动图

初始群组活动图

是由卷积函数φ生成每个个人的单人活动图A^I、并分配不同的初始权重构建出的整体性联合高斯混合模型，且所有人的权重之和为1；权重初始化时采用均匀分布策略，使得每个个体活动图权重均为

再经过几个阶段的迭代优化，得到最后的群组活动图

具体表示为：

其中，T为总的优化阶段数，

表示融合，函数φ和ψ是卷积机制中的不同卷积层的卷积函数；定义conv(x)是含有x个卷积核的卷积层并且步长为1，φ为由三个conv(3)和两个conv(1)组成的函数；所有的ψ与φ具有相同的卷积层数，仅卷积核的尺寸不同，ψ_t为由三个conv(7)和两个conv(1)组成的函数，在第t阶段产生当前活动图

其中N＝N_I+N_G，N_I和N_G分别为个人行为类别数量和群组活动类别的数量。

4.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤D具体通过以下方式实现：

步骤D1、特征融合；

融合初始特征F_p3d以及最终的群租活动图

作为最终的组群行为特征，以预测最终的群组行为类别，得到融合特征：

其中，

是组群行为特征；

步骤D2、模型训练；

(1)设计损失函数：

L＝w_AL_A+w_GL_G, (16)

其中L_A是T时间段内总活动图的损失函数，

是第t个阶段活动图的损失函数，L_G是群组活动损失函数，L是该模型所有阶段的损失函数，P_i表示群组活动真实标签，

表示实际输出标签，w_A和w_G分别控制总活动图损失和群组活动损失的重要性；

(2)构建优化函数：采用Adam算法作为模型的优化函数，使损失函数中的损失值最小；

步骤D3、群组行为识别；

将步骤D1中的融合特征输入至softmax分类器中，输出预测的群组行为标签，并通过L_G计算预测值与真实值之间的损失函数，通过反向传播对参数进行不断优化，输出最终的群组行为标签，进而实现对群租行为的识别。

5.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤A1中，在进行预处理时具体采用以下方式：

Step1：对某一视频V进行等时长分组，分组数为α，将视频划分为α个等时长的片段{S₁,S₂,...S_i,...S_α}；

Step2：从每个片段中随机选择一帧组成一个新的重组序列{T₁,T₂,...T_i,T_α}，每个帧T_i为片段S_i的代表，从其对应的分段中随机抽取；

Step3：基于Step2中的采样策略对该视频执行K次，以生成K组重组片段N＝{N₁,N₂,...,N_K}；

N＝{N₁,N₂,....N_k}

{[T₁₁,T₁₂,...,T_1α],[T₂₁,T₂₂,...,T_2α],......,[T_i1,T_i2,...,T_iα],......,[T_K1,T_K2,...,T_Kα]}；

Step4：将K组重组片段分别作为一个独立的单元，基于卷积神经网络提取其空间特征。

6.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤A2通过构建片段注意力模型实现关键片段的有效利用，具体采用以下方式实现：

Step1:视频稀疏采样，并提取多通道特征；

提取空间特征后，重组视频片段中的每一帧将产生多个特征通道，每个特征通道代表一个特征检测器；

Step2:通过平均池化压缩每个通道的空间特征，得到压缩后的特征图，实现降维以减少计算负荷，全局平均池化公式如下：

其中，C＝[C₁,C₂,...,C_αβ]表示所有特征检测器，G_s-ave表示空间全局池化函数，x_m表示C中一个通道的特征统计信息，m∈[1,αβ]，C_m是C中的第m个通道；

Step3:设计两个全连接层子网络，基于高阶非线性激活函数得到片段注意力权重；

(1)将压缩后的特征图输入到依次连接的两个全连接层以捕获全局时间依赖关系，第一个全连接层的尺寸为1×αβ×r，其中r表示减少率，第二个全连接层尺寸为1×αβ，α·β表示通道特征的数量；

(2)基于高阶非线性激活函数计算片段权重，并通过原始向量与该权重的点乘操作实现对输入特征的优化。

7.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤B2具体采用以下方式实现：

首先，将输入层或时空特征提取层的输出经过一个1*1*1的卷积层调整特征维度；

然后输入1*3*3的空间卷积层提取空间特征，进一步输入3*1*1的时间卷积层得到时空特征；

最后，使用1*1*1的卷积核进行特征融合得到时空特征表示，通过平均池化层和全连接层得到整个关键片段的时空特征向量F_p3d。

Images