CN113065529B - 基于关节组间关联建模的动作识别方法与系统 - Google Patents

Abstract

本发明提出一种基于关节组间关联建模的动作识别方法与系统，其中，方法包括以下步骤：获取人体骨架关节特征；生成人体骨架关节组特征；建立邻接矩阵，邻接矩阵用于表征以关节点作为图节点的图结构；使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；根据图结构对最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；根据人体骨架关节特征、人体骨架关节组特征和骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。本申请提出的方法可以仅在进行小的改动的情况下应用于其他基于图卷积神经网络的现有方法，赋予这些方法建模人体关节组间关联的能力。

Description

基于关节组间关联建模的动作识别方法与系统

技术领域

本发明涉及动作识别的技术领域，尤其涉及一种基于关节组间关联建模的动作识别方法。

背景技术

自图卷积神经网络迅速发展以来，由于图卷积神经网络对于建模图结构信息十分有效，基于图卷积神经网络的方法成为基于骨架信息的动作识别领域的主流方法。以ST-GCN、2s-AGCN等为代表的方法在NTU RGB+D、Kinetics等主流数据集上取得了当时所有方法中的最优性能。这些方法在构建图卷积网络中所使用的图结构时，往往遵循人体骨架的自然连接，以人体关节作为图的节点，以关节间的连接作为图的边。这是一种自然且简单的连接方式，并且使用基于这种图结构的方法相较基于手工特征和基于CNN或RNN的方法亦能取得较大的性能提升。

然而，受限于将图节点定义为人体骨架关节点这一建立图结构的方式，现有的方法仅仅只能建模关节间的关联，而对于关节间更高阶的关联，如关节组之间的关联，则缺乏建模的方式。一般来讲，在一些动作中，关节组之间的关联有助于模型识别动作。例如人体在运动的时候，通常手上或腿上的几个关节都是协同运动的，同一肢的多个关节具有明显的协同效应。通过学习手上的关节组与腿上的关节组之间的运动关联，可以更加有效地捕捉复杂动作的特征，帮助模型更好的识别诸如走路等手脚协调的动作。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出基于关节组间关联建模的动作识别方法，以实现赋予模型建模关节组之间关联的能力，并提高模型的性能。

本发明的第二个目的在于提出基于关节组间关联建模的动作识别系统。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于关节组间关联建模的动作识别方法，包括以下步骤：

步骤S10，获取人体骨架关节特征；

步骤S20，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；

步骤S30，建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

步骤S40，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；

步骤S50，根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

步骤S60，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

可选地，在本申请的一个实施例中，所述步骤S10包括以下步骤：

从NTU RGB+D公开数据集中获取人体骨架关节特征，每个样本的特征形状为：

(C,T,M,V)

其中C是特征通道数，所述C的值为3，表示关节点的三维坐标(x,y,z)，T表示动作的帧数，M表示表演动作的人数，V表示人体关节点的数量。

可选地，在本申请的一个实施例中，所述步骤S20中，从上述的人体骨架关节特征获取人体骨架关节组特征，具体包括：步骤S21，对每个样本、每一帧、每一个表演者内的人体骨架关节特征，迭代取任意两个关节；步骤S22，计算其对应的关节组的编号；步骤23，应用如下公式计算每个关节组的特征：

f(v_a)＝(x₁,y₁,z₁)

f(v_b)＝(x₂,y₂,z₂)

f(v_ab)＝{(x₁,y₁,z₁,x₂,y₂,z₂,C)|v_a,v_b∈V_o}

其中，C是关节组特征常数，定义为两个子关节v_a和v_b是否在原始人体关节中物理相连，其值为0或1，最终得到所述关节组特征，其特征形状为(C_group,T,M,V_group),其中C_group由上述公式定义可知，所述C_group的值为7，C_group是关节组的数量。

可选地，在本申请的一个实施例中，所述步骤S30中，将建立邻接矩阵以表示以关节点作为图节点的图结构，具体包括：步骤S31，图节点是关节组，邻接节点的定义是：如果两个关节组共享任一子关节，则它们为相邻节点；如果两个关节组至少有一个子关节是普通图结构上的相邻节点，则它们也为相邻节点。除此之外节点自身也是自己的邻接节点；步骤S32，对这些邻接节点进行分类，将步骤S31中的三种类型的邻接节点分别赋予1,2,3的标签；步骤S33图结构是一个邻接矩阵，其建立可用如下公式描述：

其中，A_k描述了关节组之间在初始状态下的关联，其定义如下：

邻接矩

表示了图结构的节点间的边，其元素

表示节点v_i是否在v_j的第k邻接节点子集中，

是一个正则化对角矩阵，α是一个较小的数，用以避免空行的存在，

在网络训练的过程中是固定的，不会发生变化。

可选地，在本申请的一个实施例中，所述步骤S40包括以下步骤：

使用图卷积神经网络进行学习，所述网络结构通过叠加多个图卷积区块以捕捉人体关节组的关联，每个图卷积区块包括空间图卷积层和时序卷积层，空间图卷积层和时序卷积层后均附有批正则化层和线性整流函数ReLU激活函数，所述图卷积区块的计算使用如下公式描述：

其中，B_k和C_k是在2s-AGCN中提出的自适应性的邻接矩阵，在网络训练的过程中会有改变，其中，B_k初始化时被设置为A_k，但是可学习，用于学习任意两个节点潜在的关联；C_k是根据样本特征计算得到的矩阵，用于描述样本特定的节点关联，B_k和C_k能够增强模型对未知边的学习能力，我们沿用了此结构，通过最后一个图卷积区块后得到的特征为最终特征。

可选地，在本申请的一个实施例中，所述步骤S50包括以下步骤：

将步骤S40得到的最终特征通过一个全局池化层消去时序(T)、图节点(V)、人数(M)三个维度，并通过一个全连接层将特征映射到各个动作类别上，最终，通过Softmax函数得到每个动作类别的分数。

可选地，在本申请的一个实施例中，所述步骤S60包括以下步骤：

根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，对于所述骨骼分支，骨骼的定义为相邻两个关节的坐标差，即若两个关节的v_a和v_b的特征分别为(x₁,y₁,z₁)和(x₂,y₂,z₂)，则可以在此之上定义骨骼节点e_ab，其节点特征为(x₂-x₁,y₂-y₁,z₂-z₁)，每个骨骼可以被映射到一个关节上，最终得到的骨骼特征同人体骨架关节特征一致，将使用人体骨架关节组特征、人体骨架关节特征、骨骼特征训练得到的结果简单相加，取分数最高的类别作为最终结果。

为达上述目的，本申请第二方面实施例提出本发明一种基于关节组间关联建模的动作识别系统，包括以下模块：

获取模块，用于获取人体骨架关节特征；

处理模块，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

生成模块，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

确定模块，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面实施例所述的基于关节组间关联建模的动作识别方法。

为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于关节组间关联建模的动作识别方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的基于关节组间关联建模的动作识别方法的流程图。

图2是本申请实施例的以人体骨架关节组为图节点的示意图；

图3是本申请实施例的图卷积神经网络模型的结构示意图；

图4是本申请实施例的多分支融合模块的示意图。

图5为本申请实施例的基于关节组间关联建模的动作识别系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的一所提供的一种基于关节组间关联建模的动作识别方法。

如图1所示，为达上述目的，本发明第一方面实施例提出了一种基于关节组间关联建模的动作识别方法，包括以下步骤：

步骤S10，获取人体骨架关节特征；

步骤S20，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；

步骤S30，建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

步骤S40，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；

步骤S50，根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

步骤S60，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

在本申请的一个实施例中，进一步地，所述步骤S10包括以下内容：

从NTU RGB+D公开数据集中获取人体骨架关节特征，每个样本的特征形状为：

(C,T,M,V)

其中C是特征通道数，其值为3，表示关节点的三维坐标(x,y,z)；T表示动作的帧数；M表示表演动作的人数；V表示人体关节点的数量。其中，NTU RGB+D数据集提供的数据中，T为300，M为1或2，V为25。

在本申请的一个实施例中，进一步地，所述步骤S20包括，从上述的人体骨架关节特征获取人体骨架关节组特征，具体包括：步骤S21，对每个样本、每一帧、每一个表演者内的人体骨架关节特征，迭代取任意两个关节；步骤S22，应用如下公式计算每个关节组的特征：

f(v_a)＝(x₁,y₁,z₁)

f(v_b)＝(x₂,y₂,z₂)

f(v_ab)＝{(x₁,y₁,z₁,x₂,y₂,z₂,C)|v_a,v_b∈V_o}

其中，C是关节组特征常数，定义为两个子关节v_a和v_b是否在原始人体关节中物理相连，其值为0或1，最终得到所述关节组特征，其特征形状为(C_group,T,M,V_group),其中C_group由上述公式定义可知，所述C_group的值为7，C_group是关节组的数量。在本实施例中，我们删去部分次要的9个关节点，由16个关节可生成

个关节组。T与M和步骤一中的值一致。

在本申请的一个实施例中，进一步地，所述步骤S30包括，将建立邻接矩阵以表示以关节点作为图节点的图结构，具体包括：步骤S31，图节点是关节组，邻接节点的定义是：如果两个关节组共享任一子关节，则它们为相邻节点(如附图2的V_a和V_b)；如果两个关节组至少有一个子关节是普通图结构上的相邻节点，则它们也为相邻节点(如附图2的V_a和V_c)。除此之外节点自身也是自己的邻接节点；步骤S32，对这些邻接节点进行分类，将步骤S31中的三种类型的邻接节点分别赋予1,2,3的标签。步骤S33图结构是一个邻接矩阵，其建立可用如下公式描述：

其中，A_k描述了关节组之间在初始状态下的关联，其定义如下：

邻接矩

表示了图结构的节点间的边，其元素

表示节点v_i是否在v_j的第k邻接节点子集中，

是一个正则化对角矩阵，α是一个较小的数，用以避免空行的存在，

在网络训练的过程中是固定的，不会发生变化。

在本申请的一个实施例中，进一步而言，所述步骤S40中，如附图3所示：

将使用图卷积神经网络进行学习，该网络结构通过叠加多个图卷积区块以捕捉人体关节组的关联。每个图卷积区块包括空间图卷积层和时序卷积层；其中，时序卷积层是一个二维卷积模块，卷积核大小为(t,1)，t即为卷积核的时序感受野，在实验中，t取9。卷积核的第二维总是1，因为该卷积层只针对时序信息建模，不对空间信息进行建模；两个卷积层后都附有批正则化层和ReLU(Rectified Linear Unit，线性整流函数)激活函数，以保证各个通道的特征保持相同的分布。图卷积区块的计算使用如下公式描述：

其中，B_k和C_k是在2s-AGCN中提出的自适应性的邻接矩阵，在网络训练的过程中会有改变，其中，B_k初始化时被设置为A_k，但是可学习，用于学习任意两个节点潜在的关联；C_k是根据样本特征计算得到的矩阵，用于描述样本特定的节点关联，B_k和C_k能够增强模型对未知边的学习能力，我们沿用了此结构，通过最后一个图卷积区块后得到的特征为最终特征；通过最后一个图卷积区块后得到的特征为最终特征。在实验中，由步骤S3可知有3类邻接节点，因此V_a取3。在实验中，我们一共有10个图卷积区块，其输入特征的通道数分别是7、64、64、64、64、128、128、128、256、256。

在本申请的一个实施例中,进一步而言，所述步骤S50包括以下内容：

将步骤S40得到的最终特征通过一个全局池化层消去时序(T)、图节点(V)、人数(M)三个维度，并通过一个全连接层将特征映射到各个动作类别上，最终，通过Softmax函数得到每个动作类别的分数。

在本申请的一个实施例中，进一步而言，所述步骤S60，如附图4所示：

分别引入关节分支和骨骼分支，并进行多分支融合；对于关节分支，将步骤S1的人体骨架关节特征也使用步骤S3、步骤S4、步骤S5所描述的过程得到分类结果；对于所述骨骼分支，骨骼的定义为相邻两个关节的坐标差，即若两个关节的v_a和v_b的特征分别为(x₁,y₁,z₁)和(x₂,y₂,z₂)，则可以在此之上定义骨骼节点e_ab，其节点特征为(x₂-x₁,y₂-y₁,z₂-z₁)，每个骨骼可以被映射到一个关节上，最终得到的骨骼特征同人体骨架关节特征一致，同样使用步骤S30、步骤S40、步骤S50所描述的过程得到分类结果。我们将使用人体骨架关节组特征、人体骨架关节特征、骨骼特征训练得到的结果简单相加，取分数最高的类别作为最终结果。如表1所示，表1给出了本实例在NTU RGB+D数据集两个公开评价标准下的性能。我们列出了ST-GCN和2s-AGCN作为比较方法，实验结果证明了本方法的有效性。

方法名称	NTU RGB+D跨表演者	NTU RGB+D跨视角
			ST-GCN	81.5％	88.3％
2s-AGCN	88.5％	95.1％
			本文方法	89.5％	95.5％

表1

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

如图5所示，为达上述目的，本发明第二方面实施例提出一种基于关节组间关联建模的动作识别系统，包括以下模块：

获取模块，用于获取人体骨架关节特征；

处理模块，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

生成模块，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

确定模块，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

本申请的技术效果：针对现有方法缺乏对于人体骨架关节组之间关联进行建模的问题，我们给出了关节组的定义和构成，以关节组为节点构建了图结构；通过赋予模型学习关节组间关联的能力并与使用人体骨架关节特征训练得到的结果融合，提高了模型的性能；本申请提出的关节组间关联建模的方法可以在仅进行小的改动的情况下应用于其他基于图卷积神经网络的现有方法，从而赋予这些方法建模人体关节组间关联的能力。

为了实现上述实施例，本发明还提出一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本申请实施例的基于关节组间关联建模的动作识别方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，该计算机存储有计算机程序，所述计算机程序被处理器执行时，实现本申请实施例的基于关节组间关联建模的动作识别方法。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于关节组间关联建模的动作识别方法，其特征在于，包括以下步骤：

步骤S10，获取人体骨架关节特征；

步骤S20，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；

步骤S30，建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

步骤S40，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；

步骤S50，根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

步骤S60，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

2.如权利要求1所述的方法，其特征在于，所述步骤S10包括以下步骤：

从数据集中获取人体骨架关节特征，每个人体骨架关节特征的特征形状为：

(C,T,M,V)

其中C是特征通道数，所述C的值为3，表示关节点的三维坐标(x,y,z)，T表示动作的帧数，M表示表演动作的人数，V表示人体关节点的数量。

3.如权利要求1所述的方法，其特征在于，所述步骤S20中根据关节组编号生成人体骨架关节组特征，应用如下公式计算每个关节组特征：

f(v_a)＝(x₁,y₁,z₁)

f(v_b)＝(x₂,y₂,z₂)

f(v_ab)＝{(x₁,y₁,z₁,x₂,y₂,z₂,C)|v_a,v_b∈V_o}

其中，C是关节组特征常数，定义为两个子关节v_a和v_b是否在原始人体关节中物理相连，其值为0或1，最终得到所述关节组特征，其特征形状为(C_group,T,M,V_group),其中C_group由上述公式定义可知，所述C_group的值为7，C_group是关节组的数量。

4.如权利要求1所述的方法，其特征在于，所述步骤S30中根据不同类型的邻接节点生成所述邻接矩阵，邻接矩阵的建立用如下公式描述：

其中，A_k描述了关节组之间在初始状态下的关联，定义如下：

邻接矩

表示了图结构的节点间的边，元素

表示节点v_i是否在v_j的第k邻接节点子集中，

是一个正则化对角矩阵，α是一个用以避免空行存在的数值，

在网络训练的过程中是固定的。

5.如权利要求1所述的方法，其特征在于，所述步骤S40包括以下步骤：

使用图卷积神经网络进行学习，网络结构通过叠加多个图卷积区块以捕捉人体关节组的关联，每个图卷积区块包括空间图卷积层和时序卷积层，空间图卷积层和时序卷积层后均附有批正则化层和线性整流函数ReLU激活函数，所述图卷积区块的计算使用如下公式描述：

其中，B_k和C_k是在2s-AGCN中提出的自适应性的邻接矩阵，在网络训练的过程中会有改变，其中，B_k初始化时被设置为A_k，用于学习任意两个节点潜在的关联；C_k是根据样本特征计算得到的矩阵，用于描述样本特定的节点关联，B_k和C_k能够增强模型对未知边的学习能力，通过最后一个图卷积区块后得到的特征为最终特征。

6.如权利要求1所述的方法，其特征在于，所述步骤S50包括以下步骤：

将步骤S40得到的最终特征通过一个全局池化层消去时序(T)、图节点(V)、人数(M)三个维度，并通过一个全连接层将特征映射到各个动作类别上，最终，通过Softmax函数得到每个动作类别的分数。

7.如权利要求1所述的方法，其特征在于，所述步骤S60包括以下步骤：

根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，对于所述骨骼分支，骨骼的定义为相邻两个关节的坐标差，即若两个关节的v_a和v_b的特征分别为(x₁,y₁,z₁)和(x₂,y₂,z₂)，则可以在此之上定义骨骼节点e_ab，其节点特征为(x₂-x₁,y₂-y₁,z₂-z₁)，每个骨骼可以被映射到一个关节上，最终得到的骨骼特征同人体骨架关节特征一致，将使用人体骨架关节组特征、人体骨架关节特征、骨骼特征训练得到的结果简单相加，取分数最高的类别作为最终结果。

8.一种基于关节组间关联建模的动作识别系统，其特征在于，包括：

获取模块，用于获取人体骨架关节特征；

处理模块，针对所述人体骨架关节特征，迭代取任意两个关节，计算所述任意两个关节对应的关节组编号，根据关节组编号生成人体骨架关节组特征；建立邻接矩阵，所述邻接矩阵用于表征以关节点作为图节点的图结构，所述图节点为关节组，获取关节点对应的邻接节点，对所述邻接节点进行分类，根据不同类型的邻接节点生成所述邻接矩阵；

生成模块，使用预先训练的图卷积网络对人体骨架关节组特征进行计算，获得最终特征；根据所述图结构对所述最终特征进行全局池化层处理，并将处理后的最终特征通过全连接层映射到各个动作类别上，并获取每个动作类别的概率；

确定模块，根据关节分支和骨骼分支进行多分支融合以得到骨骼特征，基于所述每个动作的类别，根据所述人体骨架关节特征、所述人体骨架关节组特征和所述骨骼特征确定多个类别中的一个类别作为最终的动作分类识别结果。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images