CN117197891A - 一种多模态骨骼动作识别方法及装置 - Google Patents

Abstract

本发明涉及人工智能视觉语言多模态领域，尤其是涉及一种多模态骨骼动作识别方法及装置。该方法获取并预处理骨骼数据，提取相应的骨骼原始特征；利用视觉编码器和多层感知机，从预处理后的骨骼数据中提取相应的视觉特征，同时利用文本提示映射器将动作标签映射成文本，并利用文本编码器和多层感知机从文本中提取相应的语言特征；利用损失函数计算损失值，训练视觉编码器、文本解码器和多层感知机，损失函数由视觉损失函数、视觉语言损失函数和语言解码损失函数组成；利用训练好的视觉编码器测试，得到骨骼动作识别和分类结果。与现有技术相比，本发明具有能够修正语言特征、提高视觉特征提取精度、增强动作识别和分类准确性等优点。

Description

一种多模态骨骼动作识别方法及装置

技术领域

本发明涉及人工智能的视觉语言多模态领域，尤其是涉及一种多模态骨骼动作识别方法及装置。

背景技术

动作识别作为计算机视觉的一个分支，在视频监控、人机交互、智能驾驶等领域有广泛的应用。其中基于骨骼的动作识别相对于基于RGB的动作识别具有鲁棒性高、计算量小等优点。近年来提取骨骼特征的视觉编码器主要有3D CNN和图卷积算法，图卷积算法较3DCNN算法有计算量小，内存占据少等优点，此外图卷积模型特征提取能力较强，因此很多高识别精度且轻量化的视觉编码器的设计基于图卷积算法。

随着CLIP等大型视觉语言多模态模型的发展，文本信息也逐渐得到利用，而不仅仅是当成数字标签进行处理。通过文本信息和视觉特征的相似度学习，提高了视觉编码器的特征提取和理解的能力，在分类和视频生成等下游任务上表现出色,但语言模型提取的语言特征由于对标签语义的词组扩充，可能产生较大的特征提取误差，语言特征误差对视觉特征的提取也具有一定的影响。经检索，中国专利CN116403278A公开了一种基于文本监督的人体动作识别方法，该方法设计了一个由图Transformer模块组成的骨骼网络编码器，该编码器对人体骨架特征提取，得到骨架特征向量。利用文本编码器生成不同动作的文本特征向量来监督学习骨架特征，将文本特征向量与骨架特征向量进行相似度计算，对整个网络进行训练，根据相似度得到动作识别和分类的结果。该方法可以分析未相连关节点之间的联系，提高动作识别的准确率，但是，该方法忽略了文本特征提取过程中可能产生的误差。因此，如何更进一步提高基于骨骼的动作识别准确度，成为本领域需要解决的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多模态骨骼动作识别方法及装置，能够通过修正语言特征进一步提高视觉特征的提取精度，增强基于骨骼的动作识别准确性。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供一种多模态骨骼动作识别方法，该方法包括以下步骤：

S1，获取并预处理骨骼数据，提取相应的骨骼原始特征；

S2，利用视觉编码器和多层感知机，从预处理后的骨骼数据中提取相应的视觉特征，同时利用文本提示映射器将动作标签映射成文本，并利用文本编码器和多层感知机从文本中提取相应的语言特征；

S3，利用损失函数计算损失值，并训练视觉编码器、文本解码器和多层感知机，其中，所述损失函数由视觉损失函数、视觉语言损失函数和语言解码损失函数组成，所述文本解码器用于获取语言解码损失函数，所述视觉语言损失函数用于关联语言特征和视觉特征；

S4，利用训练好的视觉编码器进行测试，得到骨骼动作识别和分类结果。

作为优选的技术方案，所述语言解码损失函数的获取过程包括语言特征经过文本解码器，映射得到解码后的语言特征，将解码后的语言特征与骨骼原始特征进行相似度比较；所述解码后的语言特征与骨骼原始特征具有相同维度。

作为优选的技术方案，所述视觉损失函数的获取过程包括将视觉特征和动作标签特征进行相似度对比；所述视觉语言损失函数的获取过程包括，通过对比视觉特征和语言特征的相似度得到相似度矩阵，并将该相似度矩阵与基于动作标签的真值矩阵进行相似度对比。

作为优选的技术方案，所述动作标签特征为每个动作进行数字编码形成的标签信息。

作为优选的技术方案，所述预处理后的骨骼数据包括骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流。

作为优选的技术方案，所述预处理的过程包括，对骨骼节点数据流进行归一化处理，基于相邻时间帧的骨骼节点数据计算骨骼运动数据流，基于邻接矩阵计算骨骼拓扑连接数据流。

作为优选的技术方案，所述骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流的特征提取是独立的，并且在利用训练好的视觉编码器进行测试时需要进行特征组合。

作为优选的技术方案，所述骨骼数据从NW-UCLA数据集中获取。

作为优选的技术方案，所述视觉编码器包括图卷积神经网络，用于同时提取骨骼数据的时间和空间特征。

根据本发明的第二方面，提供一种多模态骨骼动作识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现所述的方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明通过引入文本解码器，将语言特征解码到与骨骼原始特征相同的维度进行相似度对比，得到语言解码损失函数，进而得到最终的损失函数，通过反向传播参数修正语言特征，进而提高视觉特征的提取精度，增强视觉编码器对骨骼动作识别和分类的准确性；

2、本发明通引入视觉语言损失函数关联视觉特征和语言特征，使得在训练过程中，修正语言特征可以有效提高语言特征引导视觉特征的能力，从而提高视觉编码器的骨骼动作识别和分类能力；

3、本发明从NW-UCLA数据集中获取初始骨骼数据，能够进一步提高经典视觉编码器在NW-UCLA数据集上的分类精度。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法的网络架构示意图；

图3为本发明方法在NW-UCLA数据集上分类精度达到97.9％时的混淆矩阵图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种多模态骨骼动作识别方法，如图1所示，该方法的执行步骤如下：

步骤S1，从NW-UCLA数据集中获取初始骨骼数据，预处理初始骨骼数据。在预处理过程中，需要对初始骨骼数据进行数据清洗、归一化处理、特征提取等操作。数据清洗包括剔除不相关的骨骼数据、修复缺失的骨骼数据并处理异常的骨骼数据，以确保输入的骨骼数据质量良好。归一化处理的具体过程为：首先，采用Pytorch深度学习框架中的BatchNorm2d()对骨骼节点数据进行归一化处理，把骨骼节点数据中每个维度的数据尺度都归一化到设置的范围内，例如每个维度的数据都归一化到[0,1]区间内；其次，根据相邻时间帧的骨骼节点数据计算出骨骼运动数据流；最后，根据骨骼点拓扑的邻接矩阵计算出骨骼拓扑连接数据流。因此，预处理后的骨骼数据总共包括骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流三流数据。此外，预处理还需要提取与三流数据对应的骨骼原始特征，以便后续与解码后的语言特征进行相似度对比。需要注意的是，骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流这三流数据的特征提取过程是相互独立的，视觉编码器在最后做分类任务时需要对由这三流数据提取的特征进行组合。

步骤S2，将骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流的数据分别输入视觉编码器，得到相应的视觉特征，再经过多层感知机学习，输出并提取相应的维度更高的视觉特征；同时，利用文本提示映射器将动作标签映射成文本，例如固定格式的短语词组，将文本输入文本编码器，并经多层感知机学习后，输出并提取相应的语言特征。本实施例使用的视觉编码器为图卷积神经网络，可以同时提取骨骼数据的时间和空间特征。使用的文本编码器为大型多模态CLIP模型的语言预训练模型。使用多层感知机继续对视觉编码器和文本编码器的输出进行学习，有助于进一步将提取的视觉特征和语言特征映射到高维度的特征空间，提取潜在空间的视觉特征和语言特征。

步骤S3，利用损失函数计算损失值，训练视觉编码器、文本解码器和多层感知机，其中，损失函数由视觉损失函数、视觉语言损失函数和语言解码损失函数组成，损失值的大小为视觉损失函数计算值、视觉语言损失函数计算值和语言解码损失函数计算值之和。在一些其他实施例中，损失函数还可以是视觉损失函数、视觉语言损失函数和语言解码损失函数的其他组合。本实施例中采用的文本解码器主要由二维转置卷积模块组成，最终作用在于获取语言解码损失函数。获取语言解码损失函数的具体过程为，经过文本编码器和多层感知机学习后，输出的语言特征作为文本解码器的输入，文本解码器将该语言特征映射成和骨骼原始特征相同维度的张量，语言特征和骨骼原始特征张量进行相似度比较。文本解码器的引入，使得计算出最终的损失值后，在反向传播和更新参数的过程中，文本解码器可以作为反馈机制，优化多层感知机的参数，进而不断优化标签的语言特征信息，降低语言特征与骨骼原始特征的误差。视觉语言损失函数主要用于关联语言特征和视觉特征，语言特征能够通过视觉语言损失函数引导视觉编码器完成骨骼动作识别和分类任务。视觉语言损失函数的获取过程包括，通过对比视觉特征和语言特征的相似度得到相似度矩阵，并将该相似度矩阵与基于动作标签的真值矩阵进行相似度对比，根据对比结果，通过反向传播和更新多层感知机和视觉编码器的参数，优化视觉编码器，进而优化视觉特征。视觉损失函数的获取即将视觉特征和动作标签特征进行相似度对比，动作标签特征为每个动作进行数字编码形成的标签信息。

步骤S4，测试过程中，利用训练好的视觉编码器进行动作识别，最终得到骨骼动作分类结果。实验表明，通过有反馈机制的语言引导视觉学习，固有的视觉编码器的分类性能在NW-UCLA数据集上精度得到很大的提高。如表1所示，对比近几年精度较高的视觉编码器在NW-UCLA上的测试精度，可以看出，本实施例提供的多模态骨骼动作识别方法可以提高视觉编码器的精度，且都能使得固有的视觉编码器精度达到较高结果；去掉语言解码损失函数后视觉编码器的分类精度有所降低，这说明语言解码损失函数作为负反馈机制可以提高语言特征引导视觉编码器的分类能力。具体地，当视觉编码器为CTR-GCN时，加入文本解码器负反馈后的分类精度为表中所列视觉编码器中的最高精度，达到97.9％，比视觉编码器为Info-GCN、Hyperformer或Koopman Pooling时的分类精度高出了0.7％。当本实施例提供的方法在NW-UCLA数据集上的分类精度达到97.9％时，混淆矩阵如图3所示。该混淆矩阵表示本实施例提出的方法在NW-UCLA数据集上得到的各个动作类别的分类精度，横轴代表预测动作类别，纵轴代表真值类别，对角线代表预测的类别跟真值类别相等的概率。本实施例中，模型预测的每一类动作的正确率和错误率之和为1，即每一类的纵坐标之和为1。举例来说，当模型预测动作类别的标签为0时，各有0.02的概率其动作类别的真值分别为动作标签1、2、9，则动作真值标签为0的概率为剩余的0.94，即对角线上对应的预测值为0的概率值。对角线概率的平均值即是NW-UCLA十类动作的预测正确率的平均值，由此可得出模型在NW-UCLA上的分类精度为97.9％。

表1骨骼动作识别精度对比表(％)

如图2所示，本实施例提供的方法利用修正的语言特征引导视觉编码器完成特征提取，训练并优化视觉编码器，进而完成骨骼动作识别和分类任务，得到基于视觉-语言多模态的负反馈网络结构。该负反馈网络结构使用的损失函数视觉损失函数、视觉语言损失函数和语言解码损失函数三部分组成。第一部分是视觉编码器、多层感知机与对应的动作标签形成的视觉损失函数，视觉编码器提取的视觉特征进一步通过多层感知机丰富维度信息，视觉特征与动作标签真值进行相似度对比，反向传递参数，更新视觉编码器的参数；第二部分是由视觉特征和语言特征形成的相似度矩阵和基于标签的真值矩阵形成的视觉语言损失函数，语言特征可以用来引导视觉编码器的特征提取，视觉特征由视觉编码器和多层感知机提取；将大型多模态CLIP模型的语言预训练模型作为文本编码器，语言特征由该文本编码器和多层感知机提取，大型多模态CLIP模型的语言预训练模型作为本实施例的文本编码器，具有强大的语言特征提取能力，多层感知机可以进一步提取潜在的语义信息，另外动作标签需要经过文本提示映射器映射成由固定格式的短语词组来作为文本编码器的输入；第三部分是语言特征经过文本解码器解码后与骨骼原始特征进行相似度对比形成的语言解码损失函数。文本解码器把语言特征解码成与骨骼原始特征相同维度的解码后的语言特征，将解码后的语言特征与骨骼原始特征进行相似度比较，经过参数反向传递不断修正语言特征，语言特征的误差降低可以提高引导视觉编码器分类的能力。在训练过程中，视觉编码器、多层感知机和文本解码器均有更新参数，CLIP的预训练模型作为文本编码器不参与微调，在测试过程中只保留视觉编码器完成骨骼动作识别和分类。

进一步地，本实施例提供一种多模态骨骼动作识别装置，包括存储器、处理器，以及存储于存储器中的程序，该处理器执行程序时实现前述的方法。该装置可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元。例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。处理单元执行上文所描述的各个方法和处理，例如方法S1～S4。例如，在一些实施例中，方法S1～S4可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S1～S4的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S1～S4。以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

用于实施前述方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。在本实施例中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种多模态骨骼动作识别方法，其特征在于，包括以下步骤：

S1，获取并预处理骨骼数据，提取相应的骨骼原始特征；

S2，利用视觉编码器和多层感知机，从预处理后的骨骼数据中提取相应的视觉特征，同时利用文本提示映射器将动作标签映射成文本，并利用文本编码器和多层感知机从文本中提取相应的语言特征；

S3，利用损失函数计算损失值，并训练视觉编码器、文本解码器和多层感知机，其中，所述损失函数由视觉损失函数、视觉语言损失函数和语言解码损失函数组成，所述文本解码器用于获取语言解码损失函数，所述视觉语言损失函数用于关联语言特征和视觉特征；

S4，利用训练好的视觉编码器进行测试，得到骨骼动作识别和分类结果。

2.根据权利要求1中所述的多模态骨骼动作识别方法，其特征在于，所述语言解码损失函数的获取过程包括语言特征经过文本解码器，映射得到解码后的语言特征，将解码后的语言特征与骨骼原始特征进行相似度比较；所述解码后的语言特征与骨骼原始特征具有相同维度。

3.根据权利要求1中所述的多模态骨骼动作识别方法，其特征在于，所述视觉损失函数的获取过程包括将视觉特征和动作标签特征进行相似度对比；所述视觉语言损失函数的获取过程包括，通过对比视觉特征和语言特征的相似度得到相似度矩阵，并将该相似度矩阵与基于动作标签的真值矩阵进行相似度对比。

4.根据权利要求3中所述的多模态骨骼动作识别方法，其特征在于，所述动作标签特征为每个动作进行数字编码形成的标签信息。

5.根据权利要求1中所述的多模态骨骼动作识别方法，其特征在于，所述预处理后的骨骼数据包括骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流。

6.根据权利要求5中所述的多模态骨骼动作识别方法，其特征在于，所述预处理的过程包括，对骨骼节点数据流进行归一化处理，基于相邻时间帧的骨骼节点数据计算骨骼运动数据流，基于邻接矩阵计算骨骼拓扑连接数据流。

7.根据权利要求5中所述的多模态骨骼动作识别方法，其特征在于，所述骨骼节点数据流、骨骼运动数据流和骨骼拓扑连接数据流的特征提取是独立的，并且在利用训练好的视觉编码器进行测试时需要进行特征组合。

8.根据权利要求1中所述的多模态骨骼动作识别方法，其特征在于，所述骨骼数据从NW-UCLA数据集中获取。

9.根据权利要求1中所述的多模态骨骼动作识别方法，其特征在于，所述视觉编码器包括图卷积神经网络，用于同时提取骨骼数据的时间和空间特征。

10.一种多模态骨骼动作识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一所述的方法。