CN111191520B - 用于动作识别的人体骨架压缩方法、装置以及设备 - Google Patents

Abstract

本发明公开了一种用于动作识别的人体骨架压缩方法，包括：获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；计算所述人体骨架数据中每个关节的运动得分，并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；根据所述压缩数据对人体动作进行识别。通过上述方法，可以将骨架数据流压缩到较小的带宽，同时保持动作识别的精度尽可能高。

Description

用于动作识别的人体骨架压缩方法、装置以及设备

技术领域

本发明涉及行为识别技术领域，特别涉及一种用于动作识别的人体骨架压缩方法、装置以及设备。

背景技术

人体姿势，也称为骨架，可以用作一种动作识别的数据形式。与基于视频的动作分析相比，基于骨骼的动作分析效率更高且噪音更低。基于三维骨架序列的人体行为识别具有存储量少，对光照变化、背景变化等环境因素的干扰小的特点，并且骨架数据是对人体特征的高度抽象，因此骨架序列成为近年来研究行为识别的重点。

骨架数据本质上是一个矩阵，大小为时间×关节。并且随着深度相机的普及，人体骨架数据的获取也变得越来越方便。而且在智能汽车和安全系统中也安装了一些长距离深度相机，这导致人体骨架数据量迅速增加。另一方面，随着网络基础设施的普及和云计算的发展，骨架数据传输的需求也在增加。尤其是在物联网时代，传感器仅负责数据的收集和传输，而分析则由云完成。例如，在一个有10,000人的拥挤的大型活动中，5台摄像机可能会产生50,000个骨架序列样本。如果每个样本具有每秒25帧的25个连接点，则生成的数据量将高达3000Mbit/sec，在诸如此类的拥挤场景中，骨架数据可能会对网络传输带来很大压力。

发明内容

本公开实施例提供了一种用于动作识别的人体骨架压缩方法、装置以及设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

在一些可选地实施例中，一种用于动作识别的人体骨架压缩方法，包括：

获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；

计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

根据保留关节对人体骨架数据进行压缩，得到压缩数据；

根据压缩数据对人体动作进行识别。

可选地，获取待识别的人体骨架数据，包括：

将从预先构造的人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为人体骨架数据，其中，以人体骨架行为识别数据集中的每个待识别的人作为一个样本。

可选地，计算人体骨架数据中每个关节的运动得分，包括：

计算人体骨架数据的运动流，根据运动流计算每个关节的运动得分。

可选地，计算人体骨架数据的运动流，包括：

运动流包括人体骨架数据中的每个关节的骨架运动，计算人体骨架数据中的每个关节的骨架运动，根据每个关节的骨架运动，得到人体骨架数据的运动流。

其中，每个关节的骨架运动的计算公式为：

X＝{X₁,X₂,...,X_t,...,X_T}∈R^T×C×J

其中，M_t是人体骨架数据中第t个关节的骨架运动，X_t是时间步长为t时的人体骨架数据，

是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，R^T×C×J是与T、C、J相关的三维张量；

其中，运动流的计算公式为：

M＝{M₁,M₂,...,M_T-1}

其中，M是人体骨架数据的骨架序列的运动流。

可选地，根据运动流计算每个关节的运动得分，包括：

根据公式计算每个关节的运动得分，公式如下所示：

其中，S_j是人体骨架数据中第j个关节的运动得分，M_t,c,j表示在时间t处，第j个关节在第c维坐标空间的骨架运动。

可选地，根据压缩数据对人体动作进行识别，包括：

对压缩数据进行恢复，得到恢复数据；

将恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。

可选地，对压缩数据进行恢复，得到恢复数据，包括：

将保留关节放置在压缩之前的原始位置，得到第一恢复数据；

将剩余的关节用零进行填充，得到第二恢复数据；

将第一恢复数据和第二恢复数据作为恢复数据。

在一些可选地实施例中，一种用于动作识别的人体骨架压缩装置，包括：

获取模块，用于获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；

计算模块，用于计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

压缩模块，用于根据保留关节对人体骨架数据进行压缩，得到压缩数据；

识别模块，用于根据压缩数据对人体动作进行识别。

在一些可选地实施例中，一种用于动作识别的人体骨架压缩设备，设备包括上述实施例提供的用于动作识别的人体骨架压缩装置。

在一些可选地实施例中，一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种用于动作识别的人体骨架压缩方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例通过计算人体骨架数据中每个关节的运动得分，将运动得分高的关节作为保留关节，根据保留关节对人体骨架数据进行压缩，通过根据不同关节的运动量执行压缩，并根据压缩数据对人体动作进行识别，可以将骨架数据流压缩到较小的带宽，同时保持动作识别的精度尽可能高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；

图2是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；

图3是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图；

图4是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

图1是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；

在一些实施例中，一种用于动作识别的人体骨架压缩方法包括：

步骤S101、获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；

具体地，将从人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为人体骨架数据，其中，以人体骨架行为识别数据集中的每个待识别的人作为一个样本。

在一些示例性场景中，可以采用基于NTU-RGB+D的人体骨架行为识别数据集，NTU-RGB+D骨架行为识别数据集由56,880个动作样本组成，包含每个样本的RGB视频、深度图序列、3D骨架数据和红外视频，此数据集由3个相机同时捕获，RGB视频的分辨率为1920×1080，深度图和红外视频的分辨率均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置。

在传输压缩数据的过程中，需要传输与区分预设数目个保留关节相对应的ID号，通过从人体骨架行为识别数据集中读取每个样本的关节点位置以及每个关节对应的时间和ID号，这有利于传输后的数据恢复。

通过上述方法，可以获取到待识别的人体骨架数据。

步骤S102、计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

在对骨架动作的识别中，并非每个关节都对识别至关重要，通过计算每个关节的运动得分，然后根据运动得分对每个关节进行排序，并按照运动得分从高到低的顺序选择预设数目个关节作为保留关节，根据保留关节对人体骨架数据进行压缩，它根据不同关节的运动量执行压缩，而且通过调整保留关节的数目可以控制压缩率。

运动幅度大的关节对动作的识别有很大的影响，本公开实施例的人体骨架压缩方法利用了这一优势，先计算人体骨架数据的运动流，然后根据运动流计算每个关节的运动得分。

人体骨架数据的运动流包括人体骨架数据中的每个关节的骨架运动，根据每个关节的骨架运动，得到人体骨架数据的运动流。

其中，每个关节的骨架运动的计算公式为：

X＝{X₁,X₂,...,X_t,...,X_T}∈R^T×C×J

其中，M_t是人体骨架数据中第t个关节的骨架运动，X_t是时间步长为t时的人体骨架数据，

是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，R^T×C×J是与T、C、J相关的三维张量；

运动流的计算公式为：

M＝{M₁,M₂,...,M_T-1}

其中，M是人体骨架数据的骨架序列的运动流。

骨骼运动定义为两个连续帧之间每个关节的时间差，完整的骨架序列属于与骨架序列中帧的数量T、坐标空间的维数C、关节数J相关的三维张量，因此，根据每个关节的骨架运动，得到人体骨架数据的运动流。

通过获得的人体骨架数据的运动流，计算每个关节的运动得分，公式如下所示：

其中，S_j是人体骨架数据中第j个关节的运动得分，M_t,c,j表示在时间t处，第j个关节在第c维坐标空间的骨架运动。

通过上述方法，可以获得人体骨架数据中每个关节的运动得分，运动得分大的关节表明运动幅度也大，在计算得到人体骨架数据中每个关节的运动得分后，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节，在一些示例性场景中，预设数目为5，按照每个关节的运动得分情况，从高到低进行排序，选择分数较高的5个关节作为保留关节。

通过将运动量较大的关节作为保留关节，可以提高动作识别的精度，而且通过调整保留关节的数目可以控制压缩率。

步骤S103、根据保留关节对人体骨架数据进行压缩，得到压缩数据；

具体地，通过MJS(Motion-based Joints Selection，基于运动的关节选择)压缩方法，对骨架数据进行压缩，然后继续采用无损压缩方法对人体骨架数据进行压缩，来进一步提高压缩率。

具体地，深度学习方法已经主导了基于骨骼的动作识别。近年来，有许多基于RNN(Recurrent Neural Network，循环神经网络)、CNN(Convolutional Neural Network，卷积神经网络)和GNN(Graph Neural Network，图神经网络)的方法，无论采用哪种深度学习模型，当使用该模型来推断其样本的动作类别时，数据流都从3维张量扩展成5维张量，将其记录为X'∈R^{N×T×C×J×P}。对于额外的二维，N是批次尺寸的大小，P是样本中包含的人数。

可选地，无损压缩方法可以采用DEFLATE算法，DEFLATE算法被广泛用于对PNG、ZIP、GZIP文件进行压缩，在使用DEFLATE算法压缩数据之前，必须对其进行序列化。序列化是将数据对象转换为可以传输或存储的流的过程。对于张量形式的数据，通过调整维数的顺序，可以使用多种序列化方法，由于DEFLATE算法中滑动窗口的大小有限，即使使用相同的原始数据，由于使用不同的序列化方法，压缩效果也可能存在显着差异。对于5维张量，即使通过顺序扫描进行序列化，也有5！＝120种方式，通过对人体骨架行为识别数据集进行测试，发现了120种方法中最好的方法是按照T-J-N-P-C的维数顺序进行序列化。将T维排在第一位的序列化方法具有很好的压缩率，因为如果将两个相邻帧放在一起，则两个值完全相同的可能性会更高。因此，使用DEFLATE算法更容易压缩。

可选地，还可以采用其他无损压缩方法，例如，采用自动编码器双向线性插值方法与MJS压缩方法结合。

在一些示例性场景中，压缩方法用于动作识别，因此最终准确率的变化是压缩方法优劣的衡量标准，而一般的压缩方法在恢复数据后需要注意错误率，在本发明中，我们使用CV(cross-view，交叉视角)协议作为最终评估协议，使用基于NTU-RGB+D的骨架行为识别数据集，NTU-RGB+D骨架行为识别数据集由56,880个动作样本组成，包含每个样本的RGB视频、深度图序列、3D骨架数据和红外视频。此数据集由3个相机同时捕获，在CV协议下，训练数据来自视图2和3的摄像机，而来自视图1的摄像机的数据用于测试。

通过采用DEFLATE算法与MJS压缩方法结合在一起，人体骨架数据更容易压缩。

步骤S104、根据压缩数据对人体动作进行识别。

具体地，压缩数据传输后，无法将其直接发送到动作识别模型中分析，而是需要进行数据恢复，但是在训练动作识别模型时，必须使用由MJS压缩方法压缩的数据，这样可以确保算法效果最佳。因此，首先对压缩数据进行恢复，得到恢复数据，包括将保留关节放置在压缩之前的原始位置，得到第一恢复数据，将剩余的关节用零进行填充，得到第二恢复数据，将第一恢复数据和第二恢复数据作为恢复数据。然后将恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。

可选地，动作识别模型可以采用HCN(Hierarchical Co-occurrence Network，分层共现性网络)，HCN模型被认为是基于骨架的动作识别的基线，这是基于CNN模型的最新模型，它在通道维度上充分利用了CNN模型的全局建模能力，并通过替换关节尺寸和通道维度来增强模型对关节点的全局建模能力，在CV协议下，HCN模型的准确性达到91.1％。

需要说明的是，在本公开实施例中，也可以采用各种深度学习方法的模型作为动作识别模型，如RNN(Recurrent Neural Network，循环神经网络)、CNN(ConvolutionalNeural Network，卷积神经网络)和GNN(Graph Neural Network，图神经网络)等。

通过上述方法，将恢复数据输入到预先训练的动作识别模型中进行分析，可以得到动作识别结果，采用混合编码网络模型进行动作识别，可以提高动作识别的准确率。

可选地，获取待识别的人体骨架数据，包括：

将从预先构造的人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为人体骨架数据，其中，以人体骨架行为识别数据集中的每个待识别的人作为一个样本。

具体地，可以采用基于NTU-RGB+D的人体骨架行为识别数据集，NTU-RGB+D骨架行为识别数据集由56,880个动作样本组成，包含每个样本的RGB视频、深度图序列、3D骨架数据和红外视频，此数据集由3个相机同时捕获，RGB视频的分辨率为1920×1080，深度图和红外视频的分辨率均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置。

在传输压缩数据的过程中，需要传输与区分预设数目个保留关节相对应的ID号，通过从人体骨架行为识别数据集中读取每个样本的关节点位置以及每个关节对应的时间和ID号，这有利于传输后的数据恢复。

可选地，计算人体骨架数据中每个关节的运动得分，包括：

计算人体骨架数据的运动流，根据运动流计算每个关节的运动得分。

具体地，在对骨架动作的识别中，并非每个关节都对识别至关重要，通过计算每个关节的运动得分，然后根据运动得分对每个关节进行排序，并按照运动得分从高到低的顺序选择预设数目个关节作为保留关节，根据保留关节对人体骨架数据进行压缩，它根据不同关节的运动量执行压缩，而且通过调整保留关节的数目可以控制压缩率。

运动幅度大的关节对动作的识别有很大的影响，本公开实施例的人体骨架压缩方法利用了这一优势，先计算人体骨架数据的运动流，然后根据运动流计算每个关节的运动得分。

可选地，计算人体骨架数据的运动流，包括：

运动流包括人体骨架数据中的每个关节的骨架运动，计算人体骨架数据中的每个关节的骨架运动，根据每个关节的骨架运动，得到人体骨架数据的运动流。

其中，每个关节的骨架运动的计算公式为：

X＝{X₁,X₂,...,X_t,...,X_T}∈R^T×C×J

其中，M_t是人体骨架数据中第t个关节的骨架运动，X_t是时间步长为t时的人体骨架数据，

是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，R^T×C×J是与T、C、J相关的三维张量；

其中，运动流的计算公式为：

M＝{M₁,M₂,...,M_T-1}

其中，M是人体骨架数据的骨架序列的运动流。

可选地，根据运动流计算每个关节的运动得分，包括：

根据公式计算每个关节的运动得分，公式如下所示：

其中，S_j是人体骨架数据中第j个关节的运动得分，M_t,c,j表示在时间t处，第j个关节在第c维坐标空间的骨架运动。

图2是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；

可选地，根据压缩数据对人体动作进行识别，包括：

步骤S201、对压缩数据进行恢复，得到恢复数据；

步骤S202、将恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。

具体地，压缩数据传输后，无法将其直接发送到动作识别模型中分析，而是需要进行数据恢复，但是在训练动作识别模型时，必须使用由MJS压缩方法压缩的数据，这样可以确保算法效果最佳。因此，首先对压缩数据进行恢复，得到恢复数据，包括将保留关节放置在压缩之前的原始位置，得到第一恢复数据，将剩余的关节用零进行填充，得到第二恢复数据，将第一恢复数据和第二恢复数据作为恢复数据。在一些示例性场景中，人体骨架数据中总共有25个关节，通过上述步骤得到的保留关节总共有7个，将已传输的7个保留关节根据其ID号放置在人体骨架数据矩阵中的原始位置，其余的18个关节点直接用零填充。通过上述方法，得到恢复数据。

然后将恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。

可选地，动作识别模型可以采用HCN(Hierarchical Co-occurrence Network，分层共现性网络)，HCN模型被认为是基于骨架的动作识别的基线，这是基于CNN的最新模型，它在通道维度上充分利用了CNN的全局建模能力，并通过替换关节尺寸和通道维度来增强模型对关节点的全局建模能力，在CV协议下，HCN模型的准确性达到91.1％。

需要说明的是，在本公开实施例中，也可以采用各种深度学习方法的模型作为动作识别模型，如RNN(Recurrent Neural Network，循环神经网络)、CNN(ConvolutionalNeural Network，卷积神经网络)和GNN(Graph Neural Network，图神经网络)等。

通过上述方法，将恢复数据输入到预先训练的动作识别模型中进行分析，可以得到动作识别结果，采用混合编码网络模型进行动作识别，可以提高动作识别的准确率。

可选地，对压缩数据进行恢复，得到恢复数据，包括：

将保留关节放置在压缩之前的原始位置，得到第一恢复数据；

将剩余的关节用零进行填充，得到第二恢复数据；

将第一恢复数据和第二恢复数据作为恢复数据。

具体地，压缩数据传输后，无法将其直接发送到动作识别模型中分析，而是需要进行数据恢复，但是在训练动作识别模型时，必须使用由MJS压缩方法压缩的数据，这样可以确保算法效果最佳。因此，首先对压缩数据进行恢复，得到恢复数据，在一些示例性场景中，人体骨架数据中总共有25个关节，通过上述步骤得到的保留关节总共有7个，将已传输的7个保留关节根据其ID号放置在人体骨架数据矩阵中的原始位置，其余的18个关节点直接用零填充。通过上述方法，得到恢复数据。

图3是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图。

在一些可选地实施例中，一种用于动作识别的人体骨架压缩装置，包括：

获取模块，用于获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；

计算模块，用于计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

压缩模块，用于根据保留关节对人体骨架数据进行压缩，得到压缩数据；

识别模块，用于根据压缩数据对人体动作进行识别。

图4是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图

在一些实施例中，一种用于动作识别的人体骨架压缩装置，包括处理器41和存储有程序指令的存储器42，还可以包括通信接口43和总线44。其中，处理器41、通信接口43、存储器42可以通过总线44完成相互间的通信。通信接口43可以用于信息传输。处理器41可以调用存储器42中的逻辑指令，以执行上述实施例提供的用于动作识别的人体骨架压缩的方法。

此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种用于动作识别的人体骨架压缩设备，包括存储器42及处理器41；

存储器42中存储有可执行程序代码；

处理器41读取可执行程序代码，运行与可执行程序代码对应的程序，以实现上述实施例提供的用于动作识别的人体骨架压缩方法。

本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的用于动作识别的人体骨架压缩方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种用于动作识别的人体骨架压缩方法，其特征在于，包括：

获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；

计算所述人体骨架数据中每个关节的运动得分，包括：计算所述人体骨架数据的运动流，根据所述运动流计算每个关节的运动得分；其中，计算所述人体骨架数据的运动流，包括：所述运动流包括所述人体骨架数据中的每个关节的骨架运动，计算所述人体骨架数据中的每个关节的骨架运动，根据所述每个关节的骨架运动，得到所述人体骨架数据的运动流；其中，所述每个关节的骨架运动的计算公式为：

X＝{X₁,X₂,...,X_t,...,X_T}∈R^T×C×J

其中，M_t是所述人体骨架数据中第t个关节的骨架运动，X_t是时间步长为t时的人体骨架数据，

是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，R^T×C×J是与T、C、J相关的三维张量；

其中，所述运动流的计算公式为：

M＝{M₁,M₂,...,M_T-1}

其中，M是所述人体骨架数据的骨架序列的运动流；

根据所述运动流计算每个关节的运动得分，包括：根据公式计算每个关节的运动得分，所述公式如下所示：

其中，S_j是人体骨架数据中第j个关节的运动得分，M_t,c,j表示在时间t处，第j个关节在第c维坐标空间的骨架运动；

并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；

根据所述压缩数据对人体动作进行识别。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别的人体骨架数据，包括：

将从预先构造的人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为所述人体骨架数据，其中，以所述人体骨架行为识别数据集中的每个待识别的人作为一个样本。

3.根据权利要求1所述的方法，其特征在于，所述根据所述压缩数据对人体动作进行识别，包括：

对所述压缩数据进行恢复，得到恢复数据；

将所述恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。

4.根据权利要求3所述的方法，其特征在于，所述对所述压缩数据进行恢复，得到恢复数据，包括：

将所述保留关节放置在压缩之前的原始位置，得到第一恢复数据；

将剩余的关节用零进行填充，得到第二恢复数据；

将所述第一恢复数据和所述第二恢复数据作为所述恢复数据。

5.一种用于动作识别的人体骨架压缩装置，其特征在于，包括：

获取模块，用于获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；

计算模块，用于计算所述人体骨架数据中每个关节的运动得分，包括：计算所述人体骨架数据的运动流，根据所述运动流计算每个关节的运动得分；其中，计算所述人体骨架数据的运动流，包括：所述运动流包括所述人体骨架数据中的每个关节的骨架运动，计算所述人体骨架数据中的每个关节的骨架运动，根据所述每个关节的骨架运动，得到所述人体骨架数据的运动流；其中，所述每个关节的骨架运动的计算公式为：

X＝{X₁,X₂,...,X_t,...,X_T}∈R^T×C×J

其中，M_t是所述人体骨架数据中第t个关节的骨架运动，X_t是时间步长为t时的人体骨架数据，

是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，R^T×C×J是与T、C、J相关的三维张量；

其中，所述运动流的计算公式为：

M＝{M₁,M₂,...,M_T-1}

其中，M是所述人体骨架数据的骨架序列的运动流；

根据所述运动流计算每个关节的运动得分，包括：根据公式计算每个关节的运动得分，所述公式如下所示：

其中，S_j是人体骨架数据中第j个关节的运动得分，M_t,c，j表示在时间t处，第j个关节在第c维坐标空间的骨架运动；并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；

压缩模块，用于根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；

识别模块，用于根据所述压缩数据对人体动作进行识别。

6.一种用于动作识别的人体骨架压缩设备，其特征在于，所述设备包括权利要求5所述的用于动作识别的人体骨架压缩装置。

7.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至4任一项所述的一种用于动作识别的人体骨架压缩方法。

Images