CN112712003B - 一种用于骨骼动作序列识别的联合标签数据增强方法 - Google Patents

Abstract

本发明公开了一种用于骨骼动作序列识别的联合标签数据增强方法，包括以下步骤：获取骨骼动作序列训练集；对骨骼动作序列训练集中每个样本进行数据增强获得增强训练集；根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签；使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强，从而获得双重增强训练集；将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练；将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类。本发明对骨骼动作序列训练集进行数据增强和标签增强，使骨骼动作序列识别模型能够更好地进行训练。

Description

一种用于骨骼动作序列识别的联合标签数据增强方法

技术领域

本发明涉及数据增强技术领域，具体涉及一种用于骨骼动作序列识别的联合标签数据增强方法。

背景技术

人类动作识别是机器学习中活跃的研究分支，在人体动作分析、人机交互和智能家居场景等领域有着广泛的应用，如使用手势来控制家电是智能家居发展的趋势之一。人类动作识别主要可分为视频动作序列识别和骨骼动作序列识别。与视频动作序列相比，骨骼动作序列更适合表现人类行为的本质。

骨骼动作序列识别的方法可分为两类：基于特征的方法和基于动态的方法。基于特征的方法从骨骼动作序列中提取姿态表示或具有判别性的关节子集来获取人体关节的相关性，并使用合适的度量来评估不同动作的相似度。虽然基于特征的方法在一定程度上是有效的，但手工设计的特征和度量显然无法满足不同的数据。另一方面，基于动态的方法将骨骼动作序列看作是人体关节的三维轨迹。因此，骨骼动作序列可以看作是多变量时间序列，则骨骼动作序列识别可以看作是一个时间序列分类问题。RNNs(循环神经网络)是处理骨骼动作序列识别的重要模型，因为它可以有效学习骨骼动作序列的上下文信息。然而，作为一种深度学习模型，RNNs通常需要大量监督数据用于训练。

解决这个问题一个简单有效的方法是使用数据增强。数据增强通过合成数据来增加训练集的大小。基于时间序列的数据增强方法通常采用翻转、窗口划片、窗口扭曲等方式，其中窗口扭曲对随机选取的序列片段进行上采样或下采样，适用于骨骼动作序列的数据增强。然而，窗口扭曲会导致骨骼动作序列长度发生变化，使得模型训练变得困难。此外，传统数据增强的通用做法是给通过数据增强获得的新样本分配一个同样的原始标签。如果新样本与原始样本存在较大差异时会导致数据分布扩大从而使得分类边界难以确定。

在本发明的提出过程中，至少通过研究首次发现以下信息：从数据自身获取到的监督信息可以帮助模型训练，而且通过数据增强和标签增强可以增加训练集的大小又可以帮助骨骼动作序列识别模型为每个类别的样本学习一个紧凑的类簇，而不会扩大数据分布。基于此，亟待提出了一种用于骨骼动作序列识别的联合标签数据增强方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种用于骨骼动作序列识别的联合标签数据增强方法，该联合标签数据增强方法即可以增加训练集的大小又不会扩大数据分布。

本发明的目的可以通过采取如下技术方案达到：

一种用于骨骼动作序列识别的联合标签数据增强方法，所述联合标签数据增强方法包括：

步骤S1、获取骨骼动作序列训练集；

步骤S2、对骨骼动作序列训练集中每个样本进行数据增强获得增强训练集；

步骤S3、根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签；

步骤S4、使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强，从而获得双重增强训练集；

步骤S5、将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练；

步骤S6、将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类。

进一步地，所述步骤S2中的数据增强包括恒等变换和时间序列扭曲变换，其中，所述时间序列扭曲变换的过程如下：

给定骨骼动作序列训练集中的一个样本，将其划分为N条长度相等的子序列，则每条子序列长度为：

其中T表示样本长度，L表示子序列长度，

表示下取整函数，然后对样本的N条子序列交替地执行下采样和上采样，并将它们拼接在一起构成新样本，对于下采样，采用步长为2的平均池化，对于上采样，在每两个值之间插入它们的均值；

对骨骼动作序列训练集中每个样本使用恒等变换和M-1种不同N值的时间序列扭曲变换获得M个新样本，将所有新样本收集起来获得增强训练集。

进一步地，所述步骤S3中根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签的过程如下：

给增强训练集中使用恒等变换获得的样本分配同样的变换标签以及给使用相同N值的时间序列扭曲变换获得的样本分配同样的变换标签，因此，变换标签类别数为M，包括恒等变换和M-1种不同N值的时间序列扭曲变换。此处，变换标签类别数M和步骤S2中时间序列扭曲变换获得的新样本数量M取值相等。

进一步地，所述步骤S4中使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强的过程如下：

增强训练集中样本的原始标签类别数为C，变换标签类别数为M，将两种标签进行合并为增强训练集中每个样本生成一个联合标签进行标签增强，从而获得双重增强训练集，其中联合标签类别数为C×M。

进一步地，所述步骤S5中将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练的过程如下：

给定双重增强训练集中的一个样本t，则预测的联合标签概率分布获得过程为：

z＝f(t；w)

s＝softmax(z)

其中，f(·；w)表示骨骼动作序列识别模型，w表示骨骼动作序列模型的可训练参数，z表示骨骼动作序列识别模型的输出未激活向量，s表示预测的联合标签概率分布，softmax(·)把输入映射为0-1之间的实数，并且归一化保证和为1，根据预测的联合标签概率分布和真实的联合标签概率分布使用交叉熵损失函数训练骨骼动作序列识别模型，其中交叉熵损失函数用于度量两个概率分布间的差异性信息。

进一步地，所述步骤S6中将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类的过程如下：

给定一条待分类的骨骼动作序列x，将其输入到经过训练的骨骼动作序列识别模型，公式表示如下：

h＝f(x；w_train)

p＝softmax(h)

其中，f(·；w_train)表示经过训练的骨骼动作序列识别模型，w_train表示经过训练的骨骼动作序列模型参数，h表示经过训练的骨骼动作序列识别模型的输出未激活向量，p＝{p_1,1,…,p_1,j,…,p_1,M,…,p_i,1,…,p_i,j,…,p_i,M,…,p_C,1,…,p_C,j,…,p_C,M}表示预测的联合标签概率分布，式中，p_i,j表示预测的联合标签(i,j)的概率值，则预测的原始标签概率分布定义为：

g＝{g₁,…,g_i,…,g_C}，

式中，

表示预测的原始标签i的概率值，通过预测的原始标签概率分布获得分类结果，从而对待分类的骨骼动作序列进行分类。

综上，本发明通过使用恒等变换和时间序列扭曲变换对骨骼动作训练集进行数据增强获得增强训练集，同时对增强训练集中每个样本生成一个联合标签进行标签增强，使得骨骼动作序列识别模型能够为每个类别的样本学习一个紧凑的类簇，而不会扩大数据分布。与传统数据增强方法相比，本发明不仅对样本进行数据增强同时进行标签增强，能够更好地训练骨骼动作序列识别模型，有助于更好地识别骨骼动作序列，服务于人机交互和智能家居等场景。

本发明相对于现有技术具有如下的优点及效果：

1、本发明在窗口扭曲的基础上进行改进提出时间序列扭曲变换，使得经过数据增强的样本序列长度不会发生变化。

2、本发明为增强训练集中每个样本生成一个联合标签，使得骨骼动作序列识别模型能够为每个类别的样本学习一个紧凑的类簇，而不会扩大数据分布。

附图说明

图1是本发明公开的用于骨骼动作序列识别的联合标签数据增强方法的具体流程图；

图2是本发明公开的用于骨骼动作序列识别的联合标签数据增强方法的方法结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种用于骨骼动作序列识别的联合标签数据增强方法，如图1所示，该数据增强方法包括以下步骤：

步骤S1、获取骨骼动作序列训练集。实施过程中，使用的骨骼动作序列训练集来源于“UTD-MHAD”数据集。该数据集是在室内环境下采集的人体骨骼数据，包含27种不同的动作。该数据集的每个骨骼由20个关节组成，每个关节均使用三维坐标表示。把人体骨骼的坐标平铺成一个60维的向量，连续时间的多个骨骼被表示成一个骨骼动作序列。

步骤S2、对骨骼动作序列训练集中每个样本进行数据增强获得增强训练集。增强训练集中包含通过恒等变换获得的样本以及时间序列扭曲变换获得的样本，其中时间序列扭曲变换具体过程如下：

给定骨骼动作序列训练集中的一个样本，将其划分为N条长度相等的子序列，则每条子序列长度为：

其中T表示样本长度，L表示子序列长度，

表示下取整函数，然后对样本的N条子序列交替地执行下采样和上采样，并将它们拼接在一起构成新样本，对于下采样，采用步长为2的平均池化，对于上采样，在每两个值之间插入它们的均值。对骨骼动作序列训练集中每个样本使用恒等变换和M-1种不同N值的时间序列扭曲变换获得M个新样本，将所有新样本收集起来获得增强训练集。

本次实验中，M设为3，N分别设为2，4。时间序列扭曲变换通过对样本的N条子序列交替地执行下采样和上采样，并将它们拼接在一起构成新样本，可以使得新样本的长度保持不变。此外，下采样可以理解为执行动作速度快，而上采样可以理解为执行动作速度慢，但本质上还是在执行同一个动作。因此，时间序列扭曲变换是一种适用于骨骼动作序列的数据增强方式。

步骤S3、根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签。给增强训练集中使用恒等变换获得的样本分配同样的变换标签以及给使用相同N值的时间序列扭曲变换获得的样本分配同样的变换标签，因此，变换标签类别数为M，包括恒等变换和M-1种不同N值的时间序列扭曲变换。

由步骤S2可知，本次实验采取3种不同的数据增强的变换方式，包括恒等变换和N分别等于2和4的时间序列扭曲变换。因此，变换标签类别数为M＝3。

步骤S4、使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强，从而获得双重增强训练集。由步骤S1可知，“UTD-MHAD”数据集包括27种不同的动作，因此增强训练集中样本的原始标签类别数为C＝27，变换标签类别数为M＝3，将这两种标签进行合并为增强训练集中每个样本生成一个联合标签进行标签增强，从而获得双重增强训练集，其中联合标签类别数为C×M＝91。

步骤S5、将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练。为了使双重增强训练集中不同联合标签的样本不会相互影响，本发明采取联合标签学习的方法，即训练骨骼动作序列识别模型预测联合标签，具体过程如下：给定双重增强训练集中的一个样本t，则预测的联合标签概率分布获得过程为：

z＝f(t；w)

s＝softmax(z)

其中，f(·；w)表示骨骼动作序列识别模型，w表示骨骼动作序列模型的可训练参数，z表示骨骼动作序列识别模型的输出未激活向量，s表示预测的联合标签概率分布，softmax(·)把输入映射为0-1之间的实数，并且归一化保证和为1，根据预测的联合标签概率分布和真实的联合标签概率分布使用交叉熵损失函数训练骨骼动作序列识别模型，其中交叉熵损失函数用于度量两个概率分布间的差异性信息。

为了更加清楚描述上述过程，下面通过图2来做进一步的解释。给定只有两个样本的骨骼动作序列训练集，原始标签类别数为2，分别为(1)和(2)，对骨骼动作序列训练集中两个样本进行数据增强获得增强训练集。如图2所示，增强训练集包含6个样本，其中第一行两个样本通过使用恒等变换获得；第二行两个样本通过使用N＝2的时间序列扭曲变换获得；第三行两个样本通过使用N＝4的时间序列扭曲变换获得，则变换标签类别数为3，分别为(1)，(2)和(3)。使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强，则联合标签的类别数为6，分别为(1，1)，(2，1)，(1，2)，(2，2)，(1，3)和(2，3)。将经过数据增强和标签增强的双重增强训练集用于训练骨骼动作序列识别模型。

步骤S6、将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类。经过训练的骨骼动作识别模型能够较好地预测联合标签，而在实际应用中，只需要预测原始标签。因此，本发明通过将预测的联合标签概率分布转化成原始标签概率分布，从而预测原始标签。给定一条待分类的骨骼动作序列x，将其输入到经过训练的骨骼动作序列识别模型，过程如下：

h＝f(x；w_train)

p＝softmax(h)

其中，f(·；w_train)表示经过训练的骨骼动作序列识别模型，w_train表示经过训练的骨骼动作序列模型参数，h表示经过训练的骨骼动作序列识别模型的输出未激活向量，

p＝{p_1,1,…,p_1,j,…,p_1,M,…,p_i,1,…,p_i,j,…,p_i,M,…,p_C,1,…,p_C,j,…,p_C,M}

表示预测的联合标签概率分布，其中p_i,j表示预测的联合标签(i,j)的概率值，则预测的原始标签概率分布可以定义为：

g＝{g₁,…,g_i,…,g_C}

其中，

表示预测的原始标签(i)的概率值，通过预测的原始标签概率分布获得分类结果，从而对待分类的骨骼动作序列进行分类。

本实施例通过使用恒等变换和时间序列扭曲变换对骨骼动作训练集进行数据增强获得增强训练集，同时对增强训练集中每个样本生成一个联合标签进行标签增强，使得骨骼动作序列识别模型能够为每个类别的样本学习一个紧凑的类簇，而不会扩大数据分布。与传统数据增强方法相比，本发明不仅对样本进行数据增强同时进行标签增强，能够更好地训练骨骼动作序列识别模型，有助于更好地识别骨骼动作序列，服务于人机交互和智能家居等场景。

综上所述，与传统数据增强方法相比，本发明的主要特点在于对增强样本做标签增强并进行联合标签学习。传统数据增强方法给增强样本分配与原始样本相同的原始标签，这样就需要保证增强样本与原始样本的差异较少，以尽可能地较少误差的引入，但这并不能得到保证。考虑一个二分类任务，当基于类1样本获得的增强样本与类2样本更为相似时，把这些增强样本的类别标记为1显然是不合适的，因为它们现在可能与类2样本重叠。在这种情况下，骨骼动作序列识别模型仍然会试图把类1样本和这些增强样本在特征空间拉近，这就导致数据分布扩大，从而影响模型性能。相反，本发明不强制增强样本与原始样本是同一类别，而是为每个样本生成一个联合标签并进行联合标签学习。通过联合标签学习，原始样本的数据分布不会受到增强样本的影响。因此，本发明不仅能够扩大训练集的大小从而更好地训练骨骼动作序列识别模型，而且能为每个类别的样本学习一个紧凑的类簇，而不会扩大数据分布。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种用于骨骼动作序列识别的联合标签数据增强方法，其特征在于，所述联合标签数据增强方法包括：

步骤S1、获取骨骼动作序列训练集；

步骤S2、对骨骼动作序列训练集中每个样本进行数据增强获得增强训练集；所述步骤S2中的数据增强包括恒等变换和时间序列扭曲变换，其中，所述时间序列扭曲变换的过程如下：

给定骨骼动作序列训练集中的一个样本，将其划分为N条长度相等的子序列，则每条子序列长度为：

其中T表示样本长度，L表示子序列长度，

表示下取整函数，然后对样本的N条子序列交替地执行下采样和上采样，并将它们拼接在一起构成新样本，对于下采样，采用步长为2的平均池化，对于上采样，在每两个值之间插入它们的均值；

对骨骼动作序列训练集中每个样本使用恒等变换和M-1种不同N值的时间序列扭曲变换获得M个新样本，将所有新样本收集起来获得增强训练集；

步骤S3、根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签；

步骤S4、使用增强训练集中每个样本的原始标签和变换标签为增强训练集中对应样本生成一个联合标签进行标签增强，从而获得双重增强训练集，过程如下：

增强训练集中样本的原始标签类别数为C，变换标签类别数为M，将两种标签进行合并为增强训练集中每个样本生成一个联合标签进行标签增强，从而获得双重增强训练集，其中联合标签类别数为C×M；

步骤S5、将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练；

步骤S6、将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类。

2.根据权利要求1所述的一种用于骨骼动作序列识别的联合标签数据增强方法，其特征在于，所述步骤S3中根据数据增强的变换方式为增强训练集中每个样本分配一个变换标签的过程如下：

给增强训练集中使用恒等变换获得的样本分配同样的变换标签以及给使用相同N值的时间序列扭曲变换获得的样本分配同样的变换标签，因此，变换标签类别数为M，包括恒等变换和M-1种不同N值的时间序列扭曲变换。

3.根据权利要求1所述的一种用于骨骼动作序列识别的联合标签数据增强方法，其特征在于，所述步骤S5中将经过数据增强和标签增强的双重增强训练集输入到骨骼动作序列识别模型并使用交叉熵损失函数训练的过程如下：

给定双重增强训练集中的一个样本t，则预测的联合标签概率分布获得过程为：

z＝f(t；w)

s＝softmax(z)

其中，f(·；w)表示骨骼动作序列识别模型，w表示骨骼动作序列模型的可训练参数，z表示骨骼动作序列识别模型的输出未激活向量，s表示预测的联合标签概率分布，softmax(·)把输入映射为0-1之间的实数，并且归一化保证和为1，根据预测的联合标签概率分布和真实的联合标签概率分布使用交叉熵损失函数训练骨骼动作序列识别模型，其中交叉熵损失函数用于度量两个概率分布间的差异性信息。

4.根据权利要求1所述的一种用于骨骼动作序列识别的联合标签数据增强方法，其特征在于，所述步骤S6中将待分类的骨骼动作序列输入到经过训练的骨骼动作序列识别模型进行分类的过程如下：

给定一条待分类的骨骼动作序列x，将其输入到经过训练的骨骼动作序列识别模型，公式表示如下：

h＝f(x；w_train)

p＝softmax(h)

其中，f(·；w_train)表示经过训练的骨骼动作序列识别模型，w_train表示经过训练的骨骼动作序列模型参数，h表示经过训练的骨骼动作序列识别模型的输出未激活向量，p＝{p_1,1,…,p_1,j,…,p_1,M,…,p_i,1,…,p_i,j,…,p_i,M,…,p_C,1,…,p_C,j,…,p_C,M}表示预测的联合标签概率分布，式中，p_i,j表示预测的联合标签(i,j)的概率值，则预测的原始标签概率分布定义为：

g＝{g₁,…,g_i,…,g_C}，

式中，

表示预测的原始标签i的概率值，通过预测的原始标签概率分布获得分类结果，从而对待分类的骨骼动作序列进行分类。

Images