CN111507920B - 基于Kinect的骨骼运动数据增强方法及系统 - Google Patents

Abstract

本发明涉及一种基于Kinect的骨骼运动数据增强方法，包括：获取训练样本集合；根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；利用Kinect设备获取待增强骨骼运动数据；对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据。通过本发明的上述方法能够实时对Kinect捕获的骨骼运动数据进行增强，解决现有技术中实时性以及视觉质量差的问题。

Description

基于Kinect的骨骼运动数据增强方法及系统

技术领域

本发明涉及计算机三维动画领域，特别是涉及一种基于Kinect的骨骼运动数据增强方法及系统。

背景技术

人体运动数据现已广泛应用于虚拟现实、人机交互、电脑游戏、体育和医疗等领域。专业的动作捕捉传感器如Vicon和Xsens能获取高精度的运动数据，但设备昂贵且不方便穿戴，很难被广泛应用。近年来，基于深度传感器和基于摄像机的技术等低成本的动作捕捉技术，如Kinect有效的解决了上述问题。然而，Kinect传感器设备捕捉到的原始三维骨骼运动数据由于传感器噪声、传感器分辨率差以及身体部位或服装造成的遮挡等原因普遍存在噪声和数据缺失等问题，因此对Kinect捕捉的运动数据进行增强十分重要。

目前，对Kinect数据增强方法已有大量研究，但是存在实时性差、视觉质量差等缺陷，具体分析如下：

申请号为201510363869.7，名称为一种基于多kinect的人体姿态数据融合方法的专利中通过搭建含有多台kinect的数据采集系统，对人体姿态骨骼信息进行采集，对所采集信息的类别分别进行数据融合和数据预测，从而得到增强后的Kinect数据，但该方法的设备搭建复杂，不能将Kinect运动数据的骨骼拓扑结构增强为更高精度拓扑结构，且无法做到实时性。

姚寿文和栗丽辉发表的论文双Kinect自适应加权数据融合的全身运动捕捉方法，提出了2台Kinect的自适应加权数据融合方法，以融合后的骨骼关节点数据驱动虚拟人体骨骼模型运动，实现了骨骼模型与现实场景中人体的实时随动，解决了单Kinect的自遮挡与前后模糊问题，方法的优点在于可以实时地对Kinect采集的数据进行一定程度的数据增强，但是其数据融合方法过于简单导致增强后运动有抖动，视觉质量差。

曾继平发表的论文基于双Kinect的人体运动重建，通过双Kinect捕获人体运动信息，基于骨长约束和运动平滑的骨架运动优化模型，得到更合理的人体运动捕捉，使增强后的运动数据有更高的视觉质量，然而此方法也不能将Kinect运动数据的骨骼拓扑结构增强为更高精度拓扑结构，无法做到实时性。

发明内容

本发明的目的是提供一种基于Kinect的骨骼运动数据增强方法及系统，能够实时对Kinect捕获的骨骼运动数据进行增强，解决现有技术中实时性以及视觉质量差的问题。

为实现上述目的，本发明提供了如下方案：

一种基于Kinect的骨骼运动数据增强方法，所述骨骼运动数据增强方法包括：

获取训练样本集合；所述训练样本集合包括噪声训练样本集合以及精确训练样本集合；

根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；

利用Kinect设备获取待增强骨骼运动数据；

对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；

将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据。

可选的，所述根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络，具体包括：

构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器；

根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器；

根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器；

将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络。

可选的，所述对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据，具体包括：

根据公式

对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，X_a为变换后数据，X_a′为待增强骨骼运动数据，X′₀为待增强骨骼运动数据的根节点位置坐标，μ为训练样本集合骨骼运动数据的均值，σ为训练样本集合骨骼运动数据的方差；

采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据。

可选的，所述将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据，具体包括：

将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强后固定帧长的骨骼运动数据；

将所述增强后固定帧长的骨骼运动数据依次拼接，获得增强骨骼运动数据。

可选的，所述根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器，具体包括：

对所述精确训练样本集合进行预处理，得到固定帧长的精确训练样本集合；

根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差；

根据所述第一重建误差、所述第一平滑性损失以及所述第一骨骼长度误差确定感知自编码器总损失；

判断所述感知自编码器总损失是否小于预设感知损失，获得第一判断结果；

若所述第一判断结果表示所述感知自编码器总损失小于预设感知损失，确定所述预训练感知自编码器为训练好的感知自编码器；

若所述第一判断结果表示所述感知自编码器总损失大于或等于预设感知损失，对所述感知自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差”步骤。

可选的，所述根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器，具体包括：

对所述训练样本集合进行预处理，得到固定帧长的训练样本集合；

根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差；

根据所述固定帧长的训练样本集合对所述去噪自编码器进行训练，获得预训练去噪自编码器、第二重建误差、第二平滑性损失以及第二骨骼长度误差；

根据所述第二重建误差、所述第二平滑性损失、所述第二骨骼长度误差以及所述感知误差确定去噪自编码器总损失；

判断所述去噪自编码器总损失是否小于预设去噪损失，获得第二判断结果；

若所述第二判断结果表示所述去噪自编码器总损失小于预设去噪损失，确定所述预训练去噪自编码器为训练好的去噪自编码器；

若所述第二判断结果表示所述去噪自编码器总损失大于或等于预设去噪损失，对所述去噪自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差”步骤。

可选的，所述感知自编码器和所述去噪自编码器均包括编码器和解码器。

一种基于Kinect的骨骼运动数据增强系统，所述骨骼运动数据增强系统包括：

训练样本集合获取模块，用于获取训练样本集合；所述训练样本集合包括噪声训练样本集合以及精确训练样本集合；

深度神经网络训练模块，用于根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；

待增强骨骼运动数据获取模块，用于利用Kinect设备获取待增强骨骼运动数据；

预处理模块，用于对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；

骨骼运动数据增强模块，用于将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据。

可选的，所述深度神经网络训练模块，具体包括：

深度神经网络构造单元，用于构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器；

感知自编码器训练单元，用于根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器；

去噪自编码器训练单元，用于根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器；

深度神经网络连接单元，用于将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络。

可选的，所述预处理模块，具体包括：

相对坐标变换单元，用于根据公式

对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，X_a为变换后数据，X_a′为待增强骨骼运动数据，X′₀为待增强骨骼运动数据的根节点位置坐标，μ为训练样本集合骨骼运动数据的均值，σ为训练样本集合骨骼运动数据的方差；

滑动窗口单元，用于采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种基于Kinect的骨骼运动数据增强方法，包括：获取训练样本集合；根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；利用Kinect设备获取待增强骨骼运动数据；对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据。通过本发明的上述方法能够实时对Kinect捕获的骨骼运动数据进行增强，解决现有技术中实时性以及视觉质量差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种基于Kinect的骨骼运动数据增强方法的流程图；

图2为本发明所提供的深度神经网络结构示意图；

图3为本发明所提供的数据增强效果图；

图4为本发明所提供的一种基于Kinect的骨骼运动数据增强系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于Kinect的骨骼运动数据增强方法及系统，能够实时对Kinect捕获的骨骼运动数据进行增强，解决现有技术中实时性以及视觉质量差的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种基于Kinect的骨骼运动数据增强方法的流程图，如图1所示，本发明所述骨骼运动数据增强方法包括：

S101，获取训练样本集合，所述训练样本集合是以关节位置坐标表示的数据序列。具体包括：

利用Kinect设备和NOITOM设备对运动数据进行同步采集，以获取噪声训练样本集合和精确训练样本集合。

噪声训练样本集合，利用Kinect设备采集的骨骼运动数据，本发明实施例中利用Kinect设备采集的噪声训练样本集合中关节点个数为25。

精确训练样本集合，利用NOITOM设备采集的骨骼运动数据，本发明实施例中利用NOITOM设备采集的精确训练样本集合中关节点个数为59。

S102，根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络，具体包括：

2-1)构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器。具体的，本发明实施例中去噪自编码器和感知自编码器均包括一个编码器和一个解码器，所述编码器由三层全连接网络和一个双向长短时记忆网络组成，所述解码器与所述编码器的结构对称。

运动数据片段X输入到自编码器的编码器部分，编码器根据公式(1)将输入的运动数据映射到隐变量空间获得隐变量H。

H＝E(x)＝BiLSTM₁(W₃(W₂(W₁(x)+b₁)+b₂)+b₃)    (1)

其中，W₁，W₂，W₃表示编码器中3层全连接网络的权重，b₁，b₂，b₃为对应的偏置，BiLSTM₁为自编码器的编码器单元。

将所得隐变量输入解码器部分，解码器根据公式(2)将隐变量映射回运动数据空间，获得去噪后的运动数据片段Y。

Y＝D(x)＝W₆(W₅(W₄(BiLSTM₂(H))+b₄)+b₅)+b₆    (2)

其中，W₄，W₅，W₆表示解码器中3层全连接网络的权重，b₄，b₅，b₆为对应的偏置，BiLSTM₂为自编码器的解码器单元。

2-2)根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器，具体包括：

2-2-1)对所述精确训练样本集合进行预处理，得到固定帧长的精确训练样本集合。具体的，处理过程同4-1)和4-2)。

2-2-2)以固定帧长的精确训练样本集合作为输入数据与标签数据对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差。根据公式(3)确定第一重建误差，根据公式(5)确定第一平滑性损失，根据公式(6)确定第一骨骼长度误差。

具体的，将固定帧长的精确训练样本集合输入到感知自编码器中，获得输出数据，记为重建数据X，对重建数据施加以下损失函数：

重建误差损失函数，根据重建数据X与标签数据Y的关节位置误差，建立重建误差损失函数(3)，目标使重建数据与标签数据关节位置误差最小化：

其中，f表示矩阵X和Y的行数，即运动数据的帧数，d表示矩阵X和Y的列数，即运动数据每个位姿的维数，d＝3×J，||·||₂表示向量范数中的L2范数。

平滑性损失函数：复制重建运动数据X矩阵的边界元素得到X′：X′_1，i＝X′_2，i＝X_1，i与X′_n+1，i＝X′_n，i＝X_n，i，1≤i≤f，建立如式(4)所示的平滑矩阵和如式(5)所示的平滑性损失函数，目标是使重建运动数据更平滑、有更高的视觉质量：

骨骼长度误差损失函数：根据重建数据X与标签数据Y的骨骼长度误差，建立骨骼长度误差损失函数如式(6)，目标使重建数据与标签数据骨骼长度误差最小化：

其中，

和

表示重建运动数据X中第b块骨骼在第i帧人体关节点三维坐标中两个端点的位置坐标，l_b表示标签运动数据Y中的第b块骨骼的长度。

2-2-3)根据所述第一重建误差、所述第一平滑性损失以及所述第一骨骼长度误差确定感知自编码器总损失。

公式(7)为感知自编码器总损失函数的表达式，表示重建数据与标签数据的差异值，并以损失函数最小化为目标，即希望输出的重建数据与输入的标签数据相似，对感知自编码器进行训练，获得训练好的感知自编码器。

L_p＝λ_p1L_R(X_c，X_C)+λ_p2L_s(X_C)+λ_p3L_B(X_C)    (7)

其中，L_p为感知自编码器的总损失函数，λ_p1表示重建误差权重参数，L_R表示重建误差损失函数，λ_p2表示平滑性误差权重参数，L_S表示平滑性误差损失函数，λ_p3表示骨骼长度误差权重参数，L_B表示骨骼长度误差损失函数，X_C，X′_C分别为精确训练样本集合的输入数据及与其对应的重建数据。

2-2-4)判断所述感知自编码器总损失是否小于预设感知损失，获得第一判断结果。

2-2-5)若所述第一判断结果表示所述感知自编码器总损失小于预设感知损失，确定所述预训练感知自编码器为训练好的感知自编码器。

2-2-6)若所述第一判断结果表示所述感知自编码器总损失大于或等于预设感知损失，对所述感知自编码器中的权重和偏置参数进行更新，返回2-2-2)。

2-3)根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器，具体包括：

2-3-1)对所述训练样本集合进行预处理，得到固定帧长的训练样本集合。具体的，处理过程同4-1)和4-2)。

2-3-2)根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差。

具体的，将固定帧长的训练样本集合中的噪声训练样本集合作为输入数据、精确训练样本集合作为标签数据，输入数据经过去噪自编码器获得重建数据X_R，根据重建运动数据X_R、标签数据X_C与训练好的感知自编码器的编码器部分计算感知误差损失函数，损失函数如式(8)，目标使重建运动数据X_R与标签数据X_C感知误差最小化：

其中，f表示运动数据的帧长，E_p表示训练好的感知自编码器的编码器部分。

2-3-3)将固定帧长的训练样本集合中的噪声训练样本集合作为输入数据、精确训练样本集合作为标签数据对所述去噪自编码器进行训练，获得预训练去噪自编码器、第二重建误差、第二平滑性损失以及第二骨骼长度误差。具体的，根据公式(3)确定第二重建误差，根据公式(5)确定第二平滑性损失，根据公式(6)确定第二骨骼长度误差。

2-3-4)根据所述第二重建误差、所述第二平滑性损失、所述第二骨骼长度误差以及所述感知误差确定去噪自编码器总损失。

公式(9)为去噪自编码器的总损失函数表达式，以损失函数最小化为目标对去噪自编码器进行训练，获得去噪自编码器。

L_d＝λ_d1L_R(X_c，X_R)+λ_d2L_S(X_R)+λ_d3L_B(X_R)+λ_d4L_P(X_c，X_R)    (9)

其中，L_d表示去噪自编码器总损失函数，λ_d1表示重建误差权重参数，L_R表示重建误差损失函数，λ_d2表示平滑性误差权重参数，L_S表示平滑性误差损失函数，λ_d3表示骨骼长度误差权重参数，L_B表示骨骼长度误差损失函数，λ_d4表示感知误差权重参数，L_P表示感知误差损失函数。

2-3-5)判断所述去噪自编码器总损失是否小于预设去噪损失，获得第二判断结果；

2-3-6)若所述第二判断结果表示所述去噪自编码器总损失小于预设去噪损失，确定所述预训练去噪自编码器为训练好的去噪自编码器；

2-3-7)若所述第二判断结果表示所述去噪自编码器总损失大于或等于预设去噪损失，对所述去噪自编码器中的权重和偏置参数进行更新，返回2-4-2)。

2-4)将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络。

具体的，将训练好的去噪自编码器和训练好的感知自编码器按先后次序连接，获得训练好的深度神经网络。

S103，利用Kinect设备获取待增强骨骼运动数据。具体的，利用Kinect设备采集低精度的不定长骨骼运动数据序列即待增强骨骼运动数据。

具体的，待增强骨骼运动数据记为X_a′＝[p₁，p₂，…，p_f]^T，X_a′记录人体关节点运动过程中的位置变化，f表示运动数据X_a′的帧数。其中，p_t＝[x_t，1，y_t，1，z_t，1，…，x_t，J，y_t，J，z_t，J]表示第t帧时人体所有关节点的位置坐标，其中，x_t，i表示运动数据片段X_a′中第t帧时人体第i个关节点的x轴坐标，y_t，i表示运动数据片段X_a′中第t帧时人体第i个关节点的y轴坐标，z_t，i表示运动数据片段X_a′中第t帧时人体第i个关节点的z轴坐标，i≤J，J表示人体具有的关节点个数。

S104，对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据，具体包括：

4-1)将所述待增强骨骼运动数据归一化与相对坐标变换处理，是将原始的运动数据减去训练样本集合骨骼运动数据的均值除以训练样本集合骨骼运动数据的方差，再将运动数据的绝对坐标转变为相对坐标，具体根据公式

对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，X_a为变换后数据，X_a′为待增强骨骼运动数据，X′₀为待增强骨骼运动数据的根节点位置坐标，μ为训练样本集合骨骼运动数据的均值，σ为训练样本集合骨骼运动数据的方差。其中，根节点是第0号关节点，对于人体骨骼来说根节点位于2个盆骨的中心偏上位置。

4-2)采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据X_N。具体的，将帧长为l的变换后数据通过滑动窗口可切为

个帧长为f的Kinect数据片段，其中，d为滑动窗口的步长，f为窗口大小。

S105，将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据，具体包括：

5-1)将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强后固定帧长的骨骼运动数据。具体的，向训练好的深度神经网络中输入固定帧长为f的低精度Kinect运动数据片段X_N，训练好的深度神经网络将会实时输出增强后固定帧长的骨骼运动数据，即高精度运动数据片段Y_R。

5-2)将所述增强后固定帧长的骨骼运动数据依次拼接，获得增强骨骼运动数据。具体的，将高精度运动数据片段Y_R按滑动窗口步长d为重复帧依次进行拼接得到原始数据帧长l的运动长序列即得原始长序列Kinect运动数据所对应的增强骨骼运动数据序列。

如图3所示，展示了一个Kinect运动长序列经过滑动窗口、深度神经网络、重新拼接，获得一个增强骨骼运动数据序列的过程。由图3可见，本发明提出的深度神经网络能有效地对低精度的Kinect运动数据进行实时数据增强，且对增强前后不同运动数据的拓扑结构同样适用，并保证增强后运动无抖动，且视觉质量高。

本发明还提供了一种基于Kinect的骨骼运动数据增强系统，如图4所示，所述骨骼运动数据增强系统包括：

训练样本集合获取模块1，用于获取训练样本集合；所述训练样本集合包括噪声训练样本集合以及精确训练样本集合。

深度神经网络训练模块2，用于根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络。

待增强骨骼运动数据获取模块3，用于利用Kinect设备获取待增强骨骼运动数据。

预处理模块4，用于对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据。

骨骼运动数据增强模块5，用于将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据。

优选的，所述深度神经网络训练模块2，具体包括：

深度神经网络构造单元，用于构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器。

感知自编码器训练单元，用于根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器。

去噪自编码器训练单元，用于根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器。

深度神经网络连接单元，用于将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络。

优选的，所述预处理模块4，具体包括：

相对坐标变换单元，用于根据公式

对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，X_a为变换后数据，X_a′为待增强骨骼运动数据，X′₀为待增强骨骼运动数据的根节点位置坐标，μ为训练样本集合骨骼运动数据的均值，σ为训练样本集合骨骼运动数据的方差。

滑动窗口单元，用于采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据。

本发明提供了一种基于Kinect的骨骼运动数据增强方法，采用了一种深度神经网络对Kinect骨骼运动数据进行数据增强，其中深度神经网络由去噪自编码器与感知自编码器先后次序连接组成。感知自编码器将精确训练样本集合作为输入与标签数据，以关节位置误差、骨骼长度误差、平滑性误差作为损失函数对自编码器进行训练，获得训练好的感知自编码器；去噪自编码器将Kinect采集的噪声训练样本集合作为输入数据、精确训练样本集合作为标签数据，以关节位置误差、骨骼长度误差、平滑性误差、感知误差作为损失函数对自编码器进行训练，获得训练好的去噪自编码器。将低精度的Kinect运动数据经过预处理后输入训练完成的深度神经网络，即能实时获得高精度的增强数据。由于本发明提出的优化感知误差可以提高增强后运动数据与高精度运动数据之间感知相似性，使深度神经网络适用于处理Kinect运动数据与目标高精度运动数据拓扑结构不同的情况。同时，本发明以训练好的感知自编码器作为后处理网络，进一步提高增强后运动数据与高精度运动数据骨骼长度的一致性以及平滑性，能够保证增强后的运动有更高的视觉质量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于Kinect的骨骼运动数据增强方法，其特征在于，所述骨骼运动数据增强方法包括：

获取训练样本集合；所述训练样本集合包括噪声训练样本集合以及精确训练样本集合；

根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；

利用Kinect设备获取待增强骨骼运动数据；

对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；

将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据；

所述根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络，具体包括：

构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器；

根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器；

根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器；

将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络；

所述对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据，具体包括：

根据公式对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，为变换后数据，为待增强骨骼运动数据，为待增强骨骼运动数据的根节点位置坐标，为训练样本集合骨骼运动数据的均值，为训练样本集合骨骼运动数据的方差；

采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据；

所述根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器，具体包括：

对所述精确训练样本集合进行预处理，得到固定帧长的精确训练样本集合；

根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差；

根据所述第一重建误差、所述第一平滑性损失以及所述第一骨骼长度误差确定感知自编码器总损失；

判断所述感知自编码器总损失是否小于预设感知损失，获得第一判断结果；

若所述第一判断结果表示所述感知自编码器总损失小于预设感知损失，确定所述预训练感知自编码器为训练好的感知自编码器；

若所述第一判断结果表示所述感知自编码器总损失大于或等于预设感知损失，对所述感知自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差”步骤；

所述根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器，具体包括：

对所述训练样本集合进行预处理，得到固定帧长的训练样本集合；

根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差；

根据所述固定帧长的训练样本集合对所述去噪自编码器进行训练，获得预训练去噪自编码器、第二重建误差、第二平滑性损失以及第二骨骼长度误差；

根据所述第二重建误差、所述第二平滑性损失、所述第二骨骼长度误差以及所述感知误差确定去噪自编码器总损失；

判断所述去噪自编码器总损失是否小于预设去噪损失，获得第二判断结果；

若所述第二判断结果表示所述去噪自编码器总损失小于预设去噪损失，确定所述预训练去噪自编码器为训练好的去噪自编码器；

若所述第二判断结果表示所述去噪自编码器总损失大于或等于预设去噪损失，对所述去噪自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差”步骤。

2.根据权利要求1所述的基于Kinect的骨骼运动数据增强方法，其特征在于，所述将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据，具体包括：

将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强后固定帧长的骨骼运动数据；

将所述增强后固定帧长的骨骼运动数据依次拼接，获得增强骨骼运动数据。

3.根据权利要求1所述的基于Kinect的骨骼运动数据增强方法，其特征在于，所述感知自编码器和所述去噪自编码器均包括编码器和解码器。

4.一种基于Kinect的骨骼运动数据增强系统，其特征在于，所述骨骼运动数据增强系统包括：

训练样本集合获取模块，用于获取训练样本集合；所述训练样本集合包括噪声训练样本集合以及精确训练样本集合；

深度神经网络训练模块，用于根据所述训练样本集合对深度神经网络进行训练，得到训练好的深度神经网络；

待增强骨骼运动数据获取模块，用于利用Kinect设备获取待增强骨骼运动数据；

预处理模块，用于对所述待增强骨骼运动数据进行预处理，得到固定帧长的待增强骨骼运动数据；

骨骼运动数据增强模块，用于将所述固定帧长的待增强骨骼运动数据输入到所述训练好的深度神经网络，得到增强骨骼运动数据；

所述深度神经网络训练模块，具体包括：

深度神经网络构造单元，用于构造深度神经网络；所述深度神经网络包括去噪自编码器和感知自编码器；

感知自编码器训练单元，用于根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器；

去噪自编码器训练单元，用于根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器；

深度神经网络连接单元，用于将所述训练好的去噪自编码器和所述训练好的感知自编码器连接，获得训练好的深度神经网络；

所述预处理模块，具体包括：

相对坐标变换单元，用于根据公式对所述待增强骨骼运动数据进行相对坐标变换，得到变换后数据；其中，为变换后数据，为待增强骨骼运动数据，为待增强骨骼运动数据的根节点位置坐标，为训练样本集合骨骼运动数据的均值，为训练样本集合骨骼运动数据的方差；

滑动窗口单元，用于采用滑动窗口方法对所述变换后数据进行处理，得到固定帧长的待增强骨骼运动数据；

所述根据所述精确训练样本集合对所述感知自编码器进行训练，获得训练好的感知自编码器，具体包括：

对所述精确训练样本集合进行预处理，得到固定帧长的精确训练样本集合；

根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差；

根据所述第一重建误差、所述第一平滑性损失以及所述第一骨骼长度误差确定感知自编码器总损失；

判断所述感知自编码器总损失是否小于预设感知损失，获得第一判断结果；

若所述第一判断结果表示所述感知自编码器总损失小于预设感知损失，确定所述预训练感知自编码器为训练好的感知自编码器；

若所述第一判断结果表示所述感知自编码器总损失大于或等于预设感知损失，对所述感知自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的精确训练样本集合对所述感知自编码器进行训练，获得预训练感知自编码器、第一重建误差、第一平滑性损失以及第一骨骼长度误差”步骤；

所述根据所述训练样本集合和所述训练好的感知自编码器对所述去噪自编码器进行训练，获得训练好的去噪自编码器，具体包括：

对所述训练样本集合进行预处理，得到固定帧长的训练样本集合；

根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差；

根据所述固定帧长的训练样本集合对所述去噪自编码器进行训练，获得预训练去噪自编码器、第二重建误差、第二平滑性损失以及第二骨骼长度误差；

根据所述第二重建误差、所述第二平滑性损失、所述第二骨骼长度误差以及所述感知误差确定去噪自编码器总损失；

判断所述去噪自编码器总损失是否小于预设去噪损失，获得第二判断结果；

若所述第二判断结果表示所述去噪自编码器总损失小于预设去噪损失，确定所述预训练去噪自编码器为训练好的去噪自编码器；

若所述第二判断结果表示所述去噪自编码器总损失大于或等于预设去噪损失，对所述去噪自编码器中的权重和偏置参数进行更新，返回“根据所述固定帧长的训练样本集合、所述去噪自编码器以及所述训练好的感知自编码器确定感知误差”步骤。

Images