CN107247924A - 基于Kinect的动作比对系统和比对方法 - Google Patents

Abstract

本发明涉及传感器采集比对领域，具体地，公开了一种基于Kinect的动作比对系统和基于Kinect的动作比对方法，其中，所述基于Kinect的动作比对方法包括：采用Kinect采集模块采集用户在运动中各骨骼点的实时三维空间的坐标数据；采用实时动作序列拆分模块将每个实时动作序列各自拆分开，形成多个独立的实时动作序列；将每个模板动作序列的长度采用模板动作伸缩模块拉伸或缩短至与对应的实时动作序列相同；将步骤103中拉伸或缩短后的模板动作序列和与该模板动作序列对应的实时动作序列采用实时动作序列和模板动作序列比对模块进行比对；将步骤104中比对后的数据采用数据处理模块进行分析。

Description

基于Kinect的动作比对系统和比对方法

技术领域

本发明涉及传感器采集比对领域，具体地，涉及一种基于Kinect的动作比对系统和基于Kinect的动作比对方法。

背景技术

目前，许多人都有学习武术、舞蹈或者体操的习惯，而常规学习模式往往存在需要有教练、固定场所、固定时间以及一个教练只辅导一类的动作等弊端。而若自己独自进行训练，则往往动作不规范也不容易发现，长久练习下去，并不会有较好的训练效果，费时费力且收效甚低。

因此，提供一种可以在任何时间，任何地点，进行动作训练的系统，同时可以在虚拟环境下，根据用户不同动作进行比对，有利于用户独自锻炼的基于Kinect的动作比对系统和基于Kinect的动作比对方法是本发明亟需解决的问题。

发明内容

针对上述现有技术，本发明的目的在于克服现有技术中，常规的武术、舞蹈或者体操等动作训练往往受时间和空间的局限的问题，从而提供一种可以在任何时间，任何地点，进行动作训练的系统，同时可以在虚拟环境下，根据用户不同动作进行比对，有利于用户独自锻炼的基于Kinect的动作比对系统和基于Kinect的动作比对方法。

为了实现上述目的，本发明提供了一种基于Kinect的动作比对系统，其中，所述基于Kinect的动作比对系统包括Kinect采集模块，实时动作序列拆分模块，模板动作伸缩模块，实时动作序列和模板动作序列比对模块，以及数据处理模块；其中，

所述Kinect采集模块用于采集用户在运动中各骨骼点的实时三维空间的坐标数据；

所述实时动作序列拆分模块用于将每个实时动作序列各自拆分开，每两个实时动作之间形成有停顿点，相邻的两个停顿点之间形成为一个实时动作序列，所述实时动作序列拆分模块通过监测每个停顿点，并将每两个相邻的停顿点之间的一个实时动作序列予以拆分出；

所述模板动作伸缩模块用于将模板动作中的每个模板动作序列的长度拉伸或缩短至与对应的实时动作序列相同；

所述实时动作序列和模板动作序列比对模块用于将每组经拉伸或缩短至长度与对应的实时动作序列相同的模板动作序列和该对应的实时动作序列进行比对；

所述数据处理模块用于对每组经过所述实时动作序列和模板动作序列比对模块比对后的数据进行分析；其中，

三维空间的坐标系为：根据kinect设备所在位置为三维空间坐标原点，z轴正方向为摄像头指向方向，x轴平行于设备所在平面并与z轴垂直且指定原点向右为正方向，y轴垂直于x、z轴所在平面且指定y轴正方向竖直该平面向上。

优选地，所述基于Kinect的动作比对系统还包括各骨骼点数据平滑消抖模块，所述各骨骼点数据平滑消抖模块用于对采集用户在运动中各骨骼点的实时三维空间的坐标数据采用多帧数据采用滤波算法对骨骼进行消抖处理。

优选地，所述滤波算法选自限幅滤波法、中位值滤波法、算术平均滤波法、递推平均滤波法、中位值平均滤波法、限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法和限幅消抖滤波法中的一种或多种。

优选地，所述基于Kinect的动作比对系统还包括骨骼数据优化模块，所述骨骼数据优化模块用于通过对采集的用户在运动中各骨骼点的实时三维空间的坐标数据来计算出用户在运动中各骨骼点的速度，并计算用户的整体速度，并根据整体速度的变化情况优化速度数据。

优选地，速度数据的优化采用DFP拟牛顿法进行优化。

优选地，采集的骨骼点的数量为20-40个；

所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量为12-16个。

优选地，所述实时动作序列和模板动作序列比对模块采用如下所示的公式进行比对：

其中，∑表示对数据序列求和，x表示用户骨骼点坐标数据，y表示模板骨骼点坐标数据，表示用户一定长度序列的骨骼点数据平均值，表示模板与用户相同长度序列骨骼点数据平均值。

本发明还提供了一种基于Kinect的动作比对方法，其中，所述基于Kinect的动作比对方法使用根据上述所述的基于Kinect的动作比对系统，所述基于Kinect的动作比对方法包括：

步骤101，采用Kinect采集模块采集用户在运动中各骨骼点的实时三维空间的坐标数据；

步骤102，采用实时动作序列拆分模块将每个实时动作序列各自拆分开，形成多个独立的实时动作序列；

步骤103，将每个模板动作序列的长度采用模板动作伸缩模块拉伸或缩短至与对应的实时动作序列相同；

步骤104，将步骤103中拉伸或缩短后的模板动作序列和与该模板动作序列对应的实时动作序列采用实时动作序列和模板动作序列比对模块进行比对；

步骤105，将步骤104中比对后的数据采用数据处理模块进行分析。

优选地，步骤101和步骤102之间还包括以下步骤：采用骨骼点数据平滑消抖模块对步骤101中采集的运动中各骨骼点的实时三维空间的坐标数据采用滤波算法进行消抖处理。

优选地，步骤101和步骤102之间还包括以下步骤：采用骨骼数据优化模块根据采集的用户在运动中各骨骼点的实时三维空间的坐标数据对速度数据进行优化。

优选地，步骤101中采集的骨骼点的数量为20-40个；

步骤105中所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量为12-16个。

根据上述技术方案，本发明通过设置Kinect采集模块，实时动作序列拆分模块，模板动作伸缩模块，实时动作序列和模板动作序列比对模块，以及数据处理模块，先通过Kinect采集模块采集实时运动中的各骨骼点的实时三维空间的坐标数据，而后将采集到的实时运动拆分为多个实时动作序列，并根据实时动作序列，将对应的模板动作序列进行拉伸或缩短至长度相同，而后再用数据处理模块比对上述实时动作序列和模板动作序列，并进行分析，找出实时动作中的问题，从而实现可以独自进行训练，且能够实时矫正自己的动作，大大提高独自训练的有效性，降低对训练的时间、空间和人员等的要求。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明提供的一种基于Kinect的动作比对方法的流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明提供了一种基于Kinect的动作比对系统，其中，所述基于Kinect的动作比对系统包括Kinect采集模块，实时动作序列拆分模块，模板动作伸缩模块，实时动作序列和模板动作序列比对模块，以及数据处理模块；其中，

所述Kinect采集模块用于采集用户在运动中各骨骼点的实时三维空间的坐标数据；

所述实时动作序列拆分模块用于将每个实时动作序列各自拆分开，每两个实时动作之间形成有停顿点，相邻的两个停顿点之间形成为一个实时动作序列，所述实时动作序列拆分模块通过监测每个停顿点，并将每两个相邻的停顿点之间的一个实时动作序列予以拆分出；

所述模板动作伸缩模块用于将模板动作中的每个模板动作序列的长度拉伸或缩短至与对应的实时动作序列相同；

所述实时动作序列和模板动作序列比对模块用于将每组经拉伸或缩短至长度与对应的实时动作序列相同的模板动作序列和该对应的实时动作序列进行比对；

所述数据处理模块用于对每组经过所述实时动作序列和模板动作序列比对模块比对后的数据进行分析；其中，

三维空间的坐标系为：根据kinect设备所在位置为三维空间坐标原点，z轴正方向为摄像头指向方向，x轴平行于设备所在平面并与z轴垂直且指定原点向右为正方向，y轴垂直于x、z轴所在平面且指定y轴正方向竖直该平面向上。

上述设计通过设置Kinect采集模块，实时动作序列拆分模块，模板动作伸缩模块，实时动作序列和模板动作序列比对模块，以及数据处理模块，先通过Kinect采集模块采集实时运动中的各骨骼点的实时三维空间的坐标数据，而后将采集到的实时运动拆分为多个实时动作序列，并根据实时动作序列，将对应的模板动作序列进行拉伸或缩短至长度相同，而后再用数据处理模块比对上述实时动作序列和模板动作序列，并进行分析，找出实时动作中的问题，从而实现可以独自进行训练，且能够实时矫正自己的动作，大大提高独自训练的有效性，降低对训练的时间、空间和人员等的要求。当然，需要指出的是，这里的模板动作为规范的动作采集到的点，例如，可以为事先录制好的标准动作的采集数据，本领域技术人员可以按照适宜操作和采集的方式进行采集。

当然，为了使比对效果更好，进一步降低因抖动对数据采集的有效性的影响，降低采集的数据的误差，在本发明的一种优选的实施方式中，所述基于Kinect的动作比对系统还包括各骨骼点数据平滑消抖模块，所述各骨骼点数据平滑消抖模块用于对采集用户在运动中各骨骼点的实时三维空间的坐标数据采用多帧数据采用滤波算法对骨骼进行消抖处理。

当然，这里的滤波算法可以为常规选择的类型，例如，所述滤波算法可以选自限幅滤波法、中位值滤波法、算术平均滤波法、递推平均滤波法、中位值平均滤波法、限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法和限幅消抖滤波法中的一种或多种。

进一步优选的实施方式中，为了更好地提高采集的数据的有效性和准确性，所述基于Kinect的动作比对系统还可以包括骨骼数据优化模块，当然，这里的骨骼数据优化模块需要能对骨骼点的移动位移等作出有效的优化即可，例如，所述骨骼数据优化模块可以设置为用于通过对采集的用户在运动中各骨骼点的实时三维空间的坐标数据来计算出用户在运动中各骨骼点的速度，并计算用户的整体速度，并根据整体速度的变化情况优化速度数据。

这里的优化速度数据的优化方式可以按照本领域常规方式进行操作，例如，一种更为优选的实施方式中，速度数据的优化可以采用DFP拟牛顿法进行优化。当然，其他可行的方式在此也可以使用，例如，可以为梯度下降法等。

当然，Kinect采集模块采集的骨骼点的数量可以根据实际需要进行选择，例如，一种优选的实施方式中，采集的骨骼点的数量为20-40个。

更为优选的实施方式中，为了进一步降低比对的难度和复杂度等，所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量可以进一步选择为12-16个。当然，这里比对的骨骼点可以根据实际需要进行选择，可以根据动作的不同选择不同的骨骼点，在此不多作赘述。

同样地，一种更为优选的实施方式中，比对时采用的比对方式可以根据实际需要选择，例如，所述实时动作序列和模板动作序列比对模块采用如下所示的公式进行比对：

其中，∑表示对数据序列求和，x表示用户骨骼点坐标数据，y表示模板骨骼点坐标数据，表示用户一定长度序列的骨骼点数据平均值，表示模板与用户相同长度序列骨骼点数据平均值。这里每次比对选择两个变量进行比对。

本发明还提供了一种基于Kinect的动作比对方法，其中，所述基于Kinect的动作比对方法使用根据上述项所述的基于Kinect的动作比对系统，如图1所示，所述基于Kinect的动作比对方法包括：

步骤101，采用Kinect采集模块采集用户在运动中各骨骼点的实时三维空间的坐标数据；

步骤102，采用实时动作序列拆分模块将每个实时动作序列各自拆分开，形成多个独立的实时动作序列；

步骤103，将每个模板动作序列的长度采用模板动作伸缩模块拉伸或缩短至与对应的实时动作序列相同；

步骤104，将步骤103中拉伸或缩短后的模板动作序列和与该模板动作序列对应的实时动作序列采用实时动作序列和模板动作序列比对模块进行比对；

步骤105，将步骤104中比对后的数据采用数据处理模块进行分析。

一种优选的实施方式中，步骤101和步骤102之间还可以包括采用骨骼点数据平滑消抖模块对步骤101中采集的运动中各骨骼点的实时三维空间的坐标数据采用滤波算法进行消抖处理。

更为优选的实施方式中，步骤101和步骤102之间还可以包括采用骨骼数据优化模块根据采集的用户在运动中各骨骼点的实时三维空间的坐标数据对速度数据进行优化。

同样地，步骤101中采集的骨骼点的数量为20-40个；步骤105中所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量为3-10个。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种基于Kinect的动作比对系统，其特征在于，所述基于Kinect的动作比对系统包括Kinect采集模块，实时动作序列拆分模块，模板动作伸缩模块，实时动作序列和模板动作序列比对模块，以及数据处理模块；其中，

所述Kinect采集模块用于采集用户在运动中各骨骼点的实时三维空间的坐标数据；

所述实时动作序列拆分模块用于将每个实时动作序列各自拆分开，每两个实时动作之间形成有停顿点，相邻的两个停顿点之间形成为一个实时动作序列，所述实时动作序列拆分模块通过监测每个停顿点，并将每两个相邻的停顿点之间的一个实时动作序列予以拆分出；

所述模板动作伸缩模块用于将模板动作中的每个模板动作序列的长度拉伸或缩短至与对应的实时动作序列相同；

所述实时动作序列和模板动作序列比对模块用于将每组经拉伸或缩短至长度与对应的实时动作序列相同的模板动作序列和该对应的实时动作序列进行比对；

所述数据处理模块用于对每组经过所述实时动作序列和模板动作序列比对模块比对后的数据进行分析；其中，

三维空间的坐标系为：根据kinect设备所在位置为三维空间坐标原点，z轴正方向为摄像头指向方向，x轴平行于设备所在平面并与z轴垂直且指定原点向右为正方向，y轴垂直于x、z轴所在平面且指定y轴正方向竖直该平面向上。

2.根据权利要求1所述的基于Kinect的动作比对系统，其特征在于，所述基于Kinect的动作比对系统还包括各骨骼点数据平滑消抖模块，所述各骨骼点数据平滑消抖模块用于对采集用户在运动中各骨骼点的实时三维空间的坐标数据采用多帧数据采用滤波算法对骨骼进行消抖处理。

3.根据权利要求2所述的基于Kinect的动作比对系统，其特征在于，所述滤波算法选自限幅滤波法、中位值滤波法、算术平均滤波法、递推平均滤波法、中位值平均滤波法、限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法和限幅消抖滤波法中的一种或多种。

4.根据权利要求1所述的基于Kinect的动作比对系统，其特征在于，所述基于Kinect的动作比对系统还包括骨骼数据优化模块，所述骨骼数据优化模块用于通过对采集的用户在运动中各骨骼点的实时三维空间的坐标数据来计算出用户在运动中各骨骼点的速度，并计算用户的整体速度，并根据整体速度的变化情况优化速度数据。

5.根据权利要求4所述的基于Kinect的动作比对系统，其特征在于，速度数据的优化采用DFP拟牛顿法进行优化。

6.根据权利要求1所述的基于Kinect的动作比对系统，其特征在于，采集的骨骼点的数量为20-40个；

所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量为12-16个。

7.根据权利要求1所述的基于Kinect的动作比对系统，其特征在于，所述实时动作序列和模板动作序列比对模块采用如下所示的公式进行比对：

其中，∑表示对数据序列求和，x表示用户骨骼点坐标数据，y表示模板骨骼点坐标数据，表示用户一定长度序列的骨骼点数据平均值，表示模板与用户相同长度序列骨骼点数据平均值。

8.一种基于Kinect的动作比对方法，其特征在于，所述基于Kinect的动作比对方法使用根据权利要求1-7中任意一项所述的基于Kinect的动作比对系统，所述基于Kinect的动作比对方法包括：

步骤101，采用Kinect采集模块采集用户在运动中各骨骼点的实时三维空间的坐标数据；

步骤102，采用实时动作序列拆分模块将每个实时动作序列各自拆分开，形成多个独立的实时动作序列；

步骤103，将每个模板动作序列的长度采用模板动作伸缩模块拉伸或缩短至与对应的实时动作序列相同；

步骤104，将步骤103中拉伸或缩短后的模板动作序列和与该模板动作序列对应的实时动作序列采用实时动作序列和模板动作序列比对模块进行比对；

步骤105，将步骤104中比对后的数据采用数据处理模块进行分析。

9.根据权利要求8所述的基于Kinect的动作比对方法，其特征在于，步骤101和步骤102之间还包括以下步骤：采用骨骼点数据平滑消抖模块对步骤101中采集的运动中各骨骼点的实时三维空间的坐标数据采用滤波算法进行消抖处理；

优选地，步骤101和步骤102之间还包括以下步骤：采用骨骼数据优化模块根据采集的用户在运动中各骨骼点的实时三维空间的坐标数据对速度数据进行优化。

10.根据权利要求8所述的基于Kinect的动作比对方法，其特征在于，步骤101中采集的骨骼点的数量为20-40个；

步骤105中所述实时动作序列和模板动作序列比对模块中比对的骨骼点的数量为12-16个。