CN101964047A - 一种基于多跟踪点的人体动作识别方法 - Google Patents

Abstract

本发明涉及一种基于多跟踪点的人体动作识别方法，包括以下步骤：基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；对每个跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点；利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个跟踪点的相应动作数据；根据每个跟踪点的相应动作数据，识别出待测人体的运动动作。本发明还可对人体姿态进行识别。本发明的方法实现了多目标跟踪，能对待测人体全身多部位进行跟踪，且能够记录下跟踪部位的运动轨迹，对人体姿态进行定位、描述，更真实的反应人体的运动情况。

Description

一种基于多跟踪点的人体动作识别方法

技术领域

本发明涉及计算机应用领域，更具体地说，涉及一种基于多跟踪点的人体动作识别方法。

背景技术

随着计算机技术的发展，人们可以通过使用计算机来完成很多高难度的工作。通过结合计算机来对人体动作进行准确识别，可广泛应用于智能人机交互、视频监控和数字娱乐等领域，是目前计算机视觉与模式识别领域的研究热点。在某些虚拟现实的领域中，如数字娱乐，通常需要计算机一方面向人的感官传送刺激信号，另一方面接收操作者的反应，如体态姿势的变动等，然后根据这些人体本身位置和状态的变换来调整刺激信号。因此，需要准确地对人体动作或姿态进行识别。

目前一些利用动作进行识别控制的方法都是基于传统的图像识别方法，通过摄像头拍摄人体的行为姿态或动作，对拍摄的图像进行分析处理，利用相应的识别算法进行识别，判断出人体的行为姿态或动作。此种方法一方面需要相当大的存储空间以存放拍摄的图像，另一方面也需要非常优化的算法来精确识别人体姿态或动作。

针对上述传统方法的缺陷，发展了一种基于加速度传感器来识别人手动作的方式。该技术使用了加速度传感器和陀螺仪，一般是将加速度传感器和陀螺仪放置在手柄中。任天堂公司的Wii Sport产品即采用了这样一种实时捕捉人体运动信息的技术，该公司产品的手柄里面包含了重力传感器，陀螺仪这两个重要设备，其中重力传感器用于捕获人体运动的加速度信息，陀螺仪用于捕获人体运动的方向信息。通过蓝牙信号，手柄可以将加速度信息和运动方向信息传递给终端计算机，终端计算机通过加速度信息和运动方向信息就可以建模人体运动的动作。由手柄发送手部运动的数据，在健身娱乐时存在多方面的问题，比如：

1、不能进行身体位置多个部位的跟踪，因此也就无法对娱乐健身者的整体身体运动做出分析；

2、发送的只有运动信息而无空间位置坐标信息，因此不能真实的反应出人体的运动情况；

3、由于无人体部位的空间位置坐标信息，因此不能对人体部位运动轨迹进行跟踪，更无法对人体姿态进行定位和描述；

4、手柄需要电源，在没有电源或者没有手柄的情况下，根本不能使用。

从真实运动健身的需求来说，这种技术只能用作于游戏，只能简单地识别人体的手部动作，而不能用于运动健身。

发明内容

本发明要解决的技术问题在于，针对现有人体动作识别方法技术的上述无法记录人体多个部位的位置以及运动信息的缺陷，提供一种基于多跟踪点人体动作或姿态的直接识别方法。

本发明解决其技术问题所采用的技术方案是：在人体或相关运动器材上设置多个跟踪点，记录每个跟踪点不同时刻的位置数据，对其进行分析计算每个跟踪点的相应动作数据，从而识别出待测人体的运动动作或人体姿态。

本发明提供了一种基于多跟踪点的人体动作识别方法，包括以下步骤：

S1：基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；

S2：对每个跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点；

S3：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个跟踪点的相应动作数据；

S4：根据每个跟踪点的相应动作数据，识别出待测人体的运动动作。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算不同跟踪点之间的位置关系数据。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的运动动作。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤S1还包括：基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个跟踪点；所述步骤S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据；所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态保持情况。

在本发明所述的基于多跟踪点的人体动作识别方法中，计算每个跟踪点的相应动作数据，包括计算位移、速度、加速度和/或作用力大小。

在本发明所述的基于多跟踪点的人体动作识别方法中，还包括步骤S5：利用所述每个跟踪点对应的一组数据点的空间位置数据，描绘出每个跟踪点的运动轨迹。

在本发明所述的基于多跟踪点的人体动作识别方法中，所述步骤S2进一步包括：将采集的每个跟踪点对应的一组数据点都表示为三元组(x，y，z)，其中x代表数据点在X轴的位置，所述X轴为第一水平方向，且x值增大代表跟踪点位置右移；y代表数据点在Y轴的位置，所述Y轴为垂直方向，且y值增大代表跟踪点位置上移；z代表数据点在Z轴的位置，所述Z轴为与第一水平方向垂直的第二水平方向，且z值增大代表跟踪点位置前移。

在本发明所述的基于多跟踪点的人体动作识别方法中，需要判断的动作从以下一组动作中选择：平移、下蹲、跳起、跑步、击球、拳击、踢足球和跳舞。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生平移或下蹲动作时，包括以下步骤：

A1：在待测人体上设置至少一个跟踪点；

A2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

A3：对上述数据点进行分析；当y_i-y_o＜d₁，其中d₁为预设阈值，则该跟踪点位置下移，即待测人体发生了下蹲动作，下蹲距离为|y_i-y_o|；当z_i-z_o＞0，则该跟踪点位置前移，即待测人体发生了前移动作，当z_i-z_o＜0，则待测人体发生了后移动作，且移动距离为|z_i-z_o|；当x_i-x_o＞0，则该跟踪点位置右移，即待测人体发生了右移动作，当x_i-x_o＜0，则待测人体发生了左移动作，且移动距离为|x_i-x_o|。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生平移或下蹲动作时，所述步骤A1中，在待测人体戴的帽子上设置一个跟踪点。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跳起的动作时，包括以下步骤：

B1：在待测人体上设置至少一个跟踪点；

B2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

B3：对上述数据点进行分析；实时计算头部竖直方向上的速度v_iy＝(y_i-y_i-1)/T，其中T为由检验装置决定的预设值，当v_iy≥v，其中v为根据平时运动试验得到的预设值，则记录下该时刻跟踪点的位置信息，记为开始数据点(x_k，y_k，z_k)；

B4：计算各个时刻的

若L大于预设阈值，则待测人体发生了跳起的动作。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跑步动作时，包括以下步骤：

C1：在待测人体腿部设置至少一个跟踪点；

C2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

C3：对上述数据点进行分析；每个时刻检查y_i，与y_i+1、y_i-1的关系，当y_i+1＜y_i且y_i＞y_i-1时，则y_i为跟踪点在Y轴方向上的最高点；记录一段时间T内，跟踪点经历的最高点次数为n，则得到跑步时的频率f＝n/T；从某时刻开始，记录其后一段时间内的n个位置最高点(y₁，y₂，…，y_n)，由此可以计算出跑步时上下运动的平均振幅为

其中h为跟踪点的高度。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体是否发生跑步动作时，所述跟踪点设置在待测人体膝盖上。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的拳击动作时，包括以下步骤：

D1：至少在待测人体左右手上分别设置一个跟踪点，取X轴上数据较小的跟踪点即左手跟踪点标识为A跟踪点，另一个跟踪点即右手跟踪点标识为B跟踪点；

D2：对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点(x_iA，y_iA，z_iA)和(x_iB，y_iB，z_iB)；其中，i代表不同时刻；

D3：对上述数据点进行分析；根据跟踪点在Z轴方向上的速度值判断打拳动作是否发生；然后依据跟踪点在其他两个坐标轴上的速度或位置来判断拳形。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，包括以下步骤：

E1：至少在待测人体手部设置一个跟踪点；

E2：对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点；

E3：对上述数据点进行分析；根据跟踪点在Y轴方向上的速度值判断抛球动作是否发生，并根据跟踪点在Z轴方向上的速度值判断击球动作是否发生。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤E3还包括：根据跟踪点在Y轴方向上的速度值和Z轴方向上的速度判断削球动作是否发生；并根据跟踪点的运动方向与三坐标平面的夹角判断削球动作对球运动的影响。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述跟踪点设置在球拍上。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤E1还包括：在所述待测人体头部设置跟踪点。

在本发明所述的基于多跟踪点的人体动作识别方法中，当判断待测人体的击球动作时，所述步骤E3还包括：根据所述手部上的跟踪点与所述头部上的跟踪点的位置关系判断是右手球还是左手球。

实施本发明的基于多跟踪点的人体动作识别方法，具有以下有益效果：实现了多目标跟踪，能对待测人体全身多部位进行跟踪；由于跟踪的基本数据是娱乐健身者在各个时刻各跟踪部位的空间位置信息，因此能够记录下跟踪部位的运动轨迹，对人体姿态进行定位、描述，更真实的反应人体的运动情况。且本发明的方法简单实用，对人体动作或姿态识别的准确度高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于多跟踪点的人体动作识别方法实施例的流程图；

图2是本发明基于多跟踪点的人体动作识别方法数据点所使用的坐标系示意图；

图3是本发明基于多跟踪点的人体动作识别方法在判断跑步动作时跟踪点的位置数据图。

具体实施方式

以下对本发明的较佳实施例进行详细说明。

如图1所示，本发明的基于多跟踪点的人体动作识别方法的实现过程，包括以下步骤：

在步骤S1中，基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；在步骤S2中，对每个跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点；在步骤S3中，利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个跟踪点的相应动作数据；在步骤S4中，根据每个跟踪点的相应动作数据，识别出待测人体的运动动作。如果需要判断的动作要求设置多个跟踪点，且需要判断各个跟踪点之间的关系，则在步骤S3中，还可利用每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算不同跟踪点之间的位置关系数据。同时在步骤S4中，再根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的运动动作。

本发明提供的基于多跟踪点的人体动作识别方法还可应用到人体姿态的识别，只需在上述人体动作识别方法的步骤中做相应调整：在步骤S1中，基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个跟踪点；在步骤S3中，利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据；在步骤S4中，根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态。还可根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态保持情况。具体的方法将在后面进行详细说明。

值得一提的是，本发明还可利用所述每个跟踪点对应的一组数据点的空间位置数据，描绘出每个跟踪点的运动轨迹。在本发明所述的基于多跟踪点的人体动作识别方法中，计算每个跟踪点的相应动作数据，包括计算其位移、速度、加速度和/或作用力大小等有利于判断该动作的数据。

需要说明的是，本发明中设置跟踪点，并对其空间位置数据进行采集的过程可以通过多种方法实现。在一个实施例中，跟踪点可以为具有高反光特性的材料，由红外发射装置向其发射红外光，再通过摄像头捕捉跟踪点不同时刻的数字图像。输入到计算机或者使用控制芯片对其进行识别，从而确定跟踪点的空间位置坐标，进行后续的处理。

本发明使用使用三元组来代表跟踪点的空间位置数据。在步骤S2中：将采集的每个跟踪点对应的一组数据点都表示为三元组(x，y，z)，其中x代表数据点在X轴的位置，所述X轴为第一水平方向，且x值增大代表跟踪点位置右移；y代表数据点在Y轴的位置，所述Y轴为垂直方向，且y值增大代表跟踪点位置上移；z代表数据点在Z轴的位置，所述Z轴为与第一水平方向垂直的第二水平方向，且z值增大代表跟踪点位置前移。根据不同的硬件，本实施例中硬件每秒对一个跟踪点产生三十个这样的三元组，因此利用同一个跟踪点在一段时间内的空间位置数据就能描述出跟踪点的运动状态，同时利用多个跟踪点的空间位置数据，就能描述出人体姿态变化。这里给出本发明底层硬件得出数据点所使用的坐标系如图2所示。由此坐标系可以看出，向左运动x变小，向右运动x变大；向上运动y变大，向下运动y变小；向前运动z变大，向后运动z变小。

下面将详细的阐述本发明方法的技术原理。在具体介绍本发明是怎么识别人体动作之前，先给出本发明使用底层软硬件传上来的数据点来判断动作开始点和结束点的流程图。如图3所示，先将从底层软/硬件传来数据点，表现为三元组(x，y，z)，然后根据这一组数据点，计算各个数据点出的速度、加速度和作用力大小。依据某个方向上的速度是否达到给定阈值，判断某个方向上是否有动作发生；同样，依据某个方向上的速度是否减小到给定阈值，判断某个方向上动作是否结束；然后可以依据动作开始点、结束点来计算动作的距离。在判断动作需要时，可以根据该流程图得到动作开始点和结束点的信息，再进一步计算其它数据。

本发明所述的基于多跟踪点的人体动作识别方法，可以用于判断以下动作：平移、下蹲、跳起、跑步、击球、拳击、踢足球和跳舞等，这些动作能够根据在人体或运动器械上设置的多个跟踪点来判断并计算动作数据。

下面分别对不同动作的判断方法和过程进行说明。

1、判断人体动作

人体动作是极其复杂的，但是可以从动作的效果给人体动作做出些分类，如：移动，下蹲，跳起，跑步，手部动作，以及各种各样的组合动作。本发明就是将人体动作细分为身体的各个部位的动作，然后依据各个部位的动作来表现人体整个动作。

A、平移，下蹲动作，将这两个动作归为一类的原因，是在判断这两个动作的时候，都只用考虑一个点的坐标就可以了。比如让人戴上帽子，取开始跟踪到帽子位置时，它的坐标是(x₀，y₀，z₀)，此后各个时刻的帽子位置的坐标是(x_i，y_i，z_i)，可以用这两个点的相对关系来看人是往哪个方向移动了。若y_i-y₀＜d₁，则可以判断头的位置变低了。依据d₁的取值，可以判断人是不是下蹲了，若d₁的取值较大的话，人下蹲了。同样道理可以判断人是不是往前、后、左、右移动了。这里只以往前，后移动为例，若z_i-z₀＞0，则人往前移动了；若z_i-z₀＜0，则人往后移动了，移动的距离为|z_i-z₀|。

左右移动的判断方法与前后移动方法相同，只是使用的X轴坐标信息。

B、跳起动作，即判断人的身体有没有发生上跳行为。首先在人的头部做上标记，比如戴上帽子，站在视频摄像头前，这时取得了头部在正常站立时的位置坐标(x₀，y₀，z₀)，人在运动的过程中，可以实时得到人头部的位置信息，用坐标表示为(x_i，y_i，z_i)，即第i时刻头部的位置，正常站立时刻和以后各个时刻的头部位置坐标都是由底层软件传上来的。有了各个时刻头部位置坐标，就可以实时计算头部竖直方向上的速度v_iy＝(y_i-y_i-1)/T，其中：T＝1/30s，这个时间也是由底层硬件决定的。若发现某时刻i有向上的较大速度，即v_iy≥v，其中：v为事先给出的定值，是从平时运动试验中得到的。记录下该时刻帽子的位置信息，记为开始点位置(x_k，y_k，z_k)，且此后计算各个时刻帽子位置离开始点的距离若距离达到预先给定的阈值，则判断有一个跳起的动作，若没有，以后的各个时刻，依旧以此方法判断是否有跳起动作。跳起判断具体可以应用到头球攻门等运动项目中。

C、跑步动作，即判断人是不是在跑步，主要考虑人的腿是不是上下往复运动。首先在人的腿部，比如膝盖上戴一护膝，这样就可以实时得到人膝盖的位置信息(x_i，y_i，z_i)取竖直方向上位置信息y_i，如图3所示，开始跑步时，竖直方向位置信息的数值不断增大，并很快达到最大值，然后又很快的减小，直到膝盖最初高度为止。判断膝盖有没有达到最大值的方法是，每个时刻检查y_i，与y_i+1、y_i-1的关系，若y_i+1＜y_i且y_i＞y_i-1，则y_i是最高时刻膝盖在Y轴方向上的大小。可以记录下一段时间段内，膝盖经历的最高点时次数，和时间，我们记次数为n，时间为T，则每一个最高点到下一个最高点之间的时间为T/n，由此可以得到跑步时的频率f＝n/T。此外还可以计算出跑步时上下运动的平均振幅，从第某时刻开始，取其后一段时间内的n个位置最高点(y₁，y₂，…，y_n)，由此就可以计算出平均振幅

其中h为膝盖的高度。跑步动作可以应用到各种跑步、跳绳等项目中。

D、拳击动作，拳击动作在这里主要考虑打拳的动作，以判断直拳，左右手钩拳为例。考虑左右手，和不同的拳型，需要使用两个跟踪点A和B。首先，给左右手打上标记，方法是戴拳击手套。拳击运动开始时，就跟踪到了两个运动点的数据，取X轴上数据较小的运动点作为左手数据点，标识为A跟踪点；另一个数据点作为右手数据点，标识为B跟踪点。对各个跟踪点进行分析，虽然是两个点，但是分析程序只需要一个。实时计算A，B两跟踪点在Z轴方向的速度，v_izA＝(z_iA-2_(i-1)A)/T，v_ziB＝(z_iB-z_(i-1)B)/T，其中：v_izA是i时刻A跟踪点在Z轴上速度，v_ziB是i时刻B跟踪点在Z轴上速度，T＝1/30s。若跟踪点在Z轴方向上的速度值较小，则认为拳击动作没有发生；若跟踪点在Z轴负方向上速度值达到一定阈值，则可以认为打拳动作发生了，记下此动作开始的位置(x_k，y_k，z_k)，然后还要判断是什么拳形，这就要再依据跟踪点在其它两个坐标轴上的速度或位置来判断，这里以位置来判断，出拳后，若跟踪点在Y轴方向上数值增大了一定数量，即跟踪点在某i时刻的Y轴坐标，减去开始时的Y轴坐标大于一定值，y_i-y_k≥d₂，其中：d₂是预先改定的值，则可以判断此拳是向上的钩拳。若跟踪点在X轴方向上数值增大了一定数量，且出拳的左手，则可以判断此拳是左手钩拳，出拳的是右手的话，则可以判断此次是右手向右前方运动了，没有拳型；若跟踪点在X轴方向上数值减少了一定数量，且出拳的右手，则可以判断此拳是右手钩拳，出拳的是左手的话，则可以判断只是左手向左前方运动了，没有拳型；不是这几种情形的话，则表明此次出拳的拳型是直拳。拳击动作可以应该在拳击等运动项目中。

E、以上4个动作分析都只是针对简单动作的，或者说是针对人体局部部位的。但本发明方法绝不仅如此，可以对人体的复杂动作做出识别。以乒乓球运动为例，说明本发明是如何识别人体全身运动动作的。乒乓球运动中主要有两大类型的运动，一个是身体的移动，这个移动是水平方向上任意角度的，另一个是打球的动作，主要是持球拍的手的动作。乒乓球运动开始前，给运动者身体打上标记，方法是戴上帽子，手持乒乓球拍，面向摄像头，帽子(即头部位置)用跟踪点A表示，球拍用跟踪点B表示。则跟踪点A反应了人的移动，X轴坐标变小，人往左运动，反之往右运动；Z轴坐标变小，人往后运动，反之人往前运动；X，Z轴坐标同时变化，表明人在两个坐标方向上都有运动，可以看成是先沿一个坐标轴运动，然后按另一个坐标轴运动。

像乒乓球这样的运动中，最重要的是识别到手的动作，下面将以两个动作(发球，向下削球)为例说明本方法是如何识别打球动作的。首先需要从跟踪点在各个时刻的位置坐标出发，计算出跟踪点在各个时刻的速度，加速度，以及手发力的情况，第i时刻的速度公式：v_ix＝(x_i-x_i-1)/T、v_iy＝(y_i-y_i-1)/T、v_iz＝(z_i-z_i-1)/T，其中：T＝1/30s；速度是三个方向上各个方向上的速度。第i时刻的加速度公式：a_ix＝(v_ix-v_(i-1)x)/T、a_iy＝(a_iy-a_(i-1)y)/T、a_iz＝(v_iz-v_(i-1)z)/T，其中：T＝1/30s；加速度是三个方向上各个方向上的加速度。有了各个时刻各个方向上的加速度，就可以对对应时刻对应方向上的用力情况作出分析，f_ix＝a_ix×k、f_iy＝a_iy×k、f_iz＝a_iz×k，其中：k是一个比例系数。发球时，手向上挥动，实时检测手部向上的速度v_iy，若v_iy≥d₃，其中d₃为预设阈值，表示有向上抛球动作，否则没有抛球动作；有抛球动作后，实时检测手部向前的速度v_iz，若v_ix≥d₄，其中d₄为预设阈值，则表示有击球动作，抛球动作和击球动作结合起来，则表明运动者做了发球动作。打乒乓球时，向下削球有个明显特征，就是球拍向下前方运动，且速度比抽球稍慢。以上面介绍的公式计算球拍跟踪点实时速度，加速度，用力情况，并实时检测向下，向前速度，即Y轴负方向速度和Z后正方向速度，若两个方向速度的绝对值都大于给定的阈值，则表明有向下削球的动作，记录下此时球拍跟踪点的位置(x_k，y_k，z_k)，此后依然实时检测Y轴负方向速度和Z后正方向速度，若两个方向速度的绝对值中有一个小于给定的阈值，则表明削球动作结束，记录下此时刻球拍跟踪点的位置(x_e，y_e，z_e)，当然这个过程中，球拍可能击打到球了，如果击打到了球的话，就用击打点的位置代替削球动作结束点的位置，但依旧使用(x_e，y_e，z_e)表示。判定了动作是个削球动作，需要进一步考察这个削球动作对球的影响(如果在削球动作的过程中没有击打到球，则可以忽略这个步骤)。这个影响由球的速度，削球的角度，球拍的对球的力度决定的，球的速度是由球本身决定的，不在本发明考虑到范围内，球拍对球的力度，上面已经给出了计算公式，因此这里只需要考虑球拍的运动方向了。记球拍击打到球时的速度为(v_x，v_y，v_z)，因此可以计算出击球瞬间，球拍运动方向与三坐标平面的夹角，与XOY平面夹角为：

与YOZ平面夹角为：

与XOZ平面夹角为：

有了这些夹角，力度，以及乒乓球自身的运动信息，具体乒乓球项目就可以得出此次削球动作对球运动的影响。

此外，乒乓球发球，削球等动作都有左右手之分，在发球或削球动作发生时，取得头部位置坐标(x_t，y_t，z_t)，手部坐标(x_s，y_s，z_s)，若x_t＜x_s，则在做发球，削球等动作时，手在头的右边，可以判断是右手球。

2、判断人体姿态

由本发明使用了人体多部位空间位置信息，因此可以对某时刻人体姿态进行描述。这里以瑜伽动作过程中对人体姿态进行检测为例，说明如何对人体姿态进行描述。由于瑜伽动作过程中保持每个固定姿态的稳定性非常重要，因此要时刻计算固定姿态时的跟踪点之间的角度，以及这些点的晃动情况，以此来衡量姿态是否保持得好。

在姿态描述中，一个跟踪点无姿态可言，至少要用到两个跟踪点，本例中使用了三个跟踪点，因此更具有代表性。在开始描述姿态之前，需要对跟踪点做出标记，记右手跟踪点为1号跟踪点，左手跟踪点为2号跟踪点，腿上的跟踪点为3号跟踪点，确定它们的准则是，瑜伽运动开始时，最低位置的跟踪点为腿上的3号跟踪点，剩下两个点中，X轴坐标较大的点为右手1号跟踪点，最后一个跟踪点是1号跟踪点了。

人眼是很容易识别一个动作定位是否标准，定位是否稳定，但对于计算机来说，得到的只是三个有编号的一系列空间位置坐标，并无更高级的直接描述姿态是什么姿态，姿态保持得怎么样的语义。本发明要解决的第二个问题就是利用各个跟踪点的空间位置坐标信息，产生描述姿态，姿态保持情况的高级语义。首先比较三个跟踪点Y轴坐标值大小关系，若不符合现实情况，则明显没有做出需要保持的姿态；若满足了，则需要进一步考虑三个跟踪点之间的角度关系，将三个跟踪点看成一个三角形的三个顶点，组成一个三角形，计算三角形的各个内角，若三个内角都在给定的阈值区间以内，则认为做出了需要保持的动作。这里使用角度阈值区间的原因，是符合现实情况的，原因至少有两个：a、每个人的手脚比例不完全一样，同一个姿势形成的角度也就会不相同；b、保持姿态的过程中出现小的晃动，抖动，是允许的，因此需要角度区间。

判定了一个姿态出现后，还需要继续计算保持姿态的时间，和保持的稳定性如何。保持时间很容易得到，满足姿态要求时，记录下此刻的时间，记为开始时间，此后，若某时刻不满足姿态要求了，视姿态保持结束，同样记录下此刻的时间，记为结束时间，将结束时间减去开始时间，即得出姿态保持的时间。姿态稳定性在一些运动项目中非常重要，瑜伽就是此类的项目。做出一定的瑜伽姿态后，不可能每个人都可以保持几乎不动的情况，这样就必须区分开哪些人动得比较大，哪些人动得比较少。从姿态开始时起，保存三个跟踪点的各个时刻的数据，直到姿态结束，计算各个跟踪点的平均位置，然后计算各个跟踪点在各个时刻的位置离平均位置距离的方差，以这个距离方差来衡量保持姿态的好坏，处理方法是，距离方差越小，姿态保持越好。如果记距离方差为D，姿势保持好坏程度为F，则F＝k/D，其中，k是个比例系数。至此，一个描述姿态的方法产生了，它包含了三个特征，姿态开始时间，姿态经历的时间，姿态保持的好坏程度。

本发明对人体姿态的识别可具体用于瑜伽等健身项目，下面以瑜珈为例说明本发明的技术方案。

首先，启动终端计算机，进入虚拟健身大厅，启动瑜伽项目，做些必要的准备工作，比如戴上左右手套，戴上护膝。随后显示器或电视机屏幕上会出现健身教练，他/她会先做一套瑜伽动作，然后进入5秒倒计时，健身教练再一次做出整套瑜伽动作，此时健身者按照教练的动作学习瑜伽动作，动作的过程中，视频摄像头实时拍摄人体照片，并通过底层软件分析，将双手和护膝的空间位置坐标实时发送出来，瑜伽项目软件，通过本发明说明的方法使用三个跟踪点的空间位置坐标数据，具体使用方式如下文的详细阐述：

瑜伽动作开始之前，健身者面向视频摄像头，处于准备状态，通过跟踪点坐标之间的相对位置，给各个跟踪点做上标记，健身开始后，实时计算健身者的运动状态，如三个跟踪点之间的距离、角度，运动速度，当运动速度慢慢趋近于零时，可以判定健身者一个动作已经到位，此时，标记一个固定姿态开始了，记录下开始时间，计算三个跟踪点组成的三角形的各个内角，若各个内角满足条件，则表明健身者的固定姿态是符合标准的，此后的某时刻，内角如果有不满足的情况出现，标记一个固定姿势结束，记录下结束时间，结束时间和开始时间之差就是姿势保持的时间。姿势保持过程中，三个跟踪点的所有空间位置信息也被保存并利用，首先计算各个跟踪点的平均位置，然后计算各个跟踪点在姿势保持过程中所有经历过的位置到其平均位置的方差。一个瑜伽动作结束后，会对这个动作完成的情况进行打分，打分依据是姿态保持的时间和平均方差(平均方差为各个跟踪点方差之和的平均值)。保持时间没有达到给定的阈值，直接判定保持动作失败；保持时间达到一定阈值以上，分数与保持时间成正比，与平均方差成反比。计算出每个动作的分数后，就可以计算整套动作的得分，整套动作的得分为各个动作得分的平均值，这个平均分可以用来衡量健身者的健身效果。至此，一个判断人体动作是否符合瑜伽健身项目，以及符合程度，健身效果的完整描述结束了。

本发明可用于娱乐健身，让人能够在显示器或电视机屏幕前看到自己的动作特征，或可以跟显示器或电视剧屏幕里的虚拟健身教练学习，并反馈学习效果，但本发明的用途绝不仅仅如此。还有其它的许多用途，如：

A、验证体育动作速度、幅度：以跑步为例，在跑步判断方法中，我们计算得出了跑步动作一只脚从上到下动作的时间和幅度，因此可以同理计算出从下到上动作的时间，以此来衡量一个人跑步动作的快慢，和幅度。其它动作快慢，幅度也可以依此类推。

B、用于校验人体动作是否符合规范：以画圆动作为例，人在空中画圆动作是否符合一个真正的圆，和真正的圆的接近程度如何，可以按照本发明所说的方法给出度量，事先给定的阈值越小的情况下，如果画圆动作还能满足要求，则画圆动作越符合标准。其它动作也可以按此方法类推。

本发明更真实的反应出了人体动作，比如，是跳起，还是跑步，还是手中空中画圆，还是在打拳，出什么类型的拳等。能够描述出人的姿态，比如，两个手之间的距离，两手连线是否平行于水平面，人体三个部位姿态是否符合某项运动要求等等，能够判断人体某个姿态保持在情况如何，是保持的标准，几乎固定；还是保持的一般，保持过程中经常抖动。本发明可以通过人体身体部位各个时刻的空间位置，描述出运动轨迹，运动动作，或者通过跟踪人体多部位空间位置信息，判定人体姿态，用于视频健身，网络健身，视频游戏，网络游戏。

虽然本发明已参照当前的实施方式进行了描述，但本技术领域的普通技术人员应当认识到，上述实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进，均应包含在本发明的权利保护范围之内。

Claims (19)

1.一种基于多跟踪点的人体动作识别方法，其特征在于，包括以下步骤：

S1：基于需要判断的动作要求，在待测人体或运动器材上设置至少一个跟踪点；

S2：对每个跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点；

S3：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算每个跟踪点的相应动作数据；

S4：根据每个跟踪点的相应动作数据，识别出待测人体的运动动作。

2.根据权利要求1所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的动作要求，计算不同跟踪点之间的位置关系数据。

3.根据权利要求2所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的运动动作。

4.根据权利要求1所述的基于多跟踪点的人体动作识别方法，其特征在于，

所述步骤S1还包括：基于需要判断的人体姿态要求，在待测人体或运动器材上设置至少两个跟踪点；

所述步骤S3还包括：利用上述每个跟踪点对应的一组数据点的空间位置数据，基于需要判断的人体姿态要求，计算每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据；

所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态。

5.根据权利要求4所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤S4还包括：根据每个跟踪点的相应动作数据以及不同跟踪点之间的位置关系数据，识别出待测人体的人体姿态保持情况。

6.根据权利要求1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，计算每个跟踪点的相应动作数据，包括计算位移、速度、加速度和/或作用力大小。

7.根据权利要求1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，还包括步骤S5：利用所述每个跟踪点对应的一组数据点的空间位置数据，描绘出每个跟踪点的运动轨迹。

8.根据权利要求1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤S2进一步包括：将采集的每个跟踪点对应的一组数据点都表示为三元组(x，y，z)，其中x代表数据点在X轴的位置，所述X轴为第一水平方向，且x值增大代表跟踪点位置右移；y代表数据点在Y轴的位置，所述Y轴为垂直方向，且y值增大代表跟踪点位置上移；z代表数据点在Z轴的位置，所述Z轴为与第一水平方向垂直的第二水平方向，且z值增大代表跟踪点位置前移。

9.根据权利要求1-5中任意一项所述的基于多跟踪点的人体动作识别方法，其特征在于，需要判断的动作从以下一组动作中选择：平移、下蹲、跳起、跑步、击球、拳击、踢足球和跳舞。

10.根据权利要求9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生平移或下蹲动作时，包括以下步骤：

A1：在待测人体上设置至少一个跟踪点；

A2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

A3：对上述数据点进行分析；当y_i-y_o＜d₁，其中d₁为预设阈值，则该跟踪点位置下移，即待测人体发生了下蹲动作，下蹲距离为|y_i-y_o|；当z_i-z_o＞0，则该跟踪点位置前移，即待测人体发生了前移动作，当z_i-z_o＜0，则待测人体发生了后移动作，且移动距离为|z_i-z_o|；当x_i-x_o＞0，则该跟踪点位置右移，即待测人体发生了右移动作，当x_i-x_o＜0，则待测人体发生了左移动作，且移动距离为|x_i-x_o|。

11.根据权利要求10所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤A1中，在待测人体戴的帽子上设置一个跟踪点。

12.根据权利要求9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生跳起的动作时，包括以下步骤：

B1：在待测人体上设置至少一个跟踪点；

B2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

B3：对上述数据点进行分析；实时计算头部竖直方向上的速度v_iy＝(y_i-y_i-1)/T，其中T为由检验装置决定的预设值，当v_iy≥v，其中v为根据平时运动试验得到的预设值，则记录下该时刻跟踪点的位置信息，记为开始数据点(x_k，y_k，z_k)；

B4：计算各个时刻的

若L大于预设阈值，则待测人体发生了跳起的动作。

13.根据权利要求9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体是否发生跑步动作时，包括以下步骤：

C1：在待测人体腿部设置至少一个跟踪点；

C2：对跟踪点不同时刻的空间位置进行采集，并记录为该跟踪点对应的一组数据点(x_i，y_i，z_i)；其中，i代表不同时间，数据点(x₀，y₀，z₀)为开始时刻该跟踪点的位置；

C3：对上述数据点进行分析；每个时刻检查y_i，与y_i+1、y_i-1的关系，当y_i+1＜y_i且y_i＞y_i-1时，则y_i为跟踪点在Y轴方向上的最高点；记录一段时间T内，跟踪点经历的最高点次数为n，则得到跑步时的频率f＝n/T；从某时刻开始，记录其后一段时间内的n个位置最高点(y₁，y₂，…，y_n)，由此可以计算出跑步时上下运动的平均振幅为

其中h为跟踪点的高度。

14.根据权利要求13所述的基于多跟踪点的人体动作识别方法，其特征在于，所述跟踪点设置在待测人体膝盖上。

15.根据权利要求9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体的拳击动作时，包括以下步骤：

D1：至少在待测人体左右手上分别设置一个跟踪点，取X轴上数据较小的跟踪点即左手跟踪点标识为A跟踪点，另一个跟踪点即右手跟踪点标识为B跟踪点；

D2：对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点(x_iA，y_iA，z_iA)和(x_iB，y_iB，z_iB)；其中，i代表不同时刻；

D3：对上述数据点进行分析；根据跟踪点在Z轴方向上的速度值判断打拳动作是否发生；然后依据跟踪点在其他两个坐标轴上的速度或位置来判断拳形。

16.根据权利要求9所述的基于多跟踪点的人体动作识别方法，其特征在于，当判断待测人体的击球动作时，包括以下步骤：

E1：至少在待测人体手部设置一个跟踪点；

E2：对跟踪点不同时刻的空间位置进行采集，并记录为跟踪点对应的数据点；

E3：对上述数据点进行分析；根据跟踪点在Y轴方向上的速度值判断抛球动作是否发生，并根据跟踪点在Z轴方向上的速度值判断击球动作是否发生。

17.根据权利要求16所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤E3还包括：根据跟踪点在Y轴方向上的速度值和Z轴方向上的速度判断削球动作是否发生；并根据跟踪点的运动方向与三坐标平面的夹角判断削球动作对球运动的影响。

18.根据权利要求16所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤E1还包括：在所述待测人体头部设置跟踪点。

19.根据权利要求18所述的基于多跟踪点的人体动作识别方法，其特征在于，所述步骤E3还包括：根据所述手部上的跟踪点与所述头部上的跟踪点的位置关系判断是右手球还是左手球。

Images