CN108721870B - 一种基于虚拟环境的运动训练评价方法 - Google Patents

Abstract

本发明属于体感交互领域，具体地说是一种基于虚拟环境的运动训练评价方法。该方法包括以下步骤：步骤一、构建虚拟教学平台；步骤二、运动轨迹的计算；步骤三、运动训练评价。本发明通过Unity 3D设计虚拟的教学平台，以Kinect V2采集的骨骼点为基础，保持每秒30帧采集标准动作的各标准向量和脊柱点的坐标，并计算标准动作人员的身高；通过比较参与训练人员与标准动作人员身高确定脊柱点的偏移坐标，再根据参与训练人员的骨骼长度计算出标准动作的空间运动曲线，从而对连续运动进行识别和评分。

Description

一种基于虚拟环境的运动训练评价方法

技术领域

本发明属于体感交互领域，具体地说是一种基于虚拟环境的运动训练评价方法。

背景技术

当前的运动训练大多需要进行现场指导教学，训练成本需求过高，或者观看录像之后跟随学习，结束之后不能自我纠正不规范的动作。CN 106485055 B就提出一种角度和距离结合的方法对动作进行识别，但是该方法以脊柱点为对比中心，仅设置了一些动作在终结节点进行比较，不能反映出连续运动的空间运动曲线。CN 107213619 A提出了一种体育运动训练评估方法，通过软硬件结合完成体育运动的自动判定和指导，减轻了教练的工作量，但是并未提出具体的数学识别方法。

发明内容

本发明目的在于提供一种基于虚拟环境的运动训练评价方法，旨在利用Unity 3D设计虚拟教学平台和Kinect V2对参与运动训练的人员进行指导教学，填补了现有市场上的空白。

本发明技术方案结合附图说明如下；

一种基于虚拟环境的运动训练评价方法，该方法包括以下步骤：

步骤一、构建虚拟教学平台；

在Unity 3D环境中插入标准运动的视频，当动作完成到每个动作的轨迹点时也会进行下一动作的文字提醒；参与人员可以通过Kinect V2的语音识别控制视频播放和停止，同时可以实现环境重建、环境转换和轨迹指导；

步骤二、运动轨迹的计算；

利用Kinect V2每秒30帧采集标准动作的各标准向量和脊柱点的偏移坐标，并计算标准动作人员的身高；再根据参与训练人员的骨骼数据，依照标准动作的各项数据反求参与训练人员的运动轨迹；

步骤三、运动训练评价.

所述的步骤二的具体方法如下：

步骤2.1、标准动作的采集；

用Kinect V2设备采集人体25个骨骼点坐标，其中25个部位骨骼点包括头A₁(x_1,i,y_1,i,z_1,i)、颈A₂(x_2,i,y_2,i,z_2,i)、肩中心A₃(x_3,i,y_3,i,z_3,i)、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱A₄(x_4,i,y_4,i,z_4,i)、髋关节中心A₅(x_5,i,y_5,i,z_5,i)、左臀A₆(x_6,i,y_6,i,z_6,i)、左膝盖A₇(x_7,i,y_7,i,z_7,i)、左脚踝A₈(x_8,i,y_8,i,z_8,i)、左脚、右臀、右膝盖、右脚踝、右脚；其中A₁(x_1,i,y_1,i,z_1,i)表示第i帧的头部点的坐标点；

身高

其中l_i依次表示头与颈的距离、颈与肩中心的距离、肩中心与脊柱的距离、脊柱与髋关节中心的距离、髋关节中心与左臀的距离、左臀与左膝盖的距离、左膝盖与左脚踝的距离；

记录左肩膀到左肘向量

左肘到左手腕向量/>

右肩膀到右肘向量/>

右肘到右手腕向量/>

左臀到左膝盖向量/>

左膝盖到左脚踝向量/>

右臀到右膝盖向量

右膝盖到右脚踝向量/>

脊柱点的偏移坐标为C_i(x_4,i-x_4,1,y_4,i-y_4,1,z_4,i-z_4,1)；

步骤2.2、参与人员的运动轨迹反求；

参与人员的骨骼数据采集，头B₁(x_1,j,y_1,j,z_1,j)、颈B₂(x_2,j,y_2,j,z_2,j)、肩中心B₃(x_3,j,y_3,j,z_3,j)、左手腕B₄(x_4,j,y_4,j,z_4,j)、右手腕B₅(x_5,j,y_5,j,z_5,j)、左肘B₆(x_6,j,y_6,j,z_6,j)、右肘B₇(x_7,j,y_7,j,z_7,j)、左肩膀B₈(x_8,j,y_8,j,z_8,j)、右肩膀B₉(x_9,j,y_9,j,z_9,j)、脊柱B₁₀(x_10,j,y_10,j,z_10,j)、髋关节中心B₁₁(x_11,j,y_11,j,z_11,j)、左臀B₁₂(x_12,j,y_12,j,z_12,j)、左膝盖B₁₃(x_13,j,y_13,j,z_13,j)、左脚踝B₁₄(x_14,j,y_14,j,z_14,j)、右臀B₁₅(x_15,j,y_15,j,z_15,j)、右膝盖B₁₆(x_16,j,y_16,j,z_16,j)、右脚踝B₁₇(x_17,j,y_17,j,z_17,j)；

根据上述骨骼点可得左肩膀B₈(x_8,1,y_8,1,z_8,1)，左臀B₁₂(x_12,1,y_12,1,z_12,1)，依据身高计算方式可得参与人员身高h₂；左肩膀与左肘的距离l₈，左肘与左手腕的距离l₉，左臀与左膝盖的距离l₁₀，左膝盖与左脚踝的距离l₁₁；

左手腕的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左肩膀B₈坐标，再加上左肩膀与左肘的距离l₈和左肘与左手腕的距离l₉在标准向量上的偏移距离，即为训练人员的左手腕运动轨迹点；计算如下：

可得左手腕的轨迹点为D_1,j(X_1,j,Y_1,j,Z_1,j)；右手腕的轨迹点的计算方法与左手腕的轨迹点计算方法相同，即右手腕的轨迹点为D_2,j(X_2,j,Y_2,j,Z_2,j)；

左脚踝的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左臀B₁₂坐标，再加上左臀与左膝盖的距离l₁₀和左膝盖与左脚踝的距离l₁₁在标准向量上的偏移距离，即为训练人员的左脚踝运动轨迹点；计算如下：

可得左脚踝的轨迹点为D_3,j(X_3,j,Y_3,j,Z_3,j)；右脚踝的轨迹点的计算方法与左脚踝的轨迹点的计算方法相同，即右脚踝的轨迹点为D_4,j(X_4,j,Y_4,j,Z_4,j)。

所述的步骤三的具体方法如下：

运动评价过程需要连接左手腕、右手腕、左脚踝和右脚踝的轨迹点，当左手腕在X_1,j以r，r为3cm、5cm或7cm为半径的圆内时，标记P_1,j＝1，认为从D_1,j开始运动，左手腕需要在D_1,j与D_1,j+1的连线

中移动，骨骼点与直线的距离必须小于半径r；当左手腕在D_1,j+1以r为半径的圆内时，P_1,j+1＝1，如果P_1,j+1＝1且P_1,j＝1，则标准移动次数Θ＝Θ+1；当左手腕在D_1,j以r为半径的圆内之后，未按照规定直线运动，即脱离D_1,j与D_1,j+1的连线

记P_1,j＝0；左手腕总得分等于/>

整体的运动训练系统需要加上右手腕、左脚踝和右脚踝的总得分，满分100；系统将会把所有P_1,j＝0的轨迹点标红，以便训练人员进行动作纠正；

其中计算左手腕是否在D_1,j以r为半径的圆内时，需要计算是否(X_1,j-x_4,j)²+(Y_1,j-y_4,j)²+(Z_1,j-z_4,j)²＜r，是，则认为从D_1,j开始运动；随后需要计算点是否在D_1,j与D_1,j+1的直线范围内运动，即是否满足

如果满足直到左手腕在D_1,j+1以r为半径的圆内时，则认为完成一个标准轨迹；

所述的右手腕、左脚踝和右脚踝的总得分算法与左手腕的总得分算法相同。

本发明的有益效果为：

本发明是一套适用于任何人员的评分标准方法，能根据不同人员设计一套标准运动的空间运动曲线，指导参与人员训练，降低教学成本。

附图说明

图1是本发明的骨骼关节点分布图；

图2是本发明的标准动作空间向量及脊柱偏移坐标图；

图3是本发明的左手腕轨迹点图；

图4是本发明的左手腕的运动路径及范围图。

具体实施方式

本发明目的在于提供一种基于虚拟环境的运动训练评价方法。旨在利用Unity 3D设计虚拟教学平台和Kinect V2对参与运动训练的人员进行指导教学。具体步骤如下：

步骤一、构建虚拟教学平台；

在Unity 3D环境中插入标准运动的视频，当动作完成到每个动作的轨迹点时也会进行下一动作的文字提醒。参与人员可以通过Kinect V2的语音识别控制视频播放和停止，同时可以实现环境重建、环境转换和轨迹指导等。

步骤二、运动轨迹的计算；

利用Kinect V2每秒30帧采集标准动作的各标准向量和脊柱点的偏移坐标，并计算标准动作人员的身高；再根据参与训练人员的骨骼数据，依照标准动作的各项数据反求参与训练人员的运动轨迹。

步骤2.1标准动作的采集；

如图1所示，其中25个部位骨骼点包括头A₁(x_1,i,y_1,i,z_1,i)、颈A₂(x_2,i,y_2,i,z_2,i)、肩中心A₃(x_3,i,y_3,i,z_3,i)、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱A₄(x_4,i,y_4,i,z_4,i)、髋关节中心A₅(x_5,i,y_5,i,z_5,i)、左臀A₆(x_6,i,y_6,i,z_6,i)、左膝盖A₇(x_7,i,y_7,i,z_7,i)、左脚踝A₈(x_8,i,y_8,i,z_8,i)、左脚、右臀、右膝盖、右脚踝、右脚。(A₁(x_1,i,y_1,i,z_1,i)表示第i帧的头部点的坐标点)

身高

l_i依次表示头与颈的距离、颈与肩中心的距离、肩中心与脊柱的距离、脊柱与髋关节中心的距离、髋关节中心与左臀的距离、左臀与左膝盖的距离、左膝盖与左脚踝的距离。

如图2所示，记录左肩膀到左肘向量

左肘到左手腕向量

右肩膀到右肘向量/>

右肘到右手腕向量

左臀到左膝盖向量/>

左膝盖到左脚踝向量

右臀到右膝盖向量/>

右膝盖到右脚踝向量

脊柱点的偏移坐标为C_i(x_4,i-x_4,1,y_4,i-y_4,1,z_4,i-z_4,1)。

步骤2.2参与人员的运动轨迹反求；

参与人员的骨骼数据采集，头B₁(x_1,j,y_1,j,z_1,j)、颈B₂(x_2,j,y_2,j,z_2,j)、肩中心B₃(x_3,j,y_3,j,z_3,j)、左手腕B₄(x_4,j,y_4,j,z_4,j)、右手腕B₅(x_5,j,y_5,j,z_5,j)、左肘B₆(x_6,j,y_6,j,z_6,j)、右肘B₇(x_7,j,y_7,j,z_7,j)、左肩膀B₈(x_8,j,y_8,j,z_8,j)、右肩膀B₉(x_9,j,y_9,j,z_9,j)、脊柱B₁₀(x_10,j,y_10,j,z_10,j)、髋关节中心B₁₁(x_11,j,y_11,j,z_11,j)、左臀B₁₂(x_12,j,y_12,j,z_12,j)、左膝盖B₁₃(x_13,j,y_13,j,z_13,j)、左脚踝B₁₄(x_14,j,y_14,j,z_14,j)、右臀B₁₅(x_15,j,y_15,j,z_15,j)、右膝盖B₁₆(x_16,j,y_16,j,z_16,j)、右脚踝B₁₇(x_17,j,y_17,j,z_17,j)。

根据上述骨骼点可得左肩膀B₈(x_8,1,y_8,1,z_8,1)，左臀B₁₂(x_12,1,y_12,1,z_12,1)，依据身高计算方式可得参与人员身高h₂。左肩膀与左肘的距离l₈，左肘与左手腕的距离l₉，左臀与左膝盖的距离l₁₀，左膝盖与左脚踝的距离l₁₁。

以求解左手腕轨迹点为例，左手腕的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左肩膀B₈坐标，再加上左肩膀与左肘的距离l₈和左肘与左手腕的距离l₉在标准向量上的偏移距离，即为训练人员的左手腕运动轨迹点。计算如下：

如图3所示，可得左手腕的轨迹点为D_1,j(X_1,j,Y_1,j,Z_1,j)。右手腕的轨迹点D_2,j(X_2,j,Y_2,j,Z_2,j)计算方式如上。

以求解左脚踝轨迹点为例，左脚踝的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左臀B₁₂坐标，再加上左臀与左膝盖的距离l₁₀和左膝盖与左脚踝的距离l₁₁在标准向量上的偏移距离，即为训练人员的左脚踝运动轨迹点。计算如下：

可得左脚踝的轨迹点为D_3,j(X_3,j,Y_3,j,Z_3,j)。右脚踝的轨迹点D_4,j(X_4,j,Y_4,j,Z_4,j)计算方式如上。

步骤三、运动训练评价

该步骤先识别各动作的运动情况，最后根据运动情况评分；运动评价过程需要连接左手腕、右手腕、左脚踝和右脚踝的轨迹点，如图4所示，以左手手腕为例，当左手腕在X_1,j以r(r可取3cm、5cm或7cm)为半径的圆内时，标记P_1,j＝1，认为从D_1,j开始运动，左手腕需要在D_1,j与D_1,j+1的连线

中移动，骨骼点与直线的距离必须小于半径r。当左手腕在D_1,j+1以r为半径的圆内时，P_1,j+1＝1，如果P_1,j+1＝1且P_1,j＝1，则标准移动次数Θ＝Θ+1。当左手腕在D_1,j以r为半径的圆内之后，未按照规定直线运动，即脱离D_1,j与D_1,j+1的连线

记P_1,j＝0。左手总得分等于/>

整体的运动训练系统需要加上右手腕、左脚踝和右脚踝的总得分，满分100。系统将会把所有P_1,j＝0的轨迹点标红，以便训练人员进行动作纠正。

其中计算左手腕是否在D_1,j以r为半径的圆内时，需要计算是否(X_1,j-x_4,j)²+(Y_1,j-y_4,j)²+(Z_1,j-z_4,j)²＜r，是，则认为从D_1,j开始运动。随后需要计算点是否在D_1,j与D_1,j+1的直线范围内运动，即是否满足

如果满足直到左手腕在D_1,j+1以r为半径的圆内时，则认为完成一个标准轨迹。

本发明通过Unity 3D设计虚拟的教学平台，以Kinect V2采集的骨骼点为基础，保持每秒30帧采集标准动作的各标准向量和脊柱点的坐标，并计算标准动作人员的身高；通过比较参与训练人员与标准动作人员身高确定脊柱点的偏移坐标，再根据参与训练人员的骨骼长度计算出标准动作的空间运动曲线，从而对连续运动进行识别和评分。

Claims (2)

1.一种基于虚拟环境的运动训练评价方法，其特征在于，该方法包括以下步骤：

步骤一、构建虚拟教学平台；

在Unity 3D环境中插入标准运动的视频，当动作完成到每个动作的轨迹点时也会进行下一动作的文字提醒；参与人员可以通过Kinect V2的语音识别控制视频播放和停止，同时可以实现环境重建、环境转换和轨迹指导；

步骤二、运动轨迹的计算；

利用Kinect V2每秒30帧采集标准动作的各标准向量和脊柱点的偏移坐标，并计算标准动作人员的身高；再根据参与训练人员的骨骼数据，依照标准动作的各项数据反求参与训练人员的运动轨迹；

步骤三、运动训练评价；

所述的步骤二的具体方法如下：

步骤2.1、标准动作的采集；

用Kinect V2设备采集人体25个骨骼点坐标，其中25个部位骨骼点包括头A₁(x_1,i,y_1,i,z_1,i)、颈A₂(x_2,i,y_2,i,z_2,i)、肩中心A₃(x_3,i,y_3,i,z_3,i)、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱A₄(x_4,i,y_4,i,z_4,i)、髋关节中心A₅(x_5,i,y_5,i,z_5,i)、左臀A₆(x_6,i,y_6,i,z_6,i)、左膝盖A₇(x_7,i,y_7,i,z_7,i)、左脚踝A₈(x_8,i,y_8,i,z_8,i)、左脚、右臀、右膝盖、右脚踝、右脚；其中A₁(x_1,i,y_1,i,z_1,i)表示第i帧的头部点的坐标点；

身高

其中l_i依次表示头与颈的距离、颈与肩中心的距离、肩中心与脊柱的距离、脊柱与髋关节中心的距离、髋关节中心与左臀的距离、左臀与左膝盖的距离、左膝盖与左脚踝的距离；

记录左肩膀到左肘向量

左肘到左手腕向量/>

右肩膀到右肘向量/>

右肘到右手腕向量/>

左臀到左膝盖向量

左膝盖到左脚踝向量/>

右臀到右膝盖向量

右膝盖到右脚踝向量/>

脊柱点的偏移坐标为C_i(x_4,i-x_4,1,y_4,i-y_4,1,z_4,i-z_4,1)；

步骤2.2、参与人员的运动轨迹反求；

参与人员的骨骼数据采集，头B₁(x_1,j,y_1,j,z_1,j)、颈B₂(x_2,j,y_2,j,z_2,j)、肩中心B₃(x_3,j,y_3,j,z_3,j)、左手腕B₄(x_4,j,y_4,j,z_4,j)、右手腕B₅(x_5,j,y_5,j,z_5,j)、左肘B₆(x_6,j,y_6,j,z_6,j)、右肘B₇(x_7,j,y_7,j,z_7,j)、左肩膀B₈(x_8,j,y_8,j,z_8,j)、右肩膀B₉(x_9,j,y_9,j,z_9,j)、脊柱B₁₀(x_10,j,y_10,j,z_10,j)、髋关节中心B₁₁(x_11,j,y_11,j,z_11,j)、左臀B₁₂(x_12,j,y_12,j,z_12,j)、左膝盖B₁₃(x_13,j,y_13,j,z_13,j)、左脚踝B₁₄(x_14,j,y_14,j,z_14,j)、右臀B₁₅(x_15,j,y_15,j,z_15,j)、右膝盖B₁₆(x_16,j,y_16,j,z_16,j)、右脚踝B₁₇(x_17,j,y_17,j,z_17,j)；

根据上述骨骼点可得左肩膀B₈(x_8,1,y_8,1,z_8,1)，左臀B₁₂(x_12,1,y_12,1,z_12,1)，依据身高计算方式可得参与人员身高h₂；左肩膀与左肘的距离l₈，左肘与左手腕的距离l₉，左臀与左膝盖的距离l₁₀，左膝盖与左脚踝的距离l₁₁；

左手腕的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左肩膀B₈坐标，再加上左肩膀与左肘的距离l₈和左肘与左手腕的距离l₉在标准向量上的偏移距离，即为训练人员的左手腕运动轨迹点；计算如下：

可得左手腕的轨迹点为D_1,j(X_1,j,Y_1,j,Z_1,j)；右手腕的轨迹点的计算方法与左手腕的轨迹点计算方法相同，即右手腕的轨迹点为D_2,j(X_2,j,Y_2,j,Z_2,j)；

左脚踝的轨迹坐标需要计算参与人员身高与标准人员身高的比值乘脊柱点的偏移坐标加上左臀B₁₂坐标，再加上左臀与左膝盖的距离l₁₀和左膝盖与左脚踝的距离l₁₁在标准向量上的偏移距离，即为训练人员的左脚踝运动轨迹点；计算如下：

可得左脚踝的轨迹点为D_3,j(X_3,j,Y_3,j,Z_3,j)；右脚踝的轨迹点的计算方法与左脚踝的轨迹点的计算方法相同，即右脚踝的轨迹点为D_4,j(X_4,j,Y_4,j,Z_4,j)。

2.根据权利要求1所述的一种基于虚拟环境的运动训练评价方法，其特征在于，所述的步骤三的具体方法如下：

运动评价过程需要连接左手腕、右手腕、左脚踝和右脚踝的轨迹点，当左手腕在X_1,j以r，r为3cm、5cm或7cm为半径的圆内时，标记P_1,j＝1，认为从D_1,j开始运动，左手腕需要在D_1,j与D_1,j+1的连线

中移动，骨骼点与直线的距离必须小于半径r；当左手腕在D_1,j+1以r为半径的圆内时，P_1,j+1＝1，如果P_1,j+1＝1且P_1,j＝1，则标准移动次数Θ＝Θ+1；当左手腕在D_1,j以r为半径的圆内之后，未按照规定直线运动，即脱离D_1,j与D_1,j+1的连线/>

记P_1,j＝0；左手腕总得分等于/>

整体的运动训练系统需要加上右手腕、左脚踝和右脚踝的总得分，满分100；系统将会把所有P_1,j＝0的轨迹点标红，以便训练人员进行动作纠正；

其中计算左手腕是否在D_1,j以r为半径的圆内时，需要计算是否(X_1,j-x_4,j)²+(Y_1,j-y_4,j)²+(Z_1,j-z_4,j)²<r，是，则认为从D_1,j开始运动；随后需要计算点是否在D_1,j与D_1,j+1的直线范围内运动，即是否满足

如果满足直到左手腕在D_1,j+1以r为半径的圆内时，则认为完成一个标准轨迹；

所述的右手腕、左脚踝和右脚踝的总得分算法与左手腕的总得分算法相同。

Images