CN108211318A - 基于多方感知的竞走运动姿态分析方法 - Google Patents

Abstract

本发明提供一种基于多方感知的竞走运动姿态分析方法，涉及竞技运动的比赛和日常训练领域；包括同时进行的人体整体姿态分析、人体脚底与地面接触状态分析；整体姿态分析方法通过训练好的神经网络对实时采集的三维人体表面模型进行识别，再将识别结果发送至统计模块；人体脚底与地面接触状态分析采用压力传感器进行人体脚底压力状况采集，再通过分析模块对人体脚底与地面接触状态进行分析，再将分析结果发送至统计模块；统计模块统计所有错误动作并记录，并将结果告知竞走者；本发明解决了现有的姿态估计方法只适合静态动作或节奏变化较慢的动作，缺乏定量对动作进行分析，导致目前无法对竞走者同时进行姿态分析与犯规检测的问题。

Description

基于多方感知的竞走运动姿态分析方法

技术领域

本发明涉及竞技运动的比赛和日常训练领域，尤其涉及基于多方感知的竞走 运动姿态分析方法。

背景技术

竞走是一项有益身心的运动，竞走是最理想的减肥方式，竞走在消耗能量的 同时还能塑造全身线条。专家表示，竞走时盆骨前后转动大、腰部积极扭动、两 臂摆动、腿充分伸直，长期坚持确实有助于塑造身体线条。不过,他也提醒，竞 走是一项专业程度很高的运动，关键是其动作有一套严格规范的标准,需要专人 指导。一般人看看教程、看看视频就学竞走,如果单凭自己的想象去进行姿势不 正确的竞走,就会带来比较大的危险。一旦姿势不正确还长期坚持，很有可能对 膝关节、髋关节、踝关节造成损伤。不但没有起到减肥和塑体的目的,还会加重 损伤、关节退化等,适得其反。在实际观察中,更多人所谓的“竞走”其实是快步 走,即使模仿竞走的姿势,也很难做到标准动作。

目前对于竞走的研究主要着眼于犯规的检测，即“腾空”犯规与“曲膝”犯 规。参考以下论文1：Cui Yan-song,“Intelligent Wireless Monitoring System for Foul Playin aWalking Race based on UWB基于UWB的竞走犯规智能无 线监测系统,”in2011Second ETP/IITA Conference on Telecommunication and Information，可以看到，作者将竞走的一个动作分解为双支撑阶段与单支撑阶 段，如图4所示，将单支撑阶段又分解为三个状态：前支撑、垂直支撑、后支撑。 如图5所示，作者通过在运动员鞋底放置压力传感器来检测运动员是否有“腾空” 犯规。

通过分析各个阶段传感器的状态来判断运动员是否犯规，图6为未犯规时传 感器应有的状态。

论文2“Human Pose Estimation from Video and IMUs”使用一组摄像机 获得视频信息，使用5个IMU(惯性传感单元)传感器获得人体部位的方向信息， 通过这两种传感方式进行人体姿态估计。如图7所示，论文先通过一组校准并同 步的摄像机获得t1时刻的人体的一组多视角的图像，对每张图像剔除背景提取 人体轮廓；同时，如图8所示利用这组摄像机的相机参数对t0时刻的三维人体 模型做投影，获得三维人体模型对应于各个摄像机的各个视角的三维人体模型轮 廓；论文首先通过匹配上述两个轮廓，从而在两个轮廓(图7右与图8右)上 采集一组对应点。通过三维模型投影的轮廓上的点(图8右)可以找到其对应在 三维模型上的三维点(图8左)的坐标，然后，可找到由摄像机组采集到的图像 的人体轮廓上的点(图7右)与三维人体模型(图8左)上的对应点。设从t0 时刻到t1时刻的人体动作被未知变量Δx完全表示，则由t0时刻三维人体模型 (图8左)上的点和动作参数变量Δx可表示出t1时刻三维模型上的点。然后 获得点(由Δx表示出的t1时刻三维模型上的点)和线(摄像机采集的t1时刻 人体轮廓上的点与摄像机中心的连线)之间的误差函数E_Video(Δx)，这个函数是 变量Δx的函数。此函数表征了图6中的Contour consistency(轮廓一致性)。

论文将5个传感器固定在运动者身上，然后获得t1时刻传感器的方向，同 时获得t0时刻三维人体模型对应部位的方向信息。设从t0时刻到t1时刻的人 体动作被未知变量Δx完全表示，则由t0时刻三维人体模型(图8左)的方向 信息和动作参数变量Δx可表示出t1时刻三维模型上的方向信息。然后获得t1 时刻由动作参数变量Δx表示出的方向信息与t1时刻IMUs测得的方向信息之 间的误差函数E_IMUs(Δx)，这个函数是变量Δx的函数。此函数表征了图9中的 Orientation consistency(方向一致性)。然后将两个误差函数加起来获得混合 误差函数E_hybrid(Δx)＝E_Video(Δx)+λE_IMUs(Δx)。

式中，λ是可控的参数，通过调整λ可以控制摄像机组与IMUs在最终决定 动作估计结果Δx中的考虑权重)。之后求得使误差函数值最小的Δx的值，即获 得了t0时刻到t1时刻的动作表示Δx。通过Δx可以将t0时刻的三维人体模型 变换得到t1时刻的三维人体模型。

因此，达到了通过三维人体表面模型来估计人体动作，跟踪人体动作的目的。 综上所指，现有技术存在的缺点如下：

(1)如现有技术1(竞走犯规检测)所示，目前对竞走运动的智能化研究仅 停留在通过电子设备和传感器等实现的竞走犯规检测，犯规检测用于比赛过程中， 帮助裁判员更方便的对竞走运动员的犯规动作做出准确的判断。众所周知，竞走 运动是一项对姿势要求非常高的项目，姿势错误一方面导致走不快，另一方面长 期使用错误动作竞走对人体关节等具有极大的损伤。但目前对竞走训练阶段姿势 分析与矫正的研究尚是一片空白，这一块缺乏一套解决的方法，价值远大且亟待 解决。

(2)在现有技术2(姿态估计)中，人体动作局限在有限区域上进行，当 人体活动范围增大时，系统便不适用了。尤其是对于竞走这种竞速运动，一个系 统只能捕捉和分析所监测区域中一小片区域。倘若给系统设备添加行走轨道，让 设备跟着人行走，则难以控制设备与运动员的相对速度，且难以保证系统采集信 息的稳定性。因此，论文中的姿态估计方法只适合静态动作或节奏变化较慢的动 作，对竞速运动缺乏适用性与实用性。

(3)在现有技术2(姿态估计)中，论文对姿态的估计是使用一个三维人体 表面模型对人体动作进行跟踪，通过摄像机参数将拍到的人体图像和已有的人体 模型进行投影获得人体轮廓。而且根据现有技术2的论文，通过摄像机获得的图 像并不能稳定的提取出人体轮廓，当运动者穿着的衣服与背景色调难以区分时， 人体轮廓将会更加难以提取。如图10，测试者的黑色腰带与背景的黑色融为一 体，使得人体轮廓提取错误。

在获得两个投影轮廓(通过摄像机图像获得的人体轮廓和三维人体表面模型 的投影轮廓)之后，需要在两者之间建立点的对应关系。但论文中并未清楚说明 对应点(correspondences)的选取过程。根据论文的引用文献[33]“The Vitruvian Manifold:Inferring Dense Correspondences for One-Shot Human Pose Estimation”，目前存在通过轮廓寻找对应点的方法，但准确率不是很高。 如图11(a)，准确率最低达到30％左右，平均准确率也只达到80％左右。这一方 面说明通过投影轮廓来寻找对应点准确率低，另一方面说明方法不稳定，浮动太 大。

因此，现有方法2的对应点(correspondence)选取过程还存在很大的改进 空间。一方面，人体轮廓的提取过程要求运动者着装与背景可以区分，这一限制 使得信息采集灵活性差；另一方面，根据上述分析，通过多视角的人体轮廓来寻 找对应点准确率低且稳定性不高。

传统的动作识别都是对动作的定性识别，比如抬腿、举手等动作。但是像竞 走、舞蹈、武术等活动对动作要求十分严格，对这些活动的研究必须定量分析， 比如在竞走运动中，摆臂的高度、身体的倾斜度、行走中两腿之间的角度都会对 行进速度产生影响。因此，动作识别领域缺乏定量对动作进行分析的方法。

发明内容

本发明的目的在于：为解决现有的姿态估计方法只适合静态动作或节奏变化 较慢的动作，缺乏定量对动作进行分析，对竞速运动缺乏适用性与实用性，导致 目前无法对竞走者同时进行姿态分析与犯规检测的问题。

本发明的技术方案如下：

基于多方感知的竞走运动姿态分析方法，所述竞走运动姿态分析包括同时进 行的人体整体姿态分析、人体脚底与地面接触状态分析；

整体姿态分析通过训练好的神经网络对实时采集的三维人体表面模型进行 识别，再将识别结果发送至统计模块；

人体脚底与地面接触状态分析采用压力传感器进行人体脚底压力状况采集， 再通过分析模块对人体脚底与地面接触状态进行分析，再将分析结果发送至统计 模块；

统计模块根据识别结果和分析结果统计错误动作并记录，并将结果告知竞走 者。

进一步地，所述人体整体姿态分析的步骤为：

S1：获得跑步机上运动者的三维人体表面模型；

S2：根据模型采集人体当前时刻t₀的坐标信息和方向信息；

S3：通过摄像机组采集竞走中下一时刻t₁人体的坐标信息，通过IMUs采集 竞走中下一时刻t₁人体的方向信息；

S4：根据t₀时刻的坐标信息和方向信息、t₁时刻的坐标信息和方向信息来对 人体动作进行估计，从而得到下一时刻的三维人体表面模型；

S5：将S3中得到的三维人体表面模型输入训练好的神经网络中进行不规范 动作识别，并将识别结果输入统计模块；

S6：迭代S1-S4,直至竞走运动完成；

S7：通过统计模块统计所有错误动作并记录，最后生产报告提供给运动者。

具体地，所述S1的具体步骤为：

对于每一个动作，先设一组变量作为运动参数向量Δx＝(Δ(θξ) Δθ₁ ... Δθ_n)，Δx表示相邻两个时刻之间的一个人体动作，Δ(θξ)表示人体整体的刚体运动， Δθi表示第i个关节绕已知旋转轴转动的角度；设动作发生之前的时刻为t₀， 动作发生之后的时刻为t₁；在人体和模型上以相同方式投射一组小光斑，对于人 体的投射可采用固定的投射设备完成，对于模型的光斑投射需要根据投射设备的 投射角度、投射方向等参数以相同方式投射；获取t₀时刻的三维模型上投射到的 一组点{p_i(t₀)|i＝1,2,...,m}，理论上m越大三维人体表面模型对人体的估计越精确， 但随着m增大，模型与人体对应点的关系越复杂，计算也越复杂，因此m的选取 应在实际中考虑计算设备的计算能力、姿态跟踪的实时性要求、对应点选取的准 确率等方面综合考虑进行确定；通过正向链接运动函数F(p(t₀)；Δx)使用变量Δx 将这组点变换为运动后的一组点同时，通过四个摄像机， 运用双目立体视觉算法，找出t₁时刻的人体上的一组对应于的点的坐标 {p_i(t₁)|i＝1,2,...,m}(即光斑投射到的一组点)；表示出t₁时刻估计坐标与实际坐标 之间的误差函数：

具体地，所述S2的具体步骤为：

设惯性坐标系为F^I，第i个惯性传感单元IMU坐标系为F_i ^S，则从F_i ^S到F^I的转换是一个旋转运动，通过IMU可获得t₀时刻从F^I到F_i ^S的旋转矩阵 与摄像机组操作方法类似，通过正向链接运动函数 F(R^SI(t₀)；Δx)使用变量Δx将R^SI(t₀)变换为运动后的坐标系变换矩阵 同时，通过IMU获得t₁时刻的旋转矩阵表示出t₁时刻估计方向与实际方向之间的误差函数：

具体地，所述S3的具体步骤为：

通过获得的E_Video(Δx)与E_IMUs(Δx)，表示出混合误差E_hybrid(Δx)，并求使得混 合误差的值最小的Δx的值：

其中λ为加权系数，通过调整λ可以控制摄像机组与IMUs在最终决定动作 估计结果Δx中的考虑权重。

具体地，所述S3的具体步骤为：

在获得一个动作的最优估计Δx之后，对运动参数向量进行更新 x_k+1＝x_k+Δx，然后根据这一组动作对三维人体表面模型进行变换，即可获得当 前捕获到的估计姿态。

具体地，所述神经网络在进行训练和检测的过程中，将每种错误动作对应一 个神经网络；

输入卷积层使用，设某个神经网络所对应的错误动作要细分为N个数量级 (例如肘关节的角度从0-180度划分18个数量级)，则第八层输出全连接层中神 经元数量为N；这样调整可以使神经网络更好地适应输入数据：三维人体表面模 型(一组有序点的坐标)，并正确输出所识别到的动作。所述神经网络的具体结 构为：第一层卷积层使用96个大小为96个大小为1*121的滤波器，滤波器步长 为4，采用最大池化，池化步长为2；第二层卷积层采用256个5*5大小的滤波器， 采用最大池化，池化步长为2；第三层卷积层和第四层卷积层均采用384个3*3 大小的滤波器，无池化；第五层卷积层采用256个3*3大小的滤波器，最大池化， 池化步长为2；第六层和第七层都是全连接层，使用4096个神经元进行全连接， 后接丢弃层，丢弃率为0.5；第八层全连接层，采用N个神经元，对第七层中4096 个神经元进行全连接，然后通过高斯过滤器获得N个float类型的值。也就是对 每种输出类型的预测的可能性。

神经网络的引入包括训练阶段与使用(识别)阶段。在训练阶段，要先对错 误的竞走动作进行大类划分，错误动作可能来自肘关节的角度过大或髋部侧向运 动不足等等，每种错误动作需要对应的训练一个神经网络。然后对每种错误动作 进行定量分析，如身体倾斜的角度、肘关节角度的大小、摆臂的高度、髋部侧向 运动的宽度等等。在完成对动作的细分之后，获得每种动作不同程度的三维人体 表面模型的相应部位(如上肢、腰部等)作为训练数据对相应的神经网络模型进 行训练。在识别阶段，训练好的网络就会对竞走者的动作进行定量的分析，并给 出准确的动作判断。

进一步地，所述人体脚底与地面接触状态分析的步骤为：

S11：通过设置在双脚的四组无线压力传感器对运动者在竞走中的每一个单 独形态的数据进行压力传感采集；四组无线压力传感器分别置于运动者两只鞋子 的前脚掌和后脚跟下方，每一组包括多个无线压力传感器；运动者在竞走中的单 独形态依次包括双腿支撑形态、后腿摆动形态、垂直支撑形态、前腿摆动形态和 双腿支撑形态。

S21：分析无线压力传感器采集的数据，进行腾空犯规的识别；识别方法为： 在一个动作周期内，所述4组压力传感器检测到的压力按照五个形态依次来源于 ①支撑腿后脚掌、摆动腿前脚掌；②支撑腿后脚掌；③支撑腿前脚掌、支撑腿后 脚掌；④支撑腿前脚掌；⑤支撑腿后脚掌和摆动腿前脚掌。若四组压力传感器均 没有检测到压力，则视为双腿腾空，则姿势犯规；

S31:将识别的所有腾空犯规和曲膝犯规的结果发送给统计模块。

进一步地，所述竞走运动在跑步机上进行。

采用上述方案后，本发明的有益效果如下：

(1)之前对竞走的研究仅停留在犯规监测，本发明不光可以检测犯规动作， 更可以深入分析竞走中的不规范动作，并将分析结果提供给运动者，提供竞走者 专业的竞走指导。本发明填补了竞走运动姿势分析领域的空白，将改进后的现有 技术创新性的应用到竞走运动领域，具有新颖性与实用性。借助本系统，竞走运 动员可以极大提高训练效率，即使在教练无法陪护的情况下也能获得专业的姿势 分析与指导；非运动员也可借助本系统涉足竞走运动，享受随时随地被专业指导 的乐趣。本方法可为竞走运动的推广和普及做出一定的贡献。

(2)在姿势估计与跟踪技术中，可跟踪的动作范围具有局限性，只适合跟踪 静态动作或节奏变化较慢的动作，跑步机的引入解决了姿势跟踪适用性差的缺点， 拓展了姿态估计的可研究动作范围，使得姿势跟踪方法对快速行进的竞速动作也 具有良好的适用性与实用性。同时，跑步机使得人体运动保持在有限范围内，让 信息采集设备可以固定在环境中，不用跟着运动者一起运动，因此设备可以稳定 的采集信息，这降低了设备的运动引起的信息采集的不稳定性。

(3)本发明改进了现有的姿态估计方法中确定人体与模型对应点的方法，原 方法包含在所拍摄图像中提取人体轮廓的过程，此过程要求运动员穿着可以与环 境区分，不具备灵活性，且找对应点的方法准确率低且准确率不稳定。新的方案 采用在人体和模型上以相同方式投射小光斑的方法，去掉了提取轮廓的过程，通 过光斑投射到的点直接确定对应点并计算坐标。新的方法相比于改进之前的方法 具有一定灵活性，且更容易理解。对应点选取的准确率依赖于向人体和模型进行 光斑投影的一致性和计算投射到的光斑坐标的误差大小，前者可通过光斑投射设 备的参数获得较高的一致性，后者可通过标定相机参数获得较高准确率，因此准 确率也会有所提高。

(4)传统的动作识别都是对动作的定性识别，而竞走由于其对姿势要求严格 的特点，需要进行定量分析。本发明在姿势识别阶段引进神经网络，对每个错误 动作训练相应的网络，并在网络训练过程中严格控制样本数据，将每种错误动作 的不同程度的错误对应的(肘关节角度、身体倾斜角度、腰部弯曲等等)的三维 人体表面模型进行记录并用于训练神经网络，最终实现对动作的定量分析。

附图说明

图1为本发明S1-S3的流程示意图；

图2为本发明背景技术中现有的神经网络结构图；

图3为图2精简图了；

图4为本发明背景技术中将单支撑阶段又分解为三个状态的示意图；

图5为本发明背景技术中压力传感器放置在脚底位置的结构示意图；

图6为本发明背景技术中为运动员未犯规时传感器应有的状态图；

图7为本发明背景技术中论文2的核心流程示意图；

图8为本发明背景技术中利用相机来进行模型提取的结构示意图；

图9为本发明背景技术中误差函数E_IMUs(Δx)的函数图像；

图10为本发明背景技术中测试者的黑色腰带与背景的黑色融为一体的结构 示意图；

图11为背景技术中论文The Vitruvian Manifold:Inferring DenseCorrespondences for One-Shot Human Pose Estimation的方法的测试结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例，都属于本发明保护的范围。

基于多方感知的竞走运动姿态分析方法，所述竞走运动在跑步机上进行；所 述竞走运动姿态分析包括同时进行的人体整体姿态分析、人体脚底与地面接触状 态分析。

整体姿态分析方法通过训练好的神经网络对实时采集的三维人体表面模型 进行识别，再将识别结果发送至统计模块；

人体脚底与地面接触状态分析采用压力传感器进行人体脚底压力状况采集， 再通过分析模块对人体脚底与地面接触状态进行分析，再将分析结果发送至统计 模块；

统计模块根据识别结果和分析结果统计错误动作并记录，并将结果告知竞走 者。

所述人体整体姿态分析的步骤为：

S1：获得跑步机上运动者的三维人体表面模型；对于每一个动作，先设一组 变量作为运动参数向量Δx＝(Δ(θξ) Δθ₁ ... Δθ_n)，Δx表示相邻两个时刻之间的一个 人体动作，Δ(θξ)表示人体整体的刚体运动，Δθi表示第i个关节绕已知旋 转轴转动的角度；设动作发生之前的时刻为t₀，动作发生之后的时刻为t₁；在人 体和模型上以相同方式投射一组小光斑，对于人体的投射可采用固定的投射设备 完成，对于模型的光斑投射需要根据投射设备的投射角度、投射方向等参数以相 同方式投射；获取t₀时刻的三维模型上投射到的一组点{p_i(t₀)|i＝1,2,...,m}，理论 上m越大三维人体表面模型对人体的估计越精确，但随着m增大，模型与人体对 应点的关系越复杂，计算也越复杂，因此m的选取应在实际中考虑计算设备的计 算能力、姿态跟踪的实时性要求、对应点选取的准确率等方面综合考虑进行确定； 通过正向链接运动函数F(p(t₀)；Δx)使用变量Δx将这组点变换为运动后的一组点 同时，通过四个摄像机，运用双目立体视觉算法，找出t₁时刻的人体上的一组对应于的点的坐标{p_i(t₁)|i＝1,2,...,m}(即光斑投射到 的一组点)；表示出t₁时刻估计坐标与实际坐标之间的误差函数：

S2：根据模型采集人体当前时刻t₀的坐标信息和方向信息；设惯性坐标系 为F^I，第i个惯性传感单元IMU坐标系为F_i ^S，则从F_i ^S到F^I的转换是一个旋转 运动，通过IMU可获得t₀时刻从F^I到F_i ^S的旋转矩阵与摄像 机组操作方法类似，通过正向链接运动函数F(R^SI(t₀)；Δx)使用变量Δx将R^SI(t₀) 变换为运动后的坐标系变换矩阵同时，通过IMU获得t₁时 刻的旋转矩阵表示出t₁时刻估计方向与实际方向之间的误差 函数：

S3：通过摄像机组采集竞走中下一时刻t₁人体的坐标信息，通过IMUs采集 竞走中下一时刻t₁人体的方向信息；通过获得的E_Video(Δx)与E_IMUs(Δx)，表示出 混合误差E_hybrid(Δx)，并求使得混合误差的值最小的Δx的值：

其中λ为加权系数，通过调整λ可以控制摄像机组与IMUs在最终决定动作 估计结果Δx中的考虑权重。

S4：根据t₀时刻的坐标信息和方向信息、t₁时刻的坐标信息和方向信息来对 人体动作进行估计，从而得到下一时刻的三维人体表面模型；

S5：将S3中得到的三维人体表面模型输入训练好的神经网络中进行不规范 动作识别，并将识别结果输入统计模块；所述神经网络在进行训练和检测的过程 中，将每种错误动作对应一个神经网络；

输入卷积层使用，设某个神经网络所对应的错误动作要细分为N个数量级 (例如肘关节的角度从0-180度划分18个数量级)，则第八层输出全连接层中神 经元数量为N；这样调整可以使神经网络更好地适应输入数据：三维人体表面模 型(一组有序点的坐标)，并正确输出所识别到的动作。所述神经网络的具体结 构为：第一层卷积层使用96个大小为96个大小为1*121的滤波器，滤波器步长 为4，采用最大池化，池化步长为2；第二层卷积层采用256个5*5大小的滤波器， 采用最大池化，池化步长为2；第三层卷积层和第四层卷积层均采用384个3*3 大小的滤波器，无池化；第五层卷积层采用256个3*3大小的滤波器，最大池化， 池化步长为2；第六层和第七层都是全连接层，使用4096个神经元进行全连接， 后接丢弃层，丢弃率为0.5；第八层全连接层，采用N个神经元，对第七层中4096 个神经元进行全连接，然后通过高斯过滤器获得N个float类型的值。也就是对 每种输出类型的预测的可能性；

神经网络的引入包括训练阶段与使用(识别)阶段。在训练阶段，要先对错 误的竞走动作进行大类划分，错误动作可能来自肘关节的角度过大或髋部侧向运 动不足等等，每种错误动作需要对应的训练一个神经网络。然后对每种错误动作 进行定量分析，如身体倾斜的角度、肘关节角度的大小、摆臂的高度、髋部侧向 运动的宽度等等。在完成对动作的细分之后，获得每种动作不同程度的三维人体 表面模型的相应部位(如上肢、腰部等)作为训练数据对相应的神经网络模型进 行训练。在识别阶段，训练好的网络就会对竞走者的动作进行定量的分析，并给 出准确的动作判断。

S6：迭代S1-S4,直至竞走运动完成；

S7：通过统计模块统计所有错误动作并记录，最后生产报告提供给运动者。

在获得一个动作的最优估计Δx之后，对运动参数向量进行更新 x_k+1＝x_k+Δx，然后根据这一组动作对三维人体表面模型进行变换，即可获得当 前捕获到的估计姿态。

具体而言，对于S3中提及的人体动作的模型建立过程如下：

为了对人体运动进行建模，首先得表示出关节的运动情况，这里采用轴角表 示关节的旋转运动。以膝关节为例，选择与腿部垂直且与人体正前方向垂直的方 向为旋转轴，则膝关节的运动可表示为绕着旋转轴进行的旋转运动。

对于任意一个旋转，它可以使用单位长度旋转轴ω(ω∈R³，s.t.||ω||＝1)与旋转角度θ进行表示。我们现在希望获得一种人体姿势的变化的表示，这种表示 可以将三维空间中的点进行变换，获得一组姿势变化后的与原始点对应的变化点 坐标，轴角表示是无法满足这种情况的，而旋转矩阵可以。巧的是，由李群与李 代数的理论，轴角表示可以通过指数映射获得该运动对应的旋转矩阵，见公式(1)

其中是由ω构造得到的反对称矩阵，对任意旋转向量θω＝θ[ω₁ ω₂ ω₃]^T，其对应的反对称矩阵可以通过楔形运算符^获得，见公式(2)

旋转矩阵R∈SO(3)(三维旋转群)是一种李群，是其对应的李代数。 矩阵的指数映射与实数类似，可用泰勒公式进行展开，见公式(3)

通过Rodriguez公式，我们也可以获得指数映射的闭合形式，见公式(4)

对于刚体运动，上述结论类似的成立。刚体运动由旋转运动和平移运动组成， 我们可以用一个三维向量θv∈R³来表示刚体的位移,即刚体的平移运动。这样就 可以将原来的三维旋转向量θω扩展至一个六维的扭动向量 θξ＝θ[v₁ v₂ v₃ ω₁ ω₂ ω₃]^T。指数映射同样的适用于刚体运动，先将刚体运 动G表示为一个旋转运动R和一个平移运动T的组合，这样就可将扭动矩阵 G∈R^4×4的指数映射类似的表示出来，见式(5)

其中由扭动向量θξ通过楔形运算符^构造获得，见式(6)

扭动矩阵G∈SE(3)(三维欧式群)也是一种李群，是其对应的李代数， 也是的一种扩展。其李代数与李群之间的指数映射公式可以表示为公式(7)

其中是旋转矩阵，是SO(3)中的元素，θv∈R³为刚体的平移向量。右上 角的J可整理为公式(8)

以上述为基础，我们可以将人体的运动建模为正向链接运动。正向链接运动 定义了一个单一层级的分支，使其分支下的子物体沿父物体的链接点运动。对于 人体来说，一个动作可以表示为一个全身的刚体运动和身体各个关节的旋转运动。 其中整体的刚体运动用θξ表示，具有6个自由度，可以由6个自由参数表示。 各个关节的旋转运动用θ_jξ_j表示，关节运动可以认为是在绕一个或两个已知轴旋 转，即ξ_j已知，自由变量只有旋转角度θ_j。例如膝关节的旋转表示为绕与大腿垂 直且与人体正前方向垂直的轴的旋转，具有一个自由度；而肩关节的旋转运动可 以表示为绕两个轴的旋转，其中一个轴与膝关节的轴平行，另一个轴为身体正前 方向。因此，人体的一个动作就可以被一个长度为(6+n)的运动参数向量完全 表示，如式(9)

x＝(θξ θ₁ ... θ_n) (9)

其中n表示人体关节旋转轴的数量。因此，对于运动链(人体)上给定的一点p， 我们定义一个正向链接运动F(p；x)来表示运动链的一次动作，通过正向链接运 动F(p；x)与参数向量x，可得到点p经过一个人体运动后的点坐标，如式(10)

其中p(x)表示经过以x为参数的正向链接运动F(p；x)之前的点的齐次坐标， Ord(x)∈{1 ... n}表示对作用于点p的关节运动的优先级编号的一个有序集合。 因为对于同一组参数x，当关节旋转的优先级不同时，旋转的结果也不同，所以 在计算之前，必须对关节的旋转运动在数学模型上排出优先级。

另一方面，所述人体脚底与地面接触状态分析的步骤为：

S11：通过设置在双脚的四组无线压力传感器对运动者在竞走中的每一个单 独形态的数据进行压力传感采集；四组无线压力传感器分别置于运动者两只鞋子 的前脚掌和后脚跟下方，每一组包括多个无线压力传感器；运动者在竞走中的单 独形态依次包括双腿支撑形态、后腿摆动形态、垂直支撑形态、前腿摆动形态和 双腿支撑形态。对竞走运动员在行进过程中的分解动作，运动员以双腿支撑地面 为一个起始动作或过渡动作，然后以前腿为支撑腿、后腿为摆动腿，将后腿向前 摆动。摆动腿从抬脚向前摆直到支撑腿达到垂直为第一阶段，这个阶段为后腿摆 动，膝关节不能弯曲，否则为“曲膝”犯规；摆动腿继续向前摆直到摆动脚落地 为第二阶段，这个阶段为前腿摆动。然后，运动员又达到了双腿支撑地面的状态， 即回到初始状态或过渡状态。接着，摆动腿变为支撑腿，支撑腿变为摆动腿，继 续向前行走，周而复始。因此，所述运动者在竞走中形态依次包括双腿支撑形态、 后腿摆动形态、垂直支撑形态、前腿摆动形态和双腿支撑形态；具体的人体的形 态如1所示：

表1

在状态一双腿支撑的时候，前腿支撑腿的后脚跟至少是着地的，而后腿摆动 腿的前脚掌至少是着地的。在状态二后腿摆动状态时，前腿支撑腿的后脚跟至少 是着地的，后腿摆动腿的脚是没有着地的。在状态三支撑腿垂直支撑时，支撑腿 前脚掌和后脚跟都着地，摆动腿不着地。在状态四前腿摆动状态时，后腿支撑腿 前脚掌至少着地，而前腿摆动腿依旧没有着地。状态五则与初始状态状态一相同。

S21：分析无线压力传感器采集的数据，进行腾空犯规的识别；识别方法为： 在一个动作周期内，所述4组压力传感器检测到的压力按照五个形态依次来源于 ①支撑腿后脚掌、摆动腿前脚掌；②支撑腿后脚掌；③支撑腿前脚掌、支撑腿后 脚掌；④支撑腿前脚掌；⑤支撑腿后脚掌和摆动腿前脚掌。若四组压力传感器均 没有检测到压力，则视为双腿腾空，则姿势犯规；因此，从表1中可以看到，对 所述形态进行腾空犯规、曲膝犯规的识别过程为：只要对每只脚的前脚掌和后脚 跟进行压力监测，就可以实时跟踪运动员的传感器，将传感器分为四组，分别置 于运动员鞋子的前脚掌和后脚跟。为了避免漏检的情况发生，可以放一簇压力传 感器即多个压力传感器平铺在脚的前掌来共同监测前脚掌，当检测到压力的传感 器数量达到某一阈值，则认为前脚掌着地。其他部位则类似操作。

S31:将识别的所有腾空犯规和曲膝犯规的结果发送给统计模块。

S21：分析无线压力传感器和无线应变传感器采集的数据，进行腾空犯规、 曲膝犯规的识别；将识别的腾空犯规和曲膝犯规的结果发送给统计模块。

在竞走运动中，不犯规是对竞走动作的最低要求，除了要注意“腾空”外， 还有许多需要注意的地方。现将不完全错误姿势统计结果列于表2。

表2

可以从表2中观察到，错误动作往往与正确动作只有细微的差别，因此，要 捕捉到运动员的错误动作，必须关注到身体细节。神经网络可以根据训练规则自 主提取模型信息，并且可以提取到人眼难以观察到的许多细微的信息，这样可以 极大提高动作识别的效率和准确率。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而 且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发 明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性 的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要 求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的 任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方 式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领 域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组 合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.基于多方感知的竞走运动姿态分析方法，其特征在于，所述竞走运动姿态分析包括同时进行的人体整体姿态分析、人体脚底与地面接触状态分析；

整体姿态分析通过训练好的神经网络对实时采集的三维人体表面模型进行识别，再将识别结果发送至统计模块；

人体脚底与地面接触状态分析采用压力传感器进行人体脚底压力状况采集，再通过分析模块对人体脚底与地面接触状态进行分析，再将分析结果发送至统计模块；

统计模块根据识别结果和分析结果统计错误动作并记录，并将结果告知竞走者。

2.根据权利要求1所述的基于多方感知的竞走运动姿态分析方法，其特征在于，所述人体整体姿态分析的步骤为：

S1：获得跑步机上运动者的三维人体表面模型；

S2：根据模型采集人体当前时刻t₀的坐标信息和方向信息；

S3：通过摄像机组采集竞走中下一时刻t₁人体的坐标信息，通过IMUs采集竞走中下一时刻t₁人体的方向信息；

S4：根据t₀时刻的坐标信息和方向信息、t₁时刻的坐标信息和方向信息来对人体动作进行估计，从而得到下一时刻的三维人体表面模型；

S5：将S3中得到的三维人体表面模型输入训练好的神经网络中进行不规范动作识别，并将识别结果输入统计模块；

S6：迭代S1-S4,直至竞走运动完成。

3.根据权利要求1所述的基于多方感知的竞走运动训练方法，其特征在于，所述S1的具体步骤为：

对于每一个动作，先设一组变量作为运动参数向量Δx＝(Δ(θξ) Δθ₁ ... Δθ_n)，Δx表示相邻两个时刻之间的一个人体动作，Δ(θξ)表示人体整体的刚体运动，Δθi表示第i个关节绕已知旋转轴转动的角度；设动作发生之前的时刻为t₀，动作发生之后的时刻为t₁；在人体和模型上以相同方式投射一组小光斑，对于人体的投射可采用固定的投射设备完成，对于模型的光斑投射需要根据投射设备的投射角度、投射方向等参数以相同方式投射；获取t₀时刻的三维模型上投射到的一组点{p_i(t₀)|i＝1,2,...,m}；通过正向链接运动函数F(p(t₀)；Δx)使用变量Δx将这组点变换为运动后的一组点同时，通过四个摄像机，运用双目立体视觉算法，找出t₁时刻的人体上的一组对应于的点的坐标{p_i(t₁)|i＝1,2,...,m}；表示出t₁时刻估计坐标与实际坐标之间的误差函数：

4.根据权利要求3所述的基于多方感知的竞走运动训练方法，其特征在于，所述S2的具体步骤为：

设惯性坐标系为F^I，第i个惯性传感单元IMU坐标系为F_i ^S，则从F_i ^S到F^I的转换是一个旋转运动，通过IMU可获得t₀时刻从F^I到F_i ^S的旋转矩阵与摄像机组操作方法类似，通过正向链接运动函数F(R^SI(t₀)；Δx)使用变量Δx将R^SI(t₀)变换为运动后的坐标系变换矩阵同时，通过IMU获得t₁时刻的旋转矩阵表示出t₁时刻估计方向与实际方向之间的误差函数：

5.根据权利要求4所述的基于多方感知的竞走运动训练方法，其特征在于，所述S3的具体步骤为：

通过获得的E_Video(Δx)与E_IMUs(Δx)，表示出混合误差E_hybrid(Δx)，并求使得混合误差的值最小的Δx的值：

其中λ为加权系数，通过调整λ可以控制摄像机组与IMUs在最终决定动作估计结果Δx中的考虑权重。

6.根据权利要求4所述的基于多方感知的竞走运动训练方法，其特征在于，所述S3的具体步骤为：

在获得一个动作的最优估计Δx之后，对运动参数向量进行更新x_k+1＝x_k+Δx，然后根据这一组动作对三维人体表面模型进行变换，即可获得当前捕获到的估计姿态。

7.根据权利要求1中任意一项所述的基于多方感知的竞走运动训练方法，其特征在于，所述神经网络在进行训练和检测的过程中，将每种错误动作对应一个神经网络；

输入卷积层使用，设某个神经网络所对应的错误动作要细分为N个数量级；所述神经网络的具体结构为：第一层卷积层使用96个大小为96个大小为1*121的滤波器，滤波器步长为4，采用最大池化，池化步长为2；第二层卷积层采用256个5*5大小的滤波器，采用最大池化，池化步长为2；第三层卷积层和第四层卷积层均采用384个3*3大小的滤波器，无池化；第五层卷积层采用256个3*3大小的滤波器，最大池化，池化步长为2；第六层和第七层都是全连接层，使用4096个神经元进行全连接，后接丢弃层，丢弃率为0.5；第八层全连接层，采用N个神经元，对第七层中4096个神经元进行全连接，然后通过高斯过滤器获得N个float类型的值。

8.根据权利要求1所述的基于多方感知的竞走运动训练方法，其特征在于，所述人体脚底与地面接触状态分析的步骤为：

S11：通过设置在双脚的四组无线压力传感器对运动者在竞走中的每一个单独形态的数据进行压力传感采集；四组无线压力传感器分别置于运动者两只鞋子的前脚掌和后脚跟下方，每一组包括多个无线压力传感器；运动者在竞走中的单独形态依次包括双腿支撑形态、后腿摆动形态、垂直支撑形态、前腿摆动形态和双腿支撑形态；

S21：分析无线压力传感器采集的数据，进行腾空犯规的识别；识别方法为：在一个动作周期内，所述4组压力传感器检测到的压力按照五个形态依次来源于①支撑腿后脚掌、摆动腿前脚掌；②支撑腿后脚掌；③支撑腿前脚掌、支撑腿后脚掌；④支撑腿前脚掌；⑤支撑腿后脚掌和摆动腿前脚掌。若四组压力传感器均没有检测到压力，则视为双腿腾空，则姿势犯规；

S31:将识别的所有腾空犯规和曲膝犯规的结果发送给统计模块。

9.根据权利要求1-8中任意一条所述的基于多方感知的竞走运动训练方法，其特征在于，所述竞走运动在跑步机上进行。