CN113657266B - 基于智能手环和人体三维重建的健身训练管理方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于智能手环和人体三维重建的健身训练管理方法及系统。方法包括：采集健身人员的图像并进行人体三维重建，得到体型参数；对各部件姿态角曲线进行分析，得到各部件合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；根据体型参数以及智能手环测得的心跳数据计算健身人员实时消耗热量，进行健身训练管理。利用本发明，可以提高复合健身动作的识别精度，实现个性化健身训练管理。

Description

基于智能手环和人体三维重建的健身训练管理方法及系统

技术领域

本发明涉及人工智能、辅助健身技术领域，具体涉及一种基于智能手环和人体三维重建的健身训练管理方法及系统。

背景技术

健身训练过程消耗热量的计算往往基于运动器械的数据进行，例如通过跑步机速度、坡角及时长得到的消耗热量。但是，不同体型的人做不同动作时，其消耗的热量是不同的，而目前对运动消耗热量的计算，往往是回避掉个性化的人体信息，只选用通用的因素来进行粗糙的分析，无法形成个性化的健身训练管理。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于智能手环和人体三维重建的健身训练管理方法及系统，所采用的技术方案具体如下：

一种基于智能手环和人体三维重建的健身训练管理方法，该方法包括：

采集健身人员的图像并进行人体三维重建，得到体型参数；

获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段；根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数；确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；

根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；

根据体型参数以及智能手环测得的心跳数据计算健身人员实时消耗热量，进行健身训练管理。

进一步地，采集健身人员的图像并进行人体三维重建包括：

对采集的图像进行分析，得到健身人员三维关键点；

调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型。

进一步地，对采集的图像进行分析，得到健身人员三维关键点包括：

对采集的图像进行关键点提取，得到健身人员二维关键点；

利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

进一步地，人体三维模型为SMPL模型。

进一步地，利用关键帧进行健身动作识别包括：

根据相邻关键帧之间部件姿态角的变化值得到细化动作序列，细化动作序列包括若干元素，每个元素对应一个部件，每个元素包括七种取值：若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为正，则部件对应元素值为最大姿态角类型值；若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为负，则部件对应元素值为最大姿态角类型值取负；若相邻关键帧之间部件的最大姿态角变化未超过设定阈值，则部件对应元素值为设定细化值；

将细化动作序列输入神经网络，得到复合健身动作类型。

一种基于智能手环和人体三维重建的健身训练管理系统，该系统包括：

体型参数获取模块，用于采集健身人员的图像并进行人体三维重建，得到体型参数；

视频帧关键程度获取模块，用于获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段；根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数；确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；

健身动作识别模块，用于根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；

健身训练管理模块，用于根据体型参数以及智能手环测得的心跳数据计算健身人员实时消耗热量，进行健身训练管理。

进一步地，采集健身人员的图像并进行人体三维重建包括：

对采集的图像进行分析，得到健身人员三维关键点；

调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型。

进一步地，对采集的图像进行分析，得到健身人员三维关键点包括：

对采集的图像进行关键点提取，得到健身人员二维关键点；

利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

进一步地，人体三维模型为SMPL模型。

进一步地，利用关键帧进行健身动作识别包括：

根据相邻关键帧之间部件姿态角的变化值得到细化动作序列，细化动作序列包括若干元素，每个元素对应一个部件，每个元素包括七种取值：若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为正，则部件对应元素值为最大姿态角类型值；若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为负，则部件对应元素值为最大姿态角类型值取负；若相邻关键帧之间部件的最大姿态角变化未超过设定阈值，则部件对应元素值为设定细化值；

将细化动作序列输入神经网络，得到复合健身动作类型。

本发明具有如下有益效果：

1、本发明通过智能手环和相机的搭配，智能手环可获得心跳数据，而相机采集到人体图像后通过人体三维重建，可以得到人体的体型数据，从而精确计算运动的热量消耗表征结果，最终实现合理的健身(瘦身、增肌)管理。

2、本发明通过分析健身过程中部件姿态角的变化，得到合成姿态角曲线，消除了运动过程中噪声等影响，提高了健身过程中关键帧选取精度，进而有助于后续提高复合健身动作类型的精度。

3、本发明通过关键帧之间的变化，获得细化动作序列，能够较好地表征动作变化，不仅提高了复合健身动作的识别效率，而且提高了复合健身动作的识别精度。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合及较佳实施例，对依据本发明提出的一种基于智能手环和人体三维重建的健身训练管理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面具体的说明本发明所提供的一种基于智能手环和人体三维重建的健身训练管理方法及系统的具体方案。

实施例1：

本实施例提供一种基于智能手环和人体三维重建的健身训练管理方法，该方法包括以下步骤：

步骤1，采集健身人员的图像并进行人体三维重建，得到体型参数。

本实施例通过分析相机采集的健身人员的人体图像，得到健身人员三维关键点；调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型，从而得到体型参数。其中，对采集的图像进行关键点提取，得到健身人员三维关键点包括：对采集的图像进行关键点提取，得到健身人员二维关键点；利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

步骤1.1，对采集的图像进行关键点提取，得到健身人员二维关键点。

本发明利用相机采集健身人员的视频数据，从视频中提取健身人员的图像。对采集的健身人员图像进行分析，提取健身人员二维关键点。本实施例基于关键点回归检测图像中人体的特定关键点，具体采用关键点检测网络进行人体关键点的检测。关键点检测网络为Encoder-Decoder(编码器-解码器)的结构。关键点检测网络的训练数据集采用摄像头正视拍摄的人体的图像。标签为对应的关键点heatmap(热力图)，共需标注13类关键点：人体的双脚、双膝、双胯、双肩、双肘、双手和头部。标注过程为：每类关键点应对应一个单通道，在该通道中，标记该类关键点的像素位置，而后采用高斯模糊使标记点处形成关键点热斑。本发明使用了13类关键点，故标签图像共包含13个通道。所用loss(损失)函数使用均方差损失函数。得到关键点heatmap后，使用softargmax函数回归获得关键点的二维坐标(x，y)。

步骤1.2，利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

二维关键点到三维关键点的坐标转换有多种方式，例如基于双目视觉的三维坐标转换、神经网络等。本实施例使用TCN(时间卷积网络)获得三维关键点。使用TCN的好处包括：基于时间序列，能够获得历史数据的特征，更大程度上降低二维到三维坐标转换的误差。

TCN输入为序列数据，即将每帧图像的二维关键点按照采样顺序排列得到的序列。TCN输出为对应的关键点的三维坐标。

步骤1.3，调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型。

本实施例采用SMPL模型。SMPL模型，即Skinned Multi-Person Linear Model，该模型可以通过调节参数实现模型形状、姿态的变化。

模型优化的过程如下：调整模型的shape(形状)参数和pose(姿态)参数，使得模型的关键点和步骤1.2得到的三维关键点位置对应重合。通过上述方式，可以通过少量连续帧图像重建出健身人员的人体三维模型。然后，根据三维模型计算得到健身人员对应的体脂率，过程为：通过重建的模型得到人体腰围数据yw，同时获得人体的体重数据tz，体重数据tz为三维模型的体积和人体平均密度相乘得到。

通过下列公式计算健身人员的体脂率c：c＝(a-b)/b*100％，a＝0.74*yw，b＝0.082*tz+m，其中，m取值：女性为34.89，男性为44.74。

至此，得到健身人员的体型参数—体脂率c。

得到人体的体型信息后，需要实时检测用户的运动情况。用户可能做出各种不同的健身动作，需要实现精确的识别。本发明定义单帧图像对应静态的人体姿势，而连续多帧图像中人体姿势的变化则定义为动作。按照本发明的定义，动作包括：开合跳、卷腹等。本发明的动作是多种姿势按序组合而得的序列，因此，也可称为复合动作。姿势可由单帧图像检测获得，动作却难以直接由单帧图像判断。若直接和标准动作对比pose(姿势)参数序列从而来判断动作，很难消除速度不同步、相机采样频率不同等因素导致的同一类型动作识别错误的缺陷。

目前动作识别往往仅识别特定少数的动作，例如跑步、行走等，但是生活场景是复杂的，场景中各种动作是随机的，若只检测少数特定的动作往往满足不了实际生活的需要。而且，现有动作检测技术往往是利用人体连续变化的动态信息(关键点坐标变化序列等)来进行判断。运动过程中包含摆臂、抬腿等多个不同的动作，若直接用连续的参数序列来进行动作识别，很难准确判断出其中包含的不同的动作，且对整个序列中所有数据进行判断需要大量的计算。但是，生活中人在判断动作时，往往仅需少量视频帧即可做出判断，无需看完整个动作过程。结合这一情况，本发明通过提取关键帧来实现本发明定义的健身动作识别。

现有技术一般基于光流信息进行关键帧提取，将具有最大运动熵度量的帧(前景提取)或者将像素位移较小的视频帧(背景提取)作为关键帧，虽然能够提取出关键帧，但是提取出的关键帧用于动作识别时，精度较差。识别健身动作时，肢体或躯体发生大幅运动的视频帧有助于提高识别精度，而反映肢体或躯体大幅运动的参数是身体各部件的姿态角。本发明基于姿态角曲线从连续视频帧提取少量关键帧，通过关键帧的姿态变化来得到对应的复合动作类型。步骤2-步骤6用于选取关键帧，进行复合动作类型识别。

步骤2，获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段。

根据人体关键点的三维坐标变化，进行人体各部件姿态角曲线的绘制。人体共可分为9个刚体部件，分别为2小臂+2大臂+2大腿+2小腿+躯干。各部件按照对应的转动中心进行转动，例如小臂的转动中心为肘关节，大臂的转动中心为肩关节。

本发明构建动态坐标系，得到实时的各部件的动态信息。动态坐标系，是指坐标系的三个轴向是根据人体运动而动态变化的，并非固定方向。其中，大腿和大臂都是以人体躯干为参考，大腿和大臂与躯干交点为参考原点，垂直于躯干平面向前为Z轴，自大臂参考原点沿躯干纵向(身体中心点与头部关键点连线所在方向)向下为大臂的X轴，自大腿参考原点沿躯干纵向向下为大腿的X轴，躯干横向方向(躯干平面中与纵向垂直的方向)为Y轴。小臂和小腿以膝关节为转动中心，即参考原点，垂直于躯干平面向前为Z轴，大臂和大腿延长方向为X轴(跟随大腿或者大臂变化)，与躯干平面平行且垂直于X轴的直线为Y轴。

首先，获取健身人员的实时三维关键点坐标，通过变换矩阵来实现向动态坐标系的变换，并计算得到部件在对应坐标系内的姿态角。部件姿态角随时间的变化曲线即为部件的姿态角曲线。

然后，根据曲线波峰、波谷对姿态角曲线进行划分。具体地，获取同一部件各姿态角曲线上的波峰点、波谷点，识别出转角曲线中的波峰波谷点，常用方法为求导的方式。根据得到的各曲线的波峰点、波谷点，对曲线进行划分，得到部件姿态角对应的单峰段。单峰段指：波谷-波峰-波谷，记时序上先出现的波谷为第一波谷，另一波谷为第二波谷。

标准健身动作中，每个部件都有主要的姿态角，这一姿态角在单个健身动作周期中变化很大，而且往往决定着健身动作是否标准。以健身动作开合跳为例，由上述方式可得到开合跳过程左臂(包括大臂、小臂)对应的姿态角曲线。设θ₁为绕Z轴旋转的姿态角，θ₂为绕Y轴旋转的姿态角。在开合跳过程中，相较θ₁而言，θ₂更多时候表现为干扰的噪声，即该动作下相较Y轴的转角，Z轴的转角更能反映出动作，且，相较小臂大臂更具代表性。同时，开合跳过程中大臂的运动是统一的，但是，不同的人做开合跳时，小臂的运动是不同的、不统一的。有人小臂和大臂一直无夹角，有人小臂和大臂的夹角逐渐增大。以卷腹动作为例，有上述方式可得到卷腹过程中大腿的姿态角。卷腹过程中，大腿相对于躯干主要有绕Y轴的姿态角，绕X轴或绕Z轴的姿态角更多是由于动作不标准或者图像噪声引起的。以波比跳为例，该健身工作过程中，大腿姿势的变化主要是绕Y轴的姿态角变化，大臂姿势的变化同样主要是绕Y轴的姿态角变化。因此，本发明需要确定在健身过程中的主要姿态角，即基于单峰段的信息确定基础单峰段，从而确定基础曲线也即主要姿态角对应曲线。

步骤3，根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数。

单峰段的时长T：T＝(G2-G1)*S，其中，S为视频帧采样时间间隔，G1为单峰段的第一波谷的帧数ID，G2为单峰段的第二波谷的帧数ID。若单峰段时间小于设定阈值，则为噪声，利用均值滤波去除该单峰段。

接着，计算各单峰段的重要系数。部件的每个姿态角均包括多个单峰段，本发明利用单峰段来选出基础曲线，参与重要系数运算的不同姿态角的单峰段在时间上有交集。单峰段的重要系数IMP_i：

式中，T_i、T_j分别为第i个姿态角、第j个姿态角单峰段对应的时间长度，FD_i、FD_j分别为第i个姿态角单峰段、第j个姿态角单峰段波峰与波谷的差值。参与运算的第i个姿态角与第j个姿态角的单峰段在时间上有交集。

步骤4，确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线。

在一种健身动作下，部件的主要姿态角(类型)不会变。若主要姿态角发生改变，则健身动作极有可能发生变化。在一种健身动作下，主要姿态角的姿态角曲线为基础曲线，主要姿态角曲线对应的单峰段为基础单峰段。基础单峰段的变化能够反映健身人员姿势的变化。

首先，根据波峰波谷间关系得到基础单峰段与同一时段内其它姿态角单峰段的关系类型。若其它姿态角的波峰位置在当前基础曲线的单峰段内，即G_n<F_j<G_m(其中G_n、G_m为基础曲线单峰段的两个波谷，F_j为另一姿态角曲线的波峰点)，此时，二者关系为增强型关系，则增强系数ZL_s：ZL_s＝f(F_j)*G_s，其中，F_j为另一姿态角曲线峰值处对应的帧数ID，f(F_j)为该帧数ID对应的角度值(峰值)。G_s为对应基础单峰段拟合的高斯分布或伽马分布上点s的值，s为对应点的位置，取值范围为整个单峰区间。G_s的获得过程为：首先对基础曲线进行高斯拟合或伽马分布拟合；对高斯分布拟合或伽马分布拟合进行归一化，使其值在[0,1]。本发明利用基础曲线拟合的概率分布作为权重系数，确定其他姿态角曲线峰值对基础单峰段的影响，这种做法从结果上更大地增强了基础曲线的幅值，实现了综合其他姿态角变化反映在合成曲线上，同时不改变波峰、波谷值对应的x坐标(帧数ID)。从物理意义上讲，人在健身时，时序上相邻姿势之间非主要姿态角的变化主要是由于姿势不标准、颤抖或者图像噪声引起，颤抖、姿势不标准主要发生在主要姿态角峰值处，因此，需要结合非主要姿态角的峰值对主要姿态角曲线进行增强。

若不属于增强型关系，则属于噪声型关系，即另一姿态角曲线的波峰位置不在当前基础单峰段内，则认为另一姿态角曲线对于基础单峰段而言为噪声，增强系数为0。

然后，对增强型关系进行曲线的叠加合成，得到合成姿态角曲线。合成姿态角曲线上点的数值为：DJ_s＝f(s)+ZL_s，其中，DJ_s为单峰段内第s个点对应的值(合成曲线的值)，f(s)为基础曲线上第s个点对应的角度值，ZL_s为第s个点对应的增强系数。

步骤5，对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线。

所有部件的合成姿态角曲线叠加，得到各视频帧对应的选取程度。步骤4得到各部件的合成姿态角曲线后，所有部件的合成姿态角曲线进行叠加，得到综合曲线，用于反映时序上各帧图像中人体姿势的差异，即关键程度，因此，综合曲线即视频帧关键程度曲线。叠加的过程为：结合部件的所处位置得到各部件权值FP_i，其中，i为部件编号。相对小臂和小腿而言，大腿和大臂更能反映出人体姿势的变化，所以共8个部件，对应权值FP_i：小臂和小腿为0.1，共4个则为0.4，大臂和大腿为0.15，共4个，则为0.6。

根据各部件的合成姿态角曲线及其权值进行加权叠加：

其中，

为视频帧关键程度曲线第m帧的角度值。DJ_m,i为第i个部件的合成姿态角曲线第m帧的叠加值，FP_i为部件权值。

步骤6，根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别。利用关键帧进行健身动作识别包括：根据相邻关键帧之间部件姿态角的变化值得到细化动作序列，细化动作序列包括八个元素，每个元素对应一个部件，每个元素包括七种取值：若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为正，则部件对应元素值为最大姿态角类型值；若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为负，则部件对应元素值为最大姿态角类型值取负；若相邻关键帧之间部件的最大姿态角变化未超过设定阈值，则部件对应元素值为设定细化值；将细化动作序列输入神经网络，得到复合健身动作类型。

根据各帧的关键程度，对视频帧中图像进行提取，得到用于动作识别的关键帧组图像。具体地，对视频帧关键程度曲线进行分析，得到其上的波峰和波谷点。设定阈值K，进行关键帧的提取。首先，提取时序上第一个极值点(波峰或波谷)，若后续极值点对应的值与首选值的差值大于阈值K，则提取对应的图像帧为关键帧，否则不提取。K的经验值为70，实施者可根据实施场景调整。

提取的关键帧图像组合得到关键帧组图像。根据提取出的视频帧得到细化动作序列。具体地，通过关键帧间的部件转角变化，得到帧间的细化动作序列。

从前序关键帧到其紧邻的关键帧，计算各部件的姿态角变化值。每个部件包括三个姿态角，若最大姿态角变化值大于设定阈值KL，则认为该部件在该姿态角上发生较大变化。

细化动作序列形式为：[FX₁，FX₂，FX_i···，FX₈]，分别表示8个部件的变化。FX_i表示变化类型，包括七种取值：无变化为0，第一姿态角发生较大变化取值1或-1，第二姿态角发生较大变化取值2或-2，第三姿态角发生变化取值3或-3。变化类型的正值表示姿态角增大，负值表示姿态角减小。

接着，对细化动作序列进行分析，得到复合健身动作。

健身运动无器械的运动动作包括开合跳、卷腹等，这些动作多是复合健身动作。本发明利用复合健身动作识别网络对细化动作序列进行分析，来判断对应的复合健身动作类型。具体地，复合健身动作识别网络采用时序卷积神经网络，网络的输入为时序数据，时序数据包括长度为8的细化动作序列，多组细化动作序列输入复合动作识别网络中进行训练，得到对应的各动作类型。

本发明提供两种复合健身动作识别网络的实施方式。第一种实施方式下复合健身动作识别网络包括：第一时序卷积模块，用于对第一滑动时间窗口内的细化动作序列进行特征分析，得到第一特征张量；预测模块，用于对第一特征张量进行分类，得到复合健身动作类型。复合健身动作网络训练时采用的数据集为细化动作序列训练集，可通过历史数据获得初始训练集，然后利用模拟器或数据增强扩充训练集。损失函数采用均方误差损失函数。细致动作序列数据量较少，且能较好地表征部件的姿态变化，不仅可以提高健身动作的识别效率，而且可以提高复合健身动作的识别精度。

为进一步提高复合健身动作类型的识别精度，本发明提供第二种实施方式。第二种实施方式下复合健身动作识别网络包括：第一时序卷积模块，用于对第一滑动时间窗口内的细化动作序列进行特征分析，得到第一特征张量；第二时序卷积模块，用于对第二滑动时间窗口内的关键帧进行特征分析，得到第二特征张量；预测模块，用于对第一特征张量与第二特征张量融合得到的特征进行分类，得到预测复合健身动作类型。第一滑动时间窗口与第二滑动时间窗口尺寸相同且同步。复合健身动作识别网络损失包括：根据预测复合健身动作类型(网络输出值)与真值复合健身动作类型之间的差异计算网络损失。网络的训练过程如下：首先根据历史数据以及模拟器获取训练集，将训练集的细化动作序列、关键帧数据输入复合健身动作识别网络，根据网络输出计算损失，根据损失对网络进行反馈调节。进一步地，为了防止网络输出结果震荡，同时提高复合健身动作类型的识别精度，第二实施方式的复合健身动作识别网络在使用中还设置分类模块，用于比较第一滑动时间窗口相邻两次滑动所得窗口内矩阵的差异，若所得差异大于设定差异阈值，则减小第三滑动时间窗口尺寸与滑动步长，否则增大第三滑动时间窗口的滑动步长；并将第三滑动时间窗口内的最高频次预测复合健身动作类型作为最终复合健身动作类型。第三滑动时间窗口尺寸与滑动步长每次的变动值为1。通过动态调整第三滑动时间窗口的尺寸与步长，能够更及时地识别到复合健身动作的变化，并提高计算效率。其中，窗口内的矩阵差异主要比较滑出窗口的细化动作序列数据与滑入窗口的细化动作序列的差异，可以使用逐像素比较，或获取两序列的相关系数实现。

至此，可识别出用户在运动时的各类动作。

步骤7，根据体型参数以及智能手环测得的心跳数据计算健身人员实时消耗热量，进行健身训练管理。

根据手环得到的心跳数据，得到燃脂心跳范围，并结合上述的动作类型，实现消耗热量的精确计算，并根据设定的健身任务进行运动的管理。

人体运动过程中，不同的心跳基础下消耗的热量不同，同时，持续运动的时间不同，消耗热量也不同。本发明通过智能手环检测的心跳数据来判断时序上的燃脂心跳范围，并结合步骤1-6得到的动作类型及体型数据，计算消耗热量表征rl：

式中，c为对应的健身人员体脂率，γ为肌肉率与消耗热量对应的影响系数。R_e为第e个复合动作类型对应的基础消耗热量，xt_e为对应的燃脂心跳系数，t_e为对应的持续时间系数。

燃脂心跳系数xt_e：

其中，max(xc)、min(xc)分别为手环所记录的非运动时用户的最大心跳值、最小心跳值，fc为当前测得的心跳数值，bc为用户对应的燃脂心跳数值。

持续时间系数t_e：

t_e＝1-e^-v+1

若当前心跳大于燃脂心跳，则累计系数gb为1，否则为0。累计次数越多，对应的单个动作持续时间系数越高，时间持续系数最高为2。得到热量消耗值后，需要结合用户制定的健身目标来进行合理的健身管理，具体过程为：若当前消耗的热量达到制定的任务量，则提示用户可以停止，否则需要提示用户继续加油训练，直到消耗热量达标。

实施例2：

本实施例提供一种基于智能手环和人体三维重建的健身训练管理系统，该系统包括：

体型参数获取模块，用于采集健身人员的图像并进行人体三维重建，得到体型参数；

视频帧关键程度获取模块，用于获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段；根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数；确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；

健身动作识别模块，用于根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；

健身训练管理模块，用于根据体型参数以及智能手环测得的心跳数据计算健身人员实时消耗热量，进行健身训练管理。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于智能手环和人体三维重建的健身训练管理方法，其特征在于，该方法包括：

采集健身人员的图像并进行人体三维重建，得到体型参数；

获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段；根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数；确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；

根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；

根据体型参数、智能手环测得的心跳数据以及识别出的健身动作，计算健身人员实时消耗热量，进行健身训练管理。

2.如权利要求1所述的方法，其特征在于，所述采集健身人员的图像并进行人体三维重建包括：

对采集的图像进行分析，得到健身人员三维关键点；

调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型。

3.如权利要求2所述的方法，其特征在于，所述对采集的图像进行分析，得到健身人员三维关键点包括：

对采集的图像进行关键点提取，得到健身人员二维关键点；

利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

4.如权利要求2所述的方法，其特征在于，所述人体三维模型为SMPL模型。

5.如权利要求1所述的方法，其特征在于，利用关键帧进行健身动作识别包括：

根据相邻关键帧之间部件姿态角的变化值得到细化动作序列，细化动作序列包括若干元素，每个元素对应一个部件，每个元素包括七种取值：若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为正，则部件对应元素值为最大姿态角类型值；若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为负，则部件对应元素值为最大姿态角类型值取负；若相邻关键帧之间部件的最大姿态角变化未超过设定阈值，则部件对应元素值为设定细化值；

将细化动作序列输入神经网络，得到复合健身动作类型。

6.一种基于智能手环和人体三维重建的健身训练管理系统，其特征在于，该系统包括：

体型参数获取模块，用于采集健身人员的图像并进行人体三维重建，得到体型参数；

视频帧关键程度获取模块，用于获取健身人员部件的姿态角曲线，根据曲线波峰、波谷对姿态角曲线进行划分，得到部件姿态角对应的单峰段；根据同一部件不同姿态角对应单峰段的时长、波峰值与波谷值之差确定单峰段的重要系数；确定同一时段内同一部件最大重要系数对应的单峰段为基础单峰段；若同一部件其它姿态角的单峰段波峰位于基础单峰段内，则记为增强单峰段；根据基础单峰段的拟合概率分布，确定增强单峰段波峰对基础单峰段的增强系数；利用增强单峰段的波峰值及其增强系数对基础单峰段进行增强，得到部件的合成姿态角曲线；对各部件的合成姿态角曲线进行叠加，得到视频帧关键程度曲线；

健身动作识别模块，用于根据视频帧关键程度曲线选取关键帧，利用关键帧进行健身动作识别；

健身训练管理模块，用于根据体型参数、智能手环测得的心跳数据以及识别出的健身动作，计算健身人员实时消耗热量，进行健身训练管理。

7.如权利要求6所述的系统，其特征在于，所述采集健身人员的图像并进行人体三维重建包括：

对采集的图像进行分析，得到健身人员三维关键点；

调整人体三维模型的参数，使模型的关键点与健身人员三维关键点重合，得到健身人员的三维模型。

8.如权利要求7所述的系统，其特征在于，所述对采集的图像进行分析，得到健身人员三维关键点包括：

对采集的图像进行关键点提取，得到健身人员二维关键点；

利用神经网络对健身人员二维关键点进行分析，得到健身人员三维关键点。

9.如权利要求7所述的系统，其特征在于，所述人体三维模型为SMPL模型。

10.如权利要求6所述的系统，其特征在于，所述利用关键帧进行健身动作识别包括：

根据相邻关键帧之间部件姿态角的变化值得到细化动作序列，细化动作序列包括若干元素，每个元素对应一个部件，每个元素包括七种取值：若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为正，则部件对应元素值为最大姿态角类型值；若相邻关键帧之间部件的最大姿态角变化超过设定阈值且为负，则部件对应元素值为最大姿态角类型值取负；若相邻关键帧之间部件的最大姿态角变化未超过设定阈值，则部件对应元素值为设定细化值；

将细化动作序列输入神经网络，得到复合健身动作类型。