CN113743319A - 一种自监督型智能健身方案生成方法和装置 - Google Patents

Abstract

本申请公开了一种自监督型智能健身方案生成方法和装置，通过对标准健身动作视频的内在特征进行分析，利用骨骼运动的周期性，获取关键帧、关键动作以及捕捉关键动作要领，从而自动生成标准动作模型和指导方案，摆脱了人工检测视频动作、挑选标准动作图片及编写指导方案等一系列人工工作，实现了全自动AI健身，可以大大减少设备的开发时间和维护时间，并提升精准度。

Description

一种自监督型智能健身方案生成方法和装置

技术领域

本申请涉及人工智能技术领域，特别涉及一种自监督型智能健身方案生成方法和装置。

背景技术

为了让人们保持身体健康，以及享受健身带来的好处，越来越多的终端设备上提供了AI健身的功能。通过终端设备的显示屏播放标准健身动作视频，再通过摄像头捕捉用户健身的动作，将其与标准动作进行匹配和打分，然后给出合理的建议，是当前大部分终端设备采用的方法。该方法可以让用户无需去健身房，无需寻找教练，即可得到专业的健身指导，给人们带来了很大的便利性。

目前，针对智能健身的研究和产品已经取得了一定的成果，主要包括以下两种方法：

一种方法如图1所示，其采用逐帧匹配的方式实现AI健身。具体而言：首先拍摄用户健身视频画面，然后对视频中的骨骼点进行检测，得到用户动作的姿势特征，再将用户动作的姿势特征与标准姿势特征数据库中的标准动作姿势特征进行逐帧匹配(即：需要与标准姿势特征库中的所有帧进行逐一匹配)，通过对用户锻炼动作与标准视频动作逐一进行匹配，从而进行校准和评分，得到动作评价。该方法需要用户动作与标准动作视频步伐几乎一致，且耗时严重，并且最后得到的结果只是动作评价，无法指明健身动作的重点和要点，难以商用。

另一种方法如图2所示，其采用关键动作匹配的方式实现AI健身。具体而言，首先拍摄用户健身视频画面，然后对视频中的骨骼点进行检测，得到用户动作的姿势特征，再针对特定的动作，挑选动作关键帧进行动作相似度对比(即：只与标准姿势特征库中的关键帧进行匹配，而不是与所有帧进行匹配)，并指出关键部位及要领，将用户动作与挑选出来的特定关键动作进行匹配。该方法需要专业人员为每一个动作手工挑选关键帧并指出关键部位及要领，需要人工进行手工配置等过程。

此外，上述现有方法需要专业人员在后台预先分解动作，指出标准动作，将标准动作及指导方案输入到设备的数据库中，且对动作的理解见仁见智，精度无法保证；在新增一种健身动作时，仍需耗费大量的人力、物力去开发和调试，而且效果和性能并不一定能得到保证。

发明内容

本申请提供了一种自监督型智能健身方案生成方法和装置，以自动生成健身动作要领及指导方案，实现全自动AI健身。

本申请公开了一种自监督型智能健身方案生成方法，包括：

A、获取标准健身动作视频；

B、对所述标准健身动作视频进行骨骼点检测，得到骨骼点序列；

C、将所述骨骼点序列转换为骨骼序列；

D、对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作；对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据；

E、对于周期性动作，将所述标准健身动作视频中各个关键骨骼特征分别与关键帧中的对应关键骨骼特征进行相似度匹配，获取各关键骨骼特征的相似度阈值；对于静态动作，将所述标准健身动作视频中各个关键骨骼特征与对应关键骨骼特征的均值数据进行相似度计算，并将最小相似度作为对应关键骨骼特征的相似度阈值；将关键帧骨骼数据、关键骨骼特征和相似度阈值作为动作要领数据写入配置文件；

F、利用骨骼动作的周期性特征，根据所述相似度阈值分别生成各骨骼不同相似度阈值下的指导文档，将指导文档写入配置文件；

G、获取用户健身视频，与所述配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议。

较佳的，所述C具体包括：

将所述骨骼点序列中的骨骼点按照预设的方式两两连接成骨骼，得到骨骼序列，所述骨骼序列中包括：人体真实骨骼以及由不相邻骨骼点相连接所产生的虚拟骨骼。

较佳的，所述D中对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作具体包括：

对所述骨骼序列进行周期性分析，统计各骨骼不同维度上的特征，得到若干骨骼特征，其中，所述维度包括以下的至少一种：长度、角度、位移；

如果所述若干骨骼特征在整体上存在周期性，则判定所述标准健身动作视频为周期性动作；否则，判定为静态动作。

较佳的，所述D中对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据具体包括：

对于周期性动作，执行以下处理：

通过设定条件对各个骨骼特征的运动拟合曲线进行过滤，保留具有稳定周期的骨骼特征作为关键骨骼特征；所述设定条件包括以下的至少一种：振幅大小、误差大小、周期长度；

将所有关键骨骼特征的拟合曲线的周期的最小公倍数确定为周期性动作的整体周期；

关键骨骼特征的运动拟合曲线中的所有波峰和波谷，构成关键帧；

对于静态动作，执行以下处理：

计算每个骨骼特征在所有帧中的均值和误差，通过误差筛选，保留误差小于设定门限的骨骼特征作为关键骨骼特征；

筛选各个关键骨骼特征在所有帧中的均值数据。

较佳的，所述E包括：

对于周期性动作，将每一个关键骨骼特征分别作为当前关键骨骼特征，进行如下处理：将所有骨骼序列中当前骨骼特征的状态与各个关键帧中当前骨骼特征的状态进行相似度计算，获取N条相似度拟合曲线，取各相邻关键帧相似度拟合曲线的交点作为当前关键骨骼特征的相似度阈值；其中，N为关键帧的数量；

对于静态动作，将所述标准健身动作视频中各关键骨骼特征的状态与该关键骨骼特征的均值进行相似度计算，获取最小相似度，将其作为该关键骨骼特征的相似度阈值。

本申请还公开了一种自监督型智能健身方案生成装置，包括：骨骼点检测模块、骨骼序列生成模块、周期性分析模块、动作要领生成模块、指导方案生成模块和输出方案模块，其中：

所述骨骼点检测模块，用于对输入的标准健身动作视频进行骨骼点检测，得到骨骼点序列；

所述骨骼序列生成模块，用于将所述骨骼点序列转换为骨骼序列；

所述周期性分析模块，用于对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作；对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据；

所述动作要领生成模块，用于对于周期性动作，将所述标准健身动作视频中各个关键骨骼特征分别与关键帧中的对应关键骨骼特征进行相似度匹配，获取各关键骨骼特征的相似度阈值；对于静态动作，将所述标准健身动作视频中各个关键骨骼特征与对应关键骨骼特征的均值数据进行相似度计算，并将最小相似度作为对应关键骨骼特征的相似度阈值；将关键帧骨骼数据、关键骨骼特征和相似度阈值作为动作要领数据写入配置文件；

所述指导方案生成模块，利用骨骼动作的周期性特征，根据所述相似度阈值分别生成各骨骼不同相似度阈值下的指导文档，将指导文档写入配置文件；

所述输出方案模块，用于获取用户健身视频，与所述配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议。

较佳的，所述骨骼序列生成模块具体用于：

将所述骨骼点序列中的骨骼点按照预设的方式两两连接成骨骼，得到骨骼序列，所述骨骼序列中包括：人体真实骨骼以及由不相邻骨骼点相连接所产生的虚拟骨骼。

较佳的，所述周期性分析模块具体用于：

对所述骨骼序列进行周期性分析，统计各骨骼不同维度上的特征，得到若干骨骼特征，其中，所述维度包括以下的至少一种：长度、角度、位移；

如果所述若干骨骼特征在整体上存在周期性，则判定所述标准健身动作视频为周期性动作；否则，判定为静态动作。

较佳的，所述周期性分析模块还用于：

对于周期性动作，执行以下处理：

通过设定条件对各个骨骼特征的运动拟合曲线进行过滤，保留具有稳定周期的骨骼特征作为关键骨骼特征；所述设定条件包括以下的至少一种：振幅大小、误差大小、周期长度；

将所有关键骨骼特征的拟合曲线的周期的最小公倍数确定为周期性动作的整体周期；

关键骨骼特征的运动拟合曲线中的所有波峰和波谷，构成关键帧；

对于静态动作，执行以下处理：

计算每个骨骼特征在所有帧中的均值和误差，通过误差筛选，保留误差小于设定门限的骨骼特征作为关键骨骼特征；

筛选各个关键骨骼特征在所有帧中的均值数据。

较佳的，所述动作要领生成模块具体用于：

对于周期性动作，将每一个关键骨骼特征分别作为当前关键骨骼特征，进行如下处理：将所有骨骼序列中当前骨骼特征的状态与各个关键帧中当前骨骼特征的状态进行相似度计算，获取N条相似度拟合曲线，取各相邻关键帧相似度拟合曲线的交点作为当前关键骨骼特征的相似度阈值；其中，N为关键帧的数量；

对于静态动作，将所述标准健身动作视频中各关键骨骼特征的状态与该关键骨骼特征的均值进行相似度计算，获取最小相似度，将其作为该关键骨骼特征的相似度阈值。

由上述技术方案可见，本申请提出的自监督型智能健身方案生成方法只需输入健身标准动作视频，将自动检测各个骨骼运动的周期性特征，从而判断出该动作的要点和视频的关键点，自动生成健身动作要领及指导方案，用于后续动作匹配及技术指导，从而摆脱了人工检测视频动作、挑选标准动作图片及编写指导方案等一系列人工工作，实现了全自动AI健身，可以大大减少设备的开发时间和维护时间，并提升精准度。

附图说明

图1为现有逐帧匹配智能健身方法的示意图；

图2为现有关键动作匹配智能健身方法的示意图；

图3为本申请自监督型智能健身方案生成方法的示意图；

图4为本申请自监督型智能健身方案生成装置的组成结构示意图；

图5为本申请骨骼点检测模块的处理示意图；

图6为本申请骨骼序列生成模块的处理示意图；

图7为本申请周期性分析模块的处理示意图；

图8为本申请周期性动作整体周期及关键帧生成示意图；

图9为本申请静态动作骨骼特征筛选示意图；

图10为本申请动作要领生成模块的处理示意图；

图11为本申请周期性骨骼特征阈值生成原理示意图；

图12为本申请静态骨骼特征阈值生成原理示意图；

图13为本申请指导方案生成模块的处理示意图；

图14为本申请阈值序列与指导文档的对应关系示例；

图15为本申请实施例一周期性动作的动作要领和指导方案生成过程示意图；

图16为本申请实施例二静态动作的动作要领和指导方案生成过程示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

为解决现有技术所存在的问题，本申请提出一种自监督型智能健身方案生成方法，该方法通过标准动作视频的内在特征，利用骨骼运动的周期性，获取关键图像及捕捉动作要领，从而自动生成标准动作模型和指导方案。

图3为本申请自监督型智能健身方案生成方法的示意图，与现有技术相比，本申请技术方案的要点包括：

(1)对标准动作视频中的人体骨骼运动进行周期性特征分析；

(2)根据周期性特征分析的结果，进行关键帧挑选、关键骨骼特征筛选、阈值计算及指导方案的生成。如图3所示标准姿势特征数据库及指导方案自动生成，这里的标准姿势特征数据库可以包括关键帧、关键骨骼特征等数据，后续将予以详细说明。

在上述方案的基础上，当获取到用户健身视频时，将其与标准姿势特征数据库中的数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议，即给出动作评价。

图4为本申请自监督型智能健身方案生成装置的组成结构示意图。如图4所示，该装置包括：骨骼点检测模块、骨骼序列生成模块、周期性分析模块、动作要领生成模块、指导方案生成模块和输出方案模块，这些模块分别用于进行骨骼点检测、骨骼序列生成、周期性分析、动作要领生成、指导方案生成和输出方案，下面结合附图对各个模块分别予以详细说明。

1)骨骼点检测模块：

图5为本申请骨骼点检测模块的处理示意图，该模块用于对输入的标准动作视频进行抽帧，然后逐帧进行人体检测、人体跟踪、以及骨骼点检测，最后获取人体完整的骨骼点序列。

2)骨骼序列生成模块：

图6为本申请骨骼序列生成模块的处理示意图，该模块根据骨骼点检测模块获得的骨骼点序列，将骨骼点按照预设的连接方式两两连接成骨骼，得到骨骼序列，这里的连接不仅包括人体真实骨骼，还包括由不相邻骨骼点相连接所产生的虚拟骨骼。其中：

真实骨骼是按照人体骨骼的连接方式，连接相邻的骨骼点，而生成的真实骨骼序列；

虚拟骨骼是分别在头部、上肢、胸腹部和下肢这四个区域中，连接不相邻的骨骼点，而生成的人体中并不存在的虚拟骨骼序列。当然，在实际应用中也可以采用其他方式将骨骼点相连生成虚拟骨骼序列。

本申请引入虚拟骨骼序列的概念可以大大提高周期性分析的精度，并大大提高动作匹配以及动作指导的精度。

3)周期性分析模块：

图7为本申请周期性分析模块的处理示意图，该模块用于根据骨骼序列模块所生成的骨骼序列，对每段骨骼的运动轨迹(包括：长度、角度、位移等)采用频域计算、正弦拟合、相似度计算、振幅筛选、误差筛选等方法进行周期性分析，以获取每段骨骼的周期特征，所述周期特征包括但不限于：周期、振幅、误差等，进而获取整体动作的周期特征。然后，通过特征过滤，获取关键骨骼特征；通过判断整体动作的周期特征是否有周期，如果有周期，则获取关键帧数据，如果没有周期，则获取关键骨骼特征的均值数据。

动作分为周期性动作和静态动作(即：非周期性动作)，对于不同的动作需要采取不同的处理方式。具体而言：

首先采用频域计算、正弦拟合、相似度计算、振幅筛选、误差筛选等方法进行周期性分析，统计每段骨骼不同维度(包括：长度、角度、位移等)上的特征，其中，每段骨骼不同维度上的特征可称为骨骼特征。如果整体骨骼特征存在周期性，则认为整体动作存在周期性，此时，判定当前正在处理的标准动作视频为周期性动作；否则，判定为静态动作；

对于周期性动作，继续执行以下处理：

1)通过振幅大小、误差大小、周期长度等条件对各个骨骼特征的运动拟合曲线进行过滤，保留具有稳定周期的骨骼特征，这些骨骼特征构成关键骨骼特征；

2)将上述过滤之后保留下来的所有关键骨骼特征的拟合曲线的周期的最小公倍数确定为周期性动作的整体周期；

3)关键骨骼特征的运动拟合曲线中的所有波峰和波谷，构成关键帧。

如图8所示为本申请一示例周期性动作整体周期及关键帧生成示意图。图8中的骨骼1角度、骨骼2角度、骨骼2位移……骨骼n角度和骨骼n长度是筛选出的关键骨骼特征，这些关键骨骼特征的运动拟合曲线中的所有波峰和波谷都被定义为关键帧，图中示出的波峰和波谷构成三个不同的关键帧。

对于静态动作，其骨骼特征不具备稳定周期，因而没有像周期性动作一样的关键帧，对于静态动作执行以下处理：

1)计算每个骨骼特征在所有帧中的均值和误差(标准差)，通过误差筛选，将误差较小(例如：小于设定门限)的骨骼特征保留下来，作为关键骨骼特征；

2)筛选各个关键骨骼特征在所有帧中的均值数据。

图9为本申请静态动作骨骼特征筛选示意图，根据图9，骨骼2角度、骨骼2位移和骨骼n长度等骨骼特征的误差曲线较为平滑，这些骨骼特征将被视为误差较小的骨骼特征，从而被选出作为关键骨骼特征，而骨骼1角度和骨骼n角度将不被选用。

4)动作要领生成模块：

图10为本申请动作要领生成模块的处理示意图，该模块用于将骨骼序列与关键帧的骨骼数据进行相似度计算，获取关键骨骼特征匹配所需的相似度阈值；关键骨骼特征、关键帧的骨骼数据和相似度阈值，共同构成动作要领数据，写入配置文件中。其中，获取关键骨骼特征匹配所需的相似度阈值的具体过程为：

对于周期性动作，将每一个关键骨骼特征分别作为当前关键骨骼特征，进行如下处理：将所有骨骼序列中当前骨骼特征的状态(某骨骼特征的状态也可称为该骨骼特征的取值)与N个关键帧中当前骨骼特征的状态进行相似度计算，获取N条相似度拟合曲线，取各相邻关键帧相似度拟合曲线的交点作为当前关键骨骼特征的相似度阈值。在后续处理过程中，相似度阈值作为动作要领数据的一部分，用于进行关键骨骼特征匹配。

对于周期性动作，如图11周期性骨骼特征阈值生成原理示意图所示，以某骨骼的角度特征为例，将整段视频中该骨骼的角度与筛选出来的三个关键帧中该骨骼的角度进行相似度计算，获取三条相似度拟合曲线，相邻关键帧相似度拟合曲线的交点即为该骨骼的角度特征的相似度阈值。图11所示示例中得到三个阈值：阈值1＝0.85，阈值2＝0.75，阈值3＝0.7。在后续的处理过程中，可以利用所得到的相似度阈值，从三个关键帧中为该骨骼的角度特征动态地选择当前与之相似度最高的关键帧进行相似度评价。对每一个关键骨骼特征，分别按照上述方法进行相似度计算，即可得到各个关键骨骼特征的相似度阈值。

以图11为例，若当前该骨骼的角度处于状态1中(这里，状态1表示：该骨骼的角度与关键帧1的相似度高于0.85，与关键帧2的相似度低于0.85)，当该骨骼的角度随着运动变成与关键帧2的相似度超过阈值0.85时，则判定当前该骨骼的角度与关键帧2的相似度最高，切换状态至状态2(这里，状态2表示：该骨骼的角度与关键帧2的相似度高于0.85，与关键帧3的相似度低于0.75)；随着运动的继续，当该骨骼的角度与关键帧3的相似度超过0.75时，则判定当前该骨骼的角度与关键帧3的相似度最高，切换状态至状态3(这里，状态3表示：该骨骼的角度与关键帧3的相似度高于0.75，与关键帧1的相似度低于0.7)，至此一个周期完成。继续运动，当该骨骼的角度与关键帧1的相似度高于0.7时，则判定当前该骨骼的角度与关键帧1相似度最高，切换状态至状态1，如此循环，进行下一个周期运动。

对于静态动作，如图12静态骨骼特征阈值生成原理示意图所示，以某骨骼的角度特征为例，将整段视频中该骨骼的角度与该骨骼角度的均值进行相似度计算，获取最小相似度，将其作为该骨骼角度的相似度阈值。

5)指导方案生成模块：

图13为本申请指导方案生成模块的处理示意图，该模块通过分析标准视频中骨骼运动的振幅、频率、周期、误差等周期性特征，结合生成的动作要领，运动过程中各个骨骼的状态与关键帧骨骼动作的相似度，根据各个相似度阈值，自动设定每段骨骼不同阈值下的指导文档，当用户动作不标准时，可以通过阈值判断，提示用户如何改进动作。阈值序列和指导文档共同构成指导方案。

图14示出阈值序列与指导文档的对应关系示例，在不同的相似度区间内，判断该骨骼与最佳位置的距离和角度关系，生成评分标准及指导文档，提示用户该如何调整各个骨骼的位置状态。图14所示示例中，假设相似度阈值为0.85：

当相似度处于0.95～1区间时，评分为非常好(excellent)；

当相似度处于0.9～0.95区间时，评分为好(good)，并给出对应的指导文档1；

当相似度处于0.85～0.9区间时，评分为合格(pass)，并给出对应的指导文档2；

当相似度处于0.7～0.85区间时，评分为不好(not good)，并给出对应的指导文档3；

当相似度处于-1.0～0.7区间时，评分为姿势错误(wrong pose)，并给出对应的指导文档4。

6)输出方案模块：

该模块用于获取用户健身视频，与配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议。

本申请技术方案的主要应用场景为智能设备根据输入的健身视频生成动作匹配方案，其实施步骤如下：

步骤1：智能设备获取标准健身动作视频；

步骤2：智能设备启用本申请技术方案所提供的服务，对标准健身动作视频进行骨骼点检测，提取标准健身动作视频中的骨骼点，得到骨骼点序列；该步骤对应于骨骼点检测模块所执行的处理；

步骤3：将所提取的骨骼点序列转换为骨骼序列；该步骤对应于骨骼序列生成模块所执行的处理；

步骤4：对骨骼序列进行周期性特征分析，判断该健身动作是静态动作或动态周期性动作；对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据；该步骤对应于周期性分析模块所执行的处理；

步骤5：对于周期性动作，将标准健身动作视频中各个关键骨骼特征分别与关键帧中的对应关键骨骼特征进行相似度匹配，获取各关键骨骼特征的相似度阈值；对于静态动作，将标准健身动作视频中各个关键骨骼特征与对应关键骨骼特征的均值数据进行相似度计算，并将最小相似度作为对应关键骨骼特征的相似度阈值；最后，将关键帧骨骼数据、关键骨骼特征和相似度阈值作为动作要领数据写入配置文件中；该步骤对应于动作要领生成模块所执行的处理；

步骤6：利用骨骼的周期性特征，根据相似度阈值分别生成各骨骼不同相似度阈值下的指导文档，将指导文档写入配置文件中；该步骤对应于指导方案生成模块所执行的处理；

步骤7：智能设备获取用户健身视频，与配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出对应的指导建议。

下面通过两个较佳实施例对本申请技术方案的具体实施进行详细举例说明。

实施例一：

本实施例以周期性动作的动作要领和指导方案生成过程为例进行说明。

图15为本申请实施例一周期性动作的动作要领和指导方案生成过程示意图，参见图15：

动态健身(以开合跳为例)动作视频输入后，首先进行骨骼点检测以及骨骼序列生成，然后经过骨骼周期分析、关键帧提取、及关键骨骼相似度阈值计算后，可以得到该视频的动作要领数据；再根据动作要领数据，结合视频中不同时间段的骨骼状态，生成各个状态的指导文档；最终输出配置文件给终端应用，终端应用(Samsung Health)根据得到的配置文件，对用户动作进行匹配评分，并给出指导建议。

实施例二：

本实施例以静态动作的动作要领和指导方案生成过程为例进行说明。

图16为本申请实施例二静态动作的动作要领和指导方案生成过程示意图，参见图16：

静态健身(以保持深蹲为例)动作视频输入后，首先进行骨骼点检测以及骨骼序列生成，然后经过骨骼周期分析，提取骨骼均值数据和关键骨骼的相似度阈值后，可以得到该动作的动作要领数据；再根据动作要领数据，生成每段骨骼各个形态的指导文档；最终输出配置文件给终端应用，终端应用(Samsung Health)根据得到的配置文件，对用户动作进行匹配评分，并给出指导建议。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种自监督型智能健身方案生成方法，其特征在于，包括：

A、获取标准健身动作视频；

B、对所述标准健身动作视频进行骨骼点检测，得到骨骼点序列；

C、将所述骨骼点序列转换为骨骼序列；

D、对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作；对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据；

E、对于周期性动作，将所述标准健身动作视频中各个关键骨骼特征分别与关键帧中的对应关键骨骼特征进行相似度匹配，获取各关键骨骼特征的相似度阈值；对于静态动作，将所述标准健身动作视频中各个关键骨骼特征与对应关键骨骼特征的均值数据进行相似度计算，并将最小相似度作为对应关键骨骼特征的相似度阈值；将关键帧骨骼数据、关键骨骼特征和相似度阈值作为动作要领数据写入配置文件；

F、利用骨骼动作的周期性特征，根据所述相似度阈值分别生成各骨骼不同相似度阈值下的指导文档，将指导文档写入配置文件；

G、获取用户健身视频，与所述配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议。

2.根据权利要求1所述的方法，其特征在于，所述C具体包括：

将所述骨骼点序列中的骨骼点按照预设的方式两两连接成骨骼，得到骨骼序列，所述骨骼序列中包括：人体真实骨骼以及由不相邻骨骼点相连接所产生的虚拟骨骼。

3.根据权利要求1所述的方法，其特征在于，所述D中对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作具体包括：

对所述骨骼序列进行周期性分析，统计各骨骼不同维度上的特征，得到若干骨骼特征，其中，所述维度包括以下的至少一种：长度、角度、位移；

如果所述若干骨骼特征在整体上存在周期性，则判定所述标准健身动作视频为周期性动作；否则，判定为静态动作。

4.根据权利要求3所述的方法，其特征在于，所述D中对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据具体包括：

对于周期性动作，执行以下处理：

通过设定条件对各个骨骼特征的运动拟合曲线进行过滤，保留具有稳定周期的骨骼特征作为关键骨骼特征；所述设定条件包括以下的至少一种：振幅大小、误差大小、周期长度；

将所有关键骨骼特征的拟合曲线的周期的最小公倍数确定为周期性动作的整体周期；

关键骨骼特征的运动拟合曲线中的所有波峰和波谷，构成关键帧；

对于静态动作，执行以下处理：

计算每个骨骼特征在所有帧中的均值和误差，通过误差筛选，保留误差小于设定门限的骨骼特征作为关键骨骼特征；

筛选各个关键骨骼特征在所有帧中的均值数据。

5.根据权利要求4所述的方法，其特征在于，所述E包括：

对于周期性动作，将每一个关键骨骼特征分别作为当前关键骨骼特征，进行如下处理：将所有骨骼序列中当前骨骼特征的状态与各个关键帧中当前骨骼特征的状态进行相似度计算，获取N条相似度拟合曲线，取各相邻关键帧相似度拟合曲线的交点作为当前关键骨骼特征的相似度阈值；其中，N为关键帧的数量；

对于静态动作，将所述标准健身动作视频中各关键骨骼特征的状态与该关键骨骼特征的均值进行相似度计算，获取最小相似度，将其作为该关键骨骼特征的相似度阈值。

6.一种自监督型智能健身方案生成装置，其特征在于，包括：骨骼点检测模块、骨骼序列生成模块、周期性分析模块、动作要领生成模块、指导方案生成模块和输出方案模块，其中：

所述骨骼点检测模块，用于对输入的标准健身动作视频进行骨骼点检测，得到骨骼点序列；

所述骨骼序列生成模块，用于将所述骨骼点序列转换为骨骼序列；

所述周期性分析模块，用于对所述骨骼序列进行周期性特征分析，判断是静态动作或动态周期性动作；对于周期性动作，获取关键骨骼特征及关键帧，对于静态动作，获取关键骨骼特征及其均值数据；

所述动作要领生成模块，用于对于周期性动作，将所述标准健身动作视频中各个关键骨骼特征分别与关键帧中的对应关键骨骼特征进行相似度匹配，获取各关键骨骼特征的相似度阈值；对于静态动作，将所述标准健身动作视频中各个关键骨骼特征与对应关键骨骼特征的均值数据进行相似度计算，并将最小相似度作为对应关键骨骼特征的相似度阈值；将关键帧骨骼数据、关键骨骼特征和相似度阈值作为动作要领数据写入配置文件；

所述指导方案生成模块，利用骨骼动作的周期性特征，根据所述相似度阈值分别生成各骨骼不同相似度阈值下的指导文档，将指导文档写入配置文件；

所述输出方案模块，用于获取用户健身视频，与所述配置文件中的动作要领数据进行匹配，计算用户健身视频中的动作与标准健身动作视频中的动作的相似度，并根据计算得到的相似度按照配置文件中的指导文档给出相应的指导建议。

7.根据权利要求6所述的装置，其特征在于，所述骨骼序列生成模块具体用于：

将所述骨骼点序列中的骨骼点按照预设的方式两两连接成骨骼，得到骨骼序列，所述骨骼序列中包括：人体真实骨骼以及由不相邻骨骼点相连接所产生的虚拟骨骼。

8.根据权利要求6所述的装置，其特征在于，所述周期性分析模块具体用于：

对所述骨骼序列进行周期性分析，统计各骨骼不同维度上的特征，得到若干骨骼特征，其中，所述维度包括以下的至少一种：长度、角度、位移；

如果所述若干骨骼特征在整体上存在周期性，则判定所述标准健身动作视频为周期性动作；否则，判定为静态动作。

9.根据权利要求8所述的装置，其特征在于，所述周期性分析模块还用于：

对于周期性动作，执行以下处理：

通过设定条件对各个骨骼特征的运动拟合曲线进行过滤，保留具有稳定周期的骨骼特征作为关键骨骼特征；所述设定条件包括以下的至少一种：振幅大小、误差大小、周期长度；

将所有关键骨骼特征的拟合曲线的周期的最小公倍数确定为周期性动作的整体周期；

关键骨骼特征的运动拟合曲线中的所有波峰和波谷，构成关键帧；

对于静态动作，执行以下处理：

计算每个骨骼特征在所有帧中的均值和误差，通过误差筛选，保留误差小于设定门限的骨骼特征作为关键骨骼特征；

筛选各个关键骨骼特征在所有帧中的均值数据。

10.根据权利要求9所述的装置，其特征在于，所述动作要领生成模块具体用于：

对于周期性动作，将每一个关键骨骼特征分别作为当前关键骨骼特征，进行如下处理：将所有骨骼序列中当前骨骼特征的状态与各个关键帧中当前骨骼特征的状态进行相似度计算，获取N条相似度拟合曲线，取各相邻关键帧相似度拟合曲线的交点作为当前关键骨骼特征的相似度阈值；其中，N为关键帧的数量；

对于静态动作，将所述标准健身动作视频中各关键骨骼特征的状态与该关键骨骼特征的均值进行相似度计算，获取最小相似度，将其作为该关键骨骼特征的相似度阈值。

Images