CN111860243A - 一种机器人动作序列生成方法 - Google Patents

Abstract

本发明公开了一种机器人动作序列生成方法，包括对教学视频进行分析，提取人体关节点信息，生成图像坐标系下按动作时序排列的人体关节点坐标；将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下姿态坐标，形成按照动作时序排列原始姿态序列；从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组；对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列。本发明技术方案针对目前的机器人所学习的动作精细不足、缺少可编辑性等问题，通过将人体动作分解为多个可编辑的动作单元，进而通过对动作单元进行排列重构等操作，实现机器人动作序列的可编辑。

Description

一种机器人动作序列生成方法

技术领域

本发明属于机器人动作领域，具体涉及一种机器人动作序列生成方法。

背景技术

机器人动作由一系列的序列生成，其体现形式很多，涉及的范围也很广。在教学领域，机器人也具有重要的研究意义。体育活动中是涉及到动作最多的教学项目，其体现形式也有很多。以舞蹈教学为例，幼小阶段的舞蹈教学对于培养儿童的肢体协调能力和学习兴趣有重要意义。传统的幼小舞蹈教学要么采用真人(老师或家长)示范模式，要么采用视频教学模式。前者由于老师和家长自身的知识水平、时间精力等存在差异，教学效果参差不齐且难以持续开展，后者存在学习体验差、教学效率低等问题。随着机器人技术的发展，人形机器人具备类人外形并且可以模拟人的肢体动作。

当前，机器人动作生成研究主要集中在两个方面：一是人体姿态感知研究。该研究利用传感器数据，或者2D视频处理技术，检测并跟踪人体骨架(skeleton)，实现人体姿态感知。近年来，随着深度学习技术的发展，利用深度神经网络实现视频中人体骨架跟踪取得了较好的效果，实时性和准确性有了显著提升，同时也避免了对深度传感器的依赖，具有广泛的应用前景。二是机器人动作映射研究，即如何将人体姿态映射为机器人对应的动作,目前主要通过坐标转换方法将人体姿态参数无差别的转化为机器人动作参数。

但是，现有技术的机器人动作学习过程中，仍然存在以下问题：首先，传统的动作捕捉机器人在人体动作感知上，现有技术缺少对姿态的筛选、分组机制，导致感知结果的可重用和可编辑性不足。其次，现有方案缺乏对感知结果的二次编辑操作，导致生成的机器人动作难以满足实际教学的要求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种机器人动作序列生成方法，至少可以部分解决上述问题。本发明技术方案针对目前的机器人所学习的动作精细不足、缺少可编辑性等问题，通过对教学视频中的人体动作进行坐标转换，可以将人体动作分解为多个可编辑的动作单元，进而通过对动作单元进行排列重构等操作，实现机器人动作序列的可编辑。

为实现上述目的，按照本发明的一个方面，提供了一种机器人动作序列生成方法，其特征在于，包括

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

作为本发明技术方案的一个优选，步骤S1中包括，

S11对教学视频进行分析，提取视频中人体支干并标注出支干的关键点；

S12匹配连接关键点构成完整的人体关节点，按动作时序排列输出带时间戳的人体关节点坐标序列。

作为本发明技术方案的一个优选，步骤S2中包括，

S21通过原点对齐和/或坐标轴对齐建立起图像坐标系和机器人动作空间坐标系之间的坐标变换关系；

S22利用坐标变换关系将归一化了的人体关节点坐标转换为关节点抽象坐标；

S23将关节点抽象坐标按照时间顺序排列形成原始姿态序列。

作为本发明技术方案的一个优选，步骤S3包括，

S31从原始姿态序列中获取描述任意时刻人体姿态的特征向量；

S32计算当前姿态与前一姿态的相似程度，获取二者的时空关联度；

S33根据时空关联度对人体姿态序列进行划分，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元。

按照本发明的一个方面，提供了一种机器人动作序列生成系统，其特征在于，包括

坐标解析模块，用于对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

坐标转换模块，用于将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

姿态分割模块，用于从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

动作重构模块，用于对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

作为本发明技术方案的一个优选，坐标解析模块中包括，

支干标注模块，用于对教学视频进行分析，提取视频中人体支干并标注出支干的关键点；

坐标输出模块，用于匹配连接关键点构成完整的人体关节点，按动作时序排列输出带时间戳的人体关节点坐标序列。

作为本发明技术方案的一个优选，坐标转换模块中包括，

坐标对齐模块，用于通过原点对齐和/或坐标轴对齐建立起图像坐标系和机器人动作空间坐标系之间的坐标变换关系；

节点转换模块，用于利用坐标变换关系将归一化了的人体关节点坐标转换为关节点抽象坐标；

姿态序列模块，用于将关节点抽象坐标按照时间顺序排列形成原始姿态序列。

作为本发明技术方案的一个优选，姿态分割模块包括，

特征向量模块，用于从原始姿态序列中获取描述任意时刻人体姿态的特征向量；

时空关联模块，用于计算当前姿态与前一姿态的相似程度，获取二者的时空关联度；

动作单元模块，用于根据时空关联度对人体姿态序列进行划分，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元。

按照本发明的一个方面，提供了一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

按照本发明的一个方面，提供了一种终端，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1)本发明技术方案，通过将人体动作转换为关节点坐标的表达形式，使得机器人动作序列具有可分割性，实现将属于同一个动作的姿态序列关联到同一分组，构成一个动作单元，可以动作单元为单位，对机器人执行的动作序列进行编辑；

2)本发明技术方案，按照时间顺序对教学视频中的人体动作进行了关节点捕捉，获取了人体动作中关节点的时序坐标，通过对关节点的时序坐标进行编辑，可以在保证原有教学视频的人体动作的前提下，对动作单元进行排列重构。

3)本发明技术方案，根据时空关联度对人体姿态序列进行划分，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元，一方面保证了每个动作单元的动作统一性(属于同一个动作)，另一方面也能有效剔除不属于任何动作的姿态序列，提高机器人动作序列的协调性。

附图说明

图1是本发明技术方案的实施例中机器人动作序列学习的主要处理步骤；

图2是本发明技术方案的实施例中的动作单元分割流程；

图3是本发明技术方案的实施例中姿态序列时空关联度对应的滑动窗口示意。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

本发明技术方案中提供了一种机器人动作序列生成方法，该方法利用视频分析技术，跟踪舞蹈教学视频中人体关节点信息，进而将关节点信息序列分割为动作单元序列，最后重构动作单元序列并映射为机器人动作。为此，需要解决的技术问题有：(1)舞蹈视频的关节点精确跟踪，以获取完整的关节点信息；(2)关节点信息序列的分割，以得到舞蹈动作单元序列；(3)舞蹈动作单元序列的重构，以形成机器人可执行的动作参数。

具体来说，本实施例中提供的机器人动作序列生成方案包括一种面向舞蹈教学的人形机器人动作生成方法，所述方法包括教学视频(即机器人待学习的视频，机器人将仿照教学视频来进行动作的学习)关节点跟踪、动作单元分割以及动作序列重构三个处理步骤(如图1所示)，具体过程如下：

第一步：关节点跟踪。

本实施例中，关节点跟踪主要实现人体关节点的检测与实时跟踪，其核心在于从动作视频(以下部分说明具体采用舞蹈视频，本实施例中的动作视频包括但是不限于舞蹈视频)中实时检测人体关节点并恢复空间运动信息。即对舞蹈教学视频进行动作分解，将其对应到机器人运动坐标系的人体姿态坐标序列。

人体运动是通过多个关节运动来实现的，本实施例中为了让机器人能够最大限度模拟人人体的运动姿态，结合机器人本身的机械特点，定义了14个人体关节点并将其与机器人运动对应起来。本实施例中所定义的14个人体关节点分别为：头(head)、颈(neck)、肩(shoulder_L,shoulder_R)、肘(elbow_L,elbow_R)、腕(wrist_L,wrist_R)、髋(hip_L,hip_R)、膝(knee_L,knee_R)、踝(ankle_L,ankle_R)。其中，shoulder_L表示左肩,shoulder_R表示右肩，(x_sl,y_sl,z_sl)表示左肩坐标，(x_sr,y_sr,z_sr)表示右肩坐标，以此类推。在机器人运动坐标系中，关节点坐标三元组(x,y,z)中，x正向为水平向右，z正向为竖直向上，y的方向由x、z构建左手系坐标系确定。下文中该坐标系被称为抽象坐标系，相应的三元组(x,y,z)称为关节点的抽象坐标。在此基础上，具体的节点跟踪过程包括：

(1)人体关节点跟踪。对于任意的动作视频，首先进行人体支干检测，然后标注支干的关键点，最后使用二分匹配连接关键点构成完整的人体关节点，输出带时间戳的关节点坐标序列(x_img,y_img,z_mgi,t_img)(z_img＝0)，其中x_img,y_img,z_img为关节点在图像坐标空间中的位置，t_img为时间戳。

本实施例在对人体支干进行检测的过程中，按照动作间隔或者是时间间隔截取人体画面，然后使用一个预训练的深度神经网络对间隔对截取到的动作画面进行人体关节检测。如要进一步提高人体动作识别的准确度，优选按照一定的时间间隔(最好是逐帧)对人体动作视频画面进行截取。

(2)关节点坐标转换。上述人体关节点跟踪是在图像坐标空间进行的，所获得的关节点坐标序列也是在图像坐标空间中的表达，本实施例为了将关节点的图像坐标与机器人运动坐标对齐，需要将关节点坐标转换包括原点对齐和坐标轴对齐。原点对齐是将图像坐标系的原点与抽象坐标系的原点对应起来。坐标轴对齐是将图像坐标系与关节点左手系抽象坐标对齐，具体是将图像坐标y_img对齐到抽象坐标x，图像坐标x_i对齐到抽象坐标z，图像坐标z_img对齐到抽象坐标y。

本实施例中，通过原点对齐和坐标轴对齐，可以建立起图像坐标系和机器人动作空间坐标系之间的变换关系，以将图像坐标系中的关节点坐标转换到机器人动作空间坐标系中来，实现从人天关节点坐标到关节点抽象坐标的转换。同时，为了避免视频分辨率差异导致关节点坐标的漂移问题，本实施例中优选将人体关节点坐标值归一化到[-1,1]区间。上述坐标转换过程对应的数学表达式如下：

(x,y,z,t)＝((y_img-h/2)/h,z_img,(x_img-w/2)/w,t_img)

其中w，h分别为输入视频的宽高。转换后得到的关节点抽象坐标沿时间轴t_i排列形成原始的人体姿态序列P＝{p_i|(x,y,z,t)}。

第二步：动作单元分割。

本实施例中，为了便于动作检索及动作编排，选择从原始姿态序列中分割出动作单元,将属于同一个动作的姿态序列关联到同一分组，同时移除不属于任何动作的姿态序列。本实施例中动作单元分割的处理过程如图2所示。

动作单元分割首先确定每一时刻姿态的特征向量f_i,使用空时分析法估计不同时刻姿态p_i和p_j之间空时关联度h_ij,将姿态序列P分割为多个具有空时关联的子序列

以及无空时关联的子序列

本实施例中一个或者多个具有时空关联的子序列

构成了一个动作单元a_i。本实施例中，空时关联的子序列，在特征计算上表现为序列中任意两个相邻姿态间都具有较高的空时关联度h_ij，在语义上表现为序列中依次排列的姿态构成一个实际的动作，如挥手，点头等。除去空时关联子序列后的序列，称为无空时关联的子序列。具体来说，其中包含以下步骤：

(3)姿态特征f_i计算。本实施例中，采用一组向量来描述姿态p_i的特征，以便于后续对不同姿态进行时空相关度估计。在一个优选的实施例中，本技术方案使用变化频率和幅度最显著的手臂和腿的姿态向量作为总体姿态特征，由此姿态特征f_i表示如下：

其中

分别表示左臂，右臂，左腿和右腿的特征向量。进一步，我们如下计算各特征向量：

(4)时空关联度H_ij估计。本实施例中，优选采用时空关联度来描述当前姿态与前一姿态的相似程度，便于进一步开展姿态分割操作。本实施例的时空关联度H_ij包括姿态幅度因子和姿态方向因子两部分，即H_ij＝(R_ij,D_ij)，其中R_ij代表幅度因子，D_ij代表方向因子。为了估计H_ij，优选使用叉积来描述两个不同时刻姿态的差异h_ij，即

则时空关联度H_ij具体由如下表达式进行估计：

由上式可知，时空关联度幅度因子R_ij取姿态差异的最大值，时空关联因子D_ij取最大姿态差异对应的符号。

(5)姿态序列分割。姿态序列分割的目的在于根据时空关联度H_ij决定将姿态p_i划分到关联子序列

还是无关联子序列

中。为此，本实施例中引入跃变点来对姿态序列进行初步分割。跃变点是指姿态序列中时空关联度方向因子由正变为负或者由负变为正的时刻点。两个跃变点之间的姿态序列构成一个动作片段。实际应用中，由于存在测量误差或者长时间固定姿态，可能出现“伪”跃变点，即在连续相同符号的姿态序列中存在离散的被标识为异号的姿态，导致同一动作被分割到不同动作片段中，影响姿态分割精度。为了解决这一问题，本实施例中优选进一步采用滑动窗口算法，通过滑动窗口的左右边界，搜索动作片段的最优分割边界，提高动作分割精度。一个典型的姿态序列滑动窗口如图3所示。

本实施例中，姿态序列滑动窗口算法过程如下：

1)滑动窗口初始化：将两个跃变点之间的姿态序列作为初始滑动窗口，如图3中[t_m,t_n]，通过向右侧滑动左右边界t_m和t_n不断改变窗口的范围。

2)左边界滑动：若姿态幅度因子R_ij(t_m)≤Γ(Γ为姿态幅度阈值，是指允许的两个姿态之间的姿态向量差值的最大值，本实施例中姿态幅度阈值可以调节)，则将左边界t_m移动到t_m+1作为新的左边界t_m，重复该操作直到R_ij(t_m)>Γ则停止滑动左边界。

3)右边界滑动：若姿态幅度因子R_ij(t_n+k+1)>Γ,k＝1,2,…(k为搜索步长，搜索步长即在右边界搜索过程中，从当前边界出发选定右侧第几个姿态来判断其是否构成新的右边界。如当k＝1时，表示每次以右侧第1个姿态作为新的右边界的候选；当k＝2时，表示每次以右侧第2个姿态作为新的右边界的候选，本实施例中k值可调)，且姿态方向因子D_ij(t_n+k+1)×D_ij(t_n)>0,k＝1,2,…，则将右边界t_n移动到t_n+k+1作为新的左边界t_n，重复该操作直到R_ij(t_n+k+1)>Γ和D_ij(t_n+k+1)×D_ij(t_n)>0有一个不成立或都不成立，则停止滑动右边界。

完成一次滑动窗口搜索后，将当前滑动窗口[t_m,t_n]内的姿态序列作

为最终输出的动作单元，即为a_i，将左侧移出滑动窗口的姿态加入无关联序列

将当前滑动窗口右侧最邻近的两个跃变点之间的姿态序列作为下一个滑动窗口，重复执行上述操作，直到姿态序列全部识别完毕。

第三步：动作序列重构。在分割得到的动作单元的基础上，通过动作序列重构输出机器人动作序列脚本，该脚本在经过硬件适配后即可由机器人本体解释执行，即完成对应的动作。本实施例中，优选将动作单元分割所得到的动作单元序列，按照初始的时间轴依次排列，即得到初始脚本。具体来说，该脚本每一行为一条记录，每条记录由时间戳t和机器人坐标系下的动作参数(x,y,z)构成，机器人根据时间顺序依次执行动作参数，即可执行完成对应的动作。除此之外，在一个优选的实施例中，为了满足舞蹈教学中特殊需求，如重复某个动作、慢动作展示、跳过无关动作等，本实施例在动作序列重构时提供了动作插入、动作删除和动作变速等操作。本实施例中，动作插入、动作删除和动作变速等操作的关键在于调节操作后的动作序列的时间戳，使得机器人能够按照预期顺序对其进行读取，从而完成预期动作。以下是动作插入、动作删除和动作变速的一个具体操作过程：

(6)动作插入：在动作脚本中某个时间点位置t_k插入新的动作单元a_mn，该插入动作单元可以是来自本脚本的动作单元也可以是来自其它脚本的动作单元。记该插入的动作单元为a_mn＝[(x,y,z,t_m),(x′,y′,z′,t_n)]，执行插入操作时，将大于插入点时间戳的所有记录的时间戳增加t_n-t_m+1，然后将插入动作单元所有记录的时间戳增加t_k-t_m+1，最后将a_mn中所有记录加入脚本文件，更新机器人动作序列的脚本文件。

(7)动作删除：删除动作脚本中某个时间点t_k开始动作单元a_mn。记该插入的动作单元为a_mn＝[(x,y,z,t_m),(x′,y′,z′,t_n)]，执行删除操作时，将大于删除点时间戳的所有记录的时间戳减小t_n-t_m+1，然后将a_mn所有记录从脚本文件中删除，最后将所有记录按时间戳升序排列。

(8)动作变速：通过改变动作脚本中前后两条记录之间的时间戳差值来实现动作变速控制。实现动作变速时(以k倍速为例)，计算记录i(i≥2)与前一条记录的时间戳差值Δ_i，更新t_i，其中t_i＝t_i-1+Δ_i×k。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人动作序列生成方法，其特征在于，包括

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

2.根据权利要求1所述的一种机器人动作序列生成方法，其中，所述步骤S1中包括，

S11对教学视频进行分析，提取视频中人体支干并标注出支干的关键点；

S12匹配连接关键点构成完整的人体关节点，按动作时序排列输出带时间戳的人体关节点坐标序列。

3.根据权利要求1或2所述的一种机器人动作序列生成方法，其中，所述步骤S2中包括，

S21通过原点对齐和/或坐标轴对齐建立起图像坐标系和机器人动作空间坐标系之间的坐标变换关系；

S22利用坐标变换关系将归一化了的人体关节点坐标转换为关节点抽象坐标；

S23将关节点抽象坐标按照时间顺序排列形成原始姿态序列。

4.根据权利要求1～3任一项所述的一种机器人动作序列生成方法，其中，所述步骤S3包括，

S31从原始姿态序列中获取描述任意时刻人体姿态的特征向量；

S32计算当前姿态与前一姿态的相似程度，获取二者的时空关联度；

S33根据时空关联度对人体姿态序列进行划分，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元。

5.一种机器人动作序列生成系统，其特征在于，包括

坐标解析模块，用于对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

坐标转换模块，用于将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

姿态分割模块，用于从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

动作重构模块，用于对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

6.根据权利要求5所述的一种机器人动作序列生成系统，其中，所述坐标解析模块中包括，

支干标注模块，用于对教学视频进行分析，提取视频中人体支干并标注出支干的关键点；

坐标输出模块，用于匹配连接关键点构成完整的人体关节点，按动作时序排列输出带时间戳的人体关节点坐标序列。

7.根据权利要求5或6所述的一种机器人动作序列生成系统，其中，所述坐标转换模块中包括，

坐标对齐模块，用于通过原点对齐和/或坐标轴对齐建立起图像坐标系和机器人动作空间坐标系之间的坐标变换关系；

节点转换模块，用于利用坐标变换关系将归一化了的人体关节点坐标转换为关节点抽象坐标；

姿态序列模块，用于将关节点抽象坐标按照时间顺序排列形成原始姿态序列。

8.根据权利要求5～7任一项所述的一种机器人动作序列生成系统，其中，所述姿态分割模块包括，

特征向量模块，用于从原始姿态序列中获取描述任意时刻人体姿态的特征向量；

时空关联模块，用于计算当前姿态与前一姿态的相似程度，获取二者的时空关联度；

动作单元模块，用于根据时空关联度对人体姿态序列进行划分，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元。

9.一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

10.一种终端，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

S1对教学视频进行分析，提取教学视频中人体关节点信息，按动作时序排列生成教学视频所在的图像坐标系下的人体关节点坐标；

S2将图像坐标系下的人体关节点坐标转换为机器人动作空间坐标系下的姿态坐标，获取关节点抽象坐标，形成按照动作时序排列的原始姿态序列；

S3从原始姿态序列中顺次分割出动作单元，属于同一个动作的姿态序列关联到同一分组，构成一个动作单元；

S4对动作单元进行排列重构，生成机器人动作序列，机器人按照顺序执行该动作序列实现对应动作。

Images