CN112365580B - 一种面向人机技能传授的虚拟作业演示系统 - Google Patents

Abstract

本发明公开了一种面向人与机器人技能传授的虚拟作业演示系统。该系统主要由虚拟场景建模、作业信息捕捉、知识挖掘分析三个部分组成。基于虚拟现实技术搭建家庭作业场景，实现演示者的全身运动捕捉和环境全域信息感知，并设计一种结合运动特征与操作物语义的行为分层多权重分割识别算法来获取任务行为高层次语义知识，生成任务行为状态机。本发明提出的虚拟作业演示系统具有效率高、成本低等优点，不仅能为服务机器人仿人行为学习提供丰富、完善、精确的作业演示数据，而且能挖掘作业顺序、作业目标等任务知识，对促进机器人任务知识库的构建和维护、提高机器人的适用性和灵活性具有重要意义。

Description

一种面向人机技能传授的虚拟作业演示系统

技术领域

本发明涉及虚拟作业演示系统构建领域，尤其涉及一面向人机技能传授的虚拟作业演示系统。

背景技术

随着社会老龄化和劳动力短缺问题日益严重，机器人不仅将在传统的工业领域承担更加重要的角色，还将逐步走进人类的日常生活，适应人类的生活环境，成为人类不可或缺的亲密朋友和帮手。不同于工业机器人，服务机器人大多工作在动态、非结构化环境中，繁琐的日常工作很难被程序严格规定，任务目标及指标更加多样、操作灵活性要求更高、任务过程更复杂多变。

关于日常工作，人类已经积累了大量的知识和经验，如果机器人可以利用人类行为演示信息，提取人类的运动特征以及自动挖掘任务知识，生成可供机器人使用的任务知识图谱，将极大地减少人为构建和维护知识库的难度，并进一步提高机器人的适用性和灵活性。

然而，获取人类的行为演示数据需要根据任务搭建不同的演示场景，而且作业场景不光物体需求多样，为所有场景物体添加标签的工作也复杂繁琐，极大的增加了工作量；同时，为了捕捉包含“人体运动信息”、“人-物-环境的三元交互信息”以及“周围场景动态信息”等完善、精确、多样的作业演示数据，需要装备全场景覆盖的感知系统，但实现全场景的感知覆盖，需要多种高精度传感器相互配合，如视觉识别系统和高精度光学动作捕捉系统等等，这些都会大大的增加演示系统的搭建难度和应用成本，使得无法普遍推广，限制机器人仿人行为学习技术的研究进步。此外，现有的作业演示系统，多关注于作业的运动信息，而忽视了行为、场景的语义信息，缺少语义提取和知识推理能力，难以对长时间序列的复杂作业演示进行行为知识提取，无法获得高层次的任务抽象知识。

发明内容

本发明的目的是针对现有技术的缺陷，提出了一种面向人与机器人技能传授的虚拟作业演示系统。

为了实现以上目的，本发明采用以下技术方案：

一种面向人与机器人技能传授的虚拟作业演示系统，包括虚拟场景建模模块、作业信息捕捉模块及知识挖掘分析模块，所述虚拟场景建模模块用于搭建不同作业场景，作业信息捕捉模块用于作业数据捕捉、动作分割识别，所述知识挖掘分析模块用于任务行为状态机生成功能。

进一步的，虚拟场景建模模块具体包括：基于虚拟现实技术，通过几何模型、内置物理引擎和人-物-环境三元交互动力学模型，构建多种虚拟家庭场景，家庭场景中的所有物品在构造时以编号标签为索引，添加包含体现质量、尺寸、位置的物理属性、类别属性、以及物体功能属性标签，共同形成了场景物体的基础属性集Q：

Q＝(n,P,C,F)；

其中，n表示物体的编号；P表示物理属性，P＝(m,s,l_o),m表示质量，s＝(len,wid,hei)表示几何特性，其中len表示长度、wid表示宽度、hei表示高度，l_o表示位置坐标l_o＝(x_o,y_o,z_o)，x_o,y_o,z_o分别是物体在室内直角坐标系中x轴、y轴和z轴目标，下标o表示物体；C表示根据家庭本体知识库获得的物体父级类别；F表示功能属性，表示物体的使用功能。

进一步的，作业数据捕捉模块具体包括以下操作：

S1、通过虚拟现实手柄和头显传感器以及佩戴在演示者胯关节、双脚脚踝关节的虚拟现实追踪器等6个传感器捕捉演示人员头、双手、双脚、胯部六个关键节点的运动信息；

S2、利用小波变换滤波算法剔除系统不稳定导致的位置漂移误差，从而精确获得精确的演示人员的关键节点的三维位置l_b＝(x_b,y_b,z_b)、姿态

线速度

角速度

其中下标b表示人体，x_b,y_b,z_b分别是室内坐标系下的x,y,z轴坐标，

分别是x,y,z轴方向运动速度，

分别表示俯仰角、侧倾角和偏转角，

分别是俯仰角、侧倾角和偏转角的旋转角速度；

S3、然后，利用逆运动学解算算法，进一步获得双手手臂肘关节、大腿膝关节的位姿信息；从而得到人体全身关键关节点运动信息M＝(M₁,M₂,…,M₁₀)，其中，M_i＝(l_{b_i},o_{b_i},v_{b_i},ω_{b_i}),M_i表示第i个关键关节点的运动信息，全身共10个关键关节，分别是头、双手肘、双手、胯、双膝、双脚；

S4、利用虚拟环境中的碰撞检测，获取每个采样时刻双手所操作物体的编号Q＝(n_r,n_l,n_h),其中n_l表示左手接触物体编号，n_r表示右手接触物体编号，n_h表示通过工具间接接触的物体编号，当无物体接触时参数置零；

S5、最后，将每时刻的人体运动信息与检测到的交互的物体编号相关联，可以同步获得包含运动数据和场景物体数据的演示数据集Data＝{(M₁,Q₁),(M₂,Q₂),…,(M_t,Q_t)},t表示运动时刻。

进一步的，知识挖掘分析模块具体包括：结合演示数据中的运动轨迹特征与操作物语义属性，对演示数据进行动作分割、基础识别、合并整合、高层语义再识别、状态机生成等步骤，获得包含作业行为目的、作业顺序、作业操作物在内的任务行为知识。

进一步的，知识挖掘分析模块还包括一种结合运动轨迹特征与操作物语义的分层多权重运动分割识别方法，具体步骤如下：

SA、分层运动分割：

要理解和分析人类的运动行为，必须将演示数据进行细粒度分割，分解成有意义的子行为片段，同时剔除人类作业过程中的过渡动作和无意义动作。作为优选的方案，

第一层：根据根节点，即胯关节的运动速度状态，对运动序列进行第一层次的分割，分为原地作业，即stand＝1，包含原地静止和原地小范围内运动，其一段间隔内的平均运动速度约等于0；和室内移动，即stand＝0，其一段间隔内的平均运动速度远大于0；

第二层：依据末端执行器，即手掌与操作对象之间的接触关系，同时对左右手的演示数据进行第二层次分割，分为非空闲即接触物体inhand＝1，和空闲部分，即不接触物体inhand＝0；

第三层：根据末端执行器的运动方向，即运动位置和姿态变化趋势分别对左右手运动轨迹进行分割，具体步骤如下：

SA1、确定运动向量：

运动轨迹是由一组连续的离散坐标点组成的，t时刻的位姿

其中x_t,y_t,z_t分别表示室内直接坐标系下的x,y,z坐标，

分别表示末端执行器的俯仰角、侧倾角和偏转角。运动向量是指从上一帧的轨迹点指向当前帧的轨迹点的向量，反映了运动轨迹在各个时刻下的运动趋势。运动轨迹位置的变化可以用前后两帧的位置向量来表示

运动姿态角度的变化趋势可以用前后两帧的角度向量来表示

先选取前后间隔点，根据t时刻运动速度选取t时刻轨迹点p(t)前后两端相距k个采样时刻的点来估算轨迹的运动向量，设间隔k为与运动速度相关的函数，运动速度较快时轨迹变化快，取点间隔小，运动速度较慢时轨迹变化慢，取点间隔适当变大，表达式如下所示：

其中，T₁<T₂<T₃<T₄为间隔时间的取值范围，v_thr为判断阈值；

在确定选值区间后，p(t)和前后邻居点p(t-k)和p(t+k)所构成的曲线长度要在一定的范围内，要能反应原始轨迹的变化趋势，弧线的长度太大局部信息将被忽略掉，容易导致运动方向的估算错误。而弧线长度太小，则无法解决采样与噪声的问题,在两个不同的取值范围下时间间隔点的选取条件设置如下式所示：

I(t-k,t)-D(t-k,t)<ε₁

I(t,t+k)-D(t,t+k)<ε₁k∈[T₁,T₂]

τ₁<I(t-k,t+k)

I(t-k,t)-D(t-k,t)<ε₂；

I(t,t+k)-D(t,t+k)<ε₂k∈(T₃,T₄]

τ₂<I(t-k,t+k)

其中：

D(t-k,t)＝‖p(t)-p(t-k)‖；

D(t,t+k)＝‖p(t)-p(t+k)‖；

且ε₁、τ₁、ε₂、τ₂分别为长度阈值，

确定k值后，根据p(t)和前后邻居点p(t-k)和p(t+k)计算表示运动位置变化趋势位置向量

和表示运动姿态角度变化趋势的角度向量

SA2、量化运动变化：

通过向量夹角公式来量化运动方向的变化值：

SA3、判断分割点

所有轨迹点的位置运动和姿态运动方向都没有发生变化，

和

的值就恒为0。考虑到人的运动习惯，完成某个步骤时的路径大都是近似直线最短距离，因此我们通过设置运动方向的变化角度的阈值可以将不同的步骤分割出来，其中，位置运动方向的变化角度阈值为

姿态运动方向的变化角度阈值为

所以：当

时，设该时刻为分割点，设

SB、语义识别包括以下步骤：

SB1、对分割后的轨迹段进行基础动作识别，根据位置变化和姿态变化的轨迹特征将动作分段分为抬起、放下、移动、旋转、悬停五个基础动作，并对具有循环特征的运动片段进行链接组合，减少碎片化无意义分割；

SB2、在同一时段，根据SWRL家庭作业规则库，结合左右手的基础动作、操作物体的基本属性、身处场景属性对动作片段进一步识别，从而获取高层次抽象的作业语义的行为片段；

SC、形成任务状态转移图：

将经过步骤SB后获得的各个行为片段，定义为一个行为状态节点；每个行为状态节点包含该行为的动作语义特征、运动轨迹特征以及行为相关物体的属性信息；行为状态节点之间用有向箭头链接，表示行为转移的方向，根据多次演示中的出现的行为顺序来计算每个箭头的转移概率，最终获得包含作业顺序、作业条件、作业操作物属性的任务状态转移图。

采用本发明技术方案，本发明的有益效果为：

1.本发明提出的虚拟作业演示系统能够克服场景搭建繁琐、作业信息获取困难的问题，快速生成不同的作业演示场景，具有效率高、成本低等优点。

2.本发明提出的虚拟作业演示系统能够克服作业交互场景消息难的问题，通过人体关键节点运动捕捉与逆运动学解算的结合可以获得演示者全身运动信息；同时，可以利用虚拟场景的优势实时获取场景中作业相关的物体属性信息，从而可提供丰富、完善、精确的作业演示数据。

3.本发明提出的虚拟作业演示系统能够主动挖掘演示信息中的任务知识，能够对演示数据进行实时处理，通过运动分割、识别、链接获得任务行为状态机，为机器人行为规划提供指导，促进机器人任务知识库的构建和维护，提高机器人的适用性和灵活性。

附图说明

图1为本发明一种面向人与机器人技能传授的虚拟作业演示系统结构示意图；

图2为本发明厨房虚拟作业场景效果图；

图3为本发明结合运动特征与操作物语义的行为分层分割识别算法流程图。

具体实施方式

结合附图对本发明具体方案具体实施例作进一步的阐述。

随着社会老龄化和劳动力短缺问题日益严重，机器人不仅将在传统的工业领域承担更加重要的角色，还将逐步走进人类的日常生活，适应人类的生活环境，成为人类不可或缺的亲密朋友和帮手。不同于工业机器人，服务机器人大多工作在动态、非结构化环境中，繁琐的日常工作很难被程序严格规定，任务目标及指标更加多样、操作灵活性要求更高、任务过程更复杂多变。

关于日常工作，人类已经积累了大量的知识和经验，如果机器人可以利用人类行为演示信息，提取人类的运动特征以及自动挖掘任务知识，生成可供机器人使用的任务知识图谱，将极大地减少人为构建和维护知识库的难度，并进一步提高机器人的适用性和灵活性。

然而，获取人类的行为演示数据除了需要根据任务搭建不同的演示场景，不同的作业场景不光物体需求多样，为各个物体都添加标签的工作也复杂繁琐，极大的增加的工作量；同时，为了捕捉包含“人体运动信息”、“人-物-环境的三元交互信息”以及“周围场景动态信息”等完善、精确、多样的作业演示数据，需要装备全场景覆盖的感知系统，但实现全场景的感知覆盖，需求多种高精度传感器相互配合，如视觉识别系统和高精度光学动作捕捉系统等等，这些都会大大的增加演示系统的搭建难度和应用成本，使得无法普遍推广，限制机器人仿人行为学习技术的研究进步。此外，现有的作业演示系统，多关注于作业的运动信息，而忽视了行为、场景的语义信息，缺少语义提取和知识推理能力，难以对长时间序列的复杂作业演示进行行为知识提取，无法获得高层次的任务抽象知识。

为了解决上述缺陷，本发明提出了一种面向人与机器人技能传授的虚拟作业演示系统。该系统由虚拟场景建模、人体运动与场景信息捕捉、知识实时挖掘分析三部分组成。首先能够快速、高效的构建不同的作业场景；其次，通过人体关键关节运动捕捉与逆运动学解算的结合可以获得演示者全身运动信息；同时可以利用虚拟场景的优势实时获取场景中作业相关的物体属性信息；此外，能够对演示数据进行实时处理，通过运动分割、识别、链接获得任务行为状态机；最后输出应用于机器人作业的任务知识，促进机器人任务知识库的构建和维护，提高机器人的适用性和灵活性。

下面结合附图对本发明进行进一步说明：

如图1所示，一种面向人与机器人技能传授的虚拟作业演示系统，主要由虚拟场景建模、人体运动与场景信息捕捉、知识挖掘分析三个部分组成。

一、虚拟场景建模：

面向家庭服务机器人，基于Unity3D仿真平台，通过精确几何模型、内置物理引擎和人-物-环境三元交互动力学模型，构建包含客厅、卧室和厨房的虚拟家庭场景。家庭场景中的所有物品除了编号标签外，还包含体现质量、尺寸、位置的物理属性、基于家庭本体知识库获得的类别属性、以及物体的功能属性标签。共同形成了家庭物品的基础属性集Q

Q＝(n,P,C,F)；

其中，n表示物体的编号；P表示物理属性，P＝(m,s,l_o),m表示质量，s＝(len,wid,hei)表示几何特性，其中len表示长度、wid表示宽度、hei表示高度，l_o表示位置坐标l_o＝(x_o,y_o,z_o)，x_o,y_o,z_o分别是物体在室内直角坐标系中x轴、y轴和z轴目标，下标o表示物体；C表示根据家庭本体知识库获得的物体父级类别；F表示功能属性，表示物体的使用功能，添加功能属性对人类进行作业演示具有引导作用。

功能属性集由22中功能元素组成{Graspable、Releasable，Movable，Pourable,Pressable,Containable,Microwavable,Sitable,Washable,Fillable,Scrubbable,Openable,Rotatable,Closable,Eatable,Drinkable,Heatable,Supportable,Moppable,PourTo,Lying,Scrubbled},即{可抓住的可释放的，可移动的，可泼的，可压住的，可容纳的，可微波的，可坐的，可洗的，可填充的，可洗涤的，可打开的，可旋转的，可关的，可食用的，可饮用的，可加热的，可支持的，可触摸的，可躺着的，可擦洗的}。

其中，依据此方法搭建的厨房虚拟作业演示场景，如图2所示。

二、作业演示信息捕捉：

该部分的功能是实时同步获取人的作业演示动作和场景中交互物体的属性信息。

1)基于HTC VIVE pro虚拟现实系统，通过佩戴在演示人员胯关节、脚踝的位置追踪器以及虚拟现实操作手柄和头显捕捉演示人员头、双手、双脚、胯部六个关键节点的运动信息；

2)利用小波变换滤波算法剔除系统不稳定导致的位置漂移误差，从而精确获得精确的演示人员关键节点的三维位置l_b＝(x_b,y_b,z_b)、姿态

线速度

角速度

其中下标b表示人体，x_b,y_b,z_b分别是室内坐标系下的x,y,z轴坐标，

分别是x,y,z轴方向运动速度，

分别表示俯仰角、侧倾角和偏转角，

分别是俯仰角、侧倾角和偏转角的旋转角速度；

3)然后，利用逆运动学解算算法，还可进一步获得双手手臂肘关节、大腿膝关节的位姿信息；从而得到人体全身关键关节点运动信息M＝(M₁,M₂,…,M₁₀)，其中，M_i＝(l_{b_i},O_{b_i},v_{b_i},ω_{b_i}),M_i表示第i个关键关键点的运动信息，全身共10个关键关节；

4)利用虚拟环境中的碰撞检测，获取各个时刻双手操作的物体编号Q＝(n_r,n_l,n_h),其中n_l表示左手接触物体编号，n_r表示右手接触物体编号，n_h表示通过工具间接接触的物体编号，当无物体接触时参数置零；

5)最后，将每时刻的人体运动信息与检测到的交互的物体编号相关联，可以同步获得包含运动数据和场景物体数据的演示数据集D＝{(M₁,Q₁),(M₂,Q₂),…,(M_t,Q_t)},t表示运动时刻。

三、任务知识挖掘分析：

结合演示数据中的运动轨迹特征与场景物体语义属性，设计一种结合运动轨迹特征与交互物品语义的分层多权重运动分割识别方法。如图3所示，对演示数据进行动作分割、基础识别、合并整合、高层语义再识别、状态机生成等步骤，获得包含作业行为目的、作业顺序、作业操作物在内的任务行为知识。具体可以分布运动分割、语义识别、任务状态机生成三个部分。

1)分层运动分割：

第一层：根据根节点(即胯关节)的运动状态，对运动序列进行第一层次的分割，分为原地作业(包含原地静止和原地小范围内运动stand＝1)和室内移动(stand＝0)两种类阶段；

第二层：以末端执行器(手掌)与操作对象之间的接触关系，同时对左右手的演示数据进行第二层次分割，分为非空闲(接触物体inhand＝1)和空闲部分(不接触物体inhand＝0)

第三层：根据末端执行器的运动方向，即运动位置和姿态变化趋势分别对左右手运动轨迹进行分割，具体步骤如下：

a)确定运动向量：

根据末端执行器的运动方向，即运动位置和姿态变化趋势对运动轨迹进行分割。运动轨迹是由一组连续的离散坐标点组成的，t时刻的位姿

其中x_t,y_t,z_t分别表示室内直接坐标系下的x,y,z坐标，

分别表示末端执行器的俯仰角、侧倾角和偏转角。运动向量是指从上一帧的轨迹点指向当前帧的轨迹点的向量，反映了运动轨迹在各个时刻下的运动趋势。运动轨迹位置的变化可以用前后两帧的位置向量来表示

运动姿态角度的变化趋势可以用前后两帧的角度向量来表示

由于运动轨迹的采样速度影响了轨迹离散点的空间密度，连续的两个轨迹点的移动向量的方向也会受到影响。轨迹的采样密度变大时，轨迹点间的移动向量的角度变化将容易受到噪声影响，采样密度变小时，移动向量的角度变化无法体现真实的运动趋势。我们根据t时刻运动速度选取t时刻轨迹点前后两端相距k(v_t)的点来估算轨迹的运动向量。根据t时刻运动速度选取t时刻轨迹点p(t)前后两端相距k的点来估算轨迹的运动向量，取点间隔k为与运动速度相关的函数，运动速度较快时轨迹变化快，取点间隔小，运动速度较慢时轨迹变化慢，取点间隔适当变大，表达式如下所示。

其中，T₁<T₂<T₃<T₄为间隔时间的取值范围，v_thr为判断阈值，在应用中可以根据具体演示任务进行参数调整。

此外，p(t)和前后邻居点p(t-k)和p(t+k)所构成的曲线长度要在一定的范围内，要能反应原始轨迹的变化趋势，弧线的长度太大局部信息将被忽略掉，容易导致运动方向的估算错误。而弧线长度太小，则无法解决采样与噪声的问题。因此，在确定选值区间后，根据p(t)和前后邻居点p(t-k)和p(t+k)所构成的曲线长度来确定间隔时间大小，在两个不同的取值范围下时间间隔点的选取条件设置如下式所示：

I(t-k,t)-D(t-k,t)<ε₁

I(t,t+k)-D(t,t+k)<ε₁k∈[T₁,T₂]

τ₁<I(t-k,t+k)

I(t-k,t)-D(t-k,t)<ε₂

I(t,t+k)-D(t,t+k)<ε₂k∈(T₃,T₄]

τ₂<I(t-k,t+k)

其中：ε₁、τ₁、ε₂、τ₂分别为长度阈值，在应用中可以根据具体演示任务进行参数调整。

D(t-k,t)＝‖p(t)-p(t-k)‖

D(t,t+k)＝‖p(t)-p(t+k)‖

然后，根据p(t)和前后邻居点p(t-k)和p(t+k)计算表示运动轨迹位置的变化趋势位置向量

和表示运动姿态角度的变化趋势的角度向量

b)量化运动变化：

运动方向的变化值可以通过向量夹角公式来量化

c)判断分割点

设置运位置运动方向的变化角度阈值为

姿态运动方向的变化角度阈值为

当

时，设该时刻为分割点，应用中

2)语义识别：

首先，对分割后的轨迹段进行基础动作识别，根据位置变化和姿态变化的轨迹特征将动作分段分为抬起、放下、移动、旋转、悬停五个基础动作，并对具有循环特征的运动片段进行链接组合，减少碎片化无意义分割；然后，在同一时段，根据专家设计的SWRL家庭作业规则库，结合左右手的基础动作、操作物体的基本属性对动作片段进一步识别，从而获取高层次抽象的作业语义的行为片段；

3)形成任务状态转移图：

将经过“分割-识别-重整合”后获得的各个行为片段，定义为一个行为状态节点；每个行为状态节点包含该行为的1.动作语义特征、2.运动轨迹特征、3.行为相关物体的属性信息；行为状态节点之间用又向箭头链接，表示行为转移的方向，根据多次演示中的出现的行为顺序来计算每个箭头的转移概率，最终获得包含作业顺序、作业条件、作业操作物属性的任务状态转移图。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (3)

1.一种面向人与机器人技能传授的虚拟作业演示系统，其特征在于：包括虚拟场景建模模块、作业信息捕捉模块及知识挖掘分析模块，所述虚拟场景建模模块用于搭建不同作业场景，作业信息捕捉模块用于作业数据捕捉、动作分割识别，所述知识挖掘分析模块用于任务行为状态机生成功能；

知识挖掘分析模块具体包括：结合演示数据中的运动轨迹特征与操作物语义属性，对演示数据进行动作分割、基础识别、合并整合、高层语义再识别、状态机生成，获得包含作业行为目的、作业顺序、作业操作物在内的任务行为知识；

知识挖掘分析模块还包括一种结合运动轨迹特征与操作物语义的分层多权重运动分割识别方法，具体步骤如下：

SA、分层运动分割：

第一层：根据根节点，即胯关节的运动状态，对运动序列进行第一层次的分割，分为原地作业，即stand＝1，包含原地静止和原地小范围内运动，和室内移动，即stand＝0，两种状态；

第二层：依据末端执行器，即手掌与操作对象之间的接触关系，同时对左右手的演示数据进行第二层次分割，分为非空闲即接触物体inhand＝1，和空闲部分，即不接触物体inhand＝0；

第三层：根据末端执行器的运动方向，即运动位置和姿态变化趋势分别对左右手运动轨迹进行分割，具体步骤如下：

SA1、确定运动向量：

先选取前后间隔点，根据t时刻运动速度选取t时刻轨迹点p(t)前后两端相距k个采样时刻的点来估算轨迹的运动向量，设间隔k为与运动速度相关的函数，运动速度较快时轨迹变化快，取点间隔小，运动速度较慢时轨迹变化慢，取点间隔适当变大，表达式如下所示：

其中，T₁＜T₂＜T₃＜T₄为间隔时间的取值范围，v_thr为判断阈值，v_t为线速度、ω_t为角速度；

在确定选值区间后，根据p(t)和前后间隔点p(t-k)和p(t+k)所构成的曲线长度来确定具体间隔大小，在两个不同的取值范围下时间间隔点的选取条件设置如下式所示：

其中：

D(t-k，t)＝||p(t)-p(t-k)||；

D(t，t+k)＝||p(t)-p(t+k)||；

且ε₁、τ₁、ε₂、τ₂分别为长度阈值，

然后，根据p(t)和前后邻居点p(t-k)和p(t+k)计算表示运动位置变化趋势位置向量

和表示运动姿态角度变化趋势的角度向量

其中，θ，

，γ分别表示俯仰角、侧倾角和偏转角；

SA2、量化运动变化：

通过向量夹角公式来量化运动方向的变化值：

SA3、判断分割点

设置位置运动方向的变化角度阈值为

姿态运动方向的变化角度阈值为

当

或

时，设该时刻为分割点；

SB、语义识别包括以下步骤：

SB1、对分割后的轨迹段进行基础动作识别，根据位置变化和姿态变化的轨迹特征将动作分段分为抬起、放下、移动、旋转、悬停五个基础动作，并对具有循环特征的运动片段进行链接组合，减少碎片化无意义分割；

SB2、在同一时段，根据SWRL家庭作业规则库，结合左右手的基础动作、操作物体的基本属性、身处场景属性对动作片段进一步识别，从而获取高层次抽象的作业语义的行为片段；

SC、形成任务状态转移图：

将经过步骤SB后获得的各个行为片段，定义为一个行为状态节点；每个行为状态节点包含该行为的动作语义特征、运动轨迹特征以及行为相关物体的属性信息；行为状态节点之间用有向箭头链接，表示行为转移的方向，根据多次演示中的出现的行为顺序来计算每个箭头的转移概率，最终获得包含作业顺序、作业条件、作业操作物属性的任务状态转移图。

2.根据权利要求1所述的一种面向人与机器人技能传授的虚拟作业演示系统，其特征在于，虚拟场景建模模块具体包括：基于虚拟现实技术，通过几何模型、内置物理引擎和人-物-环境三元交互动力学模型，构建多种虚拟家庭场景，家庭场景中的所有物品在构造时以编号标签为索引，添加包含体现质量、尺寸、位置的物理属性、类别属性、以及物体功能属性标签，共同形成了场景物体的基础属性集Q：

Q＝(n，P，C，F)；

其中，n表示物体的编号；P表示物理属性，P＝(m，s，l_o)，m表示质量，s＝(len，wid，hei)表示几何特性，其中len表示长度、wid表示宽度、hei表示高度，l_o表示位置坐标l_o＝(x_o，y_o，z_o)，x_o，y_o，z_o分别是物体在室内直角坐标系中x轴、y轴和z轴目标，下标o表示物体；C表示根据家庭本体知识库获得的物体父级类别；F表示功能属性，表示物体的使用功能。

3.根据权利要求1所述的一种面向人与机器人技能传授的虚拟作业演示系统，其特征在于，作业数据捕捉模块具体包括以下操作：

S1、通过虚拟现实操作手柄、头显以及佩戴在演示人员胯关节、脚踝的位置追踪器来捕捉演示人员头、双手、双脚、胯部六个关键节点的运动信息；

S2、利用小波变换滤波算法剔除系统不稳定导致的位置漂移误差，从而精确获得精确的演示人员的关键节点的三维位置l_b＝(x_b，y_b，z_b)、姿态

线速度

角速度

其中下标b表示人体，x_b，y_b，z_b分别是室内坐标系下的x，y，z轴坐标，

分别是x，y，z轴方向运动速度，θ_b，

γ_b分别表示俯仰角、侧倾角和偏转角，

分别是俯仰角、侧倾角和偏转角的旋转角速度；

S3、然后，利用逆运动学解算算法，进一步获得双手手臂肘关节、大腿膝关节的位姿信息；从而得到人体全身关键关节点运动信息M＝(M₁，M₂，...，M₁₀)，其中，M_i＝(l_{b_i}，o_{b_i}，v_{b_i}，ω_{b_i})，Mi表示第i个关键关节点的运动信息，全身共10个关键关节；

S4、利用虚拟环境中的碰撞检测，获取每个采样时刻双手所操作物体的编号Q＝(n_r，n_l，n_h)，其中n_l表示左手接触物体编号，n_r表示右手接触物体编号，n_h表示通过工具间接接触的物体编号，当无物体接触时参数置零；

S5、最后，将每时刻的人体运动信息与检测到的交互的物体编号相关联，可以同步获得包含运动数据和场景物体数据的演示数据集Data＝{(M₁，Q₁)，(M₂，Q₂)，...，(M_t，Q_t)}，t表示运动时刻。

Images