CN114248266B - 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备 - Google Patents

双臂机器人的拟人化动作轨迹生成方法及装置、电子设备 Download PDF

Info

Publication number
CN114248266B
CN114248266B CN202111092387.4A CN202111092387A CN114248266B CN 114248266 B CN114248266 B CN 114248266B CN 202111092387 A CN202111092387 A CN 202111092387A CN 114248266 B CN114248266 B CN 114248266B
Authority
CN
China
Prior art keywords
frame
motion
action
robot
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111092387.4A
Other languages
English (en)
Other versions
CN114248266A (zh
Inventor
蒋远东
黄秋兰
张博闻
黄志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111092387.4A priority Critical patent/CN114248266B/zh
Publication of CN114248266A publication Critical patent/CN114248266A/zh
Application granted granted Critical
Publication of CN114248266B publication Critical patent/CN114248266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种双臂机器人的拟人化动作轨迹生成方法及装置、电子设备，该方法包括：获取由VR设备采集的人体动作惯导数据；按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。

Description

双臂机器人的拟人化动作轨迹生成方法及装置、电子设备
技术领域
本申请涉及机器人技术领域，尤其涉及一种双臂机器人的拟人化动作轨迹生成方法及装置、电子设备。
背景技术
目前为了使机器人完成一些肢体动作，事先需要编写程序设定轨迹点，或者采用相机捕捉人体动作，控制机器人跟随完成相似的动作。但是采用现有技术，机器人在执行肢体动作时，不够拟人化，动作比较呆板，另外由于设备的精度及灵敏度的影响，采集到动作数据存在一些误差，导致机器人的动作的相似性比较差、动作不连续、存在较多的冲击，而且采集到的动作数据是固定的，无法根据实际需要调整执行时间，每生成一套期望的拟人化动作轨迹需要采集多次人体动作数据，比较繁琐。
发明内容
本申请实施例的目的是提供一种双臂机器人的拟人化动作轨迹生成方法及装置、电子设备，以解决相关技术中采集动作数据要求精度高、动作不平滑、动作无法实时调整的问题。
根据本申请实施例的第一方面，提供一种双臂机器人的拟人化动作轨迹生成方法，包括：
获取由VR设备采集的人体动作惯导数据；
按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。
进一步地，获取由VR设备采集的人体动作惯导数据后，还包括：
对所述人体动作惯导数据通过滤波算法进行处理。
进一步地，所述滤波算法包括：中值平均滤波算法、卡尔曼滤波算法、或高阶滤波算法。
进一步地，对所述人体动作数据采用中值平均滤波算法进行处理，具体包括：
获取所述人体动作数据第i帧动作的前m及后m帧的骨骼点位置，去掉其中的最大值和最小值，取剩下的数据的平均值作为i帧动作的骨骼点位置；
当i-m小于0时，仅获取从起始帧到i+m帧的位置，当i+m大于动作数据的总帧数时，仅获取从i-m帧到最后一帧的位置，其它情况下，获取前i-m及后 i+m帧的位置。
进一步地，分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧，包括：
根据所述骨骼点位置，计算每帧动作的运动速度及加速度；
判断每帧动作的速度方向相对于上一帧是否变化，如果发生改变，将其作为关键帧；
设定加速度阈值x，判断每帧动作的加速度是否大于x，如果满足，将其作为关键帧。
进一步地，将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度，包括：
根据所述关键帧的人体骨骼点位置，计算大臂和小臂之间的夹角、以及对应与世界坐标系X，Y，Z轴间的夹角；
根据机器人的自由度及分配方式，将上述夹角一一映射到机器人空间，确定关键帧对应的机器人的关节角度。
进一步地，采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹，包括：
在动作执行前，根据人体动作采样周期及起始帧到各关键帧的帧数，确定相邻关键帧的时间间隔和拟人化化动作轨迹的执行时间；
根据关键帧对应的机器人各关节的角度、间隔时间以及动作执行总时间，计算各关节的速度及加速度；
采用高阶轨迹规划方法，确定相邻关键帧之间的每个轨迹点的期望角度、速度及加速度，生成机器人的拟人化动作轨迹；
在动作执行过程中，如果上层对执行时间没有要求，则机器人按照所规划的轨迹运动，如果有要求，首先确定动作执行的下一关键帧，将其作为起始帧，按要求调整剩余动作的执行总时间及相邻关键帧的间隔时间；然后计算剩余关键帧对应的关节速度及加速度；最后采用高阶轨迹规划方法进行重规划。
根据本申请实施例的第二方面，提供一种双臂机器人的拟人化动作轨迹生成装置，包括：
获取模块，用于获取由VR设备采集的人体动作惯导数据；
计算模块，用于按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
提取模块，用于分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
求解模块，用于将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
生成模块，用于采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采用VR设备采集惯导数据，计算得到动作采样每一帧的骨骼点位置并优化，提高了拟人化动作的相似度；分析所述骨骼点位置的运动趋势，提取动作的关键帧，解决采集人体动作数据的精度及灵敏度要求高的问题，采用高阶规划方法，根据关键帧的数据生成拟人化动作轨迹，使得机器人的运动轨迹平滑，动作连续。而且采用该方式可以根据上层的动作执行要求对机器人的动作轨迹进行重规划，解决重复采集动作数据的问题。
所以与现有的方法相比，本方法不仅降低人体动作采集的精度要求同时保证了动作的相似度，而且使得机器人执行动作更加平滑，冲击小。
另外在执行过程中可以根据上层要求调整动作的执行时间，避免每次更改动作轨迹，就需要采集人体动作，降低人体动作采集的繁琐度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种双臂机器人的拟人化动作轨迹生成方法的流程图；
图2是根据一示例性实施例示出的所采用的标准人体骨骼的模型图；
图3是根据一示例性实施例示出的提取人体动作关键帧的流程图；
图4是根据一示例性实施例示出的将关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度的示意图；
图5是根据一示例性实施例示出的一种双臂机器人的拟人化动作轨迹生成方法装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种双臂机器人的拟人化动作轨迹生成方法的流程图，如图1所示，可以包括以下步骤：
步骤S11，获取由VR设备采集的人体动作惯导数据；
步骤S12，按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
步骤S13，分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
步骤S14，将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
步骤S15，采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。
由上述实施例可知，本申请采用VR设备采集惯导数据，计算得到动作采样每一帧的骨骼点位置并优化，提高了拟人化动作的相似度；分析所述骨骼点位置的运动趋势，提取动作的关键帧，解决采集人体动作数据的精度及灵敏度要求高的问题，采用高阶规划方法，根据关键帧的数据生成拟人化动作轨迹，使得机器人的运动轨迹平滑，动作连续。而且采用该方式可以根据上层的动作执行要求对机器人的动作轨迹进行重规划，解决重复采集动作数据的问题。
所以与现有的方法相比，本方法不仅降低人体动作采集的精度要求同时保证了动作的相似度，而且使得机器人执行动作更加平滑，冲击小。
另外在执行过程中可以根据上层要求调整动作的执行时间，避免每次更改动作轨迹，就需要采集人体动作，降低人体动作采集的繁琐度。
在步骤S11的具体实施中，获取由VR设备采集的人体动作惯导数据；
具体地，在动作采样开始时，将腰部中心作为原点，将人体双臂水平伸展、掌心朝下的位姿作为初始姿态；将VR跟踪设备穿戴布置在腰部、腕部、肘部；设定采样周期；记录每一帧人体动作的VR设备的惯导数据。
在步骤S11获取由VR设备采集的人体动作惯导数据后，还包括：
对所述人体动作惯导数据通过滤波算法进行处理。
进一步地，所述滤波算法包括：中值平均滤波算法、卡尔曼滤波算法、或高阶滤波算法。
本实施例中，对所述人体动作数据采用中值平均滤波算法进行处理，具体包括：
获取所述人体动作数据第i帧动作的前m及后m帧的骨骼点位置，去掉其中的最大值和最小值，取剩下的数据的平均值作为i帧动作的骨骼点位置；
当i-m小于0时，仅获取从起始帧到i+m帧的位置，当i+m大于动作数据的总帧数时，仅获取从i-m帧到最后一帧的位置，其它情况下，获取前i-m及后 i+m帧的位置。
在步骤S12的具体实施中，按照如图2所示的人体骨骼模型，根据所述VR 设备的惯导数据，计算得到动作采样每一帧的骨骼点位置；
具体地，获取所采样人体的臂展、身高、大小臂长度等数据搭建人体骨骼模型；按照设定的采样周期，记录设备的惯导数据，得到每一帧动作肘部、腕部的偏转角度；根据人体模型及偏转角度计算每一帧的骨骼点位置。
在步骤S13的具体实施中，分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；如图3所示，该步骤可包括以下子步骤：
步骤S131，计算每帧动作的运动速度及加速度；
步骤S132，根据速度变化，提取人体动作的关键帧；
步骤S133，根据加速度变化，提取人体动作的关键帧。
具体地，根据采样周期及各骨骼点的位置，计算每帧动作的运动速度及加速度；判断每帧动作的速度方向相对于上一帧是否变化，如果发生改变，将其作为关键帧；设定加速度阈值x，判断每帧动作的加速度是否大于x，如果满足，将其作为关键帧。通过分析动作的运动趋势，提取关键帧的方式记录人体动作，不需要每一帧采样数据准确，降低动作采样的精度及灵敏度要求，同时也保证了动作的相似度；在生成拟人化动作轨迹前，通过关键帧可以按照上层要求调整动作的执行时间，在执行过程中，方便监测当前动作的执行进度，进而为实现动作的重规划奠定基础。
在步骤S14的具体实施中，将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度。
具体地，根据所述关键帧的人体骨骼点位置，计算大臂和小臂之间的夹角、以及对应与世界坐标系X，Y，Z轴间的夹角；根据机器人的自由度及分配方式，将上述夹角一一映射到机器人空间，确定关键帧对应的机器人的关节角度。
在一个示例性实施例中，如图4所示，用人体骨骼中的肩部、肘部、腕部三点的位置，求得大臂向量记作向量1，用矩阵 [xelbow-xshoulder yelbow-yshoulder zelbow-zshoulder]来表示；小臂向量记作向量2，用矩阵 [xwrist-xelbow ywrist-yelbow zwrist-zelbow]；在世界坐标系下，向量1在向X-Z平面的投影记作向量3，用矩阵[xwrist-xelbow 0 zwrist-zelbow]表示。通过分析机器人的自由度及分配方式，向量1与向量3的夹角映射到机器人空间，即为手臂第一个关节的角度，向量3与X轴之间的角度即为机器人手臂第二个关节的角度，向量1 自身所在坐标系自转的角度即为机器人手臂第三个关节的角度，向量1与向量2 之间的角度即为机器人第四个关节的角度，向量2自身所在坐标系自转的角度即为机器人手臂的第五个关节的角度。左右手类似。
在步骤S15的具体实施中，采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。
具体地，在动作执行前，根据人体动作采样周期及起始帧到各关键帧的帧数，确定相邻关键帧的时间间隔和拟人化化动作轨迹的执行时间；根据关键帧对应的机器人各关节的角度、间隔时间以及动作执行时间，计算各关节的速度及加速度；采用高阶轨迹规划方法，确定相邻关键帧之间的每个轨迹点的期望位置、速度及加速度，生成机器人的拟人化动作轨迹；在动作执行过程中，如果上层对执行时间没有要求，则机器人按照所规划的轨迹运动，如果有要求，首先确定动作执行的下一关键帧，将其作为起始帧，按要求调整剩余动作的执行总时间及相邻关键帧的间隔时间；然后计算剩余关键帧对应的关节速度及加速度；最后采用上述的规划方法进行重规划。
进一步地，所述高阶轨迹规划方法包括：五次多项式、双S梯形方法、15 段S型方法等。本实施例中，采用五次多项式的方法规划机器人的动作轨迹。
所述的五次多项式表示为：
s(t)＝c0+c1t+c2t2+c3t3+c4t4+c5t5
v(t)＝c1t+2c2t+3c3t2+4c4t3+5c5t4
a(t)＝2c2+6c3t+12c4t2+20c5t3
t＝(ti+1-ti)/n
其中s(t)为相邻关键帧的起止的位移方程；v(t)为相邻关键帧的起止的速度方程；a(t)为相邻关键帧的起止的加速度方程；t为相邻关键帧之间n个轨迹点的间隔时间，总时间ti+1-ti默认为采集人体动作时相邻关节帧的时间差，也可根据上层设定的执行速度或者时间进行重规划。这样将相邻关键帧的初始条件代入得：
si＝ci
si+1＝ci+c1tf+c2tf 2+c3tf 3+c4tf 4+c5tf 5
vi＝c1
vi+1＝c1+2c2tf+3c3tf 2+4c4tf 3+5c5tf 4
ai＝2c2
ai+1＝2c2+6c3tf+12c4tf 2+20c5tf 3
这样利用这6个方程，可以解出c1、c2、c3、c4、c5，进而求出相邻关键帧之间每个轨迹点的期望位置、速度及加速度。通过该方法使得机器人模仿人体动作时，保证加速度连续，动作轨迹平滑，冲击小。
与前述的机器人拟人化动作生成方法的实施例相对应，本申请还提供了机器人拟人化动作生成装置的实施例。
图5是根据一示例性实施例示出的一种双臂机器人的拟人化动作生成的装置框图；参照图5，该装置包括：
获取模块21，用于获取由VR设备采集的人体动作惯导数据；
计算模块22，用于按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
提取模块23，用于分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
求解模块24，用于将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
生成模块25，用于采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，根据本申请实施例还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种双臂机器人的拟人化动作轨迹生成方法，其特征在于，包括：
获取由VR设备采集的人体动作惯导数据；
按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹；包括：
在动作执行前，根据人体动作采样周期及起始帧到各关键帧的帧数，确定相邻关键帧的时间间隔和拟人化化动作轨迹的执行时间；
根据关键帧对应的机器人各关节的角度、间隔时间以及动作执行总时间，计算各关节的速度及加速度；
采用高阶轨迹规划方法，确定相邻关键帧之间的每个轨迹点的期望角度、速度及加速度，生成机器人的拟人化动作轨迹；
在动作执行过程中，如果上层对执行时间没有要求，则机器人按照所规划的轨迹运动，如果有要求，首先确定动作执行的下一关键帧，将其作为起始帧，按要求调整剩余动作的执行总时间及相邻关键帧的间隔时间；然后计算剩余关键帧对应的关节速度及加速度；最后采用高阶轨迹规划方法进行重规划。
2.根据权利要求1所述的方法，其特征在于，获取由VR设备采集的人体动作惯导数据后，还包括：
对所述人体动作惯导数据通过滤波算法进行处理。
3.根据权利要求2所述的方法，其特征在于，所述滤波算法包括：中值平均滤波算法、卡尔曼滤波算法、或高阶滤波算法。
4.根据权利要求1所述的方法，其特征在于，对所述人体动作数据采用中值平均滤波算法进行处理，具体包括：
获取所述人体动作数据第i帧动作的前m及后m帧的骨骼点位置，去掉其中的最大值和最小值，取剩下的数据的平均值作为i帧动作的骨骼点位置；
当i-m小于0时，仅获取从起始帧到i+m帧的位置，当i+m大于动作数据的总帧数时，仅获取从i-m帧到最后一帧的位置，其它情况下，获取前i-m及后i+m帧的位置。
5.根据权利要求1所述的方法，其特征在于，分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧，包括：
根据所述骨骼点位置，计算每帧动作的运动速度及加速度；
判断每帧动作的速度方向相对于上一帧是否变化，如果发生改变，将其作为关键帧；
设定加速度阈值x，判断每帧动作的加速度是否大于x，如果满足，将其作为关键帧。
6.根据权利要求1所述的方法，其特征在于，将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度，包括：
根据所述关键帧的人体骨骼点位置，计算大臂和小臂之间的夹角、以及对应与世界坐标系X，Y，Z轴间的夹角；
根据机器人的自由度及分配方式，将上述夹角一一映射到机器人空间，确定关键帧对应的机器人的关节角度。
7.一种双臂机器人的拟人化动作轨迹生成装置，其特征在于，包括：
获取模块，用于获取由VR设备采集的人体动作惯导数据；
计算模块，用于按照人体骨骼模型，根据所述人体动作惯导数据，计算得到动作采样每一帧的骨骼点位置；
提取模块，用于分析所述骨骼点位置的运动趋势，将发生突变的帧提取作为动作的关键帧；
求解模块，用于将每一所述关键帧的人体骨骼点的位置映射到机器人空间，逆向求解各关节的角度；
生成模块，用于采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹；采用高阶轨迹规划方法，将所述各关节的角度按照人体动作的执行时间生成机器人的拟人化动作轨迹，包括：
在动作执行前，根据人体动作采样周期及起始帧到各关键帧的帧数，确定相邻关键帧的时间间隔和拟人化化动作轨迹的执行时间；
根据关键帧对应的机器人各关节的角度、间隔时间以及动作执行总时间，计算各关节的速度及加速度；
采用高阶轨迹规划方法，确定相邻关键帧之间的每个轨迹点的期望角度、速度及加速度，生成机器人的拟人化动作轨迹；
在动作执行过程中，如果上层对执行时间没有要求，则机器人按照所规划的轨迹运动，如果有要求，首先确定动作执行的下一关键帧，将其作为起始帧，按要求调整剩余动作的执行总时间及相邻关键帧的间隔时间；然后计算剩余关键帧对应的关节速度及加速度；最后采用高阶轨迹规划方法进行重规划。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN202111092387.4A 2021-09-17 2021-09-17 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备 Active CN114248266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092387.4A CN114248266B (zh) 2021-09-17 2021-09-17 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092387.4A CN114248266B (zh) 2021-09-17 2021-09-17 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN114248266A CN114248266A (zh) 2022-03-29
CN114248266B true CN114248266B (zh) 2024-03-26

Family

ID=80791532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092387.4A Active CN114248266B (zh) 2021-09-17 2021-09-17 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN114248266B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510446A2 (en) * 2003-08-25 2005-03-02 Sony Corporation Robot and attitude control method of robot
CN104623910A (zh) * 2015-01-15 2015-05-20 西安电子科技大学 舞蹈辅助特效伴侣系统及实现方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
WO2016021340A1 (ja) * 2014-08-07 2016-02-11 日立オートモティブシステムズ株式会社 車両制御システム、およびこれを備えた行動計画システム
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
WO2019152566A1 (en) * 2018-01-30 2019-08-08 The Regents Of The University Of California Systems and methods for subject specific kinematic mapping
CN209821787U (zh) * 2019-05-17 2019-12-20 郑州迪飞机电设备有限公司 一种手臂运动捕捉装置
CN111898551A (zh) * 2020-07-31 2020-11-06 北京融链科技有限公司 加氢视频中的动作分析方法及装置、电子设备
CN112288838A (zh) * 2020-10-27 2021-01-29 北京爱奇艺科技有限公司 一种数据处理方法及装置
CN112581572A (zh) * 2020-12-10 2021-03-30 深圳市大富网络技术有限公司 一种动作采集方法、系统、装置及计算机存储介质
CN112692826A (zh) * 2020-12-08 2021-04-23 佛山科学技术学院 一种基于改进遗传算法的工业机器人轨迹优化方法
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9162720B2 (en) * 2010-12-03 2015-10-20 Disney Enterprises, Inc. Robot action based on human demonstration

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510446A2 (en) * 2003-08-25 2005-03-02 Sony Corporation Robot and attitude control method of robot
WO2016021340A1 (ja) * 2014-08-07 2016-02-11 日立オートモティブシステムズ株式会社 車両制御システム、およびこれを備えた行動計画システム
CN104623910A (zh) * 2015-01-15 2015-05-20 西安电子科技大学 舞蹈辅助特效伴侣系统及实现方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
WO2019152566A1 (en) * 2018-01-30 2019-08-08 The Regents Of The University Of California Systems and methods for subject specific kinematic mapping
CN209821787U (zh) * 2019-05-17 2019-12-20 郑州迪飞机电设备有限公司 一种手臂运动捕捉装置
CN111898551A (zh) * 2020-07-31 2020-11-06 北京融链科技有限公司 加氢视频中的动作分析方法及装置、电子设备
CN112288838A (zh) * 2020-10-27 2021-01-29 北京爱奇艺科技有限公司 一种数据处理方法及装置
CN112692826A (zh) * 2020-12-08 2021-04-23 佛山科学技术学院 一种基于改进遗传算法的工业机器人轨迹优化方法
CN112581572A (zh) * 2020-12-10 2021-03-30 深圳市大富网络技术有限公司 一种动作采集方法、系统、装置及计算机存储介质
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect的双臂机器人动作模拟与轨迹规划;周彤彤等;;科学技术与工程(07);全文 *

Also Published As

Publication number Publication date
CN114248266A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
Du et al. Markerless human–manipulator interface using leap motion with interval Kalman filter and improved particle filter
Wilson et al. Formulation of a new gradient descent MARG orientation algorithm: Case study on robot teleoperation
CN110986939B (zh) 一种基于imu预积分的视觉惯性里程计方法
Yun et al. Design, implementation, and experimental results of a quaternion-based Kalman filter for human body motion tracking
Tao et al. A novel sensing and data fusion system for 3-D arm motion tracking in telerehabilitation
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
CN105929958B (zh) 一种手势识别方法，装置和头戴式可视设备
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
CN106896796A (zh) 基于数据手套的工业机器人主从式示教编程方法
JP2022529088A (ja) スパースｒｇｂ－ｄ ｓｌａｍおよびインタラクティブパーセプションによる対象の検出、トラッキングおよび３ｄモデリング
CN113350771B (zh) 一种运动员动态姿态识别方法、装置、系统及存储介质
US11763464B2 (en) Estimation apparatus, learning apparatus, estimation method, learning method, and program
CN114248266B (zh) 双臂机器人的拟人化动作轨迹生成方法及装置、电子设备
CN112276950B (zh) 抗扰动模型训练、控制方法、装置、设备、机器人及介质
Ikeuchi et al. Applying learning-from-observation to household service robots: three common-sense formulation
CN115919250A (zh) 一种人体动态关节角测量系统
CN108051001A (zh) 一种机器人移动控制方法、系统及惯性传感控制装置
CN113592898A (zh) 一种动作捕捉中缺失标记重建方法
Ángel-López et al. Kinematic hand analysis using motion capture technology
CN115018962A (zh) 一种基于虚拟人物模型的人体运动姿态数据集生成方法
CN203630717U (zh) 基于轻型惯导传感输入设备的交互系统
CN114417738B (zh) 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
De Magistris et al. Experimental force-torque dataset for robot learning of multi-shape insertion
CN113450903B (zh) 一种人体动作映射方法、装置、计算机设备和存储介质
CN114271814A (zh) 一种基于Kinect的卒中风患者康复训练与评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant