CN112847336B - 动作学习方法、装置、存储介质及电子设备 - Google Patents

动作学习方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112847336B
CN112847336B CN202011552528.1A CN202011552528A CN112847336B CN 112847336 B CN112847336 B CN 112847336B CN 202011552528 A CN202011552528 A CN 202011552528A CN 112847336 B CN112847336 B CN 112847336B
Authority
CN
China
Prior art keywords
data
motion
robot
joint
articulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011552528.1A
Other languages
English (en)
Other versions
CN112847336A (zh
Inventor
张站朝
黄晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202011552528.1A priority Critical patent/CN112847336B/zh
Publication of CN112847336A publication Critical patent/CN112847336A/zh
Priority to PCT/CN2021/120457 priority patent/WO2022134702A1/zh
Application granted granted Critical
Publication of CN112847336B publication Critical patent/CN112847336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及一种动作学习方法、装置、存储介质及电子设备，包括：获取目标对象的人体动作图像数据；确定与人体动作图像数据对应的机器人的关节运动数据；通过机器人的数字孪生模型的仿真数据判断关节运动数据是否符合与机器人对应的原子动作约束条件；在判定关节运动数据符合与机器人对应的原子动作约束条件的情况下，将关节运动数据确定为机器人的原子动作。通过上述技术方案，能够将一组人体动作转换为多个不同机器人的原子动作，并且对人体动作的学习均基于数字化的、虚拟的机器人数字孪生模型完成，不需要实体机器人，可大幅降低生成机器人动作的成本。

Description

动作学习方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人领域，具体地，涉及一种动作学习方法、装置、存储介质及电子设备。
背景技术
机器人每个动作都是的多个关节组合运动的过程。机器人学习人类动作的方法通常都是先通过人体可穿戴设备来先捕捉人体运动姿态。然后根据人体运动姿态控制实体机器人进行动作的学习。实体机器人动作学习的成本较高，并且相同动作在不同机器人身上需要反复学习。并且动作捕捉常见的方式是在运动物体的关键部位设置跟踪器，例如惯性测量单元(IMU)。惯性动捕各个传感器处的三维位置和方向信息可实时地记录并显示(存在少许延迟)，小范围使用费用相对合理。但缺陷也是很明显的，其每次使用需要消磁，且其往往受限于磁场的范围和精度，空间定位不准，且出于设备原因，动作局限也比较多然。而且一个人就是一套装备，多人的话成本成倍增加。
发明内容
本公开的目的是提供一种动作学习方法、装置、存储介质及电子设备，能够将一组人体动作转换为多个不同机器人的原子动作，并且对人体动作的学习均基于数字化的、虚拟的机器人数字孪生体模型完成，不需要实体机器人，可大幅降低生成机器人动作的成本。
为了实现上述目的，本公开提供一种动作学习方法，所述方法包括：
获取目标对象的人体动作图像数据；
确定与所述人体动作图像数据对应的机器人的关节运动数据；
通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件；
在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作。
可选地，所述确定与所述人体动作图像数据对应的机器人的关节运动数据包括：
对所述人体动作图像数据进行去噪处理；
根据所述去噪处理后的所述人体动作图像数据确定对应的三维姿态运动数据，所述三维姿态运动数据中包括与所述目标对象对应的各三维关键点的运动数据，所述三维关键点用于构建所述目标对象的三维姿态；
根据所述三维姿态运动数据映射得到所述机器人的所述关节运动数据。
可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件包括：
基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；
在所述关节运动数据不满足所述运动合规条件中的任一条时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件还包括：
在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；
在所述关节运动数据不满足所述运动优化条件时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件还包括：
在所述关节运动数据满足所述运动优化条件和所述运动合规条件时，通过所述数字孪生模型执行所述关节运动数据，并对所述数字孪生模型的运动画面进行显示；
在接收到第一人工确认指令的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，所述第一人工确认指令为用户响应于所述数字孪生模型的运动画面所输入的指令，用于指示所述数字孪生模型的运动画面符合要求；
在接收到第二人工确认指令的情况下，判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件，所述第二人工确认指令为用户响应于所述机器人的执行动作所输入的指令，用于指示所述机器人的执行动作符合要求。
可选地，所述方法还包括：在通过所述机器人的数字孪生模型的仿真数据判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件时，对所述关节运动数据进行修正，并通过所述机器人的数字孪生模型的仿真数据判断修正后的所述关节运动数据是否符合与所述机器人对应的原子动作约束条件，直至判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件。
可选地，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件包括：
基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；
在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；
所述对所述关节运动数据进行修正，包括：
在所述关节运动数据不满足所述运动合规条件中的任一条时，接收人工修改指令以对所述关节运动数据进行修改；
在所述关节运动数据不满足所述运动优化条件时，对所述关节运动数据进行第一优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的原子动作约束条件，所述第一优化包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者。
可选地，在所述机器人处于动作模仿模式的情况下，所述方法还包括：
通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的动作模仿条件；
在所述关节运动数据不符合与所述机器人对应的动作模仿条件的情况下，对所述关节运动数据进行第二优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的动作模仿条件，所述第二优化包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者；
在所述关节运动数据符合与所述机器人对应的动作模仿条件的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，并在动作执行完成之后回到所述机器人的初始状态。
本公开还提供一种动作学习装置，所述装置包括：
获取模块，用于获取目标对象的人体动作图像数据；
确定模块，用于确定与所述人体动作图像数据对应的机器人的关节运动数据；
第一判断模块，用于通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件；
学习模块，用于在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现以上所述方法的步骤。
通过上述技术方案，能够通过获取到的目标对象的人体动作图像数据，来确定该机器人的关节运动数据，这样就能够根据该目标对象的一组人体动作图像数据确定得到多个不同机器人分别对应的关节运动数据，加快了不同机器人对动作的学习速度；并且，能够根据该数字化的、虚拟的机器人的数字孪生模型在线上对关节运动数据是否符合原子动作约束条件进行判断，不需要实体机器人，可大幅降低生成机器人动作的成本。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种动作学习方法的流程图。
图2是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图3是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图4是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图5是根据本公开一示例性实施例示出的一种动作学习装置的结构框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种动作学习方法的流程图。如图1所示，所述方法包括步骤101至步骤102。
在步骤101中，获取目标对象的人体动作图像数据。
目标对象可以为任意在获取范围内的，能够执行待学习动作的对象，例如可以为人，也可以为动物，或者还可以为其他能够执行动作的机器人等等。
人体动作图像数据可以是2D数据，也可以为3D数据，能够通过任意RGB相机、深度相机或者激光雷达等获取得到的，例如该深度相机可以为基于TOF的深度相机、或者基于红外线的深度相机、或者基于被动视觉的单目深度相机或者双目深度相机等等。
用于获取人体动作图像数据的设备可以设置于机器人的头部、胸部、腰部等任意位置，从而使得该机器人能够对目标对象在其面前作出的动作进行学习，或者也可以通过未设置于该机器人上的获取设备来获取该人体动作图像数据，例如可以通过设置于场景环境中的其他设备对该人体动作图像数据进行获取。
获取该人体动作图像数据的过程中，可以是先定位该目标对象的位置，并针对该目标对象的人体动作图像数据进行获取；或者也可以是在该目标对象存在于获取范围内之后，对获取范围内所有物体都进行图像数据的获取，并在获取到的所有图像数据中提取该目标对象的动作相关的人体动作图像数据。
在步骤102中，确定与所述人体动作图像数据对应的机器人的关节运动数据。
由于不同类型的机器人对应的关节结构都不相同，因此对于某一相同动作，不同的机器人对应的关节运动数据也会不相同。因此，在获取到该人体动作图像数据之后，需要确定待学习的机器人。例如，该机器人可以为单臂机器人，也可以为双臂机器人，可以为单足机器人，也可以为双足机器人，可以为手部是二指多关节的机器人，也可以为手部是多指多关节的机器人等等。
该关节运动数据中所包括的内容可以根据该机器人的实际关节来确定，只要是根据该目标对象的人体动作图像数据所学习得到的即可。例如，该目标对象是人，且该人体动作图像数据中所对应的动作中包括双腿和双手等全身的动作，而该机器人为拥有双臂的单足机器人，则确定得到的与该人体动作图像数据对应的该关节运动数据中则可以仅包括头部、双臂、腰部等上半身的运动数据，从而在尽可能保证该关节运动数据对应的动作与该人体动作图像数据对应的动作相似的情况下，也能保证所述机器人的平衡稳定和安全。
其中，该关节运动数据也即多组多个具有时序属性的关节旋转角度数值所构成的，例如，对于一个6轴机器人手臂的关节运动数据可以为：
[(0)(1:1:3.68)(2:1:3.09)(3:1:2.88)(4:1:1.98)(5:1:1.58)(6:1:1.87)],
[(100)(1:1:3.31)(2:1:2.85)(3:1:2.34)(4:1:1.54)(5:1:1.35)(6:1:0.85)],
其中，(0)(100)表示时间戳，(0)可以为起始时间点，(100)可以为与上一时间戳时间间隔(单位可以为例如毫秒)；(1:1:3.68)中第一个1表示该6轴机器人手臂中的第一关节，第二个1表示正向旋转，(3.68)表示旋转角度位置，其中，关节顺序是在机器人中定义好的，能够直接用相应标志位上的数字顺序来表示，例如2则表示第二关节，3则表示第三关节；除了上述在相应标志位上用1表征的正向旋转之外，还能够进行反向旋转，反向旋转能够用0来表征。
在步骤103中，通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件。
该数字孪生模型为将机器人的物理模型数字化后得到的虚拟机器人，该机器人的物理模型包括外观、各个关节的电机、传感器、重力、碰撞等物理仿真模型，该数字孪生模型还能够接收该机器人的感知反馈并能够对该机器人进行同步控制。该数字孪生模型可以是存储于在服务器端，由服务器端通过该数字孪生模型的仿真数据来对该关节运动数据是否满足该原子动作约束条件进行判断。
该原子动作约束条件用于约束该关节运动数据对应的动作，避免有影响机器人稳定和安全的动作，或者有不是原子动作的动作被确定为该机器人的原子动作。该原子动作约束条件可以根据该机器人的实际情况来设定。该原子动作也即用于组成其他动作的基础动作，例如抬手，放手等动作，机器人在执行该原子动作的情况下，执行过程无法被打算或拆分。
在步骤104中，在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作。
多个原子动作可以组成新的机器人行为，学习得到的该原子动作可以存储于该机器人中，也可存储于云端服务器中。
通过上述技术方案，能够通过获取到的目标对象的人体动作图像数据，来确定该机器人的关节运动数据，这样就能够根据该目标对象的一组人体动作图像数据确定得到多个不同机器人分别对应的关节运动数据，加快了不同机器人对动作的学习速度；并且，能够根据该数字化的、虚拟的机器人的数字孪生模型在线上对关节运动数据是否符合原子动作约束条件进行判断，不需要实体机器人，可大幅降低生成机器人动作的成本。
图2是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。如图2所示，所述方法还包括步骤201至步骤203。
在步骤201中，对所述人体动作图像数据进行去噪处理。该去噪处理可以通过任意去噪方法来执行，通过对该人体动作图像数据的去噪和优化，能够使得该人体动作图像数据中所包括的动作能够更加准确。
在步骤202中，根据所述去噪处理后的所述人体动作图像数据确定对应的三维姿态运动数据，所述三维姿态运动数据中包括与所述目标对象对应的各三维关键点的运动数据，所述三维关键点用于构建所述目标对象的三维姿态。
也即，在得到该去噪处理之后的人体动作图像数据之后，能够在该人体动作图像数据中确定出用于构建该目标对象的三维姿态的三维关键点，然后通过该三维关键点在该人体动作图像数据的运动数据，确定的与该人体动作图像数据对应的三维姿态运动数据。该三维姿态运动数据由具有时序属性的多组多个关键点的三维位置数值组成。
在步骤203中，根据所述三维姿态运动数据映射得到所述机器人的所述关节运动数据。
在确定该机器人之后，则可以得到该机器人中的关节信息，进而便可以将该三维姿态运动数据映射至该机器人中的相应的关节中。映射的方法可以为通过深度学习神经网络来进行，其中，可以分别针对不同的机器人训练不同的深度学习神经网络，并根据该机器人来选择对应的深度学习神经网络以进行映射。
图3是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。如图3所示，所述方法还包括步骤301至步骤307。
在步骤301中，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，若是，则转至步骤303，若否，则转至步骤302。其中，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象。在所述关节运动数据不满足所述运动合规条件中的任一条时，可以判定该关节运动数据不满足该运动合规条件，也即不满足不符合与所述机器人对应的原子动作约束条件。
其中，判断该关节运动数据对应的动作是否为所述原子动作的方法可以为多种。例如，可以将该关节运动数据与预设的多种原子动作的运动数据进行特征比较，从而得到该关节运动数据与多种原子动作的运动数据的特征相似度，若该关节运动数据与两种或两种以上的原子动作的运动数据之间的特征相似度超过预设阈值，则可判断该关节运动数据对应的动作不为需要学习的该原子动作。
上述关节的物理限位与该机器人中的具体关节相关。在判断该关节运动数据中是否存在关节运动超过该关节的物理限位的情况时，可以先分别获取该机器人中的所有关节对应的物理限位，然后对该关节运动数据中涉及到的关节的运动数据进行比较。
上述数字孪生模型出现碰撞的情况可以包括自碰撞，例如模型手臂在运动过程中与模型腿部出现重叠，在该数字孪生模型处于与该机器人相同的三维环境场景中时，出现碰撞的情况也可以包括该模型与周围环境物体发生碰撞。
在步骤302中，也即在所述关节运动数据不满足所述运动合规条件中的任一条时，接收人工修改指令以对所述关节运动数据进行修改；并重新判断修改后的关节运动数据是否符合与所述机器人对应的原子动作约束条件，也即返回步骤301。该人工修改指令可以是通过软件工具基于该数字孪生体模型进行的动作数据修复所生成的修改指令，该软件工具可以是可视化工具，该数字孪生提模型根据修改中的关节运动数据执行的动作可以是可见的。
在步骤303中，也即在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，若是，则转至步骤305，若否，则转至步骤304；所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑。在所述关节运动数据不满足所述运动优化条件时，也可判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
该机器人运动学规律也可以是根据各个不同的机器人所确定得到。在该关节运动数据不满足该机器人运动学规律或者不满足预设的流畅度和平滑度的情况下，被机器人执行之后的动作则会卡顿和不合理，因此，为了保证该关节动作数据在被机器人执行时能保证该动作的平滑和流程，会对该关节运动数据是否满足该运动优化条件进行判断。
其中，上述运动优化条件和上述运动合规条件的判断顺序可以根据实际情况进行调整，在本公开中不限制其先后顺序。
在步骤304中，也即在所述关节运动数据不满足所述运动优化条件时，对所述关节运动数据进行第一优化；并重新判断优化后的关节运动数据是否符合与所述机器人对应的原子动作约束条件，也即返回步骤301。该第一优化的方法可以包括根据逆运动学对所述关节运动数据进行优化数据优化、根据对抗生成网络训练对所述关节运动数据进行优化数据优化、根据数据拟合对所述关节运动数据进行优化数据优化、根据插值算法对所述关节运动数据进行优化数据优化中的一者或多者，或者还可以包括其他的优化方法，在本公开中不进行限制，上述第一优化能够在没有人工干预的情况下实现。
在步骤305中，也即在所述关节运动数据既满足该运动合规条件，也满足所述运动优化条件时，通过所述数字孪生模型执行所述关节运动数据，并对所述数字孪生模型的运动画面进行显示。
在步骤306中，在接收到第一人工确认指令的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，所述第一人工确认指令为用户响应于所述数字孪生模型的运动画面所输入的指令，用于指示所述数字孪生模型的运动画面符合要求。
上述在所述关节运动数据满足所述运动优化条件时，也即该关节运动数据既满足该运动合规条件，也满足该运动优化条件的情况，在此情况下，能够通过该数字孪生模型执行该关节运动数据给用户，以进一步通过用户人工确认该关节运动数据是否符合动作学习的要求。
用户在认为该数字孪生模型的运动画面符合要求的情况下可以通过输入该第一人工确认指令的方式进行确认，而用户在认为该数字孪生模型的运动画面不符合要求，仍需要进行修改的情况下，可以直接输入人工修改指令一堆该关节运动数据进行修改，也即，可以转至步骤302对该关节运动数据进行修改。或者，用户也可以直接判定关节运动数据不符合与机器人对应的原子动作约束条件，从而结束对该动作的学习。
在步骤307中，在接收到第二人工确认指令的情况下，判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件，所述第二人工确认指令为用户响应于所述机器人的执行动作所输入的指令，用于指示所述机器人的执行动作符合要求。
在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件时，则可以将该关节运动数据确定为该机器人的原子动作。而若用户在查看到该机器人根据该关节运动数据所执行的动作之后，认为该动作不符合要求，也可以返回至步骤302中再次通过该人工修改指令对该关节运动数据进行修改，并重新进行是否满足该原子动作约束条件的判断。或者，用户也可以直接判定关节运动数据不符合与机器人对应的原子动作约束条件，从而结束对该动作的学习。
通过上述技术方案，能够通过对该运动合规条件和该运动优化条件的判断来对该关节运动数据进行修复或优化等处理，并且还能够通过双重人工确认来保证学习得到的该原子动作的可靠性。
图4是根据本公开又一示例性实施例示出的一种动作学习方法的流程图，如图4所示，所述方法还包括步骤401至步骤403。
在步骤401中，在所述机器人处于动作模仿模式的情况下，通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的动作模仿条件。在该动作模仿模式可以是需要该机器人能够实时对该目标对象做出的动作进行学习模仿。
该动作模仿条件可以包括例如上述运动合规条件，或者还可以包括上述运动优化条件。在判断该动作模仿条件是否符合时，可以根据该关节运动数据满足该动作模仿条件的具体情况进行打分，例如，该运动合规条件全部符合的情况下得到50分，满足运动优化条件中的机器人运动学规律、预设的流畅度和预设的平滑度中的任一项得到10分等等。从而，可以根据得分情况判断该动作模仿条件是否被满足。或者，也可以是先判断该关节运动数据是否符合该运动合规条件，在符合该运动合规条件、且该得分超过一定阈值的情况下，判断该动作模仿条件被满足。
在步骤402中，在所述关节运动数据不符合与所述机器人对应的动作模仿条件的情况下，对所述关节运动数据进行第二优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的动作模仿条件。在该动作模仿条件不符合的情况下，所进行的该第二优化可以包括根据逆运动学对所述关节运动数据进行优化数据优化、根据对抗生成网络训练对所述关节运动数据进行优化数据优化、根据数据拟合对所述关节运动数据进行优化数据优化、根据插值算法对所述关节运动数据进行优化数据优化中的一者或多者，对该关节运动数据进行例如平滑插值等，该第二优化和上述第一优化所包括的方法可以相同也可以不同。
在步骤403中，在所述关节运动数据符合与所述机器人对应的动作模仿条件的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，并在动作执行完成之后回到所述机器人的初始状态。
通过上述技术方案，就能够在保证该机器人的安全的情况下，实现该机器人对该目标对象的动作进行实时地模仿学习的功能。
图5是根据本公开一示例性实施例示出的一种动作学习装置的结构框的。如图5所示，所述装置包括：获取模块10，用于获取目标对象的人体动作图像数据；确定模块20，用于确定与所述人体动作图像数据对应的机器人的关节运动数据；第一判断模块30，用于通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件；学习模块40，用于在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作。
通过上述技术方案，能够通过获取到的目标对象的人体动作图像数据，来确定该机器人的关节运动数据，这样就能够根据该目标对象的一组人体动作图像数据确定得到多个不同机器人分别对应的关节运动数据，加快了不同机器人对动作的学习速度；并且，能够根据该数字化的、虚拟的机器人的数字孪生模型在线上对关节运动数据是否符合原子动作约束条件进行判断，不需要实体机器人，可大幅降低生成机器人动作的成本。
在一种可能的实施方式中，所述确定模块20包括：去噪子模块，用于对所述人体动作图像数据进行去噪处理；确定子模块，用于根据所述去噪处理后的所述人体动作图像数据确定对应的三维姿态运动数据，所述三维姿态运动数据中包括与所述目标对象对应的各三维关键点的运动数据，所述三维关键点用于构建所述目标对象的三维姿态；映射子模块，用于根据所述三维姿态运动数据映射得到所述机器人的所述关节运动数据。
在一种可能的实施方式中，所述第一判断模块30包括第一判断子模块，用于基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；并在所述关节运动数据不满足所述运动合规条件中的任一条时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
在一种可能的实施方式中，所述第一判断模块30还包括第二判断子模块，在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；并在所述关节运动数据不满足所述运动优化条件时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
在一种可能的实施方式中，所述第一判断模块30还包括模拟子模块，在所述关节运动数据满足所述运动优化条件和所述运动合规条件时，通过所述数字孪生模型执行所述关节运动数据，并对所述数字孪生模型的运动画面进行显示；动作执行子模块，用于在接收到第一人工确认指令的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，所述第一人工确认指令为用户响应于所述数字孪生模型的运动画面所输入的指令，用于指示所述数字孪生模型的运动画面符合要求；判定子模块，用于在接收到第二人工确认指令的情况下，判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件，所述第二人工确认指令为用户响应于所述机器人的执行动作所输入的指令，用于指示所述机器人的执行动作符合要求。
在一种可能的实施方式中，所述装置还包括：修正模块，用于在通过所述机器人的数字孪生模型的仿真数据判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件时，对所述关节运动数据进行修正，并通过所述机器人的数字孪生模型的仿真数据判断修正后的所述关节运动数据是否符合与所述机器人对应的原子动作约束条件，直至判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件。
在一种可能的实施方式中，
所述第一判断模块30包括第一判断子模块，用于基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；
所述第一判断模块30还包括第二判断子模块，在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；
所述修正模块还包括：
第一修正子模块，用于在所述关节运动数据不满足所述运动合规条件中的任一条时，接收人工修改指令以对所述关节运动数据进行修改，并重新判断修改后的关节运动数据是否符合与所述机器人对应的原子动作约束条件。
第二修正子模块，用于在所述关节运动数据不满足所述运动优化条件时，对所述关节运动数据进行第一优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的原子动作约束条件，所述第一优化包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者。
在一种可能的实施方式中，所述装置还包括：第二判断模块，用于在所述机器人处于动作模仿模式的情况下，通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的动作模仿条件，所述第二优化包括包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者；优化模块，用于在所述关节运动数据不符合与所述机器人对应的动作模仿条件的情况下，对所述关节运动数据进行第二优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的动作模仿条件；执行模块，用于在所述关节运动数据符合与所述机器人对应的动作模仿条件的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，并在动作执行完成之后回到所述机器人的初始状态。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示，该电子设备600可以包括：处理器601，存储器602。该电子设备600还可以包括多媒体组件603，输入/输出(I/O)接口604，以及通信组件605中的一者或多者。
其中，处理器601用于控制该电子设备600的整体操作，以完成上述的动作学习方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件605可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的动作学习方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的动作学习方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器602，上述程序指令可由电子设备600的处理器601执行以完成上述的动作学习方法。
图7是根据一示例性实施例示出的一种电子设备700的框图。例如，电子设备700可以被提供为一服务器。参照图7，电子设备700包括处理器722，其数量可以为一个或多个，以及存储器732，用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器722可以被配置为执行该计算机程序，以执行上述的动作学习方法。
另外，电子设备700还可以包括电源组件726和通信组件750，该电源组件726可以被配置为执行电子设备700的电源管理，该通信组件750可以被配置为实现电子设备700的通信，例如，有线或无线通信。此外，该电子设备700还可以包括输入/输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的动作学习方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器732，上述程序指令可由电子设备700的处理器722执行以完成上述的动作学习方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的动作学习方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种动作学习方法，其特征在于，所述方法包括：
获取目标对象的人体动作图像数据；
确定与所述人体动作图像数据对应的机器人的关节运动数据；
通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件，其中，所述关节运动数据为多组多个具有时序属性的关节旋转角度数值所构成的；
在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作，所述原子动作是用于组成其他动作的基础动作，所述机器人在执行所述原子动作的情况下，执行过程无法被打断和/或拆分；
所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件包括：
基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；
在所述关节运动数据不满足所述运动合规条件中的任一条时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
2.根据权利要求1所述的方法，其特征在于，所述确定与所述人体动作图像数据对应的机器人的关节运动数据包括：
对所述人体动作图像数据进行去噪处理；
根据所述去噪处理后的所述人体动作图像数据确定对应的三维姿态运动数据，所述三维姿态运动数据中包括与所述目标对象对应的各三维关键点的运动数据，所述三维关键点用于构建所述目标对象的三维姿态；
根据所述三维姿态运动数据映射得到所述机器人的所述关节运动数据。
3.根据权利要求1所述的方法，其特征在于，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件还包括：
在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；
在所述关节运动数据不满足所述运动优化条件时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
4.根据权利要求3所述的方法，其特征在于，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件还包括：
在所述关节运动数据满足所述运动优化条件和所述运动合规条件时，通过所述数字孪生模型执行所述关节运动数据，并对所述数字孪生模型的运动画面进行显示；
在接收到第一人工确认指令的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，所述第一人工确认指令为用户响应于所述数字孪生模型的运动画面所输入的指令，用于指示所述数字孪生模型的运动画面符合要求；
在接收到第二人工确认指令的情况下，判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件，所述第二人工确认指令为用户响应于所述机器人的执行动作所输入的指令，用于指示所述机器人的执行动作符合要求。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在通过所述机器人的数字孪生模型的仿真数据判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件时，对所述关节运动数据进行修正，并通过所述机器人的数字孪生模型的仿真数据判断修正后的所述关节运动数据是否符合与所述机器人对应的原子动作约束条件，直至判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件。
6.根据权利要求5所述的方法，其特征在于，所述通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件包括：
基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；
在所述关节运动数据满足所有所述运动合规条件时，基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动优化条件，所述运动优化条件包括所述关节运动数据符合机器人运动学规律和所述关节运动数据对应的动作流畅平滑；
所述对所述关节运动数据进行修正，包括：
在所述关节运动数据不满足所述运动合规条件中的任一条时，接收人工修改指令以对所述关节运动数据进行修改；
在所述关节运动数据不满足所述运动优化条件时，对所述关节运动数据进行第一优化，所述第一优化包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者。
7.根据权利要求1所述的方法，其特征在于，在所述机器人处于动作模仿模式的情况下，所述方法还包括：
通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的动作模仿条件；
在所述关节运动数据不符合与所述机器人对应的动作模仿条件的情况下，对所述关节运动数据进行第二优化，并重新判断优化后的关节运动数据是否符合与所述机器人对应的动作模仿条件，所述第二优化包括根据逆运动学对所述关节运动数据进行数据优化、根据对抗生成网络训练对所述关节运动数据进行数据优化、根据数据拟合对所述关节运动数据进行数据优化、根据插值算法对所述关节运动数据进行数据优化中的一者或多者；
在所述关节运动数据符合与所述机器人对应的动作模仿条件的情况下，通过所述数字孪生模型驱动所述机器人执行所述关节运动数据，并在动作执行完成之后回到所述机器人的初始状态。
8.一种动作学习装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象的人体动作图像数据；
确定模块，用于确定与所述人体动作图像数据对应的机器人的关节运动数据；
第一判断模块，用于通过所述机器人的数字孪生模型的仿真数据判断所述关节运动数据是否符合与所述机器人对应的原子动作约束条件，其中，所述关节运动数据为多组多个具有时序属性的关节旋转角度数值所构成的；
学习模块，用于在判定所述关节运动数据符合与所述机器人对应的所述原子动作约束条件的情况下，将所述关节运动数据确定为所述机器人的原子动作，所述原子动作是用于组成其他动作的基础动作，所述机器人在执行所述原子动作的情况下，执行过程无法被打断和/或拆分；
所述第一判断模块包括第一判断子模块，用于基于所述数字孪生模型的仿真数据判断所述关节运动数据是否满足运动合规条件，所述运动合规条件包括所述关节运动数据对应的动作为所述原子动作、所述关节运动数据中不存在关节运动超过所述关节的物理限位、所述数字孪生模型在执行所述关节运动数据时未出现碰撞和失衡现象；并在所述关节运动数据不满足所述运动合规条件中的任一条时，判定所述关节运动数据不符合与所述机器人对应的原子动作约束条件。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202011552528.1A 2020-12-24 2020-12-24 动作学习方法、装置、存储介质及电子设备 Active CN112847336B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011552528.1A CN112847336B (zh) 2020-12-24 2020-12-24 动作学习方法、装置、存储介质及电子设备
PCT/CN2021/120457 WO2022134702A1 (zh) 2020-12-24 2021-09-24 动作学习方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552528.1A CN112847336B (zh) 2020-12-24 2020-12-24 动作学习方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112847336A CN112847336A (zh) 2021-05-28
CN112847336B true CN112847336B (zh) 2023-08-22

Family

ID=75996689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552528.1A Active CN112847336B (zh) 2020-12-24 2020-12-24 动作学习方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN112847336B (zh)
WO (1) WO2022134702A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112847336B (zh) * 2020-12-24 2023-08-22 达闼机器人股份有限公司 动作学习方法、装置、存储介质及电子设备
CN116619394B (zh) * 2023-07-26 2023-09-26 佛山智能装备技术研究院 工业机器人仿真方法、装置、设备及存储介质
CN117340897B (zh) * 2023-12-05 2024-03-12 山东建筑大学 面向动态响应预测的机器人数字孪生模型建模方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60205721A (ja) * 1984-03-30 1985-10-17 Matsushita Electric Ind Co Ltd ロボツト動作教示装置
CN1487469A (zh) * 2002-02-12 2004-04-07 东京大学 人型连杆系统的运动生成方法
CN1830635A (zh) * 2005-03-10 2006-09-13 北京理工大学 基于人体运动轨迹的仿人形机器人动作的相似性评价
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105965506A (zh) * 2016-05-16 2016-09-28 北京格分维科技有限公司 一种基于遗传算法的人形双足机器人步行姿态控制方法
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN110967992A (zh) * 2018-09-28 2020-04-07 西门子股份公司 用于机器人的控制系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104858852B (zh) * 2015-05-05 2016-08-17 上海交通大学 类人机器人实时模仿人体上肢动作的优化与约束方法
CN106607910B (zh) * 2015-10-22 2019-03-22 中国科学院深圳先进技术研究院 一种机器人实时模仿方法
KR101819323B1 (ko) * 2016-03-18 2018-01-16 한국과학기술원 모사학습 및 행동 조합에 기반한 로봇의 작업 행동궤적 생성 방법 및 그 장치
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
JP7128736B2 (ja) * 2018-12-27 2022-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
CN111113429B (zh) * 2019-12-31 2021-06-25 深圳市优必选科技股份有限公司 一种动作模仿方法、动作模仿装置及终端设备
CN112847336B (zh) * 2020-12-24 2023-08-22 达闼机器人股份有限公司 动作学习方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60205721A (ja) * 1984-03-30 1985-10-17 Matsushita Electric Ind Co Ltd ロボツト動作教示装置
CN1487469A (zh) * 2002-02-12 2004-04-07 东京大学 人型连杆系统的运动生成方法
CN1830635A (zh) * 2005-03-10 2006-09-13 北京理工大学 基于人体运动轨迹的仿人形机器人动作的相似性评价
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105965506A (zh) * 2016-05-16 2016-09-28 北京格分维科技有限公司 一种基于遗传算法的人形双足机器人步行姿态控制方法
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN110967992A (zh) * 2018-09-28 2020-04-07 西门子股份公司 用于机器人的控制系统及方法

Also Published As

Publication number Publication date
WO2022134702A1 (zh) 2022-06-30
CN112847336A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112847336B (zh) 动作学习方法、装置、存储介质及电子设备
CN107263464B (zh) 机器学习装置、机械系统、制造系统以及机器学习方法
KR102472592B1 (ko) 로봇 행동 보정에 기초한 로컬 피쳐 모델의 업데이트
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
CN107833271A (zh) 一种基于Kinect的骨骼重定向方法及装置
JP2021000678A (ja) 制御システムおよび制御方法
KR102001214B1 (ko) 가상 현실 기반 양팔로봇 교시 장치 및 방법
JP6863927B2 (ja) ロボットのシミュレーション装置
CN112580582B (zh) 动作学习方法、装置、介质及电子设备
US10406688B2 (en) Offline programming apparatus and method having workpiece position detection program generation function using contact sensor
JP2021016922A (ja) 三次元データ生成装置及びロボット制御システム
CN113119104B (zh) 机械臂控制方法、机械臂控制装置、计算设备及系统
CN113146634A (zh) 机器人姿态的控制方法、机器人及存储介质
JP2005202927A (ja) 多関節物体の連接要素間の内部衝突を回避しながらの仮想環境における仮想多関節物体の動き
WO2023123911A1 (zh) 机器人碰撞检测方法、装置、电子设备及存储介质
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
CN114029940B (zh) 机械臂的运动路径规划方法、装置、设备、介质及机械臂
CN112698632B (zh) 一种全自动化生产线数字孪生系统、方法及设备
US10445940B2 (en) Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
Rezeck et al. An Immersion Enhancing Robotic Head-Like Device for Teleoperation.
US20230125071A1 (en) Offline teaching device and motion-program generation method
US20240033910A1 (en) Training data generation device, machine learning device, and robot joint angle estimation device
CN117295589B (zh) 在训练和细化机器人控制策略中使用模仿学习的系统和方法
US20240189993A1 (en) System for testing and training robot control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant