CN112580582B - 动作学习方法、装置、介质及电子设备 - Google Patents

动作学习方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN112580582B
CN112580582B CN202011582786.4A CN202011582786A CN112580582B CN 112580582 B CN112580582 B CN 112580582B CN 202011582786 A CN202011582786 A CN 202011582786A CN 112580582 B CN112580582 B CN 112580582B
Authority
CN
China
Prior art keywords
robot
action
motion
human body
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011582786.4A
Other languages
English (en)
Other versions
CN112580582A (zh
Inventor
张站朝
黄晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202011582786.4A priority Critical patent/CN112580582B/zh
Publication of CN112580582A publication Critical patent/CN112580582A/zh
Priority to PCT/CN2021/094432 priority patent/WO2022142078A1/zh
Priority to US17/566,211 priority patent/US20220203523A1/en
Application granted granted Critical
Publication of CN112580582B publication Critical patent/CN112580582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本公开涉及一种获取人体运动图像数据；确定与人体运动图像数据对应的三维人体姿态动作数据；将三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与人体运动图像数据对应的机器人动作序列数据；对机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；根据进行动作连续性拼接后的机器人动作序列数据确定机器人学习到的连续动作。这样，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。

Description

动作学习方法、装置、介质及电子设备
技术领域
本公开涉及机器人领域，具体地，涉及一种动作学习方法、装置、介质及电子设备。
背景技术
目前用于控制机器人动作行为的方案中，常用的是基于动作捕捉器直接控制机器人动作，具体的，需要人体穿上若干个动作捕捉器设备(包括不限于IMU惯性测量单元)，通过连接一个计算设备，再通过计算设备连接到机器人身上，构成一个本地网络，通过动作捕捉器将人的动作进行捕捉，并同步控制机器人做出类似动作，机器人身体的对应关节与人体动作对应关节运动的角度和速度基本保持相近或在控制一定误差的范围内。或者，基于机器人轨迹规划的方法，需要通过在机器人坐标系下通过对各个关节运动的位置、速度和加速度进行基于运动学和动力学算法运动轨迹规划，各个关节按照规划好轨迹进行运动，多个关节联动形成机器人的动作行为。
发明内容
本公开的目的是提供一种动作学习方法、装置、介质及电子设备，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。
为了实现上述目的，本公开提供一种动作学习方法，所述方法包括：
获取人体运动图像数据；
确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；
将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；
对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；
根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作。
可选地，所述确定与所述人体运动图像数据对应的三维人体姿态动作数据包括：
确定所述人体运动图像数据中的各图像分别对应的二维人体运动关键点；
根据所述各图像分别对应的所述二维人体运动关键点所构成的二维关键点序列数据确定所述三维人体姿态动作数据。
可选地，所述将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据包括：
按照所述动作时间顺序对所述三维人体姿态动作数据中所包括的多个人体子动作依次进行匹配，并根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作，其中，所述人体子动作由一个或多个所述三维人体姿态构成；
根据所述动作时间顺序确定由所述机器人子动作组成的所述机器人动作序列数据。
可选地，所述根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作包括：
在所述人体子动作不为所述三维人体姿态动作数据中所包括的首个人体子动作、且与所述人体子动作的相似度高于相似度阈值的所述原子动作存在两个或多个的情况下，将与所述人体子动作的相似度高于相似度阈值的所述原子动作作为候选原子动作；
依次计算各候选原子动作与前一个人体子动作对应的机器人子动作之间的连续性匹配度；
根据所述相似度和所述连续性匹配度，在各候选原子动作中确定与所述人体子动作相匹配的原子动作，以作为与所述人体子动作相对应的所述机器人子动作。
可选地，所述根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作还包括：
在所述机器人原子动作库中不存在与所述人体子动作的相似度高于所述相似度阈值的原子动作的情况下，根据所述人体子动作映射得到所述机器人子动作。
可选地，所述对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接包括：
对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化；和/或
对各机器人子动作按序拼接得到的机器人动作序列数据中出现的自身碰撞异常进行规避处理。
可选地，所述方法还包括：
将进行所述动作连续性拼接后的所述机器人动作序列数据在机器人的数字孪生模型中执行，并根据所述数字孪生模型的仿真数据对所述机器人动作序列数据进行优化；
所述根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作包括：
将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作。
本公开还提供一种动作学习装置，所述装置包括：
获取模块，用于获取人体运动图像数据；
第一确定模块，用于确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；
匹配模块，用于将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；
拼接模块，用于对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；
第二确定模块，用于根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现以上所述方法的步骤。
通过上述技术方案，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种动作学习方法的流程图。
图2是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图3是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图4是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。
图5是根据本公开又一示例性实施例示出的一种动作学习方法中根据原子动作与人体子动作的相似度确定与该人体子动作相对应的机器人子动作的方法的流程图。
图6是根据本公开一示例性实施例示出的一种动作学习装置的结构框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种动作学习方法的流程图。如图1所示，所述方法包括步骤101至步骤105。
在步骤101中，获取人体运动图像数据。该人体运动图像数据为2D图像数据，可以通过任意图像获取设备例如RGB相机获取得到。该图像获取设备可以是设置于机器人上的设备，也可以为任意外部设备。
在步骤102中，确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态。其中，从该人体运动图像数据中确定对应的三维人体姿态动作数据的方法可以如图2所示，包括步骤201和步骤202。
在步骤201中，确定所述人体运动图像数据中的各图像分别对应的二维人体运动关键点。在步骤202中，根据所述各图像分别对应的所述二维人体运动关键点所构成的二维关键点序列数据确定所述三维人体姿态动作数据。在该2D的人体运动图像数据中的每一图像中检测人体运动关键点的方法可以为多种，例如基于MSPN的人体姿态估计方法(multi-stage pose estimation network)，基于HRNet的人体姿态估计方法(High-ResolutionRepresentations network)，基于Hourglass网络的人体姿态估计方法等等。在检测得到每帧图像中的二维人体运动关键点之后，即可在时间维度获得一个人体运动关键点的序列。通过该二维人体运动关键点的运动的在时间上的累积便可对相应人体运动动作的三维运动姿态进行估计，从而得到该三维人体姿态动作数据。具体可以通过例如全卷积模型的方式来进行估计，也即二维关键点上通过空洞时间卷积的模型得到3D姿态。
在步骤103中，将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作。
该机器人原子动作库为机器人通过预设方法(例如预先植入或者预先学习)所得到的机器人可直接执行的动作数据文件(其中包括机器人各关节的运动轨迹和对应的时间戳)，进而所构成的数据库，每个动作数据文件也即一个原子动作。该机器人原子动作库中的每一个原子动作不可再进行子动作的划分，同时每个原子动作在对应的机器人本体上执行时，不会出现自行碰撞或出现非人类动作的情况。
也即，该三维人体姿态动作数据能够在该机器人原子动作库中匹配到一个或多个原子动作，以组成该机器人动作序列数据，或者，在该三维人体姿态动作数据中存在部分无法匹配到相应原子动作的动作数据的情况下，可以将该部分三维人体姿态动作数据直接映射为机器人的关节运动数据，作为该映射动作，与匹配到的其他原子动作共同作为该机器人动作序列数据包括的各个机器人子动作。
在一种可能的实施方式中，在该三维人体姿态动作数据中的所有动作数据都没有匹配到原子动作的情况下，能够直接根据映射得到的映射动作来构成该机器人动作序列数据。在一种可能的实施方式中，该三维人体姿态动作数据中的所有动作数据都能匹配到相应的原子动作，则该机器人动作序列数据中包括的所有机器人子动作都为该原子动作库中的原子动作。
另外，该机器人动作序列数据中所包括的原子动作的动作时长，和与其相匹配的三维人体姿态动作数据的动作时长可以相等也可以不相等，也即，获取到2秒人体运动图像数据所对应的三维人体姿态动作数据，可以匹配到动作时长为3秒的原子动作，只要该原子动作与该三维人体姿态动作数据的匹配程度能够满足预设的匹配条件即可。
在步骤104中，对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接。该动作连续性拼接可以包括对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化，和/或对各机器人子动作按序拼接得到的机器人动作序列数据中出现的自身碰撞异常进行规避处理。也即，两个相连机器人子动作中，在前的子动作结束时的机器人状态与在后的子动作开始时的机器人状态之间需要进行平滑优化，从而使得两个子动作的衔接更加流畅。而在该机器人动作序列数据出现自身碰撞异常等等影响机器人安全的异常问题时，还需要对其进行规避处理，从而保障机器人的安全。
在步骤105中，根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作。
经过所述动作连续性拼接之后的机器人动作序列数据可以直接作为该机器人学习到的连续动作，直接在该机器人上执行，或者保存为固定的动作，按需调用执行。
或者，也可以对进行所述动作连续性拼接之后的机器人动作序列数据进行其他的数据优化和数据修正等调整之后，再将调整之后的机器人动作序列数据确定为该机器人学习到的连续动作。具体的调整方式在本公开中不进行限定，但图3中给出了一种示例性的调整方法，如图3所示，包括步骤301和步骤302。
在步骤301中，将进行所述动作连续性拼接后的所述机器人动作序列数据在机器人的数字孪生模型中执行，并根据所述数字孪生模型的仿真数据对所述机器人动作序列数据进行优化。
在步骤302中，将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作。
该数字孪生模型也即在虚拟镜像世界里面构建的与实体机器人相同的数字孪生智能体，可以是例如Mesh网格体的几何模型，也可以是对机器人自身物理属性仿真得到的数字模型，仿真的类容包括但不限于：关节电机模拟、传感模拟(激光雷达、深度相机、双目立体相机等)、自身重力、碰撞、材质阻尼。该数字孪生模型的行为动作的实现可以通过例如反馈控制实现、环境感知及状态采集、虚实同步等方法。
其中，可以通过数字孪生模型进行例如仿真观测、自身碰撞检测或异常动作判断等等方式来确定该机器人动作序列数据是否需要进行优化，并对需要进行优化的数据进行相应的优化，该优化过程可以是自动优化，也可以通过接收人工修正指令所进行的优化。最终，便可以将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作。
通过上述技术方案，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。
图4是根据本公开又一示例性实施例示出的一种动作学习方法的流程图。如图4所示，所述方法还包括步骤401和步骤402。
在步骤401中，按照所述动作时间顺序对所述三维人体姿态动作数据中所包括的多个人体子动作依次进行匹配，并根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作，其中，所述人体子动作由一个或多个所述三维人体姿态构成。
在步骤402中，根据所述动作时间顺序确定由所述机器人子动作组成的所述机器人动作序列数据。
该人体子动作为时长不一的一部分三维人体姿态动作数据。所有的人体子动作按照动作时间顺序排列即可组成该三维人体姿态动作数据。各个人体子动作的划分方法可以是根据实际的匹配情况来确定，例如，若该三维人体姿态动作数据中的前2s三维人体姿态动作数据在该机器人原子动作库中匹配到了相近的原子动作，则可以将该前2s三维人体姿态动作数据确定为一个人体子动作，并从第3s三维人体姿态动作数据开始逐帧加入后续的三维人体姿态动作数据作为待匹配的三维人体姿态动作数据，以在该原子动作库中继续进行匹配，直到该待匹配的三维人体姿态动作数据在原子动作库中匹配到相近的原子动作。此时便可以将当前用于匹配的部分三维人体姿态动作数据确定为一个人体子动作。例如，可以先将第3s的前30帧三维人体姿态作为待匹配的三维人体姿态动作数据在原子动作库中进行匹配，无匹配结果的情况下将第3s的后30帧三维人体姿态加入待匹配的三维人体姿态动作数据中进行匹配(在一秒中一共包括60帧三维人体姿态的情况下)，若此时匹配到相近的原子动作，则可以将第3s的三维人体姿态动作数据作为一个人体子动作。
确定是否匹配到相近的原子动作的方法可以是根据上述相似度来判断，例如，将该原子动作库中与该当前待匹配的人体子动作之间的相似度高于相似度阈值的原子动作确定为与该待匹配的人体子动作相匹配的原子动作，进而便可以将该原子动作作为与该人体子动作相对应的机器人子动作。
确定该相似度的方法可以包括但不限于计算两个动作数据之间的向量欧式距离最近、方差最小、余弦近似等方法。
若该相似度高于相似度阈值的原子动作有多个，可以直接选取相似度最高的原子动作，或者也可以考虑动作的连续性，在该相似度高于相似度阈值的原子动作中确定出与上一个人体子动作对应的机器人子动作之间连续性更好的原子动作，作为最终匹配到的原子动作。具体的方法可以如图5所示，包括步骤501至步骤503。
在步骤501中，在所述人体子动作不为所述三维人体姿态动作数据中所包括的首个人体子动作、且与所述人体子动作的相似度高于相似度阈值的所述原子动作存在两个或多个的情况下，将与所述人体子动作的相似度高于相似度阈值的所述原子动作作为候选原子动作。
在步骤502中，依次计算各候选原子动作与前一个人体子动作对应的机器人子动作之间的连续性匹配度。
在步骤503中，根据所述相似度和所述连续性匹配度，在各候选原子动作中确定与所述人体子动作相匹配的原子动作，以作为与所述人体子动作相对应的所述机器人子动作。
确定该连续性匹配度的方法可以包括但不限于计算候选原子动作与前一个人体子动作对应的机器人子动作之间距离(包括欧式距离、方差或余弦距离等)和动作运动速度之间的差异等方法。该相似度和该连续性匹配度所占的权重可以根据实际情况进行设定。
另外，若人体子动作为所述三维人体姿态动作数据中所包括的首个人体子动作，则可以直接选取相似度最高的原子动作作为与该人体子动作相匹配的原子动作。
在一种可能的实施方式中，在所述机器人原子动作库中不存在与所述人体子动作的相似度高于所述相似度阈值的原子动作的情况下，根据所述人体子动作映射得到所述机器人子动作。
例如，从该三维人体姿态动作数据的第3s开始在该原子动作库中进行匹配，直到该三维人体姿态动作数据的最后一帧结束，都没有在原子动作库匹配得到相似度高于相似度阈值的原子动作，则此时就可以直接将该第3s之后的三维人体姿态动作数据映射为机器人的关节运动数据，作为上述映射动作，并最终作为该机器人子动作构成该机器人动作序列数据。
或者，在另一种可能的实施方式中，从该三维人体姿态动作数据的第3s开始在该原子动作库中进行匹配，直到第10s才在原子动作库中匹配得到一个相似度高于相似度阈值、但动作时长仅3s的原子动作，则可以将第3s至第7s的三维人体姿态动作数据作为一个人体子动作，并对其进行映射得到相应的机器人关节运动数据，并将其也作为该机器人子动作。
其中，由于在进行原子动作的匹配时，匹配到的原子动作与对应的人体子动之间的时长可以不相等，因此由该机器人子动作构成的机器人动作序列数据的时长也可以与该三维人体姿态动作数据的时长不相等。
图6是根据本公开一示例性实施例示出的一种动作学习装置的结构框图。如图6所示，所述装置包括：获取模块10，用于获取人体运动图像数据；第一确定模块20，用于确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；匹配模块30，用于将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；拼接模块40，用于对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；第二确定模块50，用于根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作。
通过上述技术方案，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。
在一种可能的实施方式中，第一确定模块20还用于：确定所述人体运动图像数据中的各图像分别对应的二维人体运动关键点；根据所述各图像分别对应的所述二维人体运动关键点所构成的二维关键点序列数据确定所述三维人体姿态动作数据。
在一种可能的实施方式中，匹配模块30包括：第一子模块，用于按照所述动作时间顺序对所述三维人体姿态动作数据中所包括的多个人体子动作依次进行匹配，并根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作，其中，所述人体子动作由一个或多个所述三维人体姿态构成；第二子模块，用于根据所述动作时间顺序确定由所述机器人子动作组成的所述机器人动作序列数据。
在一种可能的实施方式中，所述第一子模块还用于：在所述人体子动作不为所述三维人体姿态动作数据中所包括的首个人体子动作、且与所述人体子动作的相似度高于相似度阈值的所述原子动作存在两个或多个的情况下，将与所述人体子动作的相似度高于相似度阈值的所述原子动作作为候选原子动作；依次计算各候选原子动作与前一个人体子动作对应的机器人子动作之间的连续性匹配度；根据所述相似度和所述连续性匹配度，在各候选原子动作中确定与所述人体子动作相匹配的原子动作，以作为与所述人体子动作相对应的所述机器人子动作。
在一种可能的实施方式中，所述第一子模块还用于：在所述机器人原子动作库中不存在与所述人体子动作的相似度高于所述相似度阈值的原子动作的情况下，根据所述人体子动作映射得到所述机器人子动作。
在一种可能的实施方式中，所述拼接模块40还用于：对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化；和/或对各机器人子动作按序拼接得到的机器人动作序列数据中出现的自身碰撞异常进行规避处理。
在一种可能的实施方式中，所述装置还包括：优化模块，用于将进行所述动作连续性拼接后的所述机器人动作序列数据在机器人的数字孪生模型中执行，并根据所述数字孪生模型的仿真数据对所述机器人动作序列数据进行优化；第二确定模块50还用于：将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的动作学习方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的动作学习方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的动作学习方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的动作学习方法。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的动作学习方法。
另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的动作学习方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的动作学习方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的动作学习方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种动作学习方法，其特征在于，所述方法包括：
获取人体运动图像数据；
确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；
将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；
对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；
将进行所述动作连续性拼接后的所述机器人动作序列数据在机器人的数字孪生模型中执行，并根据所述数字孪生模型的仿真数据对所述机器人动作序列数据进行优化；
将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作；
所述对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接包括：
对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化。
2.根据权利要求1所述的方法，其特征在于，所述确定与所述人体运动图像数据对应的三维人体姿态动作数据包括：
确定所述人体运动图像数据中的各图像分别对应的二维人体运动关键点；
根据所述各图像分别对应的所述二维人体运动关键点所构成的二维关键点序列数据确定所述三维人体姿态动作数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据包括：
按照所述动作时间顺序对所述三维人体姿态动作数据中所包括的多个人体子动作依次进行匹配，并根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作，其中，所述人体子动作由一个或多个所述三维人体姿态构成；
根据所述动作时间顺序确定由所述机器人子动作组成的所述机器人动作序列数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作包括：
在所述人体子动作不为所述三维人体姿态动作数据中所包括的首个人体子动作、且与所述人体子动作的相似度高于相似度阈值的所述原子动作存在两个或多个的情况下，将与所述人体子动作的相似度高于相似度阈值的所述原子动作作为候选原子动作；
依次计算各候选原子动作与前一个人体子动作对应的机器人子动作之间的连续性匹配度；
根据所述相似度和所述连续性匹配度，在各候选原子动作中确定与所述人体子动作相匹配的原子动作，以作为与所述人体子动作相对应的所述机器人子动作。
5.根据权利要求4所述的方法，其特征在于，所述根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作还包括：
在所述机器人原子动作库中不存在与所述人体子动作的相似度高于所述相似度阈值的原子动作的情况下，根据所述人体子动作映射得到所述机器人子动作。
6.根据权利要求1所述的方法，其特征在于，所述对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接还包括：
对各机器人子动作按序拼接得到的机器人动作序列数据中出现的自身碰撞异常进行规避处理。
7.一种动作学习装置，其特征在于，所述装置包括：
获取模块，用于获取人体运动图像数据；
第一确定模块，用于确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；
匹配模块，用于将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；
拼接模块，用于对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；
优化模块，用于将进行所述动作连续性拼接后的所述机器人动作序列数据在机器人的数字孪生模型中执行，并根据所述数字孪生模型的仿真数据对所述机器人动作序列数据进行优化；
第二确定模块，用于将根据所述数字孪生模型的仿真数据优化后的机器人动作序列数据确定为所述机器人学习到的连续动作；
其中，所述拼接模块用于：对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN202011582786.4A 2020-12-28 2020-12-28 动作学习方法、装置、介质及电子设备 Active CN112580582B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011582786.4A CN112580582B (zh) 2020-12-28 2020-12-28 动作学习方法、装置、介质及电子设备
PCT/CN2021/094432 WO2022142078A1 (zh) 2020-12-28 2021-05-18 动作学习方法、装置、介质及电子设备
US17/566,211 US20220203523A1 (en) 2020-12-28 2021-12-30 Action learning method, medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011582786.4A CN112580582B (zh) 2020-12-28 2020-12-28 动作学习方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN112580582A CN112580582A (zh) 2021-03-30
CN112580582B true CN112580582B (zh) 2023-03-24

Family

ID=75140742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011582786.4A Active CN112580582B (zh) 2020-12-28 2020-12-28 动作学习方法、装置、介质及电子设备

Country Status (2)

Country Link
CN (1) CN112580582B (zh)
WO (1) WO2022142078A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580582B (zh) * 2020-12-28 2023-03-24 达闼机器人股份有限公司 动作学习方法、装置、介质及电子设备
CN113146634A (zh) * 2021-04-25 2021-07-23 达闼机器人有限公司 机器人姿态的控制方法、机器人及存储介质
CN113276117B (zh) * 2021-05-21 2023-01-03 重庆工程职业技术学院 一种工业机器人自动控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
CN100541540C (zh) * 2006-09-14 2009-09-16 浙江大学 基于侧影和末端节点的视频人体三维运动恢复方法
CN101692284B (zh) * 2009-07-24 2012-01-04 西安电子科技大学 基于量子免疫克隆算法的三维人体运动跟踪方法
CA2794226C (en) * 2012-10-31 2020-10-20 Queen's University At Kingston Automated intraoperative ultrasound calibration
EP3075496B1 (en) * 2015-04-02 2022-05-04 Honda Research Institute Europe GmbH Method for improving operation of a robot
CN106078752B (zh) * 2016-06-27 2019-03-19 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106131493A (zh) * 2016-07-20 2016-11-16 绥化学院 基于虚拟现实远端临场智能消防机器人的体感控制系统
CN108098780A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型的机器人仿人运动系统
CN108858188B (zh) * 2018-06-20 2020-10-27 华南理工大学 一种应用于人形机器人的人体转体和位移映射方法
EP3628453A1 (en) * 2018-09-28 2020-04-01 Siemens Aktiengesellschaft A control system and method for a robot
CN110825368A (zh) * 2019-11-22 2020-02-21 上海乐白机器人有限公司 机器人的控制方法、系统、电子设备、存储介质
CN111860243A (zh) * 2020-07-07 2020-10-30 华中师范大学 一种机器人动作序列生成方法
CN112580582B (zh) * 2020-12-28 2023-03-24 达闼机器人股份有限公司 动作学习方法、装置、介质及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统

Also Published As

Publication number Publication date
WO2022142078A1 (zh) 2022-07-07
CN112580582A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112580582B (zh) 动作学习方法、装置、介质及电子设备
JP2021103564A (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
WO2021011888A1 (en) System and method for error detection and correction in virtual reality and augmented reality environments
CN110246182B (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
CN106708048B (zh) 机器人的天花板图像定位方法和系统
RU2708027C1 (ru) Способ передачи движения субъекта из видео на анимированного персонажа
JP2021000678A (ja) 制御システムおよび制御方法
CN112847336B (zh) 动作学习方法、装置、存储介质及电子设备
US20160210761A1 (en) 3d reconstruction
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220215581A1 (en) Method for displaying three-dimensional augmented reality
US11861777B2 (en) Using a determined optimum pose sequence to generate a corresponding sequence of frames of animation of an animation character
CN113959444A (zh) 用于无人设备的导航方法、装置、介质及无人设备
CN116420170B (zh) 姿势的消歧
CN110415322B (zh) 虚拟对象模型的动作指令的生成方法和装置
CN108236782B (zh) 外接设备的定位方法及装置、虚拟现实设备及系统
US20220203523A1 (en) Action learning method, medium, and electronic device
CN114571460A (zh) 机器人控制方法、装置及存储介质
CN111866493B (zh) 基于头戴显示设备的图像校正方法、装置及设备
US20200285247A1 (en) Systems and methods for autonomous robot navigation
CN113761965A (zh) 动作捕捉方法、装置、电子设备和存储介质
CN114571463B (zh) 动作检测方法、装置、可读存储介质及电子设备
JP7419993B2 (ja) 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置
KR20210087631A (ko) 제어 명령에 따른 이동체의 이동결과 추정을 위한 인공지능 모델 학습방법, 장치 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant