CN114571463B - 动作检测方法、装置、可读存储介质及电子设备 - Google Patents

动作检测方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN114571463B
CN114571463B CN202210317056.4A CN202210317056A CN114571463B CN 114571463 B CN114571463 B CN 114571463B CN 202210317056 A CN202210317056 A CN 202210317056A CN 114571463 B CN114571463 B CN 114571463B
Authority
CN
China
Prior art keywords
gesture
preset
target
robot
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210317056.4A
Other languages
English (en)
Other versions
CN114571463A (zh
Inventor
王伟健
王军锋
袁国勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202210317056.4A priority Critical patent/CN114571463B/zh
Publication of CN114571463A publication Critical patent/CN114571463A/zh
Application granted granted Critical
Publication of CN114571463B publication Critical patent/CN114571463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0008—Balancing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Abstract

本公开涉及一种动作检测方法、装置、可读存储介质及电子设备，所述方法包括：获取机器人待执行的目标动作对应的目标动作图像，目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；根据第一姿态图像第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，仿真姿态包括机器人由预设初始姿态切换至预设终止姿态的过程中需要完成的姿态；分别获取预设初始姿态、预设终止姿态以及每个仿真姿态的目标重心；根据目标重心，获取目标动作对应的重心移动轨迹；根据重心移动轨迹，确定机器人执行目标动作时的稳定性检测结果，稳定性检测结果用于表征机器人在执行目标动作过程中是否存在倾倒风险。

Description

动作检测方法、装置、可读存储介质及电子设备
技术领域
本公开涉及数字孪生技术领域，具体地，涉及一种动作检测方法、装置、可读存储介质及电子设备。
背景技术
目前，机器人在工业、军事、生活中的应用越发突出，而在各种机器人当中，仿真人机器人在工作中更具灵活性，能够代替人类完成程序化的工作任务。机器人对环境的适应能力决定了它们能否适应人们的需求标准，而影响其适应能力的主要方面便是仿真人机器人的运动稳定性与结构稳定性。
相关技术中，主要是通过在仿真人机器人的整机结构中设置陀螺仪传感器，实时获取仿真人机器人在执行目标动作时的姿态信息数据和重心数据，并实时判断该姿态信息数据和重心数据是否处于预设稳定范围内，在确定处于预设稳定范围之外时，判定仿真人机器人处于不稳定状态。然而，实际情况中，在判定仿真人机器人处于不稳定状态时，会出现仿真人机器人已经倾倒的情况，这样会影响仿真人机器人执行工作任务的效率。
发明内容
为克服相关技术中存在的问题，本公开提供一种动作检测方法、装置、存储介质及电子设备。
根据本公开实施例的第一方面，提供一种动作检测方法，所述方法包括：
获取机器人待执行的目标动作对应的目标动作图像，所述目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；
根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，所述仿真姿态包括所述机器人由所述预设初始姿态切换至所述预设终止姿态的过程中需要完成的姿态；
分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心；
根据所述目标重心，获取所述目标动作对应的重心移动轨迹；
根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中是否存在倾倒风险。
可选地，所述分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心包括：
获取每个所述仿真图像中所述机器人的一个或多个指定部位的重心数据；
根据所述一个或多个指定部位的重心数据，获取所述目标重心。
可选地，所述根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果包括：
确定与所述重心移动轨迹对应的重心移动加速度；
根据所述重心移动加速度确定所述目标动作的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中的是否存在倾倒风险。
可选地，所述确定与所述重心移动轨迹对应的重心移动加速度包括：
根据所述重心移动轨迹确定所述目标重心的运动速度和运动方向；
根据所述目标重心的运动速度和运动方向确定所述重心移动加速度。
可选地，所述根据所述重心移动加速度确定所述目标动作的稳定性检测结果包括：
在所述预设初始姿态的目标重心位于第一预设重心范围内，且所述预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据所述重心移动加速度确定所述目标动作的稳定性检测结果。
可选地，所述根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果包括：
在所述重心移动加速度大于或者等于预设加速度阈值的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
可选地，所述方法还包括：
在所述预设初始姿态的目标重心位于第一预设重心范围外，或者所述预设终止姿态的目标重心位于第二预设重心范围外的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
可选地，所述根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，包括：
根据所述第一姿态图像、所述第二姿态图像以及预设姿态参数，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
根据本公开实施例的第二方面，提供一种动作检测装置，所述装置包括：
第一获取模块，用于获取机器人待执行的目标动作对应的目标动作图像，所述目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；
仿真模块，用于根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，所述仿真姿态包括所述机器人由所述预设初始姿态切换至所述预设终止姿态的过程中需要完成的姿态；
进一步，所述仿真模块用于根据所述第一姿态图像、所述第二姿态图像以及预设姿态参数，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
第二获取模块，用于分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心；
第三获取模块，用于根据所述目标重心，获取所述目标动作对应的重心移动轨迹；
确定模块，用于根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中是否存在倾倒风险。
可选地，所述第二获取模块包括：
第一获取子模块，用于获取每个所述仿真图像中所述机器人的一个或多个指定部位的重心数据；
第二获取子模块，用于根据所述一个或多个指定部位的重心数据，获取所述目标重心。
可选地，所述确定模块包括：
第一确定子模块，用于确定与所述重心移动轨迹对应的重心移动加速度；
第二确定子模块，用于根据所述重心移动加速度确定所述目标动作的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中的是否存在倾倒风险。
可选地，所述确定模块用于根据所述重心移动轨迹确定所述目标重心的运动速度和运动方向；根据所述目标重心的运动速度和运动方向确定所述重心移动加速度。
可选地，所述确定模块用于在所述预设初始姿态的目标重心位于第一预设重心范围内，且所述预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据所述重心移动加速度确定所述目标动作的稳定性检测结果。
可选地，所述确定模块用于在所述重心移动加速度大于或者等于预设加速度阈值的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
可选地，所述确定模块还用于在所述预设初始姿态的目标重心位于第一预设重心范围外，或者所述预设终止姿态的目标重心位于第二预设重心范围外的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例的第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述本公开实施例的第一方面所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过获取机器人待执行的目标动作对应的目标动作图像，所述目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，所述仿真姿态包括所述机器人由所述预设初始姿态切换至所述预设终止姿态的过程中需要完成的姿态；分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心；根据所述目标重心，获取所述目标动作对应的重心移动轨迹；根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中是否存在倾倒风险。这样，本公开可以根据预设初始姿态和预设终止姿态，通过仿真确定多个仿真姿态，并根据各个姿态的目标重心来确定目标动作对应的重心移动轨迹，根据重心移动轨迹来确定机器人执行目标动作时的稳定性检测结果，通过这样的方式，可以利用数字孪生技术在虚拟世界中分析机器人执行目标动作的稳定性，通过这样的方式，可以在机器人实际执行该目标动作之前，提前利用重心加速度对该目标动作进行稳定性分析，确定机器人在执行该目标动作时是否有倾倒风险，能够避免机器人在实际执行该目标动作时由于不稳定而倾倒，提高机器人执行工作任务的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种动作检测方法的流程图。
图2是根据一示例性实施例示出的一种动作检测装置的框图。
图3是根据图2所示实施例示出的一种第二获取模块的框图。
图4是根据图2所示实施例示出的一种确定模块的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面结合具体实施例对本公开进行说明。
图1是根据一示例性实施例示出的一种动作检测方法的流程图，如图1所示，该方法包括：
步骤S101，获取机器人待执行的目标动作对应的目标动作图像。
其中，该目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像。
其中，该预设初始姿态可以指该机器人在执行该目标动作时的初始姿态，该预设终止姿态可以指该机器人在执行该目标动作完成后的完成姿态。
例如，该机器人待完成的目标动作为“打招呼”，该目标动作的具体过程为该机器人从立正姿态举起右臂，直至肘关节呈90°弯曲，并摆动右手，此时该机器人的预设初始姿态可以是立正姿态，该机器人的预设终止姿态可以是机器人举起右臂，且右臂的肘关节呈90°弯曲的姿态。
在一种可能的实现方式中，可以构建该机器人的数字孪生模型，其中，数字孪生模型为与实体机器人物理属性相同的物理模型，也可以称为数字孪生体。通过为实体机器人建立物理特性上一一映射的数字孪生模型，以及构建实体机器人所处物理世界的虚拟镜像的数字孪生世界，采用数字孪生模型在数字孪生世界中进行机器人技能和应用的训练，基于数字孪生模型同步控制实体机器人的行为。同时实体机器人的各种传感器采集的多源数据(也即获取环境变化数据)也将同步到数字孪生世界，用于数字孪生模型的机器人技能和应用的训练和在线运行，实现动态闭环、持续进化的智能云端机器人系统。这样，可以提升智能训练的效率，降低试错成本。本公开中所提及的动作检测方式是应用于该机器人的数字孪生模型，可以基于此模型来获取该机器人待执行的目标动作对应的目标动作图像。
可选地，在实际应用中，该机器人待执行的目标动作可以是该机器人完成一项工作任务的过程中需要执行的动作，例如，该机器人的工作任务可以是向某一对象打招呼，则该目标动作就可以是打招呼过程中需要执行的动作；其中，可以将该机器人在执行目标动作之前的准备姿态作为预设初始姿态，该准备姿态可以是该机器人在站立时，不执行任何动作时的姿态；可以将该机器人在执行完毕目标动作后的停止姿态作为预设终止姿态，该停止姿态可以是该机器人执行目标动作过程中，执行最后一个动作的姿态。
在一种实现方式中，用户可以从终端设备本地存储的动作图像中选出该预设初始姿态的第一姿态图像和该预设终止姿态的第二姿态图像。具体地，终端设备可以提供该第一姿态图像的选择接口和该第二姿态图像的选择接口，可以通过第一姿态图像的选择接口从终端设备本地存储的图像中选择第一姿态图像，通过该第二姿态图像的选择接口从终端设备本地存储的图像中选择第二姿态图像；终端设备在检测到用户确认完成第一姿态图像和第二姿态图像的选择后，确定获取到机器人待执行的目标动作对应的设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像，并将其上传至该机器人的数字孪生模型中，使得该机器人的数字孪生模型获取到相同的设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像。
在另一种实现方式中，用户可以从终端设备本地存储的动作图像组中，选出一组动作图像，其中，该动作图像组中的每一组动作图像，可以由一组具有对应关系的预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像构成，每一组动作图像对应机器人的一个待执行的目标动作。具体地，终端设备可以提供每一组动作图像的选择接口，可以通过每一组动作图像的选择接口从终端设备本地存储的动作图像组中选择一组动作图像；终端设备在检测到用户确认完成一组动作图像的选择后，确定获取到机器人待执行的目标动作对应的预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像，并将其上传至该机器人的数字孪生模型中，使得该机器人的数字孪生模型获取到相同的预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像。
可以理解的是，上述实现方式仅为示例，在实际应用中，还可以通过其它方式获取预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像，本申请在此不对获取机器人待执行的目标动作对应的目标动作图像的方式做具体限定。
步骤S102，根据该第一姿态图像和该第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
其中，该仿真姿态包括该机器人由该预设初始姿态切换至该预设终止姿态的过程中需要完成的姿态。
示例地，可以根据该第一姿态图像和该第二姿态图像确定对应的人体运动关键点，具体地，在姿态图像中获取人体运动关键点的方法可以为多种，例如基于MSPN的人体姿态估计方法(multi-stage pose estimation network)，基于HRNet的人体姿态估计方法(High-ResolutionRepresentations network)，基于Hourglass网络的人体姿态估计方法等，本公开对此不做限定。
在检测得到该第一姿态图像和该第二姿态图像中的人体运动关键点之后，根据预设动作仿真算法即可在时间维度获得一个人体运动关键点的序列。通过该人体运动关键点的运动在时间上的累积，便可对相应人体运动动作的三维运动姿态进行估计，从而得到该三维人体姿态动作数据。具体可以通过例如全卷积模型的方式来进行估计，也即关键点上通过空洞时间卷积的模型得到该三维人体姿态动作数据。
然后将该三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与该三维人体姿态动作数据对应的机器人动作序列数据，该机器人动作序列数据由多个机器人子动作组成，该机器人子动作中包括该原子动作和/或由该三维人体姿态动作数据映射得到的映射动作。
该机器人原子动作库为机器人通过预设方法(例如预先植入或者预先学习)所得到的机器人可直接执行的动作数据文件(其中包括机器人各关节的运动轨迹和对应的时间戳)，进而所构成的数据库，每个动作数据文件也即一个原子动作。其中，该机器人原子动作库中的每一个原子动作不可再进行子动作的划分，同时每个原子动作在对应的机器人本体上执行时，不会出现自行碰撞或出现非人类动作的情况。然后对该机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接。该动作连续性拼接可以包括对各相邻机器人子动作之间衔接处的机器人姿态位置和机器人运动速度进行平滑优化；然后根据连续性拼接后的该机器人动作序列数据，获取在时间维度上的多个仿真姿态的仿真图像。
需要说明的是，考虑到在根据该第一姿态图像和该第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像的过程中，该机器人从一个仿真姿态切换至下一个仿真姿态所经过的时间段是一个预设时间段，然而该机器人在该切换过程中，若关节处电机的转动速度大于或者等于该处电机的最大转动速度，则该机器人存在倾倒风险，为了解决该问题，在另一实施例中，可以根据该第一姿态图像、该第二姿态图像以及预设姿态参数，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
示例地，该预设姿态参数可以是该机器人从一个仿真姿态切换至下一个仿真姿态的过程中，关节处电机的转动速度，该转动速度小于该处电机的最大转动速度，其中，该机器人从一个仿真姿态切换至下一个仿真姿态的过程中，关节处电机的转动速度可以与人体在完成该动作时的关节转动速度相一致。
步骤S103，分别获取该预设初始姿态、该预设终止姿态以及每个该仿真姿态的目标重心。
可选地，首先获取每个该仿真图像中该机器人的一个或多个指定部位的重心数据。
其中，该一个或多个指定部位可以指该机器人在执行目标动作的过程中，需要调动的关节部位，例如该机器人在执行“打招呼”这一目标动作的过程中，需要调动肩关节，肘关节和腕关节，分别获取该肩关节，肘关节和腕关节的位置参数，其中，位置参数包括电机的旋转角度以及该机器人关节的质量参数，该质量参数可以根据该机器人的数字孪生模型获取，该机器人的每个关节处均安装有电机，电机包括位置传感器，通过位置传感器可获取电机的旋转角度，如45°、60°、90°和100°等。不同的电机，其旋转角度的范围是不一样的，如0°～180°，0°～360°，此处的旋转角度仅为示例性说明。
对应不同的位置参数，可以确定与该位置参数对应的该机器人的一个或多个指定部位的重心数据，其中，在各个关节部位，上述位置参数与对应的重心数据之间存在预设对应关系，该预设对应关系包括该位置参数与该重心数据的对应关系。例如，位置参数分别为4°、10°、33°、75°、80°和102°时，对应的重心数据依次为2、3、7、10、12和15。需要说明的是，预设对应关系根据经验进行设计，与该机器人的结构和体积等相关，结构包括重量和几何中心等。
然后，根据该一个或多个指定部位的重心数据，获取该目标重心。
在一些实施例中，可以获取一个或多个指定部位对应的权重值，并根据权重值对一个或多个指定部位的重心数据进行加权累加，从而得到该目标重心。
示例地，一个或多个指定部位对应的权重值可以通过以下方式获取：
根据一个或多个指定部位对应的重心数据，确定与该指定部位对应的质量数据以及对应的位置数据，可以依据指定部位对机器人躯体的运动影响程度加以分配，具体地，控制终端可以对机器人躯体上各个指定部位对机器人躯体的运动影响程度进行量化处理，得到各个指定部位对机器人躯体的运动影响程度的量化表达式，再将与各个指定部位对应的质量数据以及对应的位置数据代入到各指定部位对机器人躯体的运动影响程度的量化表达式中，计算得到各指定部位对机器人躯体的运动影响程度的量化值，然后将各指定部位对应的量化值直接作为每个指定部位对应的权重值，其中，该指定部位可以是机器人躯体的一个关节部位。
需要说明的是，上述量化处理和量化值的计算可以参考相关技术中的处理方式，此处不在赘述。
示例地，出于拟人化的考虑，常将机器人的躯体进行分区，躯体分区可分别称为腰部、臂部、腕部、手部(夹持器或末端执行器)和行走部(对于移动机器人)等，该机器人整机包括多个关节，也就是说，在一个仿真图像中可以存在一个或多个指定部位的重心数据，然后对该一个或多个指定部位的重心数据进行加权累计修正，最终可以得到该机器人整机的目标重心数据。
例如，机器人整机可以包括一个或多个关节，多个关节依次编号为i，i为正整数。此外，关节也可随意标记，标记仅为对各个关节进行区分。
其中，由于该机器人在执行动作的过程中，不同部位的变化对完成动作的稳定性影响不同，可以得知，该机器人的不同关节的重心数据对于整机的目标重心数据的影响不同，可以将该机器人的一个关节处于运动进程中，其余关节保持静止，分析该关节的重心数据变化对完成动作的稳定性的权重值，进而得到不同关节的重心数据对于该机器人整机的目标重心数据的权重值。
例如，若该机器人包括关节Ni，其中，i为正整数，通过上述步骤获取的关节Ni的重心数据为Wi，其权重值为fi，则通过各个关节的重心数据来计算该机器人的目标重心BW，
步骤S104，根据该目标重心，获取该目标动作对应的重心移动轨迹。
其中，该重心移动轨迹可以指该机器人在执行该目标动作的过程中，在各个仿真姿态中的目标重心的移动的轨迹。
示例地，在确定该机器人在各个仿真姿态中的目标重心后，可以按照预设时间节点确定该机器人在各个仿真姿态中的目标重心的移动的轨迹，该仿真姿态可以指该目标动作在该预设时间节点处的姿态。
步骤S105，根据该重心移动轨迹，确定该机器人执行该目标动作时的稳定性检测结果。
其中，该稳定性检测结果用于表征该机器人在执行该目标动作过程中是否存在倾倒风险。
在一些实施例中，首先可以确定与该重心移动轨迹对应的重心移动加速度。
示例地，可以先根据该重心移动轨迹确定该目标重心的运动速度和运动方向；再根据该目标重心的运动速度和运动方向确定该重心移动加速度。
然后，根据该重心移动加速度确定该目标动作的稳定性检测结果，该稳定性检测结果用于表征该机器人在执行该目标动作过程中的是否存在倾倒风险。
示例地，在该预设初始姿态的目标重心位于第一预设重心范围内，且该预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据该重心移动加速度确定该目标动作的稳定性检测结果。
例如，在该重心移动加速度大于或者等于预设加速度阈值的情况下，确定该机器人在执行该目标动作过程中存在倾倒风险。
或者，在该预设初始姿态的目标重心位于第一预设重心范围外，或者该预设终止姿态的目标重心位于第二预设重心范围外的情况下，确定该机器人在执行该目标动作过程中存在倾倒风险。
另外，确定该机器人在执行该目标动作过程中存在倾倒风险的情况下，终端设备可以在目标动作检测结束后，向用户发出风险提示信息，以提示用户该机器人在执行该目标动作过程中存在倾倒风险。
采用上述方式，本公开可以通过获取机器人待执行的目标动作对应的目标动作图像，该目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；根据该第一姿态图像和该第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，该仿真姿态包括该机器人由该预设初始姿态切换至该预设终止姿态的过程中需要完成的姿态；分别获取该预设初始姿态、该预设终止姿态以及每个该仿真姿态的目标重心；根据该目标重心，获取该目标动作对应的重心移动轨迹；根据该重心移动轨迹，确定该机器人执行该目标动作时的稳定性检测结果，该稳定性检测结果用于表征该机器人在执行该目标动作过程中是否存在倾倒风险。这样，本公开可以根据预设初始姿态和预设终止姿态，通过仿真确定多个仿真姿态，并根据各个姿态的目标重心来确定目标动作对应的重心移动轨迹，根据重心移动轨迹来确定机器人执行目标动作时的稳定性检测结果，通过这样的方式，可以利用数字孪生技术在虚拟世界中分析机器人执行目标动作的稳定性，通过这样的方式，可以在机器人实际执行该目标动作之前，提前在虚拟世界中利用重心加速度对该目标动作进行稳定性分析，确定机器人在执行该目标动作时是否有倾倒风险，能够避免机器人在实际执行该目标动作时由于不稳定而倾倒，提高机器人执行工作任务的效率，并且，可以提前对该目标动作进行风险预测，降低机器人学习目标动作的学习成本。
图2是根据一示例性实施例示出的一种动作检测装置200的框图，如图2所示，该装置200包括：
第一获取模块201，用于获取机器人待执行的目标动作对应的目标动作图像，该目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；
仿真模块202，用于根据该第一姿态图像和该第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，该仿真姿态包括该机器人由该预设初始姿态切换至该预设终止姿态的过程中需要完成的姿态；
进一步，该仿真模块202，用于根据该第一姿态图像、该第二姿态图像以及预设姿态参数，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
第二获取模块203，用于分别获取该预设初始姿态、该预设终止姿态以及每个该仿真姿态的目标重心；
第三获取模块204，用于根据该目标重心，获取该目标动作对应的重心移动轨迹；
确定模块205，用于根据该重心移动轨迹，确定该机器人执行该目标动作时的稳定性检测结果，该稳定性检测结果用于表征该机器人在执行该目标动作过程中是否存在倾倒风险。
图3是根据图2所示实施例示出的一种第二获取模块的框图，如图3所示，该第二获取模块203包括：
第一获取子模块2031，用于获取每个该仿真图像中该机器人的一个或多个指定部位的重心数据；
第二获取子模块2032，用于根据该一个或多个指定部位的重心数据，获取该目标重心。
图4是根据图2所示实施例示出的一种确定模块的框图，如图4所示，该确定模块205包括：
第一确定子模块2051，用于确定与该重心移动轨迹对应的重心移动加速度；
第二确定子模块2052，用于根据该重心移动加速度确定该目标动作的稳定性检测结果，该稳定性检测结果用于表征该机器人在执行该目标动作过程中的是否存在倾倒风险。
可选地，该确定模块205用于根据该重心移动轨迹确定该目标重心的运动速度和运动方向；根据该目标重心的运动速度和运动方向确定该重心移动加速度。
可选地，该确定模块205用于在该预设初始姿态的目标重心位于第一预设重心范围内，且该预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据该重心移动加速度确定该目标动作的稳定性检测结果。
可选地，该确定模块205用于在该重心移动加速度大于或者等于预设加速度阈值的情况下，确定该机器人在执行该目标动作过程中存在倾倒风险。
可选地，该确定模块205还用于在该预设初始姿态的目标重心位于第一预设重心范围外，或者该预设终止姿态的目标重心位于第二预设重心范围外的情况下，确定该机器人在执行该目标动作过程中存在倾倒风险。
采用上述方式，本公开通过获取机器人待执行的目标动作对应的目标动作图像，该目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；根据该第一姿态图像和该第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，该仿真姿态包括该机器人由该预设初始姿态切换至该预设终止姿态的过程中需要完成的姿态；分别获取该预设初始姿态、该预设终止姿态以及每个该仿真姿态的目标重心；根据该目标重心，获取该目标动作对应的重心移动轨迹；根据该重心移动轨迹，确定该机器人执行该目标动作时的稳定性检测结果，该稳定性检测结果用于表征该机器人在执行该目标动作过程中是否存在倾倒风险。这样，本公开可以根据预设初始姿态和预设终止姿态，通过仿真确定多个仿真姿态，并根据各个姿态的目标重心来确定目标动作对应的重心移动轨迹，根据重心移动轨迹来确定机器人执行目标动作时的稳定性检测结果，通过这样的方式，可以利用数字孪生技术在虚拟世界中分析机器人执行目标动作的稳定性，通过这样的方式，可以在机器人实际执行该目标动作之前，提前在虚拟世界中利用重心加速度对该目标动作进行稳定性分析，确定机器人在执行该目标动作时是否有倾倒风险，能够避免机器人在实际执行该目标动作时由于不稳定而倾倒，提高机器人执行工作任务的效率，并且，可以提前对该目标动作进行风险预测，降低机器人学习目标动作的学习成本。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。
其中，处理器501用于控制该电子设备500的整体操作，以完成上述的动作检测方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的动作检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的动作检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的动作检测方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的动作检测方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种动作检测方法，其特征在于，所述方法包括：
获取机器人待执行的目标动作对应的目标动作图像，所述目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；
根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，所述仿真姿态包括所述机器人由所述预设初始姿态切换至所述预设终止姿态的过程中需要完成的姿态；
分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心；
根据所述目标重心，获取所述目标动作对应的重心移动轨迹；
根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中是否存在倾倒风险；
所述根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果包括：
确定与所述重心移动轨迹对应的重心移动加速度；
根据所述重心移动加速度确定所述目标动作的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中的是否存在倾倒风险；
所述根据所述重心移动加速度确定所述目标动作的稳定性检测结果包括：
在所述预设初始姿态的目标重心位于第一预设重心范围内，且所述预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据所述重心移动加速度确定所述目标动作的稳定性检测结果。
2.根据权利要求1所述的方法，其特征在于，所述分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心包括：
获取每个所述仿真图像中所述机器人的一个或多个指定部位的重心数据；
根据所述一个或多个指定部位的重心数据，获取所述目标重心。
3.根据权利要求1所述的方法，其特征在于，所述确定与所述重心移动轨迹对应的重心移动加速度包括：
根据所述重心移动轨迹确定所述目标重心的运动速度和运动方向；
根据所述目标重心的运动速度和运动方向确定所述重心移动加速度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果包括：
在所述重心移动加速度大于或者等于预设加速度阈值的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述预设初始姿态的目标重心位于第一预设重心范围外，或者所述预设终止姿态的目标重心位于第二预设重心范围外的情况下，确定所述机器人在执行所述目标动作过程中存在倾倒风险。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，包括：
根据所述第一姿态图像、所述第二姿态图像以及预设姿态参数，通过预设动作仿真算法得到多个仿真姿态的仿真图像。
7.一种动作检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取机器人待执行的目标动作对应的目标动作图像，所述目标动作图像包括预设初始姿态的第一姿态图像和预设终止姿态的第二姿态图像；
仿真模块，用于根据所述第一姿态图像和所述第二姿态图像，通过预设动作仿真算法得到多个仿真姿态的仿真图像，所述仿真姿态包括所述机器人由所述预设初始姿态切换至所述预设终止姿态的过程中需要完成的姿态；
第二获取模块，用于分别获取所述预设初始姿态、所述预设终止姿态以及每个所述仿真姿态的目标重心；
第三获取模块，用于根据所述目标重心，获取所述目标动作对应的重心移动轨迹；
确定模块，用于根据所述重心移动轨迹，确定所述机器人执行所述目标动作时的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中是否存在倾倒风险；
所述确定模块，用于确定与所述重心移动轨迹对应的重心移动加速度；
根据所述重心移动加速度确定所述目标动作的稳定性检测结果，所述稳定性检测结果用于表征所述机器人在执行所述目标动作过程中的是否存在倾倒风险；
所述确定模块，用于在所述预设初始姿态的目标重心位于第一预设重心范围内，且所述预设终止姿态的目标重心位于第二预设重心范围内的情况下，根据所述重心移动加速度确定所述目标动作的稳定性检测结果。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN202210317056.4A 2022-03-28 2022-03-28 动作检测方法、装置、可读存储介质及电子设备 Active CN114571463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210317056.4A CN114571463B (zh) 2022-03-28 2022-03-28 动作检测方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210317056.4A CN114571463B (zh) 2022-03-28 2022-03-28 动作检测方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114571463A CN114571463A (zh) 2022-06-03
CN114571463B true CN114571463B (zh) 2023-10-20

Family

ID=81782253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210317056.4A Active CN114571463B (zh) 2022-03-28 2022-03-28 动作检测方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114571463B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997175A (zh) * 2016-10-21 2017-08-01 遨博（北京）智能科技有限公司 一种机器人仿真控制方法及装置
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法
CN109375627A (zh) * 2018-11-26 2019-02-22 清华大学 重心调整装置及方法
CN111506094A (zh) * 2020-04-14 2020-08-07 腾讯科技（深圳）有限公司 质心位置确定方法、装置、足式机器人及存储介质
CN112684794A (zh) * 2020-12-07 2021-04-20 杭州未名信科科技有限公司 基于元强化学习的足式机器人运动控制方法、装置及介质
CN112936290A (zh) * 2021-03-25 2021-06-11 西湖大学 一种基于分层强化学习的四足机器人运动规划方法
WO2022002032A1 (zh) * 2020-06-29 2022-01-06 北京灵汐科技有限公司 图像驱动模型训练、图像生成

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997175A (zh) * 2016-10-21 2017-08-01 遨博（北京）智能科技有限公司 一种机器人仿真控制方法及装置
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法
CN109375627A (zh) * 2018-11-26 2019-02-22 清华大学 重心调整装置及方法
CN111506094A (zh) * 2020-04-14 2020-08-07 腾讯科技（深圳）有限公司 质心位置确定方法、装置、足式机器人及存储介质
WO2022002032A1 (zh) * 2020-06-29 2022-01-06 北京灵汐科技有限公司 图像驱动模型训练、图像生成
CN112684794A (zh) * 2020-12-07 2021-04-20 杭州未名信科科技有限公司 基于元强化学习的足式机器人运动控制方法、装置及介质
CN112936290A (zh) * 2021-03-25 2021-06-11 西湖大学 一种基于分层强化学习的四足机器人运动规划方法

Also Published As

Publication number Publication date
CN114571463A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN112580582B (zh) 动作学习方法、装置、介质及电子设备
CN110516389B (zh) 行为控制策略的学习方法、装置、设备及存储介质
CN112847336B (zh) 动作学习方法、装置、存储介质及电子设备
CN113119104B (zh) 机械臂控制方法、机械臂控制装置、计算设备及系统
CN111515953A (zh) 路径规划方法、装置及电子设备
CN112631128A (zh) 一种多模异构信息融合的机器人装配技能学习方法及系统
CN112965592A (zh) 设备交互方法、装置及系统
CN114571463B (zh) 动作检测方法、装置、可读存储介质及电子设备
CN114700937A (zh) 机械臂及其运动路径规划方法、控制系统、介质及机器人
CN116728419B (zh) 弹琴机器人的连续弹琴动作规划方法、系统、设备及介质
CN113290553A (zh) 轨迹生成装置、多连杆系统以及轨迹生成方法
CN110962120B (zh) 网络模型的训练方法及装置、机械臂运动控制方法及装置
CN113551661A (zh) 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN116673968A (zh) 基于强化学习的机械臂轨迹规划要素选择方法及系统
CN114820802A (zh) 高自由度灵巧手抓取规划方法、装置和计算机设备
CN114454981B (zh) 双足机器人的弹跳运动控制方法、装置及双足机器人
US20240083023A1 (en) Robot model learning device, robot model machine learning method, recording medium storing robot model machine learning program, robot control device, robot control method, and recording medium storing robot control program
CN114897339A (zh) 任务评价方法、装置、存储介质及电子设备
CN113001537B (zh) 机械臂控制方法、机械臂控制装置及终端设备
KR20220066535A (ko) 영상 내의 모션 인식 방법, 서버 및 시스템
CN117348577B (zh) 一种生产工艺仿真检测方法、装置、设备以及介质
CN112936282B (zh) 一种提高工业机器人体感控制精确度的方法及系统
CN117961879A (zh) 机械臂运动控制方法、装置、设备及可读存储介质
CN112686977B (zh) 人体模型动作重定向方法、装置、电子设备及存储介质
CN114683280B (zh) 对象控制方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant