CN112894828A - 机器人动作模仿方法、装置、设备及存储介质 - Google Patents

机器人动作模仿方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112894828A
CN112894828A CN202110232355.3A CN202110232355A CN112894828A CN 112894828 A CN112894828 A CN 112894828A CN 202110232355 A CN202110232355 A CN 202110232355A CN 112894828 A CN112894828 A CN 112894828A
Authority
CN
China
Prior art keywords
key points
robot
human body
target rotation
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110232355.3A
Other languages
English (en)
Other versions
CN112894828B (zh
Inventor
冷晓琨
常琳
王松
白学林
柯真东
吴雨璁
何治成
黄贤贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leju Shenzhen Robotics Co Ltd
Original Assignee
Leju Shenzhen Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leju Shenzhen Robotics Co Ltd filed Critical Leju Shenzhen Robotics Co Ltd
Priority to CN202110232355.3A priority Critical patent/CN112894828B/zh
Publication of CN112894828A publication Critical patent/CN112894828A/zh
Application granted granted Critical
Publication of CN112894828B publication Critical patent/CN112894828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种机器人动作模仿方法、装置、设备及存储介质,涉及机器人领域。该方法包括:对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置;以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度;控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。相对于现有技术,避免了动作序列只能产生有限的动作组合,无法实时进行动作模仿的问题。

Description

机器人动作模仿方法、装置、设备及存储介质
技术领域
本申请涉及机器人技术领域,具体而言,涉及一种机器人动作模仿方法、装置、设备及存储介质。
背景技术
近年来,机器人技术快速发展,并越来越广泛地应用于工业、医疗、科学研究与教育培训和家庭日常生活等领域当中。与此同时,愈加复杂和多样的应用环境对机器人的适应性和智能化提出了更高的要求。机器人模仿学习技术可以提高机器人学习效率,提升机器人智能化程度,将开发者从繁重的编程工作中解脱出来。对获取到的人体示教信息进行恰当的表征,以应用到机器人端,是模仿学习的重要环节。表征环节需要确立对示教动作的表征方式以及将观察到的动作映射到机器人端。
传统的机器人全身自由度控制方法一般为离线动作帧控制方法,即将机器人保存在存储器当中,其中预设的动作帧序列每帧动作包含所有自由度的角度,然后按照顺序依次执行各个动作帧,实现各种动作。
但是离线生成动作序列只能产生有限的动作组合,无法实时进行动作模仿。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种机器人动作模仿方法、装置、设备及存储介质,以解决现有技术中动作序列只能产生有限的动作组合,无法实时进行动作模仿的问题。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请一实施例提供了一种机器人动作模仿方法,所述方法包括:
对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置;
以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度;
控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
可选地,所述控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转之前,所述方法还包括:
根据各所述骨骼关键点的目标旋转角度,采用正运动学方法,计算各所述骨骼关键点基于对应的目标旋转角度进行旋转后,所述机器人四肢的末端位置;
根据各所述末端位置,检测机器人在移动过程中是否会发生关节干涉和/或碰撞;
对应地,所述控制各所述骨骼关键点根据对应的目标旋转角度进行旋转,包括:
在检测出所述机器人在移动过程中不会发生关节干涉和碰撞时,控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
可选地,所述控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转,包括:
在检测出所述机器人在移动过程中会发生关节干涉和/或碰撞时,根据发生关节干涉和/或碰撞时各所述骨骼关键点的位置,采用逆运动学更新各所述骨骼关键点的目标旋转角度;
控制各所述骨骼关键点对应的关节基于更新后的目标旋转角度进行旋转。
可选地,所述对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置之前,所述方法还包括:
对所述动作图像进行人体检测;
若检测到所述动作图像中存在多个人体,则从所述多个人体中确定所述目标人体。
可选地,所述从所述多个人体中确定所述目标人体,包括:
根据各人体的骨骼关键点在所述动作图像中的覆盖面积,判断各所述人体与所述机器人之间的距离;
确定所述多个人体中,与所述机器人距离最近的人体为所述目标人体。
可选地,所述以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度,包括:
以所述动作图像中目标人体的躯干中心为原点,采用预设的坐标变换和三角函数方法,对各所述骨骼关键点的位置进行计算,得到各所述骨骼关键点对应关节的目标旋转角度。
可选地,所述多个骨骼关键点包括下述至少两项:头部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节。
第二方面,本申请另一实施例提供了一种机器人动作模仿装置,所述装置包括:检测模块、变换模块和控制模块,其中:
所述检测模块,用于对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置;
所述变换模块,用于以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度;
所述控制模块,用于控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
可选地,所述装置还包括:计算模块,用于根据各所述骨骼关键点的目标旋转角度,采用正运动学方法,计算各所述骨骼关键点基于对应的目标旋转角度进行旋转后,所述机器人四肢的末端位置;
所述检测模块,具体用于根据各所述末端位置,检测机器人在移动过程中是否会发生关节干涉和/或碰撞;
所述控制模块,具体用于在检测出所述机器人在移动过程中不会发生关节干涉和碰撞时,控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
可选地,所述装置还包括:更新模块,用于在检测出所述机器人在移动过程中会发生关节干涉和/或碰撞时,根据发生关节干涉和/或碰撞时各所述骨骼关键点的位置,采用逆运动学更新各所述骨骼关键点的目标旋转角度;
所述控制模块,具体用于控制各所述骨骼关键点对应的关节基于更新后的目标旋转角度进行旋转。
可选地,所述装置还包括:确定模块,其中:
所述检测模块,具体用于对所述动作图像进行人体检测;
所述确定模块,用于若检测到所述动作图像中存在多个人体,则从所述多个人体中确定所述目标人体。
可选地,所述装置还包括:判断模块,用于根据各人体的骨骼关键点在所述动作图像中的覆盖面积,判断各所述人体与所述机器人之间的距离;
所述确定模块,具体用于确定所述多个人体中,与所述机器人距离最近的人体为所述目标人体。
可选地,所述计算模块,具体用于以所述动作图像中目标人体的躯干中心为原点,采用预设的坐标变换和三角函数方法,对各所述骨骼关键点的位置进行计算,得到各所述骨骼关键点对应关节的目标旋转角度。
可选地,所述多个骨骼关键点包括下述至少两项:头部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节。
第三方面,本申请另一实施例提供了一种机器人动作模仿设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当机器人动作模仿设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述第一方面任一所述方法的步骤。
第四方面,本申请另一实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是:采用本申请提供的机器人动作模仿方法,机器人可以直接采集包含有人体的动作图像,并对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在动作图像中的位置,随后以动作图像中目标人体的躯干中心为原点,对各骨骼关键点的位置进行变换,得到各骨骼关键点对应关节的目标旋转角度,并基于目标旋转角度控制各对应的骨骼关键点进行旋转,使得各骨骼关键点可以旋转至对应的目标旋转角度,这样的动作模仿方法产生的动作组合并不局限于离线生成的,可以根据实时采集的图像进行动作模仿,从而弥补了现有技术中只能产生有限的动作组合的缺陷。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的机器人动作模仿方法的流程示意图;
图2为本申请另一实施例提供的机器人动作模仿方法的流程示意图;
图3为本申请另一实施例提供的机器人动作模仿方法的流程示意图;
图4为本申请另一实施例提供的机器人动作模仿方法的流程示意图;
图5为本申请一实施例提供的机器人动作模仿装置的结构示意图;
图6为本申请另一实施例提供的机器人动作模仿装置的结构示意图;
图7为本申请一实施例提供的机器人动作模仿设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
如下结合多个具体的应用示例,对本申请实施例所提供的一种机器人动作模仿方法进行解释说明。图1为本申请一实施例提供的一种机器人动作模仿方法的流程示意图,如图1所示,该方法包括:
S101:对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在动作图像中的位置。
示例地,在一些可能的实施例中,机器人可以通过摄像头采集RGB动作头像,其中摄像头可以为机器人上的自带摄像头,也可以为机器人的外接摄像头,具体摄像头的设置方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。
S102:以动作图像中目标人体的躯干中心为原点,对各骨骼关键点的位置进行变换,得到各骨骼关键点对应关节的目标旋转角度。
在本申请的一个实施例中,机器人根据动作图像获取各骨骼关键点的名称和各骨骼关键点在动作图像中的坐标位置,随后以动作图像中目标人体的躯干中心为原点,对坐标系进行重新建立,建立以目标人物的躯干为中心点的坐标系,并在该坐标系中重新确定各骨骼关键点在目标图像中的全局坐标,再根据各骨骼关键点的全局坐标得到各骨骼关键点对应关节的目标旋转角度;在本申请的另一实施例中,机器人也可以在确定动作图像中的目标人体后,直接以目标人体的中心为原点建立坐标系,再获取各骨骼关键点的名称,和在建立的坐标系中的全局坐标;具体获取各骨骼关键点的位置坐标的方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。
S103:控制各骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
在本申请的一个实施例中,机器人在确定各骨骼关键点对应的目标旋转角度后,可以将各骨骼关键点对应的目标旋转角度发送至舵机,以使得舵机根据目标旋转角度控制各骨骼关键点对应的关节旋转至目标旋转角度。
采用本申请提供的机器人动作模仿方法,机器人可以直接采集包含有人体的动作图像,并对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在动作图像中的位置,随后以动作图像中目标人体的躯干中心为原点,对各骨骼关键点的位置进行变换,得到各骨骼关键点对应关节的目标旋转角度,并基于目标旋转角度控制各对应的骨骼关键点进行旋转,使得各骨骼关键点可以旋转至对应的目标旋转角度,这样的动作模仿方法产生的动作组合并不局限于离线生成的,可以根据实时采集的图像进行动作模仿,从而弥补了现有技术中只能产生有限的动作组合的缺陷。
在一些可能的实施例中,本申请提供的方法还可以应用于机器人实时模仿普通视频流中人体姿态的场景中,即机器人可以通过实时获取普通视频流中每一帧的动作图像,并根据每一帧的动作图像对目标人体的姿态进行模仿的方式,可以动态生成机器人拟人化动作,从而实现对普通视频流中人体姿态的实时模仿。
示例地,在本申请的一个实施例中,例如可以以动作图像中目标人体的躯干中心为原点,采用预设的坐标变换和三角函数方法,对各骨骼关键点的位置进行计算,得到各骨骼关键点对应关节的目标旋转角度。
在一些可能的实施例中,多个骨骼关键点包括下述至少两项:头部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节,在本申请的一个实施例中,多个骨骼关键点包括上述所有关键点,具体骨骼关键点包括的内容可以根据用户需要灵活调整,并不以上述实施例给出的为限。
可选地,在上述实施例的基础上,本申请实施例还可提供一种机器人动作模仿方法,如下结合附图对上述方法的实现过程进行示例说明。图2为本申请另一实施例提供的一种机器人动作模仿方法的流程示意图,如图2所示,S103之前,该方法还包括:
S104:根据各骨骼关键点的目标旋转角度,采用正运动学方法,计算各骨骼关键点基于对应的目标旋转角度进行旋转后,机器人四肢的末端位置。
S105:根据各末端位置,检测机器人在移动过程中是否会发生关节干涉和/或碰撞。
示例地,在一些可能的实施例中,在根据目标旋转角度对各骨骼关键点进行旋转之前,需要检测机器人的各骨骼关键点在基于目标旋转角度进行旋转的过程中,各关节之间是否会发生干涉,例如关节在移动过程中是否会卡住、关节点的移动是否超过预设运动范围或关节之间在移动过程中是否会碰撞等异常情况。
对应地,S103包括:
S106:在检测出机器人在移动过程中不会发生关节干涉和碰撞时,控制各骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
在机器人在移动过程中不会发生关节干涉和碰撞时,说明根据各骨骼关键点对应的目标旋转角度对各关节进行旋转是安全的,则可以根据各目标旋转角度对各骨骼关键点对应的关节进行旋转;对应的,在检测得到机器人在移动过程中会发生关节干涉和/或碰撞时,说明根据各骨骼关键点对应的目标旋转角度对各关节进行旋转是不安全的,此时则不会根据各目标旋转角度对各骨骼关键点对应的关节进行旋转。
在本申请的一个实施例中,机器人在确定移动过程中不会发生关节干涉和碰撞时,则可以将各骨骼关键点对应的目标旋转角度发送至舵机,以使得舵机根据目标旋转角度控制各骨骼关键点对应的关节旋转至目标旋转角度。
可选地,在上述实施例的基础上,本申请实施例还可提供一种机器人动作模仿方法,如下结合附图对上述方法中控制各骨骼关键点对应的关节进行旋转的实现过程进行示例说明。图3为本申请另一实施例提供的一种机器人动作模仿方法的流程示意图,如图3所示,S103可包括:
S107:在检测出机器人在移动过程中会发生关节干涉和/或碰撞时,根据发生关节干涉和/或碰撞时各骨骼关键点的位置,采用逆运动学更新各骨骼关键点的目标旋转角度。
这种通过逆运动学更新各骨骼关键点的目标旋转角度的方式,可以保证根据更新后的目标旋转角度对各对应的关节进行旋转时安全的,不会发生关节干涉和/或碰撞,避免关节干涉和/或碰撞造成舵机堵转或外壳碰撞等问题,从而保证了机器人在移动过程中的安全性。
S108:控制各骨骼关键点对应的关节基于更新后的目标旋转角度进行旋转。
在本申请的一个实施例中,机器人在确认更新后的目标旋转角度后,则可以将各骨骼关键点对应的更新后的目标旋转角度发送至舵机,以使得舵机根据更新后的目标旋转角度,控制各骨骼关键点对应的关节旋转至更新后的目标旋转角度。
由于本申请提供的方法,在机器人的每次移动前,都会对机器人的移动过程中可能产生的意外进行检测,只有在确认机器人在移动过程中不存在故障时,才会控制机器人的各个骨骼关键点对应的关节根据各自的目标旋转角度进行移动,并在移动过程中可能发生故障的情况下,根据逆运动学更新各骨骼关键点的目标旋转角度,从而通过这种对故障进行先验检测的方式,保证了机器人在移动过程中的安全性,并在可能发生故障前,及时对各骨骼关键点对应的目标旋转角度进行更新,保证机器人在根据各目标旋转角度进行移动的过程中不会发生故障,并且本申请中确定目标旋转角度和更新目标旋转角度的过程均是自动的,无需用户手动调节,相对于现有技术,避免了用户需要调节大量的参数从而造成的工作量大,和操作难度高等问题。
可选地,在上述实施例的基础上,本申请实施例还可提供一种机器人动作模仿方法,如下结合附图对上述方法的实现过程进行示例说明。图4为本申请另一实施例提供的一种机器人动作模仿方法的流程示意图,如图4所示,该方法还包括:
S109:对动作图像进行人体检测。
在一些可能的实施例中,在采集到动作图像后,首先需要对动作图像进行人体检测,确定动作图像中包括的人体数量。
若检测到动作图像中存在多个人体,则执行S110。
S110:从多个人体中确定目标人体。
示例地,在一些可能的实施例中,例如可以根据各人体的骨骼关键点在动作图像中的覆盖面积,判断各人体与机器人之间的距离;确定多个人体中,与机器人距离最近的人体为目标人体。
在一些可能的实施例中,人体与机器人之间的距离越近,在动作图像中的覆盖面积就越大,反之人体与机器人之间的距离越远,在动作图像中的覆盖面积就越小。
在本申请的一个实施例中,可以首先确定各人体的骨骼关键点的数量,只有在各人体的骨骼关键点数量大于预设数量阈值时,才确定满足条件的人体为候选人体,这样的处理方式是为了确认动作图像中的候选人体为包含完整骨骼关键点的人体,具体骨骼关键点的数量可以根据用户需要设置。
在一些可能的实施例中,除了各人体的骨骼关键点的数量,还需要确定各目标骨骼关键点的名称,只有在各人体的骨骼关键点数量大于预设数量阈值,且包括所有目标关键点的名称时,再确定满足条件的人体为候选人体,例如机器人当前需要对人体的四肢进行动作模仿时,则候选人体需要包括人体的四肢对应的所有骨骼关键点;机器人当前需要对人体的双臂进行动作模仿时,则候选人体需要至少包括人体的双臂对应的所有骨骼关键点;在确认动作图像中包括多个候选人体后,再根据各候选人体在动作图像中的覆盖面积,在各候选人体中确定在动作图像中的覆盖面积最大的候选人体为目标人体。
采用本申请提供的机器人动作模仿方法,机器人可以直接采集包含有人体的动作图像,并根据采集到的动作图像实时模仿人体的姿态,由于本申请提供的检测算法,即使在动作图像中包括多个人体,也可以在多个人体中确定得到目标人体,并通过计算目标人体的各骨骼关键点的目标旋转角度,控制目标人体的各骨骼关键点对应的关节,根据各骨骼关键点对应的目标旋转角度进行旋转,从而实现机器人模仿人体的姿态;此外,本申请在机器人模仿人体姿态的过程中,还能够实施检测各骨骼关键点对应的关节是否会发生干涉和/或碰撞,并根据检测结果实施对各骨骼关键点对应的目标转转角度进行调整,从而防止机器人在运动过程中由于关节的干涉和/或碰撞造成舵机堵转或机器人外壳碰撞等问题,从而造成机器人损坏等,保证了机器人在模仿人体姿态过程中的安全性,由于本申请机器人模仿人体的姿态是完全自动的,所以无需用户的手动调节,避免了调节大量参数造成用户工作量大,模仿难度高等问题。
下述结合附图对本申请所提供的机器人动作模仿装置进行解释说明,该机器人动作模仿装置可执行上述图1-图4任一机器人动作模仿方法,其具体实现以及有益效果参照上述,如下不再赘述。
图5为本申请一实施例提供的机器人动作模仿装置的结构示意图,如图5所示,该装置包括:检测模块201、变换模块202和控制模块203,其中:
检测模块201,用于对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在动作图像中的位置;
变换模块202,用于以动作图像中目标人体的躯干中心为原点,对各骨骼关键点的位置进行变换,得到各骨骼关键点对应关节的目标旋转角度;
控制模块203,用于控制各骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
图6为本申请另一实施例提供的机器人动作模仿装置的结构示意图,如图6所示,该装置还包括:计算模块204,用于根据各骨骼关键点的目标旋转角度,采用正运动学方法,计算各骨骼关键点基于对应的目标旋转角度进行旋转后,机器人四肢的末端位置;
检测模块201,具体用于根据各末端位置,检测机器人在移动过程中是否会发生关节干涉和/或碰撞;
控制模块203,具体用于在检测出机器人在移动过程中不会发生关节干涉和碰撞时,控制各骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
如图6所示,该装置还包括:更新模块205,用于在检测出机器人在移动过程中会发生关节干涉和/或碰撞时,根据发生关节干涉和/或碰撞时各骨骼关键点的位置,采用逆运动学更新各骨骼关键点的目标旋转角度;
控制模块203,具体用于控制各骨骼关键点对应的关节基于更新后的目标旋转角度进行旋转。
如图6所示,该装置还包括:确定模块206,其中:
检测模块201,具体用于对动作图像进行人体检测;
确定模块206,用于若检测到动作图像中存在多个人体,则从多个人体中确定目标人体。
如图6所示,该装置还包括:判断模块207,用于根据各人体的骨骼关键点在动作图像中的覆盖面积,判断各人体与机器人之间的距离;
确定模块206,具体用于确定多个人体中,与机器人距离最近的人体为目标人体。
可选地,计算模块204,具体用于以动作图像中目标人体的躯干中心为原点,采用预设的坐标变换和三角函数方法,对各骨骼关键点的位置进行计算,得到各骨骼关键点对应关节的目标旋转角度。
可选地,多个骨骼关键点包括下述至少两项:头部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图7为本申请一实施例提供的机器人动作模仿设备的结构示意图,该机器人动作模仿设备可以集成于终端设备或者终端设备的芯片。
该机器人动作模仿设备包括:处理器501、存储介质502和总线503。
处理器501用于存储程序,处理器501调用存储介质502存储的程序,以执行上述图1-图4对应的方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种程序产品,例如存储介质,该存储介质上存储有计算机程序,包括程序,该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种机器人动作模仿方法,其特征在于,所述方法包括:
对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置;
以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度;
控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
2.如权利要求1所述的方法,其特征在于,所述控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转之前,所述方法还包括:
根据各所述骨骼关键点的目标旋转角度,采用正运动学方法,计算各所述骨骼关键点基于对应的目标旋转角度进行旋转后,所述机器人四肢的末端位置;
根据各所述末端位置,检测机器人在移动过程中是否会发生关节干涉和/或碰撞;
对应地,所述控制各所述骨骼关键点根据对应的目标旋转角度进行旋转,包括:
在检测出所述机器人在移动过程中不会发生关节干涉和碰撞时,控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
3.如权利要求2所述的方法,其特征在于,所述控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转,包括:
在检测出所述机器人在移动过程中会发生关节干涉和/或碰撞时,根据发生关节干涉和/或碰撞时各所述骨骼关键点的位置,采用逆运动学更新各所述骨骼关键点的目标旋转角度;
控制各所述骨骼关键点对应的关节基于更新后的目标旋转角度进行旋转。
4.如权利要求1所述的方法,其特征在于,所述对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置之前,所述方法还包括:
对所述动作图像进行人体检测;
若检测到所述动作图像中存在多个人体,则从所述多个人体中确定所述目标人体。
5.如权利要求4所述的方法,其特征在于,所述从所述多个人体中确定所述目标人体,包括:
根据各人体的骨骼关键点在所述动作图像中的覆盖面积,判断各所述人体与所述机器人之间的距离;
确定所述多个人体中,与所述机器人距离最近的人体为所述目标人体。
6.如权利要求1所述的方法,其特征在于,所述以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度,包括:
以所述动作图像中目标人体的躯干中心为原点,采用预设的坐标变换和三角函数方法,对各所述骨骼关键点的位置进行计算,得到各所述骨骼关键点对应关节的目标旋转角度。
7.如权利要求1-6中任一所述的方法,其特征在于,所述多个骨骼关键点包括下述至少两项:头部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节。
8.一种机器人动作模仿装置,其特征在于,所述装置包括:检测模块、变换模块和控制模块,其中:
所述检测模块,用于对采集到的动作图像进行骨骼关键点检测,得到多个骨骼关键点在所述动作图像中的位置;
所述变换模块,用于以所述动作图像中目标人体的躯干中心为原点,对所述各所述骨骼关键点的位置进行变换,得到各所述骨骼关键点对应关节的目标旋转角度;
所述控制模块,用于控制各所述骨骼关键点对应的关节基于对应的目标旋转角度进行旋转。
9.一种机器人动作模仿设备,其特征在于,所述设备包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述机器人动作模仿运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述权利要求1-7任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1-7任一项所述的方法。
CN202110232355.3A 2021-03-02 2021-03-02 机器人动作模仿方法、装置、设备及存储介质 Active CN112894828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110232355.3A CN112894828B (zh) 2021-03-02 2021-03-02 机器人动作模仿方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110232355.3A CN112894828B (zh) 2021-03-02 2021-03-02 机器人动作模仿方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112894828A true CN112894828A (zh) 2021-06-04
CN112894828B CN112894828B (zh) 2022-05-20

Family

ID=76108653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110232355.3A Active CN112894828B (zh) 2021-03-02 2021-03-02 机器人动作模仿方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112894828B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106272446A (zh) * 2016-08-01 2017-01-04 纳恩博(北京)科技有限公司 机器人动作模拟的方法和装置
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN107944247A (zh) * 2017-12-13 2018-04-20 联想(北京)有限公司 解锁控制方法、装置及电子设备
CN109333527A (zh) * 2018-08-30 2019-02-15 苏州博众机器人有限公司 一种与机器人的交互方法、装置、电子设备及存储介质
CN111055275A (zh) * 2019-12-04 2020-04-24 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置
WO2020255813A1 (ja) * 2019-06-17 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106078752A (zh) * 2016-06-27 2016-11-09 西安电子科技大学 一种基于Kinect的仿人机器人人体行为模仿方法
CN106272446A (zh) * 2016-08-01 2017-01-04 纳恩博(北京)科技有限公司 机器人动作模拟的方法和装置
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN107944247A (zh) * 2017-12-13 2018-04-20 联想(北京)有限公司 解锁控制方法、装置及电子设备
CN109333527A (zh) * 2018-08-30 2019-02-15 苏州博众机器人有限公司 一种与机器人的交互方法、装置、电子设备及存储介质
WO2020255813A1 (ja) * 2019-06-17 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
CN111055275A (zh) * 2019-12-04 2020-04-24 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
CN111402290A (zh) * 2020-02-29 2020-07-10 华为技术有限公司 一种基于骨骼关键点的动作还原方法以及装置

Also Published As

Publication number Publication date
CN112894828B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
Su et al. Safety-enhanced collaborative framework for tele-operated minimally invasive surgery using a 7-DoF torque-controlled robot
Lee Full-body imitation of human motions with kinect and heterogeneous kinematic structure of humanoid robot
Li et al. A mobile robot hand-arm teleoperation system by vision and imu
CN107450376B (zh) 一种基于智能移动平台的服务机械臂抓取姿态角计算方法
Brooks The cog project
Yang et al. A study of the human-robot synchronous control system based on skeletal tracking technology
Shahverdi et al. A simple and fast geometric kinematic solution for imitation of human arms by a NAO humanoid robot
Al-Faiz et al. Kinect-based humanoid robotic manipulator for human upper limbs movements tracking
Filiatrault et al. Human arm motion imitation by a humanoid robot
Lin et al. Evaluation of human-robot arm movement imitation
Li et al. Neural learning and kalman filtering enhanced teaching by demonstration for a baxter robot
Rodríguez-León et al. An Autotuning Cable-Driven Device for Home Rehabilitation
Avalos et al. Telepresence using the kinect sensor and the NAO robot
Mower et al. ROS-PyBullet Interface: A framework for reliable contact simulation and human-robot interaction
Avalos et al. Real-time teleoperation with the Baxter robot and the Kinect sensor
CN112894828B (zh) 机器人动作模仿方法、装置、设备及存储介质
Lathuiliere et al. Visual hand posture tracking in a gripper guiding application
Sohn et al. Recursive inverse kinematic analysis for humanoid robot based on depth camera data
CN112276947A (zh) 一种机器人动作模仿方法、装置、设备及存储介质
Varshney et al. Manipulator control using human arm imitation
Soria et al. Architecture for rapid prototyping of visual controllers
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation
Xu et al. Design of a human-robot interaction system for robot teleoperation based on digital twinning
Moreno Tracking of human operator arms oriented to the control of two robotic arms
LaViers An information theoretic measure for robot expressivity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant