CN106272446A - 机器人动作模拟的方法和装置 - Google Patents

机器人动作模拟的方法和装置 Download PDF

Info

Publication number
CN106272446A
CN106272446A CN201610622551.0A CN201610622551A CN106272446A CN 106272446 A CN106272446 A CN 106272446A CN 201610622551 A CN201610622551 A CN 201610622551A CN 106272446 A CN106272446 A CN 106272446A
Authority
CN
China
Prior art keywords
degree
freedom
robot
image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610622551.0A
Other languages
English (en)
Other versions
CN106272446B (zh
Inventor
陆见微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201610622551.0A priority Critical patent/CN106272446B/zh
Publication of CN106272446A publication Critical patent/CN106272446A/zh
Application granted granted Critical
Publication of CN106272446B publication Critical patent/CN106272446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人动作模拟的方法和装置。其中,机器人具有图像采集设备,该方法包括:按预设帧率从图像采集设备采集的图像数据中提取获得第一图像;对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数;基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数;基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。本发明解决了现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。

Description

机器人动作模拟的方法和装置
技术领域
本发明涉及机器人领域,具体而言,涉及一种机器人动作模拟的方法和装置。
背景技术
机器人(Robot)是自动执行工作的机器装置。它既可以接受人的指令,与人交流,又可以运行预先编排的程序,也可以根据以人工智能技术定制的原则纲领行动。它的任务是协助或取代人类的工作,例如,生产业、建筑业或是危险的工作。机器人是高级整合控制论、机械电子、计算机、材料和仿生学的产物。目前在工业、医学、农业甚至军事等领域中均等有重要用途。
随着人工智能的发展,机器人的应用越来越广泛,机器人能够根据用户指示执行指示的相应的命令,在执行用户指令的过程中,需要机器人的肢体配合根据指令来完成相应的动作。机器人在执行不同的动作时,涉及到运动底盘、手臂、头部等很多个自由度,然而在某些场合需要给机器人设计一套相对复杂的动作时,由于动作的复杂程度高,需要设置自由度参数的部位多,因此导致准确设定机器人的各个自由度动作在交互上是十分困难的。
针对现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种机器人动作模拟的方法和装置,以至少解决现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。
根据本发明实施例的一个方面,提供了一种机器人动作模拟的方法,机器人具有图像采集设备,该方法包括:按预设帧率从图像采集设备采集的图像数据中提取获得第一图像;对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数;基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数;基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。
进一步地,根据预设的动作识别算法对获得的第一图像进行分析,获得第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;其中,第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成第一图像的动作识别参数。
进一步地,基于获得第一图像的时间序列,并根据每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数;根据机器人的相应运动部件在至少一个自由度上的自由度参数,生成机器人的相应电机在至少一个自由度上的电机控制参数;其中,电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
进一步地,获取机器人的相应运动部件在至少一个自由度上的全局参照系,其中,全局参照系包括相应运动部件的至少一个自由度参数以及用于使机器人的相应运动部件达到至少一个自由度参数所需的电机转速;根据全局参照系查找相应运动部件的至少一个自由度参数对应的电机转速,电机转速作为电机控制参数。
进一步地,通过2D图像采集设备获取2D的图像数据;或通过3D图像采集设备获取3D的图像数据。
进一步地,预设帧率小于机器人电机的最大响应帧频。
根据本发明实施例的另一方面,还提供了一种机器人动作模拟的装置,机器人具有图像采集设备,该装置包括:提取模块,用于按预设帧率从图像采集设备采集的图像数据中提取获得第一图像;分析模块,用于对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数;第一获取模块,用于基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数;执行模块,用于基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。
进一步地,分析模块包括:分析子模块,用于根据预设的动作识别算法对获得的第一图像进行分析,获得第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;其中,第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成第一图像的动作识别参数。
进一步地,第一获取模块包括:获取子模块,用于基于获得第一图像的时间序列,并根据每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数;生成子模块,用于根据机器人的相应运动部件在至少一个自由度上的自由度参数,生成机器人的相应电机在至少一个自由度上的电机控制参数;其中,电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
进一步地,生成子模块包括:获取单元,用于获取机器人的相应运动部件在至少一个自由度上的全局参照系,其中,全局参照系包括相应运动部件的至少一个自由度参数以及用于使机器人的相应运动部件达到至少一个自由度参数所需的电机转速;查找单元,用于根据全局参照系查找相应运动部件的至少一个自由度参数对应的电机转速,电机转速作为电机控制参数。进一步地,第二获取模块,用于通过2D图像采集设备获取2D的图像数据;或第三获取模块,用于通过3D图像采集设备获取3D的图像数据。
进一步地,预设帧率小于机器人电机的最大响应帧频。
在本发明实施例中,按预设帧率从图像采集设备采集的图像数据中提取获得第一图像,对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数,基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数,基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。上述方案通过对于预设动作进行分析得到机器人的自由度参数,再通过自由度参数推算得到机器人各个部件上的电机的电机控制参数,使得机器人根据电机控制参数来执行相应的动作就可以达到模仿预设动作的技术效果,从而解决了现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种机器人动作模拟的方法的流程图;
图2a是根据本申请实施例的一种可选的预设动作的动作数据的示意图;
图2b是根据本申请实施例中图2a所示的动作数据的骨骼信息示意图;
图2c是根据本申请实施例中图2a所示的动作的自由度参数的示意图;
图2d是根据本申请实施例中图2a所示的动作的机器人模仿的示意图;
图3是根据本申请实施例的一种可选的机器人动作模拟系统的结构示意图;以及
图4是根据本申请实施例的一种机器人动作模拟装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种机器人动作模拟的方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的机器人动作模拟的方法的流程图,如图1所示,机器人具有图像采集设备,该方法包括如下步骤:
步骤S102,按预设帧率从图像采集设备采集的图像数据中提取获得第一图像。
具体的,上述预设帧率可以是30Hz,即每秒钟从图像数据中提取30张第一图像;上述图像采集设备可以是摄像机、双目摄像头、深度sensor、激光雷达等等;图像采集设备采集的图像则可以是拍摄用户所做动作所得到的图像,用户所做到动作是需要让机器人模拟的动作。
在一种可选的实施例中,以图像采集设备采集的图像数据为预设的瑜伽动作作为示例,在图像采集设备为摄像机的情况下,用户对摄像机展示标准的瑜伽动作,摄像机记录用户所做的瑜伽动作,得到图像数据,机器人按照30Hz的帧率从图像数据中提取图像,得到上述第一图像。
步骤S104,对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数。
具体的,上述动作识别参数可以用于表示机器人的各个部件确定运动时所必须给定的独立运动参数。
此处需要说明的是,一张第一图像对应的动作识别参数的个数本申请不做具体限定,可以以能够确定机器人各个部件的具体动作的最少参数为准,对于较为简单的动作,可能仅需要一个动作识别参数。
在一种可选的实施例中,仍以机器人模仿瑜伽动作作为示例,对于其中的一帧第一图像,上述动作识别参数可以包括:双腿与地面所呈的角度、双臂与肩膀所呈的角度、大臂与小臂所呈的角度等参数。
步骤S106,基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数。
具体的,在上述步骤中,电机的控制参数为用于将机器人的各个部件调整至与动作识别参数相同或相似的参数,从而使得机器人能够模仿用户示范的动作。
步骤S108,基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。
在一种可选的实施例中,仍以预设动作为一组瑜伽动作作为示例,用户对摄像机展示一组需要机器人模仿的瑜伽动作,摄像机在获取一组瑜伽的图像数据后,从中以30Hz的帧率提取多个第一图像,通过分析多个第一图像,得到与第一图像对应的动作识别参数,然后为了使机器人的各个部件能够达到对应的动作识别参数所对应的动作,就需要使用各个部件的电机对各个部件进行控制,即使各个部件对应的电机达到所需要的电机控制参数,因此输出预存的预设动作对应的电机控制参数,则可以使机器人完成预设动作。
此处需要说明的是,现有技术中在机器人进行动作的模仿时,需要人为的设定电机的电机控制参数,如果模仿的动作复杂,则涉及到机器人的多个部件的自由度参数,很难通过人为的方式进行相应的设定,因此机器人只能进行简单的动作;而本申请上述方案通过图像采集设备来获取预设动作的图像数据,并通过分析从图像数据中提取的第一图像,得到对应的动作识别参数,并通过动作识别参数来获取对应的电机控制参数,避免了人为的设置,因此无论动作是否复杂,动作是否连贯或预设动作的时间是否较长,都可以通过本申请上述方式进行机器人动作的模仿,从而使得机器人对动作的模仿不在受限于简单的动作,进一步的,机器人能够在模仿复杂动作的基础上,能够为用户提供更多有价值的服务,例如可以在模拟标准的瑜伽动作后,为用户进行瑜伽动作的示范和矫正等。
由上可知,本申请上述步骤按预设帧率从图像采集设备采集的图像数据中提取获得第一图像,对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数,基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数,基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。上述方案通过对于预设动作进行分析得到机器人的自由度参数,再通过自由度参数推算得到机器人各个部件上的电机的电机控制参数,使得机器人根据电机控制参数来执行相应的动作就可以达到模仿预设动作的技术效果,从而解决了现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。
可选的,根据本申请上述实施例,对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数,包括:
步骤S1041,根据预设的动作识别算法对获得的第一图像进行分析,获得第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;其中,第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成第一图像的动作识别参数。
具体的,上述预设的动作识别算法可以包括:人体识别算法、骨骼识别算法和/或手势识别算法。
图2a是根据本申请实施例的一种可选的获取动作识别参数的示意图,图2a为用户示范的需要机器人来模仿的模仿动作,图2b是根据图2a所示的模仿动作,得到的骨骼信息示意图,图2c是根据图2a所示的动作得到的人体骨骼在至少一个自由度上的运动参数。在一种可选的实施例中,结合图2a、图2b和图2c所示的示例,模拟动作为用户双臂上举的动作,第一图像为图像采集设备采集到的如图2a所示的图像,人体骨骼信息为如图2b所示的机器人能够控制部件与模拟动作的对应息,人体骨骼的运动参数为如图2c所示的大臂与小臂的夹角,大臂与身体的夹角。图2d即为机器人在获取模拟动作的第一图像后,可以使用模板匹配的方法获取人体骨骼信息,可以将待分析的第一图像与已知的模板进行匹配获得分析结果,从而获得用户的人体骨骼信息。
在另一种可选的实施例中,仍结合图2a、图2b和图2c所示的示例,以人体骨骼识别进行说明,预设动作为用户双臂上举的动作,在该示例中采用Kinect 3D摄像机作为图像采集设备,当用户处于Kinect的视野范围的时候,Kinect可以通过获取并实时监测用户的20个关节点的位置来获取用户的骨骼信息,位置通过(x,y,z)坐标来表示,当用户在Kinect前面做连续复杂的动作的时,由于人的动作和关节点的位置的变化具有强关联性,因此控制器在获取到20个关节点的位置变化后,能够模拟出用户的骨骼信息。
可选的,根据本申请上述实施例,基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数,包括:
步骤S1061,基于获得第一图像的时间序列,并根据每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数。
具体的,在上述步骤中,人体骨骼信息与机器人的各个部件相互对应,因此人体骨骼在至少一个自由度上的运动参数也与机器人在相应部件的运动参数相互对应。
步骤S1063,根据机器人的相应运动部件在至少一个自由度上的自由度参数,生成机器人的相应电机在至少一个自由度上的电机控制参数;其中,电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
在一种可选的实施例中,仍然结合图2a、2b和2c所示的示例,在根据模拟动作的第一图像获取到对应的人体骨骼信息,和与人体骨骼信息对应的运动参数后,可以将人体骨骼信息中的各个骨骼与机器人的各个部件进行对应,与骨骼信息对应的运动参数也即为与骨骼对应的机器人部件的自由度参数,以机器人的双臂作为示例,为了能使双臂达到与图2b所示的骨骼信息相同的效果,机器人的大臂、小臂,身体分别与人体骨骼信息中的大臂、小臂和身体对应,那么机器人的自由度参数可以包括:大臂与机器人身体的夹角(1)以及机器人大臂与小臂的夹角(2),对应与运动参数中的大臂与小臂的夹角,大臂与身体的夹角,因此在该示例中,根据动作识别参数(包括人体骨骼信息和对应的运动参数)确定机器人的两个自由度参数,即机器人大臂与机器人身体的夹角(1)以及机器人大臂与小臂的夹角(2)。
需要说明的是,由于上述步骤获得机器人的相应运动部件在至少一个自由度上的自由度参数是基于获得第一图像的时间序列获取的,多个第一图像按照事件序列排列既能够形成需要机器人模仿的模拟动作,因此机器人按照自由度参数对应的电机控制参数执行时,能够连贯成为用户展示的需要模拟的连贯动作。
可选的,根据本申请上述实施例,根据机器人的相应运动部件在至少一个自由度上的自由度参数,生成机器人的相应电机在至少一个自由度上的电机控制参数,包括:
步骤S1065,获取机器人的相应运动部件在至少一个自由度上的全局参照系,其中,全局参照系包括相应运动部件的至少一个自由度参数以及用于使机器人的相应运动部件达到至少一个自由度参数所需的电机转速。
步骤S1067,根据全局参照系查找相应运动部件的至少一个自由度参数对应的电机转速,电机转速作为电机控制参数。
在一种可选的实施例中,以全局参照系包括自由度参数与电机转速的列表作为示例,仍然结合图2c所示的示例,在需要使机器人的手臂达到图2c所示的动作的情况下,获取机器人用于控制大臂和小臂的电机的自由度参数,并在列表中查找为了使大臂与小臂呈现角度(2),大臂与身体呈现角度(1),用于控制大臂和小臂的点击的转速。图2d即为机器人的电机执行电机参数得到的结果。由图2可见,在电机执行了电机参数后,机器人呈现了与图2a相似的动作,达到了动作模仿的技术效果。
由上可知,通过本申请上述步骤,在电机的全局参照系中查找至少一个自由度参数对应的电机转速,从而达到了不用人为控制,自行根据模拟动作获取到控制参数的技术效果,进一步的解决了现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。
可选的,根据本申请上述实施例,在按预设帧率从图像采集设备采集的图像数据中提取获得第一图像之前,方法还包括;
步骤S110,通过2D图像采集设备获取2D的图像数据;或
步骤S112,通过3D图像采集设备获取3D的图像数据。
具体的,上述2D图像采集设备可以是任意动过CMOS或CCD等固体成像传感器,3D图像采集设备可以是3D光电传感器、Kinect 3D摄像机等,在用户进行模拟动作示范时,如果预设动作为间断的动作,则图像采集设备在出现新的动作时触发获取新的动作,最后整合成为一组动作;如果模拟动作为连续的动作,则图像采集设备按照预设的帧数对预设动作进行采集,在采集的帧率足够高的情况下,获取的动作可以是与模拟动作极相似的连续的动作。
值得注意的是,采用2D图像采集设备仅能检测到用户在平面上的动作,而通过3D图像采集设备才能检测到用户在立体空间中的具体动作。
可选的,根据本申请上述实施例,预设帧率小于机器人电机的最大响应帧频。
具体的,在上述步骤中,最大响应帧率是电机能够相应的最大频率。在一种可选的实施例中,机器人电机能够响应的最大帧率为30Hz,则可以按照小于30Hz的帧率来从图像数据中提取第一图像。
图3是根据本申请实施例的一种可选的机器人动作模拟的系统的示意图,下面结合图3所示的机器人动作模拟系统描述一种可选的实施例。
首先,对图3所示的系统中的功能模块进行描述:摄像机和其他传感器,用于获取目标对象的图像数据;
视觉算法系统,可以包括人体识别、骨骼识别以及手势识别的功能,用于根据第一图像得到人体骨骼信息;
机器人关节模拟换算模块,用于根据人体骨骼信息得到动作识别参数,并根据动作识别参数得到至少一个自由度上的自由度参数;
电机控制模块,用于根据机器人关节模拟换算模块得到的至少一个自由度上的自由度参数,得到目标电机控制参数;
机器人各个关节的电机,用于根据电机控制模块的控制,达到目标电机控制参数,从而使机器人能够模拟第一图像所描述的动作。
在一种可选的实施例中,摄像机采集到用户的动作得到图像数据,并按照30Hz的帧率从中提取多帧第一图像,视觉算法系统对第一图像进行分析,得到每帧第一图像对应的人体骨骼信息和以及运动参数,在经过机器人关节模拟换算模块的换算后得到至少在一个自由度上的自由度参数之后,并根据自由度参数得到电机控制参数,电机控制模块根据电机参数控制电机的转速,使机器人能够模拟用户的动作。
实施例2
本申请还提供了一种机器人动作模拟的装置,用于执行实施例1提供的机器人动作模拟的方法,图4是根据本申请实施例的一种机器人动作模拟装置的结构示意图,机器人具有图像采集设备,该装置包括:
提取模块40,用于按预设帧率从图像采集设备采集的图像数据中提取获得第一图像。
具体的,上述预设帧率可以是30Hz,即每秒钟从图像数据中提取30张第一图像;上述图像采集设备可以是摄像机、双目摄像头、深度sensor、激光雷达等等;图像采集设备采集的图像则可以是拍摄用于所做的需要让机器人模拟的动作得到的图像。
在一种可选的实施例中,以图像采集设备采集的图像数据为预设的瑜伽动作作为示例,在图像采集设备为摄像机的情况下,用户对摄像机展示标准的瑜伽动作,摄像机记录用户所做的瑜伽动作,得到图像数据,机器人按照30Hz的帧率从图像数据中提取图像,得到上述第一图像。
分析模块42,用于对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数。
具体的,上述动作识别参数可以用于表示机器人的各个部件确定运动时所必须给定的独立运动参数。
此处需要说明的是,一张第一图像对顶的动作识别参数的个数本申请不做具体限定,可以以能够确定机器人各个部件的具体动作的最少参数为准,对于较为简单的动作,可能仅需要一个动作识别参数。
在一种可选的实施例中,仍以机器人模仿瑜伽动作作为示例,对于其中的一帧第一图像,上述动作识别参数可以包括:双腿与地面所呈的角度、双臂与肩膀所呈的角度、大臂与小臂所呈的角度等参数。
第一获取模块44,用于基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数。
执行模块46,用于基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。
在一种可选的实施例中,仍以预设动作为一组瑜伽动作作为示例,用户对摄像机展示一组需要机器人模仿的瑜伽动作,摄像机在获取一组瑜伽的图像数据后,从中以30Hz的帧率提取多个第一图像,通过分析多个第一图像,得到与第一图像对应的动作识别参数,然后为了使机器人的各个部件能够达到对应的动作识别参数所对应的动作,就需要使用各个部件的电机对各个部件进行控制,即使各个部件对应的电机达到所需要的电机控制参数,因此输出预存的预设动作对应的电机控制参数,则可以使机器人完成预设动作。
此处需要说明的是,现有技术中在机器人进行动作的模仿时,需要人为的设定电机的电机控制参数,如果模仿的动作复杂,则涉及到机器人的多个部件的自由度参数,很难通过人为的方式进行相应的设定,因此机器人只能进行简单的动作;而本申请上述方案通过图像采集设备来获取预设动作的图像数据,并通过分析从图像数据中提取的第一图像,得到对应的动作识别参数,并通过动作识别参数来获取对应的电机控制参数,避免了人为的设置,因此无论动作是否复杂,动作是否连贯或预设动作的时间是否较长,都可以通过本申请上述方式进行机器人动作的模仿,从而使得机器人对动作的模仿不在受限于简单的动作,进一步的,机器人能够在模仿复杂动作的基础上,能够为用户提供更多有价值的服务,例如可以在模拟标准的瑜伽动作后,为用户进行瑜伽动作的示范和矫正等。
由上可知,本申请上述装置通过提取模块按预设帧率从图像采集设备采集的图像数据中提取获得第一图像,通过分析模块对获得的第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数,通过第一获取模块基于获得第一图像的时间序列,以及每一帧第一图像的动作识别参数,获得机器人在至少一个自由度上的电机控制参数,通过执行模块基于时间序列,执行至少一个自由度上的电机控制参数,使机器人完成在至少一个自由度上的动作。上述方案通过对于预设动作进行分析得到机器人的自由度参数,再通过自由度参数推算得到机器人各个部件上的电机的电机控制参数,使得机器人根据电机控制参数来执行相应的动作就可以达到模仿预设动作的技术效果,从而解决了现有技术中给机器人设计相对复杂的动作时,准确设定机器人的各个自由度动作十分困难的技术问题。
可选的,根据本申请上述实施例,分析模块32包括:
分析子模块,用于根据预设的动作识别算法对获得的第一图像进行分析,获得第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;其中,第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成第一图像的动作识别参数。
可选的,根据本申请上述实施例,第一获取模块34包括:
获取子模块,用于基于获得第一图像的时间序列,并根据每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数。
生成子模块,用于根据机器人的相应运动部件在至少一个自由度上的自由度参数,生成机器人的相应电机在至少一个自由度上的电机控制参数;其中,电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
可选的,根据本申请上述实施例,生成子模块包括:
获取单元,用于获取机器人的相应运动部件在至少一个自由度上的全局参照系,其中,全局参照系包括相应运动部件的至少一个自由度参数以及用于使机器人的相应运动部件达到至少一个自由度参数所需的电机转速。
查找单元,用于根据全局参照系查找相应运动部件的至少一个自由度参数对应的电机转速,电机转速作为电机控制参数。
可选的,根据本申请上述实施例,上述装置还包括;
第二获取模块,用于通过2D图像采集设备获取2D的图像数据;或
第三获取模块,用于通过3D图像采集设备获取3D的图像数据。
可选的,根据本申请上述实施例,预设帧率小于机器人电机的最大响应帧频。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种机器人动作模拟的方法,其特征在于,所述机器人具有图像采集设备,所述方法包括:
按预设帧率从所述图像采集设备采集的图像数据中提取获得第一图像;
对获得的所述第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数;
基于获得所述第一图像的时间序列,以及所述每一帧第一图像的动作识别参数,获得所述机器人在至少一个自由度上的电机控制参数;
基于所述时间序列,执行所述至少一个自由度上的电机控制参数,使所述机器人完成在至少一个自由度上的动作。
2.根据权利要求1所述的方法,其特征在于,对获得的所述第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数,包括:
根据预设的动作识别算法对获得的所述第一图像进行分析,获得所述第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;
其中,所述第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成所述第一图像的动作识别参数。
3.根据权利要求2所述的方法,其特征在于,基于获得所述第一图像的时间序列,以及所述每一帧第一图像的动作识别参数,获得所述机器人在至少一个自由度上的电机控制参数,包括:
基于获得所述第一图像的时间序列,并根据所述每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数;
根据所述机器人的相应运动部件在至少一个自由度上的自由度参数,生成所述机器人的相应电机在至少一个自由度上的电机控制参数;
其中,所述电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
4.根据权利要求3所述的方法,其特征在于,根据所述机器人的相应运动部件在至少一个自由度上的自由度参数,生成所述机器人的相应电机在至少一个自由度上的电机控制参数,包括:
获取所述机器人的相应运动部件在至少一个自由度上的全局参照系,其中,所述全局参照系包括所述相应运动部件的至少一个自由度参数以及用于使所述机器人的相应运动部件达到所述至少一个自由度参数所需的电机转速;
根据所述全局参照系查找所述相应运动部件的至少一个自由度参数对应的电机转速,所述电机转速作为所述电机控制参数。
5.根据权利要求1所述的方法,其特征在于,在按预设帧率从所述图像采集设备采集的图像数据中提取获得第一图像之前,所述方法还包括;
通过2D图像采集设备获取2D的所述图像数据;或
通过3D图像采集设备获取3D的所述图像数据。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述预设帧率小于所述机器人电机的最大响应帧频。
7.一种机器人动作模拟的装置,其特征在于,所述机器人具有图像采集设备,所述装置包括:
提取模块,用于按预设帧率从所述图像采集设备采集的图像数据中提取获得第一图像;
分析模块,用于对获得的所述第一图像进行动作分析,获得被分析的每一帧第一图像的动作识别参数;
第一获取模块,用于基于获得所述第一图像的时间序列,以及所述每一帧第一图像的动作识别参数,获得所述机器人在至少一个自由度上的电机控制参数;
执行模块,用于基于所述时间序列,执行所述至少一个自由度上的电机控制参数,使所述机器人完成在至少一个自由度上的动作。
8.根据权利要求7所述的装置,其特征在于,所述分析模块包括:
分析子模块,用于根据预设的动作识别算法对获得的所述第一图像进行分析,获得所述第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数;
其中,所述第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,组成所述第一图像的动作识别参数。
9.根据权利要求8所述的装置,其特征在于,所述第一获取模块包括:
获取子模块,用于基于获得所述第一图像的时间序列,并根据所述每一帧第一图像中的人体骨骼信息、以及各人体骨骼在至少一个自由度上的运动参数,获得机器人的相应运动部件在至少一个自由度上的自由度参数;
生成子模块,用于根据所述机器人的相应运动部件在至少一个自由度上的自由度参数,生成所述机器人的相应电机在至少一个自由度上的电机控制参数;
其中,所述电机为控制相应运动部件在至少一个自由度上运动的电机;且,预先保存有各人体骨骼的自由度与机器人的相应运动部件的自由度的映射关系。
10.根据权利要求9所述的装置,其特征在于,所述生成子模块包括:
获取单元,用于获取所述机器人的相应运动部件在至少一个自由度上的全局参照系,其中,所述全局参照系包括所述相应运动部件的至少一个自由度参数以及用于使所述机器人的相应运动部件达到所述至少一个自由度参数所需的电机转速;
查找单元,用于根据所述全局参照系查找所述相应运动部件的至少一个自由度参数对应的电机转速,所述电机转速作为所述电机控制参数。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括;
第二获取模块,用于通过2D图像采集设备获取2D的所述图像数据;或
第三获取模块,用于通过3D图像采集设备获取3D的所述图像数据。
12.根据权利要求7至11中任意一项所述的装置,其特征在于,所述预设帧率小于所述机器人电机的最大响应帧频。
CN201610622551.0A 2016-08-01 2016-08-01 机器人动作模拟的方法和装置 Active CN106272446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610622551.0A CN106272446B (zh) 2016-08-01 2016-08-01 机器人动作模拟的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610622551.0A CN106272446B (zh) 2016-08-01 2016-08-01 机器人动作模拟的方法和装置

Publications (2)

Publication Number Publication Date
CN106272446A true CN106272446A (zh) 2017-01-04
CN106272446B CN106272446B (zh) 2019-02-12

Family

ID=57664001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610622551.0A Active CN106272446B (zh) 2016-08-01 2016-08-01 机器人动作模拟的方法和装置

Country Status (1)

Country Link
CN (1) CN106272446B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459707A (zh) * 2018-01-26 2018-08-28 上海萌王智能科技有限公司 一种利用智能终端识别动作并控制机器人的系统
CN109822578A (zh) * 2019-04-04 2019-05-31 黄山学院 一种智能烹饪机器人系统及控制方法
CN110091323A (zh) * 2018-01-30 2019-08-06 优必选教育(深圳)有限公司 一种智能设备及机器人的控制方法、具有存储功能的装置
CN112248010A (zh) * 2020-10-27 2021-01-22 北京晶品特装科技股份有限公司 便携式侦察机器人操控模拟装置
CN112894828A (zh) * 2021-03-02 2021-06-04 乐聚(深圳)机器人技术有限公司 机器人动作模仿方法、装置、设备及存储介质
CN113676660A (zh) * 2021-08-11 2021-11-19 维沃移动通信有限公司 一种拍摄方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311521A (ja) * 2005-03-31 2006-11-09 Maspro Denkoh Corp 情報処理装置及びプログラム
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN104440926A (zh) * 2014-12-09 2015-03-25 重庆邮电大学 一种基于Kinect的机械臂体感远程控制方法及系统
CN104570731A (zh) * 2014-12-04 2015-04-29 重庆邮电大学 一种基于Kinect的无标定人机交互控制系统及方法
CN204366968U (zh) * 2015-01-04 2015-06-03 广东工业大学 基于三维体感摄影机的多自由度仿人机器人
CN205343149U (zh) * 2015-12-25 2016-06-29 南京信息工程大学 一种基于体感识别的机械手无线控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311521A (ja) * 2005-03-31 2006-11-09 Maspro Denkoh Corp 情報処理装置及びプログラム
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN104570731A (zh) * 2014-12-04 2015-04-29 重庆邮电大学 一种基于Kinect的无标定人机交互控制系统及方法
CN104440926A (zh) * 2014-12-09 2015-03-25 重庆邮电大学 一种基于Kinect的机械臂体感远程控制方法及系统
CN204366968U (zh) * 2015-01-04 2015-06-03 广东工业大学 基于三维体感摄影机的多自由度仿人机器人
CN205343149U (zh) * 2015-12-25 2016-06-29 南京信息工程大学 一种基于体感识别的机械手无线控制系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459707A (zh) * 2018-01-26 2018-08-28 上海萌王智能科技有限公司 一种利用智能终端识别动作并控制机器人的系统
CN110091323A (zh) * 2018-01-30 2019-08-06 优必选教育(深圳)有限公司 一种智能设备及机器人的控制方法、具有存储功能的装置
CN110091323B (zh) * 2018-01-30 2020-11-24 优必选教育(深圳)有限公司 一种智能设备及机器人的控制方法、具有存储功能的装置
CN109822578A (zh) * 2019-04-04 2019-05-31 黄山学院 一种智能烹饪机器人系统及控制方法
CN112248010A (zh) * 2020-10-27 2021-01-22 北京晶品特装科技股份有限公司 便携式侦察机器人操控模拟装置
CN112248010B (zh) * 2020-10-27 2021-06-25 北京晶品特装科技股份有限公司 便携式侦察机器人操控模拟装置
CN112894828A (zh) * 2021-03-02 2021-06-04 乐聚(深圳)机器人技术有限公司 机器人动作模仿方法、装置、设备及存储介质
CN112894828B (zh) * 2021-03-02 2022-05-20 乐聚(深圳)机器人技术有限公司 机器人动作模仿方法、装置、设备及存储介质
CN113676660A (zh) * 2021-08-11 2021-11-19 维沃移动通信有限公司 一种拍摄方法、装置及电子设备
CN113676660B (zh) * 2021-08-11 2023-04-07 维沃移动通信有限公司 一种拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
CN106272446B (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN106272446A (zh) 机器人动作模拟的方法和装置
US20230252709A1 (en) Generating a background that allows a first avatar to take part in an activity with a second avatar
Liu et al. A facial expression emotion recognition based human-robot interaction system.
Darrell et al. A novel environment for situated vision and behavior
Hwang et al. Eldersim: A synthetic data generation platform for human action recognition in eldercare applications
CN108983636B (zh) 人机智能共生平台系统
CN106139564A (zh) 图像处理方法和装置
Fitzpatrick From First Contact to Close Encounters: A developmentally deep perceptual system for a humanoid robot
CN106354264A (zh) 基于视线追踪的实时人机交互系统及其工作方法
CN102222342A (zh) 人体运动跟踪及其识别方法
Chen et al. A selective attention guided initiative semantic cognition algorithm for service robot
CN110414475A (zh) 一种机器人复现人体演示动作的方法和装置
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
Moringen et al. Search procedures during haptic search in an unstructured 3d display
CN115442519A (zh) 视频处理方法、装置及计算机可读存储介质
Narang et al. Generating virtual avatars with personalized walking gaits using commodity hardware
Gutiérrez López de la Franca et al. Extended body-angles algorithm to recognize activities within intelligent environments
Xu Single-view and multi-view methods in marker-less 3d human motion capture
Covre et al. Generation of action recognition training data through rotoscoping and augmentation of synthetic animations
CN110503056A (zh) 以ar技术为基础应用于认知功能评估的肢体动作识别方法
Ramirez-Amaro et al. A benchmarking dataset for automatic symbolic grounding from virtual demonstrations
Yücel et al. Head pose and neural network based gaze direction estimation for joint attention modeling in embodied agents
Anuradha Deep Learning based Human Activity Recognition System with Open Datasets
Darrell et al. A novel environment for situated vision and behavior
Gutierrez et al. Reflex movements for a virtual human: a biology inspired approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant