CN105700481A - 一种智能机器人动作生成方法及系统 - Google Patents
一种智能机器人动作生成方法及系统 Download PDFInfo
- Publication number
- CN105700481A CN105700481A CN201610169403.8A CN201610169403A CN105700481A CN 105700481 A CN105700481 A CN 105700481A CN 201610169403 A CN201610169403 A CN 201610169403A CN 105700481 A CN105700481 A CN 105700481A
- Authority
- CN
- China
- Prior art keywords
- robot
- continuous action
- continuous
- data
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40394—Combine offline with online information to generate robot actions
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种智能机器人动作生成方法以及系统。本发明的方法包括:录制在第一持续时间内连续的用户行为数据;将所述用户行为数据编译为描述机器人连续动作的连续动作数据,其中,所述连续动作数据的时间轴与所述用户行为数据的时间轴匹配,所述连续动作数据中任意时间节点上的机器人动作与所述用户行为数据在相应时间节点上的用户具体行为匹配;按照预设格式保存所述连续动作数据。与现有技术相比,根据本发明的方法以及系统,可以大大简化机器人连续动作的设计过程,从而降低工作量、提高工作效率;进一步的,由于机器人的动作是由用户连续行为匹配生成,因此机器人的动作的连贯性、自然性以及灵活度都大大提高。
Description
技术领域
本发明涉及机器人领域,具体说涉及一种智能机器人动作生成方法及系统。
背景技术
在现有技术中,机器人的动作行为开发多停留在将多个动作行为指令直接写入硬件以运行成一系列连贯的动作。基于上述模式,在设计和编译机器人动作时,尤其是在设计一套动作时,需设计机器人在各个时间点的动作,并将这一按时间排列的数值序列在机器人或机器人虚拟器上运行。设置的时间节点越多,每个时间节点上设计的动作行为越精细,越能达到更好的动作行为表现效果。
但是随着时间节点的增加以及动作行为精细程度的增加,动作设计开发的工作量随之增大。为了降低工作量,通常采用的办法是减少时间节点数量,只对精简后的时间节点上的动作行为进行精细设计,然后采用自动路径规划生成两个动作行为之间的一系列动作行为。但是在这种模式下,如果自动路径规划的规划不够好,则表现效果不好。并且为了保证动作行为精度,每个时间节点上的动作行为设计仍需要消耗较大工作量。
因此,为了降低机器人动作行为设计的工作量,进一步提高机器人动作行为的表现效果,需要一种机器人设计中的动作生成方法及系统。
发明内容
为了降低机器人动作行为设计的工作量,进一步提高机器人动作行为的表现效果,本发明提供了一种智能机器人动作生成方法,所述方法包括以下步骤:
录制在第一持续时间内连续的用户行为数据;
将所述用户行为数据编译为描述机器人连续动作的连续动作数据,其中,所述连续动作数据的时间轴与所述用户行为数据的时间轴匹配,所述连续动作数据中任意时间节点上的机器人动作与所述用户行为数据在相应时间节点上的用户具体行为匹配;
按照预设格式保存所述连续动作数据。
在一实施例中,获取在第一持续时间内连续的用户行为数据包括:
录制实体机器人在所述第一持续时间内的连续动作;
所述实体机器人配置为在用户操控下做出所述连续动作。
在一实施例中,获取在第一持续时间内连续的用户行为数据包括:
在所述第一持续时间内基于机器人操控界面执行连续操控行为以控制虚拟机器人实现连续动作;
采集并录制所述连续操控行为。
在一实施例中,获取在第一持续时间内连续的用户行为数据包括:
录制在所述第一持续时间内用户的五官动作图像和/或肢体动作图像;
分析所述五官动作图像和/或所述肢体动作图像以获取五官连续动作和/或肢体连续动作。
在一实施例中,将所述用户行为数据编译为描述机器人连续动作的连续动作数据,其中,利用虚拟机器人展示所述连续动作数据描述的机器人连续动作。
在一实施例中,按照预设格式保存所述连续动作数据包括:
为所述连续动作数据添加场景标签,所述场景标签用于描述所述机器人连续动作匹配的应用/对话场景。
在一实施例中,按照预设格式保存所述连续动作数据,包括,将多个所述连续动作数据组合并保存为新的连续动作数据。
本发明还提出了一种智能机器人动作生成系统,所述系统包括:
录制模块,其配置为录制在第一持续时间内连续的用户行为数据;
编译模块,其配置为基于预设匹配规则将所述用户行为数据编译为描述机器人连续动作的连续动作数据,所述机器人连续动作与所述用户行为数据匹配;
存储模块,其配置为按照预设格式保存所述连续动作数据。
在一实施例中,所述系统还包括展示模块,所述展示模块配置为利用虚拟机器人展示所述连续动作数据描述的机器人连续动作。
在一实施例中,所述存储模块包括标签添加装置,所述标签添加装置配置为为所述连续动作数据添加场景标签,所述场景标签用于描述所述机器人连续动作匹配的应用/对话场景。
与现有技术相比,根据本发明的方法以及系统,可以大大简化机器人连续动作的设计过程,从而降低工作量、提高工作效率;进一步的,由于机器人的动作是由用户连续行为匹配生成,因此机器人的动作的连贯性、自然性以及灵活度都大大提高。
本发明的其它特征或优点将在随后的说明书中阐述。并且,本发明的部分特征或优点将通过说明书而变得显而易见,或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1-图4分别是根据本发明不同实施例的方法实施流程图;
图5-图7分别是根据本发明不同实施例组合连续动作数据的时间轴示意图;
图8是根据本发明一实施例的系统结构简图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
在现有技术中,机器人的动作行为开发多停留在将多个动作行为指令直接写入硬件以运行成一系列连贯的动作。基于上述模式,在设计和编译机器人动作时,尤其是在设计一套动作时,需设计机器人在各个时间点的动作,并将这一按时间排列的数值序列在机器人或机器人虚拟器上运行。设置的时间节点越多,每个时间节点上设计的动作行为越精细,越能达到更好的动作行为表现效果。
但是随着时间节点的增加以及动作行为精细程度的增加,动作设计开发的工作量随之增大。为了降低工作量,通常采用的办法是减少时间节点数量,只对精简后的时间节点上的动作行为进行精细设计,然后采用自动路径规划生成两个动作行为之间的一系列动作行为。但是在这种模式下,如果自动路径规划的规划不够好,则表现效果不好。并且为了保证动作行为精度,每个时间节点上的动作行为设计仍需要消耗较大工作量。
为了降低机器人动作行为设计的工作量,进一步提高机器人动作行为的表现效果,本发明提出了一种智能机器人动作生成方法。接下来基于流程图详细描述根据本发明实施例的方法的具体实施步骤。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本说明书描述中所涉及到的机器人由执行机构、驱动装置、控制系统和感知系统构成。在执行机构中主要包括头部、上肢部、躯干和下肢部,在驱动装置中,包括电驱动装置、液压驱动装置和气压驱动装置。控制系统作为机器人的核心部分,,类似于人的大脑,其主要包括上位机、下位机和服务器,然而上述举例仅供理解本发明保护的方案,并不作为局限。
感知系统包括摄像头、麦克风、红外装置等,用以采集多模态信息。摄像头可以设置在头部,类似于人眼。红外装置可以设置在躯干的任意部位上,或者其它位置,用以辅助摄像头感应物体的存在或者外界环境。机器人具有听觉、视觉采集能力,并不局限。
这里需要说明的是,本发明所涉及的机器人的具体结构并不限于上述描述。根据实际需要,机器人在可实现本发明所述的方法的基础上,可以采用任意的其他硬件结构。
进一步的,本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如,本文所述的方法可以实现为能以控制逻辑来执行的软件,其由机器人大脑来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时,该计算机程序包括一组指令,当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中,例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外,本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如,现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑,或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。
为了降低机器人动作行为设计的工作量,本发明采用了基于预设匹配规则将连续的用户行为数据转化为相应的连续动作数据的方式。在本发明一实施例中,如图1所示,首先执行步骤S110,录制获取在第一持续时间内连续的用户行为数据。具体的,在步骤S110中,通过录制的方式获取连续的用户行为数据。
这里需要注意的是,在本说明书的描述中,录制泛指以时间轴的方式记录一系列具有时间先后顺序的连续行为。录制获取连续的用户行为数据,即是记录在第一持续时间内,用户的所有行为变化以及行为变化的发生先后顺序。理论上最理想的状态是在第一持续时间内记录每个时刻用户的行为。但是在实际操作中,根据数据量以及录制精度的需求,从需要录制的持续时间段中采样多个时间节点,记录每个时间节点上用户的行为,时间节点划分的越细,录制精度越高。
然后执行步骤S120,将连续的用户行为数据编译为描述机器人连续动作的连续动作数据。在步骤S120中,机器人连续动作与目标物的连续行为基于预设规则匹配(因此在步骤S120之前还需要执行步骤S100,设定匹配规则)。
机器人连续动作即是在一个持续时间内机器人所有的动作变化以及动作变化的先后顺序。理论上最理想的状态是在连续动作数据中描述持续时间段上每个时刻目标物的行为。但是在实际操作中,根据数据量以及录制精度的需求,从持续时间段中采样多个时间节点,描述每个时间节点上目标物的行为从而构成连续动作数据。
连续动作数据所描述的持续时间段与录制的持续时间段基于预设匹配规则匹配。连续动作数据所描述的持续时间段中时间节点的采样与录制的持续时间段中时间节点的采样基于预设匹配规则匹配。连续动作数据所描述的持续时间段中每个时间节点上的机器人动作与录制的持续时间段中每个时间节点上的目标物行为匹配。
例如,在本发明一实施例中,连续动作数据所描述的持续时间段、时间节点采样与录制的持续时间段、时间节点采样保持一致。在本发明另一实施例中,按照预设比例扩展录制的持续时间段以构成连续动作数据所描述的持续时间段,同时同步扩展录制的时间节点采样的间隔时间以生成连续动作数据的时间节点。这样就可以制造出目标物行为的慢动作对应的机器人动作(同理也可以制造出加速效果)。
通过上述方式,可以基于预设的匹配规则,简单的将目标物的连续行为编译成描述机器人连续动作的连续动作数据。这个过程可以实现流程化,基于上述过程:
不需要为机器人持续动作设计时间节点(时间节点可以自动匹配生成);
不需要针对每个时间节点单独设计机器人动作(每个时间节点上的动作匹配生成);
不需要考虑两个相邻时间节点的机器人动作连贯性(录制时用户行为是连贯的,匹配出的机器人动作自然是连贯的)。
因此,机器人连续动作的设计过程被大大简化。大大降低了工作量,提高了工作效率。进一步的,由于机器人的动作是匹配目标物的动作的,因此机器人的动作的连贯性、自然性以及灵活度都大大提高。
在步骤S120中,连续动作数据是基于预设匹配规则由用户的连续行为编译而成。在实际操作过程中,基于预设的匹配规则用户的行为可能不能转化成预期的机器人动作。
例如在录制过程中用户的行为并没有达到预期效果、用户行为录制错误(时间节点采集缺失或是一个/多个时间节点上的行为记录失误)或是录制到的用户行为无法基于预设的匹配规则进行编译等。这就会导致最后编译出的连续动作数据并不是对应一个完整的机器人连续动作(动作不连续)或者编译出的连续动作数据对应的机器人连续动作并不是预期的机器人连续动作。此时,上述录制行为或编译行为是失败的,需要重新执行。
为了简单快速的验证录制行为或编译行为是否成功,在本发明一实施例中,首先在录制用户连续行为的过程中(步骤S110),同步展示录制结果,这样就能及时发现录制过程中出现的失误。进一步的,在编译生成连续动作数据的过程中(步骤S120),执行步骤S121,同步展示连续动作数据所描述的机器人动作。这样就能直观的展示编译结果,从而简单的发现编译获取的机器人动作是否达到预期,是否连续。
具体的,在本发明一实施例中,在步骤S121中,采用实体机器人展示机器人动作,基于连续动作数据同步控制实体机器人,令其做出连续动作数据中所描述的机器人连续动作。在本发明另一实施例中,在步骤S121中,采用虚拟机器人(在计算机平台用显示屏显示虚拟的机器人形象)展示机器人动作,基于连续动作数据同步控制虚拟机器人,令其做出连续动作数据中所描述的机器人连续动作。
进一步的,在本发明一实施例中,在步骤S120执行完毕后(编译完成一个完整的连续动作数据)执行步骤S121。在本发明另一实施例中,在步骤S120执行过程中执行步骤S121,随着连续动作数据的不断编译同步展示刚刚编译完成的那部分连续动作数据。在这里,是按照用户连续行为的时间节点的先后顺序一个个时间节点进行编译。每编译完成一个时间节点的机器人动作就展示该时间节点的机器人动作。
进一步的,在本发明一实施例中,步骤S120在步骤S110执行完毕后(录制完成一个完整的连续行为)执行。在本发明另一实施例中,在步骤S110执行过程中执行步骤S120,随着用户连续行为的录制同步编译连续动作数据。在这里,依次记录用户一个个时间节点上的行为,每记录完成一个时间节点上的用户行为就将其编译成相应的连续动作数据。
最后执行步骤S130,按照预设格式保存连续动作数据。在步骤S130之后,也可以执行步骤S121,展示已保存的机器人连续动作(便于从众多已保存的数据中选出所需的数据,或是再次验证数据是否合乎预期)。
进一步的,为了便于后续对连续动作数据的提取应用,在本发明一实施例中,为连续动作数据添加场景标签,场景标签用于描述机器人连续动作匹配的应用/对话场景。这样,在提取连续动作数据时,即可以根据当前所处的应用场景选择具有相应标签的连续动作数据。
在本说明书的描述中,录制泛指以时间轴的方式记录一系列具有时间先后顺序的连续行为。录制用户的连续行为,即是记录在一个持续时间段内,用户的所有行为变化以及行为变化的发生先后顺序。但是由于用户行为的复杂程度和机器人动作的复杂程度是不同的,很多用户行为基于预设匹配规则是不能转化成机器人动作的。也就是说,这些不能转化的用户行为是无效的。在获取用户行为数据时,为了简化录制过程,提高录制效率以及录制结果的针对性,需要保证录制内容尽可能的不包含无效的用户行为。
针对上述问题,在本发明的实施例中,采用了记录用户行为受体的方式来间接获取用户行为数据。由于用户行为受体的行为模式相对简单(用户行为在做复杂变化时,其受体的最终表现依然是简单的表现形式),当受体的行为模式与连续动作数据所要描述的机器人的行为模式匹配时,就可以最大化的减少录制内容中的无效数据。
具体的,在本发明一实施例中,采用实体机器人作为用户行为受体。如图2所示,首先执行步骤S200,在第一持续时间内用户操控实体机器人做出一系列连续行为。具体的,用户可以对实体机器人进行编程控制,令机器人自动做出一系列连续行为;用户也可以使用机器人控制平台,遥控/线控(远程控制)机器人做出一系列的连续行为;更进一步的,也可以采用最简单的办法,用户直接将外力施加与机器人肢体上,将机器人摆出一个个姿势以形成一系列连续行为。
在步骤S200执行的同时执行步骤S210,录制第一持续时间内实体机器人的连续行为。在本发明一实施例中,在步骤S210中,可以采用图像捕捉的方式,直接捕捉机器人的动作行为。在本发明另一实施例中也可以基于实体机器人自身或外部传感器,获取机器人各个关节(以及其他行为输出组件,例如表情指示灯)的状态信息,综合所有状态信息获得机器人的行为。
在步骤S210之后(或者步骤S210执行的同时)执行步骤S220,将实体机器人的连续动作编译为连续动作数据。在步骤S220中,连续动作数据描述的机器人连续动作与实体机器人的连续动作匹配。
具体的,在本发明一实施例中,连续动作数据所对应的机器人具体结构与作为录制目标物的实体机器人完全相同。则在编译过程中,连续动作数据所描述的机器人连续动作的各个时间节点上的机器人动作(肢体动作或是其他机器人行为输出)与实体机器人连续行为中相应时间节点上的机器人行为一致。实体机器人连续行为的时间轴基于预设匹配规则拉长或缩短以形成连续动作数据的时间轴,从而达到慢动作或者加速动作的效果。
在本发明另一实施例中,连续动作数据所对应的机器人具体结构与作为录制目标物的实体机器人不完全相同。则在编译过程中,将实体机器人连续行为中各个时间节点上的机器人行为转化为连续动作数据需要描述的机器人的动作行为,将转化后的各个动作行为按照时间节点的先后顺序串联记录以构成连续动作数据。同样,实体机器人连续行为的时间轴基于预设匹配规则拉长或缩短以形成连续动作数据的时间轴,从而达到慢动作或者加速动作的效果。
例如,实体机器人包含两个手臂、一个躯干以及4条腿;连续动作数据需要描述的机器人包含两个手臂、一个躯干以及4个轮子;其中,实体机器人的手臂、躯干和连续动作数据需要描述的机器人的手臂、躯干结构功能完全相同。那么,在动作转化时,同一时间节点上实体机器人的手臂、躯干的动作直接转化为连续动作数据需要描述的机器人的手臂、躯干的动作;同一时间节点上实体机器人的腿部动作首先表现为相应的位移,然后将相应的位移转化为连续动作数据需要描述的机器人的轮子的转动量。
以实体机器人作为录制目标物,首先可以限制用户行为。用户的行为被限制在操控机器人做出连续动作,与操控机器人无关的行为不会对实体机器人产生影响,也就不会被记录。
其次,实体机器人可以简单快捷的实现连续动作。实体机器人操控方便,尤其是可以采用直接外力施加摆动机器人肢体形成姿势动作的方式。
再次,录制过程得到简化。实体机器人行为模式可控性高,行为模式简单,视觉采集机器人行为相对简单。进一步的,采用机器人自身或外部传感器采集机器人关节以及其他行为输出单元的状态更可以省略视觉处理的繁琐计算,直接获取机器人当前行为。
最后,由于机器人行为模式可控性高,行为模式简单,因此实体机器人行为与连续动作数据需要描述的机器人的行为之间的匹配规则的复杂程度就不高。尤其是当连续动作数据需要描述的机器人的硬件结构与实体机器人的硬件结构一致时,录制到的实体机器人在各个时间节点上的行为不需要转化直接就是连续动作数据需要描述的机器人在各个时间节点上的行为。运算量得到进一步削减。
在本发明另一实施例中,采用机器人操控界面作为用户行为的受体。如图3所示,首先执行步骤S310,采集并录制用户的操控行为。在本实施例中,构造包含机器人操控界面的录制平台,用户在机器人操控界面上执行操控机器人的操控行为,录制平台记录用户在操控界面上的所有操作。
这里需要注意的是,在本实施例中,用户在操控界面上执行操控行为,录制平台利用虚拟机器人展示用户操控行为对应的操控结果。进一步的,在本发明另一实施例中,录制平台基于虚拟机器人构造操控界面,用户直接对虚拟机器人进行操作(例如,用鼠标直接拖动虚拟机器人的肢体以改变机器人的姿态)。
在步骤S310后(或步骤S310执行的过程中)执行步骤S320,将操控行为编译为连续动作数据,其中,连续动作数据描述的机器人连续动作与操控行为相匹配。最后执行步骤S330,保存连续动作数据。
以操控界面作为用户行为的受体,首先限制了用户的操控行为。用户的操控行为被限制在操控界面可以接受的范围内,与操控界面无关的行为不会对操控界面产生影响,也就不会被记录。
进一步的,录制平台利用操控界面获取录制用户的操控行为,摆脱了实体机器人的硬件结构限制。针对连续动作数据所要描述的机器人的不同硬件结构,只需选用不同的操控界面(以及对应的虚拟机器人)。而不需要准备相应硬件结构(或相似硬件结构的实体机器人)。这样,录制的准备工作以及录制过程都被大大简化,从而降低了工作量,拓展了录制行为的适用性。
另外,在录制操控行为以及编译过程中可以根据虚拟机器人的行为姿态即时验证录制内容以及编译结果是否符合需求,并基于虚拟机器人的行为姿态及时做出微调和局部修改。大大提高了录制操作以及编译操作的灵活性,实现了对机器人动作的即时修改,从而提高了工作效率。
衡量机器人连续动作的重要标准包括动作的连贯性、合理性以及灵活性(动作优美程度),动作的连贯性以及动作的合理性的提高依赖各个时间节点上机器人具体动作衔接的合理规划以及每个具体动作的具体姿态。本发明通过编译用户行为数据的方式获取连续动作数据,在保证机器人动作连贯性以及合理性的基础上简化了规划各个时间节点上机器人具体动作的步骤。
然而,由于用户行为数据本身也存在连贯性、合理性以及灵活性上的问题(例如,基于实体机器人的动作,当用户操控机器人的手法不够理想,操控下的实体机器人的连续动作也就不够理想),这就导致编译出的连续动作数据也会出现连贯性、合理性以及灵活性问题。
为了进一步提高机器人连续动作的连贯性、合理性以及灵活性,在本发明另一实施例中,直接采集用户本身的动作行为和/或五官动作行为作为用户行为数据。
具体的,如图4所示,首先执行步骤S400,录制用户行为图像(五官动作图像和/或肢体动作图像)。然后(或在步骤S400执行的过程中)执行步骤S410,分析用户行为图像(五官动作图像和/或肢体动作图像)辨别用户行为(五官动作和/或肢体动作)。接下来(或在步骤S410执行的过程中)执行步骤S420,将用户行为(五官动作和/或肢体动作)编译为连续动作数据。最后执行步骤S430,保存连续动作数据。
在步骤S420中,连续动作数据描述的机器人连续动作与用户行为(五官动作和/或肢体动作)相匹配。具体的,由于连续动作数据所对应的机器人具体结构与作为录制目标物的用户身体结构不完全相同。因此基于机器人的硬件结构(关节构成以及其他行为输出单元构成)与人体五官以及关节的对应关系构造匹配规则。在编译过程中,基于预设匹配规则将各个时间节点上的用户行为转化为连续动作数据需要描述的机器人的动作行为,将转化后的各个动作行为按照时间节点的先后顺序串联记录以构成连续动作数据。同样,实体机器人连续行为的时间轴基于预设匹配规则拉长或缩短以形成连续动作数据的时间轴,从而达到慢动作或者加速动作的效果。
例如,连续动作数据需要描述的机器人包含:
无法移动的躯干;
躯干上构造有两个手臂,手臂肩关节、肘关节以及腕关节可动,手掌以及手指不可动;
躯干上还构造有不可弯曲的脖子,脖子上构造有可以左右转动的头部;
头部上构造有可以开闭的眼睛以及嘴巴。
那么,在动作转化时,同一时间节点上用户手臂肩关节\肘关节\腕关节的弯曲动作、头部的左右转动以及眼睛嘴巴的开闭直接转化为连续动作数据需要描述的机器人的相应部位的动作;同一时间节点上用户其他动作被忽略(例如腿部动作、腰部动作、手指动作等)。
需要指出的是,上述实施例中,录制的主要内容以及编译结果主要体现的都是动作行为(实体机器人的动作、用户的动作、连续动作数据需要描述的机器人的动作),即连续动作数据主要描述的是机器人的肢体动作。但是在本发明中,机器人的动作行为并不仅限于肢体动作。
机器人基于其自身硬件结构的不同,可以拥有众多行为表现方式。在本发明其他实施例中,机器人的动作行为可以包括机器人身体上显示屏的显示内容、机器人语音输出、机器人自身显示灯灯管效果等等。因此,在本发明的方法中,录制的内容也就不仅仅限于动作行为(不限于实体机器人的动作、用户的动作)。例如在图2所示实施例中,录制实体机器人的连续行为,其中也包括实体机器人身体上显示屏的显示内容、机器人语音输出、机器人自身显示灯灯管效果等等。
进一步的,在本发明一实施例中,针对机器人不同行为模式采用相应种类的录制目标物。例如,基于机器人自身的声音输出硬件设置匹配规则,将外界环境声音与机器人可以发出的声音做匹配。以外界环境声音为录制目标物,录制一段外界环境录音,然后将外界环境录音编译成机器人连续声音输出数据(连续动作数据,这里的动作是广义上的动作,不仅包括肢体动作,还包括声音)。
进一步的,在本发明一实施例中,通过预设的匹配规则将不同类型的行为关联起来,即录制内容中所体现的行为模式与连续动作数据所要描述的机器人的行为模式不同。
例如,基于机器人肢体关节设置匹配规则,将外界环境声音与机器人可以做出的动作做匹配(假设机器人可以做出点头动作,令机器人点头动作与外界鼓点声匹配)。以外界环境声音为录制目标物,录制一段外界环境录音,然后将外界环境录音编译成连续动作数据(每个时间节点上,存在鼓点声即被转化为一个点头动作)。
在本发明中,通过编译用户行为数据获取连续动作数据。随着连续动作数据所要描述的机器人动作的复杂程度的提高(机器人关节数或其他行为单元增加,同一时间需要动作的机器人关节或其他行为单元增多)以及机器人连续动作的持续时间的延长,需要录制获取的用户行为数据的复杂程度以及持续时间也需要相应增加。这就增加了录制的难度。
针对上述问题,在本发明一实施例中,将多个连续动作数据组合并保存为新的连续动作数据。即首先录制多个持续时间短、简单的用户行为数据并将其编译为连续动作数据,然后组合上述多个连续动作数据以形成复杂的、持续时间长的连续动作数据。
具体的,在本发明一实施例中,由多个连续动作数据的时间轴前后相接而构成一个新的连续动作数据。
如图5所示,假设编译用户行为数据A和用户行为数据B可分别得到连续动作数据A和连续动作数据B。连续动作数据A和连续动作数据B所描述的机器人动作分别为机器人持续动作A和机器人持续动作B。
将连续动作数据A和连续动作数据B的时间轴相接得到连续动作数据C。则连续动作数据C所描述的机器人持续动作C就是机器人持续动作A和机器人持续动作B的结合。
机器人持续动作C为由时间节点a开始,到时间节点c结束的持续动作。在时间节点a开始机器人持续动作A,在时间节点b结束机器人持续动作A同时开始机器人持续动作B,在时间节点c结束机器人持续动作B。
在这里需要注意的是,在上述实施例中,不同的连续动作数据的时间轴不重合并且针对前后相接的两个连续动作数据,上一连续动作数据最后时间节点的机器人姿态与下一连续动作数据最初时间节点的机器人姿态保持一致。这样才能保证连续动作的连贯性和合理性。
例如,如果上一连续动作数据为左手由最低处抬到最高处,最后时间节点的机器人姿态是左手位于最高处;而下一连续动作数据为左手由最低处横向挥动,最初时间节点的机器人姿态为左手位于最低处。那么这两个连续动作数据无法衔接。
另外,在本发明另一实施例中,由多个连续动作数据的时间轴相互叠加而构成一个新的连续动作数据。
如图5所示,假设编译用户行为数据A和用户行为数据B可分别得到连续动作数据A和连续动作数据B。连续动作数据A和连续动作数据B所描述的机器人动作分别为机器人持续动作A(机器人左手连续挥动)和机器人持续动作B(机器人右手连续挥动)。
将连续动作数据A和连续动作数据B的时间轴叠加得到连续动作数据C。则连续动作数据C所描述的机器人持续动作C就是机器人持续动作A和机器人持续动作B的结合。
机器人持续动作C为由时间节点a开始,到时间节点b结束的持续动作。在时间节点a同时开始机器人持续动作A以及机器人持续动作B(双手挥动),在时间节点b结束机器人持续动作A以及机器人持续动作B。
在这里需要注意的是,在上述实施例中,不同的机器人动作的对应机器人的不同肢体部分。这样才能保证连续动作的连贯性和合理性。
例如,如果一个连续动作数据为左手由下到上抬高,另一个连续动作数据为左手由上到下降低。那么这两个连续动作数据无法衔接,不可能做到同时降低抬高手臂。
上述利用不同的连续动作数据的时间轴相互衔接或重叠的方式来组合连续动作数据。这里需要说明的是,上述实施例仅为技术方案最简单的实施方式之一,在本发明其他实施例中,在不产生动作冲突的前提下,可以采用多个不同的连续动作数据的时间轴相互衔接以及重叠的综合方式来组合连续动作数据。
如图7所示,假设编译用户行为数据A、B、C以及D可分别得到连续动作数据A、B、C以及D连续动作数据A~D所描述的机器人动作分别为机器人持续动作A(机器人左手由上到下挥动)、机器人持续动作B(机器人左手由下到上挥动)、机器人持续动作C(机器人右手先弯曲再伸直)以及机器人持续动作D(机器人前进)。
组合连续动作数据A~D形成连续动作数据E,连续动作数据E所描述的机器人动作E即为:
时间节点a开始机器人连续动作A(机器人左手由上到下挥动)、机器人持续动作C(机器人右手先弯曲再伸直)以及机器人持续动作D(机器人前进);
时间节点b时机器人持续动作C一次执行完成(机器人右手处于伸直状态)并再次执行(机器人右手先弯曲再伸直),机器人连续动作A以及机器人持续动作D进行过程中;
时间节点c时机器人持续动作A执行完成(机器人左手处于抬高状态)并接着开始机器人持续动作B(机器人左手由下到上挥动),机器人连续动作C以及机器人持续动作D进行过程中;
时间节点d时机器人持续动作C二次执行完成(机器人右手处于伸直状态)并再次执行(机器人右手先弯曲再伸直),机器人连续动作B以及机器人持续动作D进行过程中;
时间节点d时机器人持续动作C三次执行完成机器人连续动作B以及机器人持续动作D执行完成。
综上,根据本发明的方法,不仅可以简单方便的利用用户行为数据编译生成连续动作数据,而且可以利用简单的连续动作数据组合构成复杂的连续动作数据。从而不需要录制复杂的用户行为数据,大大降低了录制难度,提高了录制效率。
基于本发明的方法,本发明还提出了一种智能机器人动作编译系统。本发明的系统的一实施例如图8所示,系统包括录制模块800、编译模块810以及存储模块820。其中:
录制模块800配置为录制在第一持续时间内连续的用户行为数据;
编译模块810配置为基于预设匹配规则将用户行为数据编译为描述机器人连续动作的连续动作数据,机器人连续动作与用户行为数据匹配;
存储模块820配置为按照预设格式保存连续动作数据。
进一步的,系统还包括展示模块830,展示模块830配置为利用虚拟机器人展示连续动作数据描述的机器人连续动作。
进一步的,存储模块820包括标签添加装置822,标签添加装置822配置为为连续动作数据添加场景标签,场景标签用于描述所述机器人连续动作匹配的应用/对话场景。
进一步的,存储模块820还包括动作数据合成装置821,动作数据合成装置821配置为将多个连续动作数据组合构成新的连续动作数据。
综上,根据本发明的方法以及系统,可以简单方便的利用用户行为数据编译生成连续动作数据,机器人连续动作的设计过程被大大简化。大大降低了工作量,提高了工作效率。进一步的,由于机器人的动作是匹配目标物的动作的,因此机器人的动作的连贯性、自然性以及灵活度都大大提高。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形,但这些相应的改变或变形都应属于本发明的权利要求的保护范围。
Claims (10)
1.一种智能机器人动作生成方法,其特征在于,所述方法包括以下步骤:
录制在第一持续时间内连续的用户行为数据;
将所述用户行为数据编译为描述机器人连续动作的连续动作数据,其中,所述连续动作数据的时间轴与所述用户行为数据的时间轴匹配,所述连续动作数据中任意时间节点上的机器人动作与所述用户行为数据在相应时间节点上的用户具体行为匹配;
按照预设格式保存所述连续动作数据。
2.根据权利要求1所述的方法,其特征在于,获取在第一持续时间内连续的用户行为数据包括:
录制实体机器人在所述第一持续时间内的连续动作;
所述实体机器人配置为在用户操控下做出所述连续动作。
3.根据权利要求1所述的方法,其特征在于,获取在第一持续时间内连续的用户行为数据包括:
在所述第一持续时间内基于机器人操控界面执行连续操控行为以控制虚拟机器人实现连续动作;
采集并录制所述连续操控行为。
4.根据权利要求1所述的方法,其特征在于,获取在第一持续时间内连续的用户行为数据包括:
录制在所述第一持续时间内用户的五官动作图像和/或肢体动作图像;
分析所述五官动作图像和/或所述肢体动作图像以获取五官连续动作和/或肢体连续动作。
5.根据权利要求1-4中任一项所述的方法,其特征在于,将所述用户行为数据编译为描述机器人连续动作的连续动作数据,其中,利用虚拟机器人展示所述连续动作数据描述的机器人连续动作。
6.根据权利要求1-5中任一项所述的方法,其特征在于,按照预设格式保存所述连续动作数据包括:
为所述连续动作数据添加场景标签,所述场景标签用于描述所述机器人连续动作匹配的应用/对话场景。
7.根据权利要求1-6中任一项所述的方法,其特征在于,按照预设格式保存所述连续动作数据,包括,将多个所述连续动作数据组合并保存为新的连续动作数据。
8.一种智能机器人动作生成系统,其特征在于,所述系统包括:
录制模块,其配置为录制在第一持续时间内连续的用户行为数据;
编译模块,其配置为基于预设匹配规则将所述用户行为数据编译为描述机器人连续动作的连续动作数据,所述机器人连续动作与所述用户行为数据匹配;
存储模块,其配置为按照预设格式保存所述连续动作数据。
9.根据权利要求8所述的系统,其特征在于,所述系统还包括展示模块,所述展示模块配置为利用虚拟机器人展示所述连续动作数据描述的机器人连续动作。
10.根据权利要求8或9所述的系统,其特征在于,所述存储模块包括标签添加装置,所述标签添加装置配置为为所述连续动作数据添加场景标签,所述场景标签用于描述所述机器人连续动作匹配的应用/对话场景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610169403.8A CN105700481A (zh) | 2016-03-23 | 2016-03-23 | 一种智能机器人动作生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610169403.8A CN105700481A (zh) | 2016-03-23 | 2016-03-23 | 一种智能机器人动作生成方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105700481A true CN105700481A (zh) | 2016-06-22 |
Family
ID=56232490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610169403.8A Pending CN105700481A (zh) | 2016-03-23 | 2016-03-23 | 一种智能机器人动作生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105700481A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106647736A (zh) * | 2016-10-28 | 2017-05-10 | 北京光年无限科技有限公司 | 一种用于智能机器人的路径学习方法及系统 |
CN106826814A (zh) * | 2016-12-16 | 2017-06-13 | 深圳市优必选科技有限公司 | 一种机器人的运动控制方法和运动控制系统 |
CN107294837A (zh) * | 2017-05-22 | 2017-10-24 | 北京光年无限科技有限公司 | 采用虚拟机器人进行对话交互的方法和系统 |
CN107992935A (zh) * | 2017-12-14 | 2018-05-04 | 深圳狗尾草智能科技有限公司 | 为机器人设置生活周期的方法、设备及介质 |
CN111273783A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 数字人的控制方法及装置 |
CN113776172A (zh) * | 2021-08-12 | 2021-12-10 | 启北公司 | 场景温度规划方法和装置、计算机设备以及介质 |
CN116351072A (zh) * | 2023-04-06 | 2023-06-30 | 北京羯磨科技有限公司 | 一种网络游戏中机器人脚本录制与播放方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006289543A (ja) * | 2005-04-08 | 2006-10-26 | Mitsubishi Heavy Ind Ltd | ロボット教示装置 |
CN101570020A (zh) * | 2009-01-21 | 2009-11-04 | 上海广茂达伙伴机器人有限公司 | 机器人运动序列的编程方法及其装置 |
CN101713965A (zh) * | 2009-11-18 | 2010-05-26 | 惠州市东扬科技有限公司 | 机器人控制程序编译方法 |
CN102179814A (zh) * | 2011-03-23 | 2011-09-14 | 浙江大学 | 以用户手部命令控制机器人的方法 |
CN103116286A (zh) * | 2013-01-16 | 2013-05-22 | 博雅创世(北京)智能科技有限公司 | 基于网络的机器人开发平台的实现方法和设备 |
JP2013123762A (ja) * | 2011-12-13 | 2013-06-24 | Yaskawa Electric Corp | ロボットシステム |
JP2014161921A (ja) * | 2013-02-21 | 2014-09-08 | Yaskawa Electric Corp | ロボットシミュレータ、ロボット教示装置およびロボット教示方法 |
CN104238418A (zh) * | 2014-07-02 | 2014-12-24 | 北京理工大学 | 一种交互现实系统和方法 |
CN204366968U (zh) * | 2015-01-04 | 2015-06-03 | 广东工业大学 | 基于三维体感摄影机的多自由度仿人机器人 |
CN104924313A (zh) * | 2015-05-13 | 2015-09-23 | 北京工业大学 | 具有模仿学习机制的手把手示教机械臂系统及方法 |
CN105345822A (zh) * | 2015-12-17 | 2016-02-24 | 成都英博格科技有限公司 | 智能机器人控制方法及装置 |
-
2016
- 2016-03-23 CN CN201610169403.8A patent/CN105700481A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006289543A (ja) * | 2005-04-08 | 2006-10-26 | Mitsubishi Heavy Ind Ltd | ロボット教示装置 |
CN101570020A (zh) * | 2009-01-21 | 2009-11-04 | 上海广茂达伙伴机器人有限公司 | 机器人运动序列的编程方法及其装置 |
CN101713965A (zh) * | 2009-11-18 | 2010-05-26 | 惠州市东扬科技有限公司 | 机器人控制程序编译方法 |
CN102179814A (zh) * | 2011-03-23 | 2011-09-14 | 浙江大学 | 以用户手部命令控制机器人的方法 |
JP2013123762A (ja) * | 2011-12-13 | 2013-06-24 | Yaskawa Electric Corp | ロボットシステム |
CN103116286A (zh) * | 2013-01-16 | 2013-05-22 | 博雅创世(北京)智能科技有限公司 | 基于网络的机器人开发平台的实现方法和设备 |
JP2014161921A (ja) * | 2013-02-21 | 2014-09-08 | Yaskawa Electric Corp | ロボットシミュレータ、ロボット教示装置およびロボット教示方法 |
CN104238418A (zh) * | 2014-07-02 | 2014-12-24 | 北京理工大学 | 一种交互现实系统和方法 |
CN204366968U (zh) * | 2015-01-04 | 2015-06-03 | 广东工业大学 | 基于三维体感摄影机的多自由度仿人机器人 |
CN104924313A (zh) * | 2015-05-13 | 2015-09-23 | 北京工业大学 | 具有模仿学习机制的手把手示教机械臂系统及方法 |
CN105345822A (zh) * | 2015-12-17 | 2016-02-24 | 成都英博格科技有限公司 | 智能机器人控制方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106647736A (zh) * | 2016-10-28 | 2017-05-10 | 北京光年无限科技有限公司 | 一种用于智能机器人的路径学习方法及系统 |
CN106826814A (zh) * | 2016-12-16 | 2017-06-13 | 深圳市优必选科技有限公司 | 一种机器人的运动控制方法和运动控制系统 |
CN106826814B (zh) * | 2016-12-16 | 2019-12-10 | 深圳市优必选科技有限公司 | 一种机器人的运动控制方法和运动控制系统 |
US10632620B2 (en) | 2016-12-16 | 2020-04-28 | UBTECH Robotics Corp. | Motion control method and robot using same |
CN107294837A (zh) * | 2017-05-22 | 2017-10-24 | 北京光年无限科技有限公司 | 采用虚拟机器人进行对话交互的方法和系统 |
CN107992935A (zh) * | 2017-12-14 | 2018-05-04 | 深圳狗尾草智能科技有限公司 | 为机器人设置生活周期的方法、设备及介质 |
CN111273783A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 数字人的控制方法及装置 |
CN111273783B (zh) * | 2020-03-25 | 2023-01-31 | 北京百度网讯科技有限公司 | 数字人的控制方法及装置 |
CN113776172A (zh) * | 2021-08-12 | 2021-12-10 | 启北公司 | 场景温度规划方法和装置、计算机设备以及介质 |
CN116351072A (zh) * | 2023-04-06 | 2023-06-30 | 北京羯磨科技有限公司 | 一种网络游戏中机器人脚本录制与播放方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105700481A (zh) | 一种智能机器人动作生成方法及系统 | |
US9333651B2 (en) | System and method for editing and controlling the behavior of a mobile robot | |
Li et al. | Survey on mapping human hand motion to robotic hands for teleoperation | |
EP4172736A1 (en) | Integration of artificial reality interaction modes | |
CN109074166A (zh) | 使用神经数据改变应用状态 | |
CN106997236A (zh) | 基于多模态输入进行交互的方法和设备 | |
JPH06214711A (ja) | 対話システムの管理システム | |
CN108268255A (zh) | 用于编程机器人的方法和装置 | |
CN113221726A (zh) | 一种基于视觉与惯性信息融合的手部姿态估计方法及系统 | |
CN109397285A (zh) | 一种装配方法、装配装置及装配设备 | |
Ghorbel et al. | Cloud based mobile application for remote control of intelligent wheelchair | |
CN106002910A (zh) | 一种手术机器人的主从控制系统及方法 | |
CN107643820B (zh) | Vr被动型机器人及其实现方法 | |
Tian et al. | A cloud-based robust semaphore mirroring system for social robots | |
KR102502195B1 (ko) | 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템 | |
Muztoba et al. | Robust communication with IoT devices using wearable brain machine interfaces | |
CN111134974B (zh) | 一种基于增强现实和多模态生物信号的轮椅机器人系统 | |
CN118098033A (zh) | 基于混合现实技术的教学系统及方法 | |
JP7480706B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Lun | Human activity tracking and recognition using Kinect sensor | |
WO2022179279A1 (zh) | 交互方法、电子设备与交互系统 | |
CN115120250A (zh) | 基于脑电信号和slam控制的智能脑控轮椅系统 | |
CN114077311A (zh) | 计算机实现虚拟手仿真 | |
CN108970109A (zh) | 一种基于意念控制的虚拟现实游戏的方法、装置和系统 | |
TWI301940B (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160622 |
|
RJ01 | Rejection of invention patent application after publication |