CN105988591B - 一种面向智能机器人的动作控制方法及装置 - Google Patents

一种面向智能机器人的动作控制方法及装置 Download PDF

Info

Publication number
CN105988591B
CN105988591B CN201610264619.2A CN201610264619A CN105988591B CN 105988591 B CN105988591 B CN 105988591B CN 201610264619 A CN201610264619 A CN 201610264619A CN 105988591 B CN105988591 B CN 105988591B
Authority
CN
China
Prior art keywords
robot
information
mood
user
morality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610264619.2A
Other languages
English (en)
Other versions
CN105988591A (zh
Inventor
石琰
郭家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Infinite Technology Co ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201610264619.2A priority Critical patent/CN105988591B/zh
Publication of CN105988591A publication Critical patent/CN105988591A/zh
Application granted granted Critical
Publication of CN105988591B publication Critical patent/CN105988591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种面向智能机器人的动作控制方法及装置,该方法包括:用户情绪获取步骤,获取并分析当前多模态交互信息,得到用户情绪信息;机器人输出情绪数据确定步骤,根据用户情绪信息及获取的当前机器人情绪信息,生成机器人输出情绪数据;动作生成步骤,以机器人输出情绪数据触发对应的动作执行指令,使智能机器人呈现出相应的动作。该方法能够改善现有机器人动作控制方法在实施过程中因在人机交互过程中总是重复同一种反馈动作所导致的用户体验差的问题。

Description

一种面向智能机器人的动作控制方法及装置
技术领域
本发明涉及人机交互技术领域,具体地说,涉及一种面向智能机器人的动作控制方法及装置。
背景技术
近些年来,越来越多的个人机器人被开发出来,它们或者作为学习工具,或者纯粹作为娱乐目的。这些机器人典型地像人们所熟知的猫、狗等宠物,或者采用人类的外形。
在进行人机交互过程中,现有的机器人往往会产生一肢体上的变化,从而呈现出一些动作。然而,这些机器人所呈现出的动作往往是固定编辑好的,因此每次人机交互过程中机器人所呈现的动作往往没有差别,其仅仅是对预先设定的动作的机械重复,久而久之会令用户感到无趣。
发明内容
为解决上述问题,本发明提供了一种面向智能机器人的动作控制方法,包括:
用户情绪获取步骤,获取并分析当前多模态交互信息,得到用户情绪信息;
机器人输出情绪数据确定步骤,根据所述用户情绪信息及获取的当前机器人情绪信息,生成机器人输出情绪数据;
动作生成步骤,以所述机器人输出情绪数据触发对应的动作执行指令,使智能机器人呈现出相应的动作。
根据本发明的一个实施例,在所述机器人输出情绪数据确定步骤中,根据所述用户情绪信息中表征正情绪及负情绪的参量,以及所述当前机器人情绪信息中表征正情绪及负情绪的参量,生成所述机器人输出情绪数据。
根据本发明的一个实施例,在所述机器人输出情绪数据确定步骤中,生成机器人输出情绪数据的步骤包括:
按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序生成所述机器人输出情绪数据,
其中,表征机器人负情绪的参量与机器人正情绪参量有且有一不参与输出,以及,表征用户正情绪的参量与用户负情绪的参量有且有一不参与输出。
根据本发明的一个实施例,所述多模态交互信息包括视觉信息,在所述用户情绪获取步骤中,利用视觉信息中的人脸识别结果确定所述用户情绪信息。
根据本发明的一个实施例,所述方法还包括:
机器人表达信息生成步骤,根据所述多模态交互信息确定交互场景和用户身份信息,并根据所述交互场景和用户身份信息生成机器人表达信息。
本发明还提供了一种面向智能机器人的动作控制装置,包括:
用户情绪获取模块,其用于获取并分析当前多模态交互信息,得到用户情绪信息;
机器人输出情绪数据确定模块,其用于根据所述用户情绪信息及获取的当前机器人情绪信息,生成机器人输出情绪数据;
动作生成模块,其用于以所述机器人输出情绪数据触发对应的动作执行指令,使智能机器人呈现出相应的动作。
根据本发明的一个实施例,所述机器人输出情绪数据确定模块配置为根据所述用户情绪信息中表征正情绪及负情绪的参量,以及所述当前机器人情绪信息中表征正情绪及负情绪的参量,生成所述机器人输出情绪数据。
根据本发明的一个实施例,所述机器人输出情绪数据确定模块配置为在生成机器人输出情绪数据的过程中,按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序生成所述机器人输出情绪数据,
其中,表征机器人负情绪的参量与机器人正情绪参量有且有一不参与输出,以及,表征用户正情绪的参量与用户负情绪的参量有且有一不参与输出。
根据本发明的一个实施例,所述多模态交互信息包括视觉信息,所述用户情绪获取模块配置为利用视觉信息中的人脸识别结果确定所述用户情绪信息。
根据本发明的一个实施例,所述装置还包括:
机器人表达信息生成模块,其用于根据所述多模态交互信息确定交互场景和用户身份信息,并根据所述交互场景和用户身份信息生成机器人表达信息。
本发明带来了以下有益效果:
本实施例所提供的面向智能机器人的动作控制方法根据用户以及机器人自身的情绪变化,来产生相应的控制指令,从而使得智能机器人能够自发地做出一些与用户情绪或机器人情绪相关联的肢体动作,这样也就避免了现有动作控制方法由于动作控制过程与机器人和交互人(即用户)的情绪状态无关而导致的针对同一输入的多次反馈毫无差别的问题,进而改善了智能机器人的用户体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图做简单的介绍:
图1是根据本发明一个实施例的面向智能机器人的动作控制方法的流程图;
图2是根据本发明一个实施例的生成机器人输出情绪数据的流程图;
图3是根据本发明另一个实施例的面向智能机器人的动作控制方法的流程图;
图4是根据本发明一个实施例的面向智能机器人的动作控制装置的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
同时,在以下说明中,出于解释的目的而阐述了许多具体细节,以提供对本发明实施例的彻底理解。然而,对本领域的技术人员来说显而易见的是,本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
针对现有机器人动作控制方法所存在的缺陷,本发明提供了一种新的面向智能机器人的动作控制方法,该方法能够根据用户以及机器人自身的情绪变化,来产生相应的控制指令,从而使得智能机器人能够自发地做出一些肢体动作。由于智能机器人所做的动作是基于用户的当前情绪或智能机器人的当前情绪而进行地,因此这也就改善了现有机器人动作控制方法在实施过程中因在人机交互过程中总是重复同一种反馈动作所导致的用户体验差的问题。
为了更加清楚地阐述本发明所提供的动作控制方法的实现原理、实现过程以及优点,以下分别结合不同的实施例来对本发明所提供的方法做进一步地说明。
实施例一:
图1示出了本实施例所提供的面向智能机器人的动作控制方法的流程图。
如图1所示,本实施例所提供的方法首先在用户情绪获取步骤S101中获取当前多模态交互信息,并对所获取到的多模态交互信息进行分析,从而得到用户情绪信息。
本实施例中,当前多模态交互信息为用户与智能机器人进行人机家户的过程中用户所输入的信息。其中,多模态交互信息优选地包括视觉信息(即图像信息)。例如,在本发明的一个实施例中,该方法在步骤S101中所获取的当前多模态信息还可以包含在人机交互过程中用户的肢体信息和/或用户的语音信息等。
在步骤S101中获取到当前多模态交互信息后,该方法将采用相应的数据分析方法来对所获取的多模态交互信息进行分析,从而得到用户情绪信息。具体地,本实施例中,该方法在步骤S101中所获取到的多模态交互信息为图像信息,因此该方法可采用人脸识别技术和/或面部特征提取技术来根据图像信息确定出用户情绪信息。
本实施例中,机器人以及用户的情绪均大致分为两类,即正情绪和负情绪,这样本发明中所列举的情绪信息共计4种,即:机器人正情绪、机器人负情绪、用户正情绪以及用户负情绪。当然,在同一时刻,用户不可能既处于正情绪中,又处于负情绪中,因此对于本方法来说,其在某一时刻所获取到的用户情绪信息仅可能是用户正情绪和用户负情绪中的某一种。同理,该方法在某一时刻所获取到的机器人情绪信息也仅可能是机器人正情绪和机器人负情绪中的某一种。
需要指出的是,本发明所提及的正情绪既包含积极向上的情绪,也包含无情感偏向的中立情绪,其具体地可以包含诸如喜悦、惊奇以及平静等情绪;本发明所提及的负情绪主要指消极的情绪,具体地可以包含诸如愤怒、悲伤以及痛苦等情绪。
当然,如果在步骤S101中所获取到的多模态交互信息包括其他合理信息,那么该方法也可以采用其他合理方式来确定出用户情绪信息。例如,如果该方法在步骤S101中所获取的交互信息为语音信息(即在当前人机交互过程中,用户向智能机器人输入了语音信息),那么该方法在步骤S101中将采用自然语言处理技术和/或语义理解技术来解析出用户情绪信息。
在根据当前多模态交互信息确定出用户情绪信息后,该方法将在步骤S102中获取当前机器人情绪信息。本实施例中,该方法优选地从智能机器人自身存储器中读取当前机器人情绪信息。
需要指出的是,在本发明的其他实施例中,该方法还可以采用其他合理方式来获取当前机器人情绪信息,本发明不限由此。例如,在本发明的一个实施例中,该方法既可以提供提取上一交互时刻机器人的情绪信息来作为当前机器人情绪信息,又可以通过设定默认情绪的方式确定当前机器人情绪信息。
同时,还需要指出的是,对于本发明来说,并不对步骤S101与步骤S102的执行顺序进行限定,在本发明的不同实施例中,既可以先确定用户情绪信息再确定当前机器人情绪信息,也可以先确定当前机器人情绪信息再确定用户情绪信息,本发明同样不限于此。
当得到用户情绪信息和当前机器人情绪信息后,本实施例所提供的方法在步骤S103中根据用户情绪信息和当前机器人情绪信息生成机器人输出情绪数据,这样也就将机器人在呈现相关动作时能够将这些动作与当前机器人情绪信息或用户情绪信息相关联。
具体地,本实施例中,对于用户情绪信息和当前机器人情绪信息,该方法优选地按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序来生成机器人输出情绪数据。
例如,该方法在步骤S101中获取到的用户情绪信息为表征用户处于喜悦状态的用户正情绪,同时在步骤S102中获取到的当前机器人情绪信息为表征智能机器人处于悲伤状态的机器人能负情绪,那么按照上述优先级顺序,本实施例所提供的方法会将机器人负情绪作为机器人输出情绪数据,而最终智能机器人所呈现出的动作将会相应地表现出悲伤的情绪。
当在步骤S103中生成机器人输出情绪数据后,该方法将在步骤S104中以机器人输出情绪数据触发对应的动作执行指令,从而使得智能机器人呈现出相应的动作。
具体地,假设该方法在步骤S103中所生成的机器人输出情绪数据为表征智能机器人处于悲伤状态的机器人负情绪,那么该方法在步骤S104中可以通过动作执行指令控制智能机器人呈现诸如“垂头”的动作,以使用户感觉到智能机器人正“垂头丧气”。
需要指出的是,在本发明的不同实施例中,该方法在步骤S104中使得智能机器人做出相应动作的同时,还可以伴随其他合理的输出形式,本发明不限于此。例如,在本发明的一个实施例中,该方法在步骤S104中也可以通过相应的动作执行指令来控制智能机器人一边说话一边低头。
同理,假设该方法在步骤S103中所生成的机器人输出情绪数据为表征智能机器人处于得意状态的机器人正情绪,那么该方法在步骤S104中可以通过动作执行指令控制智能机器人将头部斜向上提高45度以呈现出类似“昂首”的动作,以使用户感觉到智能机器人正处于“得意洋洋”的状态。
假设该方法在步骤S103中所生成的机器人输出情绪数据为表征用户处于愤怒状态的用户负情绪,那么该方法在步骤S104中可以通过动作执行指令控制智能机器人呈现诸如“身体微微后倾甚至后退一步”的动作,以使用户感觉到智能机器人正“感到害怕”。
需要指出的是,在本发明的其他实施例中,还可以采用其他合理的方式来根据用户情绪信息以及当前机器人情绪信息来生成机器人输出情绪数据,本发明不限于此。
例如,在本发明的一个实施例中,对于机器人正情绪、机器人负情绪、用户正情绪以及用户负情绪这四种情绪信息而言,表征机器人负情绪的参量与机器人正情绪参量有且有一不参与输出,以及,表征用户正情绪的参量与用户负情绪的参量有且有一不参与输出。
在本发明的另一个实施例中,该方法还可以采用如图2所示的方法来生成机器人输出情绪数据。如图2所示,在该实施例中,该方法首先在步骤S201中获取用户情绪信息以及当前机器人情绪信息。由于用户情绪信息以及当前机器人情绪信息的获取方式与上述图1中步骤S101和步骤S102所阐述的内容类似,故在此不再赘述。
在获取到用户情绪信息和当前机器人情绪信息后,该方法将在步骤S202中判断当前机器人情绪信息是否为机器人负情绪。如果当前机器人情绪信息为机器人负情绪,那么该方法则执行步骤S204来基于当前机器人情绪信息(即机器人负情绪)生成机器人输出情绪数据;而如果当前机器人情绪信息为机器人正情绪,那么该方法则在步骤S203中进一步判断当前用户情绪信息是否为用户负情绪。
如果当前用户情绪信息为用户负情绪,那么该方法则执行步骤S205来基于用户情绪信息(即用户负情绪信息)来生成机器人输出情绪数据;而如果当前用户情绪信息为用户正情绪,那么该方法则执行步骤S204来基于当前机器人情绪信息生成机器人输出情绪数据。
从上述描述中看出,本实施例所提供的面向智能机器人的动作控制方法根据用户以及机器人自身的情绪变化,来产生相应的控制指令,从而使得智能机器人能够自发地做出一些与用户情绪或机器人情绪相关联的肢体动作,这样也就避免了现有动作控制方法由于动作控制过程与机器人和交互人(即用户)的情绪状态无关而导致的针对同一输入的多次反馈毫无差别的问题,进而改善了智能机器人的用户体验。
实施例二:
图3示出了本实施例所提供的面向智能机器人的动作控制方法的流程图。
如图3所示,本实施例所提供的动作控制方法首先在步骤S301中获取当前多模态交互信息,并对所获取到的多模态交互信息进行分析,从而得到用户情绪信息。此外,该方法还在步骤S302中获取当前机器人情绪信息。
当得到用户情绪信息和当前机器人情绪信息后,本实施例所提供的方法在步骤S303中根据用户情绪信息和当前机器人情绪信息生成机器人输出情绪数据,这样也就将机器人在呈现相关动作时能够将这些动作与当前机器人情绪信息或用户情绪信息相关联。
本实施例中,该方法确定用户情绪信息以及当前机器人情绪信息的原理以及过程与实施例一中步骤S101至步骤S103所阐述的内容类似,故在此不再赘述。
需要指出的是,在本发明的其他实施例中,该方法还可以采用其他合理方式来获取用户情绪信息和/或当前机器人情绪信息,本发明不限由此。例如,在本发明的一个实施例中,该方法既可以提供提取上一交互时刻机器人的情绪信息来作为当前机器人情绪信息,又可以通过设定默认情绪的方式确定当前机器人情绪信息,同时,对于用户输入的语音信息,该方法还可以通过提取语调以及语速等信息来确定用户情绪信息。
具体地,本实施例中,对于用户情绪信息和当前机器人情绪信息,该方法优选地按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序来生成机器人输出情绪数据。
如图3所示,本实施例中,当生成机器人输出情绪数据后,该方法还在步骤S304中根据所获取的多模态交互信息确定交互场景和/或用户身份信息。具体地,该方法可以通过人脸识别的方式来确定用户身份信息,同时,利用用户身份信息还可以进一步地确定出当前用户与智能机器人之间的关系。本实施例中,该方法可以根据所获取的多模态交互信息确定当前人机交互过程中智能机器人和/或用户所处的场景状态(例如用户周围环境信息等)。
在步骤S305中,该方法将以步骤S303中所确定出的机器人输出情绪数据以及步骤S304中所确定出的交互场景和/或用户身份信息触发对应的动作执行指令,从而使得智能机器人呈现出相应的动作。
从上述描述中可以看出,本实施例所提供的方法在实施例一所公开的方法的基础上,还引入了交互场景和/或用户身份来作为触发对应动作执行指令的参考参量,这样能够使得人机交互过程更加符合人与人之间的实际交互过程,从而使得智能机器人变现得更加人性化。
本实施例还提供了一种面向智能机器人的动作控制装置,图4示出了该装置的结构示意图。
如图4所示,本实施例所提供的动作控制装置主要包括:用户情绪获取模块401、机器人输出情绪数据确定模块402以及动作生成模块403。其中,用户情绪获取模块401用于获取当前多模态交互信息,并对所获取到的多模态交互信息进行分析,从而得到用户情绪信息。
本实施例中,用户情绪获取模块401所获取到的多模态交互信息可以包含多种不同形式的信息,本实施例中,多模态交互信息优选地包括视觉信息(即图像信息)。
用户情绪获取模块401在获取到当前多模态交互信息后,其将采用相应的数据分析方法来对所获取的多模态交互信息进行分析,从而得到用户情绪信息。具体地,本实施例中,对于获取到的视觉信息,用户情绪获取模块401将采用人脸识别技术和/或面部特征提取技术来根据图像信息确定出用户情绪信息。
当然,如果用户情绪获取模块401所获取到的多模态交互信息包括其他合理信息,那么用户情绪获取模块401也可以采用其他合理方式来确定出用户情绪信息。
本实施例中,机器人以及用户的情绪均大致分为两类,即正情绪和负情绪,这样本发明中所涉及的情绪信息便共计4种,即:机器人正情绪、机器人负情绪、用户正情绪以及用户负情绪。当然,在同一时刻,用户不可能既处于正情绪中,又处于负情绪中,因此对于来用户情绪获取模块401说,其在某一时刻所确定出到的用户情绪信息仅可能是用户正情绪和用户负情绪中的一种。
用户情绪获取模块401在确定出用户情绪信息后,会将用户情绪信息传输给机器人输出情绪确定模块402,以由机器人输出情绪确定模块402根据用户情绪信息和获取到的当前机器人情绪信息生成机器人输出情绪数据。
本实施例中,当前机器人情绪信息是存在出智能机器人内部的相应存储器中的,因此机器人输出情绪确定模块402可以通过读取该存储器来直接获取当前机器人情绪信息。
对于用户情绪信息和当前机器人情绪信息,机器人输出情绪确定模块402优选地按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序来生成机器人输出情绪数据。
需要说明的是,本实施例中,机器人输出情绪确定模块402根据用户情绪信息和当前机器人情绪信息生成机器人输出情绪数据的具体原理以及过程与实施例一中步骤S103所涉及的内容类似,故在此不再赘述。
当生成机器人输出情绪数据后,机器人输出情绪确定模块402会将机器人输出情绪数据传输至动作生成模块403。动作生成模块403能够以机器人输出情绪数据触发对应的动作执行指令,从而使得智能机器人呈现出相应的动作。
具体地,假设机器人输出情绪确定模块402所生成的机器人输出情绪数据为表征智能机器人处于悲伤状态的机器人负情绪,那么动作生成模块403可以通过动作执行指令控制智能机器人呈现诸如“垂头”的动作,以使用户感觉到智能机器人正“垂头丧气”。
需要指出的是,在本发明的其他实施例中,还可以采用其他合理的方式来根据用户情绪信息以及当前机器人情绪信息来生成机器人输出情绪数据,本发明不限于此。
例如在本发明的一个实施例中,该动作控制装置还可以包括机器人表达信息生成模块。其中,机器人表达信息生成模块能够根据所获取的多模态交互信息确定交互场景和/或用户身份信息。具体地,机器人表达信息生成模块可以通过人脸识别的方式来确定用户身份信息,同时,利用用户身份信息还可以进一步地确定出当前用户与智能机器人之间的关系。
此时,动作生成模块403将以机器人输出情绪确定模块402所确定出的机器人输出情绪数据以及机器人表达信息生成模块所确定出的交互场景和/或用户身份信息触发对应的动作执行指令,从而使得智能机器人呈现出相应的动作。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理,但对于本领域的技术人员来说,在不背离本发明的原理和思想的情况下,明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此,本发明由所附的权利要求书来限定。

Claims (10)

1.一种面向智能机器人的动作控制方法,其特征在于,包括:
用户情绪获取步骤,获取并分析当前多模态交互信息,得到用户情绪信息;
机器人输出情绪数据确定步骤,根据所述用户情绪信息及通过提取上一交互时刻机器人的情绪信息或通过设定默认情绪的方式获取的当前机器人情绪信息,生成机器人输出情绪数据;
在生成机器人输出情绪数据的步骤中,判断当前机器人情绪信息是否为机器人负情绪;
如果当前机器人情绪信息为机器人负情绪,那么基于当前机器人情绪信息生成机器人输出情绪数据;如果当前机器人情绪信息为机器人正情绪,那么进一步判断当前用户情绪信息是否为用户负情绪;
如果当前用户情绪信息为用户负情绪,那么基于用户情绪信息来生成机器人输出情绪数据;而如果当前用户情绪信息为用户正情绪,那么基于当前机器人情绪信息生成机器人输出情绪数据;
动作生成步骤,以所述机器人输出情绪数据触发对应的动作执行指令,使智能机器人呈现出相应的动作。
2.如权利要求1所述的方法,其特征在于,在所述机器人输出情绪数据确定步骤中,根据所述用户情绪信息中表征正情绪及负情绪的参量,以及所述当前机器人情绪信息中表征正情绪及负情绪的参量,生成所述机器人输出情绪数据。
3.如权利要求2中所述的方法,其特征在于,在所述机器人输出情绪数据确定步骤中,生成机器人输出情绪数据的步骤包括:
按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序生成所述机器人输出情绪数据,
其中,表征机器人负情绪的参量与机器人正情绪参量有且有一不参与输出,以及,表征用户正情绪的参量与用户负情绪的参量有且有一不参与输出。
4.如权利要求1~3中任一项所述的方法,其特征在于,所述多模态交互信息包括视觉信息,在所述用户情绪获取步骤中,利用视觉信息中的人脸识别结果确定所述用户情绪信息。
5.如权利要求1~3中任一项所述的方法,其特征在于,还包括:
机器人表达信息生成步骤,根据所述多模态交互信息确定交互场景和用户身份信息,并根据所述交互场景和用户身份信息生成机器人表达信息。
6.一种面向智能机器人的动作控制装置,其特征在于,包括:
用户情绪获取模块,其用于获取并分析当前多模态交互信息,得到用户情绪信息;
机器人输出情绪数据确定模块,其用于根据所述用户情绪信息及通过提取上一交互时刻机器人的情绪信息或通过设定默认情绪的方式获取的当前机器人情绪信息,生成机器人输出情绪数据;
机器人输出情绪数据确定模块,其通过执行如下操作生成机器人输出情绪数据,判断当前机器人情绪信息是否为机器人负情绪;
如果当前机器人情绪信息为机器人负情绪,那么基于当前机器人情绪信息生成机器人输出情绪数据;如果当前机器人情绪信息为机器人正情绪,那么进一步判断当前用户情绪信息是否为用户负情绪;
如果当前用户情绪信息为用户负情绪,那么基于用户情绪信息来生成机器人输出情绪数据;而如果当前用户情绪信息为用户正情绪,那么基于当前机器人情绪信息生成机器人输出情绪数据;
动作生成模块,其用于以所述机器人输出情绪数据触发对应的动作执行指令,使智能机器人呈现出相应的动作。
7.如权利要求6所述的装置,其特征在于,所述机器人输出情绪数据确定模块配置为根据所述用户情绪信息中表征正情绪及负情绪的参量,以及所述当前机器人情绪信息中表征正情绪及负情绪的参量,生成所述机器人输出情绪数据。
8.如权利要求7中所述的装置,其特征在于,所述机器人输出情绪数据确定模块配置为在生成机器人输出情绪数据的过程中,按照机器人负情绪、用户负情绪、机器人正情绪、用户正情绪的优先级顺序生成所述机器人输出情绪数据,其中,表征机器人负情绪的参量与机器人正情绪参量有且有一不参与输出,以及,表征用户正情绪的参量与用户负情绪的参量有且有一不参与输出。
9.如权利要求6~8中任一项所述的装置,其特征在于,所述多模态交互信息包括视觉信息,所述用户情绪获取模块配置为利用视觉信息中的人脸识别结果确定所述用户情绪信息。
10.如权利要求6~8中任一项所述的装置,其特征在于,还包括:
机器人表达信息生成模块,其用于根据所述多模态交互信息确定交互场景和用户身份信息,并根据所述交互场景和用户身份信息生成机器人表达信息。
CN201610264619.2A 2016-04-26 2016-04-26 一种面向智能机器人的动作控制方法及装置 Active CN105988591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610264619.2A CN105988591B (zh) 2016-04-26 2016-04-26 一种面向智能机器人的动作控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610264619.2A CN105988591B (zh) 2016-04-26 2016-04-26 一种面向智能机器人的动作控制方法及装置

Publications (2)

Publication Number Publication Date
CN105988591A CN105988591A (zh) 2016-10-05
CN105988591B true CN105988591B (zh) 2019-01-22

Family

ID=57044344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610264619.2A Active CN105988591B (zh) 2016-04-26 2016-04-26 一种面向智能机器人的动作控制方法及装置

Country Status (1)

Country Link
CN (1) CN105988591B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503786B (zh) * 2016-10-11 2020-06-26 北京光年无限科技有限公司 用于智能机器人的多模态交互方法和装置
CN108073336A (zh) * 2016-11-18 2018-05-25 香港中文大学 基于触摸的用户情绪检测系统和方法
CN108115678B (zh) * 2016-11-28 2020-10-23 深圳光启合众科技有限公司 机器人及其动作控制方法和装置
CN106874363A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 智能机器人的多模态输出方法及装置
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法
CN107817799B (zh) * 2017-11-03 2021-06-15 北京光年无限科技有限公司 结合虚拟迷宫进行智能交互的方法及系统
CN108109620A (zh) * 2017-11-24 2018-06-01 北京物灵智能科技有限公司 一种机器人智能交互方法及系统
CN109262627A (zh) * 2018-10-26 2019-01-25 深圳市三宝创新智能有限公司 一种具有多种性格的机器人与人交互方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567058A (zh) * 2009-05-31 2009-10-28 塔米智能科技(北京)有限公司 一种管理机器人情绪生成及表现的方法和系统
CN103218654A (zh) * 2012-01-20 2013-07-24 沈阳新松机器人自动化股份有限公司 一种机器人情绪情感生成与表达系统
CN104881108A (zh) * 2014-02-27 2015-09-02 青岛海尔机器人有限公司 一种智能人机交互方法及装置
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567058A (zh) * 2009-05-31 2009-10-28 塔米智能科技(北京)有限公司 一种管理机器人情绪生成及表现的方法和系统
CN103218654A (zh) * 2012-01-20 2013-07-24 沈阳新松机器人自动化股份有限公司 一种机器人情绪情感生成与表达系统
CN104881108A (zh) * 2014-02-27 2015-09-02 青岛海尔机器人有限公司 一种智能人机交互方法及装置
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人

Also Published As

Publication number Publication date
CN105988591A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
CN105988591B (zh) 一种面向智能机器人的动作控制方法及装置
CN106773923B (zh) 面向机器人的多模态情感数据交互方法及装置
CN107728780B (zh) 一种基于虚拟机器人的人机交互方法及装置
CN106294854B (zh) 一种用于智能机器人的人机交互方法及装置
JP5967838B2 (ja) 人間型ロボットのジェスチャと音声の同期
CN108009573B (zh) 一种机器人情绪模型生成方法、情绪模型以及交互方法
Padi et al. Improved speech emotion recognition using transfer learning and spectrogram augmentation
CN110309254A (zh) 智能机器人与人机交互方法
US20200401794A1 (en) Nonverbal information generation apparatus, nonverbal information generation model learning apparatus, methods, and programs
CN106502382A (zh) 用于智能机器人的主动交互方法和系统
CN112184859B (zh) 端到端的虚拟对象动画生成方法及装置、存储介质、终端
CN109993131A (zh) 一种基于多模态信号融合的设计意图判别系统及方法
CN109461435A (zh) 一种面向智能机器人的语音合成方法及装置
CN106503786A (zh) 用于智能机器人的多模态交互方法和装置
CN111383642A (zh) 基于神经网络的语音应答方法、存储介质以终端设备
CN106126636B (zh) 一种面向智能机器人的人机交互方法及装置
Kao et al. Model of multi-turn dialogue in emotional chatbot
CN109800295A (zh) 基于情感词典和词概率分布的情感会话生成方法
CN106875947B (zh) 用于智能机器人的语音输出方法和装置
CN109324515A (zh) 一种控制智能电器的方法及控制终端
CN105835064A (zh) 一种智能机器人的多模态输出方法和智能机器人系统
Moosaei et al. Evaluating facial expression synthesis on robots
CN116363737B (zh) 一种人脸图像属性编辑方法、系统、电子设备及存储介质
CN106502389A (zh) 一种用于机器人的多模态输出方法
CN109284811B (zh) 一种面向智能机器人的人机交互方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190220

Address after: 518064 Turing Robot 1404 Mango Net Building, Haitianyi Road, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Lightyear Turing Technology Co.,Ltd.

Address before: 100000 Fourth Floor Ivy League Youth Venture Studio No. 193, Yuquan Building, No. 3 Shijingshan Road, Shijingshan District, Beijing

Patentee before: Beijing Guangnian Infinite Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240408

Address after: Room 193, Ivy League Youth Entrepreneurship Studio, 4th Floor, Yuquan Building, No. 3 Shijingshan Road, Shijingshan District, Beijing, 100049

Patentee after: Beijing Guangnian Infinite Technology Co.,Ltd.

Country or region after: China

Address before: 518064 Turing Robot 1404 Mango Net Building, Haitianyi Road, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Lightyear Turing Technology Co.,Ltd.

Country or region before: China