CN111191765A - 一种情绪信息的处理方法及装置 - Google Patents

一种情绪信息的处理方法及装置 Download PDF

Info

Publication number
CN111191765A
CN111191765A CN201911415571.0A CN201911415571A CN111191765A CN 111191765 A CN111191765 A CN 111191765A CN 201911415571 A CN201911415571 A CN 201911415571A CN 111191765 A CN111191765 A CN 111191765A
Authority
CN
China
Prior art keywords
emotion
information
robot
type
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911415571.0A
Other languages
English (en)
Inventor
段素霞
赵安莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911415571.0A priority Critical patent/CN111191765A/zh
Publication of CN111191765A publication Critical patent/CN111191765A/zh
Priority to PCT/CN2020/133746 priority patent/WO2021135812A1/zh
Priority to EP20908501.8A priority patent/EP3923198A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例公开了一种情绪信息的处理方法及装置、计算机设备及可读存储介质,有利于展示机器人的情绪消散过程,提高机器人的拟人程度。本申请实施例提供的方法包括:响应于机器人检测到第一情绪触发事件,根据第一情绪触发事件确定第一情绪信息;根据第一情绪信息生成第一控制信息,第一控制信息用于指示机器人依次执行用于表达情绪的第一行为和第二行为,其中,第一行为用于表达第一情绪信息所指示的情绪,第二行为用于表达比所述第一情绪信息所指示的情绪更为轻微的情绪。

Description

一种情绪信息的处理方法及装置
技术领域
本申请涉及信息处理领域,尤其涉及一种情绪信息的处理方法及装置。
背景技术
机器人(robot)是自动执行工作的机器装置,它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类的工作,例如生产业、建筑业等领域的工作。随着科学技术的发展,对机器人的研究领域已经逐渐从工业领域扩展到医疗、保健、娱乐和教育等领域,机器人不仅具有完成指定任务的能力,还具有与人交互的能力。为了获得更好的交互体验,需要使机器人与人的交互更加拟人化。
外界刺激或内部刺激通常会引起人情绪的变化,人一般会通过不同的行为(例如不同的面部表情、声音或动作等)来表达不同的情绪。由于人们对情绪的表达方式通常具有共通性,在人与人的沟通过程中,通过观察对方的行为有利于确定对方的情绪。例如,当看到一个人微笑时,一般可以认为他当前的情绪是积极的情绪,例如开心;当听到一个人的哭泣声时,一般可以认为他当前的情绪是消极的情绪,例如伤心。
当机器人受到外界刺激或内部刺激时,若机器人能够像人一样表达其情绪的变化,将使机器人更加拟人,使人对机器人更容易产生共鸣,提高人们对机器人的使用粘性。但是,针对机器人受到刺激后如何像人一样表达其情绪,并没有太多解决方案。
发明内容
本申请实施例提供了一种情绪信息的处理方法及装置、计算机设备及可读存储介质,有利于展示机器人的情绪消散过程,提高机器人的拟人程度。
本申请实施例第一方面提供一种情绪信息的处理方法,包括:响应于机器人检测到第一情绪触发事件,根据所述第一情绪触发事件确定第一情绪信息;根据所述第一情绪信息生成第一控制信息,所述第一控制信息用于指示所述机器人依次执行第一行为和第二行为,所述第一行为和第二行为均用于表达情绪,其中,所述第一行为用于表达所述第一情绪信息所指示的情绪,所述第二行为用于表达比所述第一情绪信息所指示的情绪更为轻微的情绪。
情绪触发事件为引起机器人的情绪信息发生变化的、可被机器人检测到的事件;执行主体为机器人或服务器,或机器人与服务器的系统;情绪信息可以被量化为表达机器人情绪的参数;所述第二行为对应的情绪比所述第一情绪更轻微,或者说,第二行为比第一行为更接近平静情绪下的行为,或者说,第二行为对应的情绪的类型与第一情绪的类型相同,但是程度较低;机器人可以执行表达情绪的行为,第一行为、第二行为用于表达情绪,例如,通过发出声音、显示图像或文字、驱动实体做出动作等展示笑、哭、皱眉等人的情绪表达行为。
在第一方面提供的方法中,在确定机器人的第一情绪信息后,通过指示机器人依次执行第一行为和第二行为,有利于使得与机器人交互的人感受到机器人情绪的消散过程,有利于提高机器人的情绪细腻程度,进而提高机器人的拟人程度,使人对机器人更容易产生共鸣,提高机器人的使用粘性,提高机器人的价值。
在一种可能的实现方式中,所述第一情绪触发事件包括所述机器人被移动,所述机器人摔倒,所述机器人的环境参数劣于预设参数,所述机器人的任务失败和所述机器人的任务成功中的至少一项。示例性的,环境参数可以为光照程度、温度、噪音分贝等。
在一种可能的实现方式中,第二行为的程度比所述第一行为的程度更轻微,所述第一行为和所述第二行为的程度为幅度、频率和音量中的至少一种。
在一种可能的实现方式中,所述第一控制信息还用于指示所述机器人在执行所述第二行为之后,在检测到下一个情绪触发事件之前,执行用于表达初始情绪的第三行为,用于指示所述初始情绪的初始情绪信息预先存储在存储介质中。
在一种可能的实现方式中,所述第三行为是所述机器人开机后执行的第一个用于表达情绪的行为。
在一种可能的实现方式中,所述第一情绪信息用于指示情绪的类型为第一类型,且情绪的程度为第一程度。
在一种可能的实现方式中,所述第二行为所表达的情绪的类型为所述第一类型,所述第二行为所表达的情绪的程度轻于所述第一程度。
在一种可能的实现方式中,在所述根据所述第一情绪触发事件确定第一情绪信息之前,所述方法还包括:响应于所述机器人检测到第二情绪触发事件,根据所述第二情绪触发事件确定历史情绪信息,所述历史情绪信息用于生成历史控制信息,所述历史控制信息用于指示所述机器人执行历史行为,所述历史行为用于表达所述历史情绪信息所指示的情绪;所述根据所述第一情绪触发事件确定第一情绪信息,包括:根据所述第一情绪触发事件确定第一情绪变化信息,所述第一情绪变化信息用于指示由所述第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量;根据所述第一情绪变化信息和所述历史情绪信息确定所述第一情绪信息。
在一种可能的实现方式中,基于所述第一情绪变化信息所指示的情绪的类型与所述历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么所述第一类型为所述第一方向的情绪类型,且所述第一程度与所述第一情绪变化信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度正相关,所述第一方向的情绪类型为积极的情绪类型(例如开心、满意、自信等),或者为消极的情绪类型(例如伤心、失望、不自信等)。
在一种可能的实现方式中,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
在实际设计中,不严格限定第一时长等于第一时刻和第二时刻的时间间隔,可以略大于或小于时间间隔,只要能够体现时间间隔的变化即可,例如,时间间隔变大时,第一时长也相应变大。
在一种可能的实现方式中,第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;或者,所述第一方向的情绪类型为消极的情绪类型,且所述第二方向的情绪类型为积极的情绪类型;基于所述第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,所述历史情绪信息所指示的情绪的类型为第二方向的情绪类型,且所述第一类型为所述第一方向的情绪类型,那么所述第一程度与所述第一情绪信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度负相关。
在一种可能的实现方式中,所述第一程度与第一时长正相关,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
本申请实施例第二方面还提供一种情绪信息的处理装置,包括:确定模块,用于响应于机器人检测到第一情绪触发事件,根据所述第一情绪触发事件确定第一情绪信息;生成模块,用于根据所述第一情绪信息生成第一控制信息,所述第一控制信息用于指示所述机器人依次执行第一行为和第二行为,所述第一行为和第二行为均用于表达情绪,其中,所述第一行为用于表达所述第一情绪信息所指示的情绪,所述第二行为用于表达比所述第一情绪信息所述指示的情绪更为轻微的情绪。
在一种可能的实现方式中,所述第一情绪触发事件包括所述机器人被移动,所述机器人摔倒,所述机器人的环境参数劣于预设参数,所述机器人的任务失败和所述机器人的任务成功中的至少一项。
在一种可能的实现方式中,所述第二行为的程度比所述第一行为的程度更轻微,所述第一行为和所述第二行为的程度为幅度、频率和音量中的至少一种。
在一种可能的实现方式中,所述第一控制信息还用于指示所述机器人在执行所述第二行为之后,在检测到下一个情绪触发事件之前,执行用于表达初始情绪的第三行为,用于指示所述初始情绪的初始情绪信息预先存储在存储介质中。
在一种可能的实现方式中,所述第三行为是所述机器人开机后执行的第一个用于表达情绪的行为。
在一种可能的实现方式中,所述第一情绪信息用于指示情绪的类型为第一类型,且情绪的程度为第一程度。
在一种可能的实现方式中,所述第二行为所表达的情绪的类型为所述第一类型,所述第二行为所表达的情绪的程度轻于所述第一程度。
在一种可能的实现方式中,所述确定模块还用于:在所述根据所述第一情绪触发事件确定第一情绪信息之前,响应于所述机器人检测到第二情绪触发事件,根据所述第二情绪触发事件确定历史情绪信息,所述历史情绪信息用于生成历史控制信息,所述历史控制信息用于指示所述机器人执行历史行为,所述历史行为用于表达所述历史情绪信息所指示的情绪;所述确定模块根据所述第一情绪触发事件确定第一情绪信息,具体用于:根据所述第一情绪触发事件确定第一情绪变化信息,所述第一情绪变化信息用于指示由所述第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量;根据所述第一情绪变化信息和所述历史情绪信息确定所述第一情绪信息。
在一种可能的实现方式中,基于所述第一情绪变化信息所指示的情绪的类型与所述历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么所述第一类型为所述第一方向的情绪类型,且所述第一程度与所述第一情绪变化信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度正相关,所述第一方向的情绪类型为积极的情绪类型,或者为消极的情绪类型。
在一种可能的实现方式中,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
在一种可能的实现方式中,第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;或者,所述第一方向的情绪类型为消极的情绪类型,且所述第二方向的情绪类型为积极的情绪类型;基于所述第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,所述历史情绪信息所指示的情绪的类型为第二方向的情绪类型,且所述第一类型为所述第一方向的情绪类型,那么所述第一程度与所述第一情绪信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度负相关。
在一种可能的实现方式中,所述第一程度与第一时长正相关,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
在一种可能的实现方式中,所述装置还包括执行模块,所述执行模块用于:在所述生成模块根据所述第一情绪信息生成第一控制信息之后,根据所述第一控制信息依次执行所述第一行为和所述第二行为。
本申请实施例第三方面提供一种计算机设备,包括处理器和存储器,所述处理器在运行所述存储器存储的计算机指令时,执行如本申请实施例第一方面或第一方面的任意一种可能的实现方式所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行如本申请实施例第一方面或第一方面的任意一种可能的实现方式所述的方法。
本申请实施例第五方面提供一种计算机程序产品,包括指令,当所述指令在计算机上运行时,使得计算机执行如本申请实施例第一方面或第一方面的任意一种可能的实现方式所述的方法。
本申请实施例第六方面提供一种机器人,包括输入模块、输出模块、处理器和存储器,所述输入模块用于检测情绪触发事件,所述存储器用于存储计算机指令,所述处理器在运行所述存储器存储的计算机指令时,执行如本申请实施例第一方面或第一方面的任意一种可能的实现方式所述的方法,所述输出模块用于执行所述处理器生成的控制信息,例如,在接收到服务器发送的第一控制信息后,根据所述第一控制信息依次执行所述第一行为和所述第二行为。
本申请实施例第七方面提供一种机器人系统,包括机器人和服务器;所述机器人用于检测情绪触发事件,并将检测到的情绪触发事件发送给所述服务器;所述服务器用于根据所述机器人检测到的情绪触发事件执行如本申请实施例第一方面或第一方面的任意一种可能的实现方式所述的方法,并向所述机器人发送控制信息;所述机器人还用于执行所述服务器发送的控制信息,例如,在接收到服务器发送的第一控制信息后,根据所述第一控制信息依次执行所述第一行为和所述第二行为。
附图说明
图1A是本申请提供的机器人一个实施例示意图;
图1B是本申请提供的服务器一个实施例示意图;
图1C是本申请提供的机器人系统一个实施例示意图;
图2是本申请提供的情绪信息的处理方法一个实施例示意图;
图3A是本申请提供的不同程度的开心对应的不同行为的示意图;
图3B是本申请提供的不同程度的伤心对应的不同行为的示意图;
图4A是本申请机器人用于表达情绪的行为消散过程的一个示意图;
图4B是本申请机器人用于表达情绪的行为消散过程的另一个示意图;
图4C是本申请机器人用于表达情绪的行为消散过程的另一个示意图;
图5是本申请提供两种情绪的消散方程对应的曲线一种可能的示意图;
图6A至图6E是本申请提供的情绪信息的处理方法一种可能的应用场景示意图;
图7A是本申请提供的情绪信息的处理装置一个实施例示意图;
图7B是本申请提供的情绪信息的处理装置另一个实施例示意图。
具体实施方式
本申请实施例提供了一种情绪信息的处理方法及装置、机器人、服务器、机器人系统、计算机可读存储介质和计算机程序产品。下面结合附图,对本申请实施例进行描述。
图1A是本申请提供的机器人110的一个实施例示意图。机器人110可以包括输入模块111、处理器112、存储器113和输出模块114。其中,输入模块111可以包括传感器和数据处理模块,传感器用于检测数据,数据处理模块用于对传感器检测到的数据进行处理,例如摄像头用于检测图像数据,麦克风阵列用于检测音频数据,热敏传感器用于检测环境温度数据,光敏传感器用于检测光强数据等;存储器113用于存储计算机程序;处理器112用于执行存储器中的计算机程序,进行数据处理,向输出模块发送控制信息;输出模块114用于与用户(人或其他机器人)交互,例如,输出模块114可以为显示屏(例如可以设置在图1A中机器人的头部)、扬声器、驱动机构中的一种或多种,若机器人为人形机器人,驱动机构可以用于控制机器人改变身体姿态,例如通过控制机器人的手、胳膊、腿、头部等转动,驱动机构还可以用于控制机器人移动。
图1A以机器人110的外形为人形为例,需要说明的是,本申请不对机器人110的外形进行限定,也不限定机器人110能够执行人的所有行为,只要机器人110能够根据以人工智能技术制定的原则纲领行动,并且执行用于表达情绪的一类或多类行为即可。例如,人的用于表达情绪的行为类型一般可以包括表情、表达情绪的肢体动作(比如拍手、晃动身体等)、说话的语气等,机器人110只要能够向用户(人或其他机器人)展示上述至少一类用于表达情绪的行为即可,例如能够展示表情,或者能够做出肢体动作,或者能够发出带有不同语气的声音即可。示例性的,本申请实施例提供机器人110还可以为智能终端设备(例如手机)。
参考图1B,本申请实施例还提供一种服务器120。服务器120可以包括处理器121和存储器122。
图1A和/或图1B中的处理器可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。虽然图中仅仅示出了一个处理器,该装置可以包括多个处理器或者处理器包括多个处理单元。具体的,处理器可以是一个单核处理器,也可以是一个多核或众核处理器。该处理器可以是ARM架构处理器。
图1A和/或图1B中的存储器用于存储处理器执行的计算机指令。存储器可以是存储电路也可以是存储器。存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasablePROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。存储器可以独立于处理器,一种可能的实现方式中,处理器和存储器可以通过总线相互连接。总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。或者,存储器也可以是处理器中的存储单元,与处理器直接相连(attach),在此不做限定。虽然图中仅仅示出了一个存储器,该装置也可以包括多个存储器或者存储器包括多个存储单元。
图1C是本申请提供的机器人系统100的一个实施例示意图。机器人系统100包括机器人110和服务器120。机器人110的结构可以参考关于图1A的相关描述,服务器120的结构可以参考关于图1B的相关描述,此处不再赘述。机器人110和服务器120还可以包括通信模块,机器人110和服务器120可以通过各自的通信模块进行有线或无线的通信,例如,通过互联网进行交互。
上面对本申请实施例提供的机器人110、服务器120和机器人系统100进行了介绍,下面对本申请提供的情绪信息的处理方法进行介绍。该方法可以应用于图1A所示的机器人110中,也可以应用于图1B所示的服务器120中,也可以应用于图1C所示的机器人系统100中。当该方法应用于机器人系统100时,该方法由机器人110和服务器120共同执行。为了便于描述,下面将本方法的执行主体统称作计算机设备。
人的情绪通常会被一些事件影响,而产生情绪的变化,将引起情绪的变化的事件称作情绪触发事件,类似的,可以将引起机器人的情绪信息变化的事件称作情绪触发事件。人感受到来自外界的情绪触发事件(比如被夸奖)或内部的情绪触发事件(例如饥饿)后,会产生相应的情绪,例如开心或伤心,并通过相应的行为来表达产生的情绪,例如通过表情-笑来表达开心,通过表情-皱眉来表达伤心,当产生的情绪恢复平静(即没有情绪)后,人不再展现用于表达情绪的行为,即没有表情。
由于人们对情绪的表达方式通常具有共通性,在人与人的沟通过程中,通过观察对方的行为有利于确定对方的情绪。例如,当看到一个人微笑时,一般可以认为他当前的情绪是积极的情绪,例如开心;当听到一个人的哭泣声时,一般可以认为他当前的情绪是消极的情绪,例如伤心。
为了实现机器人的拟人化,机器人可以响应于检测到情绪触发事件产生情绪信息,并模仿人表达情绪的方式,执行用于表达情绪的行为,使交互对象(比如人或其他机器人)了解机器人的情绪。
现有技术中,机器人响应于检测到一个情绪触发事件i1产生情绪信息e1时,机器人会执行情绪信息e1对应的行为a1来表达该情绪,之后,机器人可以维持该行为a1,直至该行为a1维持预设时长,或者,检测到下一个情绪触发事件i2。
人的情绪通常比较细腻,这种细腻可以体现在因情绪触发事件产生的情绪会随着时间逐渐减弱,直至恢复到比较平静的情绪,相应的,人所展现的用于表达情绪的行为也随着时间逐渐减弱,直至不再展现用于表达情绪的行为。情绪的减弱可以为同种类型的程度减弱,或者可以为由一种类型的情绪转变为另一种类型的情绪,例如,由喜悦转变为满意。
而现有技术中,机器人在检测到情绪触发事件i1后,在检测到下一个情绪触发事件i2之前,一般按照如下两种方式中的一种方式执行用于表达情绪的行为:
1)由执行行为a1直接切换至不执行任何表达情绪的行为;
2)维持行为a1。
可见,和人的情绪表达相比,现有机器人表达情绪的方式不够细腻,不利于提高机器人的拟人程度。
图2为本申请实施例提供的情绪信息的处理方法一个实施例示意图。参考图2,本申请情绪信息的处理方法一个实施例可以包括如下步骤:
201、响应于机器人检测到第一情绪触发事件,根据第一情绪触发事件确定第一情绪信息;
机器人可以通过摄像头、热敏传感器、光敏传感器、声音检测装置等传感器来检测情绪触发事件,当机器人检测到情绪触发事件时,计算机设备可以获取该情绪触发事件,并根据该情绪触发事件确定机器人的情绪信息。将步骤201中检测到的情绪触发事件称作第一情绪触发事件,确定的情绪信息称作第一情绪信息。情绪信息可以被量化为表达机器人的情绪的参数,参数的不同值可以用来表示机器人的不同情绪信息。
本申请实施例不对计算机设备根据第一情绪触发事件确定机器人的第一情绪信息的方式进行限定,示例性的,计算机设备可以通过人工智能的方式,将检测到的第一情绪触发事件输入训练好的神经网络模型,输出机器人的第一情绪信息,或者,计算机设备可以通过预设的对应关系确定第一情绪触发事件对应的第一情绪信息。
202、根据第一情绪信息生成第一控制信息;
计算机设备确定第一情绪信息后,可以根据第一情绪信息生成第一控制信息,第一控制信息用于指示机器人依次执行第一行为和第二行为,第一行为和第二行为均是用于表达情绪的行为。其中,第一行为用于表达第一情绪信息所指示的情绪,第二行为用于表达比第一情绪信息所指示的情绪更为轻微的情绪。
机器人在检测到第一刺激数据后,在检测到下一次刺激数据之前,除了执行用于表达第一情绪信息对应的情绪的第一行为,还可以执行第二行为,第二行为用于表达比第一情绪信息所指示的情绪更轻微的情绪,和现有技术相比,本申请实施例提供的情绪信息的处理方法有利于使机器人展现出情绪随着时间逐渐减弱的过程,有利于使得机器人以更加细腻的方式表达情绪,从而有利于提高机器人的拟人程度,增加机器人的用户粘性。
机器人可以包括多个输出模块,每个输出模块用于输出一个单位动作,例如扬声器用于输出声音,显示屏用于输出表情,通过驱动机构用于输出晃动身体的动作。在一种可能的实现方式中,用于表达情绪信息的第一行为可以包括机器人同时执行的多个单位动作,例如在通过显示屏输出微笑的表情的同时,通过扬声器输出笑声,通过驱动机构驱动身体微微晃动。类似的,第二行为可以包括机器人同时执行的多个单位动作。
机器人的用于表达情绪的行为可以参考人的用于表达情绪的行为进行理解,例如,第一行为和第二行为可以为笑、哭、皱眉、叹气、拍手、唱歌、以愉悦或生气的口气说话等行为中的一种或多种,并且,行为所表达的情绪信息可以参考人的行为所表达的情绪,例如,笑用于表达开心,哭和皱眉用来表达伤心。需要说明的是,第一行为和第二行为可以为同一类型的行为,例如,都是笑,只是二者的程度不同。
在一种可能的实现方式中,行为的程度可以指该行为的幅度或频率或音量等。示例性的,第一行为指机器人做出笑的表情,第一行为的幅度指表情中嘴巴、眼睛、眉毛中的一个弯曲的幅度;第一行为指机器人发出笑声或拍手,第一行为的频率指声音的频率或拍手的频率;第一行为指机器人发出哭声,第一行为的音量指哭声的音量。
在一种可能的实现方式中,第二行为所表达的情绪比第一行为所表达的情绪更轻微,那么,第二行为的程度比第一行为的程度更轻微,行为的程度可以理解为幅度、频率和音量中的至少一种,即第二行为的幅度比第一行为的幅度更小,和/或,第二行为的频率比第一行为的频率更低,和/或,第二行为产生的声音比第一行为产生的声音更小。
在对人的情绪以及情绪的表达进行分析研究时,一般会将人的情绪划分为两大类,积极的情绪和消极的情绪,并且,同一类型的情绪还会被划分为不同程度,比如,用表示不同程度的副词(例如极度、非常、很和轻微,或者重度、中度、轻度、略微)或数值来区分情绪的不同程度。在一些更为具体的研究中,还会将积极的情绪和消极的情绪分别划分为更多的类型,或者,更加精细的划分同一类型的情绪的不同程度。
为了提高机器人的拟人程度,在一种可能的实现方式中,情绪信息可以用于指示情绪的类型和情绪的程度。
不同类型的情绪,其对应的行为不同;对于同一类型、不同程度的情绪,其对应的行为也不同。示例性的,以正整数代表情绪的程度,数值越大,情绪的程度越高。参考图3A和图3B,分别展示了开心的不同程度对应的不同行为(图3A和图3B中以面孔中的表情代表表达情绪的行为),I1和I2分别用于代表开心的程度和伤心的程度。在一种可能的实现方式中,可以为各类情绪设置程度阈值,例如,图3A中以TH1(0.1)代表开心的程度阈值,图3B中以TH2(0.2)代表伤心的程度阈值,当开心的程度超过0.1时,才在面孔中表达相应程度的开心的表情,当开心的程度未超过0.1时,可以不执行表达开心的行为,即面孔中不表达任何表情。
在一种可能的实现方式中,可以认为第二行为对应的情绪的类型与第一行为对应的情绪的类型相同,第二行为所表达的情绪的程度轻于第一行为所表达的情绪的程度。
在一种可能的实现方式中,在机器人执行第二行为之后,还可以执行其他的一个或多个用于表达情绪的行为,越轻微的行为,执行的次序越靠后,从而有利于更加细腻的表达机器人情绪逐渐消失的过程。
在一种可能的实现方式中,机器人在未检测到下一次刺激数据之前,其执行最后一个用于表达情绪信息的行为后,可以停止执行用于表达情绪信息的行为。图4A至图4C分别示例性的示出了表达情绪的行为消散的过程。参考图4A,随着时间的流逝,机器人的面孔依次变为面孔1、面孔2和面孔0,其中,面孔1和面孔2分别代表第一行为(具体为第一表情)和第二行为(具体为第二表情),面孔0用于代表停止执行表达情绪信息的行为(具体为无表情)。
或者,在一种可能的实现方式中,可以为机器人设置初始情绪信息,机器人在执行第二行为后,可以持续执行用于表达初始情绪信息的第三行为。该初始情绪信息可以预先存储在存储介质中。在一种可能的实现方式中,存储介质中可以存储多个备选初始情绪信息,计算机设备可以动态选择一个作为当前的初始情绪信息,例如,可以将机器人设计为初始情绪信息周期性变化,示例性的,可以以28天为一个周期,计算机设备可以存储28个备选初始情绪信息,每个备选初始情绪信息对应一个周期中的一天,相邻两天的备选初始情绪信息不同,计算机设备可以根据当前日期在当前周期中的次序(例如,今天是当前周日的第二天),便可以确定当前的初始情绪信息。参考图4B和图4C,面孔3和面孔4用于代表不同的初始情绪信息。图4B结合图3A,面孔3对应的初始情绪信息为:开心,程度在0.1至0.35之间;图4C结合图3B,面孔4对应的初始情绪信息为:伤心,程度在0.2至0.4之间。
刺激数据(将当前检测到的刺激数据称作第一刺激数据),不限定第一刺激数据为一种传感器检测到的数据,可以包括多类传感器检测到的数据,例如,包括通过摄像头检测到的图像数据、通过语音检测装置检测到的音频数据、通过热敏传感器检测到的环境温度数据以及通过光敏传感器检测到的光强数据等。
计算机设备可以根据第一刺激数据判断当前是否出现情绪触发事件,即引起机器人的情绪变化的事件,若出现情绪触发事件,则确定机器人检测到情绪触发事件(称作第一情绪触发事件)。
关于步骤201,在一种可能的实现方式中,计算机设备可以通过摄像头、热敏传感器、光敏传感器、声音检测装置等传感器检测相应数据,例如通过摄像头检测图像数据,通过语音检测装置检测音频数据,通过热敏传感器检测环境温度数据,通过光敏传感器检测,光强数据。计算机设备可以根据一个或多个传感器检测到的数据(称作刺激数据)判断是否检测到情绪触发事件,具体的,计算机设备可以对刺激数据进行识别处理,例如,计算机设备可以对检测到的图像进行人脸识别,识别图像中人的表情、人的个数等;识别到人脸后,计算机设备还可以对人的身体姿势进行识别,例如识别到人在招手;计算机设备可以对检测到的音频数据进行文字识别,并对识别的文字进行语义分析,得到人说话的意图,例如命令机器人执行任务,或者跟机器人打招呼。对刺激数据识别处理后,计算机设备可以识别刺激数据所指示的情绪触发事件(称作第一情绪触发事件),示例性的,第一情绪触发事件可以包括机器人被移动,机器人摔倒,机器人的环境参数劣于预设参数,机器人的任务失败和机器人的任务成功中的至少一项。环境参数可以指光照强度、环境温度、噪音分贝等。
在一种可能的实现方式中,计算机设备可以预先存储情绪触发事件与情绪变化信息的对应关系,识别出第一刺激数据所指示的第一情绪触发事件后,可以确定相应的第一情绪变化信息,第一情绪变化信息用于指示由第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量。在一种可能的实现方式中,第一情绪变化信息所指示的情绪的类型和程度即为第一情绪信息所指示的情绪的类型和程度。
在一种可能的实现方式中,可以根据机器人的需求层级来确定情绪触发事件与情绪变化信息的对应关系,有利于设计出更加符合人的情绪变化的对应关系,提高机器人的拟人程度。
在一种可能的实现方式中,第一情绪变化信息可以用于指示第一情绪触发事件影响的情绪的类型和引起的该类型情绪的程度变化量。示例性的,表1和表2分别示出了多种情绪触发事件分别影响的情绪的类型,以及引起的相应类型情绪的程度变化量,以大于0,且不超过1的数值来表示程度变化量,并且,数值越大,程度变化量越大。
表1
Figure BDA0002351104390000101
表2
Figure BDA0002351104390000111
感受到情绪触发事件时,人的当前情绪一般会发生改变,为了便于描述,可以将因情绪触发事件而发生改变之前的当前情绪称作历史情绪余量,将改变后的当前情绪称作刺激响应情绪,刺激响应情绪不仅由刺激带来的情绪变化决定,还由历史情绪余量决定。
在一种可能的实现方式中,历史情绪余量由前一次刺激响应情绪决定。因此,为了提高机器人的拟人程度,若机器人在检测到第一情绪触发事件之前,检测到第二情绪触发事件,并且根据第二情绪触发事件确定了对应的情绪信息(称作历史情绪信息),其中历史情绪信息用于生成历史控制信息,历史控制信息用于指示机器人执行历史行为,历史行为用于表达历史情绪信息所指示的情绪,那么在一种可能的实现方式中,步骤201可以包括:根据第一情绪触发事件确定第一情绪变化信息,之后,根据第一情绪变化信息和历史情绪信息确定第一情绪信息。
为了便于描述,将第一情绪信息指示的情绪的类型称作第一类型,将第一情绪信息指示的情绪的程度称作第一程度。
情绪之间的影响可以为相互促进的,或者可以为相互抑制的。
在一种可能的实现方式中,基于第一情绪变化信息所指示的情绪的类型与历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么第一类型为第一方向的情绪类型,且第一程度与第一情绪变化信息所指示的情绪的变化量正相关,第一程度与历史情绪信息所指示的情绪的程度正相关,第一方向的情绪类型为积极的情绪类型,或者为消极的情绪类型。
假设第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;或者,第一方向的情绪类型为消极的情绪类型,且第二方向的情绪类型为积极的情绪类型。在一种可能的实现方式中,基于第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,历史情绪信息所指示的情绪的类型为第二方向的情绪类型,若第一类型为第一方向的情绪类型,那么第一程度与第一情绪信息所指示的情绪的变化量正相关,第一程度与历史情绪信息所指示的情绪的程度负相关;若第一类型为第二方向的情绪类型,那么第一程度与第一情绪信息所指示的情绪的变化量负相关,第一程度与历史情绪信息所指示的情绪的程度正相关。
在一种可能的实现方式中,历史情绪余量还与获取第二情绪触发事件的时刻与获取第一情绪触发事件的时刻之间的时长相关。假设,第一时长为获取第二情绪触发事件的第二时刻与获取第一情绪触发事件的第一时刻之间的间隔时长。
在一种可能的实现方式中,若第一类型和历史情绪信息所指示的情绪的类型均为消极的情绪类型或均为积极的情绪类型,那么第一程度与第一时长负相关。
在实际设计中,不严格限定第一时长等于第一时刻和第二时刻的时间间隔,可以略大于或小于时间间隔,只要能够体现时间间隔的变化即可,例如,时间间隔变大时,第一时长也相应变大。
在一种可能的实现方式中,若第一类型为消极的情绪类型,历史情绪信息所指示的情绪的类型为积极的情绪类型;或者,第一类型为积极的情绪类型,历史情绪信息所指示的情绪的类型为消极的情绪类型,那么第一程度与第一时长正相关。
示例性的,可以按照如下公式(称作消散方程),根据第一时长和历史情绪信息所指示的情绪的程度计算历史情绪余量I_r:
I_r=I_2*f=I_2*1/(param1+param2*Math.exp(param3/t)),其中,param1、param2和param3是该方程的3个参数,t代表第一时长,I_2代表历史情绪信息所指示的情绪的程度。通过调整这3个参数,可以拟合出不同的消散曲线。
在一种可能的实现方式中,不同类型的情绪对应的消散方程中的一个或多个参数可以不同。图5中的实线曲线和虚线曲线分别代表程度为1的开心对应的消散曲线和程度为1的伤心对应的消散曲线,可以看出,二者的相同之处在于,均是“倒S形”曲线,即程度随时间的变化率先增加,后减小;不同之处在于,伤心的程度由1减少至0所经历的时长(称作消散时长)比开心的程度由1减少至0所经历的时长(消散时长)更短。在一种可能的实现方式中,消极的情绪的消散时长比积极的情绪的消散时长更短,有利于机器人更多的表达积极的情绪。
上面分别介绍了情绪触发事件对应的情绪变化信息和历史情绪余量的确定方式,下面举例介绍根据情绪变化信息和历史情绪余量确定第一情绪信息的方法。
若机器人的情绪的类型包括多种,在一种可能的实现方式中,机器人的第一情绪信息所指示的第一类型对应于一种情绪的类型,并且第一类型对应于情绪的程度高于阈值的情绪类型。在一种可能的实现方式中,可以根据情绪变化信息、历史情绪余量和不同类型的情绪之间的影响量分别确定每种类型的情绪的程度,从中选择高于阈值的程度,并以该程度作为第一程度,以该程度对应的情绪的类型作为第一类型。
下面举例介绍机器人的第一情绪信息的确定方法。
假设机器人包括三种类型的情绪,分别记为A、B和C,三种情绪的程度分别记作:I(A)、I(B)和I(C),A和B相互促进,A和C相互抑制,B和C相互抑制。
机器人检测到第一情绪触发事件时,假设第一情绪触发事件引起A的程度变化,变化量为a,可以按照如下过程分别计算三种情绪的程度:
I(B)=F(B)+E(B)+In(B_A)-In(B_C);
I(C)=F(C)+E(C)-In(C_B)-In(C_A);
I(A)=F(A)+E(A)+In(A_B)-In(A_C);
其中,F(A)、F(B)、F(C)分别为A、B、C的历史情绪余量,当三者的历史情绪余量均为0时,例如第一情绪触发事件为机器人开机后检测到的第一个情绪触发事件,F(A)、F(B)、F(C)为根据初始情绪信息确定的A、B、C的程度,例如,若初始情绪信息用于指示情绪B,程度为b,那么F(A)=0,F(B)=b,F(C)=0。
E(A)、E(B)、E(C)分别为第一情绪触发事件导致的A、B、C的程度变化,对于第一情绪触发事件引起A的程度变化,变化量为a,那么,E(A)=a,E(B)=0,E(C)=0。
In(A_B)为B对A的影响量,In(B_A)为A对B的影响量。在一种可能的实现方式中,In(A_B)=in(A_B)*I(B),In(B_A)=in(B_A)*E(A),其中,in(A_B)为B对A的影响因子,in(B_A)为A对B的影响因子,二者可以不同,也可以相同。其他In()和in()的含义可以类似理解,此处不再赘述。
从I(A)、I(B)和I(C)中选择超过阈值的程度作为第一情绪信息所指示的程度,以该程度对应的情绪的类型作为第一情绪信息所指示的情绪的类型。当多个程度均超过阈值时,可以以最大的程度作为第一情绪信息所指示的程度,以该程度对应的情绪的类型作为第一情绪信息所指示的情绪的类型。
若上述计算机设备为机器人,那么本申请方法实施例还可以包括:根据第一控制信息依次执行第一行为和第二行为。
下面介绍本申请提供的情绪信息的处理方法一个应用场景。假设情绪信息与情绪表达的对应关系如图3A和3B所示,情绪触发事件与情绪变化的对应关系如图表1和表2所示,计算机设备为机器人。
1、机器人开机;
参考图6A,机器人的表情对应的情绪可以为“平静”。
2、机器人根据当前时间确定初始情绪信息;
假设初始情绪信息为:开心,程度为f1=0.3。
3、机器人检测情绪触发事件;
通过声音、接触、光等信号的传感器检测刺激信号,对刺激信号进行处理,判断是否检测到情绪触发事件。
4、响应于在t1时刻检测到情绪触发事件i1,机器人根据该情绪触发事件i1确定情绪变化信息v1;
参考图6B,用户(图6B以儿童为例)对机器人热情的打招呼说“早上好~给我讲个故事好吗?”,此时,机器人可以判定检测到情绪触发事件i1,该情绪触发事件i1为“被热情的打招呼”,可以参考表1,确定情绪变化信息v1为:开心,0.5。
5、机器人根据初始情绪信息和情绪变化信息v1确定情绪信息e1;
之后,机器人可以根据初始情绪信息和情绪变化信息v1确定情绪信息e1,示例性的,以机器人包括两种类型的情绪(A和C)为例,其中A为开心,C为伤心,in(A_C)为0.1,in(C_A)为0.2,C的程度的阈值为0.2,A的程度的阈值为0.1确定情绪信息e1的具体过程可以如下:
I(C)=F(C)+E(C)-in(C_A)*E(A)=0+0-0.2*0.5=-0.1,对于伤心的程度小于0,可以认为伤心的程度为0。
I(A)=F(A)+E(A)-in(A_C)*I(C)=0.3+0.6-0.1*0=0.9。
关于上述两个公式的理解可以前考前述对三种情绪的程度的计算过程的介绍,此处不再赘述。
由于I(C)<0.2,I(A)>0.1,因此,情绪信息e1为:开心,程度I(A)为0.9。
6、机器人根据第一情绪信息执行情绪消散行为a1;
参考图6C,t代表时间,t1、t2、t3分别代表不同的时刻,且t1早于t2,t2早于t3,以情绪消散行为a1包括三个情绪行为(行为1、行为2和行为3)为例,其中,行为1对应于情绪信息e1,可以参考图3A;行为2与行为1对应的情绪类型相同,但是行为2对应的情绪程度低于行为1对应的情绪程度;行为3对应于初始情绪信息。
7、机器人检测情绪触发事件;
8、响应于在t4时刻检测到情绪触发事件i2,机器人根据情绪触发事件i2确定情绪变化信息v2;
步骤4之后,机器人还可以根据检测到的音频数据和图像数据,获取到用户下达的任务指令,即读个故事的指令,机器人可以通过网络下载或从本地存储介质中读取一个故事的音频,并通过扩音器播放该故事的音频数据。
参考图6D,假设播放完该故事的音频数据时(假设在t4时刻),用户皱着眉说“这个故事不好听”,此时机器人可以检测到情绪触发事件i2,具体为任务失败,机器人可以根据情绪触发事件i2确定情绪变化信息v2,可以参考表2,历史情绪变化信息为:伤心,0.8。
9、响应于在t4时刻检测到情绪触发事件i2,机器人根据t1和t4确定情绪信息e1的消散余量;
假设t1为9点15分,t4为9点20分,第一情绪信息的消散余量为:开心,程度为I1*f(t4-t1)=0.3,其中,f(t4-t1)可以参考图5对应的描述进行理解,此处不再赘述。
不限定步骤8和步骤9之间的时序关系。
10、机器人根据情绪信息e1的消散余量和情绪变化信息v2确定情绪信息e2;
之后,机器人可以可以根据情绪信息e1的消散余量和情绪变化信息v2确定情绪信息e2,示例性的,确定情绪信息e2的具体过程可以如下:
I(A)=F(A)+E(A)-in(A_C)*E(C)=0.3+0-0.1*0.8=0.22。
I(C)=F(C)+E(C)-in(C_A)*I(A)=0+0.8-0.2*0.22=0.8-0.044=0.756。
由于I(C)>0.2,I(A)>0.1,I(C)>I(A),因此,情绪信息e2为:伤心,程度I(C)为0.756。
11、机器人根据情绪信息e2执行情绪消散行为a2。
参考图6E,t代表时间,t4、t5、t6分别代表不同的时刻,且t4早于t5,t5早于t6,以情绪消散行为a2包括三个情绪行为(行为4、行为5和行为3)为例,其中,行为4对应于情绪信息e2,参考图3B;行为5与行为4对应的情绪类型相同,但是行为5对应的情绪程度低于行为4对应的情绪程度。
结合图1A,上述任一方法实施例中的计算机设备可以为机器人110,那么,输入模块111可以用于检测情绪触发事件(例如上述方法实施例中的第一情绪触发事件),存储器113用于存储执行本申请方案的计算机指令,处理112器用于执行存储器113中的计算机指令时,执行本申请实施例提供的任意一个方法实施例,输出模块114用于接收并执行处理器112生成的控制信息,例如,根据第一控制信息依次执行第一行为和第二行为。
结合图1B,上述任一方法实施例中的计算机设备可以为服务器120,存储器122用于存储执行本申请方案的计算机指令,处理121器用于执行存储器122中的计算机指令时,执行本申请实施例提供的任意一个方法实施例,生成第一控制信息。
结合图1C,上述任一方法实施例中的计算机设备可以为计算机系统100,机器人110和服务器120共同执行上述任一方法实施例,例如,机器人110用于检测情绪触发事件,并将检测到的情绪触发事件发送给服务器120;服务器120用于根据机器人110检测到的情绪触发事件执行本申请任一方法实施例,生成控制信息,并向机器人110发送控制信息;机器人110还用于执行服务器120发送的控制信息,例如,在接收到服务器120发送的第一控制信息后,根据第一控制信息依次执行第一行为和第二行为。
上面从方法和实体设备的角度对本申请实施例进行了介绍。下面,从功能模块的角度,介绍本申请实施例提供的情绪信息的处理装置。
从功能模块的角度,本申请可以根据上述方法实施例对执行情绪信息的处理方法的装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个功能模块中。上述集成的功能模块既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
比如,以采用集成的方式划分各个功能单元的情况下,图7A示出了一种情绪信息的处理装置的结构示意图。如图7A所示,本申请情绪信息的处理装置700的一个实施例可以包括:
确定模块701,用于响应于机器人检测到第一情绪触发事件,根据第一情绪触发事件确定第一情绪信息;生成模块702,用于根据第一情绪信息生成第一控制信息,第一控制信息用于指示机器人依次执行第一行为和第二行为,第一行为和第二行为均用于表达情绪,其中,第一行为用于表达第一情绪信息所指示的情绪,第二行为用于表达比第一情绪信息指示的情绪更为轻微的情绪。
在一种可能的实现方式中,第一情绪触发事件包括机器人被移动,机器人摔倒,机器人的环境参数劣于预设参数,机器人的任务失败和机器人的任务成功中的至少一项。
在一种可能的实现方式中,第二行为的程度比第一行为的程度更轻微,第一行为和第二行为的程度为幅度、频率和音量中的至少一种。
在一种可能的实现方式中,第一控制信息还用于指示机器人在执行第二行为之后,在检测到下一个情绪触发事件之前,执行用于表达初始情绪的第三行为,用于指示初始情绪的初始情绪信息预先存储在存储介质中。
在一种可能的实现方式中,第三行为是机器人开机后执行的第一个用于表达情绪的行为。
在一种可能的实现方式中,第一情绪信息用于指示情绪的类型为第一类型,且情绪的程度为第一程度。
在一种可能的实现方式中,第二行为所表达的情绪的类型为第一类型,第二行为所表达的情绪的程度轻于第一程度。
在一种可能的实现方式中,确定模块701还用于,在根据第一情绪触发事件确定第一情绪信息之前,响应于机器人检测到第二情绪触发事件,根据第二情绪触发事件确定历史情绪信息,历史情绪信息用于生成历史控制信息,历史控制信息用于指示机器人执行历史行为,历史行为用于表达历史情绪信息所指示的情绪。确定模块根据第一情绪触发事件确定第一情绪信息,具体用于,根据第一情绪触发事件确定第一情绪变化信息,第一情绪变化信息用于指示由第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量;根据第一情绪变化信息和历史情绪信息确定第一情绪信息。
在一种可能的实现方式中,基于第一情绪变化信息所指示的情绪的类型与历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么第一类型为第一方向的情绪类型,且第一程度与第一情绪变化信息所指示的情绪的变化量正相关,第一程度与历史情绪信息所指示的情绪的程度正相关,第一方向的情绪类型为积极的情绪类型,或者为消极的情绪类型。
在一种可能的实现方式中,第一程度与第一时长负相关,第一时长为机器人检测到第二情绪触发事件的第二时刻与机器人检测到第一情绪触发事件的第一时刻之间的间隔时长。
在一种可能的实现方式中,第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;或者,第一方向的情绪类型为消极的情绪类型,且第二方向的情绪类型为积极的情绪类型;基于第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,历史情绪信息所指示的情绪的类型为第二方向的情绪类型,且第一类型为第一方向的情绪类型,那么第一程度与第一情绪信息所指示的情绪的变化量正相关,第一程度与历史情绪信息所指示的情绪的程度负相关。
在一种可能的实现方式中,第一程度与第一时长正相关,第一程度与第一时长负相关,第一时长为机器人检测到第二情绪触发事件的第二时刻与机器人检测到第一情绪触发事件的第一时刻之间的间隔时长。
参考图7B,在一种可能的实现方式中,装置还包括执行模块703,执行模块703用于:在生成模块702根据第一情绪信息生成第一控制信息之后,根据第一控制信息依次执行第一行为和第二行为。图7B对应的装置可以设置在机器人110或机器人系统100中。
一种可能的实现方式,本申请实施例中的计算机执行指令或计算机指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
上述实施例,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机执行指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。在本申请实施例中,“多个”指两个或两个以上。
本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的各实施例中,为了方面理解,进行了多种举例说明。然而,这些例子仅仅是一些举例,并不意味着是实现本申请的最佳实现方式。
以上对本申请所提供的技术方案进行了详细介绍,本申请中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (29)

1.一种情绪信息的处理方法,其特征在于,包括:
响应于机器人检测到第一情绪触发事件,根据所述第一情绪触发事件确定第一情绪信息;
根据所述第一情绪信息生成第一控制信息,所述第一控制信息用于指示所述机器人依次执行第一行为和第二行为,所述第一行为和第二行为均用于表达情绪,其中,所述第一行为用于表达所述第一情绪信息所指示的情绪,所述第二行为用于表达比所述第一情绪信息所指示的情绪更为轻微的情绪。
2.根据权利要求1所述的方法,其特征在于,所述第一情绪触发事件包括所述机器人被移动,所述机器人摔倒,所述机器人的环境参数劣于预设参数,所述机器人的任务失败和所述机器人的任务成功中的至少一项。
3.根据权利要求1或2所述的方法,其特征在于,所述第二行为的程度比所述第一行为的程度更轻微,所述第一行为和所述第二行为的程度为幅度、频率和音量中的至少一种。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一控制信息还用于指示所述机器人在执行所述第二行为之后,在检测到下一个情绪触发事件之前,执行用于表达初始情绪的第三行为,用于指示所述初始情绪的初始情绪信息预先存储在存储介质中。
5.根据权利要求4所述的方法,其特征在于,所述第三行为是所述机器人开机后执行的第一个用于表达情绪的行为。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述第一情绪信息用于指示情绪的类型为第一类型,且情绪的程度为第一程度。
7.根据权利要求6所述的方法,其特征在于,所述第二行为所表达的情绪的类型为所述第一类型,所述第二行为所表达的情绪的程度轻于所述第一程度。
8.根据权利要求6或7所述的方法,其特征在于,在所述根据所述第一情绪触发事件确定第一情绪信息之前,所述方法还包括:
响应于所述机器人检测到第二情绪触发事件,根据所述第二情绪触发事件确定历史情绪信息,所述历史情绪信息用于生成历史控制信息,所述历史控制信息用于指示所述机器人执行历史行为,所述历史行为用于表达所述历史情绪信息所指示的情绪;
所述根据所述第一情绪触发事件确定第一情绪信息,包括:
根据所述第一情绪触发事件确定第一情绪变化信息,所述第一情绪变化信息用于指示由所述第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量;
根据所述第一情绪变化信息和所述历史情绪信息确定所述第一情绪信息。
9.根据权利要求8所述的方法,其特征在于,基于所述第一情绪变化信息所指示的情绪的类型与所述历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么所述第一类型为所述第一方向的情绪类型,且所述第一程度与所述第一情绪变化信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度正相关,所述第一方向的情绪类型为积极的情绪类型,或者为消极的情绪类型。
10.根据权利要求9所述的方法,其特征在于,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
11.根据权利要求8所述的方法,其特征在于,第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;
或者,所述第一方向的情绪类型为消极的情绪类型,且所述第二方向的情绪类型为积极的情绪类型;
基于所述第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,所述历史情绪信息所指示的情绪的类型为第二方向的情绪类型,且所述第一类型为所述第一方向的情绪类型,那么所述第一程度与所述第一情绪信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度负相关。
12.根据权利要求11所述的方法,其特征在于,所述第一程度与第一时长正相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
13.一种情绪信息的处理装置,其特征在于,包括:
确定模块,用于响应于机器人检测到第一情绪触发事件,根据所述第一情绪触发事件确定第一情绪信息;
生成模块,用于根据所述第一情绪信息生成第一控制信息,所述第一控制信息用于指示所述机器人依次执行第一行为和第二行为,所述第一行为和第二行为均用于表达情绪,其中,所述第一行为用于表达所述第一情绪信息所指示的情绪,所述第二行为用于表达比所述第一情绪信息所述指示的情绪更为轻微的情绪。
14.根据权利要求13所述的装置,其特征在于,所述第一情绪触发事件包括所述机器人被移动,所述机器人摔倒,所述机器人的环境参数劣于预设参数,所述机器人的任务失败和所述机器人的任务成功中的至少一项。
15.根据权利要求13或14所述的装置,其特征在于,所述第二行为的程度比所述第一行为的程度更轻微,所述第一行为和所述第二行为的程度为幅度、频率和音量中的至少一种。
16.根据权利要求13至15中任一项所述的装置,其特征在于,所述第一控制信息还用于指示所述机器人在执行所述第二行为之后,在检测到下一个情绪触发事件之前,执行用于表达初始情绪的第三行为,用于指示所述初始情绪的初始情绪信息预先存储在存储介质中。
17.根据权利要求16所述的装置,其特征在于,所述第三行为是所述机器人开机后执行的第一个用于表达情绪的行为。
18.根据权利要求13至17中任一项所述的装置,其特征在于,所述第一情绪信息用于指示情绪的类型为第一类型,且情绪的程度为第一程度。
19.根据权利要求18所述的装置,其特征在于,所述第二行为所表达的情绪的类型为所述第一类型,所述第二行为所表达的情绪的程度轻于所述第一程度。
20.根据权利要求18或19所述的装置,其特征在于,所述确定模块还用于:
在所述根据所述第一情绪触发事件确定第一情绪信息之前,响应于所述机器人检测到第二情绪触发事件,根据所述第二情绪触发事件确定历史情绪信息,所述历史情绪信息用于生成历史控制信息,所述历史控制信息用于指示所述机器人执行历史行为,所述历史行为用于表达所述历史情绪信息所指示的情绪;
所述确定模块根据所述第一情绪触发事件确定第一情绪信息,具体用于:
根据所述第一情绪触发事件确定第一情绪变化信息,所述第一情绪变化信息用于指示由所述第一情绪触发事件引起程度发生变化的情绪的类型和程度的变化量;
根据所述第一情绪变化信息和所述历史情绪信息确定所述第一情绪信息。
21.根据权利要求20所述的装置,其特征在于,基于所述第一情绪变化信息所指示的情绪的类型与所述历史情绪信息所指示的情绪的类型均为第一方向的情绪类型,那么所述第一类型为所述第一方向的情绪类型,且所述第一程度与所述第一情绪变化信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度正相关,所述第一方向的情绪类型为积极的情绪类型,或者为消极的情绪类型。
22.根据权利要求21所述的装置,其特征在于,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
23.根据权利要求18或19所述的装置,其特征在于,第一方向的情绪类型为积极的情绪类型,且第二方向的情绪类型为消极的情绪类型;
或者,所述第一方向的情绪类型为消极的情绪类型,且所述第二方向的情绪类型为积极的情绪类型;
基于所述第一情绪变化信息所指示的情绪的类型为第一方向的情绪类型,所述历史情绪信息所指示的情绪的类型为第二方向的情绪类型,且所述第一类型为所述第一方向的情绪类型,那么所述第一程度与所述第一情绪信息所指示的情绪的变化量正相关,所述第一程度与所述历史情绪信息所指示的情绪的程度负相关。
24.根据权利要求23所述的装置,其特征在于,所述第一程度与第一时长正相关,所述第一程度与第一时长负相关,所述第一时长为所述机器人检测到所述第二情绪触发事件的第二时刻与所述机器人检测到所述第一情绪触发事件的第一时刻之间的间隔时长。
25.一种计算机设备,其特征在于,包括处理器和存储器,所述处理器在运行所述存储器存储的计算机指令时,执行如权利要求1至12中任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的方法。
27.一种计算机程序产品,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的方法。
28.一种机器人,其特征在于,包括输入模块、输出模块、处理器和存储器,所述输入模块用于检测情绪触发事件,所述存储器用于存储计算机指令,所述处理器在运行所述存储器存储的计算机指令时,执行如权利要求1至12中任一项所述的方法,所述输出模块用于执行所述处理器生成的控制信息。
29.一种机器人系统,其特征在于,包括机器人和服务器;
所述机器人用于检测情绪触发事件,并将检测到的情绪触发事件发送给所述服务器;
所述服务器用于根据所述机器人检测到的情绪触发事件执行如权利要求1至12中任一项所述的方法,并向所述机器人发送控制信息;
所述机器人还用于执行所述服务器发送的控制信息。
CN201911415571.0A 2019-12-31 2019-12-31 一种情绪信息的处理方法及装置 Pending CN111191765A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911415571.0A CN111191765A (zh) 2019-12-31 2019-12-31 一种情绪信息的处理方法及装置
PCT/CN2020/133746 WO2021135812A1 (zh) 2019-12-31 2020-12-04 一种情绪信息的处理方法及装置
EP20908501.8A EP3923198A4 (en) 2019-12-31 2020-12-04 METHOD AND DEVICE FOR PROCESSING EMOTIONAL INFORMATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415571.0A CN111191765A (zh) 2019-12-31 2019-12-31 一种情绪信息的处理方法及装置

Publications (1)

Publication Number Publication Date
CN111191765A true CN111191765A (zh) 2020-05-22

Family

ID=70707948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415571.0A Pending CN111191765A (zh) 2019-12-31 2019-12-31 一种情绪信息的处理方法及装置

Country Status (3)

Country Link
EP (1) EP3923198A4 (zh)
CN (1) CN111191765A (zh)
WO (1) WO2021135812A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115847A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112379821A (zh) * 2020-11-24 2021-02-19 浙江同善人工智能技术有限公司 一种服务型机器人的交互系统
CN112847369A (zh) * 2021-01-08 2021-05-28 深圳市注能科技有限公司 机器人情绪转变的方法、装置、机器人及存储介质
WO2021135812A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 一种情绪信息的处理方法及装置
CN113524179A (zh) * 2021-07-05 2021-10-22 上海仙塔智能科技有限公司 基于情绪累积数值的控制方法、装置、设备以及介质
WO2023000310A1 (en) * 2021-07-23 2023-01-26 Huawei Technologies Co., Ltd. Methods, devices, and media for customizing and expressing personality of robot

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117250883A (zh) * 2022-12-06 2023-12-19 北京小米机器人技术有限公司 智能设备控制方法、装置、存储介质与芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150099A1 (en) * 2005-12-09 2007-06-28 Seung Ik Lee Robot for generating multiple emotions and method of generating multiple emotions in robot
CN106200959A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN106970703A (zh) * 2017-02-10 2017-07-21 南京威卡尔软件有限公司 基于心情指数的多层情感计算方法
CN107020637A (zh) * 2016-01-29 2017-08-08 深圳光启合众科技有限公司 宠物机器人的情绪表达方法及宠物机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
CN105345818B (zh) * 2015-11-04 2018-02-09 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN106096717B (zh) * 2016-06-03 2018-08-14 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
US10593349B2 (en) * 2016-06-16 2020-03-17 The George Washington University Emotional interaction apparatus
CN111191765A (zh) * 2019-12-31 2020-05-22 华为技术有限公司 一种情绪信息的处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150099A1 (en) * 2005-12-09 2007-06-28 Seung Ik Lee Robot for generating multiple emotions and method of generating multiple emotions in robot
CN107020637A (zh) * 2016-01-29 2017-08-08 深圳光启合众科技有限公司 宠物机器人的情绪表达方法及宠物机器人
CN106200959A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN106970703A (zh) * 2017-02-10 2017-07-21 南京威卡尔软件有限公司 基于心情指数的多层情感计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CYNTHIA BREAZEAL: "Function Meets Style: Insights From Emotion Theory Applied to HRI" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135812A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 一种情绪信息的处理方法及装置
CN112115847A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112115847B (zh) * 2020-09-16 2024-05-17 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112379821A (zh) * 2020-11-24 2021-02-19 浙江同善人工智能技术有限公司 一种服务型机器人的交互系统
CN112847369A (zh) * 2021-01-08 2021-05-28 深圳市注能科技有限公司 机器人情绪转变的方法、装置、机器人及存储介质
CN113524179A (zh) * 2021-07-05 2021-10-22 上海仙塔智能科技有限公司 基于情绪累积数值的控制方法、装置、设备以及介质
WO2023000310A1 (en) * 2021-07-23 2023-01-26 Huawei Technologies Co., Ltd. Methods, devices, and media for customizing and expressing personality of robot

Also Published As

Publication number Publication date
EP3923198A1 (en) 2021-12-15
WO2021135812A1 (zh) 2021-07-08
EP3923198A4 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
CN111191765A (zh) 一种情绪信息的处理方法及装置
US20230373097A1 (en) Control of social robot based on prior character portrayal
WO2020135194A1 (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
EP1256931A1 (en) Method and apparatus for voice synthesis and robot apparatus
US7987091B2 (en) Dialog control device and method, and robot device
US20120232891A1 (en) Speech communication system and method, and robot apparatus
CN106874265A (zh) 一种与用户情绪匹配的内容输出方法、电子设备及服务器
CN106503786B (zh) 用于智能机器人的多模态交互方法和装置
KR101984283B1 (ko) 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체
CN112684881B (zh) 化身面部表情生成系统及化身面部表情生成方法
CN116524924A (zh) 数字人交互控制方法、装置、电子设备和存储介质
KR100423788B1 (ko) 완구에 있어서 대화형 음성 및 다감각인식 시스템 및 이의방법
KR102051217B1 (ko) 생체 모방 기반 동물형 로봇의 감정표현 제어 장치 및 방법
JP7414735B2 (ja) 複数のロボットエフェクターを制御するための方法
CN114745349B (zh) 一种点评方法、电子设备及计算机可读存储介质
KR102128812B1 (ko) 로봇의 사회 지능 평가 방법 및 이를 위한 장치
JP2001209779A (ja) 仮想生物システム及び仮想生物システムにおけるパタン学習方法
JP5602753B2 (ja) 懐く挙動を示す玩具
JP2018051648A (ja) ロボット制御装置、ロボット、ロボット制御方法、及びプログラム
JP4355823B2 (ja) 表情等の情報処理装置
WO2020130734A1 (ko) 사용자 상태에 기초하여 반응을 제공하는 전자 장치 및 그의 동작 방법
Thompson et al. Emotibot: An Interactive Tool for Multi-Sensory Affect Communication
JP2023146843A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022006610A (ja) 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット
CN113580166A (zh) 一种拟人化机器人的交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination