CN109891357A - 情感智能陪伴装置 - Google Patents

情感智能陪伴装置 Download PDF

Info

Publication number
CN109891357A
CN109891357A CN201780065001.6A CN201780065001A CN109891357A CN 109891357 A CN109891357 A CN 109891357A CN 201780065001 A CN201780065001 A CN 201780065001A CN 109891357 A CN109891357 A CN 109891357A
Authority
CN
China
Prior art keywords
robot
emotion
user
accompanied
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780065001.6A
Other languages
English (en)
Inventor
普拉尚特·叶恩格尔
斯内·拉库玛·瓦斯瓦尼
秦坦·赖卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arnzidacus Technology Private Ltd
Original Assignee
Arnzidacus Technology Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arnzidacus Technology Private Ltd filed Critical Arnzidacus Technology Private Ltd
Publication of CN109891357A publication Critical patent/CN109891357A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Abstract

本发明公开了一种机器人陪伴装置(10),其配置用于捕获和分析情感信息和语义信息并相应地引发响应。它包括处理器(20),用于管理情感处理和响应,所述处理器(20)配置为捕获和分析来自传感器的语义和情感信息,并使用多种执行器和通信设备与用户以及外部世界进行交流;面部装置(11),所述面部装置(11)配置为捕获视觉信息,和显示情感;运动装置(13),使机器人陪伴装置能够移动;以及麦克风/扬声器装置(15),其配置用于接收听觉信号和发出声音响应。面部装置(11)、运动装置(13)和麦克风/扬声器装置(15)均与处理器(20)通信。

Description

情感智能陪伴装置
技术领域
本发明涉及一种陪伴装置。更具体地说,本发明涉及一种情感智能、具有学习能力的陪伴装置。另外,该陪伴装置基于情感回路原理(affective loop principle)设计。
背景技术
近年来,许多科学家已经多次尝试制造机器人,这些机器人能够理解人类的情感状态或的情绪状态,并做出相应的反应或响应。
许多公司已经开发了许多类人生物,如由新加坡南洋理工大学的科学家开发的纳丁,由汉森机器人开发的索菲亚。纳丁和索菲亚都可被视为开发这种人工智能机器人的尝试,这种机器人最终可以为孤独的老年人提供照顾和友谊,或者可以执行其他社会功能,包括教学。这种机器人被称为社交机器人或陪伴机器人。
软银的派颇尔(Pepper)和娜奥(Nao)是社交机器人或陪伴机器人的另一个例子。例如,派颇尔能够识别人类的主要情感,包括快乐、悲伤、愤怒或惊奇。它还能够翻译一个微笑,一个皱眉,一个人的声音的音调,以及一个人使用的词汇场。它还可以识别非口头语言。
在US6175772、US7333969、US8909370和US20150012463中可以找到更多的陪伴机器人或社交机器人的例子。
US 6175772中所述的机器人确实对人类情感作出响应,但是,这种响应是基于用户在发出命令时的意图与获得的输出之间的差异。美国772的机器人通过分析面部表情和/或声音的变化来识别这种差异。然而,机器人无法根据人的情感和/或个性进行分析和响应。
US7333969中详细介绍了一种更好的人类情感合成装置。美国969公开人形机是基于神经递质(neurotransmitters)如去甲肾上腺素和乙酰胆碱(norepinephrine andacetylcholine)的生物学功能来表达情感的。天然神经递质的使用使得本发明的仿人型机器人的操作成本相当高。
除上述发明者外,许多其他发明者一直在努力开发这样的机器人,通过分析人类的情感,能够有效地与人类用户互动,并做出相应的反应。
与上述观点保持一致,目前的发明家们提出了一种机器人陪伴装置或陪伴装置,它可以有效地按照情感回路(Affective Loop)的概念行动,并为用户提供发展的推动力。
发明内容
在一个方面,本发明提供了一种陪伴装置,其设计为基于情感回路原理进行动作,其中陪伴装置用于捕获和分析情感和语义事件并作出相应的响应。
在另一方面,本发明提供一种机器人陪伴装置,其配置用于捕获和分析情感信息和语义信息并相应地引发响应。
根据本发明,机器人陪伴装置包括用于管理情感处理和响应的处理器,所述处理器配置为从传感器捕获和分析语义和情感信息,并使用多种执行器和通信设备与用户以及外部世界进行交流;配置用于捕获视觉信息和显示情感的面部装置;使机器人陪伴装置能够移动的运动装置;和麦克风/扬声器装置,用于接收听觉信号和发出声音响应。面部装置、运动装置和麦克风/扬声器装置均与处理器通信。
陪伴装置通过监视用户在一段时间内的情感和语义行为来了解用户的个性。
在一个方面,本发明提供了一种可作为用户的发展陪伴的陪伴装置。所述陪伴装置与用户交互,在与用户交互时,获得关于用户的信息。
本发明的陪伴装置可以根据陪伴装置在一段时间内与用户的相互交互作用来适配理想的个性。
本发明的陪伴装置可以通过接收来自多个传感器或传感器装置的输入来进行主动和/或被动学习,这些传感器或传感器装置可以形成一个单独的物理实体,或者传感器可以形成一个阵列。
附图说明
图1A图示了根据一个实施例的陪伴装置的正视图。
图1B图示了根据一个实施例的陪伴装置的后视图。
图2图示了本发明的陪伴装置10的示意图。
图3图示了处理器20的详细示意图。
具体实施方式
现参照附图对本发明进行说明。
尽管这些图显示了同一发明的各种实施例,但它们并不限制本发明的范围。本领域技术人员可以直接根据本发明实施例看到的任何修改视为落在本发明的范围内。
参照附图,本发明公开了一种机器人陪伴装置(10),其配置用于捕获和分析情感信息和语义信息,并相应地引发响应。它包括处理器(20),所述处理器(20)包括情感核心,所述情感核心管理情感处理和响应,所述情感处理和响应配置为捕获和分析来自传感器的语义和情感信息,并使用多个执行器和通信设备与用户以及外部世界进行交流;与处理器(20)电子通信的面部装置(11),其中所述面部装置(11)配置为捕捉视觉信息和显示情感;与处理器(20)电子通信的运动装置(13),其中所述运动装置(13)允许机器人陪伴装置(10)移动;与处理器(20)电子通信的麦克风/扬声器装置(15),其中所述麦克风/扬声器装置(15)配置为接收听觉信号和发出声音响应。
所附的图1A图示了根据本发明实施例之一的陪伴装置的正面视图。图1B图示根据本发明的一个实施例的陪伴装置的后视图。
关于图1A,陪伴装置10的正面视图显示三个主要部分,即面部装置11、耳灯12、运动装置13和侧臂灯14。
面部装置11具有捕捉视觉信息和显示情感的双重功能。
面部装置11捕获语义输入,例如面部和情感输入,其中可能包括用户的面部表情。面部装置11还可用于识别用户。面部装置11可通过从但不限制于摄像机、3D摄像机、360度摄像机、红外摄像机、光场摄像机、摄像机排列或阵列等中选择的视觉传感器捕捉视觉信息。
面部装置11还包括类似视觉显示元件的执行器,其可包括屏幕、用于显示多种“情感”的光阵列。所说的“情感”,是用执行器的组合来显示的。例如,陪伴装置可以通过使用LED灯的愤怒脸视觉显示来表达愤怒,通过快乐脸的视觉显示和/或围绕其轴的圆周运动来表达快乐。
在一个实施例中,视觉传感器和/或执行器可以包括分散在一个区域的视觉传感器和/或执行器阵列。因此,陪伴装置可以使用来自移动设备(如照相机和麦克风)的感官输入作为其自身视觉和听觉设备的扩展。例如,当用户在家时,陪伴装置可以使用家中可用的传感器和执行器,而在旅行时,陪伴装置可以使用移动设备上可用的传感器和执行器。
在其中一个实施例中,陪伴装置可以用类似耳灯12或侧臂灯14的灯来装饰。所述灯12和14都用于装饰目的,可用于强调陪伴装置10的情感反应。
陪伴装置还设有运动装置13。优选地,所述运动装置位于所述陪伴装置10的本体的底部。所述运动装置13可从以下装置中选择,但不限于以下运动装置,如基于轮子的驱动装置、基于推进的飞行装置、基于推动器的水下装置,诸如臂、腿、机器人工具和实用工具等的操纵器,优选地,运动装置13是一个双轮驱动装置,使机器人陪伴装置10可沿着二维平面上的任何路径移动。
现在参见图1B,其显示了陪伴装置10的后视图,它显示了麦克风/扬声器装置15、充电槽16和电源开关17。
麦克风/扬声器装置15执行接收听觉信号和发出听觉响应的双重功能。麦克风/扬声器装置15包括可由单个或一组麦克风等组成的收听设备。麦克风/扬声器装置15还包括可编程为合成和发出声音的此类装置或设备。
陪伴装置设有充电端口16,用于对充电电源充电。电源可从电池、太阳能电池等中选择,电源最好是可充电的Li离子电池。
电源开关17用于接通或断开陪伴装置。所述电源开关17可以是羽毛触摸开关、按钮开关或按钮型开关。
除上述传感器外,陪伴装置可配备多种编码器和传感器或传感装置,这些编码器和传感器或传感装置选自但不限于范围和/或距离传感器、接近传感器、位置传感器、惯性传感器等。范围或距离传感器可包括但不限于超声波传感器、激光雷达、声纳等。接近传感器可包括但不限于超声波传感器、红外传感器、NFC传感器、蓝牙传感器。位置传感器可包括但不限于射频传感器、GPS传感器、地理位置传感器等。惯性传感器可包括但不限于加速度计、陀螺仪、磁强计、惯性导航系统、温度/压力/光/湿度/风速等。
陪伴装置可使用与陪伴装置的预期用途相关的其他传感器或感觉装置。
上述多个传感器或传感器装置可以形成一个单一的物理系统,也可以以网络的形式分布。例如,一系列的摄像机和监听设备可以遍布整个房子或办公室。
图2示出了本发明的陪伴装置的原理图。如图所示,面部装置11、运动装置13和麦克风/扬声器装置15与处理器20电子接触。
处理器20通过视觉传感器、麦克风/扬声器装置15和其他可能包含在陪伴装置中的传感器接收来自面部装置11的信息。处理器20分析这些信息以确定信号和情感提示。然后同时分析由此确定的语义和情感线索,以确定用户表达的确切情感。
然后,处理器20根据对所表达情感的分析来确定要生成的响应。由此产生的响应可以是视觉响应,其将由面部装置11显示,或者是听觉响应,其可能包括声音合成,其将导致通过麦克风/扬声器装置15发出声音;或两者。
在视觉响应的情况下,处理器20可指示面部装置11点亮LE D,以形成可指示所需响应的特定模式。例如,微笑可以用来表示幸福。在声音响应的情况下,处理器20可指示麦克风/扬声器装置15合成并发出声音响应。例如,麦克风/扬声器装置15可发出类似咯咯的声音,以突出面部装置11上显示的微笑样视觉响应。
除了响应通过面部装置11和/或麦克风/扬声器装置15接收到的输入之外,处理器20还可以接收来自其他传感器的此类其他感官信息,这些传感器是执行其他活动所必需的,例如通过运动装置13进行不受阻碍的运动。
从传感器接收信号和情感输入、分析接收的输入并根据接收的输入作出响应的行为可以称为事件或交互事件。
所附的图3示出了处理器20的原理图,详细示出了包含在处理器中的模块。
处理器20配备有传感器模块21。传感器模块21与安装在陪伴装置主体上的所有传感器直接电子接触。传感器模块21还可以配置为从传感器阵列接收传感信息。所收集的信息可以由语义信息或情感信息组成,也可以同时包含两者。接收到的信息随后由传感器模块21传递给事件分析模块22。
事件分析模块22配置为分析从传感器模块21接收到的语义和情感输入,无论是单独还是同时,基于事件分析,事件分析模块22可生成适当的语义和/或情感响应。然后将所述语义和/或情感响应转发到响应模块23。
响应模块23与执行器直接电子接触,执行器将产生预期响应。响应模块23驱动位于面部装置11、麦克风/扬声器装置15和运动装置13中的执行器,以及位于耳灯12和/或侧臂灯14中的执行器,以生成事件分析模块23呈现给它的预期响应。
处理器20还具有记忆模块24。记忆模块24配置为存储陪伴装置与用户之间的所有交互事件。它可以进一步存储可能与导致事件发生的特定情况相关的信息。记忆模块24配置为存储一段时间内发生的事件。事件分析模块22可以在需要时访问存储的信息,以确定某个事件再次发生时生成的理想响应。
记忆模块24还可配置为存储在与用户被动或主动交互时由陪伴装置获取的其他信息。事件分析模块22也可以访问这些信息,这有助于模块22适配理想人格,该理想人格是对用户人格的补充或互补。
发明的详细说明:
本发明的陪伴装置设计为作为一个发展的伴侣,可以帮助用户特别是儿童在社会、学术和认知的发展。
如本文所述,本发明的陪伴装置旨在捕捉人类情感并作出相应的反应。陪伴装置通过结合从多个传感器获得的输入来检测人类用户的情感状态。陪伴装置使用这些输入来单独或同时确定语义和情感信息。例如,人脸的检测是语义信息,人脸表情的检测是情感信息。因此,无论是微笑还是皱眉,都会形成情感信息。在另一个例子中,陪伴装置处理来自听觉传感器的输入以确定所发出的确切语音,这形成了语义信息。伴奏装置进一步分析了由此检测到的语音的韵律特征,如音高、语调和响度,形成了情感信息。
本发明的陪伴装置是根据情感回路原理设计的。理论上,情感回路可以被定义为一种行为,其中“系统的用户首先通过涉及身体的一些物理交互(例如,通过手势或操作)来表达他的情感;然后系统通过生成情感表达(例如,颜色、动画和触觉)来作出响应,而这些情感表达反过来又是影响用户(思想和身体),使用户的反应和一步一步地感觉越来越与系统关系密切。换句话说,情感回路可以定义为用户以主动物理交互的形式进行的主动交互。在本发明中,“情感回路”还包括语音交互、面部交互和通过远程设备(如移动电话)的数字交互,和通过观察用户在各种电子和在线足迹上的行为的被动交互。
在一个实施例中,陪伴装置还可以同时处理来自不同传感器的输入。因此,通过视觉和听觉传感器传来的用户的面部信息和语音信息被同时处理,以确定用户的情感状态。
在一个实施例中,陪伴装置不仅可以分析来自传感器输入的语义和情感信息,还可以使用多种执行器和通信设备与用户和外部世界进行交流。
陪伴装置需要执行器来表达情感。例如,陪伴装置显示各种像素组合,以在屏幕或光阵列等可视显示元素上显示情感。快乐的脸表现出积极的情感状态,悲伤的脸表现出消极的情感状态。
在一个实施例中,所述陪伴装置可以配置诸如基于射频的电信设备、基于EM的电信设备、基于声音的电信设备、互联网、卫星和/或移动网络等的电信设备。陪伴装置可以同时使用多个电信装置进行交流。特别是为系统提供服务,其中系统的某些元素被放置在远程位置。
陪伴装置也可配备蓝牙。用户可以通过蓝牙与机器人进行交流,以发送和接收来自陪伴装置的数据。
根据上述实施例,陪伴装置可以同时使用多个通信装置从多个来源发送和接收信息。例如,它可以使用蓝牙在移动设备上与用户通信,同时它可以使用Wi-Fi设备连接互联网。
在一个实施例中,陪伴装置被设计为执行分布式处理。相应地,由于陪伴装置的远程交互能力,陪伴装置的各个组件可以被远程定位并像整体单元(cohesive unit)一样执行。例如,负责存储一般知识信息的陪伴装置大脑的一部分可以存在于另一个陪伴装置上,该设备在远程中心位置具有优越的硬件计算能力。因此,该陪伴装置可以作为服务器,由另一个陪伴装置访问,以访问一般知识信息。
此外,陪伴装置可以被视为服务器,任何其他陪伴装置或其一部分可以访问该服务器,以访问一般知识信息。因此,可以将共享一个公共处理例程或信息数据库的多个陪伴装置放置在中心位置,并使用基于云的电信设备进行访问。例如,在多个用户位置的多个陪伴装置可以被视为传感器和执行器扩展,其公共大脑位于一个中心位置,并通过互联网相互通信。
根据上述实施例,由于配备了电信设备,陪伴装置表现出执行基于云的计算的能力。
在另一个实施例中,机器人陪伴装置不仅捕捉到用户的情感反应,还可以捕捉到用户的内部情感状态,这可以称为“用户的内部世界”。它通过跟踪导致情感反应发生的事件来做到这一点。例如,当与用户玩游戏时,如果用户输掉了游戏并表示悲伤,则陪伴装置将悲伤与输掉游戏的事件关联起来。
机器人陪伴装置可以进一步捕捉“外部用户世界”的状态,其中可能包括外部世界事件,如运动、电影、新闻、交通、旅行、天气、节日、庆典、地点等。例如,机器人陪伴装置可以建立用户情感与外部天气条件的关系,机器人陪伴装置可以记录用户的悲伤和多云天气,或用户的快乐和户外的晴朗天气,或用户由于非常炎热的条件而生气。
陪伴装置通过同时分析用户的内外部状态,可以关联用户的情感状态。例如,陪伴装置可以确定是生日,他的父母不在家,所以他很伤心。
在另一个实施例中,机器人陪伴装置确定其自身行为是否导致情感反应。机器人陪伴装置在有效状态发生时捕捉语义信息的确切事件,也捕捉情感信息。在进行情感处理时,不仅要跟踪事件的情感信息,还要跟踪语义信息。机器人陪伴装置可能会记录一些特定的句子或事件,这些句子或事件使用户悲伤。陪伴装置可以记录用户紧张,因为他明天有考试,或者用户很伤心,因为他最喜欢的球队输了一场比赛。
在更有利的实施例中,机器人陪伴装置捕获多个用户的人际互动。陪伴装置会记住与之对话的用户。它不会就个人话题进行对话,也不会向陌生人提供细节。因此,机器人陪伴装置可以根据与谁交互来决定要显示哪些或什么信息。例如,如果陌生人询问用户的个人详细信息,如出生日期等,他可能不会透露任何此类信息。它不能向陌生人透露自己的个人细节,也不能服从陌生人的命令或设置警报。
在一个实施例中,机器人陪伴装置可以在几分钟到几个月的时间内跟踪语义和情感响应。机器人陪伴装置可以按照出现的顺序分析模式,以解读用户的短期和长期情感状态,包括情绪、心情、情操和人格。
情感状态大致分为情绪、心情、情操和人格。情绪是作为对环境事件的反应而发生的短期情感状态。心情是一种稍长的情感状态。情操可以被认为是情感的长期表现。通过观察几个月或几年的事件和情感,机器人陪伴装置可以确定用户的固有性格。
因此,通过对短时间内的事件进行分析,机器人陪伴装置可以确定哪些事件导致了情绪反应。通过观察持续时间稍长(分钟到小时)的事件和情感,机器人陪伴装置可以确定人的心情。机器人陪伴装置可以观察用户几天的行为,并通过关联不同场景中的情感反应和事件来确定用户的喜好和厌恶。
用户的静态情操在从几天到几个月的相对较长时间内保持不变。随着用户的发展,他的情感也会发生变化,因此他对各种情况的反应也会发生变化。随着时间的推移,机器人陪伴装置也会跟踪用户情感的变化。这种跟踪有助于机器人陪伴装置确定用户个性特征的变化。例如,用户可能是内向的,但一段时间后,他可能开始表现出外向的倾向,机器人陪伴装置可以跟踪这一变化,并确定是否有任何特定的事件导致了这一变化。机器人陪伴装置,在与用户互动的一段时间内,也可以决定用户的个性信息类型。
在进一步实施例中,本发明的机器人陪伴装置可设计用于上下文理解情感和表达。通过分析所有传感器捕捉到的语义和情感信息,可能会影响对情感的上下文理解。上下文的这种附加推理为系统提供了推断人与人之间意图交互的能力。
在一个实施例中,机器人陪伴装置保持其自身情感和情感状态的内部状态。机器人陪伴装置由一个情感核心组成,负责管理情感处理和反应。机器人陪伴装置的内部状态存储了它自己的语义知识和情感。它跟踪哪些事件引发了特定的情感状态。例如,如果机器人陪伴装置掉落,它可能会生气,或者如果用户逃避与之互动,机器人陪伴装置可能会变得悲伤或不安,并试图寻求关注,或者如果发生灾难,它会表达悲伤。机器人陪伴装置有自己的喜好、厌恶、偏好和意见。
机器人陪伴装置具有一种个性,它塑造了它在各种场景和人际互动中对用户或其他系统的反应。机器人陪伴装置不模拟人类的情感,而是作为对人类各种事件的反应来产生情感。为了记录和跟踪用户的情感状态,学习用户和外部世界的语义信息,陪伴装置具有主动和被动学习能力。
因此,在被动模式下,它通过观察用户的社交媒体或其他数字足迹来了解用户。在被动学习过程中,机器人陪伴装置不会直接与用户交互,而是与用户使用的其他第三方系统交互。在主动学习过程中,机器人陪伴装置可以通过各种方式与用户互动和交流,如交谈、玩游戏,了解情感状态和个性。
机器人陪伴装置可以学习用户的语义和情感信息。它还可以通过交谈时直接或间接询问用户来了解用户、关系、他们的喜欢和不喜欢、日常生活方式。它可以通过观察用户在玩游戏时对各种场景的反应来学习各种个性特征。机器人陪伴装置不断向用户学习,并拥有个人数据库,存储所有的语义信息,如个人信息、喜欢和不喜欢等。
在另一种形式的主动学习中,陪伴装置学习外部世界。陪伴装置通过访问结构化和非结构化的信息数据库、网站等,自动从互联网上扫描和获取信息。陪伴装置不断学习增加和更新其知识库。知识由用户、自身和外部世界信息组成。
在一个实施例中,本发明的陪伴装置被设计为具有情境感知。陪伴装置了解社会行为礼仪。它在与人类互动时遵循这些礼仪。例如,如果用户情感低落,陪伴装置就不会给他带来负面反应,甚至开玩笑,因其与用户心情愉快时相反。当孩子输掉一场游戏,陪伴装置可以进一步提供鼓励,或在他/她赢了一场游戏时与孩子一起庆祝,或当他/她伤心时告诉孩子一个笑话,或当他/她感到无聊时告诉孩子一个故事,或与孩子一起玩耍娱乐,或当他/她最喜欢的电视节目即将开始时,与孩子一起快乐,等等。如果一个陌生人问他的陪伴装置他的个人细节,它不会透露给陌生人,但会透露给它的所有者或主人。
在一个有利的实施例中,所述陪伴装置为具有不同个性类型的用户提供理想的伴随。陪伴装置学习用户和语义和情感历史,并适配最适合的个性。
尽管如此,所有陪伴装置可能都是针对每个用户进行个性化的,但来自多个用户的所有数据将被聚合起来,以确定单个设备的理想伴侣个性特征。该信息将被陪伴装置用来自适应地改变其语义和情感反应,形成理想的陪伴。陪伴装置具有有关文化和个性偏好的信息,根据这些信息,它决定了在各种不同的个人情况下应如何反应。例如,如果用户位于印度次大陆,陪伴装置不会建议素食用户尝试非素食菜或表达其喜欢非素食菜的观点。而对于一个在中国地区的用户,它将建议尝试海味,并将有喜欢和不喜欢的各种海味美食的信息。

Claims (14)

1.一种机器人陪伴装置(10),其配置用于捕获和分析情感信息和语义信息并相应地引发响应,包括:
a.处理器(20),包括情感核心,其管理情感处理和响应,所述情感核心配置为捕获和分析来自传感器的语义和情感信息,并使用多种执行器和通信设备与用户以及外部世界进行交流;
b.与处理器(20)进行电子通信的面部装置(11),其中面部装置(11)配置为捕捉视觉信息和显示情感;
c.与处理器(20)进行电子通信的运动装置(13),其中运动装置(13)使机器人陪伴装置(10)能够运动;和
d.与处理器(20)进行电子通信的麦克风/扬声器装置(15),其中麦克风/扬声器装置(15)配置为接收听觉信号并发出声音响应。
2.根据权利要求1所述的机器人陪伴装置,其中,所述情感核心进一步保持机器人陪伴装置的情感状态、语义知识和情感。
3.根据权利要求1所述的机器人陪伴装置,其中,所述用户的情感状态通过单独或同时处理所述面部装置中的视觉传感器和所述麦克风/扬声器装置中的听觉传感器所传达的用户的面部信息和语音信息来确定。
4.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置的各种组件可以远程定位,但其表现类似于一个整体单元。
5.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置被配置为执行基于云的计算。
6.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置配置为通过分析用户的内部情感状态和外部世界事件来捕捉用户的内部情感状态和外部世界事件,并关联用户的情感状态。
7.根据权利要求6所述的机器人陪伴装置,其中,所述的机器人陪伴装置被配置成按出现顺序分析模式,以破译用户的短期和长期情感状态,包括情感、心情、情绪和个性。
8.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置配置为情感和表达的上下文的理解。
9.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置配置为被动学习和主动学习。
10.根据权利要求9所述的机器人陪伴装置,其中,被动学习包括观察用户的社交媒体或其他数字足迹。
11.权利要求9所述的机器人陪伴装置,其中,主动学习包括使用诸如谈话、玩游戏和学习关于用户的情感状态和个性的各种方式来与用户交互和交流。
12.权利要求11所述的机器人陪伴装置,其中,主动学习还包括通过访问结构化和非结构化信息数据库来扫描和获取来自互联网的信息。
13.根据权利要求1所述的机器人陪伴装置,其中,所述的机器人陪伴装置被配置为处境感知。
14.根据权利要求13所述的机器人陪伴装置,其中,所述的机器人陪伴装置知道社会行为礼仪。
CN201780065001.6A 2016-10-20 2017-05-30 情感智能陪伴装置 Pending CN109891357A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201621035955 2016-10-20
IN201621035955 2016-10-20
PCT/IN2017/050210 WO2018073832A1 (en) 2016-10-20 2017-05-30 Emotionally intelligent companion device

Publications (1)

Publication Number Publication Date
CN109891357A true CN109891357A (zh) 2019-06-14

Family

ID=62018440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065001.6A Pending CN109891357A (zh) 2016-10-20 2017-05-30 情感智能陪伴装置

Country Status (4)

Country Link
US (1) US11074491B2 (zh)
EP (1) EP3529707A4 (zh)
CN (1) CN109891357A (zh)
WO (1) WO2018073832A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3529707A4 (en) * 2016-10-20 2020-08-05 RN Chidakashi Technologies Pvt. Ltd. EMOTIONALLY INTELLIGENT COMPANION DEVICE
JP6814089B2 (ja) * 2017-05-02 2021-01-13 株式会社ソニー・インタラクティブエンタテインメント オブジェクト制御システムおよびオブジェクト制御方法
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
KR102252195B1 (ko) * 2018-09-14 2021-05-13 엘지전자 주식회사 감성 인식기 및 이를 포함하는 로봇, 서버
EP4350455A2 (en) 2019-04-29 2024-04-10 Google LLC Motorised computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests
CN112182173A (zh) * 2020-09-23 2021-01-05 支付宝(杭州)信息技术有限公司 一种基于虚拟生命的人机交互方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175772B1 (en) * 1997-04-11 2001-01-16 Yamaha Hatsudoki Kabushiki Kaisha User adaptive control of object having pseudo-emotions by learning adjustments of emotion generating and behavior generating algorithms
US20030067486A1 (en) * 2001-10-06 2003-04-10 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing emotions based on the human nervous system
US20090055019A1 (en) * 2007-05-08 2009-02-26 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US20150012463A1 (en) * 2013-07-05 2015-01-08 Patrick Levy Rosenthal Method, System and Program Product for Perceiving and Computing Emotions
CN105409197A (zh) * 2013-03-15 2016-03-16 趣普科技公司 用于提供持久伙伴装置的设备和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092163A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 状況提示システム、サーバ及び、サーバプログラム
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7728735B2 (en) * 2007-12-04 2010-06-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for estimating a mood of a user, using a mood of a user for network/service control, and presenting suggestions for interacting with a user based on the user's mood
US20090319459A1 (en) * 2008-02-20 2009-12-24 Massachusetts Institute Of Technology Physically-animated Visual Display
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
US8886581B2 (en) * 2011-05-11 2014-11-11 Ari M. Frank Affective response predictor for a stream of stimuli
US9002768B2 (en) * 2012-05-12 2015-04-07 Mikhail Fedorov Human-computer interface system
US20140125678A1 (en) * 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US8965828B2 (en) * 2012-07-23 2015-02-24 Apple Inc. Inferring user mood based on user and group characteristic data
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
CN104769645A (zh) * 2013-07-10 2015-07-08 哲睿有限公司 虚拟伴侣
KR102302439B1 (ko) * 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
JP6504165B2 (ja) * 2014-06-24 2019-04-24 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US11269891B2 (en) * 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
US20160063874A1 (en) * 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US10410125B1 (en) * 2014-12-05 2019-09-10 Amazon Technologies, Inc. Artificial intelligence based identification of negative user sentiment in event data
US20160180722A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
US9955902B2 (en) * 2015-01-29 2018-05-01 Affectomatics Ltd. Notifying a user about a cause of emotional imbalance
US20180114124A1 (en) * 2015-03-24 2018-04-26 Koninklijke Philips N.V. Learning mode for context identification
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器(美国)知识产权公司 信息提示装置的控制方法和信息提示装置
US20170100067A1 (en) * 2015-10-12 2017-04-13 Yadong Liu Method and system for emotion measurement
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US9881636B1 (en) * 2016-07-21 2018-01-30 International Business Machines Corporation Escalation detection using sentiment analysis
US20180053197A1 (en) * 2016-08-18 2018-02-22 International Business Machines Corporation Normalizing user responses to events
EP3529707A4 (en) * 2016-10-20 2020-08-05 RN Chidakashi Technologies Pvt. Ltd. EMOTIONALLY INTELLIGENT COMPANION DEVICE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175772B1 (en) * 1997-04-11 2001-01-16 Yamaha Hatsudoki Kabushiki Kaisha User adaptive control of object having pseudo-emotions by learning adjustments of emotion generating and behavior generating algorithms
US20030067486A1 (en) * 2001-10-06 2003-04-10 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing emotions based on the human nervous system
US20090055019A1 (en) * 2007-05-08 2009-02-26 Massachusetts Institute Of Technology Interactive systems employing robotic companions
CN105409197A (zh) * 2013-03-15 2016-03-16 趣普科技公司 用于提供持久伙伴装置的设备和方法
US20150012463A1 (en) * 2013-07-05 2015-01-08 Patrick Levy Rosenthal Method, System and Program Product for Perceiving and Computing Emotions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAS R. STEUNEBRINK等: "A generic architecture for a companion robot", 《PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON INFORMATICS IN CONTROL, AUTOMATION AND ROBOTICS (ICINCO’08)》 *

Also Published As

Publication number Publication date
US11074491B2 (en) 2021-07-27
US20190283257A1 (en) 2019-09-19
EP3529707A1 (en) 2019-08-28
WO2018073832A1 (en) 2018-04-26
EP3529707A4 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
WO2021043053A1 (zh) 一种基于人工智能的动画形象驱动方法和相关装置
CN110139732B (zh) 具有环境控制特征的社交机器人
KR102328959B1 (ko) 로봇, 서버 및 인간-기계 상호 작용 방법
CN109891357A (zh) 情感智能陪伴装置
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
Bonarini Communication in human-robot interaction
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US11148296B2 (en) Engaging in human-based social interaction for performing tasks using a persistent companion device
US20170206064A1 (en) Persistent companion device configuration and deployment platform
US9634855B2 (en) Electronic personal interactive device that determines topics of interest using a conversational agent
WO2019210075A1 (en) Devices and systems for human creativity co-computing, and related methods
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
CN105126355A (zh) 儿童陪伴机器人与儿童陪伴系统
JP2016522465A (ja) 永続性コンパニオンデバイスを提供するための装置及び方法
US20190149490A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2021507381A (ja) 認知システムのためのコミュニケーション・モデル
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
CN109558853A (zh) 一种音频合成方法及终端设备
WO2018183812A1 (en) Persistent companion device configuration and deployment platform
CN112911356B (zh) 一种虚拟现实vr视频的播放方法及相关设备
Rangwalla Networked Entities and Critical Design: Exploring the evolving near-future of networked objects
Niforatos The role of context in human memory augmentation
Zomer Shaping proactivity: Designing interactions with proactive ambient artefacts
KR20200050441A (ko) 인공지능 기능이 내장된 스마트 캐릭터 장난감

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination