CN109789550B - 基于小说或表演中的先前角色描绘的社交机器人的控制 - Google Patents

基于小说或表演中的先前角色描绘的社交机器人的控制 Download PDF

Info

Publication number
CN109789550B
CN109789550B CN201780059260.8A CN201780059260A CN109789550B CN 109789550 B CN109789550 B CN 109789550B CN 201780059260 A CN201780059260 A CN 201780059260A CN 109789550 B CN109789550 B CN 109789550B
Authority
CN
China
Prior art keywords
robot
response
social
personality
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059260.8A
Other languages
English (en)
Other versions
CN109789550A (zh
Inventor
T·格温克
V·科尔夫
G·吉维奇
L·奥斯特洛俄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN109789550A publication Critical patent/CN109789550A/zh
Application granted granted Critical
Publication of CN109789550B publication Critical patent/CN109789550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391Robot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

一种用于控制社交机器人的方法和设备,其包括向社交机器人的决策引擎提供定量个性特质值集(也称为“个性简档”)。个性简档从虚构作品、戏剧表演中的人物描绘、或现实生活中的人(这些中的任何一个在某种程度上称为“源角色”)中导出。决策引擎部分地基于个性特质值集来控制社交机器人对环境刺激的社交响应。因此,社交机器人以与剖析的源角色的个性简档一致的方式行事。

Description

基于小说或表演中的先前角色描绘的社交机器人的控制
相关申请的交叉引用
本申请要求35U.S.C.§119(e)下的2017年3月6日提交的美国临时申请序列号62/467709和2016年7月27日提交的美国临时申请序列号62/367335的优先权,这些申请通过引用整体并入本文。
技术领域
本公开涉及社交机器人,并且涉及用于控制社交机器人的方法。
背景技术
如本文所使用的,“社交机器人”是一种交互式机器,其被设计为通过展示对于人类或其他社交动物而言可识别地本质上具有社交性的行为来唤起来自与其交互的人类或其他社交动物的情绪响应,社交机器人被设计用来与人类或其他社交动物互动。社交机器人可以被实现为具有在真实环境中移动其机器人主体的至少一部分的能力的真实机器。另外,社交机器人可以被实现为可以仅在虚拟环境中表达的虚拟机器,例如,在视频游戏环境中、沉浸式虚拟现实环境中、或增强现实环境中的机器人角色。如本文所使用的,术语“社交机器人”通常包括真实社交机器人和虚拟社交机器人。当具体指出这些社交机器人类别中的一个时,本文将使用术语“真实社交机器人”或“虚拟社交机器人”。
社交机器人可以展现个性。如本文所使用的,“个性”是指实体的行为模式,其可被他人感知并且与社交互动相关,诸如“个性”是实体的明显特征。通过在类似情况下展示相同的行为模式,不同的实体可以共享相同的个性。例如,社交机器人通常共享相同或类似的程序设计,并且因此表现出相同或相似的个性。此外,社交机器人的个性可能比人类个性更容易预测或者没有人类个性更有趣。
娱乐业是角色个性发展以及在不同情况下这些个性表达的专家。艺人通过呈现具有迷人个性的角色以及在感兴趣的情况中运用这些角色的故事来争夺观众的注意力。所描绘的角色往往令人难忘,无论是英雄、恶棍、小丑还是其他一些角色类型。此外,制作工作室开发并积累了许多资产,该资产以各种形式记录角色的行为和其他个人属性,所述形式为例如剧本、脚本、摘要、故事板、视觉预览软件表示、屏幕测试、其他视频或电影序列、字幕、带有描述性文本、艺术作品或其他数据的隐藏式字幕。然而,用于将角色开发和工作室资产中的这种专业知识系统地应用于社交机器人的方法尚不清楚。
因此,希望提供用于赋予社交机器人更有趣和不同个性(例如,具有诸如熟练的演员、编剧和其他内容创作者熟练描绘的个性,并且被观众吸引),并且控制社交机器人表达更独特和有趣的个性的操作的方法。
发明内容
该发明内容和以下详细描述应当被解释为综合公开的补充部分,这些部分可以包括冗余主题和/或补充主题。任何一节段中的省略都不表示综合申请中描述的任何要素的优先权或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节、或使用不同术语的相同实施例的替代描述,如从各自的公开内容中应显而易见的。
用于控制社交机器人的方法和设备包括使用第一个性剖析(profiling)功能将机器人行为集映射到定量个性特质值集。另外,可以使用第二个性剖析功能处理具有特定角色的所制作的电影、电视、文学或游戏产品的语料库并将所述语料库映射到相同或等效的个性特质值集上。在替代方案中,基于任意选择的个性特质值集产生虚构角色,或者使用第三个性剖析功能从现实生活中的人所得到的语音和行为数据中导出该个性特质值集。然而,获得了个性特质值集,其作为输入被提供到社交机器人的决策引擎。决策引擎部分地基于个性特质值集来控制社交机器人对环境刺激的社交响应。因此,社交机器人以与所剖析的角色的个性简档一致的方式行事。
社交机器人包括在共同控制下具有彼此定义的关系的模块集,其中该集整体上被设计成与人类(或其他,例如宠物狗)伙伴进行社交交互。例如,JiboTM是具有旋转头部、视频屏幕面部、耳朵(音频输入)和静态(非动画)语音输出的被动躯干。智能手机提供了另一种类型的机器人的示例,该机器人包括被动框架、视频屏幕面部、耳朵(音频输入)和静态(非动画)语音输出。诸如AsimoTM这样的机器人更复杂,具有非视频面部特征,以及运动的装置和用于关节连接的四肢。经由智能手机表达角色个性的模式与经由像Asimo这样的人形机器人表达个性的模式不同。无论具体的表达模式如何,决策引擎响应于输入,至少部分地基于从虚构作品、戏剧表演中的角色描绘导出的个性简档、或从现实生活中的人导出的个性简档来控制社交机器人的输出。
个性简档可以包括通过根据某种量表对角色元数据进行评分而导出的列表或其他定量值集。在本领域中已知各种不同的个性量表以用于分析和描绘人物个性。可以使用已知的量表,或者可以开发被优化以用于控制社交机器人的专用量表。
在一方面,社交机器人设计者可以使用概率函数选择可以在逻辑上被映射到机器人的社交行为的个性属性值集。例如,个性特质值集可以以两极对立面之间的量表表示。进一步示例,对于开放和保守之间的特质,当在开放的选择和保守的选择之间呈现选择时,70%的值可能意味着70%的角色选择是开放的选择,并且30%是保守的选择。两极对立面特质的进一步示例包括:外向/内向、快/慢、专心/分心、勤奋/懒惰、幽默/严肃、好奇/不感兴趣的、冷漠/关怀、粗俗/礼貌、主导/服从、愤世嫉俗/天真、诚实/不诚实、开放/秘密、大声/轻声、肤浅/深刻、明智/愚蠢、冒险/谨慎、顽固/顺从、或愚蠢/谨慎。
在一方面,个性简档可以包括用于基于特征情绪来改变定量个性值集的其他因素。例如,角色可能在醒来后会变得脾气暴躁达一小时,角色可能在幸福的女人面前会头晕、在孩子身边会快乐和行为端正、在晚上8点后放松、以及在其余时间“正常”。所有这些不同的情绪都可以通过不同的个性特质值来反映。情绪引擎基于其自身的控制因素集来确定在任何给定时间点处的可操作的个性因素集,控制因素集的示例已刚被描述。因此,可以使社交机器人表达具有所剖析的角色的特征的情绪。
在另一方面,机器人存储器保存用于基于存储在存储器中的角色的特征短语集来生成言语响应的数据。因此,社交机器人使用具有社交机器人正在模仿的(一个或多个)角色的特征的措辞。在另一方面,存储器进一步保存用于基于存储在存储器中的角色的特征运动集或配置来生成至少两个人类可识别的表情特征的运动或配置的数据。因此,以角色移动或配置其表情特征的方式将唤起所描绘的角色。
在另一方面,社交机器人存储器保存不同的定量个性特质值集,每个集表示不同的个性。机器人可以根据其情绪采取不同的个性。机器人的情绪可以通过一个或多个环境触发条件(trigger)来确定,一个或多个环境触发条件可能是多种多样的。例如,机器人的情绪可能会使其不同地行事,取决于其当时正在与谁社交。因此,考虑到迈尔斯布里格斯的各种个性和行为,如果同一个机器人正在与控制性的外向者(该外向者中断并结束他人的句子)交谈或以其他方式行事,那么机器人可以以合适的方式自适应地行事。如果机器人正在与一个温和的、说话柔和的内向者(该内向者通常不说话除非被动说话,并且与指示相比其更喜欢询问)交谈或以其他方式交流,那么同一机器人可以以适应这些情况的合适的方式自适应地行事。进一步示例,机器人可以根据(一个或多个)交互人(诸如成人或儿童)的(一个或多个)年龄来调整可能或多或少适当的不同语言惯例和行为。当与群组交互时,机器人的行为可以根据交谈的动态(即,谁在说话以及谁在回答或以其他方式主要地参与)而变化。该变化可以由情绪确定引擎控制,该情绪确定引擎响应于任何期望的情绪触发条件或触发条件集来切换控制机器人个性。
在另一方面,适当配置的个性简档使得社交机器人能够呈现先前在电影、视频游戏、视频连续剧、小说或图形小说中描绘的角色的个性简档,或者能够呈现描绘具有可辨别个性的角色的任何其他形式的表达。除了个性,这些角色可以具有独特的特征,诸如外表、衣着或服装、梳理或卫生习惯、头发或化妆风格、穿戴或携带的配件的类型或形式、身体习惯、手势、姿态或姿势、品质、行为怪癖、喜欢和不喜欢、面部表情、口头禅和语音特征。语音特征可以包括例如角色的声音的变形、音量、节奏、音调、音色和音质。社交机器人可以模仿这些特征中的一些或全部,这取决于社交机器人的能力和期望的效果。个性模仿的风格可以改变。例如,可以向社交机器人提供个性简档,使其表现为“以…的风格”或以其他方式明显地受到角色影响而不表现得与所讨论的角色完全相同。词语不一定被引用;手势和举止不一定被精确的模仿。事实上,温和到粗野(mild-to-gross)的夸张可能是一种有效且令人愉快的行为方式,表现为“以…风格”或以其他方式明显地受其影响,因此没有人会说这种行为与所讨论的角色完全一样,但是,尽管如此,这样的行为仍然让我们想到知识产权(IP)角色。进一步示例,特征特质可以以不同的方式组合以产生复合效果,诸如,例如,行动和讨论像蜘蛛侠而使用达斯维德的声音的社交机器人,展示两个角色的个人或行为特质。
最初的定量个性特质值(个性简档)集可以响应于社交机器人的体验进行修改。机器人可以被配置为通过机器学习或其他AI来学习不同的特质值或发展其自身的个性。例如,社交机器人可以在运行中(on-the-fly)识别新的特征短语、习惯、手势、动作或其他行为并将其添加到存储器。通过识别、推导,并且然后使用与所讨论的(一个或多个)人的口语交互的显著的声调轮廓、短语或节奏,可以附加地描绘个性简档的全部剧目(repertoire)的轮廓。另外,机器人的行为可以包括“发声”,这实际上不是一种语言,而是用于某种通信目的。发声不是一种实际的生活“语言”,而是听起来像是为了某种交际目的,或者是一种遵循某些规则的虚构或呆板的语言。无论哪种方式,机器人和与之交互的人都遵守某些会话约定,诸如在继续之前等待彼此完成“说话”。
与口语相比,还可以通过识别、推导在运行中的新特征习惯或其他相关行为,并且然后将其添加到存储器,使得可以通过与所讨论的(一个或多个)人的交互附加地描绘个性简档的所有剧目的轮廓,由机器人通过机器学习或其它AI来获知人类可识别的表情特征的配置,并且,再次所有这些都可以用于“以…风格”或以其他方式受到(一个或多个)IP角色影响的新颖话语或行为中,例如通过使用随机过程,诸如,例如马尔可夫链或其上的变体。个性特质值可以为该目的提供随机过程结果的概率。
在一些实施例中,机器人可以使用“测试”程序来识别交互的人、或在其中交互正在发生的环境。例如,社交机器人可以使用测试程序与人交互。测试程序不需要采用明显的测试形式。相反,测试程序可以被设计为被视为一次性设置过程、游戏或一些其他娱乐过程,其对交互的人的个性进行采样,同时还使他们娱乐。例如,测试可以对交互的人的语音、特质、情绪、表情或习惯进行采样,并将识别特征存储在人的简档中以供将来参考。初始交互设置程序可能仅最初在与人进行交互时被调用起来,或者可能每次与机器人的会话开始时被调用,以便机器人可以确定交互的人的年龄、性别、身高和体形、移动性(即人是否能够自由地移动、或卧床不起、或虚弱、或......)、口语(因为机器人可以熟悉几种)、或其他因素。机器人可以存储人的简档,并且从而稍后识别该人,例如,当该人再次与机器人交互时,通过使用面部识别软件识别该人。使用语音识别软件,一旦识别出一个人,则即使他/她的外观发生变化使得人在视觉上无法识别,机器人仍然可以基于语音进行识别。
类似地,经由物体识别或图像分析软件,机器人可以确定机器人和人类占据的空间的特征(例如室内、室外、在小区域或大区域中、在什么时间(无论是白天还是夜晚)),这样可以最好地管理适当的对话和相关行为。例如,如果是在大白天,那么可能没有必要谈论星星看起来多么可爱,并且如果人无法移动或正在准备就寝,就没有必要说“让我们去散步”。以这种方式,机器人可以根据环境上什么是适当的来模仿或对位(counterpoint)语音、特质、(一个或多个)情绪、表情或习惯。例如,如果机器人稍后在随后的会议上(例如借助通过机器学习或AI或利用模板的咨询或利用示例数据库的咨询进行识别)检测到人是沮丧的话,那么机器人可能开始通过讲笑话、提供玩游戏、播放喜欢的歌曲、或其他情绪提升交互来试图提升人的精神。所有上述的交互可以虚拟地发生,即其中机器人和(一个或多个)人在不同的地方通过某些视听系统(例如,经由Skype)进行交互。
在另一方面,响应于当前刺激或预期的未来状况,社交机器人的操作与选择性地与社交机器人的用户共享的本地或远程内容数据库集成。例如,内容数据库可以包括视频剪辑、音频-视频剪辑、或音频剪辑,它们基于其语义内容被索引。社交机器人可以被配置为输出所选择的一个剪辑(clip)用于任何社交目的。例如,如果社交机器人感觉到其用户不高兴,则它可以从用户已知的喜爱内容或角色的剪辑中选择幽默剪辑。进一步示例,如果社交机器人正在评论感测到的社交情况,例如,为了鼓励用户进行一些锻炼,则可以播放被标记为适合于具有与用户的个人或人口统计特征(其在某种程度上提醒用户起床并进行一些锻炼)相匹配的个人或人口统计特征的用户的剪辑。因此,可以通过社交机器人的内容选择算法所选择的剪辑的上下文和选择来使用户娱乐。在更详细的方面,并且对于进一步示例,机器人可以:
了解当前用户或用户可能关注的相关内容剪辑的类型,例如通过识别(一个或多个)目标用户感兴趣的区域、流派、作品(散文、诗歌、图片、视频、艺术等)、通过询问或以其它方式“测试”(一个或多个)目标用户的兴趣水平,并且然后以视听方式输出选定的内容剪辑;
将选定的内容剪辑无线地发送(或将其从远程服务器发送)到独立于机器人的视听显示设备(例如,扬声器、电话、平板电脑、PC、智能电视等),使得(一个或多个)目标用户可以查看和/或听到与涉及社交机器人的社交交互同步的内容剪辑,或者响应于授权的用户请求;
命令诸如,例如AmazonTMEchoTM和Fire StickTM之类的无线装置以调入或以其他方式获得用于(一个或多个)目标用户的相关内容,其中社交机器人基于用户/情景参数选择内容,或由用户选择内容。
本公开的方法和设备可以体现在各种类型的社交机器人中,以及用于支持社交机器人的操作的计算机网络中。例如,可以使用云计算资源部分地或完全地执行用于简档开发的个性分析,其中结果与本地机器人共享以供本地使用。以下技术描述实现了上面概述的社交机器人的所有功能性能力。
附图说明
通过下面结合附图给出的详细描述,本公开的特征、性质和优点将变得更加明显,附图中相同的附图标记在整个说明书和附图中相应地标识相同的元件。
图1A是示出用于基于小说或表演中的先前角色描绘来控制社交机器人的系统和方法的各方面的框图。
图1B是示出如图1A所示的系统和方法的附加方面的框图。
图1C是示出图1A中所示的系统的社交机器人部件的附加方面的框图。
图2是示出基于双极相对特质的个性简档或评分的定量数据结构的示例的图。
图3是示出用于开发定量个性简档和特征社交行为的角色分析的方法和系统的方面的流程图,定量个性简档和特征社交行为进而可用于基于小说或表演中的先前角色描绘来控制社交机器人。
图4是维恩(Venn)图,其示出与基于小说或表演中的先前角色描绘的社交机器人的操作相关的刺激-响应配对的各方面。
图5是示出用于将通过分析小说或表演中的先前角色描绘而开发的行为映射到可以由社交机器人执行的社交行为的方法和系统的各方面的流程图。
图6是示出用于将机器人行为与通过分析小说或表演中的先前角色描绘而开发的定量个性简档相关联的方法和系统的各方面的流程图。
图7A和图7B分别是示出可量化刺激和响应参数的方面的概念图,可量化刺激和响应参数配对在一起可用于以数字方式定义行为。
图8是示出用于以数字方式表示刺激或响应的数据结构的各方面的表。
图9是提供与4×4数字响应值配对的4×6数字刺激值的图形说明的概念图,其中所示的刺激-响应对(行为)与行为的单个1×8数字个性评分相关。
图10是示出用于针对社交机器人的操作进行实时表征刺激的方法和系统的方面的流程图,其中刺激与基于用于控制社交机器人的一个或多个个性简档的一个或多个响应相关联。
图11是示出用于基于表征的刺激和在可操作地耦合到社交机器人的计算机存储器中定义的情绪切换行为来设置和改变用于社交机器人的当前个性简档的方法和系统的各方面的流程图。
图12是示出用于基于社交机器人的当前刺激和个性简档来选择当前响应的方法和系统的各方面的流程图。
图13是示出真实社交机器人的方面和部件的框图。
图14是示出真实社交机器人的示例的等距视图。
图15是示出虚拟社交机器人的方面和部件的框图。
图16是示出虚拟社交机器人的示例的组合框图和透视图。
图17是示出对协调的真实社交机器人和虚拟社交机器人的响应的分配的概念图。
图18是示出用于基于量化的个性简档基于小说或表演中的先前角色描绘来控制社交机器人的方法的各方面的流程图。
图19是示出被配置为用于执行图18的方法的社交机器人的示例的框图。
具体实施方式
参考图1A,示出了用于基于小说或表演中的先前角色描绘来控制社交机器人的社交机器人系统100。应当理解,系统100可以适用于任何角色描绘或表演,包括描绘他或她自己的自然角色的真人的角色描绘或表演。该系统包括各种模块和数据结构,这些模块和数据结构可以被包含在硬件、软件、固件或前述的某种组合中。硬件、软件、固件或组合可以在社交机器人本身中本地实现,或者部分地使用与使用计算机或数据通信网络与社交机器人通信的计算机处理能力(power)来实现。
系统100被组织成三个子系统:角色和个性剖析子系统120、机器人行为映射子系统140和实时社交机器人行为模块160。角色和个性剖析子系统120可以在机器人操作之前使用,以开发一个或多个个性简档和相关的独特的物理特征特质,例如,在机器人操作期间使用的服装和配饰、外观和语音品质。子系统120可以更简要地称为个性剖析子系统。机器人行为映射子系统140也可以在机器人操作之前使用,以在可能的情况下将个人行为和角色特质映射到社交机器人行为,并且将机器人的所有社交行为与用于定义机器人的个性简档的个性量表(scale)相关联。当社交机器人与其一个或多个活的(live)用户交互时,实时社交机器人行为模块160实时操作,使得社交机器人表达由剖析模块120描绘的与物理特征特质相关联的一个或多个个性,其中社交机器人被配置用于表达相关的物理特征特质。
图1B示出了系统和网络180,该系统和网络180使用计算机网络实例化用于控制社交机器人的系统100的各方面。系统180包括用于角色和个性剖析120、机器人行为映射140和实时机器人行为的子系统,在此被实例化在两个独立操作的机器人行为子系统160'和160”中。机器人行为子系统160'和160”中的每一个包括虚拟代理平台,该虚拟代理平台全部或部分地在其各自独立操作的社交机器人161'和161”的处理器中执行。社交机器人161'和161”可以是具有不同能力的不同类型。应当理解,各种各样的虚拟代理平台可以利用角色和个性简档。每个虚拟代理平台可以经由简档服务器190和广域网(WAN)182或其他通信网络从数据存储装置188接收一个或多个角色和个性简档。数据存储装置188可以是或者可以包括云存储部件。应当理解,相同的虚拟代理(例如,社交机器人106'或160”)可以在不同时间使用不同的角色简档被“剥皮(skinned)”。在个性或角色剖析的背景下,被“剥皮”意味着根据特定的角色简档行动和出现。
数据存储装置188中的每个简档可以对应于存储在数据存储装置186中的一个或多个对应的角色简档。可以将数据存储装置186中的角色简档提供给行为映射子系统140,以开发用于特定机器人或机器人类型(例如,社交机器人161'和161”)的机器人特定简档,该机器人特定简档保存在数据存储装置188中。数据存储装置188中的角色简档可以各自包括人物角色的规范,其可以包括物理特质(例如,语音、外观)和行为特质。根据一个或多个虚拟代理平台的数学模型或编码方案生成规范。角色简档可以是平台不可知的,同时可适用于不同的虚拟代理平台。可替代地或附加地,可以开发数据存储装置188中的角色简档以供特定虚拟代理平台类型专用。数据存储装置188可以被实例化为云计算或其他网络中的单个中央典范实体,经由通用应用程序接口(API)对虚拟代理平台可用。附加地或可替代地,数据存储装置188可以实现为第三方平台的集成或嵌入特征,非常类似于具有根据需要调用功能的运行时库的软件开发者工具包(SDK)。
每个角色简档可以由角色和个性剖析模块120从原始角色源数据184开发。在一个方面,角色简档可以响应于角色源的新数据、改进或修改的角色剖析工具、用户偏好数据或其他因素而随时间演变。原始角色源数据184可以包括例如视频数据、脚本、字幕、故事、剧本、隐藏字幕信息、艺术作品或以数字机器可读形式存储的其他角色信息。机器学习和其他处理工具可以用于从数字视频或音频数据中提取角色和个性信息。例如,深度学习(有时也称为深度机器学习)可以用于分析视频和音频数据以识别个人身份、肢体语言、面部表情、情绪状态、对象类型、语言内容(例如,语音识别)和社交背景。分析进一步可以包括处理自然语言以检测更高级别的含义,诸如嘲笑、讽刺或幽默。例如,诸如由AffectivaTM(www.affectiva.com)使用的情绪检测引擎可以用于检测源角色情绪状态以及最终(end)用户情绪状态。作为响应可以使用如下文所述的刺激-响应框架将源角色的情绪状态与刺激相关联。另外,情绪状态可以被视为与其自身行为响应相关联的刺激。例如,愤怒的情绪状态可能与咒骂或叫喊等相关。根据分析的原始信息,可以基于社交背景、非言语交流、言语交流、因果关系或其他因素来理解个人行为。可以使用如本文所述的个性模型或其他合适的描述模型对角色响应进行评分或将角色响应以其他方式记录在某些有形的符号值中。当提供给兼容的社交机器人实时控制器(例如,模块160',160”)时,角色的个性评分或者角色的刺激-响应简档的其他符号化表示使得社交机器人以概率性地模拟源角色的行为个性、以及可选地源角色的选择的物理特质的方式行事。
除了行为个性分析之外,原始数据184的分析可以包括提取可以由社交机器人的目标群体模仿的物理特征。这种独特的物理特征的模仿可以为社交机器人的角色模拟提供相当大的吸引力,最终用户相对容易识别。例如,已知角色的话音和语音模式的模仿可以比相同角色的行为倾向更容易识别,这可能更微妙或更不为人所知。同样,源角色的外观(包括但不限于服装、配饰、身体形态和特殊习惯)可以由社交机器人模仿。例如,使用视频显示器作为身体部件(例如,用于机器人面部)的社交机器人能够紧密地再现源角色的对应身体部分的外观。对于进一步示例,可以通过使用关节连接的具有类似于源角色的骨架的机器人来再现独特的肢体语言。人工智能(包括但不限于深度学习)可以用于识别任何独特的物理特征或源角色,并创建物理特征的符号(例如,数字)表示,使得当采用源角色的人物角色时,社交机器人能够模仿以模仿那些物理特征、或特征的某些子集。
操作相应行为模块160'和160”的社交机器人161'和161”应当实时地对背景和用户动作的变化作出反应,意味着在与人大致相同的时间量内作出反应,因此机器人响应感觉自然。因此,一些计算密集度较高的功能可能会使机器人的响应过慢,因此机器人似乎落后于用户输入或环境变化。然而,峰值处理负载可能是间歇性的,并且构建机器人以处理峰值处理需求可能增加不合理的成本。为了能够在非高效地分配系统资源的情况下处理变化的处理负载,可以将更密集的计算任务分离到专用计算节点。例如,假设情绪状态的检测是计算密集的,检测用户的情绪状态以用作机器人反应的刺激输入可以与其他机器人处理分离,并且使用网络连接发送到网络节点(例如,发送到简档服务器190)。然后,每当检测到用户的不同情绪状态时,处理网络节点就可以向社交机器人传输数据信号。这种传输可以单独地或与其他输入组合地用作相应机器人响应的刺激。
参见图1C,任何给定的社交机器人(例如,机器人161')的行为模块160'可以基于不同类型的刺激的组合来选择响应。本公开描述了刺激类型,诸如事件163(例如,用户动作、语音或情绪状态的变化)和物理背景165(例如,地点、一天中的时间、本地点的当前状态)。其他刺激类型可以包括例如用户ID和相关联的用户简档171,因此机器人可以像人一样向不同的用户展示不同的个性特质。此外,刺激可以包括记住的社交背景167。例如,如果机器人记住用户偏好,则它可以根据其正在表达的特质以积极或消极的方式应用这些知识。进一步示例,机器人可以基于记住的信息,基于其与机器人在特定过去体验上交互的人或经历的人的社交亲密程度来修改其响应。因此,机器人对用户的特征行为可以随着它从与该用户的交互中收集信息而变化。
显而易见的是,现实生活的社交刺激是复杂的和多维的。尽管如此,社交响应通常可以被理解为主要是由相对稀疏的刺激集合激励的,其中大多数其他刺激被忽略。专注于主要激励因素对社交机器人来说非常重要(就像它针对人一样),以能够做出适当的和及时的响应。在社交机器人系统中,可以通过基于最有可能影响社交交互的有限的一组主要刺激(例如,语音、用户身份、用户偏好和一天中的时间)来设计角色模型来实现焦点。由于机器人操作中获得附加的体验,随着模型被精细化,可以向角色模型添加附加的刺激。
再次参考图1A,除了编译关于独特物理特征特质的信息之外,个性剖析子系统120接收角色或人的行为数据124,并且基于预定义或可适应的个性量表126分析122数据122。如本文所使用的,“行为数据”描述或定义了刺激-响应对的集合,包括但不限于关于任何特定对的相对发生频率的统计数据。可以在任何期望的细节水平(包括不同的细节水平)上描述刺激和响应。例如,刺激和响应可以是通用的,诸如“被忽略”的刺激和“寻求被注意”的响应。对于进一步示例,刺激中的任何一个或两个可以更具体,诸如听觉刺激“你好吗?”与“跟你有什么关系!?”的响应配对,虽然行为可以以任何有用的方式表征,但可能需要选择用于描绘角色个性的刺激和响应,其可以很容易地被映射到社交机器人能够检测的刺激,以及社交机器人能够执行的响应。此外,行为应该是机器人的社交功能或者是能够与机器人的社交功能相关联。
行为数据的来源可能不同。有用的数据应该是可量化的并且能够进行统计分析的。任何特定的刺激都应该能够与一个以上的响应配对,以便特定社交响应的频率可以与特定的个性特质相关联。例如,假设特定刺激“A”可以导致响应1-10中的任何一个。因此,如果对于特定角色,响应“3”出现50%的时间,响应“7”和响应“9”各自出现25%的时间,并且剩余的响应为0%的时间,统计趋势可以与特质相关,因为角色的响应不是随机的。
可以以各种方式收集行为数据。传统方法是向受试者询问涉及假设社交情境的一系列问题,并要求受试者确定优选的响应。这对于虚构角色来说不是直接可能的,但是对于负责创建角色或熟悉角色的详细表达的演员或其他人来说,可以代表角色回答问题。该人工的近似方法可以用于快速接近明确定义的角色。自动评估方法将角色的刺激-响应行为中的统计模式与个性特质列表相关联。这需要强健的数据集和自动分析引擎,该自动分析引擎能够处理数据集、识别刺激和响应并且正确地将响应与其适当的刺激相关联,例如该自动分析引擎为深度机器学习引擎。例如,可以通过视频内容的剧集、图形小说或其他连续小说、电影、书籍、具有叙述内容的视频游戏的发行(issue)、或这些和类似形式的内容的组合来提供强健的数据集。例如,自动分析引擎可以使用识别面部表情和角色的图像分析、识别和关联刺激-响应对的深度学习和神经网络、以及其他人工智能工具来分析脚本或其他叙述性写作以评估角色个性。在替代方案中,分析员可以手动评论数据集、识别刺激-响应对、并相应地对个性简档进行评分。
然而,行为数据被获得,个性剖析子系统120针对特定个性量表126评价行为数据。应当理解,个性量表实际上可以优先考虑由社交机器人模拟的角色特质。例如,未出现在量表中的个性特质被加权为零,并且根本不进行模拟。出现在量表中的特质可以被加权以相对于其他特质强调或优先考虑选定的个性特质。例如,幽默-严肃特质量表可以比敏捷-笨拙量表更重地被加权,导致社交机器人表现出更多的幽默或清醒(取决于针对该特质的其评分)和较少的敏捷或笨拙(再次,取决于其特质评分)(如果量表没有被加权,那么就会出现这种情况)。
图2示出了数据表200的示例,其表示基于个性量表202(也称为“双极量表”)的个性简档,个性量表202包括双极特质(每个构成一对相对极端)的列表。每行(例如,显示为230、232、234、236和238的前五行)属于特定的相对特质对,在数字上表示为数字和其相对面,每对构成相对特质对集合中的一个成员。所描绘的量表是8比特,允许个性简档200中的128个行为的分级;可以使用任何期望数量的比特,但是超过约8比特对社交机器人的行为不太可能产生容易地感知的影响。例如,行230指示角色表现为外向的77/128或60%倾向,其中40%倾向于内向行为。行232示出0%的幽默倾向,其中100%的严肃倾向。行234示出39/128或30%的专注倾向,以及70%的无聊或感兴趣的倾向。行236示出100%主导倾向,0%服从倾向。最后行238示出在自私和无私(关怀)行为之间的个性的50/50分裂。可以类似地分析任何有用数量的特质并且在量化的个性简档表200或类似的数据结构中表示。
人类将使用表202来理解简档200的含义;社交机器人的操作不需要。特别地,列218和列222中的标签仅用于人类解释,而列216和列220中的标签仅指代列210和列214中的对应索引。列214中的负索引仅用于说明目的,作为提醒,列212中的数字个性评分涉及个性特质的极点之间的测量。实际上,仅需要如列210中所示的单个索引,因为列214中的其相对面可以通过暗示来提供。
任何特定个性特质或其相对面通过角色表达的比例和强度通常既不固定也不总是随机变化。相反,任何特质的表达或多或少(取决于特定特质)通常可以与事件发生的背景和角色所经历的事件的性质以及其他刺激相关联。人类自然地寻求基于背景和事件来理解特质的表达,背景可以包括客观因素和主观因素,事件通常是客观的。例如,由于主观愿望符合角色的主观假设身份的社交规范,作为小男孩的角色通常可能对飞机感兴趣并且对玩偶感到厌烦。然而,由于任何数量的客观原因,相同的角色可能暂时对玩偶产生兴趣,例如为了取悦想要玩的喜欢的玩伴,或者因为玩偶具有引起角色兴趣的特定特征。因此,无论经历的背景或事件如何,准确地模仿角色的个性需要的不仅仅是以某种定量的比例表达特定特质(例如,角色在50%的时间内都是善解人意的)。相反,准确的模仿可能要求社交机器人在某些刺激组合中表达特定特质(例如,同情心),并且在其他特定组合中表达与特质相反的特质(例如,缺乏同情心)。本文描述的技术方法包括平坦化刺激的多维组合,例如通过为每个组合分配通过遍历有向无环图的节点而得到的数字,其中每个节点表示组合刺激的一个因素,如下面结合图7A至图7B、图8和图9所述。
再次参考图1A,角色分析模块122可以从分析过程产生两个结果:特征社交行为列表130,以及一个或多个个性简档128的集合,每个个性简档128与角色的不同情绪相关联。与上述一样,行为是刺激-响应对。情绪可以作为刺激-响应事件发生的一种类型的背景。行为列表130是针对源角色所记录的每个社交行为的行为数据124的形式,由分析122处理为每个记录一个行为的形式。个性简档128是结合图2描述的数据结构,每个数据结构被分配给分析的个性的不同情绪。“情绪”可以被认为是“个性模式”;在技术术语中,每种情绪是一组独特的个性特质值,其可以在连续的时间段观察到,并且响应于一个或多个情绪触发条件(trigger)而至少一些可预测性地出现和/或消散。角色分析过程122可以通过在不同的连续时间段上对刺激-响应数据进行分组、匹配不同时间段上的类似行为、以及识别观察到不同情绪的时间段的触发条件来发现角色的情绪。情绪可以在尽可能方便时用于社交机器人控制,但不是必需的;情绪的效果可以通过其他方式实现,诸如,例如通过指定针对某些响应的更具体的刺激。
个性模式也可以分阶段改变,诸如在角色年老时。发展阶段是非周期性的,并且比情绪具有更长的时间段。例如,出生时的人具有婴儿的个性;后来是幼儿的个性,然后是学龄前儿童的个性,等等。这些阶段性个性模式可以从一个逐渐过渡到下一个,并且每个阶段通常只在角色的一生中发生一次。一些阶段性个性模式是年龄驱动的,并且可以基于角色的年龄被建模。其他阶段性个性模式可能相当突然并且由重大事件触发,例如,形成或失去重要的社交关系、经历社交或身体创伤、对精神活性物质上瘾、加入或离开社交团体、实现或失去高社交地位,等等。角色的阶段性个性模式转变可以与如本文所述的情绪转变类似地实现。然而,与情绪不同,阶段性个性模式仅在长时间周期中经历。因此,阶段性个性转变是用于社交机器人的选项,旨在与其用户形成不同的长期关系,在此期间社交机器人经历逼真的阶段性个性转变,但是在针对其他目的配置社交机器人时阶段性个性转变可能会被忽略。
图3示出了用于角色分析122的过程300的示例。过程300提供算法的示例,该算法可以被编程和被编译,并且被提供在存储器上以供计算机处理器执行,以执行过程300。最初,将一组滤波器304、308、312应用于可用的刺激-响应对。尽管被描述为顺序操作,但是应当理解,滤波304、308、312可以作为对标识302的一部分并行地被执行,或者在对标识302之后被执行。过程300可以包括在302处识别角色行为记录中的刺激-响应对。这可能需要刺激和响应的关联模糊集合,因为特定响应是否对特定刺激作出反应本质上是主观的并且仅对执行响应的角色是(有意或无意地)已知的。然而,过程302是在固定数据上客观地执行的,诸如,例如视频剪辑、脚本等的工作室资产。因此,识别刺激-响应对取决于客观标准,例如观察到的事件之间或者状态和事件之间的相关性。深度学习擅长客观地识别相关性,特别是当提供大数据集时,并且因此可以对应用于大量记录角色数据的过程302有用。对话是对社交交互尤为重要的一种刺激-响应。语言分析不仅可以用于确定对话的语义值,还可以用于确定用于隐含交流(例如暗示、嘲笑、幽默和讽刺)的非言语(或隐含)意义范围。语言分析可以包括,例如,对诸如共现、固化(entrenchment)和情绪触发等语言现象的分析,以及语义和句法分析。语调、面部表情、肢体语言和背景的分析也可以与语言分析一起以有助于检测隐式交流的使用。能够检测隐式交流的使用可能对个性模拟非常有用。例如,如果一个角色经常使用讽刺,那么当经历类似的刺激时,对角色的忠实模仿将要求社交机器人以与原始角色类似的频率进行讽刺陈述。
在304处,处理器可以确定刺激和响应是否都在将采用映射的个性的社交机器人或社交机器人组的“范围内”。在这种情况下,“范围内”意味着刺激或响应的任何一者可以在社交机器人的所有剧目中直接被找到,或者可以被映射到机器人能胜任的刺激和响应。如果不在范围内,则算法可以在306处和302处识别数据包含的下一个刺激响应对。在替代方案中,算法可以相比范围内对没有不同地处理范围外对,从而可以在下游过程(诸如映射过程140)中执行对不可映射对的滤波。
如果在范围内,算法可以在308处确定刺激和响应是否包含足够的细节以完全定义社交相关行为。例如,算法可以分析刺激响应的背景并确定背景是否揭示可能影响响应的社交相关因素,以及响应是否充分详细地被完全描述。如果细节水平太低,则算法可以在310处增加细节水平,例如通过在行为记录中包括用于刺激和响应的更详细的背景参数。
背景可以作为刺激-响应对的一部分来处理,或者作为将响应限制到在被应用时的可能响应的子集的滤波器来处理。无论哪种方式,背景对于以下两种情况都很重要:对于角色剖析,其中需要获得准确的行为模式记录,以及对于机器人操作,其中需要产生准确的行为响应。背景的一个方面可以包括用户简档。例如,模仿任何特定角色的社交机器人可以与不同类型的用户或与处于不同情绪状态的用户不同地交互。不同的用户类型可以包括例如用户的年龄、性别和种族背景。选择实时社交机器人响应可以使得某些角色简档与不同用户的交互针对用户和角色简档的每个不同组合产生唯一的响应模式。收集用户简档数据的社交机器人可以通过安全地加密简档数据使得在没有用户密钥的情况下不能使用它,和/或通过保护个人信息的一些其他方式(例如,选择加入过程以及消费者友好的使用规则(诸如在某个有限的时间段后安全删除))来保护用户的隐私。
如果完成,则过程300可以包括确定行为是否是要分析的行为的特征,或者至少它不是明显的通用或无特征行为。这可能不明显,直到已经分析了足够的行为数据以使所谓的特征出现。一旦出现特征模式,这些可以用于与似乎不具有特征或者仅具有非常少的特征的行为进行比较。
在314处,处理器可以确定当前情绪。如前所述,通过评估不同时间段上的行为数据,并识别在不同时间出现的重复性个性特质组,可以首先识别情绪。当前情绪可以通过确定当前的主要个性特征来估计,并且在一定程度上与与当前情绪一致的已知情绪触发条件相符合更是如此。替代地或另外地,可以使用情绪检测引擎(例如AffectivaTM,www.affectiva.com)来检测与情绪相关的源角色情绪状态。在316处,处理器可以针对预定的个性量表对刺激-响应对进行评分。例如,特定行为可以被评为75%外向、60%诚实、50%幽默,等等。行为对评分和相关情绪可以相关联并存储在数据记录318中。
如果在320处当前行为是情绪转变,则在314处处理器可以在情绪转变记录316中记录情绪转变参数。情绪转变本质上是与任何其他行为一样的行为,除了与个性特质表达和/或情绪状态的变化独特地良好相关。在框318处,一旦对源角色的所有特征行为已经进行了评分,则在320处处理器可以组合针对每个行为和情绪的所有评分,并将得到的总和归范化(normalize)为预定量表。该操作320将导致定量的个性简档,每个情绪一个定量的个性简档,该个性简档被存入记录322中。在324处,处理器可以整理和组合行为,获得先前已经描述的特征行为列表130、将它们保存在数据记录326中。数据记录326中的每个行为可以与由前面的过程316和过程316确定的其对应的情绪和分数相关联。
再次参考图1A,一旦已经分析了源个性,行为列表130可以用在机器人行为映射子系统140中以准备个性相关的机器人社交行为集合152。子系统140可以与剖析子系统120异步地且部分独立地操作;例如,不同的映射子系统可以利用相同的源社交行为数据130来配置具有不同能力的不同社交机器人。与剖析子系统120类似,映射子系统140可以手动、半自动或完全自动地操作,这取决于系统100的复杂程度。
图4示出了行为刺激-响应集合400的各方面,刺激-响应集合400可以有助于理解映射子系统140的操作。集合400可以包括刺激集合410,刺激集合410包括角色相关的刺激和仅机器人刺激。子集412表示机器人能够感知的刺激,而整个集合410包括在考虑的角色和将扮演它的社交机器人的每个刺激。例如,如果社交机器人缺少光检测器,则刺激414“在黑暗中”不在机器人能胜任的刺激412内。在这种情况下,为了能够对黑暗做出响应,可以将角色刺激414映射到机器人能胜任的刺激416,以对能够进行语音识别的社交机器人“被告知它是黑暗的”。
刺激集412可以与针对源个性编目的(cataloged)所有响应的响应集合420配对。正如刺激410一样,响应的子集422被编目用于目标社交机器人。有些响应属于源角色的剧目,但社交机器人无法执行。例如,如果社交机器人不具有带有触摸传感器的关节臂,则“触摸”响应424可能是不可能的。然而,响应可以被映射到引起类似情绪并且在社交机器人的能力集合422中的响应。例如,触摸响应424可以被映射到言语表达响应426、“移近”响应(未示出)、或者这些或其他响应的某种组合。
再次参考图1A,机器人行为映射子系统140可以使用关于社交机器人的低水平例程的信息148以定义被映射到源角色的特征社交行为130的社交机器人行为144。例如,系统140可以尝试使用低水平能力库来构造最接近的等效机器人行为。系统140还可以识别机器人社交行为146,机器人社交行为146是通用的并且未被映射到源角色的特征行为,但是其表达社交功能。
参考图5,用于映射机器人行为的过程500提供了算法的示例,该算法可以被编程和被编译,并且被提供在存储器上以供计算机处理器执行,以执行过程500。在502处,过程500可以包括从计算机存储器中的列表或类似数据结构检索用于社交机器人的刺激-响应对。在504处,处理器确定机器人行为对是否等效于源对。在自动化过程中,比较可以包括将源刺激-响应对的表达式转换成用于表达社交机器人的刺激-响应对的相同的符号语言。一旦用相同的符号语言表达,这些对可以很容易地被识别为一致,或者为了等效而映射的类似对。如果是一致的或等效的,则处理器506可以在506处定义源角色行为与一个或多个社交机器人行为之间的相关性(例如,一对一关联、一对多关联或多对多关联),或者定义两个或更多个源角色行为与(一个或多个)社交机器人行为之间的相关性。在一些实施例中,可以专门使用一对一关联。在替代方案中,如果不存在与社交机器人行为的一致物或等效物,则处理器可以在508处标记或提供另一指示,即不存在社交机器人行为与特征源行为之间的映射。在510处,处理器可以将社交机器人映射的和未映射的行为记录在相关数据结构512中。在514处和516处,处理器循环通过下一个列出的行为,直到所有机器人行为被映射或被指示为未映射。
再次参考图1A,在150处,机器人行为映射子系统140可以基于用于对源行为数据128进行评分的相同个性量表126对特征行为144进行评分。图6示出了用于对机器人行为进行评分的过程600。过程600表示可以被编程和被编译并且在存储器上被提供以供计算机处理器执行以执行过程600的算法。在602处,过程500可以包括从计算机存储器中的列表或类似数据结构检索用于社交机器人的刺激-响应对。在604处,处理器确定社交机器人行为中的一个是否被映射到源角色行为。在606处,如果机器人行为被映射到源行为,则处理器可以将机器人行为链接到或以其他方式将其关联到先前针对机器人行为被映射到的源角色行为所确定的个性量表评分(例如,如图3的316处的示例)。在608处,如果机器人行为未被映射,则处理器可以基于个性量表确定机器人行为的相关个性评分。在609处,处理器可以在合适的数据结构中记录每个行为的相关分数。在614处和616处,处理器可以循环通过下一个列出的行为,直到针对适用的个性量表对所有机器人行为进行评分,并记录分数。一旦完成过程600或等效物,子系统140将产生在特定个性量表上被评分的机器人社交行为152的数据集。
在讨论社交机器人如何利用实时行为子系统160中的数据集152之前,考虑刺激、响应和个性评分的进一步细节。图7A提供定义刺激的多个参数的示例,以及用于在分层的逻辑类别中(如在有向非循环图中)组织刺激参数的系统700。顶级类别702应该在最高有用的普遍性级别上定义刺激,其中特异性在较低级别上增加。在实施例(未示出)中,图的每个级别可以仅由两个选择组成,其中一个选择必须符合逻辑必要性,诸如“A”和“非A”。在实时地(图1A在162处)或在分析源角色数据时(图1A在122处)表征刺激中,分类引擎从图的顶级别到最低级别工作,选择在每个级别处的最可能的节点。但是,如果每个较低级别节点被分析为最可能“非A”,则引擎可以恢复到最高级别“非A”节点并尝试另一个分支,因为“非A”选择的长连续可能指示分支错误。例如,假设分类引擎在使用分类图时遇到松树,其中最高的两个节点选择是“人”和“非人”。假设分类引擎错误地选择了“人”。假设人分支上的下一个较低节点是“男性”和“非男性”。引擎正确选择“非男性”;“非男性”分支上的下一个较低节点是“女性”和“非女性”。引擎正确选择“非女性”,并假设下一个较低的节点是“其他性别”和“非其他性别”。引擎可以被配置为识别“非男性”“非女性”和“非其他性别”的组合对于人类来说是不可能的,并且因此恢复到更高节点并选择“非人”。
在图7A所示的示例中,顶级刺激是机器人或角色与其他东西之间的相对位置702。其余参数可以组织在任意数量的子级别中(例如,在有向无环图中)。在此例如,参数被组织成四组:时间(何时)组710、身份(何人/什么)组720、位置(何处)组730,以及表现方式(如何)组740。每个组都包含一种双极相对的评分。例如,时间组710可以包含一天的时间评分712和星期几评分714,指示刺激何时发生。可以将这些评分中的每一个归范化为在所选量表的端点之间连续行进的数字评分。例如,如果将八比特量表用于一天的时间参数712,则从刚刚过去的午夜到第二天的午夜的每个24小时时段可以被划分为128个递增的等量,使得计时能够达到128/24的粒度(每小时51/3单位,或11.25分钟)。这对于关联社交响应应该是足够的粒度。使用相同的八比特量表来表示一周中几天的时间导致粒度减少6/7,或为78.75分钟,同时使情绪或其他响应与一周中的几天相关。对于进一步示例,身份组720可以包括测量作为刺激源的人或事物(例如,正在与机器人说话的人、家庭宠物、或在机器人的视野中心的物体)的特征的值,例如,人/事物量表720、性别量表724和外向量表726。
位置组730涉及刺激在哪发生,例如附件(enclosure)参数732和邻域角色参数734。对于进一步示例,表现参数组740的方式可以包括接近(proximity)度量742、一个或多个取向度量744和相对运动度量746。
如果已知或可以估计主要用户的身份,则用户的年龄727可能是确定所选择的响应的重要因素。社交机器人可以根据特定的固定年龄行事,同时将其响应修改为适合该人或将见证机器人响应的人的年龄。另外地或者替代地,可以根据其主要用户或所有者的年龄来修改机器人的个性并且因此修改其响应。例如,作为礼物给予5岁儿童的社交机器人(从那以后该5岁儿童是其主要用户)可以使用用于源角色的幼儿园个性简档(性格特质集合)来操作,无论其与谁交互。随着主要用户年龄的增长,机器人的个性简档可能会根据年龄较大的源角色进行修改,其变老速度通常与其主要用户的变老有关。可以连续地进行机器人个性的修改以反映变老,但是为了计算简单,变老可以优选地分阶段进行。无论哪种方式,社交机器人都可以与其主要用户一起成长,成为终身伙伴,其个性基于其源逐渐成熟和发展。在替代方案中,社交机器人的个性可能会变老,但其速度与其主要用户的变老无关。例如,机器人的个性可能比其主要用户更快或更慢地变老,或者在年龄上反向(变得更年轻)。机器人采用以人类可以涉及的方式发展的个性的能力,无论变化的速度是否与主要用户的变老速度精确地平行。机器人的年龄或操作时间是可以用于确定机器人的社交响应的时间因素的进一步示例。
机器人与任何特定用户的体验级别729可以是响应选择中的另一个重要因素。例如,机器人可以选择不同的响应,部分地取决于与之交互的人是陌生人、新认识的人、泛泛之交、更亲密的朋友、或者机器人拥有长久体验历史的老朋友。另外地或者替代地,机器人与用户的特定体验可能影响选定的响应。可以设计各种机器人响应,所述响应包括通用或默认选项,可以利用来自机器人的存储器的更具体的信息(如果已知)来补充机器人响应。例如,如果机器人已经被介绍给用户并且通过名称知道用户,则机器人可以通过名称而不是使用通用形式的地址来寻址用户。可以使用条件逻辑来构造响应,以便在信息可用时选择更具体的响应。基于关于用户过去活动或者与机器人的交互的信息的条件选择,通过建议活动或评论过去活动来提供更复杂的示例。例如,如果机器人察觉到用户感到无聊,则可以基于用户在类似情况下已执行的先前活动来做出具体建议,或者如果缺少该过去的体验则做出一般性建议。
为了说明的目的简化了系统700,并且参数示例中包括的具体测量不如已经描述的组织原理和量化原理重要。在所示原理下,任何给定的刺激可以表示为测量值矩阵。例如,每个组可以提供刺激矩阵的行,并且每个列可以在相邻参数之间描绘,反之亦然;矩阵可以具有任何有用的维数。具有一维或二维的矩阵被认为是有用的;更高的维度增加复杂性,但也可能是有用的。矩阵的每个单元可以保存八比特(或其他比特)数值,其含义取决于系统700。应当理解,对不同刺激使用相对标准的系统将能够实现不同刺激和其相关联响应之间的快速机器比较和相关。与每个单元相关联的特定含义不是关键的,但是至少在某些情况下,单元的值应对响应有重大影响,否则参数不值得跟踪。因此,可以组织一般刺激组织系统700以使得能够对所有感兴趣的刺激使用标准矩阵,同时最大化每个单元值对相关联社交响应的影响。
图7B示出了应用于系统750的相同组织和量化原理,用于表征社交响应。在该示例中,顶级类别752与语音有关。包含一个或多个“时间因素”(也称为时间参数)的时间组760与一天中的时间等无关,因为该方面由刺激何时发生来控制。主时间参数762与在接收到刺激之后多么快地进行说话响应有关。身份组770可以包含语音内容的数字度量,诸如语音长度772、其幽默特性774、其真实性776等。在图7A至图7B所示的组织方案中,所说的实际单词不能容易地用数字表示。相反,对于使用独特的常备短语的角色,可以基于组720中的内容身份参数的组合对每个常备短语进行评分,并且由此在社交适合于展示的个性时通过评分比较来识别每个常备用语。位置组780可以包含参数782、784,参数782、784涉及相对于被寻址的人或事物语音被寻址的方向。表现参数组790的方式可以包括步调(pacing)参数790、音量参数794和细微参数796。类似的组织原则可以用于刺激系统(例如,700)和响应系统(750),但是在两种情况下都应该注意用于刺激的测量参数不是更真实地与响应相关,反之亦然。
图8示出了用于保存用于刺激或响应的量化的多参数数据的平坦数据结构800的各方面。标头(head)801可以包括用于顶级刺激或响应类别的标识符802。标头801可以进一步包括数据结构800中使用的子类的总数(“N”)808的指示806。每个子类标识符810、814、818可以与如上所述的参数组相关联。标头801之后可以是值812、816、820的列表,值812、816、820可以各自定义可以通过比特位置区分的若干不同参数。组内的参数可以按预定顺序由数值812、816、820中的预定比特数量来指定。本质上,数据结构800包括具有充分的索引信息的数字值串,以利用该串。
图9以图形方式示出了系统900,其中4×6数字刺激值902与4×4数字响应值904配对。另外地,所示的刺激-响应对902、904(统称为行为)基于任何使用的量表与用于行为的单个1x8数字个性评分906相关。在所示的示例中,黑色指示最大值,白色表示最小值,灰色表示某个中间值,以及“X”表示空(不适用)值。每个单元或框表示刺激或响应的参数值。因此,系统900使用纯数值方法示出了如何将特定个性评分906与一个或多个数字表示的行为相关联。
例如,给定一组大量的许多刺激-响应对全部在一致方案下表示,处理器可以确定刺激矩阵的每个单元与响应矩阵的每个单元之间的相关系数。对于刺激矩阵的每个单元,处理器可以使用例如Pearson的相关系数之类的度量在整个行为集合上确定最正相关的响应参数和最负相关的响应参数。例如,行-列(1,1)处的刺激参数的值可以与(1,4)处的响应参数最正相关,并且与(2,2)处的响应参数最负相关。如果是这样,则用于行为集合的个性特质矩阵的前两个值可以整体上指示相关的值。例如,正相关的量(例如,0和1之间的数字)可以由七个二进制数字加一个指示符号(正或负)的数字来指示,,而负相关的量可以使用相同的方案来指示。如果针对每个刺激值重复这一点,则可以确定用于整个行为集合的数字个性评分,而无需人类定性地评估刺激-响应对。这可以针对用特定情绪识别的每个不同行为集合来完成,以为每个情绪提供个性简档。在替代方案中,人可以基于如本文先前所述的预定义量表对个性特质值进行评分,或者使用响应于刺激和响应之间的相关性的一些其他数字方法。与预定的标准化量表不同,纯数字定义的特质量表的含义将完全取决于从中导出该特质量表的行为的集合以及用于导出它的数值方法。然而,只要社交机器人被编程为使用针对特定行为集合被导出和被定义的任何个性简档和量表,这可能就不是缺点,并且数字方法反映了用于行为集合的刺激和响应之间的相关性的合理度量。
与上文所述的预定个性简档不同,使用纯自动化的数字过程定义的定量个性简档可能没有可以容易地用文字表达的任何含义。尽管如此,自动确定的简档仍然可以使社交机器人能够以类似于从中导出数字个性简档的行为集合的方式行事,因为它将捕获刺激和响应之间的最重要的相关性。例如,考虑如何针对数字确定的个性简档对特定行为(例如,刺激-响应对902、904)进行评分。假设所描述的数值方法用于导出行为集合的个性简档。为了对特定行为(例如,对902、904)进行评分,处理器可以基于整个行为集合上的每个刺激参数对应的最高度相关的响应参数(例如,1,4和2,2处的响应参数)中的每个,计算每个实际响应值与由刺激值预测的值之间的差异和用于每个刺激参数(例如,参数1,1)的相关系数。对于每个刺激值重复该操作,可以获得评分,该评分指示特定行为与针对集合整体地在数字上已确定的个性简档多大程度地一致。与个性简档相关联的适用行为库可以被定义为在导出的个性简档的某些数字度量内的那些、属于从其中导出个性简档的行为集合的那些、或者基于前述的一些组合。有利地,使用数字度量确定个性简档的范围使得能够向社交机器人的剧目添加新的行为,适合于一个或多个充分匹配的个性简档来装配。
一般而言,无论个性简档是纯数字地被导出还是基于人类可理解的一些手动量表,基于适用的量表对任何特定的刺激-反应对进行评分,应该使社交机器人能够在以后识别出全部机器人社交行为中的仅包含在用于当前角色和情绪的特定个性简档的期望相似度(例如,加或减10%)内的那些行为、或者包含被标记为当前的个性简档从其中被开发的行为集合的一部分的适当子集。无论如何开发个性简档,社交机器人的实时操作总是基于被编程到(一个或多个)机器人控制处理器中的算法而完全自动化。
社交机器人操作的高级模块在图1A的子系统160中指示。环境数据164表示用于真实社交机器人的传感器数据、以及用于虚拟社交机器人的在计算机存储器中建模的虚拟环境数据。社交机器人对其环境作出反应,但在基于其个性和当前情绪调用适当的响应之前,机器人控制处理器需要识别当前的刺激集合,该刺激集合可以与机器人的个性评分社交行为152库中指定的刺激相关联。可以实时地使用用于刺激表征的过程152以识别来自环境数据164的当前刺激。用于刺激表征的过程1000的示例在图10中示出,用于由社交机器人的处理器执行。
在框1002处,处理器经由数据流或文件接收传感器数据(如果是真实社交机器人)或建模的环境数据(如果是虚拟社交机器人),并将接收的数据记录在高速缓存存储器1004中。在1006处,处理器使用机器人领域中已知的任何合适的事件检测方法来分析来自高速缓存的数据并检测一个或多个事件。处理器将检测到的事件的标识符放置在事件高速缓存1008中。与事件检测1006并行地,处理器将当前事件高速缓存1008的1010内容与计算机存储器中的机器人刺激库1012进行比较,机器人刺激库1012包含与用于机器人的任何定义的社交响应相关联的所有刺激。如果在1016处没有检测到刺激,则该过程循环回到框1002,直到社交机器人的操作在1020处结束。如果在1016处检测到刺激,则处理器发出警报1014,该警报指示检测到的刺激的标识符(例如,图1A中所示的当前刺激166)以供社交机器人的情绪确定和/或响应选择模块使用。一旦在1014处提供警报,处理器就刷新1018高速缓存1004和高速缓存1008,并且过程1000循环回到框1002,直到社交机器人的操作完成。
再次参考图1A,情绪确定过程168可以用于基于当前刺激166、从机器人的社交行为库152导出的情绪切换行为153的子集、以及与特定情绪相关的个性简档库128来切换社交机器人的当前个性简档。显而易见的是,如果当前刺激与包括在情绪切换行为153的库中的任何刺激不匹配,并且假设先前已经确定了社交机器人的初始或默认情绪,则情绪确定过程168可以绕过,直到检测到匹配。
图11示出了用于情绪确定的更详细过程1100的示例,诸如可以在社交机器人子系统160中使用。在1101处,当社交机器人被初始化时(例如,当启动时),处理器可以为社交机器人设置对应于默认个性简档的初始或默认情绪,并且将当前情绪和简档的警报提供到下游响应确定模块。在1102处,处理器等待如结合图10所讨论的刺激警报。一旦接收到1104警报,处理器将识别的刺激与由情绪切换行为1108的数据存储指定的刺激的库进行比较1106。如果检测到1110足够接近的匹配,则处理器基于最接近的匹配刺激及其相关联情绪来更新当前情绪1112。在1114处,处理器基于当前情绪,使用个性简档的数据存储1118和社交机器人的相关联情绪标识符来选择个性简档。在1116处,处理器提供指示个性简档已被更新为指定值的警报。例如,这可以包括将定义当前个性简档的一个值或多个值加载到由下游响应确定模块使用的存储器位置(例如,由变量指向的位置)。然后,过程1100循环回到等待块1102,直到在1120处社交机器人操作结束,诸如,例如当社交机器人被断电或由操作员或自动地置于不活动状态时。
最后一次参考图1A,当前个性简档170可以与当前刺激166(假设它不是用于情绪切换和别无其他的刺激)一起被提供给响应选择模块172。响应选择过程基于社交机器人的社交行为库152以及基于用于消除可能不适合当前刺激的行为(例如,具有损害机器人或损害旁观者的高风险的行为)的其他因素来执行行为滤波过程。选定的响应174被指示给驱动器176以用于较低水平的机器人功能,驱动器176执行真实或虚拟机器人中的响应174。
图12指示用于响应选择的更详细过程1200的示例,诸如可以在社交机器人子系统1100中是有用的。过程1200可以包括,在1202处,社交机器人的处理器从情绪确定模块或过程获得个性简档的当前值。在替代实施例中,社交机器人可以获得要按顺序混合或使用的多个个性简档、或者通过混合两个或更多个不同简档而生成的单个简档。在1204处,处理器可以等待来自刺激表征模块或过程的刺激警报,诸如,先前描述的。一旦在1206处警报刺激,处理器可以从社交行为库1208中选择最接近地对应于当前刺激和个性简档的响应。如前所述,刺激可以是表示数字系列或矩阵的数字数据的形式,也可以是个性简档。如果正在使用一个以上的个性来控制响应,则可以通过聚合(例如,求平均或内插)不同简档的值、或通过选择用于某些刺激的一个简档和用于其他刺激的另一个简档来混合两个或更多个简档。更简单的混合过程可以使用来自一个简档的物理特质(例如,声音、外观)和来自另一个简档的行为。这些和其他混合方法也可以组合使用。
选择过程1210可以包括基于识别来自库1208的与当前刺激值匹配的精确或在指定范围内的刺激的滤波操作,以及识别在当前的个性简档值的指定范围内的、或被标记为属于当前个性简档的刺激的另一独立滤波操作。处理器可以仅选择通过两个滤波操作的那些刺激。另外地,处理器可以应用其他滤波标准,例如基于保护机器人或操作员安全的标准。
如果仅一个刺激匹配1212,则处理器识别与该刺激配对的响应并且警报它1216以供社交机器人下游执行。如果检测到多于一个的匹配,则处理器基于相关联的匹配刺激值选择匹配响应1214中的一个,例如,通过使用随机或准随机选择,或任何其他期望的选择方法。在实施例中,处理器可以对可能的响应进行排名,并选择排名最高的响应。例如,处理器可以基于存储在存储器中的一组相关因素来计算每个可能的社交响应的概率分数。每个相关因素相对于用于缩放(scaling)定量个性特质值集合的个性特征量表为可能的高级响应之一评分。然后,过程1200循环回到等待块1204,直到社交机器人操作在1218处结束,例如,当社交机器人被断电或由操作员或自动地置于不活动状态时。
子系统160(包括但不限于刺激表征162、情绪确定168和响应选择172),可以被实现为真实社交机器人1300中的模块或由真实社交机器人1300处理,例如真实社交机器人1300如图13中示意性所示。社交机器人1300可以包括机电部件,该机电部件包括被配置为容纳在外骨骼或外壳1330中的计算机的电路。该电路可以包括一个或多个中央处理单元1302,其可操作地耦合到驱动马达(motor)1322的马达驱动器控制器1320、马达1322移动包括连接到社交机器人1300的头部或身体部分的机构的负载,使头部或身体部分以社交重要的方式移动。处理器基于如上所述选定的行为响应确定响应并向马达驱动器1320提供运动控制信号。运动控制信号使马达1322与由处理器1302选定的响应一致地移动连接的身体部分。
除了处理器1302之外,机器人1300还可以包含用于计算的其他部件。例如,处理器电路可以耦合到用户界面部件1304,诸如键盘或触摸屏,用于输入用户控制。处理器电路可以耦合到显示部件1310,例如触摸屏或其他显示器。显示器1310可以用于用户界面,以显示社交机器人(例如,面部)的表情特征,或者用于两者。处理器电路可以耦合到一个或多个传感器1306,传感器1306被配置用于感测机器人周围的环境或机器人与之交互的对象的一个或多个环境条件。一个或多个传感器1306可以包括例如相机、光传感器、麦克风、温度传感器、压力传感器、加速度计、触摸传感器、接近传感器或其他传感装置。处理器电路可以耦合到用于耦合到计算机网络的通信端口1308,或耦合到用于接收数据和程序指令的数据通信网络。处理器电路可以进一步耦合到音频输出换能器1318,用于输出机器人发声。处理器电路可以进一步耦合到易失性随机存取存储器设备1314和用于程序指令和数据的长期存储的非易失性存储器1316。
在图14中以等距视图示出了真实社交机器人1400的示例。社交机器人1400包括具有机械基座的智能手机1402(或类似的计算和无线通信装置)的组件。智能手机1402经由有线或无线接口耦合到基座1404中的电源和控制电路。智能手机1402和基座单元1404分开或一起地包括保持一个或多个处理器的电子基板,所述一个或多个处理器耦合到存储器并且耦合到用于驱动机器人的部件的至少一个电路。基座单元中的电路可以类似于结合图13描述的电路,减去由智能手机提供的触摸屏显示器。智能手机中的电路也可以类似于图13的电路,减去马达和运动部件。基座单元和智能电话一起地包括具有图13中所示的所有部件的电路。例如,机器人的传感器可以包括安装在智能手机1402的主体中的相机1426。
在一些实施例中,用于控制社交机器人的操作的主处理器和应用程序位于智能手机1402中,其中基座单元1404中的处理器作为从属或客户系统操作。在替代实施例中,用于控制社交机器人的操作的主处理器和应用程序位于基座单元1404中,其中智能手机1402扮演客户或从属角色。双装置、模块化结构提供了使得通常可用的通用装置(智能手机)能够提供机器人1400的许多必要部件,同时仍允许它在其他时间用作智能电话的优点。尽管如此,本文用于控制真实社交机器人的方法同样适用于机器人的模块化设计和统一设计。
在机器人1400中,面部部件包括显示屏1416、由智能手机处理器控制的人类可识别的表情特征1418,所述表情特征1418包括可配置的眉毛1420、包括至少一个可移动眼睛(例如,可旋转或模拟的可旋转的眼睛)的可配置的一对眼睛1422、以及可配置的嘴1424。可以基于要模拟的角色的个性简档来使这些部件变得生动。机器人1400进一步包括耦合到面部部件的可移动头部部件。可移动头部部件包括智能手机1402。虽然机器人1400缺少像人的躯干或附肢,但如果需要,可以添加这些像人的躯干或附肢。可移动头部(手机1402)本身可以至少部分地由智能手机1402中的处理器控制,而基座单元1404及其包括的旋转“颈部”部件1406的移动可以至少部分地由基座单元1404中的处理器控制,,基座单元1404中的处理器与智能手机1402中的处理器通信。
机器人1400可以进一步包括耦合到智能手机1402的控制电路的音频输出换能器(未示出)。替代地或另外地,音频输出换能器可以位于基座单元1404中。音频输出换能器中的任何一个或两个都可以用于机器人的社交发声。音频换能器还可以用作接近感测声纳系统的部件。
基座壳体1408可以被配置为经由由基座单元1404中的一个或多个处理器控制的颈部机构1406耦接到头部部件(智能手机1402)的躯干部件。颈部机构1406允许头部部件1402相对于躯干部件1408旋转。躯干部件(壳体)1408可以经由位于基座壳体1408内部的马达和马达驱动器连接到控制电路。基座壳体1408可以由三个或更多个轮子(一个在1410处示出)支撑,其中至少一个轮子在机器人的中央处理器的控制下由马达驱动,并且其中至少一个轮子可以被转向。因此,壳体1408可以在任何可导航的硬表面上移动和旋转。“头部”1402还可以转向面向区域中的任何用户、人或物体,由颈部和躯干部件1406、1408提供两个旋转自由度。
为了防止碰撞或跌倒,一对接近传感器1412、1414和/或相机1426可以向在机器人的处理器中执行的导航引擎提供导航数据。导航引擎可以限制或改变可移动躯干1408和颈部1406的运动以防止碰撞和跌倒,同时另外提供符合所请求的社交行为的输出运动。身体运动、颈部旋转、面部表情和音频输出的组合使得机器人1400能够表达令人惊讶的复杂个性,其可以容易地被识别为源自虚构角色或表演。
为此,机器人1400的计算机存储器可以保存程序指令,当由其一个或多个处理器执行时,所述程序指令使得社交机器人部分地基于存储在存储器中的定量个性特质值的集合来控制其对环境刺激的社交响应。如上文所述可以开发和配置定量个性简档和相关的机器人行为库。因此,当社交机器人1400正在(例如,与现场伙伴)社交交互时,可以使社交机器人1400以与从其中导出个性特质值的角色一致的方式行事。
本文描述的个性模拟技术可以同样适用于虚拟社交机器人,虚拟社交机器人可以在其虚拟环境中模拟许多真实的行为和交互。另外地,虚拟社交机器人可以以对于真实角色或真实社交机器人不可行的方式展示扩展的行为(例如,飞行、缩小、扩大)。如上所述,这些扩展的行为可以映射到真实的角色行为。因此,可以使虚拟社交机器人以可识别地符合真实角色的个性的方式扩展真实角色的行为。另外地,虚拟社交机器人可以容易地执行完全虚构角色(诸如说话的猫或具有超自然或夸大力量的超级英雄)的大多数行为或所有行为。用于激发虚拟机器人行为的刺激可以包括与其虚拟环境内的社交机器人交互的用户操作的化身的动作、或者多个这样的化身、虚拟环境中的一个或多个非玩家角色(例如,其他虚拟机器人)的动作、穿戴或携带用于虚拟现实或增强现实的沉浸式装备的一个用户或多个用户的身体运动或电气活动,或前述刺激类型的任何组合。
虚拟社交机器人可以包括来自视频游戏角色或在虚拟或增强现实中的人物的众所周知的部件。例如,图15以框图形式示出了虚拟社交机器人1500的硬件部件。虚拟社交机器人1500包括控制处理器1502,该控制处理器可以用于生成虚拟环境和在其中的虚拟社交机器人,或者可以专用于社交机器人或专用于社交机器人以及其虚拟环境的一些有限部分。处理器1502可以耦合到能够执行程序指令的短期存储器1504(例如,RAM),以及用于虚拟数据和程序指令的长期存储的非易失性数据存储装置1506。处理器1502可以耦合到通信端口,用于经由数据通信或计算机网络发送和接收数据。
可以通过至少两个输出来表达虚拟社交机器人1500:音频和视频。社交机器人1500可以包括耦合到处理器1502的音频驱动器部件1512,产生用于提供给音频输出换能器1520的音频信号1515。社交机器人1500还可以包括耦合到处理器1502的图形驱动器部件1510,产生用于提供给视频显示设备1518的视频信号1515。
虚拟社交机器人1500可以将程序指令保存在存储器1504中,当由处理器1502执行时,所述程序指令使得社交机器人部分地基于存储在存储器1504中的定量个性特质值的集合和/或数据存储装置1506来响应虚拟环境刺激。如上文所述可以开发和配置定量个性简档和相关联的机器人行为库。因此,当社交机器人1500在(例如,与现场伙伴)社交交互时,可以使社交机器人1500以与从其中导出个性特质值的角色一致的方式行事。
图16示出了虚拟社交机器人的硬件或固件部件1600的示例。机器人的硬件部件可以与结合图15示出和描述的那些一致。固件部件1600的软件可以包括几何网格1602、骨骼的骨架或系统1604、控制网格如何响应骨架1604的移动的网格变形规则集1606,以及表面渲染数据1608(例如,漫反射、镜面反射、和凹凸贴图或高度图)。软件或固件部件可以包括在模型操纵和渲染领域中已知的任何合适的元件。可以以任何期望的方式配置部件,以在被呈现时产生任何期望外观1610的虚拟社交机器人。具有特定个性的单个虚拟机器人甚至可以采用不同的外观作为社交表达的形式。操纵和渲染虚拟角色的技术方面在本领域中是很好理解的,并且可以容易地适用于通常使用如本文所述的用于社交机器人的个性建模和表达技术。
参考图17,可以协调1700真实社交机器人和虚拟社交机器人以表示统一的真实虚拟社交机器人。例如,携带定位装置的真实移动社交机器人可以围绕用于虚拟现实游戏的物理游戏空间移动(例如,通过在地板上移动、在空中飞行、攀爬墙壁、或这些或其他运动的组合)。每个穿戴虚拟现实(或增强现实)装备的一个或多个用户可以在对应于真实社交机器人的当前位置的位置处看到和听到在虚拟环境(或增强真实环境)中呈现的虚拟社交机器人。真实社交机器人可以响应于真实环境和虚拟环境中的用户动作而移动。例如,魁地奇(Quidditch)游戏可能会以这种方式进行,或其中魁地奇飞贼被具有个性的角色所取代的类似游戏,诸如,对于进一步的示例,“捕捉兔八哥”的游戏。混合社交机器人的许多其他用例也是可能的。在这些用例的每一个中,用于混合现实会话的控制处理器可以将统一(总)行为响应集1702分配给真实响应集1704和虚拟社交机器人响应集1706。例如,可以将整体运动响应分配给真实机器人,并且将其他响应(例如,面部表情和语音)分配给虚拟机器人。用于触发响应的刺激可以相反地通过聚合在真实和虚拟背景中检测到的刺激来检测。控制处理器可以进一步使响应集1704、1706同步,以便协调真实社交机器人和虚拟社交机器人的响应。在其他方面,可以如上所述执行总行为集(包括响应)的准备、源角色的个性剖析和行为选择。
鉴于前述内容,并且作为另外的示例,图18示出了基于量化的个性简档、基于小说或表演中的先前角色描绘来控制社交机器人的一种方法800或多种方法的各方面。方法1800可以由控制真实社交机器人、混合现实输出装置或前述的组合的计算机处理器、以及如上文所述的连接到处理器的部件来执行。方法1800可以包括,在1810处,基于机器人经历的事件集合,由耦合到关于机器人经历的事件的信息源的处理器识别属于预定义刺激集合的刺激。识别可以包括更详细的操作,例如,如上面结合图10所述,或者在下面段落中所述。
方法1800可以进一步包括,在1820处,至少部分地基于在可操作地耦合到机器人的计算机存储器中的当前个性简档来选择对刺激的响应,其中个性简档包括定量个性特质值的集合并且响应是社交响应,如本文更详细描述的。选择1820可以包括响应选择,如例如结合图12所述的。方法1800可以进一步包括在1830处使机器人执行响应。例如,处理器可以向较低水平的装置驱动器或模块发送命令集,驱动器或模块通过执行响应动作来响应该命令集。
在该方法的一个实施例中,机器人包括保持一个或多个处理器的电子基板,所述一个或多个处理器耦合到存储器并且耦合到用于驱动机器人的部件的至少一个电路。在此类实施例中,使机器人执行响应可以包括向电路发送电信号,其中该信号被配置为使得连接到电路的马达移动机器人的一部分(例如,头部、颈部或附肢)。另外地或替代地,机器人包括保持处理器的电子基板,该处理器可操作地耦合到存储器和面部部件,该面部部件包括由处理器控制并且选自以下项目的至少两个人类可识别的表情特征:可配置的眉毛、至少一个可配置的眼睛、以及可配置的嘴巴。在此类实施例中,使机器人执行响应可以包括向面部部件发送电信号,该信号被配置为引起表情特征的移动。例如,面部部件可以包括视频显示屏,并且发送电信号包括发送编码至少两个人类可识别的表情特征的视频信号,并使显示装置在面部表情中显示这些特征。在一方面,信息源包括耦合到处理器的一个或多个物理传感器,并且识别1810的操作进一步包括基于来自一个或多个传感器的数据确定事件集。真实社交机器人的其他方面可以如上所述。
在替代实施例中,机器人包括处理器,该处理器耦合到存储器、用户输入端口和视频输出设备,例如视频屏幕、投影仪、虚拟现实头戴式耳机或增强现实头戴式耳机。机器人的社交行为的用户体验可以完全是虚拟的。在此类实施例中,使机器人执行响应可以包括在虚拟计算机环境中建模模型的动画、渲染环境和机器人、以及向视频输出设备发送电信号,使其输出视频或机器人执行响应的等效的移动图像。在此类实施例中,关于由机器人经历的事件的信息源可以包括机器人在其中起作用的虚拟环境的计算机模型,并且识别刺激可以包括跟踪计算机模型的活动。
在方法1800的另一方面,识别可以进一步包括将包含数据的事件高速缓存的内容与刺激库进行比较,所述数据定义由机器人经历的事件集,所述刺激库可以被存储在长期计算机存储器中并且定义与机器人的任何定义的社交响应相关联的所有刺激。识别可以进一步包括检测在事件高速缓存的内容与来自刺激库的刺激之间的匹配。检测到匹配后,可以清除事件高速缓存。
在方法1800的另一方面,个性简档可以包括评分的聚合,每个评分通过基于个性特质的量表对针对源角色观察到的一组刺激-响应对进行评分而得到。聚合可以包括任何合适的数字聚合度量,例如,基于评分的合理组合的平均值或中值。
在方法1800的另一方面,选择响应可以进一步包括基于在每个候选响应和刺激之间的预定关联来选择候选响应(意味着可能的响应)。每个刺激可以与多个响应相关联,从而允许机器人的个性根据由机器人处理器确定多个相关联响应中的哪个与当前个性简档一致而变化,并且避免对任何给定刺激的预定响应。
在方法1800的另一方面,选择响应可以进一步包括确定用于每个候选响应的行为评分,其中每个行为评分涉及从包括从刺激和候选响应的集合中选择的不同而独特的刺激-反应对。每个行为评分还可以基于个性特质的量表;相同的单元和测量模式可以应用到关于个性的行为,区别在于个性是可以基于多个行为评分的聚合度量。选择响应可以进一步包括将每个行为评分与个性简档进行比较,并基于比较选择响应。例如,选择响应可以进一步包括使用任何合适的距离或相似性度量(诸如,例如欧几里德距离、平方欧几里德距离、曼哈顿距离或者闵可夫斯基距离),基于哪个行为评分在数字上最接近个性简档来选择响应。
在另一方面,选择响应可以进一步包括基于随机或准随机输入选择替代响应之一。例如,选择响应可以进一步包括排除属于与个性简档不一致的刺激-响应对的任何响应,留下与简档一致的复数响应。可以使用随机或准随机选择来选择这些剩余响应中的一个,服从排除由于其他原因(例如,会对用户或机器人造成太大的伤害风险)而不可行的响应。
在另一方面,选择响应可以包括将机器人的当前个性简档更新为与瞬态机器人情绪相关联的不同个性简档。例如,方法1800可以包括如结合图11所描述的情绪确定操作,其中每个“情绪”是独特的个性特质值集合,其可以在连续的时间段内被观察并且响应于一个或多个情绪触发条件具有至少一些可预测性地出现和/或消散。情绪选择可以如上文更详细地描述。
在方法1800的另一方面,刺激中的一些可以至少部分地由与机器人交互的角色的个人属性来表征,使得机器人的响应至少有时取决于个人属性。因此,社交机器人的个性简档或情绪可以“轮廓化”到其当前情况。例如,刺激中的一些可以至少部分地由在机器人上执行被包括在刺激中的动作的环境类型来表征,从而使机器人的响应至少有时依赖于执行动作的环境。
可以调整或改变方法1800。例如,响应可以被划分成类,诸如高级响应和低级响应。社交机器人的高级响应包括对人类伙伴具有社交意义的那些响应。社交机器人包括由其控制功能控制的人类可识别的表情特征,其通过运动和配置表达情绪,例如可配置的眉毛、可配置的眼睛或一对眼睛、可移动的头部和可配置的嘴。高级响应的示例包括头部相对于躯干的取向、头部相对于人类伙伴的取向、眼睛的取向(凝视方向)、人类可识别的表情特征的配置、部件被移动或配置被改变的速度或方式、言语响应的类型、以及言语响应的措辞。
机器人存储器可以包括指示每个定义的高级响应与用于剖析要被模拟的角色的个性量表之间的相关性的表或其他数据结构。例如,一个高级响应可以是“在对刺激作出反应之前暂停”。“暂停”响应可能与“缓慢”和“谨慎”的特质相关。进一步示例,另一个社交响应可以是“讽刺回答”。“讽刺回答”响应可能与“幽默”和“庸俗”的个性特质有关。每个社交响应可以在提供相关表或评分的机器人的响应选择数据库中类似地被编码。
由机器人的控制处理器执行的响应选择引擎可以使用高级滤波器和低级滤波器两者以用于选择机器人响应。低级滤波器可以包括,例如,排除在机器人的当前位置中物理上不可能的响应、或者在机器人参与的对话的上下文中没有逻辑意义的响应。相反,当滤波器被配置为用于讽刺性或幽默性的响应时,其可以被设置为故意地包括用于喜剧效果的不合逻辑的响应。一旦应用了一个或多个低级滤波器,就会保留可能的社交响应集合。然后,机器人控制功能可以基于当前个性简档和相关表来评估每个可能的社交响应的概率。例如,处理器可以将相关表中的每个条目乘以适用的个性特质因子,对结果求和,比较总和,并选择具有最大总和的社交响应。进一步示例,假设“暂停”与“缓慢”和“谨慎”相关,如果这些特质的个性因子为高的,机器人将计算“暂停”响应的高概率,并且如果这些特质的个性因子为低的,则机器人将计算“暂停”响应的低概率。除了基于相关表和个性简档的概率之外,还可以应用其他因素。一旦选择了最可能的响应,处理器就使用较低级别的命令集执行最可能的响应。
图19是示出了用于基于量化的个性简档的基于小说或表演中的先前角色描绘来控制社交机器人的设备或系统1900的部件的概念框图,如本文所述。设备或系统1900可以包括用于执行如本文所述的功能或处理操作的附加或更详细的部件。例如,处理器1910和存储器1916可以包含如上所述的用于情绪确定的过程的实例化。如图所示,设备或系统1900可以包括可以表示由处理器、软件或其组合(例如,固件)实现的功能的功能块。
如图19所示,设备或系统1900可以包括电子部件1902,电子部件1902基于社交机器人经历的事件集来识别预定义刺激集合中的一个刺激。部件1902可以是用于所述识别刺激的装置或可以包括用于所述识别刺激的装置。所述装置可以包括耦合到存储器1916的处理器1910,该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括用于识别刺激的一系列更详细的操作,例如,如结合图10所描述的。
设备1900可以进一步包括电子部件1904,该电子部件1904用于至少部分地基于可操作地耦合到机器人的计算机存储器中的当前个性简档来选择对刺激的响应,其中个性简档包括定量个性特质值集合。部件1904可以是用于所述选择响应的装置或者可以包括用于所述选择响应的装置。所述装置可以包括耦合到存储器1916和至少一个传感器(未示出)的处理器1910,该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作,例如,如结合图12所描述的。
设备1900可以进一步包括用于使得机器人执行选定的响应的电子部件1906。部件1906可以是或者可以包括用于所述使得机器人执行选定的响应的装置。所述装置可以包括处理器1910,该处理器1910可操作地耦合到存储器1916,并且耦合到马达驱动器1912、音频适配器1913或显示适配器1914中的一个或多个,该处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作,例如,将命令集发送到较低级别装置驱动器或模块,并且驱动器或模块通过发送使一个或多个连接的输出装置执行响应动作来执行处理器命令。
设备1900可以可选地包括具有至少一个处理器的处理器模块1910。处理器1910可以经由总线1913或类似的通信耦合与模块1902-1906进行操作性通信。在替代方案中,可以将一个或多个模块实例化为在处理器的存储器中的功能模块。处理器1910可以实现由电子部件1902-1906执行的过程或功能的启动和调度。
在相关方面,替代收发器1912或除收发器1912之外,设备1900还可以包括网络接口模块(未示出),该网络接口模块可操作用于通过计算机网络与系统部件通信。网络接口模块可以是或者可以包括例如以太网端口或串行端口(例如,通用串行总线(USB)端口)。在进一步的相关方面,设备1900可以可选地包括用于存储信息的模块,例如,非暂时性计算机可读介质或存储器装置1916。非暂时性计算机可读介质或存储器模块1916可以经由总线1913等可操作地耦合到设备1900的其他部件。存储器模块1916可以适于存储计算机可读指令和数据,用于实现模块1902-1906及其子部件,或处理器1910或方法1800以及本文公开的一个或多个附加操作1000、1100或1200的过程和行为。存储器模块1916可以保留用于执行与模块1902-1906相关联的功能的指令。虽然模块1902-1906示出为在存储器1916外部,但是应该理解,模块1902-1906可以存在于存储器1916或处理器1910的片上存储器内。
设备1900可以包括配置为无线发射器/接收器、或有线发射器/接收器的收发器(未示出),用于向另一系统部件发送通信信号或从另一系统部件接收通信信号。在替代实施例中,处理器1910可以包括来自在计算机网络上操作的装置的联网微处理器。另外地,设备1900可以包括音频适配器1913,用于向音频输出装置提供音频信号,使得输出装置使社交机器人响应发声,该社交机器人响应符合其个性简档。设备1900可以包括显示适配器1914,用于提供用于虚拟环境、社交机器人响应、或两者的视频信号,所述社交机器人响应符合其个性简档。设备1900可以包括马达驱动器,用于向马达提供电力,使得马达以符合社交机器人的个性简档的方式移动社交机器人的一部分。
本领域的技术人员将进一步了解,结合本文中所公开的方面而描述的各种说明性逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,上面已经在功能方面对各种说明性的部件、块、模块、电路和步骤进行了总体描述。将此类功能实现为硬件还是软件取决于特定应用和强加于整个系统上的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能,但是此类实施方式决策不应被解释为导致脱离本公开的范围。
如在本申请中所使用的,术语“部件”、“模块”、“系统”等旨在指代计算机相关的实体、硬件、硬件和软件的组合、软件、或执行中的软件。例如,部件或模块可以是但不限于在处理器上运行的过程、处理器、对象、可执行文件、执行的线程、程序、和/或计算机。举例来说,在服务器上运行的应用程序和服务器可以是部件或模块。一个或多个部件或模块可以驻留在过程和/或执行的线程内,并且部件或模块可以位于一个计算机上和/或被分布在两个或更多个计算机之间。
将根据可以包括多个部件、模块等的系统来呈现各个方面。应该理解和了解,各种系统可以包括附加部件、模块等,和/或可以不包括结合附图所讨论的所有部件、模块等。还可以使用这些方法的组合。本文公开的各个方面可以在电子装置上执行,该电子装置包括利用触摸屏显示技术、抬头(heads-up)用户界面、可穿戴界面和/或鼠标和键盘类型界面的装置。这种装置的示例包括VR输出装置(例如,VR头戴式耳机)、AR输出装置(例如,AR头戴式耳机)、计算机(台式机和移动设备)、智能电话、个人数字助理(PDA)、以及有线和无线的其他电子装置。
另外地,结合本文公开的方面描述的各种说明性逻辑块、模块和电路可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其他可编程逻辑装置、分立栅极(gate)或晶体管逻辑、分立硬件部件、或被设计用于执行本文所述的功能的其任何组合来实现或执行。通用处理器可以是微处理器,但是可替代地,处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算装置的组合,例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核心、或任何其他这样的配置。
本文公开的操作方面可以直接体现在硬件、由处理器执行的软件模块、或两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁、CD-ROM、数字通用盘(DVD)、Blu-rayTM、或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器,使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中,存储介质可以与处理器是一体的。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端装置或服务器中。在替代方案中,处理器和存储介质可以作为分立部件驻留在客户端装置或服务器中。在另一个替代方案中,本文公开的操作方面可以体现在软件流中,该软件流实时地或接近实时地被馈送到机器人硬件,然后由处理器或软件模块、或两者的组合执行。通过这种方式,可以将计算能力卸载到云,从而可以限制机器人的机载处理,同时基于云的计算能力几乎可以是无限制的,允许更复杂的输入、后续分析、识别和/或响应、以及将在云中完成的相关的计算任务。
此外,可以使用标准编程和/或工程技术以产生软件、固件、硬件或其任何组合以控制计算机实现所公开的方面,将一个或多个版本实现为方法、设备或制品。非暂时性计算机可读介质可以包括但不限于磁存储装置(例如,硬盘、软盘、磁条或其他格式)、光盘(例如,光碟(CD)、DVD、Blu-rayTM或其他格式)、智能卡、以及快闪存储器装置(例如,卡、棒或其他格式)。当然,本领域技术人员将认识到,在不脱离所公开方面的范围的情况下,可以对该配置进行许多修改。
提供对所公开方面的在前描述是为了使本领域的技术人员能够制造或使用本公开。对于本领域技术人员来说,对这些方面的各种修改是显而易见的,并且在不脱离本公开的精神或范围的情况下,本文中定义的通用原理可以应用于其他实施例。因此,本公开不旨在限于本文所示的实施例,而是与符合本文公开的原理和新颖特征的最宽范围相一致。鉴于上文描述的示例性系统,已经参考若干流程图描述了可以根据所公开的主题实现的方法。虽然为了简化说明的目的,将方法示出并描述为一系列框,但应该理解和意识到,所要求保护的主题不受框的顺序限制,因为一些框可以以不同的顺序出现,和/或与本文描绘和描述的其他块同时进行。此外,可能不需要所有示出的框来实现本文描述的方法。另外,应进一步了解,本文所公开的方法能够存储在制品上以促进将此类方法传输和转移到计算机。

Claims (33)

1.一种社交机器人,其包括:
电子基板,其保持一个或多个处理器,所述一个或多个处理器耦合到存储器并且耦合到用于驱动所述机器人的部件的至少一个电路;
面部部件,其连接到所述至少一个电路,所述面部部件包括由所述一个或多个处理器控制并且选自以下项目的至少两个人类可识别的表情特征:可配置的眉毛、至少一个可配置的眼睛以及可配置的嘴;
可移动头部部件,其耦合到所述面部部件并连接到所述至少一个电路;
音频输出换能器,其耦合到所述至少一个电路;以及
躯干部件,其经由由所述一个或多个处理器控制的颈部机构耦合到所述可移动头部部件,所述颈部机构允许所述可移动头部部件相对于所述躯干部件旋转,其中所述存储器保存指令,当由所述一个或多个处理器执行时,所述指令使得所述社交机器人部分地基于存储在所述存储器中的定量个性特质值的集合来控制所述社交机器人对环境刺激的社交响应,所述定量个性特质值将所述社交机器人的行为映射到源角色的行为,其中所述定量个性特质值从视频节目中的所述源角色的先前角色描绘导出并且表示记录在所述视频节目中的所述先前角色描绘根据相对的极端之间的双极量表的评分,所述双极量表包括相对个性特质的列表,其中所述评分包括鉴别所述先前角色描绘中的刺激-响应对以及针对预定的个性量表对每个所述刺激-响应对进行评分。
2.根据权利要求1所述的社交机器人,其中所述指令提供对所述定量个性特质值的集合的用户发起的修改,使得所述社交机器人以与不同于所述源角色的第二角色一致的方式行事。
3.根据权利要求1所述的社交机器人,其中所述定量个性特质值的集合中的每个成员基于相对的极端之间的所述双极量表来表征个性特质。
4.根据权利要求3所述的社交机器人,其中针对所述定量个性特质值的集合中的每个成员,相对的极端之间的所述双极量表由不同的特质对限定。
5.根据权利要求1所述的社交机器人,其中所述存储器进一步保存用于基于存储在所述存储器中的所述源角色的特征短语的集合来生成言语响应的数据。
6.根据权利要求1所述的社交机器人,其中所述社交响应包括以下中的一个或多个:头部部件相对于躯干的取向、头部相对于人类伙伴的取向、至少一个可移动眼睛的取向、所述至少两个人类可识别的表情特征中的每一个的配置、言语响应的类型、以及言语响应的措辞。
7.根据权利要求1所述的社交机器人,其中所述面部部件包括显示所述至少两个人类可识别的表情特征的视频屏幕。
8.根据权利要求1所述的社交机器人,其中所述指令进一步被配置为基于所述定量个性特质值的集合,从存储在所述存储器中的对环境刺激的可能的社交响应的集合中选择社交响应。
9.根据权利要求8所述的社交机器人,其中所述指令进一步被配置用于基于存储在所述存储器中的相关因素的集合来计算每个所述可能的社交响应的概率评分,其中所述相关因素的集合中的每一个相对于用于缩放所述定量个性特质值的集合的个性量表对所述可能的社会响应中的一个进行评分。
10.根据权利要求9所述的社交机器人,其中所述指令进一步被配置用于至少部分地基于每个所述可能的社交响应的所述概率评分来选择高级响应。
11.根据权利要求1所述的社交机器人,其中所述存储器进一步保存用于基于存储在所述存储器中的所述源角色的特征运动的集合来生成所述至少两个人类可识别的表情特征的运动的数据。
12.一种基于量化的个性简档基于小说或表演中的先前角色描绘来控制社交机器人的方法,所述方法包括:
基于机器人经历的事件的集合,通过耦合到关于机器人经历的事件的信息源的处理器来识别属于预定义刺激的集合的刺激;
至少部分地基于可操作地耦合到所述机器人的计算机存储器中的当前个性简档来选择对所述刺激的响应,其中所述个性简档包括定量个性特质值的集合,并且所述响应是社交响应,所述定量个性特质值将所述社交机器人的行为映射到源角色的行为,其中所述定量个性特质值表示视频节目中所述源角色的先前角色描绘,其至少部分通过将记录在所述视频节目中的所述先前角色描绘根据相对的极端之间的双极量表进行评分来导出,所述双极量表包括相对个性特质的列表,其中所述评分包括鉴别所述先前角色描绘中的刺激-响应对以及针对预定的个性量表对每个所述刺激-响应对进行评分;以及
使得所述机器人执行所述响应。
13.根据权利要求12所述的方法,其中所述机器人包括电子基板,所述电子基板保持一个或多个处理器,所述一个或多个处理器耦合到存储器并且耦合到用于驱动所述机器人的部件的电路,并且使所述机器人执行所述响应包括向所述电路发送电信号,所述电信号被配置为使得连接到所述电路的马达移动所述机器人的一部分。
14.根据权利要求12所述的方法,其中所述机器人包括电子基板,所述电子基板保持可操作地耦合到存储器和面部部件的所述处理器,所述面部部件包括由所述处理器控制并且选自以下项目的至少两个人类可识别的表情特征:可配置的眉毛、至少一个可配置的眼睛、以及可配置的嘴,并且使得所述机器人执行所述响应包括向所述面部部件发送电信号,所述电信号被配置为移动所述人类可识别的表情特征。
15.根据权利要求14所述的方法,其中所述面部部件包括视频显示屏幕,并且所述发送所述电信号包括发送编码至少两个人类可识别的表情特征的视频信号。
16.根据权利要求12所述的方法,其中信息源包括耦合到所述处理器的一个或多个物理传感器,并且所述识别进一步包括基于来自所述一个或多个物理传感器的数据确定所述事件的集合。
17.根据权利要求12所述的方法,其中所述机器人包括耦合到存储器、用户输入端口和视频输出装置的处理器,并且使得所述机器人执行所述响应包括建模在虚拟计算机环境中的模型的动画、渲染所述虚拟计算机环境和机器人、并且向所述视频输出装置发送电信号,使其输出执行所述响应的所述机器人的视频或等效运动图像。
18.根据权利要求12所述的方法,其中所述识别进一步包括将事件高速缓存的内容与刺激库进行比较,所述刺激库定义与所述机器人的任何定义的社交响应相关联的所有刺激。
19.根据权利要求18所述的方法,其中所述识别进一步包括检测所述事件高速缓存的内容与来自所述刺激库的刺激之间的匹配。
20.根据权利要求12所述的方法,其中所述个性简档包括评分的聚合,每个评分通过基于个性量表对针对所述源角色观察到的刺激-响应对的集合进行评分而得到。
21.根据权利要求20所述的方法,其中选择所述响应进一步包括基于每个候选响应与所述刺激之间的预定关联来选择所述候选响应。
22.根据权利要求21所述的方法,其中选择所述响应进一步包括确定每个所述候选响应的行为评分,其中每个所述行为评分与从由所述刺激和所述候选响应组成的集合中选择的不同且独特的刺激-响应对有关,并且基于所述个性量表。
23.根据权利要求22所述的方法,其中选择所述响应进一步包括将每个所述行为评分与所述个性简档进行比较,并且基于所述比较选择所述响应。
24.根据权利要求23所述的方法,其中选择所述响应进一步包括基于所述行为评分中的哪个在数字上最接近所述个性简档来选择所述响应。
25.根据权利要求23所述的方法,其中选择所述响应进一步包括基于随机或准随机输入选择替代响应中的一个。
26.根据权利要求22所述的方法,其中选择所述响应进一步包括排除属于与所述个性简档不一致的刺激-响应对的任何响应。
27.根据权利要求12所述的方法,其中所述响应包括将所述机器人的所述当前个性简档更新为与瞬态机器人情绪相关联的不同个性简档。
28.根据权利要求12所述的方法,其中所述刺激中的一些刺激至少部分地由与所述机器人交互的角色的个人属性来表征,使得所述机器人的所述响应至少有时取决于所述个人属性。
29.根据权利要求12所述的方法,其中所述刺激中的一些刺激至少部分地由其中在所述机器人上执行作为所述刺激的至少一部分的动作的环境来表征,使得所述机器人的所述响应至少有时取决于其中所述动作被执行的所述环境。
30.根据权利要求12所述的方法,进一步包括响应于时间因素或所述机器人的特定体验中的至少一个,基于所述源角色修改所述个性简档。
31.根据权利要求12所述的方法,其中所述个性简档包括所述角色的刺激-响应简档的符号化表示,所述符号化表示使得所述社交机器人以概率地模拟所述源角色的行为个性、以及可选地所述源角色的选择的物理特质的方式行事。
32.一种非暂时性计算机可读介质,其被编码有指令,当由处理器执行时,所述指令使得用于基于量化个性简档,基于小说或表演中的先前角色描绘来控制社交机器人的设备执行:
基于机器人经历的事件的集合,通过耦合到关于所述机器人经历的事件的信息源的处理器来识别属于预定义刺激的集合的刺激;
至少部分地基于可操作地耦合到所述机器人的计算机存储器中的当前个性简档来选择对所述刺激的响应,其中所述个性简档包括定量个性特质值的集合,并且所述响应是社交响应,所述定量个性特质值将所述社交机器人的行为映射到源角色的行为,其中所述定量个性特质值表示视频节目中所述源角色的先前角色描绘,其至少部分通过将记录在所述视频节目中的所述先前角色描绘根据相对的极端之间的双极量表进行评分来导出,所述双极量表包括相对个性特质的列表,其中所述评分包括鉴别所述先前角色描绘中的刺激-响应对以及针对预定的个性量表对每个所述刺激-响应对进行评分;以及
使得所述机器人执行所述响应。
33.一种用于基于量化的个性简档基于小说或表演中的先前角色描绘来控制社交机器人的设备,所述设备包括:
用于基于机器人经历的事件的集合,通过耦合到关于机器人经历的事件的信息源的处理器来识别属于预定义刺激的集合的刺激的装置;
用于至少部分地基于可操作地耦合到所述机器人的计算机存储器中的当前个性简档来选择对所述刺激的响应的装置,其中所述个性简档包括定量个性特质值的集合,所述定量个性特质值将所述社交机器人的行为映射到源角色的行为,并且所述响应是社交响应,其中所述定量个性特质值表示视频节目中所述源角色的先前角色描绘,其至少部分通过将记录在所述视频节目中的所述先前角色描绘根据相对的极端之间的双极量表进行评分来导出,所述双极量表包括相对个性特质的列表,其中所述评分包括鉴别所述先前角色描绘中的刺激-响应对以及针对预定的个性量表对每个所述刺激-响应对进行评分;以及
用于使得所述机器人执行所述响应的装置。
CN201780059260.8A 2016-07-27 2017-07-26 基于小说或表演中的先前角色描绘的社交机器人的控制 Active CN109789550B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662367335P 2016-07-27 2016-07-27
US62/367,335 2016-07-27
US201762467709P 2017-03-06 2017-03-06
US62/467,709 2017-03-06
PCT/US2017/044038 WO2018022808A1 (en) 2016-07-27 2017-07-26 Control of social robot based on prior character portrayal in fiction or performance

Publications (2)

Publication Number Publication Date
CN109789550A CN109789550A (zh) 2019-05-21
CN109789550B true CN109789550B (zh) 2023-05-30

Family

ID=61016772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059260.8A Active CN109789550B (zh) 2016-07-27 2017-07-26 基于小说或表演中的先前角色描绘的社交机器人的控制

Country Status (4)

Country Link
US (2) US11618170B2 (zh)
EP (1) EP3490761A4 (zh)
CN (1) CN109789550B (zh)
WO (1) WO2018022808A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018089700A1 (en) 2016-11-10 2018-05-17 Warner Bros. Entertainment Inc. Social robot with environmental control feature
US10814487B2 (en) * 2018-01-22 2020-10-27 Disney Enterprises, Inc. Communicative self-guiding automation
US10825227B2 (en) 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes
US11461404B2 (en) * 2018-06-26 2022-10-04 Intuition Robotics, Ltd. System and method for adjustment of a device personality profile
CN118605978A (zh) * 2018-08-29 2024-09-06 华为技术有限公司 一种虚拟机器人形象的呈现方法及装置
US11590660B2 (en) * 2018-09-26 2023-02-28 Disney Enterprises, Inc. Interactive autonomous robot configured for deployment within a social environment
WO2020081872A1 (en) 2018-10-18 2020-04-23 Warner Bros. Entertainment Inc. Characterizing content for audio-video dubbing and other transformations
CN109887095A (zh) * 2019-01-22 2019-06-14 华南理工大学 一种情绪刺激虚拟现实场景自动生成系统及方法
JP7120060B2 (ja) * 2019-02-06 2022-08-17 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
CN112182169A (zh) * 2019-07-01 2021-01-05 北京邮电大学 基于用户属性的社会工程学机器人模拟方法和装置
US11444893B1 (en) 2019-12-13 2022-09-13 Wells Fargo Bank, N.A. Enhanced chatbot responses during conversations with unknown users based on maturity metrics determined from history of chatbot interactions
CN113672194A (zh) * 2020-03-31 2021-11-19 北京市商汤科技开发有限公司 声学特征样本的获取方法、装置、设备以及存储介质
US20210346557A1 (en) 2020-05-08 2021-11-11 Robust AI, Inc. Robotic social interaction
EP4260920A1 (en) * 2020-12-10 2023-10-18 Panasonic Intellectual Property Management Co., Ltd. Robot control method and information provision method
TW202226002A (zh) * 2020-12-15 2022-07-01 萬達人工智慧科技股份有限公司 電子卡片產生裝置及電子卡片產生方法
JP7283495B2 (ja) * 2021-03-16 2023-05-30 カシオ計算機株式会社 機器の制御装置、機器の制御方法及びプログラム
US11551031B2 (en) 2021-06-11 2023-01-10 Hume AI Inc. Empathic artificial intelligence systems
CN113459100B (zh) * 2021-07-05 2023-02-17 上海仙塔智能科技有限公司 基于机器人人格的处理方法、装置、设备以及介质
CN114187792B (zh) * 2021-12-17 2022-08-05 湖南惟楚有才教育科技有限公司 一种基于互联网课堂教学管理系统及方法
WO2023212145A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Controlling generative language models for artificial intelligence characters
US20240135202A1 (en) * 2022-10-19 2024-04-25 Disney Enterprises, Inc. Emotionally Responsive Artificial Intelligence Interactive Character

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031549A (en) * 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
US7061493B1 (en) * 1999-04-07 2006-06-13 Fuji Xerox Co., Ltd. System for designing and rendering personalities for autonomous synthetic characters
WO2003078113A1 (fr) * 2002-03-15 2003-09-25 Sony Corporation Systeme de commande de robot, procede correspondant, et robot
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
US20120059781A1 (en) * 2010-07-11 2012-03-08 Nam Kim Systems and Methods for Creating or Simulating Self-Awareness in a Machine
US10702773B2 (en) * 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20180336450A1 (en) * 2013-11-06 2018-11-22 Forever Identity, Inc. Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity
US20160031081A1 (en) * 2014-08-01 2016-02-04 Brian David Johnson Systems and methods for the modular configuration of robots
CN105204631B (zh) * 2015-09-10 2017-11-07 中国人民解放军装甲兵工程学院 一种虚拟地理环境角色建模方法和多角色协同操作方法
SE1650402A1 (en) * 2016-03-29 2017-09-30 Furhat Robotics Ab Customization of robot
US20170282383A1 (en) * 2016-04-04 2017-10-05 Sphero, Inc. System for content recognition and response action
US20190143527A1 (en) * 2016-04-26 2019-05-16 Taechyon Robotics Corporation Multiple interactive personalities robot

Also Published As

Publication number Publication date
EP3490761A4 (en) 2020-04-01
US20190224853A1 (en) 2019-07-25
EP3490761A1 (en) 2019-06-05
WO2018022808A1 (en) 2018-02-01
US20230373097A1 (en) 2023-11-23
US11618170B2 (en) 2023-04-04
CN109789550A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109789550B (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
JP7351745B2 (ja) 環境制御機能を有する社会ロボット
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
Hoffman et al. Design and evaluation of a peripheral robotic conversation companion
RU2690071C2 (ru) Способы и системы для управления диалогами робота
US11148296B2 (en) Engaging in human-based social interaction for performing tasks using a persistent companion device
US20170206064A1 (en) Persistent companion device configuration and deployment platform
US20110053129A1 (en) Adaptive system for real-time behavioral coaching and command intermediation
US9796095B1 (en) System and method for controlling intelligent animated characters
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
Saldien et al. A motion system for social and animated robots
Calvo et al. Introduction to affective computing
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
US20220284649A1 (en) Virtual Representation with Dynamic and Realistic Behavioral and Emotional Responses
Hanke et al. Embodied ambient intelligent systems
Ritschel Real-time generation and adaptation of social companion robot behaviors
Johal Companion Robots Behaving with Style: Towards Plasticity in Social Human-Robot Interaction
Bono et al. Challenges for Robots Acting on 37
WO2018183812A1 (en) Persistent companion device configuration and deployment platform
US20240316782A1 (en) Social robot with environmental control feature
Franke et al. Monitoring daily routine anomalies in assisted living environments
OGGIONNI Be pleasurable, be innovative. The emotional side of design thinking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant