CN107431836A - 一种用于与专家协同工作的设备的系统和方法 - Google Patents

一种用于与专家协同工作的设备的系统和方法 Download PDF

Info

Publication number
CN107431836A
CN107431836A CN201580072101.2A CN201580072101A CN107431836A CN 107431836 A CN107431836 A CN 107431836A CN 201580072101 A CN201580072101 A CN 201580072101A CN 107431836 A CN107431836 A CN 107431836A
Authority
CN
China
Prior art keywords
equipment
expert
ability
request
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580072101.2A
Other languages
English (en)
Inventor
D·W·黑纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Real System Ltd Co
Original Assignee
Real System Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Real System Ltd Co filed Critical Real System Ltd Co
Publication of CN107431836A publication Critical patent/CN107431836A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models

Abstract

一种系统和方法,其中设备将搜索专家并与该专家协同工作以响应该设备不能自己响应的请求。该专家可以是人、虚拟角色、机器人或其他设备中的一个或多个或其组合。

Description

一种用于与专家协同工作的设备的系统和方法
技术领域
本申请涉及半自主设备,并且具体而言涉及用于与专家协作。
背景技术
我们身边的设备正变得越来越智能。例如,Daewoo在2006年推出了一款语音识别微波炉。这是一款在其发布时能够响应40种语音命令的自主设备。虽然它是智能的,并且即使它已潜在地具有所有必要的技术能力(例如,响应于按钮被按下而生成声音的能力),但它还是不能够响应诸如“给我播放威廉·退尔序曲(William Tell Overture)”之类的命令。
并不是该设备不能潜在地执行该任务,而仅仅是因为它没被编程来做这件事。
自主设备是一种具有基于其对世界、自身及其遇到的情况的知识和理解来独立地在不同行动方式之间进行创作和选择以完成目标的智能系统的能力的设备。半自主设备是在某些领域但并非全部领域中具有做这件事的能力的设备。
在微波烹饪的领域内,语音识别微波炉可被认为是一种自主设备。然而,当微波炉接收到超出其领域的请求时,用户可能在此熟悉“我目前无法处理请求,请再试一次”。
Siri是一款几乎每个人都至少知晓的非常自主的个人助理软件应用。Siri的领域专长不仅仅在于iPad和iPhone上可用的资源的领域专场,还在于其可以通过访问在线数据库来做一些如提供电影评论以及在餐厅定位之类的事情。
Siri的工作的方式如同启用web/云的设备,并且如果您没有连接到互联网,则您将接收到一条Siri不可用的消息。当您向Siri提出诸如“给我播放威廉·退尔序曲”之类的请求时,Siri将对该句子在本地及在web两者上进行解析,并且如果Siri对其在本地响应的能力具有足够的信心的话,则它将发出响应(例如,“我在您的音乐中无法找到威廉·退尔序曲”)。如果它不能在本地处理请求,则它将搜索它的在线数据库并设法提供答案。失败的话,您将听到熟悉的“这是我在web上找到的……”。
在最远端的是来自IBM的沃森(Watson)。沃森是在电视节目危险边缘(Jeapordy)中战胜其人类竞争对手的自主计算机。在比赛期间,沃森具有对消耗了四兆兆字节的磁盘存储的2亿页的结构化和非结构化内容(包括维基百科全文)的访问,并且甚至在比赛期间没有连接到互联网,尽管它能够这么做。因此,沃森在几乎每一个类别中均为领域专家,除了它的确在对具有仅包含几个单词的短线索的类别进行响应的方面具有困难,并且它在对一个关于美国城市的问题奇怪地响应了“什么是多伦多?”而错失了终极Jeopardy。
作为在基本上所有领域中的主题专家,沃森由九十台IBM Power 750服务器的集群组成,每台服务器使用3.5GHz POWER7八核处理器,其中每个核具有四个线程。总计,该系统具有2,880个POWER7处理器核,并且具有16兆兆字节的RAM,这远远超出了您通常的微波炉的功能,更不用说一个语音受控的微波炉了。
然而,如果自主设备是启用网络的(被连接到云),则它可以就像Siri一样来搜索问题的答案或问题的解决方案。
但是,直接的解决方案可能并不总是可获得的。例如,处理能力或存储器可能不足以实现解决方案,或者概念在本质上可能是概念性的,从而要求自主系统尚未获取的新技能和能力或附加的质疑能力。即使当自主系统具有学习新技能的能力并且系统资源可用时,自主系统可能还是得花费过长的时间来完成学习过程。
另一方面,存在领域专家。例如,某些人可能在他们的起居室内具有的数字键盘可具有将音乐转换成可由使用能由微波炉使用微波炉键盘能播放的声调来播放的范围的能力,并且YouTube视频的搜索揭示了若干人能够在各种设备(诸如他们手机的键盘)上播放威廉·退尔序曲。因此,存在潜在可获得的能够潜在地用可获得的资源来完成任务的领域专家(包括同类设备和人类),使得可以想象得到微波炉能够播放威廉·退尔序曲。
缺少的是针对这些自主系统与这些专家进行交互以回答用户查询或解决问题的有效方式。
发明内容
为了克服现有技术中的缺陷,本文描述了系统和方法。
所要求保护的发明的一个方面涉及一种被配置成允许领域专家与设备协同工作以响应请求的系统,其中该设备被配置成确定其是否具有响应请求的能力,并且如果不具有该能力的话,则搜索具有该能力的特定领域专家,并且临时地向领域专家提供对该设备的系统特征的访问,使得能够通过该设备来响应请求。
另一方面涉及一种设备和专家之间的协作方法,包括该设备确定其是否具有响应请求的能力,在网络上搜索具有响应请求的能力的专家,临时地向专家提供对系统特征的控制以便解决问题,以及一旦控制已经返回到该设备,则该设备确定请求已被适当地响应。
呈现在权利要求中的在此描述的这些和其他方面导致了特征并且/或者可提供超过当前技术的优点。
在此描述的优点和特征是可从代表性实施例获得的许多优点和特征中的一些,并且仅用于帮助理解本发明而被呈现。应当理解,它们不被认为是对由权利要求限定的本发明的限制或者对权利要求的等同物的限制。例如,这些优点或特征中的一些是相互排斥或相互矛盾的,因为它们不能同时存在于单个实施例中。类似地,一些优点适用于本发明的一个方面,然而却不适用于其他方面。因此,在确定等价性时,不应该将详尽的特征和优点视为决定性的。在根据附图和权利要求的以下描述中,本发明的附加特征和优点将变得显而易见。
附图说明
图1以简化的形式显示了其中若干自主设备被连接的基于云的系统;
图2A和2B以简化的形式示出了互连以及关系的组合如何能够被可视地表示。
图3以简化的形式示出了当对半/自主设备提出了其需要解决的问题/难题时的半/自主设备的过程的流程图。
具体实施方式
一种其中自主设备搜索与之协同工作以回答用户的问题或者(响应于请求)解决问题的领域专家并随后提供对其系统的访问以使得它能够与该领域专家协作的系统和方法远比仅仅一种简单地搜索信息或向基站发回其具有问题的警报的系统更加有利。
图1以简化的形式显示了其中若干自主设备被连接的基于云的系统:其示出了来自自动驾驶吸尘器100、单用途机器人102、远程医疗机器人104和人形机器人106的若干示例性自主(或半自主)设备。这些自主(或半自主)设备并不意味着是穷尽性列表,而是仅仅表示一定范围的设备。
这些设备(每个均包括处理器、存储器存储、可执行代码和网络连接)被连接到网络/云110,设备通过网络/云110还可潜在地连接到彼此以及连接到一个或多个数据库120、122、124;一个或多个虚拟角色130、132、134;以及基于人类140、142和机器150、152两者的领域专家中的一个或多个。
虚拟角色是对与个人或系统的信息(包括其事实知识以及其情感内容)相关的数据的聚集。
虚拟角色的示例可能是虚拟的鲍勃·科斯塔斯,其具有与运动相关的知识库,并具有经编程的能力以在对话方面模仿鲍勃·科斯塔斯。其他示例可能是来自成人娱乐产业的名人,其不仅具有模仿对话的能力(就像它们就是名人那样),而且可附加地凭借人形机器人的能力来具有以那位名人当初成名的方式控制设备的能力。
然而,虚拟角色不必是基于人类的。例如,已与验光师协同工作并开发了该领域内的专业知识和技能的机器人可将其自身的副本上传到云110来作为虚拟角色。一旦上传完毕,虚拟角色可以:向人类或其他设备提供信息;与至少一个其他设备协同工作,这也可能涉及与人类协作;或者被提供对同类设备的临时控制,这于是可附加地涉及与其他设备和/或人类协作。
图2A和2B以简化的形式示出了互连以及关系的组合如何能够被可视地表示。当在图2A的后续描述中提到术语“在线”时,“在线”不仅意味着被连接到网络,还意味着当前具有与其他事物进行交互的能力,而不是简单地作为网络的一部分。图2A表示图2B中所包括的互连关系的经标记的键。图2A包括以下实体:由实心黑色圆表示的用户210;由实心黑色圆和围绕它的灰色圆圈表示的在线用户210-1;由其中具有孔的实心黑色圆表示的用户的虚拟存在215,其为用户的虚拟副本,包括用户形成的事实信息以及用户的情感简档,并且还可具有独立于用户来学习新的事实信息的能力;由其中具有孔的实心的黑色圆和围绕它的灰色圆圈表示的在线用户的虚拟存在215-1;由实心白色圆表示的“物理”机器人(自主或半自主系统)220;由实心白色圆和围绕它的灰色圆圈表示的在线机器人220-1;由其中具有孔的实心白色圆表示的机器人的虚拟存在225,其可同样具有独立于物理机器人来学习新的事实信息的能力;由其中具有孔的实心白色圆和围绕它的灰色的圆圈表示的在线机器人的虚拟存在225-1;由半实心黑色圆和半实心黑色圆表示的与机器人组合的用户230,其中用户能够对机器人进行某种程度的控制;由半实心黑色圆和半实心黑色圆以及围绕其的灰色圆圈表示的在线的带有机器人的用户230-1;由半实心黑色圆和其中具有孔的半实心黑色圆表示的带有虚拟机器人的用户235,其中用户能够对虚拟机器人进行某种程度的控制;由半实心黑色圆和其中具有孔的半实心黑色圆以及围绕其的灰色圆圈表示的在线的带有虚拟机器人的用户235-1;由其中具有孔的半实心黑色圆和半实心白色圆表示的带有机器人的用户的虚拟存在240,其中用户虚拟存在能够对机器人进行某种程度的控制,或反之亦然;由其中具有孔的半实心黑色圆和半实心白色圆以及围绕其的灰色圆圈表示的在线的用户的虚拟存在240-1;由其中具有孔的半实心黑色圆和其中具有孔的半实心白色圆表示的带有机器人的虚拟存在的用户的虚拟存在245,其中用户虚拟存在能够对机器人虚拟存在进行某种程度的控制,或反之亦然;由其中具有孔的半实心黑色圆和其中具有孔的半实心白色圆以及围绕其的灰色圆圈表示的带有机器人的虚拟存在的在线的用户的虚拟存在240-1。应该注意,颜色的选择是任意的,并且可以是允许用户和机器人(自主和半自主系统)之间的差异以及它们是否在线的区别的任何颜色集或图案。附加地,应当注意,用来指示用户(或机器人)的圆形的选择以及用来指示作为整体的一部分的用户(或机器人)的虚拟存在的对圆形中心的移除都是任意的,并且可以是象征性地表示整体和整体的一部分的任何形状集,例如太极图也可被使用。
在图2B中,各种实体(如图2A所标记的)在网络250内互连,其中实体之间的线表示实体之间的互连。实体之间的互连是用于与另一实体的通信或者对另一实体的控制中的一者或多者的信道,其可以是单向的、双向的或者简单的是用于对不同实体的通信和/或控制的贯通信道,其中感兴趣的实体没被直接连接到该不同实体,而是与其连接的其他实体被连接到该不同实体。
所显示的互连不必是活动的,并且可表示实体之间形成的历史连接。然而,图2B是对专家通过其能够与自主(或半自主)设备协同工作的复杂关系的表示。
尽管存在一个或多个人与自主(或半自主)设备协同工作的许多示例,这些示例通过参考援引纳入于此(参见下表):
但是这些并未着手解决图2B中所表示的实体的复杂互连。
在上述参考文献中,Backes等人的US 5,231,693被许多人认为是一项开创性的工作,在建模不佳的环境中的遥控机器人控制的许多概念源于其中,并在以下段落中进行了总结。
Backes等人描述了用于在建模良好的环境中(诸如已非常成功地被开发和使用达数十年的制造设施)的机器人操纵器(或其他半/自主设备)的操作和控制的技术。这样的环境可被良好地建模,因为机器人工作区域的环境能够被众所周知。
然而,即使是今天,这些技术必须进行实质性修改以供在建模不佳的环境中使用,或者以响应于计划外的场景而执行任务。
对机器人操作的远程控制可以通过遥操作、自主或监督控制以及这些方法的组合来被实现,该组合被称为共享控制(例如,图2A和2B中的与机器人组合的用户230)。
交互式机器人任务规划、执行和监控可以通过纯的遥操作来被实现。在这种方法中,规划驻留在操作员的内心,执行通过操作员经由遥控器发出,并且监控通过对操作员的传感反馈来提供。
自主任务规划、执行和监控是遥操作的另一极。在这里,操作员仅发起非常高级别的命令(诸如“更换电子模块”),而随后规划、执行和监控被自主地完成,无需进一步的操作员输入。
遥操作已被证明是针对许多任务的有价值的工具,尤其是在未建模或建模不佳的环境中以及用于计划外的场景中。待执行的任务的渐增的复杂度对“操作员”造成越来越大的负担。
因此,作为使操作员从许多的任务规划、执行和监控责任中得到缓解以便允许“操作员”集中精力于一件任务的更关键的元素上的工具,自主控制正变得越来越有价值。
监督和共享控制是针对计划外场景或针对建模不佳的环境的遥控机器人任务执行方面的改进。
监督控制是指“操作员”选择针对任务的自主执行的执行参数并能够随时停止执行。
共享控制是在任务执行期间来自“操作员”和自主控制系统的输入的混合。
在监控或共享控制系统中的规划、执行和监控所需的关键元素是“操作员”接口,其支持设备的共享和监督控制系统特征。
系统特征的监督控制被要求以允许“操作员”设置遥操作、自主和共享控制任务环境参数,并提供针对自主任务原语和遥操作控制的特定输入参数。
任务原语是用于控制机器人完成任务的可重用、预先确定的、自包含的经预编程的程序,这样的控制取决于可在任务执行之前或任务执行时被指定的输入参数集。
“操作员”接口的共享系统特征被要求以便取决于任务上下文来提供一些环境和控制参数的自主设置。
以上所指定的一般原则是为了与机器人或其他半/自主设备协同工作的一个或多个人;然而,除了Wang等人的简要提及之外,不存在对上述任何这些工作的提及。在US2005/0204438的第[0018]段中,该设备可以由“其他机器人”(更不用说图2A中所指定的虚拟或其他的组合关系)控制。此外,Wang等人的提及似乎是作为事后想法而已被插入的,因为除了词语“或其他机器人”以外,不存在对如何实现这一点的实际公开。
以上所指定的一般原则在未建模或建模不佳的环境中以及针对计划外场景尤其为真。在这些情况下,机器人或其他半/自主设备可能不仅仅触及到人类,而且是第一次触及到另一机器人或其他半/自主设备。
类似于人类能够与机器人协同工作的方式被很好地定义。存在一个或多个人与人类专家协作工作的许多示例,这些示例作为参考被援引纳入于此(见下表):
再次,为了将上述工作中的这些一般原则实现到其中一个机器人或其他半/自主设备寻求另一机器人或其他半/自主设备(或图2A中所指定的任何实体)的协助的环境中,存在当处理人类互动时没有被这些作者领会到(或甚至被考虑到)的必须进行的附加的信息交换。
图3以简化的形式示出了当对半/自主设备提出了其需要解决(请求)的问题/难题时的半/自主设备的过程的流程图。第一步是决定300,其中半/自主设备查询其内部信息,以查看其是否具有通过回答问题/解决问题来响应请求的足够的知识和/或能力。查询可包括下列各项中的一项或多项:请求与请求及响应的数据库的简单匹配;基于越来越小的元素在被嵌入请求的字符串内进行解析,直到对请求的匹配可被确定为满足预先确定的置信水平,其可以例如基于经匹配的名词的百分比;将短语初始缩减成已知的请求,并接着执行匹配;使用先前通信或环境的内容来帮助确定对答案的置信;使用请求者或半/自主设备中的一者或多者的情绪状态/个性来确定置信(例如,使用请求者最近在设备上咒骂的事实来降低置信度,或者该设备当前用主导的个性来被编程以增加对响应的置信);将先前不论正确与否是否有对类似请求作出响应(例如,在同一领域中具有相似的置信水平)的过往性能纳入考虑,并使用这些来影响置信水平;以及使用诸如请求者的偏好等(例如,他们是否愿意支付费用或者他们对不正确的响应的容忍度)来帮助确定设备是否具有足够的知识或能力来应答请求。
在这个方面,应该理解,这些技术是出于理解的目的的典型技术的代表。应当理解,无论是标准的还是专利的其他技术均可被用来产生针对查询内部信息的相同或类似的效果,再者,重要的方面在于确定其是否具有足够的知识和能力来回答问题或解决问题的能力,而非所使用的特定的查询或协议。
如果设备具有足够的知识和能力来回答问题/解决问题310,则它将这样做,并接着返回到正常操作320。
如果内部不存在足够的知识和/或能力以响应请求,则它可以执行对用于回答问题/解决问题330的足够的知识和/或能力的外部搜索。附加地,当它正在进行外部搜索330的同时,或者作为进行外部搜索的替代,系统可任选地开始搜索具有回答问题/解决问题的知识和/或能力的专家340,或者在它开始搜索专家340之前,它可以等待来看其外部搜索330是否失败。
类似于内部搜索,外部搜索330可不单单涉及针对为外部服务执行的内部搜索而被指定的一种或多种方法,而且还包括以下中的一种或多种:简单地将被报告回的第一响应作为匹配,计算该响应的置信水平(例如,请求和响应之间的匹配名词的百分比和数量);对在请求的领域内是专家的外部源给予更高的置信,以及将元数据(诸如,喜欢/不喜欢的数量、贡献者的出生地国籍、查看的次数和/或内容中的诋毁言语(诸如亵渎、种族诽谤)或者像“猜”、“我不确定”或“我认为”之类的单词或短语)考虑在内。
在这个方面,应该理解,这些技术是出于理解的目的的典型技术的代表。应当理解,无论是标准的还是专利的其他技术均可被用来产生针对外部搜索(诸如查询外部数据库)的相同或类似的效果,再者,重要的方面在于确定外部源是否具有足够的知识和能力来回答问题或解决问题的能力,而非所使用的特定的搜索或协议。
如果确定332外部搜索330是成功的,则接下来的三个步骤将是获取知识和/或能力334、回答问题/解决问题334,以及随后返回到正常操作320。
获取知识和/或能力334的步骤(如果其在搜索用于回答问题/解决问题330的足够的知识和/或能力的步骤中尚未被获取)可以涉及以下中的一项或多项:下载任务原语、更新设备的操作系统、连接到外部数据源/设备,或者通过设置更改来重新利用现有系统能力(例如,在有人问微波炉他们是否能够让他们的狗停止犬吠的情况下,使用现有扬声器来广播超声信号)。
在这个方面,应该理解,获取知识和/或能力的这些技术是出于理解的目的的典型已知技术的代表。应当理解,无论是标准的还是专有的其他技术均可被用来产生针对外部搜索的相同或类似的效果,重要的方面在于获取知识和/或能力的能力,而非所使用的特定的技术或协议。
然而,如果确定332外部搜索330是不成功的,则接下来的步骤开始搜索具有用于回答问题/解决问题的知识和/或能力的专家340或者以其他方式响应请求。
尽管人类可能能够基于通常在名片上提供的信息类型(公司名称、职称、专业领域、位置等以及可能附加地在线评级系统)来作出对某些人是否为专家的决定,但是该信息通常不足以让半/自主设备知道专家是否能够帮助它们。
除了人类可能使用的相同类型的信息以外,半/自主设备还需要知道该专家是否具有对设备的可共享系统特征进行某种程度的控制的能力以及是否存在足够可用的操作员接口。对专家具有在设备上进行一定程度的控制的能力以及是否存在足够可用的操作员接口的确定可以由半/自主设备、专家本身或者通过协商过程或通过第三方资源来作出。
回到在本文档的背景部分提及的试图播放威廉·退尔序曲的微波炉的示例。微波炉将首先在内部进行搜索,并且随后,如果被连接到网络,则搜索以查看是否已经存在它可获取的知识/技能。在第一步就失败的话,它可能随后开始搜索专家。
微波炉(假设它能够解析请求,否则它可能需要寻求专家来首先解析该请求)可能会寻找具有基于按键来演奏音乐(尤其是威廉·退尔序曲)的能力的专家。
如之前所提及的,专家搜索的结果可能已经出现了两位专家:1)位于起居室的数字键盘,这是基于其列出的能力(基于键盘输入来演奏音乐、自动转换特征、储存音乐和音乐回放的能力),以及2)发布了具有标题“我使用我手机上的键盘演奏了威廉·退尔序曲”的视频的某个人。
尽管附加的信息交换可能产生数字键盘能够远程地控制通过按下微波炉上的按键产生的音调的事实,但是对该人的查询可能揭示出以下事实:她缺少操作员接口来远程地做这件事,但是如果微波炉愿意支付她的时间和行程,她将乐意亲自来做这件事。
因此,在完成搜索之后,接下来的步骤将是确定是否存在专家发现342,这将涉及验证专家具有对设备的共享系统特征进行某种程度的控制的能力以及是否存在足够可用的操作员接口。如果否,则它将继续搜索附加的专家,它可能会一直不停地继续做这件事,直到搜索到所有可用的专家、已搜索一定数量的专家、超时或者一些其他预先确定的准则。如果是,则接下来的步骤将是确定专家是否可用345。
对于微波炉,在数字键盘的情况下,答案可能为是,但是在人类的情况下,答案可能为否,否则其可能不能够自行作出对可用性的确定。例如,正常自主系统在碰到批准/付款时可能是半自主的。因此,在这种特殊情况下,微波炉可响应回终端机器人。“我目前没有能力演奏威廉·退尔序曲,但是我已经定位到了两位专家。一个是数字键盘,该数字键盘基于其缺乏使用而不具有很高的评级,然而是立即可获得的。另一个则是基于视频观看和喜欢数量而获得极高评级的人类,但是将需要从加利福尼亚搭乘飞机启程,最早可能的到达时间为10PM,并且经估计的费用为$10,562.37(包括税)。你可能会授权我预订高评级的人类专家,还是用不太高评级的数字键盘呢?”
在以上示例中,在演奏音乐的领域内的数字键盘和人类两者将被认为比微波炉具有更高级别的整体技术能力。但是,情况不必非得如此。
例如,参考图1,远程医疗机器人104可能需要前往在医院的一部分中的新位置,即房间207,而它尚未到过房间207,并因此没有将其位置在地图上绘制出来。远程医疗机器人104可具有复杂的路线规划和障碍物回避能力。然而,它不能够对这些房间加以利用直到它将房间在地图上绘制出来。另一方面,同样是云110的一部分的自动驾驶吸尘器100可能具有非常基本的导航和障碍物回避能力,但是已经知道如何到达房间207,因为这是它清洁路线的一部分。
远程医疗机器人104可寻找专家来将其导航到房间207,并且可找到自动驾驶吸尘器100。由于这两个设备可能使用不同的方法来导航,所以远程医疗机器人104可能不能够从自动驾驶吸尘器100获取它需要的信息。然而,如果远程医疗机器人104将驾驶控制移交给自动驾驶吸尘器100,但可能维持障碍物回避能力,则尽管它可能不会如同本身知道路线那样有效地到达那里,但仍然能够到达那里。附加地,远程医疗机器人104还可以在前往房间的途中将房间在地图上绘制出来,以便供下次找到有效路线。
如果医院同时拥有这两台设备,则可能不会存在与这样做相关联的成本,尤其是如果自动驾驶吸尘器100本就处于空闲状态的话。但是,情况不必非得如此。也许自动驾驶吸尘器100是由清洁公司而不是医院所有。在这种情况下,可能已经存在与由设备提供的服务相关联的一些类型的货币兑换或可收费的成本,就好像人类提供了服务而可能存在成本一样。
有利地,和人类提供服务相比,与提供服务的另一设备相关联的成本节省可以是天文数字的。让技术人员首次远程连接并人工地将机器人驾驶到207室可能花费10美元。然而,让自动驾驶吸尘器100来做这件事可能只花费几分钱。
一旦专家被找到342并且确定该专家是可用的345,然后接下来的步骤将是向专家提供对可共享系统特征的临时访问350,以便专家回答问题/解决问题,这可能涉及本地设备对专家的活动进行监控(如果需要,则进行调停)355。临时访问可以是自主的、监督控制或共享控制,并且不论设备还是专家均可潜在地充当监督角色。例如,在自动驾驶吸尘器100将远程医疗机器人104驾驶到房间207的情况下,远程医疗机器人104可维持监督权限;然而,在技术人员的情况下,监督控制可以让与技术人员。
临时访问可基于时间限制来被提供,直到任务完成,只要设备尚未确定其需要调停或者一些其他预先确定的准则。
最终步骤将是确定问题是否被回答或问题是否被解决360,并且如果请求实际被适当地响应,则之后返回到正常操作320,或者如果请求实际没有被适当地响应,则再次开始该过程。
当向专家提供对系统特征350的临时访问时,这可能涉及装饰及功能特征。例如,在其中专家是来自成人娱乐产业的名人的虚拟角色以及被给予对语音输出的临时访问和对人形机器人106施加物理控制的能力的示例中,机器人可能还能够进行物理变化。例如,可能存在可膨胀/可放气的囊,使得匹配的身体测量可被实现,或者透镜可被用来提供匹配的眼睛颜色,这些是作为几个可能的对应物理变化的示例。
就对专家的活动进行监控(如有必要,则进行调停)355而言,该步骤也可能涉及发生系统学习,这取决于与专家达成的协议可以被或可以不被允许。再次,在成人电影明星的示例中,互动可受到版权的管控,并且设备可能能够或可能不能够记录并且在稍后执行同一活动。在微波炉的情况下,它可能会记录下动作以用于稍候回放,并且将能够把演奏威廉·退尔序曲添加到口头命令列表中供将来使用。
理想地,每个设备都具有搜索一起协同工作以便回答用户的问题或解决问题的领域专家并随后提供对其系统的访问使得它可以与该领域专家协作的能力。然而,搜索340的一些或所有步骤、确定是否存在匹配342以及确定可用性342可能超出一些设备的能力。在这种特定情况下,这些步骤中的一个或多个可以由分开的专家系统执行,该专家系统进行匹配,这可以是或者可以不是基于费用的服务。
因此,返回到微波炉的示例中,当微波炉不能够在其命令数据库内匹配口头请求时,微波炉可能仅具有联系领域专家匹配服务的能力来作为搜索专家340的手段。专家匹配系统可以代表微波炉执行所有匹配,并且随后一旦找到,则微波炉可以为领域专家提供对系统特征的临时访问。替代地,当微波炉联系到专家匹配系统时,微波炉可仅仅向专家匹配服务提供对其系统特征的临时控制,并且随后该专家匹配系统可接着提供对系统特征的子访问。有利的是,在这种情境中,专家匹配系统可以任选地执行对活动的监控(如果需要,则进行调停),并且潜在地为负责确定问题是否被回答或者问题是否被解决的一方350,这也可能是超出联系系统(微波)的技能的技能。
通过使用刚刚描述的专家匹配系统,即使看似无关紧要的设备也能够成为通用解决系统,并且它们的技能可被极大地扩展,并引发下一波的连接系统。
最后,应当理解,包括代表性实施例和扩展的本发明的各种不同变体已被呈现以帮助理解本发明。应当理解,除了这些实现在权利要求中被表述的程度以外,这些实现不应被认为是对本发明或等同物的限制。因此,应当理解,为了读者的方便,以上描述仅专注于所有可能的实施例的代表性样本,该样本示教了本发明的原理。该描述并未尝试穷尽地枚举本发明的所有可能的排列、组合或变体,因为其他方面必然将通过组合本文所描述的不同变体的各方面而产生以通过使用特定的硬件或软件或者通过其中本发明可被使用的特定类型的应用来形成新的变体。该替代实施例可能并非针对描述的特定部分而已被呈现,或者对于本发明的一部分而言,进一步未描述的备选或变体实施例可能是可用的,不被视为这些替代或变体实施例的免责声明,它们还包括如所附权利要求中所要求保护的本发明的最小基本方面或其等同物。

Claims (20)

1.一种被配置成允许专家协作地对请求进行响应的系统,包括:
一个或多个被连接到网络的专家;
包括处理器、存储器存储、可执行代码和网络连接的第一设备,其中所述第一设备被连接到所述网络,并且所述第一设备具有能由所述专家中的至少一个控制的一个或多个系统特征;
其中所述第一设备被配置成确定其是否具有响应所述请求的能力,搜索处于所述至少一个专家中的具有使用所述设备系统特征中的一个或多个来响应所述请求的能力的特定专家,并且向所述特定专家暂时提供对所述系统特征的访问;
其中所述第一设备还被配置成:一旦控制已经返回到所述设备,则确定所述请求是否被适当地响应。
2.根据权利要求1所述的系统,其特征在于,所述第一设备还被配置成在对所述系统特征的所述临时访问期间监视所述特定专家的活动,并且如果需要则进行调停。
3.根据权利要求1所述的系统,其特征在于,所述的对特定专家的搜索涉及确定是否存在可用于控制响应所述请求所要求的所述系统特征的足够的接口。
4.根据权利要求1所述的系统,其特征在于,所述特定专家是人类。
5.根据权利要求1所述的系统,其特征在于,所述特定专家是第二设备或机器。
6.根据权利要求5所述的系统,其特征在于,所述第二设备或所述机器与人类组合。
7.根据权利要求1所述的系统,其特征在于,所述特定专家是虚拟角色。
8.根据权利要求7所述的系统,其特征在于,所述虚拟角色与人类组合。
9.根据权利要求1所述的系统,其特征在于,还包括图形显示器,其中所述设备与所述一个或多个专家之间的连接能被可视化。
10.根据权利要求9所述的系统,其特征在于,所述图形显示器被配置成将用户作为整体显示并且将所述用户的虚拟存在作为所述整体的一部分显示。
11.一种协作方法,包括:
一设备确定其是否具有响应请求的能力,其中所述设备包括处理器、存储器存储、可执行代码和网络连接;
所述设备在网络上搜索具有响应所述请求的能力的专家;
所述设备向所述专家提供临时控制以便解决问题;
一旦控制已经返回到所述设备,则所述设备确定所述请求已被适当地响应。
12.根据权利要求11所述的方法,其特征在于,所述设备在所述临时访问期间执行对由所述专家执行的所述活动的监视,并且如果需要则进行调停。
13.根据权利要求11所述的方法,其特征在于,所述搜索涉及确定是否存在可用于所述专家控制所述设备的足够的接口。
14.根据权利要求11所述的方法,其特征在于,所述专家是人类。
15.根据权利要求11所述的方法,其特征在于,所述专家是机器人。
16.根据权利要求15所述的方法,其特征在于,所述机器人与人类组合。
17.根据权利要求11所述的方法,其特征在于,所述专家是虚拟角色。
18.根据权利要求17所述的方法,其特征在于,所述虚拟角色与人类组合。
19.根据权利要求11所述的方法,其特征在于,还包括以图形方式显示所述设备与所述一个或多个专家之间的互连连接。
20.根据权利要求19所述的方法,其特征在于,所述的以图形方式显示包括将用户作为整体显示并且将所述用户的虚拟存在作为所述整体的一部分显示。
CN201580072101.2A 2014-10-30 2015-10-23 一种用于与专家协同工作的设备的系统和方法 Withdrawn CN107431836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/528,143 2014-10-30
US14/528,143 US11042842B2 (en) 2014-10-30 2014-10-30 System and method for a device to work collaboratively with an expert
PCT/US2015/057071 WO2016069394A1 (en) 2014-10-30 2015-10-23 A system and method for a device to work collaboratively with an expert

Publications (1)

Publication Number Publication Date
CN107431836A true CN107431836A (zh) 2017-12-01

Family

ID=55853027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072101.2A Withdrawn CN107431836A (zh) 2014-10-30 2015-10-23 一种用于与专家协同工作的设备的系统和方法

Country Status (5)

Country Link
US (1) US11042842B2 (zh)
EP (1) EP3213517A4 (zh)
JP (1) JP2018504720A (zh)
CN (1) CN107431836A (zh)
WO (1) WO2016069394A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346441B2 (en) 2015-06-05 2019-07-09 Apple Inc. Systems and methods for providing predictions to applications executing on a computing device
US11416212B2 (en) * 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
US10259117B2 (en) 2016-08-02 2019-04-16 At&T Intellectual Property I, L.P. On-demand robot virtualization
JP7155605B2 (ja) * 2018-05-22 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US20220027855A1 (en) * 2020-10-23 2022-01-27 Vmware, Inc. Methods for improved interorganizational collaboration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249801A (ja) * 2006-03-17 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> ロボット連携システム
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
CN103747024A (zh) * 2013-07-11 2014-04-23 弗徕威智能机器人科技(上海)有限公司 一种基于云计算的智能交互机器人系统及交互方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231693A (en) 1991-05-09 1993-07-27 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Telerobot control system
US5995943A (en) * 1996-04-01 1999-11-30 Sabre Inc. Information aggregation and synthesization system
US6466663B1 (en) * 1997-09-30 2002-10-15 Don Ravenscroft Monitoring system client for a call center
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US7007235B1 (en) 1999-04-02 2006-02-28 Massachusetts Institute Of Technology Collaborative agent interaction control and synchronization system
US6829585B1 (en) 2000-07-06 2004-12-07 General Electric Company Web-based method and system for indicating expert availability
US7120647B2 (en) 2001-10-30 2006-10-10 General Electric Company Web-based method and system for providing expert information on selected matters
US7739329B2 (en) * 2002-10-23 2010-06-15 Aspect Software, Inc. Web assistant
JP3951235B2 (ja) 2003-02-19 2007-08-01 ソニー株式会社 学習装置及び学習方法並びにロボット装置
US7356475B2 (en) * 2004-01-05 2008-04-08 Sbc Knowledge Ventures, L.P. System and method for providing access to an interactive service offering
US20050204438A1 (en) 2004-02-26 2005-09-15 Yulun Wang Graphical interface for a remote presence system
US8117196B2 (en) 2006-01-23 2012-02-14 Chacha Search, Inc. Search tool providing optional use of human search guides
US8594305B2 (en) * 2006-12-22 2013-11-26 International Business Machines Corporation Enhancing contact centers with dialog contracts
US20090245500A1 (en) * 2008-03-26 2009-10-01 Christopher Wampler Artificial intelligence assisted live agent chat system
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US8468194B2 (en) 2008-12-30 2013-06-18 International Business Machines Corporation Expertise referrals using a real-time communication system
US8433660B2 (en) * 2009-12-01 2013-04-30 Microsoft Corporation Managing a portfolio of experts
US8751042B2 (en) * 2011-12-14 2014-06-10 Toyota Motor Engineering & Manufacturing North America, Inc. Methods of robot behavior generation and robots utilizing the same
WO2013133844A1 (en) * 2012-03-08 2013-09-12 New Jersey Institute Of Technology Image retrieval and authentication using enhanced expectation maximization (eem)
AU2014219089B2 (en) * 2013-02-25 2019-02-14 Nant Holdings Ip, Llc Link association analysis systems and methods
US9292015B2 (en) * 2013-05-23 2016-03-22 Fluor Technologies Corporation Universal construction robotics interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
JP2007249801A (ja) * 2006-03-17 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> ロボット連携システム
CN103747024A (zh) * 2013-07-11 2014-04-23 弗徕威智能机器人科技(上海)有限公司 一种基于云计算的智能交互机器人系统及交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIKOLAOS MAVRIDIS: ""THE HUMAN-ROBOT CLOUD: SITUATED"", 《PROCEEDINGS OF THE 2012 IEEE INTERNATIONAL CONFERENCE ON》 *

Also Published As

Publication number Publication date
US20160125312A1 (en) 2016-05-05
EP3213517A1 (en) 2017-09-06
US11042842B2 (en) 2021-06-22
JP2018504720A (ja) 2018-02-15
EP3213517A4 (en) 2018-03-14
WO2016069394A1 (en) 2016-05-06

Similar Documents

Publication Publication Date Title
Xi et al. The rise and potential of large language model based agents: A survey
US10810371B2 (en) Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
JP7085788B2 (ja) ロボットの動的学習方法、システム、ロボット及びクラウドサーバ
CN107431836A (zh) 一种用于与专家协同工作的设备的系统和方法
López et al. Bellbot-a hotel assistant system using mobile robots
Flach Situation awareness: Context matters! A commentary on Endsley
Gorniak et al. Situated language understanding as filtering perceived affordances
Taniguchi et al. Semiotically adaptive cognition: toward the realization of remotely-operated service robots for the new normal symbiotic society
Jin et al. Alphablock: Embodied finetuning for vision-language reasoning in robot manipulation
Cui et al. Llmind: Orchestrating ai and iot with llms for complex task execution
Jokinen et al. Do you remember me? Ethical issues in long-term social robot interactions
Xiao et al. Robot learning in the era of foundation models: A survey
Zhong et al. A complexity analysis of user interaction with hotel robots
Giorgi et al. Learning actions from natural language instructions using an ON-world embodied cognitive architecture
Wang et al. Exploring the reasoning abilities of multimodal large language models (mllms): A comprehensive survey on emerging trends in multimodal reasoning
Lemon Conversational AI for multi-agent communication in Natural Language
Chen et al. Asking before action: Gather information in embodied decision making with language models
López et al. GuideBot. A tour guide system based on mobile robots
Gervits et al. Decision-theoretic question generation for situated reference resolution: An empirical study and computational model
Pałka et al. Communication-focused top-down design of robotic systems based on binary decomposition
JP2023016740A (ja) データ処理システムにおいて、人工知能ベースビデオ質問応答を実行する方法、コンピュータプログラム及び装置(ビデオ質問応答のためのニューラルシンボリックアクショントランスフォーマ)
Thomason Continually improving grounded natural language understanding through human-robot dialog
Mannekote Towards a Neural Era in Dialogue Management for Collaboration: A Literature Survey
Tseng et al. Human awareness based robot performance learning in a social environment
US11368423B1 (en) Resource recommendations in online chat conversations based on sequences of text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171201

WW01 Invention patent application withdrawn after publication