CN106573376A - 机器人的动作监控 - Google Patents

机器人的动作监控 Download PDF

Info

Publication number
CN106573376A
CN106573376A CN201580020177.0A CN201580020177A CN106573376A CN 106573376 A CN106573376 A CN 106573376A CN 201580020177 A CN201580020177 A CN 201580020177A CN 106573376 A CN106573376 A CN 106573376A
Authority
CN
China
Prior art keywords
robot
software application
application
software
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580020177.0A
Other languages
English (en)
Inventor
J·蒙索
G·加特
G·巴尔别里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of CN106573376A publication Critical patent/CN106573376A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Toys (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Debugging And Monitoring (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Abstract

公开了一种在机器人上处理软件应用的计算机实现的方法,所述机器人执行多个软件应用,至少两个软件应用竞争执行,所述方法包括以下步骤:监控至少一个软件应用的执行;响应于接收修改请求,修改所述至少一个软件应用;在所述机器人上执行所述修改的软件应用。所描述的示例的发展包括使用修改和/或执行规则,基于对一个或多个软件应用的监控的软件应用的修改,集中式或分布式监督的示例,以及由机器人制造商和应用提供商所认可的示例不同的可能的角色。

Description

机器人的动作监控
技术领域
本专利涉及数字数据处理领域,并且更具体地涉及对由类人机器人执行的软件应用的监控。
背景技术
与机器人进行的人机交互不同于与个人计算机的交互。陪伴机器人借助有形现实中的交互式对话和物理动作可与人类有利地建立情感关系。在陪伴类人机器人的上下文中,与同个人计算机(及其不同形式,例如平板PC或智能手机)的交互模型相比,与人类用户的交互模型显著地改变。
除了传感器和执行器之外,陪伴机器人还具有处理,存储器,存储和I/O单元。陪伴机器人还嵌入并实现特定软件应用(“app”)。
存在对机器人的动作监控特别是安装在机器人上的软件应用的动作监控的方法和系统的需求。
发明内容
本发明涉及一种计算机实现的在机器人上处理软件应用的方法,所述机器人执行多个软件应用,至少两个软件应用竞争执行,所述方法包括以下步骤:监控至少一个软件应用的执行;响应于接收修改请求,修改所述至少一个软件应用;在所述机器人上执行所述修改的软件应用。
在机器人上,(至少相似的)软件应用竞争执行。在实施例中,软件应用与指定如何以及何时执行应用的执行规则相关联。响应于机器人的传感器所感知的环境,连续地应用执行规则,并比较竞争软件应用。软件应用也可以与执行优先级相关联。在验证执行规则和/或优先级时,选择并执行软件应用。监控所有或大部分执行的软件应用(以及非执行应用)。作为所述监控的结果,可以修改一个或多个软件应用。
在改进中,软件应用与指示系统风险的至少一个预定义修改规则相关联,并且其中修改软件应用的步骤包括成功验证所述修改规则。该实施例涉及机器人的自主程度。修改规则用作过滤器以避免可能的系统性风险,例如,通过按照执行的关键性来对软件应用进行分组。
在改进中,修改软件应用包括修改与所述软件应用相关联的执行规则。该实施例指定可以改变的软件应用的执行条件。执行规则包括许多可能的参数。例如,可以改变应用的执行的顺序或优先级。例如,天气信息可以与新闻RSS的发布相比与更高的优先级相关联。可以引入偏差以比其他人更频繁地发布应用(例如,在说话时舞蹈)。可以定义最大执行次数。可以定义语音的总持续时间。可以定义最小和/或最大交互时间。可能需要感知上下文(例如,分类的事件)来启动应用(例如,孩子、笑脸的存在或不存在,等)。执行规则还可以可选地包括执行所需的元数据(加密密钥,安全引导等)。
在改进中,修改软件应用包括修改所述软件应用的程序代码。除了或补充执行条件或与软件应用相关联的元数据条件之外,可以修改程序本身(即代码行)。可以将应用的执行模式改变为各种程度。换句话说,不仅可以改变触发条件,而且可以改变应用的范围。
在改进中,监控软件应用包括监控与软件应用相关联的执行或使用数据,所述数据选自包括诸如频率,日期,时间,地理位置,用户数据反馈或输入,用户情绪反应,交互用户简档,交互持续时间,错误,功能调用,触发条件及其组合的参数的组。
在特定实施例中,可以将故障机器人通知给由机器人制造商托管的集中式系统。基本和高级统计可以从详细的执行数据(应用做什么,例如执行的动作,调用的函数,输入或输出)和/或使用数据(例如上下文,事件,用户相关数据)导出。
在改进中,该方法还包括从所述使用执行或使用数据导出统计数据。首先收集原始数据。然后可以从所述原始数据导出统计或分析。
在改进中,该方法还包括显示所述统计数据。统计可以显示给许多不同的方,例如应用提供商和/或机器人制造商和/或机器人的用户所有者。在这个阶段,可以发生人的监督。
在改进中,软件应用在人的监督下被修改。该实施例意味着监督的技术手段(例如通信和显示)。它对应于“开环”配置或机制。人仍然“在环”。在实践中,人类管理员或监督者分析收集的数据,并进一步决定纠正动作(如果有)。即使机器人系统可以从头设计(例如,上游)以适合人类环境,该模式允许进一步的规则(即下游动作)。
在改进中,在没有人监督的情况下,在接收到修改请求时直接修改软件应用。该实施例对应于闭环调节机构。应用度量和/或统计与软件应用直接耦合。基于例如预定义逻辑(例如,阈值和完成规则),自动逻辑可以确定和实现反馈环。没有必要显示导出的统计,即使统计可以构成决策支持的基础。在实施例中,以(通常可管理的)延迟为模,纠正或前摄性的动作可以在机器人队列中传播。在一些实施例中,本地规则(例如用户简档或用户偏好或机器人自己的黄金安全规则,例如Asimov“机器人三定律”)可以保持先前的系统不变(完全或到可配置范围)即使有全局或大范围更新。所描述的机器人健康监控模块例如还可以授权或禁止软件应用中的改变。开环和闭环方案可以组合。
基于对应用的适当监控,可以定义和应用若干规则来管理这样的追溯反馈。例如,如果统计指示应用非常流行,则对应应用的排名可导致有利于应用的执行。排名可以是绝对的或可以取决于执行的上下文。机器人的干预通常可以基于用户的反应进行评分,并且相关联的所涉及的应用可以继承良好分数。考虑到应用的监控,可以调整计算资源的消耗(可以补偿未充分利用或过度利用)。
在改进中,所述方法还包括在修改软件应用之前接收用户的确认。该实施例强调,在任何情况下,用户所有者仍然可以具有最后决定权。
在改进中,修改请求接受自机器人逻辑和/或机器人提供商和/或应用提供商。不同的实体可以控制对软件应用所采取的动作。机器人内部逻辑(“思想”)可以持续更新执行与软件应用相关的规则,所述规则例如定义优先级和/或解决冲突的手段(如果有的话)。软件应用也可以由外部方控制。例如,机器人提供商(或机器人平台操作者或机器人的制造商)可以控制(例如,在任何时间更新)。中间解决方案或状态是可能的:机器人和/或其他实体(即,人和/或其他机器人)可以共同地控制机器人(而一些特征可以由预定义方唯一地控制,例如给定的实时约束和连接条件)。
在改进中,该方法还包括在与用户的对话期间识别机器人中缺失的应用,取回和安装机器人中所述缺失的软件应用。
本申请中公开了一种计算机程序,包括用于执行所述方法的一个或多个步骤的指令,所述计算机程序在合适的计算机设备或机器人设备上执行。公开了一种包括适于执行该方法的一个或多个步骤的单元的系统。
有利的是,对应用活动的监控以及对机器人带来的进一步纠正动作对于a)机器人平台操作者,出于一般目的;b)对于应用提供商(以便改进应用,改进内容,例如改进在“笑话”应用的情况下的笑话的内容,改正错误或不正确或非优化的规则,改善投资回报,花费的时间等);和c)对于用户自己(发现应用,监控陪伴等)是有价值的。
应用提供商的优点例如包括对安装的机器人基座的更好的控制。制造商可能(或不)承担与机器人有关的(剩余)法律责任的负担。所描述的实施例允许减轻相关联的风险和处理对应的操作。程序代码的关键部分可以保持在控制之下,而其他部分可以委托或者甚至众包(crowd sourcing)。在特定实施例中,许可模型可以是按每次下载付费,但也可以是按每次使用付费(或每次使用收益),后一模型对应于机器人上的软件应用的“竞争执行”。
应用提供商的优点包括通过访问关于应用的使用的本地(更窄)观点来持续改进所考虑的应用的可能性。例如,可以对与应用花费的时间进行全局分析。更详细地,可以深入研究应用的启动的上下文条件。这样的分析还使得应用提供商能够改进启动条件和/或与其他类似应用更好地竞争。
人类用户的优点包括更好的用户体验,个人机器人的更快的演变以及机器人的增加的可靠性和安全性。
附图说明
现在将参照附图通过示例来描述本发明的实施例,其中相似的附图标记表示相似的元件,并且其中:
图1示出了本发明的全球技术环境;
图2详细描述了该方法的实施例的一些方面。
具体实施方式
类人机器人是一种新兴形式的“社会技术”。作为陪伴机器人,类人机器人越来越多地被人类用户视为伙伴,保持持久的(如果不是情感的)关系并且不断地学习(彼此之间,即从用户学习的机器人,反之亦然)。例如,即使只是机器,个人机器人对于教学活动(例如饮食,运动或教育)具有极大的价值。与个人计算机相比,模拟情绪和身体语言允许更有吸引力,说服力,信服力或其他信任的关系。
类人机器人是信息处理机,因此可以建立与个人计算机的广泛比较。一些方面可以被视为共同点。当比较个人机器人和个人计算机时,一些其它方面是非常不同的。
例如,关于“软件应用”的方面,可以简要强调一些相当大的差异。第一显着差异在于个人机器人的多模态特性,即通过设计。陪伴机器人可以跟随其所有者(即,呈现位移能力),并且可以触摸物体或与其环境交互。通过设计,个人计算机缺乏这样的各种环境反馈。这种“多模态”特征或特性意味着关于机器人上的应用的管理的深层结果。例如,根据一个区别方面,多个软件应用可以竞争以在机器人上执行。这种情况不常见于个人计算机。
另一个区别是与人机接口本身相关联。对于个人计算机,即使多任务允许软件应用并行运行,主要的可视人机接口通常一次渲染一个主软件应用(例如文字处理),用户的注意力至少定向到一个主要的认知活动。此外,用户在触发应用或活动中通常具有主动且决定性的作用。个人计算机相当被动。对于陪伴机器人,这些方面是不同的。机器人可以通过语音命令来响应命令,但陪伴机器人通常是更加“自主的”,即主动地发起主要由用户间接触发的动作(例如身体语言和对话)。当然,自主和多模态特征仅仅是例子;个人计算机和个人机器人之间存在进一步差异。
从略微不同的角度再次讨论个人计算机和个人机器人之间的差异。在平板计算机或智能电话上,给定应用的执行是由用户有意触发的。在陪伴机器人的上下文中,应用的执行主要是自动触发的,并且有时响应于用户的查询(例如通过语音命令显式地,或者隐式地例如通过检测用户的微笑)。值得注意的是,应用的执行以对人类感觉而言的顺序次序渲染(这不意味着或暗示不同的应用不能在后台并行工作)。例如,应用“天气”的执行可以在应用“股市”的执行之前。一旦应用“股市”被用户中断,应用“天气”可以被移交。换句话说,在与陪伴机器人的对话期间捕获的词的流动作为应用启动的指导。因此,由于缺乏“交互的会话模式”,与陪伴机器人的交互的本质与跟平板计算机的通常交互非常不同。这种模式特别是通过设计的多模态。例如,用户的微笑的检测可以立即转换成正反馈。理论上,平板计算机可以通过嵌入在平板计算机中的相机来实现用户的情绪的检测,但是通过设计,与平板计算机的传统交互模式是不同的,并且这样的解决方案没有被公开和进而实施。
最后,用于处理类人机陪伴机器人上的软件应用的执行的决策逻辑显着不同于个人计算机的流行的逻辑。
与这个方面相关,对机器人上(例如竞争的)软件应用的“活动”的微小监控打开了新服务的一系列机会,这又可以导致更好的用户体验。
在描述这样的新服务之前,现在定义一些技术术语。
安装在机器人中的软件应用是计算机程序代码,当由某些处理单元执行时,其可以执行一个或多个方法步骤。陪伴或类人机器人上的软件应用可以与对话(例如,预定义句子的集合,包括对预期问题的响应)和/或动作(例如舞蹈或物理动作的执行)和/或动画(例如,头部的移动,闪电的激活(如果有的话)等)及其组合(例如,舞蹈时的对话)相关联。更一般地,软件应用可以是具有或不具有与其他应用的交互或交互能力的独立应用。
用于机器人的软件应用的示例包括适于提供(例如通过发音或发出或恢复音频输出)本地天气状况的天气应用,游戏应用,舞蹈应用,讲故事的应用等。特别地,可注意到用于机器人的软件应用可以导致机器人的一组物理动作(舞蹈,移动,抓住和移动对象)。用于智能电话或平板计算机的软件应用一般不包括物理世界中的真实有形动作。
软件应用可以是相互依赖的。例如,因为软件应用可以表示复杂对象,所以可以观察到先验不同的软件应用之间的“转换”。在平板计算机上,天气软件应用提供气象数据,而绘图软件应用提供绘图工具。可以想到的是,在机器人上,机器人伴随着说出的结果“外面为-10℃”和/或在一张纸上绘制雪人(和/或通过姿势的组合来表示外面寒冷)。换句话说,作为多模态输出的结果,可以进一步组合软件应用(在输出级或较低级,例如变量或参数或脚本可以在软件应用之间共享或修改)。
图1示出了本发明的全局与技术环境。机器人130包括传感器和执行器。逻辑或“思想”100实现在机器人中或者与机器人相关联(例如,远程地)并且包括软件组件110和硬件组件120的集合。机器人130正在与一个或多个用户150交互(通过双方或双向通信140,包括一个或多个对话会话)。所述一个或多个用户能够访问其它计算设备160(例如,诸如可佩戴式计算机或智能手机或平板计算机的个人计算机),其可以是连接的设备(与服务器云通信和/或与一队列其它机器人或连接对象通信,等等)。尤其是,连接设备可以是可佩戴式计算机(例如,手表、眼镜、沉浸式头盔等)。
在图中的具体的机器人130被看作仅仅是能够实现本发明的类人机器人的示例。在图中机器人的下肢没有行走功能,但是能够在其基座上在任意方向上移动,基座在其所在的表面上滚动。本发明能够容易地实现在适合行走的机器人中。
在本发明的一些实施例中,机器人可以包括各种传感器。其中一些传感器用于控制机器人的位置和运动。这是例如位于机器人的躯干中的惯性单元的情况,包括3轴陀螺仪和3轴加速度计。机器人还可以包括在机器人前额(上和下)的两个2D彩色RGB照相机。在机器人的眼睛后面也可以包括3D传感器。机器人还能够任选地包括激光线发生器,例如,在头部和基座中,从而能够感测其与其环境中的对象/人的相对位置。机器人还可以包括能够感测其环境中的声音的麦克风。本发明的机器人还可以包括声纳传感器,可能位于其基座的前部和后部,以测量距其环境中的对象/人类的距离。机器人还可以包括触觉传感器,在其头部上以及在手部上,以允许与人类交互。机器人还可以包括在其基座上的缓冲器以感测其在路线中所遇到的障碍物。为了转换其情感以及与其环境中的人类沟通,本发明的机器人还可以包括LED,例如,在其眼睛、耳部中以及在其肩部上以及扬声器(例如,位于其耳部中)。机器人能够通过各种网络(3G、4G/LTE、Wifi、BLE、网格等)与基站通信,与其它连接的设备通信,或者与其它机器人通信。机器人包括电池或能源。机器人能够访问适合于其所包含的电池类型的充电站。机器人的位置/运动由其电动机利用算法来控制,算法根据传感器的测量来激活由每个肢部以及限定在每个肢部的端部处的效应器所限定的链。
在具体的实施例中,机器人能够嵌入平板计算机,利用该平板计算机,机器人能够将消息(音频、视频、网页)传达给其环境,或者通过平板计算机的触摸接口接收来自用户的输入。在另一实施例中,机器人不嵌入或呈现屏幕,但是其确实具有视频投影仪,利用该视频投影仪,能够将数据或信息投影到机器人附近的表面上。所述表面可以是平坦的(例如,地板)或不是平坦的(例如,投影表面的变形处可被补偿以获得基本上平坦的投影)。在两个实施例中(利用屏幕和/或利用投影仪),本发明的实施例均保持有效:要求保护的交互模型仅由视觉交互手段来增补或补充。在任意情况下,只要图形单元无序或被有意地去激活,交互的交谈模式保留。
在实施例中,机器人不包括这种图形用户接口单元。现有的类人机器人通常被提供了先进的语言能力,但是通常没有被提供GUI。通过选择和/或必需,日益增加的用户的群体可能不使用图形单元(例如,平板计算机,智能电话),甚至作为补充,来与机器人通信(年轻人、功能缺损者,因实际情形,等等)。
软件110的集合(非穷尽地)包括彼此交互的软件模块或对象或软件代码部分,包括“提取器”111、“活动建议”112、“思想优先化”113、“包管理器”114、“用户历史数据”115、“专注自主活动”116和“专注对话话题”117和“健康监控服务”118。
“提取器服务”111通常感测或感知在机器人内或外的某物并且将短期数据提供给机器人的存储器。提取器服务接收来自机器人传感器的输入读数;这些传感器读数经预处理从而提取与机器人的位置、在其环境中的对象/人类的标识、所述对象/人类的距离、人类所讲的词语或其情感有关的相关数据。提取器服务尤其包括:面部识别、人感知、接合区、波动检测、微笑检测、注视检测、情感检测、语音分析、语言识别、声音定位、移动检测、全景罗盘、机器人姿态、机器人健康诊断、电池、QR码处理、家庭自动化、宗族、时间和安排。
“执行器服务”使得机器人130物理地做或执行动作。运动跟踪器、LED、行为管理器是“执行器服务”的示例。
“数据服务”提供长期存储的数据。数据服务的示例是用户会话服务115,其存储用户数据,以及它们已经对机器人和包管理器服务114所做的历史,这利用它们的高级定义、启动条件和标签提供了机器人执行的程序的可扩展存储。“包管理器”尤其提供了活动和对话的可扩展存储,以及展示。“展示”包含了诸如启动条件、标签和高级描述的元数据。
“思想服务”(例如,服务思想优先化113)是在其发起动作时由机器人的中心“思想”控制的服务。“思想服务”与“执行器服务”130、“提取器服务”111和“数据服务”115结合在一起。基本感知是“思想服务”。其订阅“提取器服务”,诸如人感知、运动检测和声音定位,来告知运动服务移动。“思想”113基于该情形来配置基本感知行为。在其它时候,基本感知要么自我作用,要么由运行活动(Running Activity)来配置。
“自主生命”是思想服务。其执行行为活动。基于情形的上下文,思想能够告知自主生命专注何种活动(“专注自主活动”116)。在展示中的元数据将该信息结合思想。任何活动能够访问操作系统API中的一个或多个。活动还可以直接告知自主生命专注于何种活动,或者告知对话服务专注于何种话题。
“对话”服务能够配置为思想服务。其订阅讲话识别提取器并且能够使用“动画讲话执行器服务”来说话。基于情形的上下文,思想能够告知对话专注于何种话题(“对话话题”)。“对话”服务还使其算法来管理交谈并且通常自我起作用。对话服务的一个组件可以是“专注对话话题”服务117。对话话题能够在任何时候编程地告知思想切换注意力于(或者执行或启动)不同的活动或对话话题。确定对话话题的可能的方法的一个示例包括:在对话话题或活动的启动条件变为真或假的时刻,该时刻的全部可能的活动或对话话题的列表被发送给思想;列表根据活动优先化来过滤;列表次序随机化;列表被分类(或计分)以对“独特的”且已经不太经常开始的活动或对话话题给予优先;确保该列表中的顶级对话话题或活动的特殊检查不是与之前所执行的活动相同的活动。该列表可以再次根据用户的偏好进行分类和过滤。
机器人能够实现“健康监控”服务118。该服务能够充当守护进程或“看门狗”,以阅览或控制或调节机器人的不同优先级。该服务能够监控(持续地、间断地或者周期性地)机器人的内部组件的状况并且测量或预期或预测或纠正硬件故障。在发展中,监控一队列(例如,安装的库)机器人。嵌入式服务能够持续地检测出错情况且将它们与“云”服务同步(例如,每分钟一次)。
硬件组件120包括处理单元121、存储器单元122、输入/输出I/O单元123、大容量存储单元124和网络访问单元125、所述单元彼此交互(高速缓存、交换、分布式计算、负载平衡等)。处理单元121可以是CPU(多核或许多核)或FPGA。存储器单元122包括闪速存储器或随机存取存储器中的一个或多个。I/O单元123可以包括屏幕(例如,触摸屏)、灯或LED、触觉反馈、虚拟键盘、鼠标、跟踪球、操纵杆或投影仪(包括激光投影仪)中的一个或多个。存储单元124可以包括硬盘驱动器或SSD中的一个或多个。网络访问单元能够提供对诸如3G、4G/LTE、Wifi、BLE或网格网络的一个或多个网络的访问。网络业务量可以被加密(例如,隧道、SSL等)。
在实施例中,计算资源(运算、存储器、I/O单元、存储和连接)能够远程地访问,例如,作为(在机器人自身内可用的)本地资源的补充。例如,另外的CPU单元能够通过用于语音识别计算任务的云来访问。计算资源还能够共享。尤其是,多个机器人能够共享资源。在机器人附近的连接的设备也能够在一定程度上例如经由安全协议来共享资源。还能够共享显示器单元。例如,电视能够在机器人经过时被机器人用作另外的显示器。
图2详细描述了该方法的实施例的一些方面。
作为概述,该图示出了与至少一个人类用户150交互140中的机器人130(例如类人机器人)。该交互包括音频对话,视觉交互和身体语言。更详细地是,处理逻辑210(例如“思想”100)控制机器人行为。逻辑控制软件应用的执行。例如,逻辑监督诸如App 211和App N213之类的竞争应用(“App”)的启动和执行过程。所述应用可以由“应用监控模块”220监控。在实施例中,所述模块220独立于逻辑210。在实施例中,模块220可以具有对逻辑210(例如看门狗)的至少一些控制。监控元件(组件或软件应用或app或web服务)可以具有对软件应用的直接访问(或可以经由逻辑210获得间接访问),包括其统计或其原始数据。监控模块馈送并合并知识库230(原始数据,关于应用使用的统计,如下文所述)。知识库还可以由如图所示的其他机器人131和/或其他用户151馈送。从知识库230,可以进行一个或多个追溯反馈或环240。在实施例中,逻辑210可以经由路径223由“逻辑修改器模块”修改。例如,作为对应分析的结果,可以改变软件应用的偏好(执行的顺序或优先级,执行模式等)。例如,某个应用可以比其他应用(或通常)更频繁启动。另一应用也可以仅限于某些上下文。所述一个或多个追溯环240可以作用于逻辑(输出)。所述一个或多个追溯环240可以由一个或多个实体或方(输入)控制。在实施例中,第三方252(诸如应用提供商)可以(在一定程度上)控制应用的调节。例如,天气应用的提供商可以注意到,天气对话更好地伴着在电视上同时显示天气图(如果可用和可访问的话)。如果被授权这样做,则应用提供商可以改变与天气应用相关联的执行规则,并且这种改变可以立即应用于机器人。在实施例中,机器人制造商或商业提供者251可以具有不同的或补充的角色,可能具有对机器人的一些更多的控制。如图所示,机器人251的制造商可以直接访问机器人(例如通过专用通信通道)。在实施例中,人类用户(例如,具有适当证书或访问权限的机器人的所有者)可以自己253修改机器人。在实施例中,人类用户可以从机器人制造商获得授权以修改它的一些部分。在实施例中,人类用户可以建议机器人制造商(或应用提供商)收集和稍后允许(或不允许)的一个或多个修改。
现在,更加详细地描述实施例。基于对app活动的数据的监控(A),可以由不同实体(C)进行进一步的动作(B),并且可以以不同的方式(D)来调节所述动作。
关于被监控的活动的方面(A),现在描述几个实施例。可以在安装的库(或其子部分,如队列)的每个机器人上安装多种应用(211,213等)。每个软件应用可以与给定的特定度量相关联。可以合并和/或聚合多个度量并进一步分析。换句话说,可以对所述应用的不同活动执行定量测量。这样的度量例如可以包括给定软件应用被启动多少次,多长时间,在什么地理位置,用户的反应如何(例如情绪,微笑,语气,答案)的测量。在实施例中,被监控的活动可以包括参数或值或标准,例如时间和频率(例如每天或每周或每月的执行频率,用户请求的频率,何时应用被最多发起,例如在早上或晚上,星期天等),花费的时间(例如,总交互时间),地理位置(例如以分析应用在哪里更成功),错误(例如软件和/或机器人错误或崩溃,不正确规则,听不见的句子,用户的不良反应等),应用之间的转换(例如,指示应用之间转换的“Markov”模型;例如,天气应用可以与新闻应用强耦合,而与烹饪应用松耦合),应用性能统计(例如,除了错误,以什么速度取回数据和执行应用等),用户满意度(例如被动地或隐含地捕获的被感知的情绪或语气,主动地和明确地请求时的满足声明),触发条件(例如允许理解为什么和何时启动软件应用的统计),交互用户(例如,用户简档,性别,年龄等)。
应用的使用数据的知识,以及从所述应用的使用数据导出的进一步的合并统计可以导致进一步的行动(B)。
在实施例中,有维持的不同应用的“排名”。所述排序可以是动态的和/或上下文的。例如,如果应用被证明是成功的,则所述应用可以优选地在进一步的上下文中启动。另一个使用的例子在于全球资源的消耗。例如,可以优化对通过网络可访问的在线语音识别模块的访问(由于更好的计算资源而达到更高的性能)。如果给定的机器人被测量为需要太多的资源,则可以减少对应的消耗以平衡资源消耗。相反,可以检测和补偿未充分利用率。合并统计可以用于通知故障机器人和/或向一个或多个机器人通知一个或多个服务消息。一般来说,机器人平台操作者可以聚集单个交互并且进一步构建全局(即,聚集的,合并的)社交交互模型(与用户,多个用户,代表用户等)。
关于可以基于应用的使用数据控制要采取的动作的不同实体的身份(C)的方面,现在描述几个实施例。机器人的自主模式可以由包括上下文(例如,如由机器人感知的)和/或控制实体和/或访问级别的多个参数确定。因此,可以至少部分地组合以下实施例。
在实施例中,机器人内部的逻辑210连续地更新与软件应用相关联的执行规则,所述规则例如定义优先级和/或解决冲突(如果有的话)的手段。在这样的实施例中,机器人保持自主并且“自定义”纠正动作(如果有)。
在另一个实施例中,逻辑由外部方控制。例如,机器人提供商(或机器人的机器人平台操作者或制造商)可以控制(例如,在任何时间更新)逻辑210,从而控制机器人130。在一定程度上,不同软件应用的提供商可以起作用。
中间解决方案或状态是可能的:机器人和/或其他实体(即,人和/或其他机器人)可以控制机器人。可以描述各种各样的情况。在一些情况下,机器人的某些子部分可以排他地由机器人的制造商控制,而逻辑210的其他子部分可以由机器人自身自主地(和/或排他地)处理。实时约束和连接问题可能需要某些子部分完全自主地处理。在一些情况下,可以可靠地确保一些连接,可以减轻延迟:可以具有管理机器人队列的托管服务(在云上),所述机器人完全受控。在一些其他情况下,出于安全目的(例如在重型机器人附近存在婴儿),可以避免自主模式。在这种情况下,机器人可以被停用(或不能进一步启动)。
根据(i)监控申请的性质和程度,(ii)要采取的纠正动作的性质,(iii)要求采取此类行动的不同实体的身份,可能有多种调节方案。描述了两种主要调节方案:开环调节和闭环调节。
在实施例中,实现了开环调节机制。在收集数据并且从所述数据导出进一步的统计之后,可以执行统计的人类分析,并且可以进行进一步的纠正(例如软件更新)或动作(例如服务的重新设计)。有利的是,所述纠正和/或动作可以是质量的(即使变化不是立即或快速地带给机器人)。在实践中,人类管理员或主管分析收集的数据,并进一步决定纠正动作(如果有)。
在实施例中,实现闭环调节机制。应用度量和/或统计与软件应用直接耦合。有利的是,错误报告和进而零日漏洞确实触发自动和“立即”更新或补丁。变化可以在软件应用对用户体验的任何影响级别上传播。例如,如果统计指示天气应用与新闻应用大量耦合,则软件更新可以管理机器人队列以在宣布天气之后系统地提出新闻。这种更新的延迟可以随意减少。在一些情况下,本地规则(例如用户简档或偏好)可以保持先前的系统,而不管全局更新。随着应用的可信性(可信数据和或动态和系统行为)的增加,可以实现闭环系统。
在其他实施例中,可以组合开环方案和闭环方案。例如,纠正动作可以被分类为组,指示是否需要人类监督(例如,预定义的相关联元数据可以促进这样的定界)。在其他标准中,可以使用系统风险的评估。当考虑的动作可能威胁被视为系统的机器人的代码稳定性(或安全性)时,存在与动作相关联的系统性风险。例如,存在于在天气对话期间机会性地显示天气图中的纠正动作通常不会引起任何安全问题或者不会使机器人冒险犯错误。相反,存在于特定上下文中触发舞蹈的纠正动作(例如重的机器人)可能引起一些问题,例如,如果不适当地未检测到附近的儿童的存在。
所公开的方法可以采用完全硬件实施例(例如FPGA)、完全软件实施例或包含硬件和软件元素的实施例的形式。软件实施例包括但不限于固件,驻留软件,微代码等。本发明可以采用可从计算机可用或计算机可读介质访问的计算机程序产品的形式,其提供程序代码,用于由计算机或任何指令执行系统使用或与其连接使用。计算机可用或计算机可读的可以是可以包含,存储,传送,传播或传输由指令执行系统,装置或设备使用或与其结合使用的程序的任何装置。介质可以是电子、磁性、光学、电磁,红外或半导体系统(或装置或设备)或传播介质。

Claims (14)

1.一种在机器人上处理软件应用的方法,所述机器人执行多个软件应用,至少两个软件应用竞争以用于执行,所述方法包括以下步骤:
监控至少一个软件应用的执行;
响应于接收到修改请求,修改所述至少一个软件应用;
在所述机器人上执行所修改的软件应用。
2.根据权利要求1所述的方法,其中软件应用与指示系统性风险的至少一个预定义的修改规则相关联,并且其中修改所述软件应用的步骤包括成功地验证所述修改规则。
3.根据任一前述权利要求所述的方法,其中修改软件应用包括修改与所述软件应用相关联的执行规则。
4.根据任一前述权利要求所述的方法,其中修改软件应用包括修改所述软件应用的程序代码。
5.根据任一前述权利要求所述的方法,其中监控软件应用包括监控与所述软件应用相关联的执行或使用数据,所述数据是从包括以下参数的组中选择的:诸如,频率、日期、时间、地理位置、用户数据反馈或输入、用户情绪反应、交互用户简档、交互持续时间、错误、功能调用、触发条件及其组合。
6.根据权利要求5所述的方法,还包括从所述使用执行或使用数据导出统计数据。
7.根据权利要求6所述的方法,还包括显示所述统计数据。
8.根据权利要求7所述的方法,其中软件应用是在人类监督下被修改的。
9.根据权利要求1至6所述的方法,其中,软件应用是在没有人类监督的情况下在接收到所述修改请求时而被直接修改的。
10.根据任一前述权利要求所述的方法,还包括在修改软件应用之前接收用户的确认。
11.根据任一前述权利要求所述的方法,其中修改请求是从机器人逻辑和/或机器人制造商和/或应用提供商接收的。
12.根据任一前述权利要求所述的方法,还包括在所述机器人中识别缺失的应用,在与所述用户的对话期间在所述机器人中取回和安装所述缺失的软件应用。
13.一种计算机程序,包括当所述计算机程序在合适的计算机设备上执行时,用于执行根据权利要求1至12中任一项所述方法中的步骤的指令。
14.一种系统,包括适于执行根据权利要求1至12中任一项所述方法的步骤的单元。
CN201580020177.0A 2014-04-17 2015-04-17 机器人的动作监控 Pending CN106573376A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305582.0A EP2933066A1 (en) 2014-04-17 2014-04-17 Activity monitoring of a robot
EP14305582.0 2014-04-17
PCT/EP2015/058364 WO2015158883A1 (en) 2014-04-17 2015-04-17 Activity monitoring of a robot

Publications (1)

Publication Number Publication Date
CN106573376A true CN106573376A (zh) 2017-04-19

Family

ID=50628741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020177.0A Pending CN106573376A (zh) 2014-04-17 2015-04-17 机器人的动作监控

Country Status (13)

Country Link
US (1) US20170113348A1 (zh)
EP (1) EP2933066A1 (zh)
JP (1) JP6368796B2 (zh)
KR (1) KR20170027707A (zh)
CN (1) CN106573376A (zh)
AU (2) AU2015248709A1 (zh)
BR (1) BR112016023999A2 (zh)
CA (1) CA2946044A1 (zh)
HK (1) HK1216409A1 (zh)
MX (1) MX2016013012A (zh)
RU (1) RU2016144804A (zh)
SG (1) SG11201608351PA (zh)
WO (1) WO2015158883A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820607A (zh) * 2017-08-23 2018-03-20 深圳前海达闼云端智能科技有限公司 监控机器人的方法、装置、服务器及终端设备
CN109542030A (zh) * 2018-10-15 2019-03-29 中国核电工程有限公司 一种基于fpga的核电站装卸料机状态监控系统及其监控方法
CN109895123A (zh) * 2019-01-18 2019-06-18 弗徕威智能机器人科技(上海)有限公司 一种触觉和形态双向同步方法
CN111308929A (zh) * 2020-02-14 2020-06-19 珠海格力电器股份有限公司 控制厨具进入烹饪托管模式的方法及装置、厨房控制系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293292A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 基于云端的设备及其操作方法
JP2018001387A (ja) * 2016-07-08 2018-01-11 ロボットスタート株式会社 ロボット、プログラム、ロボットシステム及びサーバ
EP3437038A4 (en) * 2016-07-20 2019-08-28 Hewlett-Packard Development Company, L.P. CREATING DIGITAL WORKERS IN ORGANIZATIONS
US10272349B2 (en) * 2016-09-07 2019-04-30 Isaac Davenport Dialog simulation
KR102519064B1 (ko) 2018-04-25 2023-04-06 삼성전자주식회사 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
US20190340527A1 (en) * 2018-05-07 2019-11-07 Microsoft Technology Licensing, Llc Graphical user interface features for updating a conversational bot
US11521114B2 (en) 2019-04-18 2022-12-06 Microsoft Technology Licensing, Llc Visualization of training dialogs for a conversational bot
US20220147059A1 (en) * 2020-11-12 2022-05-12 Accenture Global Solutions Limited Fault tolerant systems for distributed supervision of robots
CN117460604A (zh) * 2021-06-29 2024-01-26 发那科株式会社 管理机器人的动作程序的管理装置、网络系统以及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233512A (ja) * 2002-02-13 2003-08-22 Nec Corp 保守機能付きクライアント監視システム及び監視サーバ及びプログラム並びにクライアント監視・保守方法
JP2006007342A (ja) * 2004-06-23 2006-01-12 Mitsubishi Heavy Ind Ltd ロボットの制御プログラム更新方法及び該システム
US20100162277A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Of Daejeon Apparatus and method for executing robot application program
US20120185090A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation Multi-state Model for Robot and User Interaction
US20120303477A1 (en) * 2011-05-27 2012-11-29 Yuval Ben-Itzhak Systems and Methods for Recommending Software Applications
EP2716417A2 (en) * 2011-05-25 2014-04-09 Future Robot Co., Ltd. System and method for operating a smart service robot

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064889A (ko) * 1999-10-26 2002-08-10 핑텔 코오포레이션 프로그래머블 기능을 가지는 1 이상의 텔레포니 통신장치를 포함하는 분산형 통신 네트워크

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233512A (ja) * 2002-02-13 2003-08-22 Nec Corp 保守機能付きクライアント監視システム及び監視サーバ及びプログラム並びにクライアント監視・保守方法
JP2006007342A (ja) * 2004-06-23 2006-01-12 Mitsubishi Heavy Ind Ltd ロボットの制御プログラム更新方法及び該システム
US20100162277A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Of Daejeon Apparatus and method for executing robot application program
US20120185090A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation Multi-state Model for Robot and User Interaction
EP2716417A2 (en) * 2011-05-25 2014-04-09 Future Robot Co., Ltd. System and method for operating a smart service robot
US20120303477A1 (en) * 2011-05-27 2012-11-29 Yuval Ben-Itzhak Systems and Methods for Recommending Software Applications

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820607A (zh) * 2017-08-23 2018-03-20 深圳前海达闼云端智能科技有限公司 监控机器人的方法、装置、服务器及终端设备
CN109542030A (zh) * 2018-10-15 2019-03-29 中国核电工程有限公司 一种基于fpga的核电站装卸料机状态监控系统及其监控方法
CN109895123A (zh) * 2019-01-18 2019-06-18 弗徕威智能机器人科技(上海)有限公司 一种触觉和形态双向同步方法
CN111308929A (zh) * 2020-02-14 2020-06-19 珠海格力电器股份有限公司 控制厨具进入烹饪托管模式的方法及装置、厨房控制系统
CN111308929B (zh) * 2020-02-14 2021-04-09 珠海格力电器股份有限公司 控制厨具进入烹饪托管模式的方法及装置、厨房控制系统

Also Published As

Publication number Publication date
US20170113348A1 (en) 2017-04-27
KR20170027707A (ko) 2017-03-10
WO2015158883A1 (en) 2015-10-22
EP2933066A1 (en) 2015-10-21
SG11201608351PA (en) 2016-11-29
HK1216409A1 (zh) 2016-11-11
CA2946044A1 (en) 2015-10-22
RU2016144804A3 (zh) 2018-05-23
JP2017517800A (ja) 2017-06-29
AU2015248709A1 (en) 2016-11-03
AU2018202076A1 (en) 2018-04-19
MX2016013012A (es) 2017-05-23
BR112016023999A2 (pt) 2017-08-15
RU2016144804A (ru) 2018-05-23
JP6368796B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
CN106573376A (zh) 机器人的动作监控
US10335954B2 (en) Methods and systems for managing dialogs of a robot
US20210216773A1 (en) Personal protective equipment system with augmented reality for safety event detection and visualization
US20180144110A1 (en) Multi-input user interaction and behavioral based authentication system for context aware applications
US10369699B2 (en) Executing software applications on a robot
US20210343182A1 (en) Virtual-reality-based personal protective equipment training system
CN104685532A (zh) 人身安全和应急服务
US11580734B1 (en) Distinguishing real from virtual objects in immersive reality
US11386804B2 (en) Intelligent social interaction recognition and conveyance using computer generated prediction modeling
CN103885793A (zh) 确定合适的应用的方法、应用确定系统以及应用确定单元
US20200387603A1 (en) Device protection based on prediction and contextual analysis
US11151750B2 (en) Displaying a virtual eye on a wearable device
US10735463B2 (en) Validating commands for hacking and spoofing prevention in an Internet of Things (IoT) computing environment
US20230085195A1 (en) Enhanced learning content in an interconnected environment
US20200380099A1 (en) Variable access based on facial expression configuration
US11620855B2 (en) Iterative memory mapping operations in smart lens/augmented glasses
US10952661B2 (en) Analysis of cognitive status through object interaction
US20180253662A1 (en) Embodied cognition platform
Cleland-Huang et al. Human-Machine Teaming with small Unmanned Aerial Systems in a MAPE-K Environment
US20230413025A1 (en) Device and role based user authentication
US20240032863A1 (en) Method and system for using internet of workplace things (iowt) to enhance workforce productivity
Dzaack et al. Adaptive Support Systems for Production Systems
Krähling Marieke Thurlings (TWT) Marco Botta (UTO) Zdenek Moravek (HON) Reviewers: Bohuslav Krena (BUT)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419