CN106575504A - 在机器人上执行软件应用 - Google Patents

Abstract

公开了一种处理机器人上的软件应用的方法，所述机器人包括多个安装的软件应用，软件应用与预定义的语义描述相关联，所述方法包括如下步骤：从与人类用户的音频对话提取一个或多个模式；音频对话包括句子并且模式包括预定义的句子；将所述一个或多个模式与所述软件应用的语义描述进行比较；基于所执行的比较来选择软件应用；并且执行所选择的软件应用。所描述的开发包括软件应用执行规则、预定义或动态定义的执行规则、取决于环境参数的所安装的应用的音频列表、免费显示器单元的任选使用和对缺失应用的安装。描述了一种相关联的系统。

Description

在机器人上执行软件应用

技术领域

本专利涉及数字数据处理领域，并且更具体涉及对伴侣人形机器人中的软件应用的处理。

背景技术

在智能手机、个人计算机或平板电脑上，图形用户接口(GUI)代表对软件应用的访问的主要模式。例如，用户能够通过选择触摸屏上的图标来启动应用(“app”)，并且例如通过选择或输入数据来进一步与所述应用进行交互。

语音命令一般被限于具体的情境。例如，语音听写软件大多被用在单机软件应用(例如，文字处理软件)的情境中。根据为现代操作系统越来越多地提供的一些辅助特征，用户能够使用语音命令来执行特定的动作(例如，启动应用、复制和粘贴等)。这些预定义的动作是相当有限的。

这样的视觉或音频交互模式一般是被动的(例如，用户正在主动地给出命令并且机器执行所述命令)。即使利用最近的计算机交互模型，诸如在答疑系统中实施的那些计算机交互模型，例如，从机器到用户仅发生有限的交互。除了数个核心的并且预定义的软件应用，如“网页搜索”或“日历”，答疑系统(例如，会话代理)不能够启动具体的游戏软件应用。

在伴侣人形机器人的情境中，当同与个人计算机(以及其不同的形式)的交互模型进行比较时，与人类用户的交互模型明显改变。因此，与机器人的认知交互从根本上不同于与平板PC或智能手机的交互。例如，并且具体而言，机器人常常缺少图形输出单元(例如，伴侣机器人可能没有嵌入屏幕)。该基本事实暗示许多结果，尤其是对于适当地发现、选择和执行一个或多个软件应用。

由于机器人有一天可以表示对软件应用的访问的平台，-如果有一天不是主要针对许多家庭的一个-，和/或计算可以变得无处不在从而使对显示要求降低到零时，需要在具有有限的或者没有图形用户接口单元的设备上处理软件应用的方法和系统，尤其是在机器人的具体情境中。

发明内容

公开了一种处理在机器人上的软件应用的计算机实施的方法，所述机器人包括多个安装的软件应用，软件应用与预定义的语义描述相关联，所述方法包括如下步骤：从与人类用户的音频对话提取一个或多个模式(pattern)；音频对话包括句子并且模式包括预定义的句子；将所述一个或多个模式与所述软件应用的语义描述进行比较；基于所执行的比较来选择软件应用；并且执行所选择的软件应用。

在开发中，至少一个安装的软件应用与一个或多个执行规则相关联，并且选择软件应用的所述步骤包括验证所述一个或多个规则。

在开发中，所述一个或多个规则是预定义的或者是动态地定义的。

在开发中，所述一个或多个规则能在所述机器人上本地地取回，或者能经由网络连接远程地访问。

在开发中，所述音频对话包括用户对由机器人提出的问题的响应。

在开发中，由机器人提出问题以消除对话的句子或者从所述对话提取的模式的歧义。

在开发中，所述对话包括由机器人的用户请求宣读所安装的软件应用的列表。

在开发中，由机器人宣读的列表取决于与机器人的感知的环境相关联的参数。

在开发中，从包括如下项的组中选择所述参数：用户的年龄、用户的性别、用户的身高、在机器人附近的用户的数量、用户的情绪、用户的笑容的存在或不存在、环境音频水平、当前日期、当前时间、当前位置以及其组合。

在开发中，选择软件应用的所述步骤还包括取决于所述比较来将执行概率值关联到每个安装的软件应用。

在开发中，所述方法还包括在执行所选择的软件应用之前接收用户的确认。

在开发中，所述方法还包括在与用户的对话期间显示与所安装的软件应用中的一个或多个相关联的一个或多个表示。

在开发中，所述方法还包括识别在机器人中的缺失的应用，在与用户的对话期间取回并安装在机器人中的所述缺失的软件应用。

公开了一种包括指令的计算机程序，当所述计算机程序在合适的计算机设备或机器人设备上执行时，所述指令用于执行所述方法的步骤中的一个或多个。公开了一种包括适合于执行所述方法的步骤中的一个或多个的单元的系统。

有利地，人机交互是主动的，而不再是被动的：从人类的角度来看，机器人采取了一些主动措施(例如，出于消除歧义的目的，例如机器人问问题)。

有利地，交互的会话模式允许人类用户的越来越多的“表达性”。术语“表达性”涉及这样的事实：由于人机交互是(更为)自然的，用户将更多的数据传递给机器人，机器人继而能够获知并存储关于用户的更多的数据，在良性循环中丰富进一步的交互。对于个人计算机不是这样的情况。平板电脑可以试图例如以测验或问卷的形式或者通过言语合成来问“问题”，但是由于平板电脑不被认为是能够(自主地)移动自己、移置物体或者跟随人类的“伴侣”，将仍有剩余的偏见。当与伴侣机器人相比较时，能够捕获的数据量将较小。

在用户身上主动或被动收集的信息(用户轮廓、用户偏好)能够被用作用于启动条件的输入(例如，应当仅在用户喜欢“篮球”时启动活动)。机器学习的机制：取决于学习到了关于用户的什么，能够开展通过系统启动的活动。

附图说明

现在将参考附图通过范例的方式来描述本发明的实施例，在附图中，相似的参考表示相似的元件，并且在附图中：

图1图示了本发明的全局技术环境；

图2详绘了所述方法的实施例的一些方面。

具体实施方式

软件应用，除了字面含义之外(计算机程序代码，其当在合适的计算机设备上执行时能够执行一个或多个步骤)，能够是如下项或者与之相关联：对话(例如，预定义的句子的集合，包括对预期问题的响应)、动作(例如，跳舞或物理动作的执行)、动画(例如，头的移动、快速的活动，如果有的话，等等)以及其组合(例如，在跳舞时的对话)。更一般地，软件应用能够是单机应用，其具有或不具有与其他应用交互或交互能力。单机软件应用的范例是天气应用。这样的应用能够取回和恢复天气数据。

应用的范例包括适于提供(例如，通过宣读或发音或恢复音频输出)本地天气情况的天气应用、游戏应用、跳舞应用、讲故事应用等。具体而言，应当注意，针对机器人的软件应用能够导致机器人的一组物理动作(跳舞、移动、抓取和移置对象)。针对智能手机或平板电脑的软件应用一般不包括在物理世界中的真实有形动作。

软件应用能够是相互依赖的。例如，因为软件应用能够表示复杂的对象，能够存在在现有不同软件应用之间的所观察到“过渡”。在平板计算机上，天气软件应用提供气象数据，而绘图软件应用提供绘图工具。在机器人上，能想象的是，机器人伴随交谈结果：“在外面是-10℃度”和/或在一张纸上绘制雪人(和/或通过姿势的组合来表征外面冷)。换言之，作为多模式输出的结果，还可以进一步组合软件应用(在输出水平或者在更低水平，能够在软件应用之间共享或修改例如变量或参数或脚本)。

通过对话界面，即，在与用户的(“自然”)对话的动作的过程期间，能够有利地向用户呈现软件应用。换言之，对话系统能够像针对用户的“瓶颈”而能够启动一个或多个应用。如所论述的，在图形用户接口单元可用的情况下，通过所述图形用户接口单元，能够补偿或补充或校正音频所述用户接口单元。

图1图示了本发明的全局和技术环境。机器人130包括传感器和致动器。逻辑或“情感”100被实施在机器人中或者与其相关联(例如，远程地)，并且包括软件110和硬件部件120的集合。机器人130正在与一个或多个用户150进行交互(通过双边或两向通信140，包括一个或多个对话期)。所述一个或多个用户能够访问其他计算设备160(例如，个人计算机，诸如可穿戴计算机或智能手机或平板电脑)，其能够是被连接的设备(与服务器的云和/或其他机器人或被连接的对象的地板等通信)。具体地，被连接的设备能够是可穿戴计算机(例如，手表、眼镜、沉浸式头盔等)。

在附图上的具体机器人130被仅仅认为是在其中能够实施本发明的人形机器人的范例。在附图上的机器人的下肢不用于行走，但是能够在其基座(base)上在任何方向上移动，所述基座在其所处的表面上转动。在适合于行走的机器人中能够容易地实施本发明。

在本发明的一些实施例中，机器人能够包括各种类型的传感器。所述传感器中的一些被用于控制机器人的位置和移动。例如惯性单元是这种情况，惯性单元位于机器人的躯干中，包括3-轴陀螺仪和3-轴加速度计。机器人也能够包括在机器人的前额上的两个2D彩色RGB相机(顶部和底部)。在机器人的眼睛后面也能够包括3D传感器。机器人也能够任选地包括激光线发生器，例如在头和在基座中，从而能够感测其相对于其环境中的对象/生物的相对位置。机器人也能够包括麦克风，从而能够感测在其环境中的声音。本发明的机器人也能够包括声纳传感器，其能够位于其基座的前侧和后侧，以测量到其环境中的对象/人类的距离。机器人也能够包括触觉传感器，在其头和在其手上，以允许与人类进行交互。也能够包括在其基座上的缓冲器，以感测在其路线上遇到的障碍物。为了翻译其情绪并与在其环境中的人类通信，本发明的机器人也能够包括：例如在其眼睛、耳朵中以及在其肩膀上的LED以及扬声器(例如，位于其耳朵中)。机器人能够通过各种网络(3G、4G/LTE、Wifi、BLE、mesh等)与基站、与其他被连接的设备或者与其他机器人进行通信。机器人包括电池或能量源。机器人能够访问适合于其包括的电池的类型的充电站。鉴于传感器的测量结果，使用激活由每个肢体定义的链条并在每个肢体的末端处定义的效果器的算法，通过其电机来控制机器人的位置/移动。

在具体实施例中，机器人能够嵌入平板电脑，利用所述平板电脑，其能够将消息(音频、视频、网页)传送到其环境，或者通过平板电脑的触觉接口来接收来自用户的输入。在另一实施例中，机器人未嵌入或存在屏幕，但是其具有视频投影器，利用所述视频投影器能够将数据或信息投影在机器人附近的表面上。所述表面能够是平坦的(例如，地板)或者不是平坦的(例如，能够补偿投影表面的变形以获得大体平坦的投影)。在这两个实施例中(具有屏幕和/或具有投影器)，本发明的实施例依然有效：通过视觉交互单元仅仅补充或补偿主张要求的交互模型。在任一种情况下，图形单元将发生故障或者有目的地失效，而保持交互的对话模式。

在实施例中，机器人不包括这样的图形用户接口单元。现有的人形机器人一般被提供有先进的言语能力，但是一般未被提供GUI。越来越多的用户群体将可能不使用图形单元(例如，平板电脑、智能手机)，甚至作为补充，以通过选择和/或必要性(因为实际情况，年轻人、受伤的人等)与机器人通信。

软件110的集合(非穷尽)包括软件模块或对象或软件代码部分，其与彼此交互，包括“提取器”111、“活动建议”112、“情感优先级”113、“包管理器”114、“用户历史数据”115、“聚焦自主活动”116和“聚焦对话主题”117和“健康监测服务”118。

“提取器服务”111一般感测或感知机器人的内部或外部的事物，并且将短期数据提供到机器人的存储器中。提取器服务接收来自机器人传感器的输入读数；这些传感器读数被预处理以便提取与机器人的位置、在其环境中的对象/人类的身份、所述对象/人类的距离、由人类宣读的词或者其情感有关的相关数据。提取器服务具体包括：面部识别、人感知、参与区、波动检测、笑容检测、眼球检测、情绪检测、语音分析、言语识别、声音定位、移动检测、全景指南针、机器人姿势、机器人健康诊断、电池、QR代码处理、家庭自动化、部落、时间和排程。

“致动器服务”使机器人130物理地做动作或执行动作。运动追踪器、LED、行为管理器是“致动器服务”的范例。

“数据服务”提供长期存储的数据。数据服务的范例是：用户会话服务115，其存储用户数据，以及他们已经与机器人做了什么的历史；以及包管理器服务114，其提供由机器人执行的过程的可扩展存储设备，具有他们的高水平定义、启动条件和标签。“包管理器”具体提供活动和对话以及清单的可扩展存储设备。“清单”包括元数据，诸如启动条件、标签和高水平描述。

“情感服务”(例如，服务情感优先级113)是当其开始动作时将由机器人中央“情感”控制的一个。“情感服务”与“致动器服务”130、“提取器服务”111和“数据服务”115联系在一起。基本意识是“情感服务”。其订阅“提取器服务”，诸如人感知、移动检测和声音定位以告诉运动服务进行移动。“情感”113基于情形来配置基本意识的行为。在其他时间，基本意识或者是其自己动作自己，或者由连续活动进行配置。

“自主生活”是情感服务。其执行行为活动。基于情形的情境，情感能够告诉自主生活要聚焦什么活动(“聚焦的自主活动”116)。在清单中的元数据将该信息联系到情感。任何活动能够访问操作系统API中的一个或多个。活动也能够直接告诉自主生活要聚焦什么活动，或者告诉对话服务要聚焦什么主题。

“对话”服务能够被配置为情感服务。其订阅言语识别提取器，并且能够使用“动画言语致动器服务”来说话。基于情形的情境，情感能够告诉对话要聚焦什么主题(“对话主题”)。“对话”服务也具有其用于管理会话的算法，并且通常作用到其自身上。对话服务的一个部件能够是“聚焦的对话主题”服务117。对话主题能够在任何时间编程地告诉情感将聚焦切换到(或执行或启动)不同的活动或对话主题。确定对话主题的可能方法的一个范例能够包括：在对话主题或活动启动条件变为真或假的时刻，针对所述时刻的所有可能的活动或对话主题的列表被发送到情感；根据活动优先级对列表进行过滤；随机化列表顺序；对列表进行分类(或评分)，从而优先考虑“唯一的”和已经很少开始的活动或对话主题；专门核对以确保在该列表中的顶级对话主题或活动不是与被执行的先前活动相同的活动。根据用户的偏好能够再次对列表进行分类和过滤。

机器人能够实施“健康监测”服务118。这样的服务能够充当守护进程或“看门狗”，以检查或控制或调整机器人的不同优先级。这样的服务能够(连续地、间歇地或周期性地)监测机器人的内部部件的状态并且测量或参与或预测或校正硬件故障。在开发中，监测机器人的地板(例如，安装的基座)。嵌入的服务能够连续地检测错误情形并且使它们与“云”服务同步(例如，每分钟一次)。

硬件部件120包括处理单元121、存储器单元122、输入/输出I/O单元123、大容量存储设备单元124和网络访问单元125。所述单元与彼此交互(缓冲、交换、分布式计算、负载平衡等)。处理单元121能够是CPU(多核或多个核)或FPGA。存储器单元122包括闪存或随机存取存储器中的一个或多个。I/O单元123能够包括如下中的一个或多个：屏幕(例如，触摸屏)、灯或LED、触觉反馈、虚拟键盘、鼠标、跟踪球、操纵杆或投影器(包括激光投影器)。存储设备单元124能够包括硬盘驱动器或SSD中的一个或多个。网络访问单元能够提供对一个或多个网络(诸如3G、4G/LTE、Wifi、BLE或mesh网络)的访问。网络流量能够被加密(例如，tunnel、SSL等)。

在实施例中，计算资源(计算、存储器、I/O单元、存储设备和连通性)能够被远程访问，例如作为对(在机器人自身中可用的)本地资源的补充。例如，对于语音识别计算任务，能够通过云来访问另外的CPU单元。也能够共享计算资源。具体而言，多个机器人能够共享源。在机器人附近的连接的设备能够在一定程度上例如经由安全协议来共享资源。也能够共享显示器单元。例如，电视能够被用作当路过时的机器人的另外的显示器。

图2详绘了所述方法的实施例的一些方面。存在若干种方式在包括人类用户150与机器人130之间的句子的对话140期间触发对应用的启动或执行。一个或多个对话模式在对话期间被提取200，并且进一步同与一个或多个软件应用201和一个或多个执行规则202相关联的一个或多个语义描述进行比较210，其继而被测试。如果被验证220(例如，鉴于由具有其传感器的机器人的感知的环境)，则选择一个或多个软件应用。又一任选标准，如从健康监测看门狗231导出的那些标准，能够重新布置执行优先级(或可能性)。结果，在步骤240处执行一个或多个软件应用。

触发对一个或多个软件应用的启动或执行的这些不同的方式(具体在下文中所描述的)是独立的，并且能够与彼此进一步组合。总体上，能够取决于启动条件或参数来执行软件应用。这些条件或参数能够是事实201或规则202或两者(事实上的规则)。这些事实201例如包括通过一个或多个环境值(例如，当前本地天气、日期和时间、所检测到的情绪、用户的数量等)来表征的用户的类型或类别、当前情境或情形或环境。规则202的范围从简单规则到复杂规则。规则能够是有条件的。例如，在实施例中，多个规则必须被同时满足以便批准或允许应用的执行。在另一实施例中，多个规则必须顺序地满足(例如，以特定顺序和/或具有时间限制或阈值)。能够预定义一些规则。能够动态地定义一些其他规则(例如，能够从因特网取回一些规则)。

作为对应用的执行的调整，机器人的健康监测服务231能够调节执行优先级231。具体地，应用的执行能够考虑这样的“健康监测”服务。换言之，优先级方案还能够调整软件应用的执行。在实施例中，机器人不与用户交互(即，不与人交互)。在这样的情况下，机器人执行或者能够执行自主任务。在另一实施例中，机器人处于危险中(例如，“维护模式”、电池水平低或临界、障碍的存在或者跌倒风险等)。在这样的情况下，机器人的优先项是处理和解决其自身的问题(例如，执行其自身的任务)。例如，如果电池水平是临界的，机器人能够中断与用户的对话，并且试图到达能量源基站。如果在附近检测到用户和/或如果机器人不处在紧急情形(其中，机器人不能够执行其基本功能)中，则能够激活对话交互模块。相反地，如果在附近没有检测到用户和/或机器人处在紧急情形中，则能够停用对话交互模块。

现在描述应用的执行的一些具体情境。

在实施例中，在对话期间执行一个或多个应用，通过一个或多个执行条件的实现(或验证或满足)220来触发。监测在人与机器之间的对话，并且从对话流140(“协作对话”模式)(例如)连续地提取200“模式”。在实施例中，接收并且连续地分析言语流。所述提取不仅仅提取在具有或没有标记(“好，Glass，拍摄照片”)的言语流中的语音命令(例如，关键字表达)。具体而言，用户的词语或表达被提取和比较或匹配210软件应用的一个或多个语义描述201。

在一些实施例中，每个软件应用能够伴随软件程序，作为语义描述201和情境启动或执行规则202。语义描述201一般由软件应用编辑者或发布者提供。这些语义描述具体能够包括围绕所考虑的软件应用的一个或多个预制对话。这些对话具体包括围绕软件应用的变化。例如，代替其仅仅的商业名称，游戏应用可以被称为“具有鸟和绿猪的游戏”或者“其中你必须对着目标投掷鸟的游戏”等。在结构化的对话201中提供了包括句子以及围绕这些句子的验证的这些元描述。打包到对话中使得能够解析组合树并且澄清歧义。例如，如果用户询问“我想要与鸟玩”，机器人还能够询问“你想要与真实的鸟还是要与虚拟的鸟玩？”。如果用户响应“与虚拟的鸟”，机器人能够询问确认“因此你想要玩游戏？！”。如果用户响应“是”，则机器人还仍然能够询问确认，例如“我有其中你必须对着绿猪投掷鸟的游戏”。

使用与机器人的对话使得能够实现对具体软件模块的具体的、不同的并且有利的访问。在平板电脑或PC中，未向应用提供语义描述，并且存在显示能力，同样能在该设备上访问应用。用户必须滑动屏幕以识别正确期望的应用。如果用户不能够记住应用的logo和/或一些描述，则没有具体的方式在可能的许多软件应用之间取回一个应用。相反，所公开的经由对话并且在会话期间对软件的访问模式使得能够有效地“数据挖掘”可用的应用。所述模式在一定程度上更自然，并且能够补偿显示器单元的缺少。所述模式的一个显著特征与交互的性质相关：对话使得能够处理复杂的或不清晰的或不足的查询。在信息不足的情况下，在与软件应用相关联的描述中预定义的对话使得能够填补空白并且快速地收敛到对精确软件应用的识别。该模式能够被命名为“协作对话”。

在另一实施例中，预定义一个或多个启动条件或执行规则202。由编辑者或发布者向软件应用提供包括条件和/或规则的列表的文件以能够或者允许或批准所述软件应用的启动。对执行规则进行的：如果执行规则被满足或被允许或被验证220，则能够选择一个或多个软件应用。一些规则可以是满足的最小标准。一些其他规则时间能够定义优选启动条件。例如，最小规则可以是“如果用户年龄低于12岁并且其在22pm之前，则批准启动”，优选规则能够是“如果三个用户位于5m内，并且至少两个用户年龄低于12岁，则至少一个微笑，并且如果没有其他相反指示，那么建议跳舞”。换言之，应用能够自己定义他们的优选启动条件。

能够通过网络访问或者能够本地地访问执行规则和/或语义描述。在一些实施例中，通过对网络和知识库的访问来对其进行补偿或补充。

在实施例中，在与用户的对话(与用户的交互)期间触发一个或多个软件应用的启动或执行。具体地，由用户宣读并且由机器人捕获和识别的一个或多个词导致所述执行的触发。预定义天气应用被安装在机器人上，并且所述应用与协作对话相关联。所述协作对话包括被提取200的一个或多个模式，例如“天气，请”、“给我天气”、“天气是什么”、“城市天气是什么”、“外面天晴吗？”、“我是否需要暖和的衣服”、“明天将要下雨吗”。在对话期间，用户询问机器人“今天的天气怎样”。捕获、任选地过滤和增强音频信号，执行言语到文本操作(在机器人上本地地和/或在云上远程地)，分析所获得的文本，并且利用所述模式执行一个或多个比较。在任选地利用阈值的一个或多个匹配后，在安装在机器人上的那些软件应用之间选择软件应用。进一步执行所选择的软件应用。在实践中，例如，机器人由此能够启动天气应用并提供所请求的信息。

在开发中，不同的安装的软件应用的音频“列表”操作是情境依赖的，即，取决于规则的集合(即，至少部分地通过当前情境来驱动)。下面是范例。用户询问“你能够做什么”。机器人解释视觉感知并且检测儿童。音频识别和/或面部识别确定儿童从未与该机器人下象棋。机器人建议“我们可以一起下象棋”。例如，对应的模式将是如{建议：[～游戏“$人/年龄>10～信息”]}。如果用户例如响应“是，太好了”，则机器人能够将响应解释为确认模式，并且继而启动或执行对应的软件应用。利用一些预定义规则(例如，一天的时间、微笑用户或者不是等)，机器人能够主动地建议拍摄照片；在用户确认后，机器人实际地触发相机。

这些范例图示了如下实时：能够预定义更复杂的规则以便支配机器人的行为。通常，游戏应用能够被建议给任何人，而在“信息”类别中归类的应用仅仅能够被建议给成人。换言之，事实上，用户能够被归类到组中。基于这样的事实，能够定义规则：软件应用能够与对应的执行规则相关联。例如，在实施例中，由机器人对应用的建议能够通过预定义(例如，预期)环境来驱动。例如，应用的开发者能够添加对于天气应用的“主动协作对话”(以{建议：$对话/天气/很快下雨＝＝真“你今天可能想要带雨伞”的形式)。该规则将确定：如果天气应用指示要下雨，则机器人可以相应地警告用户。利用用于如下讲故事的规则：{建议：$人/年龄<10“你想要我给你将故事吗？”；u1：(～确认)^切换聚焦(AliceInWonderland)}，如果用户被确定为在右侧年龄组中，则在主题“故事”中接收到的确认将被自动切换到预定义的故事类型。

在具体实施例中，用户能够主动地要求机器人列出不同的安装的软件应用(可用的软件应用的“音频列表”)。在实践中，应用的开发者添加或安装被注释(例如，元数据)或分类为“信息”的天气应用以及被注释(例如，元数据)或分类为“游戏”的象棋游戏应用。在用户询问问题后，诸如“你能够做什么？”，机器人能够回答“我有信息和游戏”。如果用户询问“我想要信息”，则机器人能够将所述对话句子解释作为对应于模式(“我想要～应用”)。然后机器人能够回答“我能够给你天气信息”。如果用户响应“好”，则机器人将句子解释为确认模式。最后机器人提供所请求的信息。

在实施例中，机器人能够列出每个类别的可用的不同的应用(生产力、游戏等)。用户能够在任何时间中断，和/或询问更多细节(包括价格、评论等)。在实施例中，例如响应于用户查询，机器人能够列出每个题目或主题可用的应用。例如，用户能够询问“你有游戏吗”，并且机器人能够响应“是的，我有两个游戏，象棋和愤怒的小鸟”。能够被解析的树的子部分是必要的。例如，一旦用户已经宣布“我不喜欢游戏”，那么能够跳过对应的类别。换言之，来源于关于所述用户的数据的累积的用户轮廓能够被有利地用于更好地取向或聚焦交互。在另一实施例中，机器人能够主动地建议或初始化以浏览可用的列表或安装的软件应用的列表。在这样的情况下，机器人读出不同名字的软件应用，或多或少快速地，例如通过字母顺序，通过软件应用类别(生产力、游戏、健康设施等)。在开发中，这样的建议能够发生在与所述用户的对话期间。

现在论述本发明的若干方面。

关于软件应用的执行的规则，竞争法一般强制公平，并且没有歧视性条款。例如，在个人计算机上，当设置新的浏览器应用时，用户必须在若干选项之间给出选择。能够预期对于机器人平台将观察到类似的要求。针对单机软件或者针对网络服务，机器人的一般软件框架可以并且可能将面对若干软件备选。例如，当需要电子邮件客户端时，机器人平台将具有在开源备选和专有备选之间的选择。关于网络服务，这样的选择可以在一天期间有规律地发生(对弃用API的选择等)。在与机器人相关联的软件面板上能够定义通用指南。在实施例中，合理数量的这样的选择能够被呈现给用户“你想要使用Google API或Bing API？”，该RSS反馈或该RSS反馈？在相同领域中竞争的若干软件应用的情况下，或者在活动之间至少具有一些重叠，则一些规则能够发生。首先，机器人平台的操作员能够确保用户的体验的质量被保持。例如，独立看门狗或监测守护进程能够监视并限制每个用户接收到的总体恳求的数量。基于关于软件应用使用的统计(下载的数量、启动的数量、与软件应用的交互的数量)和/或软件应用金融方面(佣金、编辑者的选择等)和/或软件应用质量度量(消费者评论、等级，包括统计数据和/或本地测量结果反馈)，能够减轻启动条件。在实践中，在启动中的阈值和参数权重以通过软件应用提供商公布的先验知识为条件。

关于软件应用的取回和安装的“按需”模式，一般安装或预安装根据所描述的实施例的“软件应用”(即，软件代码被下载并准备好在设备上的安装)。在另外的实施例中，软件应用也能够被潜在地安装或虚拟地安装或列出作为用于安装的候选。换言之，机器人的决断逻辑能够确定在一些时刻能够需要或甚至要求免费的软件应用。在实施例中，能够定义应用要求(例如，以华氏度提供值的天气软件应用)，所述要求能够被发送到云或包括软件应用的详细目录的中央服务器(认证或否，在alpha中，在beta中等)，并且在所述要求和可用软件应用之间的一个或多个匹配时，一个或多个对应软件应用能够被下载并且进一步被安装在机器人上。由于后一步骤能够是快速的，这样的“按需”重新配置对用户能够是透明的。

关于可视界面对音频对话界面，在其中没有显示器单元可用以引导或辅助用户与机器人的交互的情境可以是交互的“必须品”模式，其是在未来将要发生的最可能的情形(老年人、受伤的人、自然和直接交互等)。然而，未来挤满屏幕每处也是似合理的(在墙上，在桌子上的便宜的屏幕，日常对象等)。在这种情况下，没有与所公开实施例的矛盾：交互模式是至少免费的(音频对话模式和机会型GUI)。例如，在机器人附近可访问的一个或多个显示器单元的情况下(例如，当路过时适合于接收和显示信息的被连接的电视机或者通过机器人或手表或汽车windshirm等能够到达的平板电脑)，用户界面的至少一些相关部分能够有机会显示给用户以巩固选择。换言之，如果视觉单元能够被完全避免与机器人交互，相反地对一些显示器单元的访问性能够被用于补充或丰富用户体验。在一些实施例中，机器人能够被提供为没有显示器单元(例如，位于躯干的触摸屏)或者被嵌入的投影器或微型投影器(例如，位于头部和/或手部)，使得能够显示任何地方，并且根据需要-显示GUI的至少恰当的部分。由此能够组合图形UI和非图形用户接口。

能够讨论闭环对开环实施例。在实施例中，应用的启动是完全自动的，即，无需用户的同意或确认。在开发中，用户或超级用户(父亲)能够中断或延迟或终止或结束应用的执行。在另一实施例中，应用的启动要求用户的明确确认。机器人能够宣布其旨在启动特定应用，但是在继续之前将等待确认。例如，机器人能够宣布“我建议给你天气情况”，以及用户仍然能够回答“不是现在”。在实施例中，响应于语音命令“给我天气”的接受，机器人的操作系统能够推迟当前任务的执行，并且启动/执行具体软件应用；在终止之后，能够重新开始当前任务。

所公开的方法能够采取完全硬件实施例(例如，FPGA)的形式、完全软件实施例或包含硬件和软件元件两者的实施例。软件实施例包括，但不限于：固件、常驻软件、微代码等。本发明能够采取从计算机可用存储介质或计算机可读介质可访问的计算机程序产品的形式，所述计算机可用存储介质或计算机可读存储介质提供由计算机或任何指令执行系统使用或与其结合使用的程序代码。计算机可用或计算机可读能够是能够包括、存储、通信、传播或输送用于由指令执行系统、装置、或设备使用或与其结合使用的程序的任何装置。所述介质能够是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。

Claims (15)

1.一种处理机器人上的软件应用的方法，所述机器人包括多个安装的软件应用，软件应用与预定义的语义描述相关联，所述方法包括如下步骤：

-从与人类用户的音频对话提取一个或多个模式；音频对话包括句子并且模式包括预定义的句子；

-将所述一个或多个模式与所述软件应用的所述语义描述进行比较；

-基于所执行的比较来选择软件应用；

-执行所选择的软件应用。

2.根据权利要求1所述的方法，其中，将至少一个安装的软件应用与一个或多个执行规则相关联，并且其中，选择软件应用的所述步骤包括验证所述一个或多个规则。

3.根据权利要求2所述的方法，其中，所述一个或多个规则是预定义的或者是动态地定义的。

4.根据权利要求2和3所述的方法，其中，所述一个或多个规则能在所述机器人上本地地取回，或者能经由网络连接远程地访问。

5.根据权利要求1所述的方法，其中，所述音频对话包括所述用户对由所述机器人提出的问题的响应。

6.根据权利要求5所述的方法，其中，所述问题是由所述机器人提出的，以消除所述对话的句子或者从所述对话提取的模式的歧义。

7.根据权利要求1所述的方法，其中，所述对话包括由所述机器人的所述用户做出的对于宣读安装的软件应用的列表的请求。

8.根据权利要求7所述的方法，其中，要由所述机器人宣读的所述列表取决于与所述机器人的感知的环境相关联的参数。

9.根据权利要求8所述的方法，其中，所述参数是从包括如下项的组中选择的：用户的年龄、用户的性别、用户的身高、所述机器人附近的用户的数量、用户的情绪、用户的笑容的存在或不存在、环境音频水平、当前日期、当前时间、当前位置以及其组合。

10.根据权利要求1所述的方法，其中，选择软件应用的所述步骤还包括取决于所述比较而将执行概率值关联到每个安装的软件应用。

11.根据任一前述权利要求所述的方法，还包括在执行所选择的软件应用之前接收所述用户的确认。

12.根据任一前述权利要求所述的方法，还包括在与所述用户的所述对话期间显示与所述安装的软件应用中的一个或多个相关联的一个或多个表示。

13.根据任一前述权利要求所述的方法，还包括识别在所述机器人中的缺失的应用，在与所述用户的所述对话期间取回并安装在所述机器人中的所述缺失的软件应用。

14.一种包括指令的计算机程序，当所述计算机程序在合适的计算机设备上执行时，所述指令用于执行根据权利要求1至13中的任一项所述的方法的步骤。

15.一种包括适于执行根据权利要求1至13中的任一项所述的方法的步骤的单元的系统。