CN111201539B - 用于确定用户行为的匹配场景的方法、介质和计算机系统 - Google Patents

Abstract

一种执行方法的自主个人伴侣，所述方法包括捕获与用户行为有关的数据。在所述数据中识别用户行为模式，并使用与对应的预定义标签相关联的预定义模式对用户行为模式进行分类，以生成收集的一个或多个标签集合。将所述收集的集合与多个场景的预定义标签集合进行比较，每个场景对应于一种或多种预定义用户行为模式以及对应的预定义标签集合。为所述预定义标签集合中的每一个分配权重，其中每个权重定义所述收集的标签集合与对应的预定义标签集合之间的对应匹配质量。通过权重按降序对所述预定义标签集合进行排序。选择所述收集的标签集合的匹配场景，所述匹配场景与具有最高匹配质量的对应权重的匹配的预定义标签集合相关联。

Description

用于确定用户行为的匹配场景的方法、介质和计算机系统

背景技术

本文是关于机器人的。机器人随时会出于各种原因而与其人类所有者进行交互。这些机器人一直以来都作为机器人助手而存在，包括被设计用来陪伴其所有者的机器人宠物。尽管处理能力有限并且外形尺寸也受约束，但这些早期的机器人宠物仍然能够在一定程度上自主地四处移动、感测即时环境、具有用于执行任务的可编程智能以及与其人类所有者交互(例如，说话、吠叫、触摸等)。这些早期的机器人宠物的特征有计算机能力、视觉传感器系统和发音器，以促进一个或多个特征，诸如智能、对象感测、个性和移动。例如，这些机器人宠物可以与对象(例如，球)交互、与其所有者交流、与其环境交互、与其所有者玩耍、四处行进等。而且，可以将这些机器人宠物编程为参加机器人足球联赛。此外，随着所有者通过交互对机器人宠物进行培养，这些机器人宠物可能会成长并成熟。而且，这些机器宠物可以基于它们的培养方式形成个性。

这些早期的机器人已经准备好达到更高的能力水平，其中部分地包括提高的智能、意识、协助、交互、个性和移动。

正是在这种背景下，出现了本公开的实施方案。

发明内容

本公开的实施方案涉及用于实施为人工智能(AI)的自主个人伴侣的系统和方法。根据本公开的一个实施方案，AI利用经由深度学习引擎基于已经被识别为与用户在情景上相关的信息训练的模型，以向用户提供个性化协助。在一个实施方案中，训练后的模型充当用于AI的行为选择策略。AI可以被配置成感知在不同专有操作系统下运行的其他数字资产(例如，电话联系人、日历、电话、家庭自动化、游戏控制台等)并与之交换数据。AI可以集成到移动平台中，并被配置成自主地移动以自我定位成最佳地接收数据、收集数据、感测环境和递送数据。AI可以与后端服务器交互以进行处理，其中AI可以在本地级别处理请求，或者在本地级别预处理请求，然后在后端服务器上完全处理那些请求。另外，一些实施方案涉及与用户有关的所捕获信息(例如，用户的音频和视觉数据和/或用户所处的环境)的情景化，其中所捕获信息被分类为一组标签，其中标签与先前定义的习得模式匹配，并且标签组合与场景相关联。然后，鉴于特定的输入数据(例如，所捕获信息)，执行与匹配场景相关联的算法，以生成通过个人伴侣实施的AI的外在行为。

在一个实施方案中，执行用于通过自主个人伴侣来应用用户的AI模型的方法。所述方法包括使用为用户提供服务的自主个人伴侣来捕获与用户的行为有关的数据。所述方法包括分析所述数据以依据多种习得模式或预定义模式识别所述数据中的一种或多种用户行为模式。所识别的行为模式有助于洞悉关于用户的情景环境。多种习得模式或预定义模式中的每一个与对应的预定义标签相关联。多种习得模式或预定义模式是从深度学习引擎生成的。所述方法包括按收集的标签集合对所识别的模式进行分类，其中收集的集合中的标签与一种或多种所识别的模式相关联。所述方法包括将收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合。所述方法包括基于所述比较为预定义标签集合中的每一个分配权重，其中每个权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量。所述方法包括通过对应的权重按降序对多个预定义标签集合进行排序。所述方法包括选择收集的标签集合的匹配场景，所述匹配场景与具有最高匹配质量的对应权重的匹配标签集合相关联。鉴于所捕获数据，可以执行匹配场景的匹配算法，以确定自主个人伴侣的AI的外在行为，所述外在行为可以用于响应所捕获数据。

在另一实施方案中，公开一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于由自主个人伴侣应用用户的AI模型的计算机程序。所述计算机可读介质包括用于使用为用户提供服务的自主个人伴侣来捕获与用户的行为有关的数据的程序指令。所述计算机可读介质包括用于分析数据以依据多种习得模式或预定义模式识别数据中的一种或多种用户行为模式的程序指令。所识别的行为模式有助于洞悉关于用户的情景环境。多种习得模式中的每一个与对应的预定义标签相关联。多种习得模式是从深度学习引擎生成的。所述计算机可读介质包括用于按收集的标签集合对所识别的模式进行分类的程序指令，其中收集的集合中的标签与一种或多种所识别的模式相关联。所述计算机可读介质包括用于将收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较的程序指令，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合。所述计算机可读介质包括用于基于所述比较为预定义标签集合中的每一个分配权重的程序指令，其中每个权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量。所述计算机可读介质包括用于通过对应的权重按降序对多个预定义标签集合进行排序的程序指令。所述计算机可读介质包括用于选择收集的标签集合的匹配场景的程序指令，所述匹配场景与具有最高匹配质量的对应权重的匹配标签集合相关联。鉴于所捕获数据，可以执行匹配场景的匹配算法，以确定如通过个人伴侣实施的AI的外在行为，所述外在行为可以用于响应所捕获数据。

在又一实施方案中，公开一种计算机系统，其中所述计算机系统包括：处理器；以及存储器，所述存储器耦合到处理器并且其中存储有指令，所述指令在由计算机系统执行的情况下，致使所述计算机系统执行用于通过自主个人伴侣来应用用户的AI模型的方法。如由计算机系统执行的方法包括使用为用户提供服务的自主个人伴侣来捕获与用户的行为有关的数据。所述方法包括分析所述数据以依据多种习得模式或预定义模式识别所述数据中的一种或多种用户行为模式。所识别的行为模式有助于洞悉关于用户的情景环境。多种习得模式或预定义模式中的每一个与对应的预定义标签相关联。多种习得模式或预定义模式是从深度学习引擎生成的。所述方法包括按收集的标签集合对所识别的模式进行分类，其中收集的集合中的标签与一种或多种所识别的模式相关联。所述方法包括将收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合。所述方法包括基于所述比较为预定义标签集合中的每一个分配权重，其中每个权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量。所述方法包括通过对应的权重按降序对多个预定义标签集合进行排序。所述方法包括选择收集的标签集合的匹配场景，所述匹配场景与具有最高匹配质量的对应权重的匹配标签集合相关联。鉴于所捕获数据，可以执行匹配场景的匹配算法，以确定如通过个人伴侣实施的AI的外在行为，所述外在行为可以用于响应所捕获数据。

通过以下结合附图的详细描述，本公开的其他方面将变得显而易见，所述附图通过实例的方式说明本公开的原理。

附图说明

通过参考以下结合附图的描述可以最好地理解本公开，在附图中：

图1A是根据本公开的一个实施方案的通过用户的人工智能(AI)模型实施的自主个人伴侣的图示。

图1B示出根据本公开的一个实施方案的用于构建用户的AI模型的实例神经网络，其中AI模型用于实施用户的自主个人伴侣。

图2示出根据本公开的一个实施方案的支持通过用户的AI模型实施的自主个人伴侣的系统。

图3A是根据本公开的一个实施方案的通过用户的AI模型实施的自主个人伴侣的框图。

图3B示出可以用于执行本公开的各种实施方案的各方面的实例装置100的部件。

图4A示出根据本公开的一个实施方案的支持进行游戏应用程序的用户的游戏进行的自主个人伴侣。

图4B示出根据本公开的一个实施方案的由图4A中介绍的用户进行的游戏应用程序的三维(3D)游戏世界与用户的物理环境的集成，其中自主个人伴侣被配置成响应于用户的注视方向而将3D游戏世界的一部分投影到物理环境中。

图4C示出根据本公开的一个实施方案的在图4A至图4B中介绍的游戏应用程序的3D游戏世界的集成的另一实例，其中游戏应用程序的3D游戏世界的扩展部分被投影在显示器旁边，其中显示器示出游戏应用程序的主视图，其中扩展部分示出3D游戏世界的一部分，或为游戏应用程序提供补充信息。

图5示出根据本公开的一个实施方案的由第一用户使用头戴式显示器(HMD)进行的游戏应用程序的3D虚拟现实(VR)世界与物理环境的集成，其中自主个人伴侣被配置成响应于用户的注视方向而将VR游戏世界的一部分投影到物理环境中，以允许观众并行地参与第一用户的VR游戏世界的体验。

图6A示出根据本公开的一个实施方案的通过用户的AI模型实施的用于用户的自主个人伴侣的示例性形式。

图6B示出根据本公开的实施方案的示例性自主个人伴侣，所述自主个人伴侣被配置有一系列能力，其中部分地包括图像的投影、对邻近环境的感测以及辅助声音的提供。

图6C示出根据本公开的一个实施方案的包括无人机组件的示例性自主个人伴侣，所述无人机组件被配置有一个或多个特征，例如图像捕获和图像投影。

图6D示出根据本公开的一个实施方案的包括旋转顶部部分的示例性自主个人伴侣，所述旋转顶部部分被配置有一个或多个特征，例如图像捕获和图像投影。

图6E示出根据本公开的一个实施方案的包括一个或多个附件(appendage)的示例性自主个人伴侣，其中附件可以采取控制器的形式，其中附件/控制器可以从伴侣上移除。

图7A是根据本公开的一个实施方案的自主个人伴侣的框图，所述自主个人伴侣被配置成基于从监测到的用户行为确定的多种习得模式执行AI以构建多个场景，其中场景具有匹配算法，所述匹配算法在被执行时会基于所捕获数据产生结果。

图7B是根据本公开的一个实施方案的自主个人伴侣的框图，所述自主个人伴侣被配置成基于观察到的用户行为的所识别习得模式来确定用户的情景环境，并为情景环境确定匹配场景和对应算法，以便响应观察到的用户行为。

图7C示出根据本公开的一个实施方案的响应于用户输入数据的匹配场景的匹配算法的执行。

图8是示出根据本公开的一个实施方案的用于通过基于观察到的用户行为的所识别习得模式而确定匹配场景和对应算法来响应用户的情景环境的方法的流程图。

具体实施方式

尽管为了说明的目的，以下详细描述包含许多具体细节，但本领域普通技术人员将理解，对以下细节的许多变化和改变都在本公开的范围内。因此，下文描述的本公开的各方面是在不失一般性并且不对本说明所附的权利要求施加限制的情况下阐述的。

一般来说，本公开的各种实施方案描述实施深度学习(也称为机器学习)技术以构建针对用户个性化的AI模型的系统和方法。因此，个人伴侣被实施为AI，其中AI利用经由深度学习引擎基于已经被识别为与用户在情景上相关的信息训练的模型，以向用户提供个性化协助。训练后的模型可以充当用于AI的行为选择策略。AI模型是通过可移动的自主个人伴侣实施的。AI可以被配置成感知在不同专有平台下运行的其他数字资产并与之交换数据。可以将AI集成到移动平台内，以在环境中自主移动，以便最佳地接收数据、收集数据、感测环境、递送数据，以最佳地感测和/或映射环境；以及其他特征。在一些实施方式中，自主个人伴侣可以被配置成与后端服务器交互以进行处理，其中AI可以在本地级别处理请求，或者在本地级别预处理请求，然后在后端服务器上完全处理那些请求。此外，本公开的各种实施方案提供与用户有关的所捕获信息(诸如用户的音频和视觉数据和/或用户所处的环境)的情景化。具体地，通过标签对所捕获信息进行分类，然后将标签与和匹配场景相关联的先前定义的习得模式进行匹配。然后，鉴于特定的输入数据(例如，所捕获信息)，执行与匹配场景相关联的算法，以生成结果(例如，AI的外在行为)，所述结果在被执行时响应输入数据。

以上是对各种实施方案的一般理解，现在将参考各种附图来描述实施方案的实例细节。

图1A示出根据本公开的实施方案的用于构建和实施通过用户的对应AI模型实施的自主个人伴侣的系统100A。具体地，自主个人伴侣100被配置成作为数字伴侣与对应用户介接，例如以为用户提供服务。另外，自主个人伴侣100可以通过网络150(例如，互联网)由后端服务器(例如，个人伴侣建模器和应用器140)支持，其中后端服务器提供人工智能和/或深度机器学习(例如，通过深度机器学习引擎190)，以用于构建和应用个性化AI模型，每个模型都对应于其各自的用户。例如，一个或多个伴侣100a至100n被配置成支持全世界一个或多个位置处的多个用户。

每个自主个人伴侣100被配置成提供为其各自的用户提供服务(例如，支持)的多种能力。一般来说，伴侣100可以应用户的请求提供其服务，或者可以自主地提供服务或在适当的时间向用户提供服务(例如，感测用户的需求或确定在情景上相关的动作、随机生成等)。例如，自主个人伴侣100可以被配置成向用户提供数字协助，诸如处理执行各种操作的用户搜索请求(例如，搜索信息、购买商品和/或服务等)；自主地生成与用户相关的搜索请求；自主地生成与用户在情景上相关的动作(例如，在注意到食品储藏室是空的且前一晚举行了聚会之后，通过电子商务供应商购买薯片)；向进行游戏应用程序的用户提供游戏协助(例如，提供有助于在对应游戏应用程序中导航的提示和帮助)；通过在物理世界中集成三维(3D)游戏空间来扩展游戏应用程序的所显示的游戏空间；以及其他特征。

另外，自主个人伴侣100可以为用户提供陪伴，诸如与用户进行对话、向用户提供数字协助、通过对话与用户建立关系，以及在整个时间段或多个时间段内陪伴用户。伴侣100可以提示用户作出响应，就像人类或动物伴侣一样。例如，伴侣100可以建议要在伴侣100与用户之间开始进行纸牌游戏，或者可以建议观看显示器(例如，远离伴侣100的固定显示器或与之集成的显示器)上的数字内容，或者可以使游戏控制器提示用户进行游戏应用程序。

由自主个人伴侣100执行的至少一些动作与用户在情景上相关。也就是说，由于伴侣100在情景上感知用户当前所处的环境并且能够构建和/或访问对于用户而言私人的AI模型，因此可以针对用户正在体验的情景来定制由伴侣100生成的动作。例如，当用户发出看似通用的请求(例如“昨晚的分数是多少？”)时，基于用户的AI模型和当前日期，伴侣100将确定所述请求的当前情景，并提供适当且相关的响应：“勇士队以101-97获胜”。所述响应是在情景上相关的，因为AI模型将用户定义为“勇士”的粉丝，并且其中用户仅关注国家篮球协会的“金州勇士队”比赛。另外，所述响应与用户在情景上相关，因为AI模型还将用户定义为四月季后赛期间的NBA球迷，并且不关心其他运动的得分。因为当前日期是四月份，所以伴侣100可以通过互联网搜索前一天晚上的“勇士队”得分。

如图1A所示，许多个人伴侣100a至100n被配置成与对应用户介接作为他们各自的数字伴侣。为了简洁和清楚起见，描述伴侣100a，并且所述描述代表伴侣100a至100n中提供的特征。具体地，每个伴侣被实施在可移动的机器人105内，其中机器人可以采用任何合适的外形尺寸。通过人工智能110支持每个伴侣，所述人工智能既可以本地分布在机器人105中，也可以分布在后端服务器140处。在一个实施方案中，AI 110被配置用于深度学习，所述深度学习用于构建用于部分地为对应用户提供服务的本地AI模型120a的至少一部分。使用AI 110习得的此信息可以与或可以不与后端服务器140共享，所述后端服务器的任务还可以是根据收集和/或习得的信息的类型来构建本地AI模型120a。例如，敏感信息可以在本地处理以构建本地AI模型120a，但是可以不与后端服务器140共享。

另外，伴侣100a的AI 110包括本地AI模型120a的版本，其中模型120a对于对应用户是私人的，并且其中AI 110被配置用于实施AI模型120a。具体地，术语“本地AI模型”用于指示AI模型对应于特定或本地化的用户。存储在机器人105的外形尺寸内的本地AI模型120a可以是完整版本的AI模型，也可以是自动提供在完整版本的AI模型中可用的某一能力子集的基本模型。完整版本的AI模型也可由提供AI建模和应用的后端服务器140存储和访问。如此，伴侣100a可以独立于后端服务器140运行，并且提供完整的能力集合(如果完整版本的本地AI模型存储在机器人105处)或有限的能力集合(如果较低版本的本地AI模型存储在机器人105处)。另一方面，伴侣100a可以与后端服务器140协作地运行，并且提供由本地AI模型120a提供的完整能力集合。例如，机器人105处的本地AI模型120a与后端服务器140处的本地AI模型120a协同工作(例如，可以预处理数据)，所述后端服务器处的本地AI模型被更好地配置(更快和更多资源)为执行大部分AI处理。

如图1A所示，本地数据115a由伴侣100a(诸如机器人105)收集。本地数据115a可以由机器人105处的AI 110使用，以使用存储在机器人105处的任何AI能力来帮助构建本地AI模型120a。另外，可以使用深度机器学习引擎190的AI能力(例如，实施基于最近邻的加标签和场景选择算法)将本地数据115a递送到后端服务器140处的个人伴侣建模器和应用器，以构建本地AI模型120a。如图所示，一个或多个本地AI模型120a至120n被生成并存储在后端服务器140处，以支持一个或多个用户。

因为每个伴侣100a至100n的本地数据115都被递送到后端服务器处的个人伴侣建模器和应用器，所以可以将本地数据中的每一个进行聚合以生成全局AI模型130。聚合的本地数据可以被存储为全局数据135。

图1B示出根据本公开的一个实施方案的实例神经网络，所述神经网络用于通过由个人伴侣建模器和应用器140的深度学习引擎190实施的训练来为对应用户构建本地AI模型。在一个实施方案中，深度学习引擎190可以被实施为执行标签识别以对用户行为进行分类。具体地，图1A的系统100A中的建模器和应用器140被配置成识别用户行为模式并标记那些在自主个人伴侣100为用户提供服务时可能有用并且适合的模式。另外，在一个实施方案中，神经网络可在伴侣100的AI 110内实施。得到的用户的本地AI模型120部分地定义用户的行为、生物特征、动作、情绪、期望、希望、喜好、需求、需要以及与用户相关的环境(用于提供情景)。个人伴侣建模器和应用器140可以是任何计算装置，具体地包括直接耦合到或通过网络(例如，本地网络、互联网等)耦合到自主个人伴侣101a至101n中的每一个的后端服务器计算装置。

具体地，建模器140中的深度学习或机器学习引擎190被配置成分析与用户有关的本地数据115，其中本地数据115部分地由自主个人伴侣100收集。与监测用户(例如，控制器输入、请求、动作、行为、响应等)以及用户的环境相关联地收集本地数据115。如以下将描述，出于收集数据目的，伴侣100被配置有监测和/或提出请求的各种特征(例如，相机、有源致动器、无源传感器、控制器、鼠标、扫描仪等)。基本上，可以收集和使用与用户相关联的任何相关信息，以部分地定义用户，并且理解用户所在的情景，以及预测用户的感受、用户将如何行动或对各种状况和/或刺激作出如何响应。如此，深度学习引擎190能够对有关用户的信息进行分类，以使得对应的本地AI模型120可以为用户提供最佳服务，并且其中，使用最少的用户输入即可提供服务。例如，可以使用AI模型120(例如，通过深度学习引擎190的实施)来理解用户作出的请求，以预测用户将需要或可能想要什么，并提供满足那些请求和预测的服务。

在另一实施方案中，除了本地数据115之外，其他数据(例如，全局数据135)可以被多个个人伴侣100a至100n可选地利用和/或收集，并且还可以用于为对应用户构建本地AI模型120。基本上，全局数据135是针对所有用户收集的所有本地数据115的聚合。具体地，一些数据可能是通用的，并且适合在为所有用户或至少某一用户子集(各种大小)构建所有AI模型时使用。另外，全局数据135可以用于构建对于任何用户可能通用的全局AI模型130。另外，全局数据135可以用于构建各种全局AI模型，所述全局AI模型中的每一个都针对特定的用户分组(例如，通过人口统计、地区、音乐品味、学校教育等分组)。

如此，本地数据115和某一部分的全局数据135将被馈送到深度学习引擎190。深度学习引擎190利用人工智能(包括深度学习算法、强化学习或其他基于人工智能的算法)来为对应用户构建本地AI模型120。

以此方式，在学习和/或建模阶段期间，数据由深度学习引擎190使用以鉴于一组输入数据来预测给定用户的反应、动作、需求和/或需要。这些反应、动作、需求和/或需要通常可以按用户行为分类，并且因此，AI模型120可以用于鉴于一些输入数据一般地识别和/或分类对应用户的行为，并为AI提供适当的响应(例如，确定通过个人伴侣实施的AI的外在行为)。例如，输入数据可以是用户的具体请求，其中AI模型120用于生成响应，并且其中所述响应与由自主个人伴侣100提供的服务有关。另外，输入数据可以是环境数据的集合，无论任何针对性用户输入或请求为何，其都可以用于预测与响应有关的用户反应、动作、需求和/或需要。例如，AI模型120可以用于在用户不必明确地递送请求的情况下预测用户可能想要和/或需要什么服务。

随着时间的推移，AI模型120可以识别和/或分类用户行为，并且响应于近似一组输入数据而应用AI模型来预测用户的行为、动作、响应、需求和/或需要。例如，标签识别和场景选择可用于按标签来识别和分类用户行为，并提供AI响应，所述AI响应预测用户的需求和/或需要，并提供响应于那些需求和/或需求的服务。例如，在先前介绍的实例中，用户仅对四月份的NBA得分感兴趣，并且因此，对体育比赛得分的任何请求都可用来预测用户的需求和需要，包括理解用户是“金州勇士队”的粉丝，以及在四月份，用户仅对“勇士队”所打比赛的得分感兴趣，所有这些都导致了关于“勇士队”最新比赛得分的响应(例如，通过AI模型120实施)。其他实例可用于描述AI模型120的构建。例如，AI模型120可以用于定义用户的某些生物特征。在一种情况下，可以定义用户的步态，使得个人伴侣可以感测和跟踪接近的人的脚步，并确定它是与AI模型120相关联的对应用户。AI模型120可用于确定在下午5:00，用户通常返回家中，并坐下来观看数字内容。如此，个人伴侣100可以应用户对伴侣100的请求将用户最近感兴趣的内容(例如，疯狂收看医学电视剧)上载到已经播放或准备播放的显示器。

神经网络190表示用于分析数据集合以确定对应用户的响应、动作、行为、需求和/或需要的自动化分析工具的实例。不同类型的神经网络190是可能的。在实例中，神经网络190支持可以由深度学习引擎190实施的深度学习。因此，可以实施使用监督训练或无监督训练的深度神经网络、卷积深度神经网络和/或递归神经网络。在另一实例中，神经网络190包括支持强化学习的深度学习网络。例如，神经网络190被设置为支持强化学习算法的马尔可夫决策过程(Markov decision process，MDP)。

通常，神经网络190表示互连节点的网络，诸如人工神经网络。每个节点都从数据中学习一些信息。可以通过互连在节点之间交换知识。到神经网络190的输入激活一组节点。继而，此组节点会激活其他节点，从而传播有关输入的知识。跨其他节点重复此激活过程，直到提供输出为止。

如图所示，神经网络190包括节点的层次。在最低层次级别，存在输入层191。输入层191包括一组输入节点。例如，这些输入节点中的每一个被映射到在由自主个人伴侣100对用户和与用户相关联的环境进行监测和/或询问期间通过致动器主动地收集或通过传感器被动地收集的本地数据115。

在最高层次级别，存在输出层193。输出层193包括一组输出节点。例如，输出节点表示与本地AI模型120的一个或多个部件有关的决策(例如，预测)。如前所述，输出节点可以针对给定的一组输入来识别用户的预测或预期响应、动作、行为、需求和/或需要，其中输入可以定义各种场景(例如，直接请求、当日时间、各种行为模式等)。可以将这些结果与从先前的交互以及对用户和/或环境的监测中获得的预定和真实结果进行比较，以便细化和/或修改由深度学习引擎190使用的参数，以针对给定的一组输入来迭代地确定用户的适当的预测或期望响应、动作、行为、需求和/或需要。也就是说，神经网络190中的节点学习AI模型120的、可用于在细化参数时作出此种决策的参数。

具体地，在输入层191与输出层193之间存在隐藏层192。隐藏层192包括“N”个隐藏层，其中“N”是大于或等于1的整数。继而，每个隐藏层也包括一组隐藏节点。输入节点互连到隐藏节点。同样地，隐藏节点互连到输出节点，使得输入节点不直接互连到输出节点。如果存在多个隐藏层，则输入节点将互连到最低隐藏层的隐藏节点。继而，这些隐藏节点互连到下一个隐藏层的隐藏节点，依此类推。下一个最高隐藏层的隐藏节点互连到输出节点。互连连接两个节点。互连具有可以学习的数值权重，从而使神经网络190适应于输入并且能够学习。

通常，隐藏层192允许关于输入节点的知识在对应于输出节点的所有任务之间共享。为此，在一个实施方式中，变换f通过隐藏层192应用到输入节点。在一个实例中，变换f是非线性的。可以使用不同的非线性变换f，包括例如线性整流函数f(x)＝max(0,x)。

神经网络190还使用代价函数c来找到最优解。代价函数测量对于给定输入x定义为f(x)的由神经网络190输出的预测值与地面真值或目标值y(例如预期结果)之间的偏差。最优解表示没有任何解的成本低于最佳解的成本的情况。对于可使用此类地面真值标记的数据，代价函数的实例是预测值与地面真值之间的均方差。在学习过程期间，神经网络190可以使用反向传播算法来采用不同的优化方法来学习使代价函数最小化的模型参数(例如，隐藏层192中的节点之间的互连的权重)。这种优化方法的实例是随机梯度下降法。

在实例中，用于神经网络190的训练数据集可以来自相同的数据域。例如，训练神经网络190以学习用户针对给定的一组输入或输入数据的预测或期望响应、动作、行为、需求和/或需要。在此图示中，数据域包括针对用户与基线输入数据的交互而收集的会话数据。在另一实例中，训练数据集来自不同的数据域，以包括除基线以外的输入数据。

如此，神经网络190可以针对给定的一组输入来识别用户的预期响应、动作、行为、需求和/或需要。基于这些预测结果，神经网络190还可以定义用于为对应用户提供(例如，环境和用户的)情景感知服务的AI模型120。

图2示出根据本公开的一个实施方案的支持通过对应用户的本地AI模型120实施的自主个人伴侣100的系统200。个人伴侣100被配置成基于本地AI模型120为用户提供服务，除其他外，所述本地AI模型能够通过识别用户行为模式来预测用户的响应、动作、行为、需求和/或需要，所述用户行为模式在被分类为多个标签时可以用于选择场景，并提供考虑到所述场景的AI响应，所述AI响应预测用户的需求和/或需要并响应于这些需求和/或需要而提供服务。

如前所述，个人伴侣100可以独立于后端服务器140或与所述后端服务器一起工作，所述后端服务器执行本地AI模型120的建模以及本地AI模型的应用。具体地，后端服务器140包括深度学习引擎190，如前所述，所述深度学习引擎被配置用于针对任何给定输入集合(例如，定义由用户行驶或由用户体验的给定场景)部分地学习和/或建模用户的响应、动作、行为、需求和/或需要，以便构建和应用支持和提供对对应用户的服务的本地AI模型120。具体地，本地AI模型构建器210被配置成与深度学习引擎介接以构建存储在存储装置230中的一个或多个本地AI模型120a至120n。另外，全局AI模型构建器215被配置成与深度学习引擎介接以构建先前描述的并且还存储在存储装置230中的一个或多个全局AI模型130a至130p。例如，AI模型构建器210和215可操作以设置在深度学习引擎190内定义的参数，所述参数定义输入层191、隐藏层192和输出层193中的各个节点，以用于在深度学习引擎190中应用对应的AI模型的目的。

自主个人伴侣100可以在外形尺寸(例如，自主机器人外壳)内并通过后端服务器140或其组合来实施本地AI模型120。如前所述，伴侣100可以独立于后端服务器来实施本地AI模型120，诸如在执行不太复杂的AI操作时(例如，打开房间灯的请求)，或者在网络连接性有限或无网络连接性时。另外，伴侣100可以与后端服务器协作实施本地AI模型120。例如，伴侣100可以通过本地AI模型120执行初步操作，所述本地AI模型被本地化，以便结构化或调节输入参数(例如，定义要执行的操作)，使得输入参数易于递送(例如，减少和/或压缩)到后端服务器140，其中AI模型120内的大多数人工智能由AI模型应用器220和/或深度学习引擎190执行。

如图2所示，自主个人伴侣100位于用户的相同环境内，以使得所述自主个人伴可以为用户提供服务。伴侣100能够直接通过有线或无线连接(未示出)或通过本地网络250与一个或多个数字或物理对象和/或实体介接，其中网络250可以包括有线或无线连接。图2示出伴侣100与各种数字和/或物理对象的介接。可以预期与其他数字和/或物理对象的附加介接。如图所示，伴侣100可以直接(例如，有线或无线对等通信)或经由有线或无线连接通过本地网络250(例如，蓝牙、Wi-Fi、局域网等)与本地环境中的对象介接。另外，本地网络250与广域网或互联网150通信地耦合，以促进通过本地网络250通信的各种数字和物理对象与其他远程对象(例如，后端服务器140、其他服务器等)的通信。

例如，伴侣100可以与基站260介接，诸如将基站260和伴侣100中的一个或两个移动到相同或近似相同的位置，以用于对伴侣100再充电或与基站进行通信以接收软件更新以及其他示例性使用情形的目的。

另外，伴侣100可以与本地服务器240介接，其中服务器240可以包括游戏控制台241、塔式计算机243等。例如，游戏控制台241可以向显示器265提供主数据流，并且还可以向伴侣100提供主流的概要或完整版本，以使得伴侣100可以访问有用信息(例如，游戏协助)，所述有用信息可以与用户的游戏进行同时显示(例如，通过伴侣100的显示器)或递送(例如，音频)给用户。塔243可以提供伴侣100可以控制或利用的附加特征，诸如搜索操作、文件存储等。

在一个实施方案中，伴侣100可以介接和/或实施映射更新系统375，其可以位于伴侣100内或远离伴侣。映射更新系统375被配置成持续地映射伴侣100所处的环境。例如，更新可以作为在伴侣100上执行的其他应用程序的后台过程发生。以此方式，当对象在环境中四处移动或被新引入环境中时，映射更新系统375能够辨识移动和/或引入以持续地更新环境内的对象和结构的映射。如此，部分地基于更新的映射，伴侣100能够在环境中四处移动而不与对象碰撞。伴侣100可能必须移动以将伴侣置于最佳位置来提供服务。例如，伴侣100可能需要移动到更靠近用于投射图像的墙壁，或者可能需要移动到更靠近用户以更好地聆听用户，以用于进行对话或响应请求的目的，等。

作为另一实例，伴侣100可以与一个或多个数字资产270介接，以用于控制那些资产内的操作或访问那些数字资产内的数据。例如，数字资产可以包括诸如通过本地服务器240在处理器或操作系统内实施的日历特征，在这种情况下，伴侣100的任务可以是更新或创建条目，或获得日历特征上的即将到来的日历日期等。

在又一实例中，伴侣100可以与一个或多个辅助系统275介接。例如，辅助系统275可以包括头戴式显示器(HMD)，使得个人伴侣可以从通过HMD显示的虚拟现实(VR)内容接收更新，以便提供要在HMD内显示的与VR内容一致的附加内容(例如，提供增强VR的信息—实施增强现实)。

而且，伴侣100可以与家庭自动化系统280介接，所述家庭自动化系统被配置成使家庭的运作(例如，设置用于加热和冷却的恒温器、通风控制、窗帘、网络连接性、数字内容递送和呈现、包括洗衣机和干衣机的家用电器等)自动化。如此，伴侣100可以指示家庭自动化系统280关闭娱乐室中的灯，以便与用户的游戏进行同时地为显示器提供最佳的照明。

另外，伴侣100可以与移动电话285介接，以访问和/或控制由电话285提供的各种特征。例如，伴侣100可以与电话285上的流媒体音乐特征连接，以播放音乐。

图3A是根据本公开的一个实施方案的通过用户的本地AI模型实施的自主个人伴侣100的框图。如先前所介绍，伴侣100被配置成与对应用户介接，以通过本地AI模型120提供任何类型(例如，数字、物理等)的服务。本地AI模型120可以是与后端服务器140协作以部分地预测用户的行为、响应、动作、反应、需求和/或需要的分布式模型。尽管在图3A中示出伴侣100的各种示例性部件，但是其他功能和/或部件也受到良好支持。

如图3A所示，伴侣100包括被配置成管理整体操作的系统控制器355。例如，控制器355可以管理可供各种部件使用的硬件和软件资源，以便促进伴侣100的操作。另外，控制器355可以控制在伴侣100内提供的一个或多个部件(例如，电动机320、深度传感器305等)，包括部件之间的介接和协作。

驱动控制器265被配置成管理由伴侣100实施的移动性功能。运动能力部分地由电动机组件320(例如，电、燃料等)或其他用于推进的装置提供，并且驱动组件375被配置成使伴侣100运动。在一些实施方式中，驱动组件275可包括一个或多个轮，或被配置成提供伴侣100的移动的其他装置(例如，悬停能力)。在某些情况下，陀螺仪380可以将稳定性信息提供给驱动控制器365，以便在静止位置时或在运动时使伴侣100保持正确的定向。

伴侣100可以包括被配置用于帮助伴侣导航通过当前环境的部件。例如，深度传感器305和接近传感器335可以提供关于环境中的固定和移动对象的信息。具体地，接近传感器335可以被配置成(例如，通过检测表面)确定对象的位置紧靠伴侣100。深度传感器305还可以被配置成确定伴侣100的环境内的近距离对象和远距离对象的位置。也就是说，传感器305和335能够确定与伴侣100在环境中的放置有关的对象深度，并且通过持续更新来生成环境的映射，所述映射包括对象(新的和更新的)在环境内的位置。另外，深度传感器305可以被配置成确定对象的组成，诸如确定对象是硬的(例如，金属桌子)还是软的(例如，沙发)。深度传感器和接近传感器可以采用多种技术中的一种来确定环境内的对象的位置和/或组成，包括使用电磁场、感应、射频、热变化、红外频率、气流等。另外，图像可以由相机325和/或视频记录器370捕获，以便提供对象信息(例如，对象的相关定位)，以及提供其他用途和服务(例如，个人图像和视频捕获、视频游戏记录、用户的日常活动记录等)。

另外，映射更新系统345可以部分地使用由深度传感器305和接近传感器335提供的信息，以便映射环境。出于映射的目的，可以访问其他信息和/或数据，以包括建筑蓝图、由相机325、视频记录器370捕获的图像等。映射系统345可以被配置成提供环境的三维(3D)视图。例如，由各种部件收集的数据和/或第三方信息可用于生成环境的一种或多种类型的映射。这些映射包括二维和3D映射。另外，如前所述，映射更新系统375使用一个或多个工具(例如，深度传感器305和接近传感器335等)持续地映射环境。例如，可以发现在环境中四处移动或引入环境中的对象，使得将对象的位置更新到环境的映射中。其他类型的映射包括环境的图像和视频演示。在一个实施方案中，信息可以用于映射用户的家，其中可以确定房间的位置，可以对房间的墙壁进行分类(例如，出于确定哪个墙壁可以用作投影屏幕的目的)，可以存储和提供各个房间的实际和虚拟图像，并且可以生成对家的视频和虚拟演示(例如，出于保险、房地产展示等目的)。

在另一个实施方案中，伴侣100可以包括用于娱乐、通信等目的的显示系统310。例如，显示系统310可用于与用户通信，诸如当提供用户的互联网搜索结果时，或出于一种或多种目的询问用户(例如，调查用户的总体健康状况、明确用户的各种请求等)时。另外，显示系统310可以用作主要游戏显示器(示出由进行通过来自游戏控制台的主要游戏流流式传输的游戏应用程序的用户的游戏进行)，或者用作用于提供辅助游戏流的辅助显示器(例如，与用户的游戏进行有关的信息)。显示系统310可以被配置成示出电影或其他数字内容。显示系统310可以与扬声器或音频系统330一起工作，以提供与由显示器提供的图像或视频有关的音频。例如，可以将用户的游戏进行的音频与显示在显示器上的游戏进行的视频相关联地并且同步地呈现。

另外，伴侣100可以包括用于娱乐、通信等目的的投影系统340。投影系统可以提供与显示系统310类似的功能性，以包括提供与用户的通信，或者显示来自由控制台或后端流媒体服务所提供的游戏应用程序的主流、提供次数据流(例如，作为游戏应用程序的辅助屏幕，以提供辅助或补充信息，或结合主要显示器提供游戏世界的扩展视图)、显示数字内容等。另外，可以通过投影系统340提供其他特征。因为投影的图像可能比显示系统大，所以可以提供扩展视图选项。例如，可以通过伴侣100的投影系统340来呈现不同类型的视频和/或成像(例如，全息、3D等)。

记录系统317被配置成捕获由伴侣100收集和/或生成的数字信息的视频和/或音频。例如，可以收集并存储进行游戏应用程序的用户的游戏进行(例如，视频和音频)。记录系统317可以收集附加信息，诸如当用户正在进行游戏应用程序时来自用户的附加音频，并且所述附加信息与游戏进行的视频和音频结合。

另外，用户跟踪系统350可以被配置成跟踪用户的总体和具体移动。总体移动包括用户在环境内的整体身体移动。具体移动可以针对身体的一部分，诸如确定用户的头部或躯干的移动。例如，跟踪系统可以确定用户的各个身体部位的定向，并跟踪头部或身体的转动。跟踪系统350可以收集由一个或多个其他部件提供的数据，包括来自相机325或视频记录器370、深度传感器305、接近传感器335或其他跟踪传感器(例如，集成或第三方传感器—诸如通过游戏控制台提供)等的图像和视频。

图3B示出可以用于执行本公开的各种实施方案的各方面的实例装置100的部件。例如，图3B示出根据一个实施方案的适合于实施提供支持用户的服务的装置的示例性硬件系统，其中装置被配置成提供如通过能够部分地预测对应用户的行为、动作、反应、响应、需求和/或需要的本地AI模型实施的服务。此框图示出可以并入有或可以是适合于实践本公开的实施方案的个人计算机、视频游戏控制台、个人数字助理或其他数字装置的装置100。装置100包括用于运行软件应用程序和可选地操作系统的中央处理单元(CPU)302。CPU 302可以包括一个或多个同构或异构处理核心。

根据各种实施方案，CPU 302是具有一个或多个处理核心的一个或多个通用微处理器。可以使用具有微处理器架构的一个或多个CPU来实施其他实施方案，所述微处理器架构特别适合于被配置用于深度学习、内容分类和用户分类的应用程序的高度并行和计算密集型应用程序，诸如媒体和交互式娱乐应用程序。例如，CPU 302可以被配置成包括本地化的AI引擎(例如，深度学习引擎)110，所述引擎被配置成支持和/或执行关于部分地预测用户的用户行为、动作、响应、反应、需求和/或需要的学习操作，并基于所述预测提供服务。而且，AI引擎110被配置成在伴侣100处应用用户的本地AI模型120。另外，CPU 302可以提供如由图3A所示的伴侣100的部件中的一个或多个提供的附加功能性，诸如控制器355、驱动控制器365、映射更新系统345等。

CPU 302还可以通过将所捕获数据分类为多个标签来提供涉及与用户有关的所捕获信息(例如，用户的音频和视觉数据和/或用户所处的环境)的情景化的附加功能性，所述标签可以与先前定义模式或习得模式相匹配，标签组合与匹配场景相关联，其中鉴于特定的输入数据(例如，所捕获信息)执行与匹配场景相关联的算法会生成结果，所述结果在被执行时通过生成如通过自主个人伴侣100实施的AI的外在行为来响应所捕获输入数据。例如，CPU 302包括：习得模式生成器705，其用于学习用户行为模式；标签生成器710，其用于将习得的用户行为模式分类为多个标签；场景构建器720，其用于构建与习得模式和对应标签的集合相关联的场景—将用户行为情景化的场景；场景算法构建器730，其用于基于对应的情景场景生成算法，以鉴于输入数据(例如，用户行为)生成适当的AI响应；以及本地AI模型构建器210’，其用于构建本地AI模型，上述所有均被配置成：应用深度学习来学习与一个或多个用户有关的模式和/或用户所处的环境，通过加标签来对习得模式进行分类，构建与习得模式和相关联的标签的组合相关联的场景，构建场景算法，所述场景算法在被执行时会响应具体用户的所捕获数据和/或用户所处的环境。在图7A中提供对这些部件的更详细的描述。具体地，基于用户的所捕获数据和/或用户的环境，模式辨识模块750、标签识别符755、标签匹配引擎760、场景和场景算法选择引擎770、场景算法执行引擎780以及动作执行引擎790被配置成利用可以被分组到收集的标签集合中的对应预定义标签来识别所捕获数据中的用户行为模式，将收集的标签与和场景相关联的预定义标签集合进行比较，为预定义标签集合分配权重，所述权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量，按降序对预定义标签集合和对应权重进行排序，并选择与具有最高匹配质量的权重的匹配标签集合相关联的匹配场景。在图7B中提供对这些部件的更详细的描述。

如图所示，映射更新系统345可以通过位于伴侣100内的基于硬件的装置来实施。具体地，映射更新系统345被配置成生成伴侣100所处的环境的映射。此映射可以包括本地化的定位系统，诸如定义环境空间内的位置的新生成的和/或格式化的坐标系。例如，坐标系可以并入有全球定位系统(GPS)或3D笛卡尔坐标系(Cartesian coordinate system)、系统的混合(例如，使定义建筑物房间的平面图与每个房间的单独坐标系互相关联)或任何合适的定位系统的值。

存储器304存储供CPU 302使用的应用程序和数据。存储装置306为应用程序和数据提供非易失性存储装置和其他计算机可读介质，并且可以包括固定磁盘驱动器、可移动磁盘驱动器、快闪存储器装置以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光学存储装置，以及信号传输和存储介质。用户输入装置308将来自一个或多个用户的用户输入传送给装置100，所述用户输入装置的实例可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、静止记录器/相机或视频记录器/相机，和/或传声器。网络接口314允许装置100经由电子通信网络与其他计算机系统通信，并且可以包括通过局域网和诸如互联网的广域网的有线或无线通信。音频处理器312适于依据由CPU 302、存储器304和/或存储装置306提供的指令和/或数据生成模拟或数字音频输出。经由一个或多个数据总线322连接装置100的部件，所述部件包括CPU 302、存储器304、数据存储装置306、用户输入装置308、网络接口310和音频处理器312。

图形子系统314进一步与数据总线322和装置100的部件连接。图形子系统314包括图形处理单元(GPU)316和图形存储器318。图形存储器318包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器318可以与GPU 316集成在同一装置中，作为单独的装置与GPU 316连接和/或在存储器304中实施。像素数据可以被直接从CPU 302提供到图形存储器318。替代地，CPU 302向GPU 316提供定义期望的输出图像的数据和/或指令，GPU 316依据所述数据和/或指令生成一个或多个输出图像的像素数据。定义期望的输出图像的数据和/或指令可以存储在存储器304和/或图形存储器318中。在一个实施方案中，GPU 316包括3D渲染能力，以用于依据定义场景的几何形状、照明、阴影、纹理、运动和/或相机参数的指令和数据生成输出图像的像素数据。GPU 316还可以包括能够执行着色器程序的一个或多个可编程执行单元。在一个实施方案中，GPU 316可以在AI引擎190’内实施，以提供附加的处理能力，诸如提供AI或深度学习功能性。

图形子系统314从图形存储器318周期性地输出图像的像素数据，以显示在显示装置310上或由投影系统340投影。显示装置310可以是能够响应于来自装置100的信号而显示视觉信息的任何装置，包括CRT、LCD、等离子体和OLED显示器。例如，装置100可以向显示装置310提供模拟或数字信号。

应当理解，本文描述的实施方案可以在任何类型的客户端装置上执行。在一些实施方案中，客户端装置是头戴式显示器(HMD)或投影系统。

图4A至图4C示出根据本公开的一个实施方案的在对应用户的家庭环境内的自主个人伴侣100的示例性实施方式。如前所述，伴侣100被配置成通过本地AI模型120为用户提供服务，其中AI模型120可以独立于任何后端服务器工作，或者可以与位于后端服务器处的AI模型120以分布式方式工作，以部分地预测用户的行为、响应、动作、反应、需求和/或需要。尽管伴侣100被配置成在各种场景下提供各种服务，但是图4A至图4C示出用户450正在进行在游戏控制台241上执行(或在后端服务器上执行并通过游戏控制台流式传输)的游戏应用程序的场景，以及伴侣100能够向用户450的游戏进行提供补充信息的场景。

如图所示，用户位于家庭环境410中，诸如娱乐室中。房间包括两个墙壁415A和415B。环境410包括沙发405。用户可以访问游戏控制台241。具体地，游戏应用程序正在通过游戏控制台241(或任何其他装置)与用户450的游戏进行相关联地执行和/或流式传输，其中游戏进行诸如通过控制器420来响应用户输入。创建游戏进行的主流，其中游戏进行的视频被递送到显示器310。另外，可以通过音频系统(未示出)提供游戏进行的音频。游戏应用程序可以是开放道路竞速游戏，其中用户正在扮演比赛中汽车的驾驶员。屏幕截图425示出递送到显示器310的视频流的图像，并包括在前挡风玻璃外面和赛车仪表盘上方的示出迎面道路的视图，以及方向盘和仪表盘中的各种仪表。

另外，伴侣100位于环境410中，并且包括机器人外形尺寸105和被配置成实施用户450的本地AI模型120的AI 110。例如，AI 110可以是与后端服务器140处的AI引擎190协作的AI引擎190'。如通过AI 110实施的本地AI模型120被配置成部分地为用户450提供与游戏进行有关的服务。如此，伴侣100可以通信地耦合到游戏控制台241，以至少接收关于游戏应用程序和/或游戏进行的信息。例如，信息可以包括游戏的标题和版本、游戏进行的游戏状态。另外，伴侣100可以包括在游戏应用程序的次流中提供的信息。例如，游戏控制台241可以生成用于在显示器310上呈现的主流以及通过伴侣100(例如，经由显示器、投影、扬声器等)呈现的次流。

在一个实施方案中，伴侣100被配置成提供支持用户的游戏进行的补充信息，其中信息可以与用户和其他进行游戏应用程序的玩家的游戏进行有关。在一些实施方式中，信息可以提供与游戏应用程序有关的一般信息。补充信息可以在推进游戏进行时为用户420提供协助。例如，协助可以呈指导形式，以帮助用户420实现目标(例如，通过等级)，并且可以包括示出控制器输入的视觉线索，所述线索通常或直接帮助用户在游戏应用程序内实现目标。如通过伴侣应用程序提供的补充信息的详细描述在2017年3月31日提交的标题为“GAME PLAY COMPANION APPLICATION”的共同未决专利申请(即美国专利申请序列号15/476,597)中提供，所述申请的全部内容以引用的方式并入本文中。

图4B示出如图4A中所介绍的与游戏控制台241介接以提供与用户450的游戏进行有关的补充信息的自主个人伴侣100。例如，图4B示出环境410内的用户450正进行在游戏控制台241上执行或通过游戏控制台流式传输的游戏应用程序。具体地，图4B示出游戏应用程序的三维(3D)游戏世界和用户的物理环境的集成。如图所示，伴侣100被配置成将游戏应用程序的3D游戏世界的一部分投影到物理环境410中。例如，伴侣100能够将3D世界的视图扩展到超出显示器310上呈现的内容，所述显示器继续示出屏幕截图425。具体地，伴侣100与在显示器310上呈现的主视频流(并且包括屏幕截图425)同时将视频流(包括屏幕截图430)投影为游戏应用程序的次流。

另外，根据本公开的一个实施方案，可以响应于用户450的注视方向作出由伴侣100提供的投影。例如，伴侣100的或与伴侣100一起工作的注视跟踪系统被配置成在游戏进行期间捕获用户450的注视方向。作为说明，当用户竞速时，可以在环境410内定向地提供声音，这可以触发头部移动。如图所示，用户450的头部急剧向右转。如在显示器310上的主流内所显示，支持其他触发，诸如指向右侧的箭头。例如，伴侣100中的声音定位器和投影系统可以产生声音，所述声音源自或被使得源自环境410中的一位置，所述位置也对应于游戏应用程序的游戏世界内的起始点。声音可能来自试图超过由用户450控制的驾驶员的竞争对手的引擎，并且可能源自驾驶员的右侧，或更具体地来自驾驶舱的右侧。当用户的头部向右转以获得对超车赛车手的更好视图时，如从用户450的角度观看的游戏世界的所述部分的投影被呈现在区域443中的墙壁415A上，其中投影被呈现在游戏世界中对象的近似正确位置中，并且相对于用户所玩角色的位置而呈现，其中角色位置与用户450的物理位置相关联。如图所示，次要信息的投影的屏幕截图430包括在右侧超车的78号赛车。

在一个实施方案中，区域443可能是在先前完成的环境410的映射过程期间发现的。映射过程发现区域443可能适合于显示补充信息和/或内容。伴侣100可以相对于环境410中的墙壁415A和/或用户450而自我定位，以适当地呈现补充信息。

图4C示出根据本公开的一个实施方案的在图4A至图4B中介绍的游戏应用程序的3D游戏世界的集成的另一实例，其中游戏应用程序的3D游戏世界的扩展被投影在示出用户450的游戏进行的主流的显示器310旁边。如图所示，代替将次要或补充信息投影在墙壁415A上，将所述信息投影在就在显示器310的右侧的墙壁415B上。例如，在环境410的映射过程期间，可以确定墙壁415A不能支持图像的投影。也就是说，即使伴侣100投影到墙壁415A上，视频流也将是不可见的(例如，墙壁415A包含书架)。如此，伴侣100可以将补充信息投影在区域440中的墙壁415B上，这在某种程度上能传达对游戏世界中的投影中的对象的正确位置感，尤其是相对于示出游戏应用程序的主视频的显示器310来说。在另一实施方式中，投影是在显示器310上呈现的视频流的扩展。如此，伴侣100将补充视频流投影到区域440上，以包括屏幕截图430′，所述屏幕截图类似于包括处于超车位置的78号赛车的图4B的屏幕截图430。屏幕截图430’被投影到驾驶舱的右侧，如通过显示器310上呈现的角色驾驶员的视角(例如，屏幕截图425)所表示。

在一个实施方案中，可以因用户450的注视中心偏离显示器310而触发在墙壁415B上的投影。如图所示，用户450的头部没有像在游戏环境中那样转动大约90度，而是更像是转动45度以观看墙壁415B的区域440。在其他实施方案中，投影可以在游戏应用程序的执行期间由伴侣100自主地产生。例如，补充信息可以由伴侣100自动投影以提供增强的用户体验。在这种情况下，可以在其他时间在环境410内的其他位置处提供其他补充信息。

图5示出根据本公开的一个实施方案的由用户550使用头戴式显示器(HMD)515进行的游戏应用程序的3D虚拟现实(VR)世界与物理环境510的集成。如图5所示，用户550正在进行与用户550的游戏进行相关联地在游戏控制台241上执行(或在后端服务器上执行并通过游戏控制台或通过任何其他装置流式传输)的游戏应用程序，其中游戏进行诸如通过控制器420和/或HMD 515的移动来响应用户输入。

如前所述，伴侣100被配置成通过本地AI模型120为用户提供服务，其中AI模型120可以独立于任何后端服务器工作，或者可以与位于后端服务器处的AI模型120以分布式方式工作，以部分地预测用户的行为、响应、动作、反应、需求和/或需要。伴侣100包括机器人外形尺寸105和用于实施对应于用户550的AI模型120的人工智能。

更具体地，伴侣100被配置成将游戏应用程序的虚拟现实(VR)游戏世界的一部分投影到物理环境510中。例如，可以使VR游戏世界的投影520在环境510中的墙壁(未示出)上。也可以通过由伴侣100控制的物理显示器进行投影520。以这种方式，用户550所体验的视图也可以被呈现给观众555。在一个实施方案中，根据本公开的一个实施方案，响应于用户550的注视方向进行投影，以允许观众555并行参与用户550的VR游戏世界的体验。如此，如果环境510适合于投影，则当用户550在观看VR游戏世界时改变定向时，伴侣100也可以将投影520改变到环境510内的不同位置以紧密对应于VR游戏世界中的适当位置。也就是说，如果用户550的头部逆时针转动90度，则可以在用户550左侧以及观众555左侧的墙壁上进行投影520。以这种方式，观众可以获得对如由伴侣应用程序投影到物理环境510中的VR游戏世界的感受。

图6A至图6E示出根据本公开的实施方案的自主个人伴侣的各种示例性形式，其中伴侣可以通过如图1至图5所示的伴侣100实施。图6A至图6E中所示的伴侣被配置成通过本地AI模型120为对应用户提供服务，其中AI模型120可以独立于任何后端服务器工作，或者可以与位于后端服务器处的AI模型120以分布式方式工作，以部分地预测用户的行为、响应、动作、反应、需求和/或需要。

具体地，图6A示出根据本公开的一个实施方案的通过用户的AI模型实施的用于用户的伴侣600A的示例性形式。尽管图6A示出通用外形尺寸，但是伴侣600A可以在任何合适的外形尺寸内实施。例如，主体601被示出为具有圆锥形的形状，其下部部分的直径小于上部部分的直径。上壳体605可以从主体601突出，以促进伴侣600A的附加特征。

具体地，伴侣600A在下部部分包括一个或多个轮609，或者包括用于为伴侣600A提供二维或三维移动性的任何合适的装置。以这种方式，伴侣600A可以根据需要在环境中四处移动以提供其服务。例如，伴侣600A可以独立地在环境中四处移动以捕获环境的最佳图像，或者选择用于投影视频和/或图像的最佳位置。另外，主体601可在一个位置旋转以为环境内的伴侣600A提供最佳定向。

图6B示出根据本公开的实施方案的示例性自主个人伴侣600B，所述自主个人伴侣被配置有一系列能力，其中部分地包括图像的投影、对邻近环境的感测以及辅助声音的提供。具体地，伴侣600B被示出为具有与主体601通用的外形尺寸，并且起先在图6A中已被介绍。另外，示出轮609以表示在环境内的运动能力。

伴侣600B包括被布置在整个主体601中的扬声器610。另外，扬声器610可以位于伴侣600B的其他部分中，诸如在上壳体605中。显示器310位于主体601的表面上，并且被配置成在为对应用户执行服务时呈现信息和/或数据。例如，显示器310可以在向用户询问以得到响应时显示文本，或者响应于来自用户的询问而呈现视频或文本。显示器310还可以呈现其他补充信息，诸如与进行游戏应用程序的用户的游戏进行相关联地生成的信息。

伴侣600B包括用于感测环境的一个或多个传感器，其中传感器可以位于伴侣表面上的各个位置处。例如，深度传感器305可以位于主体601的上部部分的表面上，其中深度传感器被配置成确定环境内的近距离对象和远距离对象的位置。也可以使用一个或多个深度传感器305来确定对象的组成或对象的表面硬度。另外，一个或多个接近传感器335可以位于上壳体605的表面中，其中接近传感器可以被配置成确定靠近伴侣600B的对象的位置。如前所述，深度传感器和接近传感器可以采用各种技术(例如，电磁场、感应、射频、热变化、红外频率、气流等)，如信号625所示，以确定对象的位置。

另外，主体601的上部部分包括被配置用于捕获环境的音频记录的一个或多个传声器315。例如，可以记录对应用户的音频以捕获用户的现场反应，以便可以在稍后时间重放。而且，记录的音频可以与由位于胶囊状物650中的视频记录器370捕获的所记录视频同步。而且，图像相机325可以位于胶囊状物650中。图像相机325和视频记录器370的组合允许伴侣600B捕获用户和/或环境的视频和/或图像。

如图所示，胶囊状物650具有各种程度的运动和定向。胶囊状物650附接到提升机构655，并且可以相对于伴侣600B的主体601上下移动。例如，胶囊状物650自身可以升高以诸如当相机325或记录器370被对象(例如，墙壁、沙发、家具、书架等)阻挡时获得环境的更好视图。另外，胶囊状物650可以围绕提升机构655的轴旋转，使得可以相对于静态主体601发生旋转。

伴侣600B的上壳体可以包括一个或多个投影系统340。如前所述，投影系统340可以将补充信息投影到环境的表面(例如，房间的墙壁)上。如前所述，可以通过环境的映射来确定表面。当伴侣600B正在为用户提供服务时，补充信息可以用于与用户交流。

图6C示出根据本公开的一个实施方案的包括无人机组件651的示例性自主个人伴侣600C，所述无人机组件被配置有一个或多个特征，例如图像捕获和图像投影。如图所示，伴侣600C具有先前介绍的一个或多个特征，其中包括通用地表示的主体601、用于移动的装置(例如，所示的轮609)、显示器310、接近传感器335以及投影系统340的投影仪。为了清楚起见，未示出先前介绍的其他特征。

具体地，伴侣600C包括无人机组件651，所述无人机组件在静止位置时耦合到上壳体605(或能够接纳组件651的任何其他合适的表面区域)。例如，无人机组件651可以与上壳体605介接，以便为电池充电。可以考虑远离伴侣600C的其他静止位置，诸如单独的基站。另外，无人机组件651可通信地耦合到伴侣600B的一个或多个部件，诸如控制器355。图像相机325和/或视频记录器370可以位于无人机组件651上，以用于捕获图像和视频目的。其他部件也可以位于组件651上，诸如投影系统640的投影仪。

如图所示，无人机组件651能够在环境内四处移动。可以考虑用于提供移动的任何合适的装置，诸如螺旋桨系统、气流系统、轻型空气系统、栓系系统等。如此，无人机组件651能够在整个环境中三维移动，并在环境内自身旋转。可能必须进行移动，以便将相机325和/或视频记录器370放置在更好的位置，以用于捕获图像和/或视频。例如，当从对应于伴侣100的主体601和上壳体605的点拍摄时，在特定方向上的房间的视图可能被对象阻挡。无人机组件651可以被部署到不受对象阻碍(例如，笔直)的位置，以便捕获视图。

图6D示出根据本公开的一个实施方案的包括旋转顶部部分630的示例性自主个人伴侣600D，所述旋转顶部部分被配置有一个或多个特征。示出伴侣600D以图示适合于实施对应用户的本地AI模型120的不同外形尺寸。如图所示，伴侣600D包括基底620。在基底620内设置移动装置，诸如轮609′，或先前描述的用于运动的任何其他合适的装置。

具体地，伴侣600D包括顶部部分630，所述顶部部分可以包括相机325、视频记录器370、深度传感器305、接近传感器335等。为了说明，顶部部分630可以是围绕基底620可旋转的。以这种方式，伴侣600D可以使自己定向为为用户最好地提供服务(例如，将自身置于用于与用户交流的良好位置)。也就是说，结合伴侣600D的移动特征和旋转顶部部分630，伴侣在其环境内的各种定向是可能的。例如，顶部部分630可以朝向环境中的对象旋转，以使相机系统具有对象的良好视图。另外，伴侣600D可以移动到更靠近对象，以使相机系统具有对象的更好视图。

在一些实施方式中，顶部部分630的旋转能够传达情绪或显示伴侣600D的某些行为。在这种情况下，顶部部分630可以配备有被编程为示出情绪的多色照明。例如，在顶部部分630上示出灯带631。带631中的每个灯可以根据对应的模式来打开或关闭。另外，带631中的每个灯可以根据对应的模式示出一系列颜色序列。表632示出灯模式(例如，开/关、颜色序列等)的列表，其中每种模式可以与伴侣100的对应情绪相关联。例如，模式-1可以与第一种快乐情绪相关联，并且模式-2可以与第二种快乐类型相关联。其他情绪可以通过其他模式展现，诸如示出冷漠、愤怒、悲伤、忧郁等。

图6E示出根据本公开的一个实施方案的包括一个或多个附件640的示例性自主个人伴侣600E。如图所示，伴侣600E具有先前介绍的一个或多个特征，其中包括通用地表示的主体601，以及用于移动的装置(例如，所示的轮609)。为了清楚起见，未示出先前介绍的其他特征。

具体地，附件640可以提供控制器功能性。例如，附件640可以包括控制器420，并且可以与游戏控制台241介接，以便在在游戏控制台上或在后端服务器处执行游戏应用程序期间提供控制指令。在一个实施方案中，附件640中的一个或多个可被移除，以便于操纵和处置。以这种方式，用户可以以处置游戏控制器的正常方式与附件640介接。

在一个实施方案中，每个附件640被配置有能够耦合到基底充电端口的再充电端口。内部电池(未示出)位于对应的附件640内。基底充电端口可以位于主体601上，诸如在与枢轴点602相关联的连接内。以这种方式，当将附件640重新装回到主体601上时，可能会发生内部电池的充电。也就是说，在一个实施方案中，电力(例如，电荷)通过伴侣600E的主体601传递到附件640的内部电池。在另一个实施方案中，电力在相反的方向上传递，使得电力从内部电池传递到伴侣600E。以这种方式，附件640可以被配置为用于向伴侣600E供电的主要再充电介质，并且可以被移除以电耦合和/或通信地耦合到与主体601分离的基底充电站。当附件640被解耦(例如，再充电)时，伴侣600E可以使用内部电池源继续操作，其中一旦附件640再次耦合到主体601，便可以对电池源进行再充电。

在一个实施方案中，附件640充当伴侣600E的手臂。例如，附件640可以围绕主体601上的枢轴点602移动。附件640的移动可以提供一些通信。例如，附件640的移动模式可以用信号通知由伴侣600E作出的问候。在另一情况中，附件640可以从主体601向外延伸以示出伴侣600E的欢迎姿态。在又一情况中，附件640可以被延伸以与用户握手或击拳。可以考虑其他运动。另外，在其他实施方案中，附件可以是任何形式或配置。例如，被配置为伴侣600E的附件的头部或上壳体605可以是可从主体601拆卸的。

根据本公开的实施方案，本公开的实施方案支持自主个人伴侣的各种替代外形尺寸。另外的实施方案直接地或通过网络在两个自主个人伴侣100之间提供通信。作为说明，每个伴侣可能正在执行与建筑物内的房间映射有关的操作，所述操作需要在房间四处移动，其中一个或两个伴侣在其移动期间可以感测到附近的另一伴侣。伴侣可以进一步将自己移动到合适位置，以用于彼此通信目的。在一个实施方式中，每个伴侣可以与对应的QR码相关联。QR码可以用于交换识别信息。例如，QR码提供对有关对应伴侣的信息的访问(例如，经由后端服务器)。如此，伴侣可以将自己移动到QR码可能通过的位置(例如，使示出第一伴侣的QR码的显示器在第二伴侣的相机系统的观看范围内)。一旦捕获QR码，便可以将QR码通过网络递送到服务器，以访问关于与捕获的QR码相关联的伴侣的识别信息。以这种方式，可以在伴侣之间交换识别信息。

基于描述所捕获用户数据的所识别标签的场景选择以及响应于所捕获数据的相 关场景算法的执行

因此，本公开的各种实施方案描述用于实施为AI的自主个人伴侣的系统和方法，其中AI利用经由深度学习引擎基于已经被识别为与用户在情景上相关的信息训练的模型(例如，本地AI模型)，以向用户提供个性化协助。在一个实施方案中，训练后的模型充当如通过个人伴侣实施的AI的行为选择策略。本地AI模型通过自主个人伴侣实施，所述自主个人伴侣是移动的并且被配置成自主地移动以自我定位成最佳地接收数据、收集数据、感测环境和递送数据。自主个人伴侣可被配置成向用户提供在情景上相关的并且个性化的协助。先前在图1至图6中介绍了个人伴侣。通过过滤在深度学习引擎190内使用的主观和/或客观输入数据以生成模型来实现本地AI模型的个性化。如果不执行过滤，则将使用相同的数据集构建所有AI模型(本地AI模型和全局AI模型)，并且由此所有AI模型都是相同的，因此具有相同的个性(例如，对于给定的输入集合，将获得相同的结果)。以这种方式，生成具有不同个性的本地AI模型，使得每个AI模型可以是唯一的并且反映对应用户的个性或与对应用户的个性相关联。另外，本公开的实施方案公开与用户有关的所捕获信息(例如，用户的音频和视觉数据和/或用户所处的环境)的情景化，其中所捕获信息被分类为一组标签，其中标签与先前定义的习得的用户行为模式匹配，标签的组合或集合与提供用户行为的情景化的场景(例如对用户的行为、动作、响应、需求和/或需要的预测)相关联。也就是说，可以基于匹配标签的组合来确定匹配场景，其中匹配场景具有对应的算法。鉴于所捕获数据作为输入来执行匹配算法会生成结果，所述结果在执行时会响应所捕获用户数据。具体地，所述结果可能是AI的外在行为，使得AI提供基于匹配场景提供服务的响应。

图7A是根据本公开的一个实施方案的自主个人伴侣100的框图，所述自主个人伴侣被配置成基于从监测到的用户行为确定的多种习得的用户行为模式执行AI以构建多个场景，其中场景具有匹配算法，所述匹配算法在被执行时基于所捕获数据(例如，当前用户数据)而产生结果(例如，如通过个人伴侣实施的AI的外在行为)。在一个实施方案中，图7A中描述的功能和特征完全在个人伴侣100内实施。在另一实施方案中，图7A中描述的功能和特征可以在个人伴侣、图1A和图2的后端服务器140或两者的组合处实施。具体地，图7A的部件公开深度学习或AI对一用户的所捕获/所监测数据701和多个用户的所捕获/所监测数据703的应用，以便构建具体用户或一般用户(包括用户环境)的习得的行为模式，从而构建一个和/或多个用户所体验的场景，以及构建具体用户的本地AI模型，所述模型响应与匹配场景有关的所捕获用户数据。

用户输入数据701和来自多个用户的输入数据703可以被提供给AI引擎，以部分地构建具体用户的本地AI模型120。尽管图7A示出AI引擎110对于自主个人伴侣100是本地的，但是应当理解，可以采用各种配置来提供图7A所示的部件的本地化功能性或分布式功能性。具体地，输入数据701和703由习得模式生成器705接收，所述习得模式生成器被配置成生成与用户的行为(例如，生物特征、动作、情绪、期望、希望、喜好、需求、需要)有关的习得模式以及与用户的环境有关的模式。多种习得模式706可以被放置到存储装置(诸如本地存储器304和/或后端服务器140处的存储装置)中。

每种习得模式706可以与一个或多个标签相关联。具体地，标签生成器710被配置成分析习得的用户行为模式并生成描述习得模式的标签。例如，可以使用一个或多个标签来描述对应的习得模式。在本公开的实施方案中，可以使用标签对习得模式进行分类，并且可以使用标签进行搜索或匹配。可以将由标签生成器710生成的多个预定义标签711放置到存储装置(诸如本地存储器304和/或后端服务器140处的存储装置)中。

另外，场景构建器720被配置成定义与和一组用户有关的具体用户和/或一般用户的情景环境有关的场景。具体地，可以将一种或多种习得模式分组在一起，使得所述组合用于描述被定义为场景的特定情景环境。如此，场景提供用户行为的情景化(例如，对用户的行为、动作、响应、需求和/或需要的预测)。例如，场景可以描述针对对应用户或一般用户的情景，其中包括与一个或多个朋友一起观看数字内容(例如，电视节目、电影、短片等)的周五座谈夜。也就是说，习得模式和/或其对应的标签可以用于描述场景。如此，每个场景是基于习得的用户行为模式的对应集合并与之相关，其中习得模式的集合是基于预定义标签集合并与之相关。

另外，场景算法构建器730被配置成针对每个场景生成对应的算法。一旦通过场景定义了所述用户或一般用户的情景环境，便可以构建算法来指示对应的自主个人伴侣100鉴于所述情境环境适合执行什么动作。具体地，场景算法构建器分析定义各种场景的习得模式集合和预定义标签集合，并为每个场景构建对应的算法。可以执行每个算法以生成结果，所述结果在由对应的个人伴侣执行时响应与用户的情景环境有关的所捕获用户数据。也就是说，当鉴于特定的输入(例如，所捕获用户数据)执行算法时，算法会生成结果，所述结果可以是AI的外在行为，使得AI提供基于提供情景化的场景提供服务的响应。

如图7A所示，基于对应的习得的用户行为模式集合722且与之相关地并且还基于对应的预定义标签集合723并与之相关地构建多个场景721，其中多个场景721对应于多个场景算法724。例如，场景S-1具有对应的习得模式集合(LPs-1)、对应的标签集合-1以及场景算法A-1；场景S-2具有对应的习得模式集合(LPs-2)、对应的标签集合-2以及场景算法A-2；直到第n个场景S-n为止，所述第n个场景具有对应的习得模式集合(LPs-n)、对应的标签集合-n和场景算法A-n。

在一个实施方案中，对应场景的匹配算法可能具有粘性因子。例如，当基于对用户数据的持续收集考虑对当前场景的可能更新时，可以赋予场景和匹配算法与场景的寿命有关的优先级。一些场景可能具有高优先级(例如，高粘性因子)，因为它们可能会被用户反复遇到，使得当前场景及其对应的算法可能会优先于可能更好地表示用户的当前情景环境的新场景。其他场景可能具有低优先级，因为它们可能极少被用户遇到(例如，一次或两次)，其中具有低优先级(例如，低粘性因子)的场景可以很容易地被新场景替换。如此，可以定义多个场景的多个算法中的每个算法的粘性因子。

习得模式、标签、场景和场景算法的组合可以定义用户的本地AI模型120。具体地，本地AI模型构建器210’可以被配置成基于各种场景和相关信息(例如，习得模式集合、对应的预定义标签集合、多个场景算法等)来构建本地AI模型。以这种方式，自主个人伴侣100可以被配置成捕获与用户和/或用户的环境有关的数据，并且基于本地AI模型120使用可能与对应的场景和场景算法匹配的识别标签来对所述所捕获数据进行情景化；其中匹配算法在被执行时会生成结果(例如，AI的外在行为)，所述结果在由个人伴侣执行时会提供对所捕获用户数据的响应，如关于图7B将进一步描述。

图7B是根据本公开的一个实施方案的自主个人伴侣的框图，所述自主个人伴侣被配置成基于观察到的用户行为的所识别习得模式来确定用户的情景环境，并为情景环境确定匹配场景和对应算法，以便响应观察到的用户行为。在一个实施方案中，图7B中描述的功能和特征完全在个人伴侣100内实施。在另一实施方案中，图7B中描述的功能和特征可以在个人伴侣、图1A和图2的后端服务器140或两者的组合处实施。具体地，图7B的部件公开使用用户的本地AI模型基于所捕获用户数据对用户或用户的环境进行情景化，以及对所捕获数据的习得模式和相关标签进行识别，将场景与所识别标签进行匹配，以及使用所捕获数据执行对应的场景算法以生成结果(例如，AI的外在行为)，所述结果在执行时会响应所捕获数据。以这种方式，对应用户的本地AI模型能够尤其在用户体验或行驶的给定环境或场景内针对给定输入集合(例如，所捕获数据)部分地预测用户的响应、动作、行为、需求和/或需要，并基于情景化或预测执行算法，从而生成AI的外在行为作为结果，使得AI提供基于用户行为的情景化为用户提供服务的响应。

如图所示，用户输入数据701被输入到自主个人伴侣100中。例如，随着对用户的监测，所捕获数据被持续输入到个人伴侣中，所述所捕获数据可以被情景化成一个或多个场景，所述一个或多个场景基于输入数据的变化而被持续地更新，如下所述。具体地，输入数据由模式辨识模块750接收，所述模式辨识模块被配置成分析输入数据并确定和/或识别输入数据内的习得的用户行为模式。例如，这些模式可以类似于通过深度学习引擎190构建的先前定义的习得模式。例如，输入数据的特性可以类似于多种习得模式706中的先前定义的习得模式的先前定义的特性。

所识别的模式被递送到标签识别符模块755。使用标签对所识别的模式进行分类。也就是说，使用与数据中的所识别的模式有关的标签来描述所捕获数据。如此，生成收集的标签集合756，所述收集的标签集合组合地描述所捕获数据，并且更具体地描述用户和/或用户的环境(例如，用户的情景环境)。

标签匹配/比较引擎760被配置成接收收集的标签集合756，并且将标签与预定义的预定义标签集合723进行比较，所述预定义标签集合对应于习得模式集合722。存储装置304可以被配置成存储习得模式集合722和预定义标签集合723。具体地，每个预定义标签集合具有对应的预定义模式或习得模式集合。如此，标签比较/匹配引擎760被配置成将所捕获用户数据与所识别的预定义模式或习得模式集合进行匹配，所述所识别的预定义模式或习得模式集合对应于匹配的预定义标签集合761。预定义标签集合及其对应的习得模式定义可以提供用户行为的情景化(例如，对用户的行为、动作、响应、需求和/或需要的预测)的场景。具体地，将所收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较。每个场景对应于一种或多种预定义的用户行为模式以及对应的预定义标签集合，其中如先前所述，可以通过深度学习来定义场景。另外，当将预定义标签集合与收集的标签集合进行比较时，可以为预定义标签集合中的每一个分配权重。每个权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量。例如，可以基于权重按降序对多个预定义标签集合进行排序。可以选择与输入数据701和收集的标签集合相匹配的场景，其中匹配场景与具有最高匹配质量的对应权重的匹配标签集合相关联。在一个实施方案中，使用最佳适配算法将所识别的标签与匹配的预定义标签集合进行匹配。在其他实施方案中，可以使用任何技术来匹配标签。

场景和场景算法选择引擎770被配置成接收匹配的预定义标签集合761。每个习得模式集合和对应的预定义标签集合都对应于一场景。如前所述，每个场景都具有对应的算法，所述算法在执行时会生成结果，所述结果在由对应的自主个人伴侣执行时响应所捕获数据。例如，所述结果可能是通过个人伴侣实施的AI的外在行为。也就是说，通过基于所捕获数据识别场景，可以确定用户的情景环境，个人伴侣可以依据所述情景环境执行适当的响应。具体地，场景/算法选择引擎770被配置成将所识别的习得模式集合和匹配的预定义标签集合761与匹配场景进行匹配，其中匹配场景具有对应的匹配算法771。如前所述，习得模式集合722对应于预定义标签集合，所述预定义标签集合对应于多个场景721，所述多个场景对应于多个场景算法。

如图7B所示，匹配算法771由执行引擎780执行以生成结果781，所述结果可以对用户的行为进行分类。所述结果可以是鉴于特定输入集合701(例如，定义由用户行驶或遇到的给定场景)对具体用户的响应、动作、行为、需求和/或需要的部分预测，并通过AI提供响应于预测的服务。所述结果由自主个人伴侣的动作执行引擎790执行，以便提供对用户的所捕获数据701的响应791。在一个实施方案中，所述结果包括通过执行匹配算法而选择的一个或多个动作，如将在图7C中进一步描述。以此方式，个人伴侣被配置成通过将所捕获数据分类为与先前定义的习得的用户行为模式相关联的多个标签来使所捕获用户数据(例如，用户的音频和视觉数据和/或用户所处的环境)情景化，标签的组合与匹配场景相关联，其中鉴于特定的输入数据(例如，所捕获信息)执行与匹配场景相关联的算法会生成结果(例如，如通过个人伴侣实施的AI的外在行为)，所述结果在执行时响应所捕获输入数据。

图7C示出根据本公开的一个实施方案的响应于用户输入数据701的匹配场景的匹配算法771的执行。匹配算法771可以包括取决于针对给定场景的输入数据而执行的多个可能动作(a1、a2、a3…a-n)。例如，用户数据701被输入到匹配算法771中，其中结合第一用户来收集用户数据。匹配算法771与匹配场景相关联。例如，如先前实例中所使用，场景可以是以用户在晚上7点左右从工作场所返家为中心的场景。

利用用户输入数据701执行匹配算法771来选择一个或多个动作，如路径796所示，其中路径796中的动作定义结果781。作为说明，路径796包括动作a11、a9、a15、a3、a19、a14和a22。路径796中的动作将基于用户输入数据响应于用户的情景环境而执行(例如，如通过匹配算法的执行来确定)，其中情景环境包括用户在周二晚上7点从工作场所返回。尽管路径796示出了顺序地链接和/或执行的操作，但是其他实施方案很好地适合于顺序或非顺序路径中的动作选择(例如，同时执行动作)。

为了说明的目的，路径796中的动作可以包括移动到更靠近用户以促进与用户的交流，从而在与用户交互和/或收集数据时播放放松音乐，以及启动游戏应用程序以供用户交互。个人伴侣可能已经了解到周二是用户的游戏之夜，并且由此，动作之一是启动游戏应用程序(例如，用户与之交互的最后一个游戏应用程序)。另外，动作可包括向用户提供通知：朋友鲍比刚刚在进行已启动的同一款游戏应用程序中得了高分(例如，在用户与鲍比之间)，其中输入之一可以是来自鲍比的指示高分的社交网络数据的收集和传输。在动作的另一说明中，可以提供以下通知：鲍比正在进行多玩家游戏应用程序，并且向用户呈现询问，询问用户是否要与鲍比一起进行多玩家游戏应用程序(其中如果应答“是”，则启动多玩家游戏应用程序)。在动作的另一说明中，可以向用户提出询问，询问用户是否要与用户的母亲开始视频会议。

路径796中的动作中的至少一个包括使为用户提供服务的自主个人伴侣移动。在路径796中，加粗动作a3和a22各自涉及个人伴侣的移动。例如，移动可以包括将个人伴侣定位成更靠近用户，以便处于更好的收集数据的位置，或者处于更好的与用户进行交流的位置。在其他情况下，移动可以包括跟随用户，使得当用户在整个房间或房屋或建筑物中移动时，个人伴侣也随用户移动。在另外情况下，移动可以包括将个人伴侣定位在促进将图像投影到可显示表面(例如，房间的墙壁)上的位置中。例如，个人伴侣可以将自己定位在最佳位置(如先前通过映射确定)来将图像投影到墙壁上。在这种情况下，图像的移动和投影是要在路径796中执行的单独动作。

图7C还示出由匹配算法771基于用户输入数据701'的单独的数据集生成的不同路径797。具体地，利用用户输入数据701’执行匹配算法771来选择一个或多个动作，如路径797所示，其中路径797中的动作定义结果781’。作为说明，路径797包括动作a11、a13、a3、a20、a19、a5、a14和a18。路径797中的动作将基于用户输入数据响应于用户的情景环境而执行，其中情景环境包括用户在周三晚上7点从工作场所返回。

路径797可以类似于路径796，但是包括不同的动作。例如，数据701'可能来自同一用户，但日期不同。场景可以是相同的(例如，用户在晚上7点从工作场所返家)，并且因此，执行相同的匹配算法771。然而，用户输入701’稍有不同，部分是因为不同日期—周三。可以确定的是用户在每个周三的晚上7点都会观看电视节目X，并且因此，个人伴侣在周三会采取播放所述节目(例如，在单独的显示器上，或在伴侣本地的显示器上)的动作。如此，因为是周三，所以启动电视节目而不是启动游戏应用程序作为动作之一。

另外，路径797中的动作中的至少一个包括使为用户提供服务的自主个人伴侣移动。在路径797中，加粗动作a3涉及个人伴侣的移动，诸如先前描述的那些移动。

在一个实施方案中，匹配算法771在针对不同用户的不同个人伴侣中使用。例如，在同一家庭中，可能存在两个用户，每个用户都具有提供服务的唯一个人伴侣。在这种情况下，机器人105的同一身体可以支持两个不同的个人伴侣。在另一实例中，可能存在两个彼此完全孤立的用户(例如，位于世界的不同部分)。每个用户都有自己的个人伴侣。在这两种情况下，场景可能是类似的(例如，在晚上7点从工作场所返家，或者只是从工作场所返家)，并且因此，匹配算法771同样适用于所有这些用户。在这些情况下，第二路径797基于用户输入数据701'提供针对第二用户要执行的动作。

通过对通过网络进行通信的一个或多个AI引擎的各个模块的详细描述，图8的流程图800公开根据本公开的一个实施方案的用于将与用户和/或用户的环境有关的所捕获用户数据(例如，音频和视觉数据)情景化以便通过自主个人伴侣为用户提供响应所捕获数据的情景化的服务的方法。例如，情景化包括基于观察到的用户行为的所识别习得模式来确定匹配场景和对应算法。流程图800可以在先前描述的伴侣100内(例如，在AI引擎190内)实施和/或如先前所述与后端服务器140组合来实施。

在810处，方法包括捕获与用户的行为有关的数据。更具体地，所捕获数据包括与用户和/或用户所处的环境有关的数据。例如，数据可以包括与用户和/或环境有关的所捕获的音频和视觉数据。在一个实施方案中，数据由为用户提供服务的自主个人伴侣捕获。

在820处，方法包括分析数据以识别数据中可能与多种预定义模式或习得模式相关联的一种或多种行为模式。也就是说，所识别的模式可以类似于使用人工智能基于包括所述用户的多个用户的监测到的数据构建的先前定义的习得模式。另外，多种预定义习得模式中的每一个与对应的预定义标签相关联。

更具体地，可以基于适于部分地预测用户的行为、生物特征、动作、情绪、期望、希望、喜好、需求、需要等的多种预定义模式或习得模式来构建用户的AI模型。例如，通过访问与所述用户的监测到的行为有关的数据并通过访问与多个用户的监测到的行为有关的数据来构建本地AI模型。确定多种预定义模式或习得模式，其中预定义模式或习得模式可用于通过基于所述用户和多个用户的监测到的行为执行AI来预测所述用户的行为，诸如当确定提供用户行为的情景化的场景时。更具体地，预定义模式或习得模式可以用于定义用户的情景环境，尤其在用户体验或行驶的给定环境或场景内，可以针对给定输入集合(例如，所捕获数据)从所述情景环境确定对用户的响应、动作、行为、需求和/或需要的预测。结果，可以基于适于用户的预定义模式或习得模式来构建用户的AI模型。

在830处，方法包括按收集的标签集合对所识别的模式进行分类，其中收集的集合中的标签与一种或多种所识别的模式相关联。也就是说，所捕获数据中的所识别的模式可以由标签定义或与标签相关联，其中每种所识别的模式可以通过其对应标签进行分类。在一个实施方案中，标签是基于所识别的模式而生成。也就是说，以使得可以通用地生成用于描述那些模式的标签的方式来区划所识别的模式。在其他实施方案中，来自标签池的标签用于定义所识别的模式，其中标签池与使用人工智能构建的先前定义的习得模式相关联。如此，所识别的模式进一步由标签定义，所述标签先前已与使用人工智能构建的习得模式相关联地生成，如先前所述。

在840处，方法包括将收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合，如先前所述。基于使用人工智能构建的预定义模式或习得模式，可以构建多个场景，其中所述多个场景与多个预定义标签集合相关联。具体地，每个场景由预定义模式或习得模式集合定义，并且其中预定义模式或习得模式集合对应于预定义标签集合。每个场景都可以提供对所识别的对应用户行为的情景化。

在850处，方法包括基于比较将权重分配给预定义标签集合中的每一个。每个权重定义收集的标签集合与对应的预定义标签集合之间的对应匹配质量。例如，权重可以是排序因子，所述排序因子指示收集的标签集合与和特定场景相关联的对应的预定义标签集合之间的匹配质量。如此，在860处，可以通过对应的权重按降序对多个预定义标签集合进行排序。在870处，方法包括选择收集的标签集合的匹配场景，所述匹配场景与具有最高匹配质量的对应权重的匹配的预定义标签集合相关联。也就是说，如先前在860中所述，基于场景次序或排序得分来准随机地选择所得场景。

鉴于所捕获数据，可以执行匹配场景的匹配算法，以确定如通过对应个人伴侣实施的AI的外在行为，所述外在行为可以用于响应所捕获数据。例如，将所捕获数据作为输入提供到匹配场景的匹配算法中，执行所述匹配算法以生成结果(即确定的AI行为)，所述结果在被执行时基于所捕获用户输入而响应用户的预测需求和/或需要(例如，基于匹配场景)。具体地，用户的本地AI模型包括由深度学习引擎生成的多个算法，其中每个算法可以被执行以提供对对应场景的响应，所述对应场景可以基于特定的输入数据被识别和/或匹配。也就是说，对于用户的任何给定的情景环境，用户的本地AI模型可以确定对环境的适当响应。具体地，可以通过使用标签对所捕获用户数据进行分类、并将所述标签与通过深度学习生成的先前定义的习得模式的标签进行匹配、并确定提供对所捕获用户数据的情景化的匹配场景来对所捕获用户数据进行情景化。用于匹配场景的匹配算法为情景化提供了适当的响应。例如，可以使用标签来分析输入数据以确定用户情景，诸如当日时间是晚上7点、用户从工作场所返回、用户坐在沙发上，然后提供指示用户希望在房间内播放放松音乐的结果。另外，可以分析用户数据以确定用户行为模式，诸如确定用户总是在晚上7点从工作场所返回，以及希望的放松音乐。

另外，方法包括基于响应于所捕获数据的结果(例如，由个人伴侣实施的AI的外在行为)执行一个或多个动作。例如，通过执行匹配算法来选择动作。使用上面提供的实例，结果指示用户通常在一天结束返回家时希望有放松音乐。因此，自主个人伴侣需要执行的动作包括通过其自己的音频扬声器播放一些令人放松的数字内容(例如，音乐、音乐视频、调解背景音乐等)。还可以执行其他操作以支持结果。例如，已知的促进放松的灯光模式可以从个人伴侣投影到墙壁上或用户的总体环境中。同样，灯光模式可以显示在个人伴侣上。

动作中的至少一个涉及使自主个人伴侣移动。如先前仅出于说明目的所述，移动可以包括将个人伴侣定位成更靠近用户，以便处于更好的收集数据的位置，或者处于更好的与用户进行交流的位置；跟随用户，使得当用户在整个房间或房屋或建筑物中移动时，个人伴侣也随用户移动；将个人伴侣定位在促进将图像投影到可显示表面(例如，房间的墙壁)上的位置中；等等

总之，本公开的实施方案提供与用户的行为和/或用户的环境有关的所捕获用户数据(例如，音频和视觉数据)的情景化。通过使用标签对所捕获用户数据进行分类，并将所述标签与通过深度学习生成的先前定义的习得模式的标签进行匹配来确定情景化。也就是说，可以基于匹配标签的组合来确定提供情景化的匹配场景，其中匹配场景具有对应的算法。鉴于所捕获数据作为输入执行匹配算法会生成结果(如通过个人伴侣实施的AI的外在行为)，所述结果在执行时会响应所捕获用户数据。

在一个实施方案中，在当前场景处于活动状态时确定场景改变。具体地，图8中概述的场景选择过程持续地运行。例如，方法包括持续地收集数据。以这种方式，可以基于更新后的收集的标签，即更新后的收集的标签集合，来确定情景的改变。方法包括将更新的收集的标签集合与先前介绍的和多个场景相关联的多个预定义标签集合中的每一个进行比较。基于比较，将更新的权重分配给预定义标签集合中的每一个。通过对应的更新后权重按降序对多个预定义标签集合进行排序。方法包括选择与更新后的收集的标签集合匹配的更新后场景，所述更新后的匹配场景与具有最高匹配质量的对应更新后权重的更新后的匹配的预定义标签集合相关联。也就是说，一旦新的场景得分大于当前场景得分，便执行场景切换。另外，可以考虑“粘性”因子，使得当粘性因子指示当前场景具有优先级时，即使新场景得分更大，当前场景得分也可以保留场景。例如，粘性因子可能会提高当前场景的权重，或在当前场景到期之前提供一段时间。

具体地，随着场景改变，用户输入不断改变。也就是说，用户的情景不断改变，并且因此，定义情景的相关场景不断更新。本公开的实施方案基于目标(例如，用户)而提供场景算法之间的动态切换，并且提供分为多个标签的所捕获数据(例如，视觉和音频数据)的改变的情景化。例如，持续地收集所捕获数据。可以基于更新后的收集的标签来确定情景的改变。例如，标签通常可以被分组在一起，使得第一标签通常与第二标签相关联，而不与第三标签相关联。可以通过一般关联将标签分组在一起，由此可以确定情景的改变已经发生或正在发生。另外，标签的分组可以通过人工智能而习得为与情景的改变相关联。先前描述的收集的标签可以被分为对应于匹配场景的第一收集的标签子集。另外，收集的标签的其余部分可以被定义为第二收集的标签子集。

第二收集的标签子集可以与另一情景和/或另一场景相关联。具体地，将第二收集的标签子集与多个预定义标签集合中的标签进行比较。另外，基于比较，将第二收集的标签子集与第二匹配的预定义标签集合进行匹配，其中第二匹配的预定义标签集合对应于第二匹配场景。第二匹配场景与第二匹配算法相关联。

另外，可以将用于执行的算法从所述匹配算法切换为对应于第二匹配场景的第二匹配算法。而且，所捕获数据或所捕获数据的对应于第二收集的标签子集的子集可以被输入到第二匹配算法以生成第二结果。用户的自主个人伴侣可以响应于所捕获数据或所捕获数据的对应于第二收集的标签子集的子集基于第二结果来执行第二动作。

在一个实施方案中，可以基于收集的标签中的至少一个来对输入数据进行分类。具体地，所捕获输入数据可以是音频数据。音频数据可以被分类为命令语音、背景场景语音和对话语音中的一个。取决于分类，响应可以与分类对准。例如，如果音频数据被分类为命令类型的语音，则来自自主个人伴侣的响应可以反映特定命令。例如，如果命令语音与询问昨晚谁赢得比赛的询问有关(例如，先前介绍的实例)，则适当的响应将是对询问的应答。另外，如果音频数据被分类为对话语音，则适当的响应将是附加的对话语音(例如，以继续进行辨识出的对话话题)。另外，如果音频数据被分类为背景语音，则可能没有适当的响应，使得个人伴侣继续监测用户数据，直到确定需要积极响应的适当情景为止。

在又一个实施方案中，可以基于收集的标签中的至少一个将所捕获输入数据与定义用户的情绪状态(例如，快乐、悲伤、烦躁、沉思等)的场景进行匹配。基于确定的情绪状态，可以提供适当的响应。例如，可由自主个人伴侣向用户提供治疗响应。例如，如果确定用户为悲伤情绪，则个人伴侣可以提供已知的使用户振奋的音频(例如，音乐)和照明。可以使用任何形式(例如，以包括超声频、亚声频，声频等的各种频率)传输音频。在另一个实例中，响应可以是使个人伴侣显示用户特别喜欢的短视频片段，由此为用户提供快乐。在又一实施方案中，响应可以是以使用户振奋的方式使个人伴侣活动。例如，个人伴侣可以展现照明模式，或者通过照明、移动、声音等以滑稽的方式行动。也就是说，也可以将意图使用户振奋的照明模式转变为以意图使用户振奋的方式使个人伴侣活动的一系列移动。在这种方式下，个人伴侣可能会对用户产生影响，在一个实例中，所述影响帮助将用户的情绪状态从悲伤改变为快乐。

在一个实施方案中，自主个人伴侣可以被配置成提供各种形式的教授或辅导。例如，个人伴侣可以被配置成提供数学辅导，并且执行动作以作为对与辅导会话(例如，用户研究问题、用户询问明确问题、用户指示理解了概念、用户指示不理解概念等)相关联的所捕获用户数据的响应。在一个说明中，个人伴侣可以被配置成教授音乐，诸如钢琴或吉他课程。如此，个人伴侣可以类似地执行由人类教员提供的动作和教授。

在另一实施方案中，匹配场景可以用于基于收集的标签中的至少一个来对用户的威胁等级进行分类。换句话说，威胁等级定义用户在给定的用户情景环境中对自主个人伴侣的响应的接受程度。例如，如果威胁等级指示用户非常容易接受，则个人伴侣可以针对确定的场景执行动作。另一方面，如果威胁等级指示用户不太容易接受(例如，忙于工作、赶着出门看电影、生气等)，则个人伴侣可能不会针对确定的场景执行动作。其他中间威胁等级可以与将由自主个人伴侣执行的修改后动作相关联。

因此，在各个实施方案中，本公开描述用于通过使用标签对所捕获用户数据进行分类并将所述标签与通过深度学习生成的先前定义的习得模式的标签进行匹配来对与用户和/或用户的环境有关的所捕获用户数据进行情景化的系统和方法，其中可以基于匹配标签的组合确定匹配场景，其中匹配场景具有对应的算法，并且其中鉴于所捕获数据作为输入执行匹配算法会生成结果，所述结果在执行时响应所捕获用户数据。

应当理解，可以使用本文公开的各种特征来将本文定义的各种实施方案组合或汇编成特定的实施方式。因此，所提供的实例仅仅是一些可能的实例，而不限于通过组合各种元素以定义更多实施方式而可能的各种实施方式。在一些实例中，在不脱离所公开的或等效的实施方式的精神的情况下，一些实施方式可以包括更少的元素。

本公开的实施方案可以用各种计算机系统配置来实践，所述配置包括手持装置、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机等。本公开的实施方案还可以在分布式计算环境中实践，其中任务由通过有线或无线网络链接的远程处理装置执行。

考虑到以上实施方案，应当理解，本公开的实施方案可以采用涉及存储在计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操控的操作。形成本公开的实施方案的一部分的本文描述的任何操作都是有用的机器操作。本公开的实施方案还涉及用于执行这些操作的装置或设备。所述设备可以出于所需目的而专门构造，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可以与根据本文的教导撰写的计算机程序一起使用，或者可以更方便地构造更专用的设备来执行所需的操作。

本公开还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据之后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可以包括分布在耦合网络的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

尽管按特定顺序描述了方法操作，但是应当理解，可以在操作之间执行其他内务操作，或者可以调整操作以使得它们在稍微不同的时间发生，或可以分布于允许按与处理相关联的各种间隔发生处理操作的系统中，只要以期望方式执行叠加操作的处理即可。

尽管为了清楚理解的目的已经相当详细地描述了前述公开，但是显而易见的是，可以在所附权利要求的范围内实践某些改变和修改。因此，当前的实施方案应当被认为是说明性的而非限制性的，并且本公开的实施方案不限于本文中给出的细节，而是可以在所附权利要求书的范围和等效范围内进行修改。

Claims (22)

1.一种用于确定用户行为的匹配场景的方法，其包括：

使用为用户提供服务的自主个人伴侣来捕获与所述用户的行为有关的数据；

分析所述数据以依据多种预定义模式识别所述数据中的一种或多种用户行为模式，其中所述多种预定义模式中的每一个与对应的预定义标签相关联，其中所述多种预定义模式是从深度学习引擎生成的；

对所识别的模式进行分类以生成对应于所识别的模式的收集的标签集合；

将所述收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较以确定匹配质量，其中每个场景对应于一种或多种预定义用户行为模式以及对应的预定义标签集合；

基于所述匹配质量，为所述预定义标签集合中的每一个分配权重，其中每个权重定义所述收集的标签集合与对应的预定义标签集合之间的对应匹配质量；

通过与所述多个预定义标签集合对应的权重按降序对所述多个预定义标签集合进行排序；以及

选择所述收集的标签集合的匹配场景，其中所述匹配场景与具有最高匹配质量的对应权重的匹配的预定义标签集合相关联。

2.根据权利要求1所述的方法，其还包括：

将所捕获数据作为输入提供到所述匹配场景的匹配算法中，所述匹配算法被执行以确定与所述个人伴侣相关联的行为；以及

基于所确定的行为，执行一个或多个动作，其中至少一个动作包括使所述个人伴侣移动。

3.根据权利要求1所述的方法，其还包括：

访问与所述用户的监测到的行为有关的数据；

访问与多个用户的监测到的行为有关的数据；

基于所收集的数据，确定预测所述用户的行为的所述多种预定义模式。

4.根据权利要求1所述的方法，其还包括：

持续地收集所述数据；

基于更新后的收集的标签，确定情景的改变；

将更新后的收集的标签集合与和多个场景相关联的所述多个预定义标签集合中的每一个进行比较以确定匹配质量；

基于所述匹配质量，将更新后权重分配给所述预定义标签集合中的每一个；

通过与所述多个预定义标签集合对应的更新后权重按降序对所述多个预定义标签集合进行排序；以及

选择所述更新后的收集的标签集合的更新后匹配场景，所述更新后匹配场景与具有最高匹配质量的对应更新后权重的更新后匹配的预定义标签集合相关联。

5.根据权利要求1所述的方法，其还包括：

为所述多个场景的多个算法中的每一个设置有效期。

6.根据权利要求1所述的方法，其还包括：

基于收集的标签中的至少一个，从所捕获数据中确定音频数据；

将所述音频数据分类为命令语音、背景场景语音和对话语音中的一个；以及

将结果与所分类的音频数据对准。

7.根据权利要求2所述的方法，其中执行所述匹配算法还包括：

基于所收集的标签中的至少一个，确定所述用户的情绪状态；以及

基于所述情绪状态提供疗法，作为所述动作之一。

8.根据权利要求2所述的方法，其中执行所述匹配算法还包括：

基于所收集的标签中的至少一个，确定所述用户的情绪状态；以及

提供反映所述情绪状态的对象动画，作为所述动作之一。

9.根据权利要求2所述的方法，其还包括：

在移动时确定所述个人伴侣正在接近物理空间中的私人区域；以及

阻止所述个人伴侣进入所述私人区域。

10.根据权利要求2所述的方法，其还包括：

在执行所述移动时，将所述个人伴侣定位成更靠近所述用户。

11.根据权利要求2所述的方法，其还包括：

在执行所述移动时，跟随所述用户。

12.根据权利要求2所述的方法，其还包括：

在移动时，将所述个人伴侣定位成更好地将图像从所述个人伴侣投影到可显示的表面上；以及

作为所述动作之一，对所述图像进行投影。

13.根据权利要求2所述的方法，其中所述匹配算法从多个可能动作中选择要执行的所述一个或多个动作。

14.根据权利要求2所述的方法，其还包括：

作为所述动作之一，开始游戏应用程序以供所述用户玩。

15.一种存储计算机程序的非暂时性计算机可读介质，当所述计算机程序由处理器执行时，所述计算机程序使所述处理器实现方法，所述方法包括：

分析与用户的行为有关的数据以依据多种预定义模式识别所述数据中的一种或多种用户行为模式，其中所述多种预定义模式中的每一个与对应的预定义标签相关联，其中所述多种预定义模式是从深度学习引擎生成的；

对所识别的模式进行分类以生成对应于所识别的模式的收集的标签集合；

将所述收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较以确定匹配质量，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合；

基于所述匹配质量为所述预定义标签集合中的每一个分配权重，其中每个权重定义所述收集的标签集合与对应的预定义标签集合之间的对应匹配质量；

通过与所述多个预定义标签集合对应的权重按降序对所述多个预定义标签集合进行排序；以及

选择所述收集的标签集合的匹配场景，其中所述匹配场景与具有最高匹配质量的对应权重的匹配的预定义标签集合相关联。

16.根据权利要求15所述的计算机可读介质，所述方法还包括：

将所捕获数据作为输入提供到所述匹配场景的匹配算法中，所述匹配算法被执行以确定与个人伴侣相关联的行为；以及

基于所确定的行为，执行一个或多个动作，其中至少一个动作包括使所述个人伴侣移动。

17.根据权利要求15所述的计算机可读介质，所述方法还包括：

持续地收集所述数据；

基于更新后的收集的标签确定情景的改变；

将更新后的收集的标签集合与和多个场景相关联的所述多个预定义标签集合中的每一个进行比较以确定匹配质量；

基于所述匹配质量将更新后权重分配给所述预定义标签集合中的每一个；

通过与所述多个预定义标签集合对应的更新后权重按降序对所述多个预定义标签集合进行排序；以及

选择所述更新后的收集的预定义标签集合的更新后匹配场景，所述更新后匹配场景与具有最高匹配质量的对应更新后权重的更新后匹配的标签集合相关联。

18.根据权利要求16所述的计算机可读介质，所述方法还包括：

为所述多个场景的所述多个算法中的每一个设置有效期。

19.根据权利要求16所述的计算机可读介质，所述方法还包括：

基于所收集的标签中的至少一个确定用户的情绪状态；

基于所述情绪状态执行或不执行所述一个或多个动作。

20.一种计算机系统，其包括：

处理器；以及

存储器，所述存储器耦合到所述处理器并且其中存储有指令，所述指令如果由所述计算机系统执行则会致使所述计算机系统执行包括以下项的方法：

使用为用户提供服务的自主个人伴侣来捕获与所述用户的行为有关的数据；

分析所述数据以依据多种预定义模式识别所述数据中的一种或多种用户行为模式，其中所述多种预定义模式中的每一个与对应的预定义标签相关联，其中所述多种预定义模式是从深度学习引擎生成的；

对所识别的模式进行分类以生成对应于所识别的模式的收集的标签集合；

将所述收集的标签集合与和多个场景相关联的多个预定义标签集合中的每一个进行比较以确定匹配质量，其中每个场景对应于一种或多种预定义行为模式以及对应的预定义标签集合；

基于所述匹配质量，为所述预定义标签集合中的每一个分配权重，其中每个权重定义所述收集的标签集合与对应的预定义标签集合之间的对应匹配质量；

通过与所述多个预定义标签集合对应的权重按降序对所述多个预定义标签集合进行排序；以及

选择所述收集的标签集合的匹配场景，其中所述匹配场景与具有最高匹配质量的对应权重的匹配的预定义标签集合相关联。

21.根据权利要求20所述的计算机系统，其中所述方法还包括：

将所捕获数据作为输入提供到所述匹配场景的匹配算法中，所述匹配算法被执行以确定与所述个人伴侣相关联的行为；以及

基于所确定的行为，执行一个或多个动作，其中至少一个动作包括使所述个人伴侣移动。

22.根据权利要求21所述的计算机系统，其中所述方法还包括：

持续地收集所述数据；

基于更新后的收集的标签，确定情景的改变；

将更新后的收集的标签集合与和多个场景相关联的所述多个预定义标签集合中的每一个进行比较以确定匹配质量；

基于所述匹配质量，将更新后权重分配给所述预定义标签集合中的每一个；

通过与所述多个预定义标签集合对应的更新后权重按降序对所述多个预定义标签集合进行排序；以及

选择所述更新后的收集的预定义标签集合的更新后匹配场景，所述更新后匹配场景与具有最高匹配质量的对应更新后权重的更新后匹配的标签集合相关联。