CN111417442A - 交互式游戏设备 - Google Patents

Abstract

一种交互式游戏设备，包括：输入装置，其被配置为接收来自用户的输入；一个或多个通信接口；以及一个或多个处理器，其中，所述一个或多个处理器被配置为：检测一个或多个电子装置；以及对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；经由输入装置接收一个或多个输入；至少部分地基于接收到的一个或多个输入来确定一个或多个用户可感知的游戏动作；将所确定的一个或多个游戏动作转化为一个或多个指令，该指令可操作以使所检测到的一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能，其中，所述转化至少部分地基于所检测到的各个电子装置的所检测到的一个或多个能力；使一个或多个检测到的电子装置执行所述一个或多个功能。

Description

交互式游戏设备

技术领域

本发明涉及一种交互式游戏设备。

背景技术

存在各种允许用户参与各种游戏场景的交互式游戏设备。

例如，已知可编程玩具，其来自LEGO MINDSTORMS的“ROBOTICS INVENTIONSYSTEM”的产品，其是可以由计算机编程以执行无条件以及有条件的动作。

WO 2009/047225公开了一种玩具构建系统，其包括多个玩具构建元件，包括用于执行相应功能的功能构建元件。该现有技术系统还包括数据处理系统，该数据处理系统提供用于生成用于控制功能元件的逻辑命令的编程环境。上述现有技术系统包括接口构建元件，该接口构建元件检测连接到该接口构建元件的功能构建元件，并将指示所连接的功能构建元件的信息发送到数据处理系统。该数据处理系统响应于所接收到的关于至少所连接的功能构建元件的存在的信息来提供适应的编程环境。

尽管上述现有技术的系统提供了有趣的游戏玩法，其中编程环境适合于连接到该系统的装置，但是仍然希望提供一种交互式游戏设备，该设备提供对其所操作的环境的更大适应性。

通常，仍然需要改进的交互式游戏设备，以好玩和娱乐的方式来培养孩子的想象力。

发明内容

根据本文公开的至少第一方面，一种交互式游戏设备包括：

-输入装置，其被配置为例如从游戏设备的环境或从用户，接收输入，

-一个或多个通信接口，

-一个或多个处理器；

其中一个或多个处理器被配置为：

a)检测一个或多个电子装置；

b)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

c)经由输入装置接收一个或多个输入；

d)至少部分地基于接收到的一个或多个输入来确定一个或多个用户可感知的游戏动作；

e)将确定的一个或多个游戏动作转化成一个或多个指令，该指令可操作以使一个或多个检测到的电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能，其中，转化至少部分地基于所检测到的各个电子装置的检测到的一个或多个能力；

f)使一个或多个检测到的电子装置执行所述一个或多个功能。

因此，不是根据可用的电子装置来限制用户可用的输入，而是交互式游戏设备的实施例接受来自用户的输入。交互式游戏设备的实施例然后解释所接收到的输入，以便确定用户可以感知的游戏动作，然后将这些游戏动作转换成指令到检测到的电子装置，使得给定其检测到的能力的电子装置至少近似所确定的一个或多个游戏动作。因此，交互式游戏设备在给定可用电子装置的情况下创建使所确定的游戏动作尽可能接近或期望的模拟的游戏动作。

交互式游戏设备因此允许实现游戏体验，而与可用的特定电子装置无关。为此，交互式游戏设备使游戏体验适应可用的装置，以便至少提供由接收到的输入产生的游戏动作的近似值。此外，对接收到的输入的这种自适应响应不需要用户执行复杂的编程步骤。即使是未经培训的用户，也可以轻松地进行有趣的创意游戏体验。

在一些实施例中，一个或多个处理器执行计算机可执行程序代码，该计算机可执行程序代码被配置为使交互式游戏设备实现包括电子装置的控制的数字游戏体验。电子装置可以是交互式游戏设备的一部分，或者可以在交互式游戏设备的外部。这样的数字游戏体验的示例包括用户控制可能受到电子装置影响的一个或多个物理对象的游戏，或用户的运动被转换为音乐、声音、灯光效果等的游戏体验，或者这样的游戏体验，其中互动式游戏设备记录并处理用户讲述的叙述以及其中互动游戏设备控制电子装置以执行响应于所记录叙述的各个方面的功能，例如以便示出该叙述的各个方面，例如以便代表或甚至“展开(play out)”至少真实世界中的叙述的一部分或方面。

确定一个或多个游戏动作可以以多种方式来完成。在一些实施例中，所接收到的输入是用户期望的游戏动作的直接表示，例如，当接收到的输入代表特定命令时。通常，对游戏动作的确定可以基于预定的游戏规则，即，确定交互式游戏设备对用户输入的响应的规则。因此，交互式游戏设备可以包括其上存储有一组游戏规则的存储介质。在一些实施例中，所确定的游戏动作不仅可以取决于所接收到的输入，而且可以取决于其他参数，例如游戏体验的当前状态，取决于相同用户和/或其他用户的先前用户输入，取决于触发事件等。在一些实施例中，确定可以包括一个或多个随机或准随机方面。例如，当游戏体验涉及其中用户控制可能受到电子装置影响的物理对象的游戏时，物理对象的反应可能取决于游戏的当前状态，例如取决于由游戏系统分配给物理对象的当前能量水平或损坏水平。在一些实施例中，对游戏动作的确定涉及一定解释水平，例如，以便确定用户的可能意图。例如，在其中用户运动通过交互式游戏设备的输入装置被检测到并导致对不同颜色光的电枢的控制的游戏场景中，确定游戏动作可能涉及将检测到的用户手势转换为诸如照明强度、光色、闪烁光的闪烁频率和/或其他表征照明效果的参数。在其他实施例中，在交互式游戏设备记录语音命令或自然语言的情况下，可能需要处理自然语言元素以便辨别游戏动作。例如，语音命令“GO”可以指代功能的开始，例如开始播放乐曲，或者可能是指车辆向前行驶等。在一些实施例中，游戏动作的确定还取决于检测到的电子装置，例如取决于它们的能力和/或与它们相关的其他属性。例如，交互式游戏设备可以确定可以由一个或多个所检测到的电子装置以高精度执行或者以其他方式对应于所检测到的电子装置的能力和/或其他属性的游戏动作。替代地或附加地，交互式游戏设备可以至少部分地基于所接收到的输入和基于所检测到的电子装置的知识来确定用户的最可能意图。例如，当处理语音输入时，检测到的电子装置可以提供情景，在该情景中语音输入由交互式游戏设备的自然语言处理引擎来解释。

一旦确定，就将这些游戏动作转化成实际指令，以使一个或多个检测到的电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能。为此，交互式游戏设备可以选择一个或多个检测到的电子装置，并确定指令以使所选择的一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能。在一些实施例中，交互式游戏设备至少基于所确定的能力来确定所检测到的电子装置中的哪一个或多个最适合于执行或至少近似于所确定的一个或多个游戏动作，并选择一个或更多个被确定为最合适的电子装置。该确定可以基于一组选择规则，例如启发式规则、将预定游戏动作映射到预定能力和/或电子装置的对应表、可操作以最小化预定成本函数的优化过程等，和/或其组合。具体地，在一些实施例中，转化确定的一个或多个游戏动作包括：

-基于所确定的一个或多个游戏动作和所确定的能力来选择一个或多个电子装置；

-基于所选择的电子装置的所确定的能力以及所确定的一个或多个游戏动作来确定用于所选的电子装置的指令。

在一些实施例中，游戏动作可以由一个以上电子装置的功能来表示。在一些实施例中，游戏动作甚至可能涉及多个电子装置彼此的交互。例如，一个电子装置可以获取传感器数据，并将获取的传感器数据传送给另一电子装置。这可以使另一电子装置响应于接收到的传感器数据执行相应的功能。因此，在一些实施例中，指令包括被配置为使两个或更多个检测到的电子装置彼此交互的指令。

确定游戏动作并转化成指令可以作为单独的连续步骤来执行。替代地，它们可以作为组合步骤来执行。这些步骤中的一个或两个都可以基于适当的几组规则执行，例如将接收到的输入映射到游戏动作的规则，或者将游戏动作映射到指令的规则，甚至是它们的组合。例如，可以从接收到的输入和一组游戏规则，例如定义了用于游戏的游戏进展的规则或者以其他方式将接收到的输入与游戏体验的演变相关联的规则，确定游戏动作和/或指令。游戏规则可以是直接将某些用户输入映射到某些输出动作的简单的确定性规则，而游戏规则的其他示例可能是更复杂的，例如取决于机会、环境因素、多玩家游戏设备中其他玩家的动作等。替代地，一个或两个步骤可以由人工智能引擎、机器学习引擎(例如经过适当训练的神经网络)或另一台适当的计算机实现的过程。在一些实施例中，处理器被配置为确定已执行的一个或多个功能的状态。然后，该处理器可以使用所确定的状态来触发对相同或不同电子装置的后续指令。为此，处理器可以被配置为使确定一个或多个子随后用户可感知的游戏动作和/或将后续游戏动作转化成一个或多个指令至少部分地基于所确定的状态。执行的一个或多个功能的状态可以包括关于该功能是否已经由相应的电子装置执行或者该功能已经执行的程度的确定。处理器可以以多种方式确定状态，例如通过从电子装置接收确认消息。替代地或附加地，游戏设备可以包括被配置为检测状态的传感器，并且处理器可以从指示检测到的状态的传感器接收传感器信号。例如，游戏设备可以包括光传感器或声音传感器；当处理器使电子装置发出光或声音时，光或声音传感器可以检测所发出的光或声音。然后，处理器可以响应于检测到的光或声音而使相同和/或另一电子装置执行另一功能。以这种方式，处理器能够控制涉及要响应于彼此执行的多个功能的游戏动作。以该方式，游戏设备可以模拟不同电子装置之间和/或游戏设备与一个或多个电子装置之间的交互。接收到的声音输入的示例可以包括由用户发出的声音，例如电子装置记录的语音、笑声、话语、拍手和/或声音。然后，处理器可以响应于所接收到的音频输入来触发其他功能。将会理解到，游戏设备可以包括替代的或附加的传感器，例如接近传感器、运动传感器等。

可以通过成本函数来控制确定和/或转化游戏动作，在所述成本函数中，将不同的候选游戏动作和/或不同的指令分配给相关联的成本，并且该过程可以选择涉及最低成本的游戏动作和/或指令。可以基于当前处理的输入，即通过定义指示游戏动作和/或指令与接收的输入相匹配的可能性的可能性度量(因此高可能性可以对应于低成本)，来计算与游戏动作和/或指令相关联的成本。

游戏动作和/或指令的确定可以至少部分地基于反馈输入或从用户接收的示例指令。

在一些实施例中，处理器被配置为接收指示环境参数的一个或多个环境输入，并且其中确定一个或多个用户可感知的游戏动作和/或转化所确定的一个或多个游戏动作至少部分基于接收到的一个或多个环境输入。环境参数的示例可以包括温度、天气条件、一天中的时间、交互式游戏设备附近的照明和/或声音、交互式游戏设备的地理位置等。环境参数的另一示例包括一个或多个电子装置的存在、位置、取向和/或操作状态。例如，处理器可以接收在附近存在另一个电子装置的指示。为此，游戏设备可以包括可操作以检测一个或多个电子装置的存在、位置、取向和/或操作状态的传感器。这样的传感器的示例可以包括可操作以检测来自其他蓝牙装置的信号强度的Wi-Fi检测器或蓝牙接收器。例如，这样的传感器可以附接到可移动装置，例如移动漫游车，因此其即使不必必须连接到Wi-Fi或蓝牙连接，也能够跟踪房间内的信号强度。

在一些实施例中，游戏动作可以指示游戏体验的输出或结果的用户可感知的表示，例如游戏人物或作为游戏体验的一部分的另一个对象的行为的表示，游戏状态的表示等。因此，游戏动作的转化可以包括将所确定的表示转换为可操作以使一个或多个检测到的电子装置执行至少近似于用户可感知的表示的功能的指令。

游戏动作可以导致用户可以视觉地、听觉地或者作为触觉输出感知的一个或多个输出。特别地，游戏动作可以表示例如在游戏场景内或发生放置场景的环境的不同动作者(例如，不同游戏人物、对象)的动作。

在一些实施例中，交互式游戏设备不仅执行对一个或多个电子装置的确定性用户激活的控制，而且向电子装置的激活添加自主行为/演变的元素，例如通过添加可能至少部分地基于随机或看似不可预测的事件的自主行为，或通过将随机性或不可预测性的元素添加到接收到的输入到游戏动作的转换中并进一步添加到用于控制电子装置的特定指令中。将理解的是，可以基于诸如交互式游戏设备的预定规则的一组规则来执行自主行为。因此，交互式游戏设备可以贡献或增加游戏体验，这可以为用户带来令人惊讶和愉悦的体验，和/或在继续游戏体验时激励用户。

在一些实施例中，交互式游戏设备可以包括转化规则的库，该转化规则的库可以是预定的，例如从主机系统下载的，和/或由特定的交互式游戏设备定制或适于顾客的，或者用于特定的交互式游戏设备，例如基于用户反馈、用户输入、机器学习过程等。交互式游戏设备可以允许经由社交媒体系统、文件共享系统、计算机网络等与其他交互式游戏设备共享定制或适于顾客的库。指令的确定可以包括从指令库中选择指令和/或基于一组转化规则来创建指令。

游戏动作被转化成的指令可以采用多种形式，例如符合适当的通信协议的命令消息、数字和/或模拟控制信号等。应当理解，交互式游戏设备可以经由一个或多个通信接口将指令传送到一个或多个检测到的电子装置，以便使所述一个或多个检测到的电子装置执行所述功能。取决于各自的电子装置，所传送的指令可以具有不同的格式，并且通信可以遵循不同的协议或标准。因此，检测电子装置和/或检测检测到的电子装置的能力可以包括对通信能力、通信协议等的检测。应当理解到，指令的形式可以在不同的电子装置上是统一的，或者它们可以在电子装置之间变化。在交互式游戏设备是包括多个单独单元(例如，包括一个或多个电子装置)的分布式设备的实施例中，使电子装置执行所述功能可以包括将指令从交互式游戏设备中包括的第一单元传送到交互式游戏设备中包括的一个或多个电子装置。第一单元可以是电子装置或中央控制器或集线器单元中的一个。第一单元可以单独或与交互式游戏设备中包括的其他单元协作执行确定游戏动作的步骤。

游戏动作的确定和转化，以及可选地，结果指令的传送可以与输入的接收同时进行，优选实时地进行。这里使用的术语实时是指这样的处理，其中当用户与交互式游戏设备交互时，即没有长的延迟，用户可以查看接收到的输入在电子装置上的效果。例如，在接收到输入与电子装置开始执行所得到的功能之间的延迟可以小于1分钟，例如小于30秒，例如小于10秒。在一些实施例中，该延迟足够短，以便在已经完全接收到随后一组接收输入之前，响应于一组一个或多个接收输入来至少启动功能的执行。因此，当用户和交互式游戏设备之间的游戏交互发展时，用户可以观看或以其他方式体验他/她的影响环境的输入动作。然而，将意识到，处理器可以被配置为延迟与游戏动作相关联的通过电子装置的一些或全部功能的执行，例如直到已发生触发事件为止，例如接收到外部输入，直到已引起另一功能，或直到已经过一定时间为止。例如，确定的游戏动作可以包括一系列功能，但是可能需要该游戏设备或电子装置之一来检测光的变化(借助于光传感器)或接收到的信号的变化(例如电子装置的外观或激活)，以便继续执行功能序列。在一个特定示例中，该游戏设备可以检测到在一范围内(例如在家庭Wi-Fi范围内)某人的电话并触发一些声音，但仅在一天的特定时间之后。

而且，体验该游戏体验的展开可以激励用户继续该游戏体验。甚至可以触发用户以探索交互式游戏设备如何解释某些输入以及这些输入对环境特别是对一定数量的电子装置有什么影响。

通常，电子装置的示例可以包括这样的电子装置：其能够例如经由蓝牙、Wifi和/或其他无线通信技术，例如使用超声波或红外通信进行有线或无线通信。交互式游戏设备可以被配置为检测交互式游戏设备附近和/或以其他方式与交互式游戏设备相关联的电子装置。更具体地，对电子装置的检测可以包括在交互式游戏设备的至少一个组件(例如，控制单元或集线器)的通信范围内对电子装置的检测。替代地或附加地，该检测可以包括检测这样的电子装置：其以其他方式与交互式游戏设备通信地相关联，例如连接到相同的通信网络，例如连接到预定的无线和/或有线局域网，或通过有线或无线连接通信连接到交互式游戏设备。在一些实施例中，可检测到的电子装置包括具有IoT功能的装置。对电子装置的检测可以基于适当的无线装置检测机制，例如，如从蓝牙装置等已知的。

电子装置的示例包括电子玩具，例如玩具构建系统的电子玩具构建元件；可遥控玩具，例如可遥控小汽车、无人机等；玩具机器人；智能照明装置或系统等。

在一些实施例中，交互式游戏设备是交互式游戏系统的组件，其中交互式游戏设备包括交互式游戏设备和一组一个或多个电子装置。例如，交互式游戏系统可以是玩具构建系统，其包括功能性玩具构建元件形式的电子装置，其可以响应于接收到的指令而执行一个或多个功能。交互式游戏设备可以被配置为仅检测作为交互式游戏系统的一部分的电子装置，而在其他实施例中，交互式游戏设备可以被配置为也检测非交互式游戏系统的一部分的电子装置。因此，在一些实施例中，交互式游戏设备可以作为集线器或操作系统来操作，该集线器或操作系统可以使自己意识到各种不同类型的电子装置。可以由交互式游戏设备的实施例检测并与之交互的电子装置的类型可以是非常异类的，并且不必限于电子玩具，而是还可以包括其他家用装置，例如灯、扬声器、音乐系统。特别地，交互式游戏设备可以被配置为与本身未设计为与另一系统甚至是公共系统的一部分一起工作的电子装置进行交互。

在一些实施例中，检测电子装置可以包括初步检测一组电子装置，并且选择一子组的初步检测到的电子装置作为检测到的电子装置，其中选择可以基于一组选择规则。选择规则可以例如是包括不适合与交互式游戏设备一起使用的装置的列表，例如出于安全原因、政策原因、父母控制原因等。替代地，选择规则可以包括允许与交互式游戏设备一起使用的电子装置的肯定列表。在这样的实施例中，交互式游戏设备可以被配置为仅选择肯定列表中包括的电子装置。在其他实施例中，选择规则可以包括允许能力的列表和/或被排除的能力的列表，并且可以在检测到初步检测到的电子装置的能力之后并基于初步检测到装置的能力的比较来执行选择。在一些实施例中，该选择甚至可以包括电子装置的可选的部分选择，例如其中仅使所述电子装置的某些检测到的能力可用于交互式游戏设备。在一些实施例中，装置检测可以基于装置简档或其他合适的装置检测机制。

装置能力的检测可以基于交互式游戏设备与检测到的电子装置之间的初始通信。在这种初始通信期间，电子装置可以是例如传送其装置类型或多个操作简档中的一个或多个可用装置简档、一组可用命令等到交互式游戏设备，从而允许交互式游戏设备确定检测到的电子装置能够执行的功能的数量以及电子装置接受哪些命令，以便调用可用功能。除了检测能力之外，交互式游戏设备还可以确定检测到的电子装置的其他属性，例如，它们的形状、大小、与它们相关联的主题等。这些属性的检测可以通过利用已知电子装置的属性的查找表或通过另一种合适的机制将属性从电子装置传送到交互式游戏设备来执行。例如，交互式游戏设备可以包括相机，并基于获取的装置的图像来检测电子装置的属性。

通常，所述能力可以包括可以由电子装置执行的功能，例如提供可以被用户感知的输出的功能，例如可见、听觉或触觉输出，例如整个电子装置或其一部分的运动；视觉输出，例如灯光效果、显示器等，或由电子装置播放的声音、语音、音乐、曲调等。功能的其他示例包括诸如通过麦克风、光传感器、加速计等来获取输入的功能。因此，所述能力可以包括电子装置的输出能力，用于通过所述电子装置产生一个或多个用户可感知的输出。替代地或附加地，所述能力可以包括用于通过所述电子装置获取一个或多个传感器输入的电子装置的输入能力。

电子装置可具有与其相关联的与不止一个电子装置相关联的一组通用能力(例如“行走”、“驾驶”、“交谈”、“移动”等)；以及特定于单个电子装置或特定于特定一类电子装置的一组特定能力(例如“扑火”、“像鲸鱼一样洒水”)。

检测所述装置的能力可以进一步包括确定由电子装置所接受的命令、控制信号或其他类型的指令，以便调用其各自的功能。因此，这些能力可以包括可用功能的列表或其他表示以及用于调用可用功能的相关指令。可以将所述能力检测为几组功能和相关指令；例如，不同的组可以被识别为电子装置所遵循的不同的操作简档或标准。

在一些实施例中，交互式游戏设备包括-例如已经存储在其上-电子装置的库，该库在其中存储有指示多个已知电子装置的数据记录，每个数据记录包括各个电子装置的一个或多个能力的信息。

交互式游戏设备可以包括一个或多个输入装置，用于从游戏设备的环境、用户或先前存储的输入中接收输入。输入可以是用户创建的输入、用户启动的输入或指示游戏设备的物理环境的属性的其他输入。例如，该游戏设备可以包括用于接收用户输入的一个或多个输入装置，例如游戏控制器、遥控器、操纵杆、输入棒、触摸屏、语音接口、用于检测用户身体或用户身体的部位的手势或其他运动的装置、用于检测眼睛运动的装置、相机、加速计、倾斜传感器等或其组合。用于从游戏设备的环境接收输入的输入装置的示例包括相机、运动传感器、热传感器、麦克风、接近传感器、RF信号传感器等。

在一些实施例中，交互式游戏设备的输入装置从多个用户接收语音和/或其他输入，以便允许一组用户合作以创建游戏体验。

在一些实施例中，所接收到的输入可以包括记录的音频输入，特别是可以与控制所述电子装置的处理器同时记录的口头叙述。替代地，输入可以为不同的形式，例如书面文本或预先记录的。因此，输入装置可以是语音记录器，例如包括一个或多个麦克风。输入装置的其他示例可以包括文本输入装置。来自游戏设备的环境的音频输入的其他示例可以包括用户创建或用户发起的声音，例如笑声、鼓掌声、电子装置发出的声音等。以这种方式，例如，游戏设备可以模拟多个装置之间的对话或其他形式的互动。

作为接收口头叙述替代或补充，所接收到的输入可以包括指示叙述的其他传感器数据。特别地，在一些实施例中，所接收到的输入表示场景内的一个或多个对象。在一些实施例中，输入可以代表场景随时间的演变。为此，输入可以包括图像，例如场景的视频流的静态图像或帧。例如，图像可以包括在不同时间点捕获的场景的图像序列。因此，输入装置可以包括相机，例如数字相机、深度相机、摄像机等。

交互式游戏设备因此可以被配置为接收图像，分析每个图像以便识别图像内的一个或多个对象、它们在场景中的位置和/或它们彼此之间的关系。为此，交互式游戏设备可以实施适当的视觉技术过程，例如使用经过训练的卷积神经网络、经过训练以识别图像中的对象。

将认识到，场景内的对象的识别也可以以其他方式来执行，例如，通过接收来自对象的无线电信号。在一些实施例中，对象可以被配置为检测彼此，例如通过无线电通信、近场通信、电信号等。然后，一个或多个对象可以将关于其自身以及关于场景内的其他对象的信息传送给交互式游戏设备，包括关于它们的相对位置的信息以及可选地，指示对象之间的关系或交互的其他属性。表示场景中的对象的替代或附加的输入数据可以包括来自检测到的RFID标签、QR码和/或类似物的数据。

不管表示场景内的对象的输入数据的类型如何，交互式游戏设备可以被配置为识别所检测到的对象的属性、行为、交互作用和/或关系，例如使用情景训练的递归神经网络(RNN)或其他类似的场景说明方法。

此外，当交互式游戏设备接收到在不同时间捕获的场景的图像，或其他表示场景内对象在不同时间点的输入数据时，交互式游戏设备可以提取事件的序列(例如时间序列)，每个事件代表以下一个或多个：对象存在、对象属性、对象行为、对象交互和/或关系。

在一些实施例中，交互式游戏设备被配置为基于提取的事件来识别操纵场景内的对象(例如，将对象定位在场景内、重新放置对象、添加或移除对象、改变对象的配置等)的用户的游戏意图。特别地，交互式游戏设备可以从事件序列中确定故事元素的序列。故事元素可以表示为句子或其他语法元素，或描述检测到的事件的另一种合适的数据结构。故事元素的该识别和/或创建可以例如基于适当的事件识别方法，例如递归神经网络、长短期记忆(RNN，LSTM)或类似方法。

最终，交互式游戏设备可以基于所识别的游戏意图或故事元素来确定一个或多个游戏动作，并且控制一个或多个电子装置以便实现例如如下所述的游戏动作。游戏动作可以包括播放基于识别出的播放意图或故事元素而选择的声音或视觉效果(灯光、动作等)。

因此，根据一个方面，本文公开了一种交互式游戏设备的实施例，其包括：

-输入装置，被配置为接收输入，

-一个或多个通信接口，

-一个或多个处理器；

其中一个或多个处理器被配置为：

a)经由输入装置接收一个或多个输入，该输入指示场景，该场景包括一个或多个对象；

b)检测场景中的一个或多个对象

c)检测所检测到的对象的位置和/或所检测到的对象之间的关系

d)提取场景中发生的事件序列，每个事件涉及一个或多个检测到的对象；

e)至少部分地基于所提取的事件序列来确定一个或多个用户可感知的游戏动作；

f)将所确定的一个或多个游戏动作转化成一个或多个指令，该指令可操作以使一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能；

g)使一个或多个检测到的电子装置执行所述一个或多个功能。

交互式游戏设备可以进一步被配置为检测一个或多个电子装置，并且对于每个检测到的电子装置，确定所述电子装置的一个或多个能力。交互式游戏设备因此可以至少部分地基于所检测到的各个电子装置的一个或多个能力来将游戏动作转化成指令。

在一些实施例中，用户与交互式游戏设备交互的一种或甚至主要的方式是通过告诉或以其他方式呈现一叙述到交互式游戏设备，即，输入可以是用户的记录的语音或另一种类型的代表叙述的输入。例如，如上所述的，用户可以操纵场景内的对象例如玩具，以便展开叙述。交互式游戏设备因此可以被视为实现了“故事母带(master)”，其在用户的物理环境中将用户的叙述输入转换为电子装置在用户的物理环境中的动作。

叙述通常包括故事元素序列；每个故事元素可以包括一个或多个句子或其他合适的句法实体，例如随时间变化的场景快照/图像。在一些实施例中，转化作为输入接收的叙述包括将语音或其他输入(例如，图像序列)转换为文本或故事元素的另一数字表示，例如，符合合适脚本语言的脚本或另一合适数据结构，其可以用作控制一个或多个电子装置的过程的输入。

因此，在一些实施例中，处理器被配置为：

-将故事元素序列中的第一故事元素转换为至少一第一动作；

-基于第一游戏动作和相应检测到的电子装置的检测到的一个或多个能力来确定指令。

在一些实施例中，每个故事元素包括至少一个句子、图像或其他句法实体，并且其中，处理器被配置为基于由所述序列的一个或多个先前故事元素定义的情景来转换第一故事元素。例如，处理器可以被配置为执行语音识别过程，包括语义分析以识别故事元素的文字含义和/或对故事元素的情景含义的理解。在其他实施例中，交互式游戏设备可以实现用于分析场景的图像的过程，例如实现图像说明处理以表示图像序列中图像的情景含义。

当所接收到的输入包括叙述时，例如确定游戏动作可以基于本领域本身已知的自然语言处理系统，例如基于神经网络或其他机器学习技术的系统，例如如聊天机器人所知的。在其他实施例中，该过程可以基于经训练以分析场景的图像或其他表示的卷积神经网络和/或递归神经网络。

在一些实施例中，控制电子装置可以基于一个或多个替代或附加输入，例如基于来自游戏控制器的输入，基于检测到的手势，基于一个或多个捕获的图像或基于记录的视频或其他类型的输入。一个或多个图像或视频可描绘场景和/或一个或多个真实世界的对象和/或用户的手势。用户输入的其他示例可以包括跟踪的用户的眼睛运动、GPS或其他位置信息、一天中的当前时间、当前季节(例如，冬天、夏天)、用户的检测到的情绪(例如，通过测量生理参数来测量)、房间的亮度、来自其他用户(例如远程用户)或来自经由计算机或通信网络的另一个数据处理系统的输入。在一些实施例中，用户输入可以从记录的声音中提取，该记录的声音包括用户说出叙述和/或其他音频信息的语音，例如音乐或其他声音。通常，所接收到的输入还可以包括先前存储的输入(例如，存储在计算机网络上的云或另一主机中并随后从其检索出)和/或存储的或实时的机械/运动输入。因此，输入装置可以包括存储装置。

在特定示例中，交互式游戏设备可以接收描绘场景的一个或多个捕获的图像或视频，该场景可以包括一个或多个现实世界的对象。在一些实施例中，一些或所有对象可以由一个或多个电子装置控制。交互式游戏设备可以例如是当控制真实世界的对象时，使用场景的捕获图像来检测电子装置的功能和/或其他属性。替代地或附加地，交互式游戏设备系统可以识别所描绘的场景的特征并响应于识别的特征来创建游戏动作。类似地，交互式游戏设备可以识别所描绘的场景中的一个或多个现实世界对象和/或涉及现实世界对象的运动或其他变化，并响应于所识别的现实世界对象和/或变化来创建游戏动作，并相应地控制检测到的和/或其他电子装置的行为。特别地，可以基于所接收到的图像/视频和用户输入(诸如所接收到的叙述)的组合来执行电子装置的控制。替代地，如本文所述的，所接收到的图像可以代表叙述；因此，所接收到的图像可能是唯一的输入，或者可能与其他输入组合在一起。

在一些实施例中，真实世界的对象可以是玩具，例如由玩具构建元件组装的玩具构建模型，该玩具构建元件可选地包括功能性玩具构建元件，例如可以由交互式游戏设备检测和控制以执行各自的功能的马达、灯光、声音装置。当交互式游戏设备在捕获的图像或视频中识别出某些玩具时，系统可以确定它们各自的能力和/或其他属性。

例如，用户可以在讲述涉及玩具的故事的同时操纵相机前面的电子玩具。游戏设备可以响应于用户所讲的故事并且可选地响应于通过用户的现实世界玩具的检测到的运动或其他操纵，来检测和识别电子玩具并控制电子玩具和/或其他检测到的电子装置。因此，交互式游戏设备可以观察在相机前面的用户和/或用户的身体创作，并相应地控制检测到的电子装置。

将理解的是，可以在没有相机和/或没有基于捕获图像的电子装置、能力或其他属性的检测到的情况下实现其他实施例。通常，交互式游戏设备可以以各种方式，例如从捕获的图像，借助于RFID读取器、条形码读取器、QR码读取器或可操作以检测与电子装置相关联的对应代码(例如，RFID标签、条形码、QR码等)的另一代码读取器，来检测电子装置，可选地其能力和/或其他属性。检测电子装置和/或其能力的其他方式可以包括在交互式游戏设备和电子装置之间的RF通信或另一种合适的通信技术，例如NFC通信、经由有线/电流连接的通信等。

当存在输入(例如从用户接收的叙述)中断或暂停时，交互式游戏设备还可以暂停对电子装置的控制。替代地，交互式游戏设备可以继续控制电子装置，例如，基于预定的默认游戏场景，可以根据到目前为止收到的输入进行可选地修改。因此，即使用户输入暂停时，物理游戏环境也可以继续发展。因此，用户可以观察游戏环境的自主演变，并将其用作继续游戏体验的灵感。例如，以这种方式，故事情节可以交互地并且在某种程度上自主地演变，从而提供意想不到的娱乐性效果。

在一些实施例中，处理器可以被配置为确定接收到的输入(例如，叙述)所指的至少一个对象，并确定所确定的对象的至少一个承受能力。对象和/或承受能力的确定可以至少部分地基于所接收到的输入；可选地，对象和/或承受能力的确定可以至少部分地基于进一步的输入，例如，一个或多个捕获的图像。因此，处理器可以至少部分地基于所确定的对象来选择所检测到的电子装置中的一个或多个。例如，处理器可以选择具有对应于/匹配所确定的承受能力的能力的电子装置。选择可以基于所确定的对象并且可选地基于所确定的承受能力。例如，该过程可以选择与所确定的对象一致的电子装置，-例如具有与所确定的对象相同的一个或多个属性-以及具有至少一个与所确定的承受能力相一致的能力。确定的对象可以例如是是与游戏动作相关联的动作者，其中游戏动作表示动作者执行的功能/行为。

在一些实施例中，交互式游戏设备例如通过测量参数，例如用户会话的持续时间、在用户输入之间的暂停的频率和/或长度，通过检测用户的情绪(例如通过测量生理参数、通过检测来自于语音输入的情绪，例如检测笑声等)，来收集在游戏体验期间的反馈信息。替代地或附加地，交互式游戏设备可以在游戏会话完成之后，例如通过记录随后的评论，通过允许用户激活表情符号等，来收集反馈。然后，响应于随后接收到的相同和/或随后的游戏会话的输入，例如通过加强某些选择(例如某些游戏动作和/或指令)并压制其他选择，将收集到的反馈用作对游戏动作和/或指令的确定的附加输入。应当理解到，反馈方式不一定检测到用户输入的“正确”和“错误”解释，而是使用户感到有趣或导致用户继续延长时间段的交互和/或关于指示用户对电子装置行为的反应的其他参数的解释。因此，在一些实施例中，处理器被配置为记录指示用户会话的一个或多个参数的反馈信息，该用户会话包括一个或多个输入的接收；以及其中处理器被配置为至少部分地基于所记录的反馈信息来处理随后接收的输入。

交互式游戏设备可以实施为适当编程的计算机，包括适当的输入接口和适当的用于与电子装置通信的通信接口。通信接口和输入接口可以集成到计算机中，或者可以作为外围设备连接到计算机。

交互式游戏设备也可以被实现为分布式系统。例如，交互式游戏设备可以包括客户终端和主机系统。客户终端可以包括输入接口和通信接口，而主机系统可以包括处理器，该处理器被配置为执行能力的确定和/或游戏动作的确定和/或游戏动作到指令的转化。主机系统和客户终端可以经由合适的计算机网络或通信网络连接。在分布式系统中，多个用户的多个客户终端可以连接到单个主机系统，例如以便与共享的电子装置进行协作交互。

在分布式实现的另一示例中，交互式游戏设备包括一个或多个物理上分离的单元，例如包括一个或多个电子装置，其中由交互式游戏设备执行的不同功能可以由单独的单元中的相应一个执行。在一些实施例中，电子装置可以执行将游戏动作转换成指令。例如，交互式游戏设备的中央集线器单元可以确定游戏动作并将游戏动作的表示传送给多个电子装置。电子装置可以基于它们各自的能力来确定它们能够执行哪些功能，以便至少近似于游戏动作。电子装置可以将关于特定游戏动作的可用功能的信息返回给集线器单元。然后，集线器单元可以选择一个或多个功能，并且将指令传送到相应的电子装置，以便使它们执行所选择的功能。在另一个实施例中，适当功能的选择可以由电子装置以分布式的方式来执行，例如以基于裁决方案，其中电子装置交换有关与确定的游戏动作相关的可用功能的信息。交换的信息可以包括针对每个可用功能的适合性得分，以便允许电子装置选择合适的功能，例如，具有最高适用性得分的功能。

通常，当参考交互式游戏设备执行操作时，将理解到，交互式游戏设备的处理器和/或另一组件/单元可以执行该操作。

此处和下文中，术语“处理器”旨在包括适配于执行本文所述功能的任何电路和/或装置和/或系统。特别地，以上术语包括通用或专用的可编程微处理器，例如计算机或其他数据处理系统的中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、专用电子电路等，或其组合。处理器可以被实现为多个处理单元。

交互式游戏设备可以包括实现交互式游戏设备的各种功能的合适的计算机程序。例如，计算机程序可以被存储在交互式游戏设备的合适的存储装置上，并且可以由交互式游戏设备的处理器，例如适当编程的微处理器，执行。该计算机程序可以实现交互式游戏设备的各种功能模块，例如包括装置检测器、能力检测器、行为引擎、故事转化器、故事收听器等。将会理解到，游戏设备的功能可以以不同的方式分为程序模块。例如，上述功能模块中的一些可以被集成到单个模块中，而其他功能模块可以被分解成子模块。交互式游戏设备可以进一步包括一个或多个库，例如选自于以下库：游戏规则库、预定游戏动作库、电子装置及其相关能力的库；用户输入和游戏动作之间的关联库、游戏动作和指令的关联库等。

本公开涉及不同的方面，包括上面和下面描述的交互式游戏设备、相应的设备、系统、方法和/或产品，每一个都产生结合一个或多个其他方面描述的一种或多种益处和优点，并且每个具有与结合一个或多个其他方面描述和/或在所附权利要求中公开的实施例相对应的一个或多个实施例。

特别地，本文描述了控制交互式游戏设备的计算机实现的方法的实施例，该方法包括：

a)检测一个或多个电子装置；

b)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

c)经由输入装置接收一个或多个输入，例如用户输入、来自游戏设备环境的输入、存储的输入等；

d)至少部分地基于接收到的一个或多个输入来确定一个或多个用户可感知的游戏动作；

e)将确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个检测到的电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能，其中，转化至少部分地基于所检测到的各个电子装置的所检测到的一个或多个能力；

f)使一个或多个电子装置执行一个或多个功能。

根据另一方面，一种控制交互式游戏设备的计算机实现的方法包括：

a)检测一个或多个电子装置；

b)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

c)经由输入装置接收一个或多个输入；输入指示场景，该场景包括一个或多个对象；

d)检测场景内的一个或多个对象

e)检测所检测到的对象的位置和/或所检测到的对象之间的关系

f)提取场景中发生的事件序列，每个事件都涉及一个或多个检测到的对象；

g)至少部分地基于所提取的事件序列来确定一个或多个用户可感知的游戏动作；

h)将所确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能；

i)使一个或多个电子装置执行一个或多个功能。

根据一个方面，一种数据处理系统被配置为执行本文公开的方法之一的实施例的步骤。特别地，数据处理系统可以具有存储在其上的计算机程序，该计算机程序包括计算机可执行指令，该计算机可执行指令在由数据处理系统执行时使数据处理系统执行本文描述的过程的实施例。

根据又一方面，一种计算机可读介质具有存储在其上的指令，这些指令在由一个或多个处理单元执行时使该处理单元执行本文描述的过程的实施例。该计算机程序包括程序代码，该程序代码适于在由处理装置执行时使该处理装置执行本文描述的一种或多种方法。该计算机程序可以被实施为计算机可读介质，例如具有存储在其上的计算机程序的CD-ROM、DVD、光盘、存储卡、闪存、磁存储装置、软盘、硬盘等。在其他实施例中，计算机程序产品可以被提供为可下载的软件包，例如在Web服务器上用于通过互联网或其他计算机或通信网络下载，或者作为应用程序从App Store下载到移动装置。

通过参考附图进行的以下实施例的详细描述，其他特征和优点将变得显而易见。

附图说明

将结合附图更详细地描述本发明的优选实施例，在附图中，

图1示出了交互式游戏设备的示例的示意性框图；

图2示出了电子装置的示例的示意性框图；

图3示出了交互式游戏设备的另一示例的示意图；

图4示出了交互式游戏设备的示例的使用；

图5示出了用于控制交互式游戏设备的过程的示例的示意性流程图；

图6示出了图5的过程的子过程的示例的示意性流程图；

图7示意性地示出了行为推断系统的示例；

图8示意性地示出了交互式游戏设备的功能组件；

图9示意性地示出了通常由附图标记930表示的交互式游戏设备的另一示例的功能组件，该交互式游戏设备被配置为接收叙述作为输入；

图10A-B示出了识别的场景的示例。

具体实施方式

图1示出了通常由附图标记100表示的交互式游戏设备的示例的示意性框图。

交互式游戏设备100包括输入装置101。交互式游戏设备还包括处理单元102、通信接口103、存储器104或其他合适的数据存储装置以及传感器105。

将会理解，交互式游戏设备的其他实施例可以包括一个以上的输入装置和/或一个以上的处理单元和/或一个以上的通信接口。还将理解，交互式游戏设备的替代实施例可以包括不同数量的传感器，例如没有传感器或不止一个传感器。类似地，一些交互式游戏设备可以不包括任何单独的数据存储装置，或者可以包括多个数据存储装置；例如，处理单元和/或渲染装置可以包括内部存储器，或者游戏设备可以访问外部数据存储装置，例经由计算机网络。

输入装置101可以包括键盘、鼠标、触摸屏、游戏控制器、棒、相机等。在一些实施例中，输入装置包括麦克风，例如配置为记录表示用户语音以及可选地其他声音的音频信号的麦克风。在一些实施例中，输入装置可以从游戏设备的环境接收其他形式的输入(例如，声音、光、信号等)。

输入装置连接到处理单元102，并被配置为转发接收到的输入，例如表示记录的音频信号、视频信号等的音频信号，到处理单元。为此，输入装置可以包括电路，其处理接收到的输入，例如通过滤波、衰减、放大、模数转换等，并转发处理后的输入。替代地，输入装置可以经由适当的信号处理单元连接到处理单元，该信号处理单元执行上述信号处理中的一些或全部。在一些实施例中，处理单元102包括至少一些信号处理能力。

处理单元102可以是适当编程的微处理器，例如适当编程的计算机的CPU。在替代实施例中，处理单元可以被实施为ASIC或其他合适的处理电路。处理单元接收所接收到的输入，例如来自输入装置101的用户输入并处理接收到的输入，以便至少从接收到的输入中确定游戏动作。处理单元可以进一步将游戏动作转换成对电子装置200A-C的指令。下面将更详细地描述由处理单元执行的过程的实施例。

为此，处理单元102联接到存储器104或其他合适的数据存储装置。存储器可以在其上存储游戏规则、与已知电子装置相关联的数据等。存储器104还可以在其上存储其他相关信息、数据(例如，用户创建的内容)、一个或多个参数和/或属性、一个或多个程序以执行如本文公开的功能等。

通信接口103可以包括一个或多个装置或被配置为与一个或多个电子装置200A-C通信的电路，如本文所述的。通信接口可以被配置为经由一种或多种合适的通信协议和技术(诸如蓝牙)，另一种形式的射频通信，例如无线局域网，或经由其他无线技术，例如基于红外的通信、基于超声的通信等，促进有线和/或无线通信。

在一些实施例中，交互式游戏设备仅基于接收到的用户输入来控制电子装置，而在其他实施例中，交互式游戏设备基于接收到的用户输入并基于进一步接收到的环境输入来控制电子装置。例如，交互式游戏设备可以包括一个或多个环境传感器105，例如相机或其他图像捕获装置、GPS传感器、深度相机等。一个或多个环境传感器可以在交互式游戏设备附近和/或在用户附近响应于代表物理环境的一个或多个方面和/或特征的一个或多个传感器输入。每个传感器105适于将传感器信号转发到处理单元102，该信号对应于或代表由相应传感器105获得或提供的传感器输入。替代地或附加地，处理装置可以经由通信接口103从一个或多个检测到的电子装置接收一个或多个传感器信号。

因此，在一些实施例中，处理单元102被配置为响应于从一个或多个环境传感器105接收到的传感器信号来控制电子装置。因此，游戏体验可以基于传感器105在物理环境中感测或检测到的内容或受其影响而被特别地适配。

将理解的是，交互式游戏设备100的一些实施例可以包括附加的或替代的组件，诸如另外的界面、显示器、输出装置等。

图1的不同框可以在相应的不同物理装置中实现，或者替代地，它们中的一些或全部可以在单个物理装置中实现。所示的连接可以是有线连接，无线连接或它们的混合。

图2示出了总体上指定为200的电子装置的示例的示意性框图，该电子装置与本文所述的交互式游戏设备一起使用或甚至包括在其中。

电子装置200包括处理单元202、通信接口203和功能装置206。

应当理解，电子装置的其他实施例可以包括替代或附加的组件，例如输入装置、传感器、存储器等。应当进一步理解，电子装置的替代实施例可以包括不同数量的处理单元、通信接口和/或功能装置。

处理单元202可以是适当编程的微处理器，例如适当编程的计算机的CPU。在替代实施例中，处理单元可以被实施为ASIC或其他合适的处理电路。处理单元连接到通信接口203，以允许处理单元从交互式游戏设备或其一部分接收数据或与之交互数据。处理单元202还连接到功能装置206，以控制和/或接收来自功能装置206的信号。例如，功能装置206可以包括致动器或可操作以执行用户可感知功能的其他输出装置。然后，处理单元可以被配置为响应于经由通信接口的相应指令的接收来控制功能装置执行相应功能。替代地，处理单元可以被配置为经由通信接口203接收识别游戏动作的信息，处理接收到的信息以识别功能装置206可执行的并且至少近似游戏动作的表示的功能。然后，处理单元可以将指令转发到功能装置，以便使功能装置执行所识别的功能。功能装置的示例可以包括马达、光源、音频源、振动器、线性致动器等。

功能装置的其他示例可以包括传感器或其他输入装置，例如光传感器、接近传感器、麦克风、加速计、倾斜传感器等。处理单元可以从传感器或其他输入装置接收输入信号。在一些实施例中，处理单元经由通信接口将输入信号或处理后的输入信号转发至交互式游戏设备、另一电子装置和/或交互式游戏设备的另一部分。当电子装置既包括输出装置又包括输入装置时，处理单元可以至少部分响应于接收到的输入信号来控制输出装置。

通信接口203可以包括一个或多个装置或被配置为与一个或多个其他电子装置以及交互式游戏设备或其一部分进行通信的电路。通信接口可以被配置为经由一种或多种合适的通信协议和技术(诸如蓝牙)，另一种形式的射频通信，例如无线局域网，或经由其他无线技术，例如基于红外的通信；基于超声波的通信等，促进有线和/或无线通信。

图2的不同框可以在相应的不同物理装置中实现，或者替代地，它们中的一些或全部可以在单个物理装置中实现。所示的连接可以是有线连接、无线连接或它们的混合。

图3示出了交互式游戏设备的另一示例的示意图。特别地，图3示出了交互式游戏设备100的示例，其被实现为包括多个单独的单元300、200A，200B的分布式设备。在该示例中，交互式游戏设备100包括集线器单元300和两个单独的电子装置200A和200B。在该示例中，集线器单元300包括输入装置101、处理单元102以及通信接口装置103和存储器104，所有这些都如结合图1描述的。可选地，集线器单元300还包括功能装置306，例如如结合图2的电子装置所描述的功能装置。电子装置200A和200B可以是如结合图2所描述的电子装置。在该示例中，集线器单元300和电子装置都被配置为经由它们各自的通信接口相互通信。因此，可以以各种方式在单独的单元之间分配交互式游戏设备的功能。在图3的示例中，集线器单元可以检测电子装置200A-B的存在。集线器单元可以进一步接收所接收到的输入并响应于此确定游戏动作。集线器单元可以将与所确定的游戏动作有关的信息传送到电子装置200A-B；然后，集线器单元和电子装置可以确定对相应功能装置的适当指令，例如，基于适当的裁决程序。应当理解，作为对集线器单元203的输入装置101的替代或另外地，电子装置200A-B中的一个或两者可以包括输入装置，并将接收到的输入的信息传送到集线器单元203和/或其他电子装置。

将会理解，集线器单元203可以进一步检测其他电子装置200C的存在，这些其他电子装置200C不能参与这种裁决过程，例如，因为它们可能无法分析游戏行为来确定合适的指令。因此，集线器单元203可以检测电子装置200C的能力，并确定针对电子装置的指令，并将所确定的指令传送至电子装置200C。

图4示出了交互式游戏设备100和电子装置200A-C的示例的使用。在图4的示例中，交互式游戏设备100可以实施为适当编程的计算机，例如平板计算机、台式计算机等。交互式游戏设备100可以例如是结合图1所描述的类型的。电子装置200A可以具有例如玩具机器人的形式，类似于骑士，包括使玩具机器人运动的马达/致动器和光源和/或声源，以产生可见和/或听觉效果。电子装置200B是可遥控的车辆，其包括用于推动和操纵车辆的马达。电子装置200C是手持式投影仪，其可控制以将图像或其他视觉效果投影到诸如墙壁的表面上。然而，将会理解，游戏系统可以包括具有替代或附加能力的替代或附加电子装置。交互式游戏设备100被配置为检测电子装置200A-C的存在并检测其能力。交互式游戏设备100或电子装置之一包括麦克风。

在该实施例中，交互式游戏设备被配置为将由用户440告知的叙述记录到麦克风中，以处理叙述并基于叙述的内容来控制电子装置200A-C。

交互式游戏设备100或电子装置200A-C的一个或多个附加传感器可以获取代表物理环境的一个或多个方面和/或特征的另外的传感器输入，例如，以便检测并有选择地识别物理对象。然后，由交互式游戏设备处理麦克风信号以及可选的其他传感器信号。根据该示例，交互式游戏设备100检测电子装置200A-C及其各自的能力，例如，基于射频通信，例如使用蓝牙，或通过其他合适的装置检测机制，例如使用可见标记、RFID标签、电连接等。以此方式，各个识别符(identifier)可以从电子装置传送到交互式游戏设备100，交互式游戏设备可以在数据库中查找该识别符或类似地以确定所识别的电子装置的能力。数据库结构可以将每个已知的电子装置与一个或多个相关联的属性链接，交互式游戏设备可以使用该属性来选择电子装置以执行与所记录的叙述相关联的某些功能。作为示例，数据库可以将属性“骑士”与电子装置200A相关联。分配给机器人的替代或附加属性可以包括“图”属性(例如，不同于“车辆”属性)、尺寸属性、指示电子装置的运动能力的属性和/或其他属性、能力、馈赠、行为等。

然后，交互式游戏设备基于所接收到的叙述和传感器信号来确定游戏动作。例如，在接收到句子“骑士跟随小汽车”之后，交互式游戏设备可以确定涉及骑士对象跟随小汽车对象的游戏动作。交互式游戏设备还可以基于数据库中关于检测到的装置200A-C的信息，确定电子装置200A是最合适的代表骑士对象的装置，电子装置200B是最合适的代表小汽车对象的装置。交互式游戏设备可以进一步确定到电子装置200A的指令以沿着由指令限定的路径四处走动，以及确定到电子装置200B的指令以绕相应的路径移动。然后，交互式游戏设备将指令传送到相应的电子装置。

在一些实施例中，该循环被重复，即传感器可以连续地或间歇地提供更新的传感器信号(代表物理环境内的潜在变化)，并且麦克风可以连续地记录用户的叙述。交互式游戏设备然后可以确定相应的指令并将其传送给相应的电子装置。

图5示出了用于基于诸如记录的叙述的接收到的输入来控制如本文所述的交互式游戏设备的过程的示例的示意性流程图。该过程可以由图1、3A-B和4中的任何一个的交互式游戏设备来执行。

在初始步骤S1中，该过程初始化游戏体验。初始化通常包括初始化表示游戏体验各方面的合适的数据结构。特别地，初始化可以包括检测交互式游戏设备可以与之通信的可用电子装置，包括确定它们各自的能力以及可选地其他属性。在一些实施例中，初始化还包括游戏情境的创建，例如一组游戏规则的检索、游戏主题的定义、游戏体验受限的物理空间的定义等。一些相关参数和游戏体验方面的选择可以是预定的、可以基于用户选择、基于检测到的电子装置等来随机选择。将理解的是，在一些实施例中，电子装置的检测和/或游戏体验的其他方面的确定可以在游戏体验的过程中重复或以其他方式动态地更新。

在随后的步骤S2中，该过程确定是否输入，诸如用户输入、例如叙述的故事元素已收到。输入可以直接从输入装置接收，或者从同时输入处理过程S8接收。例如，当输入包括记录的叙述时，同时进行的音频处理过程(也称为故事收听器)可以从麦克风接收音频信号，并执行初始信号和自然语言处理，以便将接收到的音频信号转换为故事元素序列，例如句子或其他句法结构。如果没有接收到输入，则过程进行到步骤S3；否则，过程进行到步骤S3。否则，过程进行到步骤S4。

在步骤S3，该过程根据当前包括在游戏体验中的电子装置的空闲行为来控制电子装置。因此，当用户沉默或被动时，游戏体验可能会继续发展到一定程度。空闲行为可以是与每个电子装置相关联的预定行为。替代地，空闲行为可以至少在某种程度上基于随机因素，例如，多个替代空闲行为的随机选择。在一些实施例中，电子装置的空闲行为可以取决于游戏事件或与游戏体验相关联的其他事件，例如与其他电子装置的接近度、存在的其他电子装置的类型和/或物理环境的其他方面，例如一天中的时间、一年中的时间等。应当理解，在一些实施例中，代替空闲行为，游戏体验可以简单地停止/暂停，即，在一些实施例中，游戏体验在输入暂停期间不会演变。无论如何，过程进行到步骤S5。

在步骤S4，该过程分析接收到的输入，以便确定响应于接收到的输入的游戏动作。游戏动作)可以由对象和由对象执行的功能/行为定义。该对象可以称为动作者。例如，当输入是诸如“骑士跟随小汽车”之类的口语故事元素时，该过程可以确定两个游戏动作：第一游戏动作可以具有将小汽车表示为动作者并且将动作表示为行为的对象，而第二游戏动作可以具有将骑士表示为动作者以及将与该小汽车实体的移动相关的动作表示为行为的对象。然后，该过程确定哪个电子装置可以代表哪些对象/动作者以及它们如何代表相关的行为。例如，该确定可以基于检测到的电子装置的属性和已知能力。

在一些实施例中，如果接收到的输入包括叙述，则该过程可以处理接收到的故事元素并将该故事元素映射到一些或所用可用电子装置的动作上。因此，在该步骤中，过程识别故事元素所指哪些对象和相关行为，以及哪个电子装置可以表示相应的对象以及它们如何表示相关的行为。因此，该过程可以识别电子装置中的一个或多个以及所识别的电子装置的行为/功能。将参考图6更详细地描述映射过程的示例。

在随后的步骤S5中，该过程确定应该如何控制电子装置以便至少以近似方式执行所确定的行为功能，即，该过程确定对各个电子装置的特定控制指令。游戏动作可能涉及一个、一些或甚至全部电子装置。如上面结合步骤S3所述的，或者基于基于先前输入确定的行为，可以根据它们各自的空闲行为来控制不受当前游戏动作影响的另一电子装置。该过程进一步将确定的控制指令发送到相应的电子装置。然后，该过程停止或返回到步骤S2，以检查是否已经接收到另一输入。

图6示出了图5的过程的步骤S4的子过程的示例的示意性流程图。

在该子过程的初始步骤S41中，过程识别接收到的输入是指哪个对象。例如，如果接收到的输入是作为叙述的一部分的故事元素，则该过程可以执行适当的自然语言处理技术以识别故事元素中所指的对象。在一些实施例中，该步骤基于人工智能引擎或神经网络等。该步骤本身可以包括几个子任务，例如以下中的一个或多个：语音/单词分割、语音识别、主题分割和识别、单词感消除歧义等。该步骤导致适用于进一步处理的故事元素的中间表示，例如基于对口语文本名词、字面意思、它们在特定情景中的含义等的分析。该识别可以利用叙述中先前提到的与和游戏体验相关联的主题有关和/或与一个或多个检测到的电子装置相关联的对象列表。该过程可以选择最可能的对象，例如基于指示故事元素所指相应对象的可能性的合适成本函数。例如，成本函数可能偏向于在叙述中先前已经提及的对象或与所检测到的电子装置之一的一个或多个属性匹配的对象。而且，该过程可以确定要选择的对象的承受能力，例如基于识别的文本，并基于检测到的电子装置及其能力进行选择。因此，与不具有与之相关联的任何此类兼容行为的对象相比，具有与该对象相关联的、与一个或多个检测到的电子装置中所确定的能力兼容的一个或多个行为的对象可以被分配更高的可能性。例如，如果故事元素被识别为“龙飞走了”，则该过程可以将高可能性得分(即低成本)分配给可以与具有与之相关的“龙”属性的电子装置相关联的对象。在那些对象中，与具有相关的行为/能力“飞行”的电子装置相关的对象(例如玩具无人机(drone))将获得进一步降低的成本。如果该过程先前已识别出标有龙的对象，并且该龙具有与之关联的行为“飞行”，则该过程将极有可能选择已存在的龙。另一方面，如果虚拟世界已经包含龙，但是该龙没有与之关联的属性“飞行”，则该过程可以用另一条龙代替该龙。

在步骤S42，该过程识别所识别的对象的行为。同样，在以故事元素形式输入的示例中，此步骤可以基于对故事元素中的动词(例如走路、说话、飞行等)、表示行为(例如生气的、高兴的)的形容词、副词等的分析。行为与一个或多个所识别的对象相关联。对象和/或行为的识别可以基于适当的行为推断系统，例如如图7中所示的。为了表示所识别的行为，在随后的步骤S43，过程首先尝试将所识别的行为映射到电子装置的已知行为/能力上，该电子装置可以与该行为所涉及的对应对象相关联。为此，每个电子装置可以具有与之相关联的它们能够表示或者具有其他类型的能力的多个已知行为；一些行为可以定义为特定对象的特定行为，而其他行为可以定义为用于对象类。通常，该系统可以包括各种复杂程度的行为：在低水平上，电子装置可以具有一些基本功能，例如预定的运动、声音、视觉效果等。一些电子装置还可以具有相关的功能，例如抬起玩具消防车的梯子。在较高水平上，电子装置可能具有更复杂的行为，例如，收集房间中的物品、灭火、创建代表某种情绪的照明或声音等。这些复杂的行为可以定义为更多基本行为和/或功能的组合和/或顺序。将理解的是，步骤41和42可以组合成单个步骤。

如果电子装置具有与之关联的识别的行为，则过程进行到步骤S44以选择该行为并返回到主过程(即，进行到图5的步骤S5)。

如果在步骤S43中，该过程没有将电子装置的任何已知行为识别为匹配的行为/能力，则过程进行到步骤S45，并试图识别所检测到的电子装置中的另一个的匹配的行为/能力，或者多个电子装置的能力的组合的匹配行为/能力，例如另一电子装置具有与所识别对象相同的许多属性。例如，该过程可以寻找与在适当的分类法中与当前识别的电子装置的属性具有较小距离(根据适当的距离量度来测量)的属性相关联的电子装置。替代地，如果该行为与动作者的运动有关，则该过程可以搜索具有执行该类型的运动的能力的电子装置。

如果该过程检测到这样的相关电子装置，则该过程进行到步骤S46，并且在返回到主过程之前，选择另一电子装置代替最初选择的电子装置。

如果在步骤S45处找不到合适的行为，则该过程可以恢复为默认行为或随机选择的行为(步骤S47)，或者该过程可以选择与所识别的行为相似的行为。然后该过程返回到主过程。

图7示意性地示出了行为推断系统的示例，该行为推断系统通常由附图标记720表示，用于基于故事元素或其他类型的接收到的输入来选择行为。行为推断系统基于合适的行为推断模型721，该模型例如可以通过人工智能引擎、神经网络、机器学习过程、分层决策树等来实现。一种非常简单的模型类型可以基于查找表，例如实施同义词库或分类法。该模型的主要输入是当前接收到的输入723，例如从上述语音识别步骤获得的故事元素或中间表示。在一些实施例中，模型进一步接收多个较早的输入。例如，模型可以接收输入的滑动窗口，其中该窗口可以具有固定或可变的长度。

模型的输出包括识别出的对象726。模型进一步输出识别出的对象的行为727，即，当前将由代表该对象的电子装置所代表的行为。

除了所接收到的输入723之外，模型还从对象和/或电子装置的库725中检索信息，该信息表示对象及其相关能力。因此，模型可以从已知对象和行为的库中选择适当的对象和行为。

该模型可以接收替代的或进一步的信息722，例如关于物理环境、关于来自远程用户、来自虚拟世界等的输入，因为它们也可能影响由模型721选择的行为。替代或进一步的输入可以被接收作为单独的输入或作为同时接收(并且优选地被处理)的输入流，或者作为用户输入的接收和处理的替代。来自物理环境的输入可以例如是包括有关当前在物理环境中存在的检测到的电子装置的信息，可选地它们的位置以及当前由它们执行的行为/功能，描述游戏体验的当前状态的状态变量等。因此，模型可以确定如何基于用户输入和/或基于当前游戏体验和物理环境的当前情景控制电子装置。关于物理环境的信息可以是从附加传感器或其预处理版本接收的传感器信号的形式。

例如，交互式游戏设备可以包括捕获物理环境的图像的相机。交互式游戏设备可以处理捕获的图像以检测和识别现实世界中的对象，例如检测到的电子装置。然后，模型721可以将识别出的对象映射到相应的对象及其行为。例如，库725可以包括具有与其相关联的属性“龙”的多个不同对象，每个对象具有不同的能力和相关的行为。有些龙可能有翅膀，可以飞，而其他则不能。当该过程在捕获的图像中识别出特定的现实世界中的龙时(例如，有翅膀的龙)，模型可以选择匹配的对象(有翅膀的对象)，从而当用户的叙述或其他用户输入指“龙”时减少歧义。类似地，该过程可以在捕获的图像中检测现实世界对象和/或用户的运动(例如，手势)，并将检测到的运动与叙述或其他用户输入的内容相关。用户因此可以创建对系统的输入，例如通过口头叙述，同时通过表演出故事的一部分。

该模型可以进一步接收指示游戏体验的一个或多个性能标准的反馈724。该反馈可以是用户的明确反馈，例如为用户可以在游戏体验结束时或游戏体验期间提供的“喜欢”、“不喜欢”、“害怕”、“有趣”选择的形式的。其他形式的反馈可能更间接，例如通过在捕获的图像中检测用户的模拟或手势，或通过检测用户语音的特征，或通过检测用户创建的某些声音(例如笑声等)。可以将反馈用于增强模型的某些选择，同时抑制其他。

该模型的其他可能的输入可以包括系统配置，例如实施父级用户施加的限制。

图8示意性地示出了通常由附图标记830表示的交互式游戏设备的功能组件，该交互式游戏设备被配置为接收叙述作为输入。功能组件可以由由交互式游戏设备的一个或多个处理单元执行的软件模块来实现，并且它们可以执行结合图5描述的过程。一些或所有功能模块可以被同时执行并且馈送它们各自的输出到其他过程中。为了允许实时处理代表故事元素(例如句子)序列的音频信号的输入流，这可能是有用的。然而，将理解到，可以替代地实现该过程的不同结构。

系统830包括故事收听器模块831，其接收音频信号并执行语音识别的初始阶段，例如情景噪声抑制、声学和语音处理、语音分析、单词识别、语法分析等。故事收听器可以创建故事元素序列。故事收听器的输出被馈送到故事转化器832，故事转化器832可以执行更高级别的语音识别任务，例如语义分析，以识别故事元素的字面意思或对故事元素的情景含义的理解。故事转化器将处理后的故事元素馈送到故事元素转换器833中，该故事元素转换器833执行故事元素到对象和行为上的映射，如结合图6和7所描述的。应当理解到，在一些实施例中，故事收听器和故事转化器可以传送中来操作，例如当故事转化器将反馈发送到故事收听器时，故事收听器将根据该反馈转发更新的故事元素。在系统的其他模块之间也可以实现类似的反馈回路。

故事元素转换器将其输出(例如，所识别的对象、它们的属性和行为或脚本或其他合适的数据结构)馈送到装置控制器834。装置控制器834更新代表检测到的电子装置835的数据结构，即代表电子装置当前操作状态的数据结构。装置控制器和故事元素转换器检索电子装置的当前状态，作为对其各自处理的进一步输入。最后，装置控制器834例如通过向电子装置发送相应的指令来控制电子装置的操作。

图9示意性地示出了通常由附图标记930表示的交互式游戏设备的另一示例的功能组件，该交互式游戏设备被配置为接收叙述作为输入。在图9的示例中，叙述部分地或全部地由非语言输入表示。特别地，叙述由场景中检测到的对象、它们的交互作用和/或随时间的演变，例如当该场景由用户操纵时。将理解的是，在一些实施例中，叙述可以由口头叙述和检测到的场景演变的组合来表示。例如，用户可以在朗读故事的同时操纵场景中的对象，而交互式游戏设备可以记录用户的声音并在场景被用户操纵时捕获场景。

交互式游戏设备930的功能组件可以由由交互式游戏设备的一个或多个处理单元执行的软件模块来实现，并且它们可以执行结合图5描述的过程。一些或所有功能模块可以被同时执行并将它们各自的输出馈送到其他进程。这是有用的，以便允许实时处理代表故事元素序列(例如，句子、图像说明、场景描述等)的输入信号的输入流。然而，将理解到，可以替代地实现该过程的不同结构。

该系统930包括场景分析器931，该场景分析器931从一个或多个传感器接收输入，例如来自相机的一系列图像/视频帧、指示检测到的对象的电信号等。基于所接收到的输入，场景分析器可以检测场景中的对象、它们的位置、属性、行为、交互作用和/或关系。

为此，场景分析器931可以实现对象识别过程和情景检测过程。

对象识别过程检测并识别场景中的一个或多个对象。例如，对象识别过程可以借助于一个或多个训练的从相机接收场景的图像的卷积神经网络(CNN)来检测场景中的对象，例如如WO 2016/075081中所述的，其全部内容通过引用并入本文。替代地或附加地，对象识别过程可以从对象接收信号，例如代表对象之间的信号或来自任何其他可检测对象位置的输入类型的信号。

情景检测过程可以识别检测到的对象的属性、行为、交互作用和关系。为此，情景检测过程可以实现一个或多个情景训练的递归神经网络(RNN)或其他合适的图像说明方法。

例如，可以由情景检测过程识别的情景的示例可以取决于对象的类型。例如：

-玩偶可以保持对象、走路、说话或驾驶小汽车，但不能飞行

-小汽车可以由玩偶驾驶，但不能说话或走路

-警车可以和小汽车一样，但也可以启动闪光灯和警笛

场景分析器931可以重复地执行对象识别过程和情景检测过程，例如以便生成事件序列(例如时间序列)，这些事件具有描述游戏意图和情景的对象存在、属性、行为、交互作用和关系：可以从视频序列中的帧和/或从多个电信号采样中生成序列。因此，事件代表场景中的对象所播放的叙述的故事元素，例如当用户操纵场景中的对象时。

场景分析器的输出被馈送到故事转化器932，其可以执行更高级别的识别任务。特别地，故事转化器可以基于从场景分析器收集的事件来识别游戏意图和情景。为此，故事转化器可以实现一种或多种合适的事件识别方法，例如基于递归神经网络、长短期记忆(RNN，LSTM)或类似方法的方法。

故事转化器将处理后的故事元素馈送到故事元素转换器933中，该故事元素转换器933执行故事元素到对象和行为/动作上的映射，例如如结合图6和7所描述的。应当理解到，在一些实施例中，场景分析器和故事转化器可以在传送中操作，例如当故事转化器将反馈发送到场景分析器时，场景分析器将基于该反馈转发更新的故事元素。在系统的其他模块之间也可以实现类似的反馈回路。

故事元素转换器将其输出(例如，所识别的对象、它们的属性和行为或脚本或其他合适的数据结构)馈送到装置控制器934。装置控制器934更新代表检测到的电子装置935的数据结构，即代表电子装置的当前操作状态的数据结构。装置控制器和故事元素转换器检索电子装置的当前状态，作为对其各自处理的进一步输入。最后，装置控制器934例如通过向电子装置发送相应的指令来控制电子装置的操作。

图10A-B示出了识别的场景的示例。特别地，图10A示出了已经由如本文所述的交互式游戏设备的相机捕获的场景的第一图像的示例。图10B示出了随后已被如本文所述的交互式游戏设备的相机捕获的相同场景的后续图像的示例。图10A-B还示出了指示通过场景分析器的对象识别过程已经在图像中识别出的对象的帧。例如，图10A-B的图像可以是视频序列的帧。

基于上述识别出的对象，情景检测过程可以例如推断出以下场景情景：“警察在威尼斯抓到了小偷”

特别地，场景分析器可以分析图10A中所示的第一图像，并创建第一事件“他的警车中的警察在威尼斯追赶小偷”。类似地，场景分析器可以分析图10B中所示的后续图像，并创建后续事件“警察在威尼斯已抓获了小偷”。场景分析器因此可以将这些事件作为事件序列馈送到故事转化器中，例如情景算法，例如递归神经网络等，其从事件序列中确定总体游戏意图或情景。例如，故事转化器可以确定故事元素“警察正在追捕小偷，威尼斯的警察将小偷抓获。

故事元素转换器然后可以使声音输出装置输出警笛的声音并随后大声喊叫，和/或控制光源以模拟警灯闪烁。

因此，该过程能够确定场景中的对象背后的情景含义，并且因此能够理解用户操纵场景中的对象的游戏意图。

例如，这样的过程可以通过视觉深度卷积神经网络处理接收到的图像，然后由语言生成递归神经网络来处理所述卷积神经网络的输出来实现，

尽管已经参考某些特定实施例描述了本发明，但是在不脱离如所附权利要求所概述的本发明的精神和范围的情况下，其各种修改对于本领域技术人员将是显而易见的。

Claims (22)

1.一种交互式游戏设备，包括：

-输入装置，被配置为接收输入，

-一个或多个通信接口，

-一个或多个处理器；

其中一个或多个处理器被配置为：

a)检测一个或多个电子装置；

b)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

c)经由输入装置接收一个或多个输入；

d)至少部分地基于接收到的一个或多个输入来确定一个或多个用户可感知的游戏动作；

e)将确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个检测到的电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能，其中，转化至少部分地基于所检测到的各个电子装置的检测到的一个或多个能力；

f)使一个或多个检测到的电子装置执行所述一个或多个功能。

2.根据权利要求1所述的交互式游戏设备，其中，交互式游戏设备包括存储介质，该存储介质具有存储在其上的一组游戏规则，并且其中，还基于所存储的游戏规则来确定一个或多个用户可感知的游戏动作。

3.根据权利要求2所述的交互式游戏设备，其中，转化所确定的一个或多个游戏动作包括：

-基于所确定的一个或多个游戏动作和所确定的能力来选择一个或多个电子装置；

-基于所选择的电子装置的所确定的能力以及基于所确定的一个或多个游戏动作，确定用于所选择的电子装置的指令。

4.根据前述权利要求中的任一项所述的交互式游戏设备，其中，所接收到的输入表示包括故事元素序列的叙述，并且其中处理器被配置为

-将故事元素序列中的第一故事元素转换为至少一第一游戏动作；

-基于第一游戏动作和检测到的各个电子装置的所检测到的一个或多个能力来确定指令。

5.根据前述权利要求中的任一项所述的交互式游戏设备，其中所述能力包括电子装置的输出能力，用于通过所述电子装置产生一个或多个用户可感知的输出。

6.根据前述权利要求中的任一项所述的交互式游戏设备，其中所述能力包括电子装置的输入能力，用于通过所述电子装置获取一个或多个传感器输入。

7.根据前述权利要求中的任一项所述的交互式游戏设备，其中所述输入指示场景，该场景包括一个或多个对象，并且其中一个或多个处理器被配置为：

-检测场景内的一个或多个对象；

-检测所检测到的对象的位置和/或所检测到的对象之间的关系；

-提取场景中发生的事件序列，每个事件涉及一个或多个检测到的对象；

-至少部分地基于所提取的事件序列来确定一个或多个用户可感知的游戏动作。

8.一种交互式游戏设备，包括：

-输入装置，被配置为接收输入，

-一个或多个通信接口，

-一个或多个处理器；

其中一个或多个处理器被配置为：

a)经由输入装置接收一个或多个输入，该输入指示场景，该场景包括一个或多个对象；

b)检测场景内的一个或多个对象；

c)检测所检测到的对象的位置和/或所检测到的对象之间的关系；

d)提取该场景中发生的事件序列，每个事件涉及一个或多个检测到的对象；

e)至少部分地基于所提取的事件序列来确定一个或多个用户可感知的游戏动作；

f)将确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能；

g)使一个或多个检测到的电子装置执行所述一个或多个功能。

9.根据权利要求7和8中的任一项所述的交互式游戏设备，其中，一个或多个输入包括描绘场景的一个或多个图像。

10.根据权利要求7和8中的任一项所述的交互式游戏设备，其中，一个或多个输入包括一个或多个信号，该信号指示一个或多个对象的各自身份以及场景内的对象的至少相对位置和/或场景内的对象之间的关系。

11.根据前述权利要求中的任一项所述的交互式游戏设备，其中，所接收到的输入表示包括故事元素序列的叙述。

12.根据权利要求11所述的交互式游戏设备，其中每个故事元素包括至少一个句子或其他句法实体，并且其中处理器被配置为基于由所述序列的一个或多个先前故事元素定义的情景来转换第一故事元素。

13.根据前述权利要求中的任一项所述的交互式游戏设备，其中，一个或多个处理器还被配置为接收指示环境参数的一个或多个环境输入，并且其中，确定一个或多个用户可感知的游戏动作和/或转换所确定的一个或多个游戏动作还基于接收到的一个或多个环境输入。

14.根据前述权利要求中的任一项所述的交互式游戏设备，其中，所述指令包括被配置为使两个或更多个检测到的电子装置彼此交互。

15.根据前述权利要求中任一项所述的交互式游戏设备，其中输入装置包括语音记录器，并且其中所接收到的输入包括记录的语音。

16.根据前述权利要求中的任一项所述的交互式游戏设备，包括电子装置的库，该库具有存储在其中的指示多个已知电子装置的数据记录，每个数据记录包括相应的电子装置的一个或多个能力的信息。

17.根据前述权利要求中的任一项所述的交互式游戏设备，其中，所述处理器被配置为记录指示用户会话的一个或多个参数的反馈信息，所述用户会话包括所述一个或多个输入的接收，其中处理器被配置为至少部分地基于所记录的反馈信息来处理后续输入。

18.一种控制交互式游戏设备的计算机实现的方法，该方法包括：

a)检测一个或多个电子装置；

b)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

c)经由输入装置接收一个或多个输入；

d)至少部分地基于所接收到的一个或多个输入来确定一个或多个用户可感知的游戏动作；

e)将所确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个检测到的电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能，其中，转化至少部分地基于所检测到的各个电子装置的所检测到的一个或多个能力；

f)使一个或多个电子装置执行一个或多个功能。

19.一种控制交互式游戏设备的计算机实现的方法，该方法包括：

j)检测一个或多个电子装置；

k)对于每个检测到的电子装置，确定所述电子装置的一个或多个能力；

l)经由输入装置接收一个或多个输入；该输入指示场景，该场景包括一个或多个对象；

m)检测该场景内的一个或多个对象；

n)检测所检测到的对象的位置和/或所检测到的对象之间的关系；

o)提取该场景中发生的事件序列，每个事件都涉及一个或多个检测到的对象；

p)至少部分地基于所提取的事件序列来确定一个或多个用户可感知的游戏动作；

q)将所确定的一个或多个游戏动作转化成一个或多个指令，该一个或多个指令可操作以使一个或多个电子装置执行至少近似于所确定的一个或多个游戏动作的一个或多个功能；

r)使一个或多个电子装置执行一个或多个功能。

20.一种数据处理系统，其被配置为执行根据权利要求18或19所述的计算机实现的方法。

21.一种计算机程序产品，包括计算机程序，该计算机程序被配置为当由数据处理系统执行时使所述数据处理系统执行权利要求18或19所述的方法的步骤。

22.根据权利要求21所述的计算机程序产品，实施为有形计算机可读介质，该有形计算机可读介质具有存储在其上的计算机程序。

Images