CN110770692B - 从存储器传输数据以管理图形输出延时 - Google Patents

Abstract

本发明提供了从存储器传输数据以管理图形输出延时的系统和方法。具有显示器的设备接收携带查询的声信号。该设备确定无线控制器处于第一状态。该设备基于接收到声信号以及确定无线控制器设备处于第一状态，为由计算设备渲染以经由显示设备显示的图形用户界面建立第一交互模式。该设备将预取参数设置为第一值并预取对应数量的电子内容项目。该设备建立第二交互模式并将预取参数的第一值覆写为第二值，并且预取与第二值相对应的第二数量的电子内容项目。

Description

从存储器传输数据以管理图形输出延时

背景技术

接口有限的计算设备会给远场环境中有效地通信带来挑战，这可能导致图形用户界面或其部分的渲染延迟或者导致过度使用存储器。

发明内容

本公开总体上涉及提高从存储器传输数据以管理图形输出延时的效率和有效性。本公开的系统和方法涉及响应于交互模式来调整由计算设备提供的图形用户界面。例如，如果交互模式是语音，则可以建立图形用户界面以便进行语音控制。如果交互模式从仅语音更改为遥控，则系统可以检测到交互模式的更改，然后针对遥控动态地调整图形用户界面。所述计算设备可以进一步从滚动模式(例如，在语音交互模式下)切换到分页模式(例如，在遥控模式下)。所述计算设备可以基于滚动或分页来调整预取量，以便减少响应于指令而渲染图形用户界面的延时。

至少一个方面涉及一种从存储器传输数据以管理图形输出延时的系统。所述系统可以包括计算设备，该计算设备具有以通信方式耦合至显示设备和麦克风的一个或多个处理器。所述系统可以包括由计算设备执行的自然语言处理组件。计算设备可以接收携带查询的声信号。该声信号可以由麦克风检测。所述计算设备可以确定可操作来控制计算设备的无线控制器设备处于第一状态。所述计算设备可以基于接收到声信号以及确定无线控制器设备处于第一状态，为由计算设备渲染以经由显示设备显示的图形用户界面建立第一交互模式。所述计算设备可以基于图形用户界面处于第一交互模式，将预取参数设置为第一值。所述计算设备可以响应于查询和预取参数，预取与第一值相对应的第一数量的电子内容项目。所述计算设备可以基于检测到无线控制器设备处于与第一状态不同的第二状态，为图形用户界面建立第二交互模式。所述计算设备可以响应于为图形用户界面建立第二交互模式，将预取参数的第一值覆写为与第一值不同的第二值。所述计算设备可以响应于预取参数被覆写为第二值，预取与第二值相对应的第二数量的电子内容项目。

至少一个方面涉及一种从存储器传输数据以管理图形输出延时的方法。所述方法可以由计算设备执行，该计算设备包括以通信方式耦合至显示设备和麦克风的一个或多个处理器。所述方法可以包括：计算设备接收携带查询的声信号。可以由麦克风检测声信号。所述方法可以包括：计算设备确定可操作来控制计算设备的无线控制器设备处于第一状态。所述方法可以包括：计算设备基于接收到声信号以及确定无线控制器设备处于第一状态，为由计算设备渲染以经由显示设备显示的图形用户界面建立第一交互模式。所述方法可以包括：计算设备基于图形用户界面处于第一交互模式，将预取参数设置为第一值。所述方法可以包括：计算设备提供以第一交互模式配置的图形用户界面以经由显示设备显示。所述方法可以包括：计算设备响应于查询和预取参数，预取与第一值相对应的第一数量的电子内容项目。所述方法可以包括：计算设备响应于检测到无线控制器设备进入了与第一状态不同的第二状态，为图形用户界面建立第二交互模式。所述方法可以包括：计算设备响应于检测到无线控制器设备进入了第二状态，将预取参数的第一值覆写为与第一值不同的第二值。所述方法可以包括：计算设备响应于预取参数被覆写为第二值，预取与第二值相对应的第二数量的电子内容项目。

下面详细讨论这些方面和其他方面以及实施方式。以上信息和以下详细描述包括各个方面和实施方式的说明性示例并提供用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供对各个方面和实施方式的说明和进一步理解并且并入本说明书且构成本说明书的一部分。

附图说明

附图并非旨在按比例绘制。各图中相同的附图标号和标记指示相同的元素。为清楚起见，可以不在每个附图中标记每个组件。在附图中：

图1是从存储器传输数据以管理图形输出延时的系统的图示。

图2是从存储器传输数据以管理图形输出延时的系统的操作的图示。

图3是从存储器传输数据以管理图形输出延时的方法的图示。

图4是图示出计算机系统的总体架构的框图，该计算机系统可以用于实施本文描述和图示的系统和方法的元素。

具体实施方式

下面更详细地描述有关经由计算机网络路由分组动作的方法、装置和系统及其实施方式的各种概念。上面介绍和下面更详细讨论的各种概念以许多方式中的任一方式来实现。

本公开总体上涉及提高从存储器传输数据以管理图形输出延时的效率和有效性。本公开的系统和方法涉及响应于交互模式来调整由计算设备提供的图形用户界面。例如，如果交互模式是语音，则可以建立图形用户界面以进行语音控制。如果交互模式从仅语音更改为遥控，则系统可以检测到交互模式的更改，然后针对遥控动态地调整图形用户界面。计算设备可以进一步从滚动模式(例如，在语音交互模式下)切换到分页模式(例如，在遥控模式下)。计算设备可以基于滚动或分页来调整预取量，以便减少响应于指令而渲染图形用户界面的延时。

本解决方案可以通过动态地调整预取的电子内容量来减少资源消耗、处理器利用率、电池消耗、带宽利用率、数据文件大小、或图形引擎消耗的时间量。

本解决方案可以促进与接口有限的计算设备进行交互，这样的计算设备超出可及范围或不具有触摸输入，这里的主要交互是基于语音或经由遥控器。为此，本解决方案可以提供用于提供在显示设备上显示的图形用户界面的新颖技术。例如，图形用户界面可以包括单行用户界面或一维用户界面。在一维用户界面中，滚动交互可以是一维的，从而降低语音交互的复杂性。对于基于遥控的交互，计算设备可以提供全屏结果与多行结果。

因此，根据模态，计算设备可以提供一行或多行或者以其他方式调整与图形用户界面相关联的参数。可以响应于交互方式而调整图形用户界面。

例如，计算设备可以接收携带查询的声信号。该声信号可以对应于来自用户的话音。查询可以包括“show me action movie(给我看动作影片)”。计算设备可以识别几个动作影片，然后经由图形用户界面以一维的行或列显示三个影片。计算设备可以响应于诸如“next(下一个)”的语音命令而滚动浏览清单。然而，计算设备可以响应于语音命令而滚动多个项目，而不是一次滚动一个图标或一个电子项目。例如，计算设备可以滚动整行图标(例如，3个、4个、5个、6个、12个或更多个)到下一页。

如果计算设备检测到遥控器存在并是活动的，则计算设备可以修改图形用户界面的交互模式。计算设备可以将位于图形用户界面边界处的最后一个图标显示为部分图标(例如，显示一半图标)，以指示遥控器可以滚动浏览项目清单。计算设备可以通过突出显示图标而进一步聚焦图标，以指示遥控器可以选择哪个图标。

当图形用户界面是分页模式与滚动模式时，计算设备可以使用不同的预取参数。例如，在分页模式下，计算设备可以预取整页有价值的电子内容项目，而如果计算设备处于滚动模式，则计算设备可以预取一个电子内容项目。由于在不同模式下的不同资源考虑，计算设备可以调整预取参数以减少延时，因此可以视选择有效地渲染电子内容项目。

图1图示出从存储器传输数据以管理图形输出延时的示例系统100。系统100可以包括数据处理系统102。数据处理系统102可以经由网络105与一个或多个数据提供者设备108、或者一个或多个计算设备104进行通信。网络105可以包括诸如因特网、局域网、广域网、城域网或其他区域网的计算机网络、内联网、卫星网络、以及诸如语音或数据移动电话网络的其他通信网络。网络105可以被用于访问诸如电子内容项目、媒体内容、网页、web站点、域名、或统一资源定位符的信息资源，可以在诸如膝上型计算机、桌面型计算机、平板型计算机、个人数字助理、智能电话、便携式计算机、扬声器、智能电视、机顶盒、数字媒体播放器、微控制器、联网电器、或娱乐设备的至少一个计算设备104上呈现、输出、渲染、或显示该信息资源。例如，经由网络105，计算设备104的用户可以访问由数据提供者108提供的信息或数据。计算设备104可以包括或可以不包括显示器；例如，计算设备可以包括有限类型的用户接口，诸如显示设备128、传感器130(例如，麦克风)、扬声器132、或遥控器设备134。在一些情况下，计算设备104的主用户接口可以是麦克风和扬声器132。

网络105可以包括或构成显示网络，例如，因特网上可用的与内容放置或搜索引擎结果系统相关联、或者有资格包括第三方内容项目作为内容项目放置活动的信息资源的子集。计算设备104或数据处理系统102可以使用网络105来访问可以通过客户端计算设备104呈现、输出、再呈、或显示的信息资源，诸如网页、web站点、域名、或统一资源定位符。例如，经由网络105，客户端计算设备104的用户可以访问由数据提供者计算设备108提供的信息或数据。

网络105可以是任何类型或形式的网络并可以包括以下任何一种：点对点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光纤网络)网络、SDH(同步数字体系)网络、无线网络和有线网络。网络105可以包括无线链路，诸如红外信道或卫星频带。网络105的拓扑可以包括总线型、星形或环形网络拓扑。网络可以包括移动电话网络，其使用用于在移动设备之间进行通信的任何一种或多种协议，包括高级移动电话协议(“AMPS”)、时分多址(“TDMA”)、码分多址(“CDMA”)、全球移动通信系统(“GSM”)、通用分组无线服务(“GPRS”)或通用移动电信系统(“UMTS”)。可以经由不同的协议传送不同类型的数据，或者可以经由不同的协议传送相同类型的数据。

系统100可以包括至少一个数据处理系统102。数据处理系统102可以包括至少一个逻辑设备，诸如具有处理器的计算设备，该处理器经由网络105与例如计算设备104或数据提供者设备108进行通信。数据处理系统102可以包括至少一个计算资源、服务器、处理器或存储器。例如，数据处理系统102可以包括位于至少一个数据中心的多个计算资源或服务器。数据处理系统102可以包括多个逻辑分组的服务器并促进分布式计算技术。服务器的逻辑组可以称为数据中心、服务器场、或机器场。服务器也可以在地理位置上分散。数据中心或机器场可以作为单个实体来管理，或者该机器场可以包括多个机器场。每个机器场内的服务器可以是异构的——服务器或机器中的一个或多个可以根据一种或多种类型的操作系统平台来操作。

机器场中的服务器可以连同关联的存储系统一起存放在高密度机架系统中并位于企业数据中心。例如，通过在本地化高性能网络上定位服务器和高性能存储系统，以这种方式整合服务器可以提高系统易管理性、数据安全性、系统的物理安全性和系统性能。集中包括服务器和存储系统在内的全部或一些数据处理系统102组件并将它们与高级系统管理工具耦合，允许更高效地使用服务器资源，这节省功率和处理需求并减少带宽使用。

系统100可以包括、访问至少一个数据提供者设备108，或以其他方式与之交互。数据提供者设备108可以包括至少一个逻辑设备，诸如具有处理器的计算设备，该处理器经由网络105与例如计算设备104或数据处理系统102进行通信。数据提供者设备108可以包括至少一个计算资源、服务器、处理器或存储器。例如，数据提供者设备108可以包括位于至少一个数据中心的多个计算资源或服务器。数据提供者设备108可以包括数据处理系统102的一个或多个组件或功能。

计算设备104可以包括至少一个接口110、至少一个自然语言处理器(“NLP”)组件112、至少一个数据存储库118、至少一个模式检测器组件114、或至少一个提取组件116，与之对接，或以其他方式与之通信。计算设备104也可以包括至少一个显示设备128、传感器130、扬声器132、或遥控器设备134，与之对接，或以其他方式与之通信。计算设备104可以经由有线或无线通信技术对接这些组件或与之通信。

显示设备128可以包括图4中描绘的显示器435的一个或多个组件或功能。传感器130可以例如包括麦克风、环境光传感器、接近传感器、温度传感器、加速计、陀螺仪、运动检测器、GPS传感器、位置传感器、或触摸传感器。扬声器132可以包括将电脉冲或磁脉冲转换成声音的换能器、扬声器或装置。计算设备104可以包括接口110，该接口包括向硬件扬声器132提供软件接口的音频驱动器。接口110的音频驱动器可以执行音频文件或音频流或者由计算设备104或数据处理系统102的组件提供的其他指令，以控制扬声器132生成对应的声波或声音波。

接口110可以被设计、配置、构建或操作来例如使用数据分组来接收并传送信息。接口110可以使用诸如网络协议的一个或多个协议来接收并传送信息。接口110可以包括硬件接口、软件接口、有线接口、或无线接口。接口110可以包括或提供图形用户界面或语音交互界面。接口110可以经由显示设备128渲染图形输出。接口110可以促进将数据从一种格式转译或格式化成另一种格式。例如，接口110可以包括应用编程接口，该应用编程接口包括用于在诸如软件组件的各种组件之间进行通信的定义。

遥控器设备134可以是指控制计算设备104的某个方面或功能或者以其他方式与计算设备104或数据处理系统102通信的无线控制器设备或其他设备。例如，遥控器设备134可以包括用于接收输入并将该输入的指示提供给计算设备104或数据处理系统102的一个或多个电路、无线模块、传送器、电源、输入接口(例如，图4中描绘的输入设备430)和一个或多个传感器(例如，传感器130)。遥控器设备134可以经由按钮、开关、触摸界面、或手势来接收输入。在一些情况下，遥控器设备134可以是可操作来通信或控制计算设备104的独立遥控器。在一些情况下，遥控器设备134可以是指在一种类型的计算设备上执行的软件应用，其中该软件应用被配置成与计算设备104或数据处理系统102进行通信。例如，遥控器设备104可以包括由智能电话、平板型计算机、智能手表、或平板型计算机执行的应用。

计算设备104可以包括NLP组件112，该NLP组件被配置成检测关键词并基于该关键词执行动作。该NLP组件112可以在过滤掉一个或多个词语，或在将词语传送到数据处理系统102以供进一步处理之前修改词语。计算设备104的NLP组件112或由其执行的NLP组件112可以被称为本地NLP组件或客户端侧NLP组件。计算设备102的NLP组件112可以将由麦克风检测到的模拟音频信号转换为数字音频信号，并经由网络105将携带该数字音频信号的一个或多个数据分组传送到数据处理系统102。在一些情况下，NLP组件112可以响应于检测到用于执行这种传送的指令而传送携带一些或全部输入音频信号的数据分组。该指令可以例如包括触发关键词、热词、或者其他关键词或批准将包括输入音频信号的数据分组传送到数据处理系统102，以供数据处理系统102的NLP组件112(其可以被称为服务器NLP组件或云NLP组件)进一步处理。

客户端计算设备104可以与终端用户相关联，该终端用户将语音查询作为音频输入(例如，经由传感器130)输入客户端计算设备104并接收计算机生成的语音形式的音频输出，该音频输出可以从数据处理系统102(或数据提供者计算设备)提供给客户端计算设备104并从扬声器132输出。计算机生成的语音可以包括来自真人的录音或计算机生成的语言。

数据存储库118可以包括一个或多个本地数据库或分布式数据库并可以包括数据库管理系统。数据存储库118可以包括计算机数据储存器或存储器并可以存储一个或多个预取参数数据结构120和对应值、一个或多个模式数据结构122、模板数据结构124、和电子内容项目数据结构126、以及其他数据。预取参数数据结构120(或数据文件)可以包括规则、逻辑、值、阈值、要点或其他数据，这些数据促进从各种源预取数据，以便减少延时，诸如渲染图形数据输出的延时。预取参数数据结构120(或数据文件)可以包括一个或多个值，诸如预取的数据量、预取的数据类型、预取的电子内容项目数目、预取数据的位置(例如，预取数据的存储位置，诸如存储器、主存储器、缓存器、或存储器地址)。模式数据结构122(或数据文件)可以是指计算设备102的交互模式的类型。交互模式的类型可以例如包括仅语音交互模式、遥控器设备交互模式、三维手势模式、眼动跟踪模式或它们的组合。模式122可以包括用于进入一种模式或从一种模式切换到另一种模式的规则、逻辑、条件、事件或触发。模式数据结构122可以包括默认模式。

模板124可以包括用于渲染或填充图形用户模板的模板、形式、规则、或其他结构。模板124可以包括用于响应于交互模式来选择模板的逻辑。电子内容项目126可以包括用于显示设备128上的视觉输出、扬声器132上的音频输出、或者关联的元数据或多媒体内容的内容项目。电子内容项目126可以包括媒体标题、电影、电视节目、视频、音频、在线文档、图像、动画、或其他内容。

接口110、NLP组件112、模式检测器组件114、和提取组件116可以各自包括配置成与数据库存储库或数据库118进行通信的至少一个处理单元或其他逻辑设备，诸如可编程逻辑阵列引擎或模块。接口110、NLP组件112、模式检测器组件114、提取组件116和数据存储库118可以是单独的组件、单个组件、或计算设备104的一部分。系统100及其组件、诸如计算设备104可以包括硬件元件，诸如一个或多个处理器、逻辑器件、或电路。

数据处理系统102可以包括至少一个NLP组件112，与之对接，或以其他方式与之通信。数据处理系统的NLP组件112可以被称为数据处理系统NLP组件、服务器NLP组件或云NLP组件。数据处理系统102可以包括至少一个内容选择器组件138，与之对接，或以其他方式与之通信。数据处理系统102可以包括至少一个音频信号发生器136，与之对接，或以其他方式与之通信。数据处理系统102可以包括至少一个数据存储库140，与之对接，或以其他方式与之通信。至少一个数据存储库140可以在一个或多个数据结构或数据库中包括或存储电子内容项目126。数据存储库140可以包括数据存储库118的一个或多个方面或功能。数据存储库118可以包括从数据存储库140接收的数据。例如，存储在数据存储库118(例如，称为“本地数据存储库”)中的电子内容项目126可以包括存储在数据存储库140中的电子内容项目126的子集。在一些情况下，内容选择器组件138可以从数据存储库140中选择电子内容项目126并提供所选的电子内容项目的子集，以存储在计算设备上的客户端数据存储库118中。

NLP组件112、音频信号发生器组件136或内容选择器组件138可以各自包括配置成与数据库存储库或数据库140进行通信的至少一个处理单元或其他逻辑器件，诸如可编程逻辑阵列引擎或模块。NLP组件112、音频信号发生器组件136或内容选择器组件138和数据存储库140可以是单独的组件、单个组件或数据处理系统102的一部分。系统100及其组件，诸如数据处理系统102，可以包括硬件元素，诸如一个或多个处理器、逻辑器件或电路。

数据处理系统102可以获取与多个计算设备104相关联的匿名计算机网络活动信息。计算设备104的用户可以肯定地授权数据处理系统102获得与该用户的计算设备104相对应的网络活动信息。例如，数据处理系统102可以提示计算设备104的用户准许获得一种或多种类型的网络活动信息。计算设备104的用户的身份可以保持匿名，并且计算设备104可以与唯一标识符(例如，由数据处理系统或计算设备的用户提供的用户或计算设备的唯一标识符)相关联。数据处理系统可以将每个观察结果与对应的唯一标识符相关联。

数据处理系统102可以包括安装在客户端计算设备104处的应用、脚本或程序，诸如用于将输入音频信号通信到计算设备104的接口110以及用于驱动客户端计算设备的组件来渲染输出音频信号的app。数据处理系统102可以接收包括或识别输入音频信号的数据分组或其他信号。例如，数据处理系统102可以执行或运行NLP组件112，以接收或获得音频信号并解析音频信号。例如，NLP组件112可以促进人与计算机之间的交互。NLP组件112可以配置有用于理解自然语言并允许数据处理系统102从人类或自然语言输入中推导出含义的技术。LP组件112可以包括或配置有基于诸如统计机器学习的的机器学习的技术。NLP组件112可以利用决策树、统计模型、或概率模型来解析输入音频信号。NLP组件112可以例如执行诸如如下功能：命名实体识别(例如，给定文本流，该组件可以确定文本中的哪些项目映射到合适的名称，诸如人或地点，以及每个这样的名称是何种类型，诸如人、位置、或组织)、自然语言生成(例如，将来自计算机数据库的信息、或语义意图转换为可理解的人类语言)、自然语言理解(例如，将文本转换为更正式的表达，诸如计算机模块可以操纵的一阶逻辑结构)、机器翻译(例如，将文本从一种人类语言自动翻译成另一种人类语言)、语素切分(例如，将单词分为各个词素并识别词素的类别，这基于所考虑的语言的单词的词法或结构的复杂度而具有挑战性)、问题解答(例如，确定对人类语言问题的答案，这可能是具体或可扩展的)，语义处理(例如，在识别单词并对其含义进行编码以便将所识别的单词与具有相似含义的其他单词相关之后可能发生的处理)。

NLP组件112通过将输入信号与(例如，在数据仓库124中)存储的代表性音频波形集进行比较并选取最接近的匹配，将音频输入信号转换为已辨识的文本。该音频波形集可以被存储在数据存储库124或数据处理系统102可访问的其他数据库中。代表波形是跨大集合用户而生成，然后可以用来自用户的话音样本来扩充。在音频信号被转换为已辨识的文本之后，NLP组件112将该文本与例如经由跨用户的训练或通过手动指定而与数据处理系统102可以服务的动作相关联的单词匹配。

可以由客户端计算设备104的传感器130检测音频输入信号。客户端计算设备104可以将音频输入信号提供给数据处理系统102(例如，经由网络105)，在此可以接收该音频输入信号并将其提供给NLP组件112或存储在数据存储库140中以供进一步处理。客户端计算设备104可以仅提供音频输入信号的一部分。例如，客户端计算设备104可以执行本地LP组件112以检测触发词或热词。热词可以是指唤醒计算设备104或启动计算设备104的功能的关键词或短语。热词可以是指计算设备104的NLP 112的脚本或模块，该脚本或模块被配置成监听被选来激活语音界面的特定关键词单词。在检测到热词后，系统便准备进行基于语音的搜索、问题或命令。然后，计算设备104可以将继热词之后的音频输入传送到数据处理系统102。在检测到预定时间间隔(例如，一秒、两秒、三秒、或四秒或五秒)的音频输入中的暂停或会话中断后，客户端计算设备104可以终止音频传输。

NLP组件112可以获得输入音频信号。根据输入音频信号，NLP组件112可以识别至少一个请求或与该请求相对应的至少一个触发关键词。该请求可以指示输入音频信号的意图或主题。触发关键词可以指示可能采取的动作类型。例如，NLP组件112可以解析输入音频信号，以识别对于晚上离开家吃晚餐和看电影的至少一个请求。触发关键词可以包括至少一个单词、短语、词根或部分单词、或者指示要采取的动作的派生词。例如，来自输入音频信号的触发关键词“find(寻找)”或“what are some(哪些)”可以指示需要执行搜索。在这个例子中，输入音频信号(或所识别的请求)未直接表达传输意图，但触发关键词指示传输是该请求所指示的至少一个其他动作的辅助动作。

NLP组件112可以解析输入音频信号以识别、确定、检索或以其他方式获得请求和触发关键词。例如，NLP组件112可以将语义处理技术应用于输入音频信号，以识别触发关键词或请求。NLP组件112可以将语义处理技术应用于输入音频信号，以识别包括诸如第一触发关键词和第二触发关键词的一个或多个触发关键词的触发短语。例如，输入音频信号可以包括语句“find new action movies(寻找新动作影片)”。NLP组件112可以对包括该语句的数据分组应用语义处理技术或其他自然语言处理技术，以识别触发短语和其关键词，诸如“find(寻找)”和“new action movies(新动作影片)”。NLP组件112可以进一步识别多个触发关键词，诸如“new(新)”、“action(动作)”和“movies(影片)”。例如，NLP组件112可以确定触发短语包括该触发关键词和第二触发关键词。

数据处理系统102可以包括、执行内容选择器组件138或以其他方式与之通信，以接收由NLP组件112标识的一个或多个关键词，并基于所述一个或多个关键词，经由实时内容选择过程选择一个或多个电子内容项目。内容选择过程可以参考或包括在数据存储库140中针对与一个或多个关键词相匹配的电子内容项目执行查找，或者向数据提供者设备108查询与一个或多个关键词相对应的电子内容项目。实时内容选择过程可以包括一种服务，其中对由多个数据提供者提供的内容项目进行解析、处理、加权、或匹配，以便选择一个或多个内容项目提供给计算设备104。内容选择器组件138可以实时执行内容选择过程。实时执行内容选择过程可以是指响应于经由客户端计算设备104接收到的对内容的请求而执行内容选择过程。可以在接收到请求的时间间隔(例如5秒、10秒、20秒、30秒、1分钟、2分钟、3分钟、5分钟、10分钟、或20分钟)内执行(例如，发起或完成)实时内容选择过程。可以在与客户端计算设备104的通信会话期间或在通信会话终止之后的一个时间间隔内执行实时内容选择过程。

例如，数据处理系统102可以包括设计、构建、配置或可操作来选择内容项目对象的内容选择器组件138。为了选择要在基于语音的环境中显示的内容项目，数据处理系统102(例如，经由NLP组件112)可以解析输入音频信号以识别关键词(例如，触发关键词)，并基于广义匹配、精确匹配或短语匹配，使用这些关键词来选择匹配内容项目。例如，内容选择器组件138可以分析、解析、或以其他方式处理候选内容项目的主题，以确定候选内容项目的主题是否对应于由客户端计算设备104的麦克风检测到的输入音频信号中的关键词或短语的主题。内容选择器组件138可以使用图像处理技术、字符辨识技术、自然语言处理技术或数据库查找来识别、分析、或辨识候选内容项目的语音、音频、词语、字符、文本、符号、或图像。候选内容项目可以包括指示候选内容项目的主题的元数据，在此情况下，内容选择器组件138可以处理元数据以确定候选内容项目的主题是否对应于输入音频信号。

数据处理系统102可以经由计算机网络接收对用于在计算设备104上呈现的内容的请求。数据处理系统102可以通过处理由客户端计算设备104的麦克风检测到的输入音频信号来识别请求。该请求可以包括请求的选择准则，诸如设备类型、位置、和与请求相关联的关键词。

响应于请求，数据处理系统102可以从数据存储库140或与数据提供者108相关联的数据库中选择一个或多个电子内容项目(例如，内容项目对象)，并提供电子内容项目以经由网络105通过计算设备104来呈现。在一些情况下，可以从本地数据存储库118中检索电子内容项目对象。计算设备104可以与内容项目对象相交互。计算设备104可以接收对内容项目的音频响应。计算设备104可以接收用于选择与内容项目对象相关联的按钮、超链接、或其他微件的指示，该指示促使或允许计算设备104执行与电子内容项目对象相关联的功能。

数据处理系统102可以包括、执行音频信号生成器组件122或与之通信以生成输出信号。输出信号可以包括一个或多个部分。例如，输出信号可以包括第一部分和第二部分。输出信号的第一部分可以对应于动作数据结构。输出信号的第二部分可以对应于在实时内容选择过程期间由内容选择器组件138选择的内容项目。

计算设备104可以接收携带查询的声信号或音频输入信号。计算设备104可以检测声信号传感器130(例如，麦克风)。查询可以例如包括“find new action movies(寻找新动作影片)”或“what are some good action movies(有哪些好的动作影片)”或“search formost popular action movies(搜索最受欢迎的动作影片)”。为了在以图形方式输出查询结果时有效地管理延时，计算设备102可以确定计算设备的交互模式。

计算设备104可以包括模式检测器组件114，该模式检测器组件被设计并构建成确定计算设备104的交互模式或由计算设备104的接口110提供的图形用户界面的交互模式。交互模式的类型可以例如包括仅语音交互模式、遥控器设备交互模式、三维手势模式、眼动跟踪模式、或其组合。

为了确定计算设备104的交互模式，模式检测器组件114可以使用一个或多个规则、策略或逻辑。模式检测器组件114可以基于可用或活动的接口110来确定交互模式。模式检测器组件114可以基于外部因素来确定交互模式。例如，模式检测器组件114可以通过轮询与计算设备104相关联的一个或多个接口或设备来确定交互模式。模式检测器组件114可以轮询一个或多个无线控制器设备134以确定无线控制器设备134的状态。状态可以包括活动状态或待机状态。如果计算设备104未从无线计算设备134得到对轮询的响应，则模式检测器组件114可以确定无线控制器设备134的状态处于第一状态或第二状态。例如，这些状态可以是待机、非活动、或关闭。该状态可以是默认状态。

模式检测器组件114在轮询或不轮询无线控制器设备134的情况下都可以确定无线控制器设备134的状态。例如，模式检测器组件114可以确定来自无线控制器设备134的最后指示或通信。模式检测器组件114可以标识与来自无线控制器设备134的最后指示或通信相关联的时间戳。如果来自无线控制器设备134的最后或先前通信的时间戳大于阈值时间戳(例如，30秒、1分钟、5分钟或10分钟)。

模式检测器组件114可以最初确定无线控制器设备的状态处于默认状态，诸如关闭或待机或未使用。模式检测器组件114可以响应于从无线控制器设备134接收到指示而确定从第一状态更改为第二状态。例如，响应于接收到携带查询的声信号，模式检测器组件114无需轮询无线控制器设备134就可以确定无线控制器设备134的状态处于默认状态，诸如非活动。通过不轮询无线控制器设备134并将状态设置为预定或默认状态，模式检测器组件114可以减少对无线控制器设备134的有限资源的利用，诸如节省无线控制器设备134的电池。然后，模式检测器组件114可以接收来自无线控制器设备134的指示或通信，诸如来自无线控制器设备134的用户的输入或由无线控制器设备134的加速计感测到的无线控制器设备134的运动。响应于来自无线控制器设备134的指示，模式检测器组件114可以确定状态处于第二状态。

在确定无线控制器设备134的状态处于第二状态(例如，活动状态或使用中状态)之前，模式检测器组件114可以确定无线控制器设备134的状态处于第一状态或非活动状态。模式检测器组件114可以建立计算设备104的交互模式。模式检测器组件114可以将交互模式建立为第一交互模式。模式检测器组件114可以基于接收到声信号并确定无线控制器设备处于第一状态而将交互模式建立为第一交互模式。例如，模式检测器组件114可以基于接收到携带查询的声信号而确定计算设备104的语音界面可用。在一些情况下，模式检测器组件114可以基于识别出声信号中的热词或触发关键词而确定计算设备104的语音界面可用并已被触发。

模式检测器组件114可以基于在检测到声信号之前的预定时间间隔内不存在来自无线控制器设备134的信号而确定无线控制器设备134的第一状态。预定时间间隔可以例如是1秒、2秒、3秒、5秒、10秒、30秒、1分钟、2分钟、5分钟或更长时间间隔。信号可以是来自无线控制器设备134的通信，诸如射频信号、红外信号、无线信号、WI-FI信号、或近程无线互连信号(例如，蓝牙)。模式检测器组件114可以基于不存在该信号并存在声信号而确定将交互模式设置为与语音界面相对应的第一交互模式。不存在可以是指在接收到声信号之前的预定时间段内未接收信号或不存在信号。

模式检测器组件114可以为由计算设备104渲染以经由显示设备显示的图形用户界面建立第一交互模式。例如，模式检测器组件114可以为由计算设备104渲染的图形用户界面建立语音交互模式。模式检测器组件114可以访问存储在数据存储库中的模板数据结构124，以检索为语音交互模式配置的模板用户界面。用于语音交互模式的用户界面的模板可以提供语音交互模式的一个或多个属性、或者语音交互模式下启用的一个或多个功能。模板可以包括诸如字体、字号、位置、布局、卡片、动画、或待显示的项目数目的属性。例如，语音交互模板可以包括电子内容项目的一维显示，诸如图2的框212中所示的单行或单列的电子内容项目。

因此，模式检测器组件114可以基于与计算设备104相关联的一个或多个状态或特性而确定待为计算设备104或其图形用户界面建立的交互模式。模式检测器114可以基于一个或多个事件、触发、命令、或指令而修改、更改或变更交互模式。例如，模式检测器组件114可以确定无线控制器设备134的状态更改。响应于确定状态更改，模式检测器组件114可以确定更改计算设备104的交互模式。例如，如果模式检测器组件114确定无线控制器设备134处于活动状态、使用中状态或可供用户访问，则模式检测器组件114可以将交互模式更改为无线设备控制模式或组合语音与无线控制设备模式。

模式控制器组件114可以基于不同类型的无线控制器设备134而配置有不同的无线设备控制模式。模式检测器组件114可以基于无线控制器设备的类型而设置不同的交互模式。无线设备控制模式的类型可以是基于对无线控制器设备134可用的输入或接口的类型。例如，模式检测器组件114可以为具有触摸界面的无线控制器设备134建立第一无线控制模式，为具有按钮输入的无线控制器设备134建立第二无线控制模式，为具有手势界面的无线控制器设备134建立第三无线控制模式，为具有键盘的无线控制器设备134建立第四无线控制模式，或为具有鼠标的无线控制器设备134建立第五无线控制模式。在其他示例中，模式控制器组件114可以为三维手势模式建立不同的交互模式。

基于为计算设备104建立的交互模式，计算设备104可以调整、修改或设置一个或多个参数以减少图形输出中的延时。计算设备可以基于第一交互模式下的图形用户界面或基于第一交互模式为图形用户界面选择的模板而将预取参数设置为第一值。计算设备104可以设置一个或多个参数以优化或提高图形输出或图形用户界面的效率。

计算设备104可以包括、访问提取组件116或以其他方式与之通信，该提取组件被设计并构建成根据诸如预取参数的一个或多个参数来提取或预取电子内容项目或关联的数据。提取组件116可以使用一个或多个参数，诸如存储在数据存储库118中的预取参数数据结构120中的预取参数，以确定提取技术或者待提取或预取的电子内容项目的数量。

提取组件116可以通过使用交互模式在预取参数数据结构120中执行查找，以确定待预取的电子内容项目的数量。该数量可以是指电子内容项目的数目、数据大小(例如，文件大小或存储器大小)、分辨率、显示屏上的字号、或者其他数额或范围。电子内容项目的数目可以是数值，诸如1、2、3、4、5或更大值。电子内容项目的数目可以是相对值，诸如基于用来生成图形用户界面的模板而当前呈现或能够呈现的电子内容项目的数目的百分比(例如，10％、25％、50％、或75％)。例如，如果基于交互模式所选择的当前使用的模板提供三个电子内容项目的布局，则预取参数可以指示预取该模板的电子内容项目数目的三分之一，这可以是一个电子内容项目。

在一些情况下，可以基于网络特性、显示设备特性(例如，分辨率或像素数)、处理器特性、可用存储器特性、或交互模式特性(例如，用户可以滚动或分页浏览电子内容项目、诸如逐页或者分页的速度)而设置预取参数的值。例如，如果计算设备104用来与数据处理系统102或数据提供者设备108进行通信的网络105具有高带宽和低延时，则预取参数的值可能更高，因为计算设备104可能能在用户滚动或分页的事件中接收更多数目的电子内容项目，而不增加图形输出的延时。然而，在一些情况下，如果计算设备104用来与数据处理系统102或数据提供者设备108进行通信的网络105具有高带宽和低延时，但计算设备104具有有限的可用存储器，则预取参数的值可能更低，因为虽然计算设备104可能能接收更多数目的电子内容项目而不增加延时，但计算设备104可能没有足够的存储器可用，从而增加处理或其他功能的延时。

然后，提取组件116可以预取与第一值相对应的一定数量的电子内容项目。提取组件116可以基于或响应于查询和为预取参数设置的值而预取一定数量的电子内容项目。预取可以是指将来自第一存储器或存储设备的数据传输到第二存储器或存储位置，以备后期使用。预取可以是指在经由图形用户界面接收提供或渲染数据的请求之前传输来自存储器的数据。例如，计算设备104可以接收来自用户对电子内容项目的请求。然后，计算设备104可以请求第一电子内容项目集合以在图形显示器上渲染。通过在从用户接收到显示除正显示的第一电子内容项目集合之外的附加的电子内容项目的指示前或之前请求第二电子内容项目集合，计算设备104可以预取第二电子内容项目集合。例如，计算设备104可以在用户滚动正显示的电子内容项目的清单前预取第二电子内容项目集合。

预取允许数据更快地可用，以便可以响应于交互而无延迟或延时或者减少延迟或减少延时地在图形显示器上渲染数据。例如，如果图形用户界面正响应于查询而显示三个电子内容项目(例如，关于三个不同动作影片的三个电子内容项目或图标)，则在用户向下滚动到最后或请求查看下一序列的电子内容项目的事件中，计算设备104可以预取一个或多个电子内容项目。预取该数据允许计算设备104以图形方式显示附加的电子内容项目，而无需等待向数据处理系统102查询下一电子内容项目集合，或者必须以更慢的读取速度从硬盘驱动器或存储位置中检索电子内容项目。例如，计算设备104可以以更慢的读取/写入速度从主存储器中预取数据并以更快的读取速度将数据临时存储在高速缓冲存储器中。

计算设备104可以从数据存储库140中预取电子内容项目的子集并将它们存储在数据存储库126中。电子内容项目的子集可以响应于查询(例如，动作影片)。计算设备104可以通过将电子内容项目从计算设备104的较慢存储器传输到电子内容项目的较快存储器来进行预取。预取可以包括预处理与电子内容项目相对应的数据或文件，以提高用于渲染或图形输出的准备度。例如，预取可以包括解压缩数据、解密数据、或者加载或检索与电子内容项目相关联的附加数据对象、模板或图像。

计算设备104(例如，经由模式检测器组件114)可以确定计算设备104的交互模式已更改。模式检测器组件114可以监视界面、定期(例如，每0.5秒、1秒、2秒等)轮询无线控制器设备134或接收无线控制器设备134的状态或状态更改的指示。例如，用户可以通过选择无线控制器设备134上的按钮来拾取无线控制器设备134或激活无线控制器设备134，或者与无线控制器设备134的触摸界面相交互。响应于检测到无线控制器设备134的状态更改(例如，从非活动到活动)，模式检测器114可以决定更改计算设备104(或由接口110提供的图形用户界面)的交互模式。

因此，无线控制器设备的第一状态可以包括待机状态，并且计算设备可以响应于接收到无线控制器设备传送的信号而确定无线控制器设备已进入第二状态。可以响应于由无线控制器设备的加速计检测到运动或由无线控制器设备接收到输入而传送信号。

计算设备104可以基于检测到无线控制器设备处于与第一状态不同的第二状态而为图形用户界面建立第二交互模式。计算设备104可以确定无线控制器设备134处于活动状态，然后将交互模式更改为无线控制器设备交互模式。然后，模式检测器组件114可以更改图形用户界面以适配于第二交互模式。然后，模式检测器组件114可以更改图形用户界面以优化第二交互模式。计算设备104可以在第二交互模式下提供不同的功能或特征。例如，计算设备104可以在第二交互模式下对滚动浏览电子内容项目清单提供支持，而在第一交互模式下可以禁用滚动。

分页模式可以是指将电子内容项目分成单独页面的图形用户界面图案。当用户请求附加内容时，处于分页模式的计算设备104可以用新的电子内容项目显示代替当前的显示。滚动模式可以是指将显示的文本或图形从一个位置移动到另一个位置(例如，向上、向下、自左向右、或自右向左)的动作，以便查看响应于查询的电子内容项目结果的不同部分。

为了针对第二交互模式优化资源利用并减少延时，计算设备104可以使用不同的预取参数。例如，如果在第二交互模式下提供滚动模式，则计算设备104可以预取更少的电子内容项目，因为与如在第一交互模式下将整个电子内容项目清单替换为新的电子内容项目清单的分页模式相比，滚动模式可以一次显示一个附加的电子内容项目。提取组件116可以针对预取参数的第二值在预取参数数据结构120中执行查找。提取组件116可以响应于为图形用户界面建立第二交互模式而将预取参数的第一值覆写为与第一值不同的第二值。第二值可以小于第一值、大于第一值、或等于第一值。在一些情况下，第二交互模式可以使用与第一交互模式不同的预取参数。例如，第二交互模式可以是用不同模板的不同图形用户界面，因此预取参数可以指示不同类型的预取数额或预取数量。可以针对交互模式及其值来定制预取参数。

然后，计算设备104可以使用覆写为第二值的预取参数来预取与第二值相对应的第二数量的电子内容项目。如果计算设备104先前已根据预取参数的第一值预取了电子内容项目，则计算设备104可能已经针对第二交互模式预取了足够的电子内容项目。然而，在显示附加的电子内容项目后，计算设备104可以再根据预取参数的第二值来预取附加的电子内容项目。如果第二值小于第一值，则计算设备104可能最初不预取附加的电子内容项目，因为在尚未响应于查询而接收到显示附加的电子内容项目的请求的事件中，计算设备104已经使用第一值预取了足够的电子内容项目。

如果预取参数的第二值大于第一值，则计算设备104可以基于第一值与第二值之差来预取一定数量的电子内容项目，以使预取的电子内容项目的总数量等于第二值。在一些情况下，计算设备104可以在存储器中将第一数量的预取电子内容项目替换为第二数量的电子内容项目。

在预取电子内容项目以存储在计算设备的本地存储器中后，计算设备104可以接收来自无线控制器设备的一个第二声信号或输入。响应于接收到的第二声信号或输入，计算设备可以根据所建立的交互模式从本地存储器中检索一个或多个所述电子内容项目以经由图形用户界面显示。

图2是从存储器传输数据以管理图形输出延时的系统的操作的图示。操作200可以由图1和图4中描绘的一个或多个系统或组件来执行，例如包括计算设备104、模式检测器组件114、提取组件116、接口110、NLP组件112、或数据处理系统102。在动作(ACT)202，计算设备可以接收声信号。声信号可以携带查询，诸如“show me action movies(给我看动作影片)”。在动作204，可以识别查询。NLP组件可以标识查询。可以由数据处理系统的NLP组件或计算设备的NLP组件识别查询。

在动作206，计算设备确定遥控是否可用。遥控可以是指用于控制计算设备的图形用户界面的无线控制器设备操作。如果在动作206确定遥控此时不可用或不处于活动状态，则操作200进行到动作208，在此设置预取参数的语音模式值。计算设备也可以在动作210建立语音模式图形用户界面并经由显示设备渲染图形用户界面。框212图示了为语音交互模式渲染的示例图形用户界面。语音交互模式的图形用户界面212渲染三个电子内容项目212a、212b和212c。可以诸如以单行的以一维方式渲染三个电子内容项目。在动作214，计算设备可以通过使用语音模式预取值来预取电子内容项目。例如，语音模式预取值可以是三个电子内容项目。然后，计算设备104可以通过将电子内容项目212d至212f从主存储器或数据处理系统102传输到计算设备104上的本地存储器或更快速存储器来预取三个电子内容项目。计算设备104可以使三个预取的电子内容项目212d至212f准备供将来使用，诸如当计算设备接收到显示电子内容项目212d至212f的请求时。

然而，如果在动作206，计算设备104确定遥控可用，则该操作可以进行到动作216。在一些情况下，响应于检测到遥控(例如，无线控制器设备134)可用，操作200可以从动作210或动作214返回到动作206。在动作216，计算设备可以设置遥控模式预取值。遥控模式预取值可以不同于语音模式预取值。计算设备可以在动作218建立遥控模式图形用户界面。遥控模式图形用户界面(“GUI”)可以被优化或以其他方式促进使用无线控制器设备134与图形用户界面的交互。然后，计算设备可以渲染如示例框220所示的遥控模式GUI。正如语音模式GUI 212，遥控模式GUI可以包括内容项目220a至220c。然而，遥控模式GUI可以不同于语音模式GUI，因为遥控模式GUI可以被配置用于不同的交互模式。遥控模式GUI 220可以在如下方面不同于语音模式GUI：i)部分图标220d；ii)聚焦模式224；iii)滚动。

遥控模式GUI可以提供部分图标220d。部分图标220d可以是对电子内容项目220d的部分渲染。与配置用于分页的GUI 212中提供的清单相比，部分图标可以经由GUI向用户提供GUI 220中呈现的清单可滚动的指示。可以由计算设备响应于在第二交互模式(例如，遥控交互模式)下建立的图形用户界面而添加部分图标220d，并将其定位在图形用户界面的边界处。可以将部分图标220d添加到图形用户界面，而无需更改经由图形用户界面显示的多个电子内容项目220a至220c中任何一个的位置。例如，电子内容项目220a至220c在语音交互模式GUI 212和遥控交互模式GUI 220中都可以被定位于显示屏上的相同位置，从而减少从一种交互模式切换到另一种交互模式时对图形用户界面的更改量。计算设备104可以生成或渲染部分图标220d，以指示电子内容项目清单可经由无线控制器设备134滚动。因此，在第一交互模式212下，电子内容项目可以各自渲染为完整图标，而在遥控交互模式GUI220中，可以添加电子内容项目220d的部分图标，而无需更改电子内容项目220a至220c的完整图标的位置。

遥控模式GUI可以提供聚焦模式。聚焦模式可以包括突出显示或以其他方式指示选择或可选择电子内容项目220a至220c中的哪一个。计算设备可以在添加部分图标之后、之前或同时向剩余的一个或多个电子内容项目中的一个添加聚焦指示符。在第一交互模式GUI 212中的一个或多个电子内容项目可以不存在聚焦指示符。例如，用户可以将光标或指针移动到电子内容项目220b，这可以导致在电子内容项目220b周围提供诸如边界或正方形224的指示，以指示当前处于聚焦或突出显示状态。此后，用户可以通过按下按钮或经由无线控制器设备134提供其他输入来选择待播放的电子内容项目220b。语音交互模式GUI 212中可以不存在聚焦220b，因为在语音交互模式下，用户可以提供声命令来选择期望的电子内容项目(例如，“play electronic content item 212b(播放电子内容项目212b)”)。

遥控交互模式GUI 220可以响应于接收到来自无线控制器设备134的输入而提供滚动。在渲染GUI 220后，在渲染GUI 220之前，或与渲染GUI 220并行，计算设备可以在动作222通过使用遥控模式预取值来预取电子内容项目。例如，遥控模式预取值可以是两个电子内容项目，并且计算设备可以响应于GUI 220中的滚动而预取电子内容项目212d至212e以减少图形输出延时。

图3是从存储器传输数据以管理图形输出延时的方法的图示。方法300可以由图1和图4中描绘的一个或多个系统或组件来执行，例如包括计算设备104、模式检测器组件114、提取组件116、接口110、NLP组件112、或数据处理系统102。在动作305，计算设备接收声信号。计算设备可以使用麦克风来感测或检测声信号。计算设备可以识别声信号中的触发词或热词。计算设备或远离计算设备的数据处理系统可以识别声信号中的查询。在一些情况下，计算设备可以接收声信号，确定要将声信号转发到数据处理系统，然后将声信号或其一部分转发到数据处理系统。声信号可以包括多个部分。例如，声信号的第一部分可以包括唤醒词语、激活词语、触发单词或热词，其向计算设备发信号通知用户正请求动作、功能或信息。计算设备可以使用本地NLP组件来识别激活词语。继识别激活词语之后，计算设备可以接收声信号的第二部分。声信号的该第二部分可以被转发到数据处理系统以供进一步处理。数据处理系统可以在由数据处理系统接收到的声信号的第二部分中识别查询。计算设备可以解析或处理声信号以识别查询。

在动作310，计算设备可以确定无线控制器设备状态。计算设备可以确定可操作来控制计算设备的无线控制器设备处于第一状态。为了减少延时，计算设备可以在接收声信号之前、与接收声信号并行、在接收声信号之后但与将声信号传输到数据处理系统以识别查询同时、或者与等待来自数据处理系统的对查询的响应并行或同时，确定无线控制器设备的状态。通过在数据存储库中执行查找，以识别无线控制器设备的默认状态，计算设备可以确定无线控制器设备的状态。计算设备可以基于策略来确定无线控制器设备的状态，诸如在接收到声信号之前的预定时间间隔内，计算设备是否接收到来自无线控制器设备的任何通信。计算设备可以基于在检测到声信号之前的预定时间间隔内不存在来自无线控制器设备的信号而确定无线控制器设备的状态。计算设备可以通过轮询或查验无线控制器设备来确定无线控制器的状态。计算设备可以使用无线协议来查验或轮询无线控制器设备。计算设备可以广播信号以确定无线控制器设备的状态。例如，计算设备可以发出查询请求，并且如果无线控制器设备正在监听这样的请求，则无线控制器设备可以用地址、名称、或附加信息进行响应。在一些情况下，无线控制器设备可以发送查询请求，并且计算设备可以正在监听这样的请求并以计算设备的地址、名称、或其他信息进行响应。

在动作315，计算设备可以建立第一交互模式并设置预取参数。计算设备可以为计算设备建立第一交互模式。计算设备可以为由计算设备提供的图形用户界面建立第一交互模式。计算设备可以使用规则或策略来选择第一交互模式。计算设备可以使用配置有规则、策略或启发法的模式检测器组件来基于一个或多个输入或因素而选择待建立的交互模式。例如，计算设备可以基于当前可用或活动的界面(诸如语音界面)和不可用或不活动的界面(诸如无线控制器设备)而确定建立第一交互模式。例如，计算设备可以基于在检测到声信号之前的预定时间间隔内不存在来自无线控制器设备的信号而建立图形用户界面的第一交互模式。

计算设备可以基于图形用户界面处于第一交互模式而将预取参数设置为第一值。可以设置预取参数，以促进渲染图形用户界面的图形输出，同时减少延时、延迟、实时处理或其他资源利用。预取参数可以是预定的预取参数或者使用一个或多个规则或过程动态生成的预取参数。例如，计算设备可以包括或访问交互模式到预取参数的映射并基于计算设备或图形用户界面的当前交互模式来选择待使用的预取参数。在另一示例中，计算设备可以使用规则或策略来基于交互模式以及与当前网络特性、处理器利用、存储器利用、显示器分辨率或电子内容项目类型相关联的附加特性而确定待使用的预取参数。例如，如果当前网络带宽高，并且网络延时低，但可用的存储器有限，则计算设备可以确定使用低预取参数值，诸如1或2，因为计算设备可以确定网络具有充足的带宽和延时来快速提供其他电子内容项目，并且减少存储器使用可以允许在计算设备上执行的应用或进程平稳地执行。

在动作320，计算设备可以提供图形用户界面以经由显示设备显示。计算设备可以将图形用户界面配置为第一交互模式，诸如语音交互模式。将图形用户界面配置为第一交互模式可以是指选择促进语音交互的布局，诸如一维结构的电子内容项目。在图形用户界面中移除或禁用在语音交互模式下不可用或不易用的显示元素或特征，以便进一步降低计算资源利用并管理渲染图形输出的延时。

在动作325，计算设备可以预取第一数量的电子内容项目。计算设备可以响应于查询和预取参数而预取与预取参数的第一值相对应的第一数量的电子内容项目。计算设备可以将一定数量的电子内容项目从第一存储器位置传输到第二存储器位置，从而如果请求显示电子内容项目，则电子内容项目准备经由图形用户界面进行渲染。计算设备可以通过从数据处理系统或数据提供者请求电子内容项目并然后将接收到的电子内容项目存储在存储器中来进行预取。计算设备也可以通过预处理(例如，应用布局、字体、字号、颜色、或者解压缩或解密)电子内容项目来进行预取。

在动作330，计算设备可以建立第二交互模式并覆写预取参数的第一值。计算设备可以确定无线控制器设备的状态已从非活动状态更改为活动状态或可用状态。响应于检测到无线控制器设备的状态更改，计算设备可以更改图形用户界面的交互模式。计算设备可以响应于检测到无线控制器设备进入与第一状态不同的第二状态而为图形用户界面建立第二交互模式。第二交互模式可以促进使用无线控制器设备与图形用户界面进行交互或对接。在第二交互模式下，计算设备可以启用可能在语音交互模式下已禁用的图形用户界面的特征或功能。在第二交互模式下，计算设备可以提供与语音交互模式不同的布局或功能。例如，在无线控制器设备交互模式下，计算设备可以提供可滚动的清单和该清单可滚动的指示。在另一示例中，计算设备可以提供聚焦图标以突出显示无线控制器设备当前可选择哪个电子内容项目。

在动作335，计算设备可以预取第二数量的电子内容项目。计算设备可以响应于将预取参数覆写为第二值而预取与第二值相对应的第二数量的电子内容项目。在一些情况下，计算设备可以确定已经在第一交互模式下预取了哪些电子内容项目并确定要无冗余地预取哪些电子内容项目。在一些情况下，在切换到第二交互模式和第二预取参数后，计算设备可以擦除或移除先前在第一交互模式下预取的内容项目，并然后预取全部第二数量的电子内容项目。在一些情况下，在切换到第二交互模式和第二预取参数后，计算设备可以擦除或移除超过第二数量的电子内容项目的先前预取的内容项目，以便降低第二交互模式下的存储器利用。

在第二交互模式下，计算设备也可以预取当前聚焦的电子内容项目。因此，如果选择聚焦的电子内容项目，则计算设备可以使与聚焦的电子内容项目相对应的数据文件或媒体内容准备进行渲染或回放。随着每个电子内容项目获得聚焦，计算设备可以执行预取例程。例如，如果用户选择聚焦的电子内容项目，则计算设备可以执行第一预取例程以管理滚动浏览电子内容项目清单的延时，并执行第二预取例程以管理播放聚焦的电子内容项目的延时。

图4是示例计算机系统400的框图。计算机系统或计算设备400可以包括或被用于实现系统100或其组件，诸如计算设备104或数据处理系统102。计算设备104或数据处理系统102可以包括智能个人助理或基于语音的数字助理。计算系统400包括用于通信信息的总线405或其他通信组件、以及耦合至总线405以处理信息的处理器410或处理电路。计算系统400也可以包括耦合至总线405以处理信息的一个或多个处理器410或处理电路。计算系统400也包括耦合至总线405以存储信息和待由处理器410执行的指令的主存储器415，诸如随机存取存储器(RAM)或其他动态存储设备。主存储器415可以是或包括数据存储库140或数据存储库118。在由处理器410执行指令期间，主存储器415也可以被用于存储位置信息、临时变量、或其他中间信息。计算系统400可以进一步包括耦合至总线405以存储用于处理器410的静态信息和指令的只读存储器(ROM)420或其他静态存储设备。诸如固态设备、磁盘、或光盘的存储设备425可以耦合至总线405以永久性存储信息和指令。存储设备425可以包括数据存储库140或数据存储库118或者是其一部分。

计算系统400可以经由总线405耦合至显示器435，诸如液晶显示器或主动矩阵显示器，以将信息显示给用户。诸如包括字母数字键和其他键的键盘的输入设备430可以耦合至总线405，以将信息和命令选择通信给处理器410。输入设备430可以包括触摸屏显示器435。输入设备430也可以包括光标控件，诸如鼠标、跟踪球、或光标方向键，以将方向信息和命令选择通信到处理器410并控制显示器435上的光标移动。显示器435可以例如是计算设备104、数据处理系统102、或图1中其他组件的一部分。

本文所述的过程、系统和方法可以通过计算系统400响应于处理器410执行包含在主存储器415中的指令布置来实现。可以从诸如存储设备425的另一个计算机可读介质将这样的指令读入主存储器415。执行包含在主存储器415中的指令布置促使计算系统400执行本文所述的说明性过程。也可以采用多处理布置中的一个或多个处理器来执行包含在主存储器415中的指令。硬接线电路可以代替或组合软件指令与本文所述的系统和方法一起使用。本文所述的系统和方法不限于硬件电路和软件的任何具体组合。

虽然图4中已经描述了示例计算系统，但包括本说明书中描述的操作的主题可以以包括本说明书中公开的结构及它们的等同结构的其他类型的数字电子电路、或者计算机软件、固件或硬件、或者它们中一个或多个的组合来实现。

针对本文讨论的系统收集有关用户的个人信息或者可以利用个人信息的情况，可以为用户提供用于控制程序或特征是否可以收集个人信息(例如，有关用户的社交网络、社交动作或活动、用户的偏好、或用户的位置的信息)、或者用于控制是否或如何从内容服务器或与用户更相关的其他数据处理系统接收内容的机会。此外，某些数据可以在存储或使用其之前以一种或多种方式匿名化，以便当生成参数时移除个人可识别信息。例如，用户的身份可以被匿名化，以便无法针对该用户确定任何个人可识别信息，或者在获得位置信息的情况下，用户的地理位置可以被概括化(诸如城市、邮政编码、或州级)，以便无法确定用户的特定位置。因此，用户可以控制如何收集有关他或她的信息以及如何供内容服务器使用。

本说明书中描述的主题和操作可以以包括本说明书中公开的结构及它们的等同结构的数字电子电路、或者计算机软件、固件或硬件、或者它们中的一个或多个的组合来实现。本说明书中描述的主题可以被实现为一个或多个计算机程序，例如，在供数字处理装置执行或控制其操作的一个或多个计算机存储介质上编码的计算机程序指令的一个或多个电路。替选地或附加地，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电信号、光信号、或电磁信号，所述信号被生成用来编码信息以便传送到合适的接收器装置，以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或者它们中一个或多个的组合，或者被包括于其中。虽然计算机存储介质并非传播信号，但计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的组件或介质(例如，多个CD、磁盘、或其他存储设备)，或者被包含于其中。本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

词语“数据处理系统”、“计算设备”、“组件”、和“数据处理装置”涵盖用于处理数据的各种装置、设备和机器，例如包括一个或多个可编程处理器、计算机、片上系统、或者上述的组合。该装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置也可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或者它们中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构，诸如web服务、分布式计算、和网格计算基础结构。例如，音频信号发生器组件136、内容选择器组件138、NLP组件112、和数据处理系统102的其他组件可以包括或共享一个或多个数据处理装置、系统、计算设备、或处理器。例如，接口110、NLP组件112、模式检测器组件114、提取组件116、和计算设备104的其他组件可以包括或共享一个或多个数据处理装置、系统、计算设备、或处理器。

计算机程序(又称为程序、软件、软件应用、app、脚本、或代码)可以以任何形式的编程语言来编写，包括编译语言或解释语言和声明性语言或过程性语言，并且可以以任何形式来部署，包括作为独立程序或者作为模块、组件、子例程、对象、或者适用于计算环境的其他单元。计算机程序可以对应于文件系统中的文件。计算机程序可以被存储在保存其他程序或数据的文件部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件中或者多个协同文件中(例如，存储一个或多个模块、子程序、或代码部分的文件)。计算机程序可以被部署成在位于一个站点或跨多个站点分布并通过通信网络互联的一台计算机上或者多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器(例如，数据处理系统102的组件)来执行，以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路来执行，并且装置也可以被实现为该专用逻辑电路。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，例如包括：半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内置硬盘或可移动盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以辅以专用逻辑电路或并入其中。

本文所述的主题可以以计算系统来实现，该计算系统包括后端组件，例如，作为数据服务器，或者该计算系统包括中间件组件(例如，应用服务器)，或者该计算系统包括前端组件(例如，具有用户可以借以与本说明书所述主题的实施方式相交互的图形用户界面或web浏览器的客户端计算机)，或者一个或多个这样的后端组件、中间件组件、或前端组件的组合。系统的组件可以通过数字数据通信的任何形式或者媒介来互联，例如，通信网络。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网(例如，因特网)、和对等网络(例如，自组织对等网络)。

诸如系统100或系统400的计算系统可以包括客户端和服务器。客户端与服务器一般彼此远离并通常通过通信网络(例如，网络105)来进行交互。客户端与服务器的关系借助在相应计算机上运行并彼此具有客户端-服务器关系的计算机程序来产生。在一些实施方式中，服务器将数据(例如，表示内容项目的数据分组)传送到客户端设备(例如，出于向与客户端设备交互的用户显示数据并从该用户接收用户输入的目的)。可以在服务器处从客户端设备接收(例如，由数据处理系统102从计算设备104或数据提供者设备108接收)在客户端设备处生成的数据(例如，用户交互的结果)。

虽然在附图中以特定顺序描绘了操作，但不要求以所示的特定顺序或者以序列顺序执行这样的操作，并不要求执行全部示出的操作。本文所述的动作可以以不同的顺序执行。

各种系统组件的分立不要求在全部实施方式中都分立，并且所述的程序组件可以被包含在单个硬件或软件产品中。例如，NLP组件112或内容选择器组件138可以是单个组件、app、或程序，或者是具有一个或多个处理电路的逻辑器件，或者是数据处理系统102的一个或多个服务器中的一部分。

现已描述了一些说明性实施方式，显然，上述内容为说明性而非限制性并已举例说明。特别地，虽然本文呈现的许多示例涉及方法行为或系统元素的具体组合，但那些行为和那些元素可以其他方式组合实现相同的目标。所讨论的行为、元素和特征与一种实施方式组合并非旨在排除其他实施方式中的相似作用。

本文所用的短语和词语是出于描述目的，而不应视为限制性。本文中使用“包含”、“包括”、“具有”、“含有”、“涉及”、“其特征是”、“其特征在于”及它们的变形旨在涵盖其后列举的项目、其等同方案和附加项目、以及由其后排他性列举的项目组成的替选实施方式。在一种实施方式中，本文所述的系统和方法由所述元素、行为、或组件中的一个、一个以上的每种组合、或其全体组成。

对本文中系统和方法的实施方式或元素或行为以单数形式提及的任何引用也可以涵盖包括多个这些元素的实施方式，并且对本文中任何实施方式或元素或行为以复数形式的任何引用也可以涵盖仅包含单个元素的实施方式。单数或复数形式的引用并非旨在将本发明公开的系统或方法、它们的组件、行为或元素限制为单个或多个配置。对基于任何信息、行为或元素的任何行为或元素的引用可以包括该行为或元素至少部分地基于任何信息、行为或元素的实施方式。

本文公开的任何实施方式可以与任何其他实施方式或实施方案组合，并且对“一种实施方式”、“一些实施方式”、“一个实施方式”等的引用并非必然互斥并旨在指示结合该实施方式描述的特定特征、结构、或特性可以被包含在至少一个实施方式或实施方案中。这样如本文所用的词语并非必然全部指代相同的实施方式。任何实施方式可以包含性或排他性以符合本文公开的方面和实施方式的任何方式与任何其他实施方式组合。

对“或”的引用可以解释为包含性，使得使用“或”描述的任何词语可以指示单个、一个以上和全部所述词语中的任何一个。此外，对“‘A’和‘B’中至少一个”的引用可以仅包括“A”，仅包括“B”以及既包括“A”也包括“B”。这类结合“包括”或其他开放式词语使用的引用可以包括附加项目。

在附图、具体实施方式、或任何权利要求中的技术特征后标有附图标记的情况下，包含了这些附图标记来提高对附图、具体实施方式和权利要求的理解性。相应地，有无附图标记不会对任何权利要求要素的范围存在任何限制作用。

本文所述的系统和方法可以其他特定形式来体现，而不脱离其特性。上述实施方式为说明性，而不限制所述的系统和方法。因此，本文所述的系统和方法的范围由所附权利要求而非上述描述来指定，并且权利要求的等同含义和范围内的更改被涵盖于其中。

Claims (15)

1.一种从存储器传输数据以管理图形输出延时的系统，包括：

计算设备，所述计算设备具有以通信方式耦合至显示设备和麦克风的一个或多个处理器；以及

由所述计算设备执行的自然语言处理组件，所述计算设备被配置为：

接收携带用于预取电子内容项目的查询的声信号，所述声信号由所述麦克风检测；

在接收到携带所述查询的所述声信号时确定可操作来控制所述计算设备的图形用户界面的无线控制器设备处于第一状态，其中所述第一状态指示所述无线控制器设备不是活动的或者不可用于控制所述图形用户界面；

基于接收到所述声信号以及确定所述无线控制器设备处于所述第一状态，为由所述计算设备渲染以经由所述显示设备显示的所述图形用户界面建立第一交互模式，其中所述第一交互模式包括分页模式；

基于所述图形用户界面处于所述第一交互模式，将预取参数设置为第一值；

响应于所述查询和所述预取参数，预取与所述第一值相对应的第一数量的所述电子内容项目；

基于检测到所述无线控制器设备处于与所述第一状态不同的第二状态，为所述图形用户界面建立第二交互模式，其中所述第二状态指示所述无线控制器设备可用或者是活动的来用于控制所述图形用户界面，其中所述第二交互模式包括滚动模式；

响应于为所述图形用户界面建立所述第二交互模式，将所述预取参数的所述第一值覆写为与所述第一值不同的第二值；以及

由所述计算设备响应于所述预取参数被覆写为所述第二值，预取与所述第二值相对应的第二数量的所述电子内容项目，

其中所述预取参数的所述第一值大于所述预取参数的所述第二值。

2.根据权利要求1所述的系统，包括：

所述计算设备被配置为基于在检测到所述声信号之前的预定时间间隔内不存在来自所述无线控制器设备的信号，确定建立所述图形用户界面的所述第一交互模式。

3.根据权利要求1所述的系统，其中，所述无线控制器设备的所述第一状态包括待机状态，并且所述无线控制器设备的所述第二状态包括活动状态，所述系统包括：

所述计算设备被配置为响应于接收到由所述无线控制器设备传送的信号而确定所述无线控制器设备进入了所述第二状态，

其中，所述无线控制器设备被配置为响应于以下中的至少一个而传送所述信号：由所述无线控制器设备的加速计检测到的运动、或由所述无线控制器设备接收到的输入。

4.根据权利要求1所述的系统，包括所述计算设备被配置为：

预取所述电子内容项目以存储在所述计算设备的本地存储器中；以及

响应于来自所述无线控制器设备的输入或第二声信号中的一个，从所述本地存储器中检索所述电子内容项目中的一个或多个以经由所述图形用户界面显示。

5.根据权利要求1所述的系统，包括所述计算设备被配置为：

经由网络向服务器传送对所述第一数量的电子内容项目的请求以预取所述第一数量的所述电子内容项目；以及

响应于所述请求，从所述服务器接收所述第一数量的电子内容项目。

6.根据权利要求1所述的系统，包括：

所述计算设备被配置为响应于所述查询经由所述第一交互模式下的所述图形用户界面显示多个电子内容项目，其中，所述多个电子内容项目各自被渲染为完整图标。

7.根据权利要求6所述的系统，包括：

所述计算设备被配置为响应于所述图形用户界面被建立在所述第二交互模式下而添加位于所述图形用户界面的边界处的部分图标，所述部分图标被添加到所述图形用户界面而不更改经由所述图形用户界面显示的所述多个电子内容项目中的任何一个的位置。

8.根据权利要求7所述的系统，包括所述计算设备被配置为：

继添加所述部分图标之后，向剩余的所述一个或多个电子内容项目中的一个添加聚焦指示符，所述第一交互模式下的所述一个或多个电子内容项目中不存在所述聚焦指示符。

9.一种从存储器传输数据以管理图形输出延时的方法，包括：

由包括以通信方式耦合至显示设备的一个或多个处理器的计算设备的自然语言处理组件，接收携带用于预取电子内容项目的查询的声信号，所述声信号由以通信方式耦合至所述计算设备的麦克风检测；

由所述计算设备确定可操作来控制所述计算设备的图形用户界面的无线控制器设备处于第一状态，其中所述第一状态指示所述无线控制器设备不是活动的或者不可用于控制所述图形用户界面；

由所述计算设备在接收到携带所述查询的所述声信号时基于接收到所述声信号以及确定所述无线控制器设备处于所述第一状态，为由所述计算设备渲染以经由所述显示设备显示的所述图形用户界面建立第一交互模式，其中所述第一交互模式包括分页模式；

由所述计算设备基于所述图形用户界面处于所述第一交互模式，将预取参数设置为第一值；

由所述计算设备提供以所述第一交互模式配置的所述图形用户界面以经由所述显示设备显示；

由所述计算设备响应于所述查询和所述预取参数，预取与所述第一值相对应的第一数量的所述电子内容项目；

由所述计算设备响应于检测到所述无线控制器设备进入了与所述第一状态不同的第二状态，为所述图形用户界面建立第二交互模式，其中第二交互模式包括滚动模式，其中所述第二状态指示所述无线控制器设备可用或者是活动的来用于控制所述图形用户界面；

响应于检测到所述无线控制器设备进入了所述第二状态，将所述预取参数的所述第一值覆写为与所述第一值不同的第二值；以及

由所述计算设备响应于所述预取参数被覆写为所述第二值，预取与所述第二值相对应的第二数量的所述电子内容项目，

其中所述预取参数的所述第一值大于所述预取参数的所述第二值。

10.根据权利要求9所述的方法，包括：

由所述计算设备基于在检测到所述声信号之前的预定时间间隔内不存在来自所述无线控制器设备的信号，确定建立所述图形用户界面的所述第一交互模式。

11.根据权利要求9所述的方法，其中，所述无线控制器设备的所述第一状态包括待机状态，并且所述无线控制器设备的所述第二状态包括活动状态，所述方法包括：

响应于接收到由所述无线控制器设备传送的信号，确定所述无线控制器设备进入了所述第二状态，

其中，所述无线控制器设备响应于以下中的至少一个而传送所述信号：由所述无线控制器设备的加速计检测到的运动、或由所述无线控制器设备接收到的输入。

12.根据权利要求9所述的方法，包括：

预取所述电子内容项目以存储在所述计算设备的本地存储器中；以及

响应于来自所述无线控制器设备的输入或第二声信号中的一个，从所述本地存储器中检索所述电子内容项目中的一个或多个以经由所述图形用户界面渲染。

13.根据权利要求9所述的方法，包括：

经由网络向服务器传送对所述第一数量的电子内容项目的请求以预取所述第一数量的电子内容项目；以及

响应于所述请求，从所述服务器接收所述第一数量的电子内容项目。

14.根据权利要求9所述的方法，包括：

响应于所述查询经由所述第一交互模式下的所述图形用户界面显示多个电子内容项目，其中，所述多个电子内容项目各自被渲染为完整图标。

15.一种包括指令的非暂时性计算机可读存储介质，所述指令在由数据处理装置执行时使得所述数据处理装置执行根据权利要求9至14中的任一项所述的方法。