CN100595719C - 多模态同步的方法和装置 - Google Patents

Abstract

描述一种使多种模态同步的系统(110)。用户可以使用多种模态，例如话音和浏览器与诸如万维网的网络中的数据进行交互操作。可以同步所有的模态以便当用户仅以一种模态输入信息时，更新全部的模态。一种在设备(160、185)之间通信的方法，包括接收对包括第一内容的第一模态数据的请求，响应于接收请求发送一个消息，该消息包括允许请求包含重叠第一内容的第二模态数据的信息。另一种方法包括请求关于第一模态的第一数据，第一数据包括第一内容，并自动地请求第二模态的第二数据，其中第二数据包括重叠第一内容的第二内容。

Description

多模态同步的方法和装置

技术领域

特定的实施例一般涉及多种通信模式的同步，尤其涉及这种被应用于移动设备的同步。

背景技术

一个用户可以与处于多种不同模式的机器进行接口连接，例如，机械模式、听觉模式与视觉模式。例如，机械模式包括使用键盘输入。例如，听觉模式包括使用话音输入或输出。例如，视觉模式包括使用显示器输出。当使用计算机访问万维网(“WWW”)的数据时，可能使用浏览器。浏览器通常允许使用键盘、鼠标，或指示笔进行输入，使用显示器进行输出。替换地，可以使用话音输入与来输出访问万维网的数据。

发明内容

在一方面，同步第一模态网关与第二模态网关。两个网关接口连接在用户与服务器系统之间，同步允许用户在给定时间点使用第一模态网关或第二模态网关接口连接服务器系统中的指定信息。

可以同步浏览器与话音网关，服务器系统可包括网页。可以同步第一模态网关与第三模态网关，其中第三模态网关接口连接在用户与服务器系统之间。响应于服务器系统接收的来自第一模态网关的输入，可从服务器系统向第一模态网关发送第一模态页面。第二模态页面可被确定对应于第一模态页面。可从服务器系统向第二模态网关发送第二模态页面。

从服务器系统将第一模态页面发送到第一模态网关可包括，网络服务器响应于在网络服务器接收的来自话音网关的输入，将话音可扩展标记语言(“VXML”)页面发送至话音网关。确定第二模态页面可包括网络服务器确定对应于VXML页面的超文本标记语言(“HTML”)页面。发送第二模态页面可包括网络服务器将被确定的HTML页面发送到浏览器。网络服务器可在发送被确定的HTML页面之前接收来自浏览器的刷新请求。

从服务器系统向第一模态网关发送第一模态页面可包括网络服务器响应于在网络服务器接收的来自话音网关的输入将VXML页面发送到话音网关。确定第二模态页面可包括网络服务器确定对应于VXML页面的HTML页面。向第二模态网关发送第二模态页面可包括通过将确定的HTML页面发送到公布/预订系统、使得公布/预订系统将确定的HTML页面发送到浏览器，网络服务器将确定的HTML页面发送到浏览器，。

从服务器系统将第一模态页面发送到第一模态网关可包括网络服务器响应于在网络服务器接收的浏览器的输入将HTML页面发送到浏览器。确定第二模态页面可包括网络服务器确定对应于HTML页面的VXML页面。向第二模态网关发送第二模态页面可包括通过将确定的VXML页面发送到公布/预订系统、使得将VXML页面发送到话音网关，网络服务器将确定的VXML页面发送到话音网关。

从服务器系统将第一模态页面发送到第一模态网关可包括网络服务器响应于在网络服务器接收的来自浏览器的输入将HTML页面发送到浏览器。确定第二模态页面可包括网络服务器确定对应于HTML页面的VXML页面。向第二模态网关发送第二模态页面可包括网络服务器将确定的VXML页面发送到话音网关。当话音网关在指定时间量内没有接收到话音输入时，网络服务器可以接收该话音网关的请求，在网络服务器将确定的VXML页面发送到话音网关之前网络服务器可以接收该请求。

同步可包括从第一模态网关接收对第一模态页面的请求，确定对应于第一模态页面的第二模态页面，以及请求第二模态页面。从第一模态网关接收对第一模态页面的请求可包括控制器从浏览器接收对HTML页面的请求，控制器与浏览器物理分离。确定第二模态页面可包括控制器确定对应于HTML页面的VXML页面。请求第二模态页面可包括控制器从话音网关请求确定的VXML页面，控制器与话音网关以及服务器系统物理分离。

从第一模态网关接收对第一模态页面的请求可包括控制器从话音网关接收对VXML页面的请求，控制器与话音网关驻留在移动设备中。确定第二模态页面可包括控制器确定对应于VXML页面的HTML页面。请求第二模态页面可包括控制器从网络服务器请求确定的HTML页面。

同步可包括从第一模态网关接收对第一模态页面的请求，确定对应于第一模态页面的第二模态页面，以及发送第二模态页面的标识符至第二模态网关。从第一模态网关接收对第一模态页面的请求可包括控制器从浏览器接收对HTML页面的请求，控制器与浏览器驻留在移动设备中。确定第二模态页面可包括控制器确定对应于HTML页面的VXML页面。向第二模态网关发送第二模态页面的标识符可包括控制器将确定的VXML页面的统一资源定位符(“URL”)发送到话音网关，话音网关驻留在移动设备中。

同步可包括从第一模态接口接收对第一模态页面的请求，在第二模态页面对应于第一模态页面时访问第二模态页面的标识符，以及请求第二模态页面。从第一模态接口接收对第一模态页面的请求可包括控制器从话音接口接收对VXML页面的请求，控制器与话音接口物理分离。访问第二模态页面的标识符可包括控制器访问对应于VXML页面的HTML页面的URL，其中URL由与控制器物理分离的话音网关提供。请求第二模态页面可包括控制器从网络服务器请求关于浏览器的对应的HTML页面，控制器与网络服务器以及浏览器物理分离。

同步第一模态网关与第二模态网关可包括从第一模态接口接收涉及第一数据的第一项，确定第二数据。第二数据对应于第一数据。从第一模态接口接收涉及第一数据的第一项可包括控制器从话音接口接收对VXML页面的请求，第一项包含请求，第一数据包含VXML页面，控制器与话音接口物理分离。确定第二数据可包括控制器确定对应于VXML页面的HTML页面，第二数据对应于第一数据。控制器可从网络服务器请求对浏览器的已确定的HTML页面，控制器与浏览器以及网络服务器物理分离。第二数据可被提供到第二模态接口。

接收第一项可包括接收对第一网页的请求，第一网页由第一统一资源定位符(“URL”)识别，第一数据包括第一URL。确定第二数据可包括确定对第二网页的第二URL，第二网页对应于第一网页，第二数据包括第二URL。

同步第一模态网关与第二模态网关可包括从第一模态网关接收涉及第一数据的第一项，确定第二数据，第二数据对应于第一数据。控制器可接收第一项，并且控制器可以确定第二数据。第二数据可被提供到第二模态网关。在等待第二模态网关请求第二数据之后，第二数据可被提供到第二模态网关。可以通知第二模态网关请求第二数据。通知第二模态网关可包括控制器通过公布/预订系统通知第二模态网关，控制器可以提供第二数据。通知第二模态网关可包括控制器通过发送刷新查询响应来通知第二模态网关，提供第二数据可包括控制器提供第二数据。

可保存第二数据的标识符。可向第二模态网关提供对第二数据标识符的指针。可以从服务器系统请求第二数据。从服务器系统请求第二数据可包括控制器从存储介质请求第二数据，其中服务器系统包括存储介质，该存储介质相对于控制器是本地的。从服务器系统请求第二数据可包括控制器从存储介质请求第二数据，其中服务器系统包括存储介质，该存储介质对于控制器是远程的。第二数据的标识符可以被提供到第二模态网关。确定第二数据可包括从第一个模态网关接收第二数据的标识符。

另一方面，存取从第一模态网关发送的通信信息，响应于存取通信信息提供同步机制。在同步第一模态网关与第二模态网关时能够使用同步机制，这两个网关接口连接在用户与服务器系统之间。存取通信信息可包括接收对第一项的请求，提供同步机制可包括确定对应于第一项的第二项，发送第二项到第二模态网关。存取通信信息可包括接收对第一项的请求，提供同步机制可包括确定对应于第一项的第二项，确定第二项的标识符，发送标识符到第二模态网关。存取信息包括接收一个项，提供同步机制包括确定第二模态网关的身份，以及发送该项目到第二模态网关。接收一个项目可包括接收用户输入的文本输入。

另一方面，从第一模态实体接收对第一模态数据的请求，在第二模态数据对应于第一模态数据之处确定第二模态数据，第二模态数据被提供到第二模态实体。第一模态实体包括第一模态网关，第二模态实体包括第二模态网关。

另一方面，存储介质中已经存储了当通过机器执行时导致第一模态网关与第二模态网关同步的指令。两个网关都适合于在用户与服务器系统之间的接口连接。同步允许用户在已知时间点使用第一模态网关或第二模态网关，连接服务器系统中指定的信息。第一模态接口适合于被耦合到第一模态网关，第二模态接口适合于被耦合到第二模态网关。

另一方面，控制器接口包括当通过机器执行时导致第一模态接口与第二模态接口被连接到控制器的指令，该指令提供第一模态接口与第二模态接口的同步。第一模态接口包括浏览器接口。

另一方面，以硬件、固件或软件实现的一种或多种组件适合于：从第一模态网关接收对第一模态页面的请求，确定对应于第一模态页面的第二模态页面，请求第二模态页面。第一模态网关可以包括浏览器，第二模态网关可以包括话音网关。所描述的实施例的优势可包括：(i)允许用户使用多种模态与例如万维网的网络中的数据进行接口连接，(ii)允许在移动设备中使用这样的多种模态，(iii)允许不结合同步功能性设计这种移动设备，(iv)通过在用户设备与服务器之间的中间物执行同步功能性允许网络服务器设计保持相对不变，(v)允许能够同步多个设备的分布式结构，(vi)允许在例如个人数字助理的客户设备需要最小安装时间、甚至零安装时间的多种模态交互作用，以及(vii)使用现有的基于数据内容的标准表达提供多种模态的同步，例如，基于HTML与VXML。

另一方面，设备之间的通信包括：接收对包括第一内容的第一模态数据的请求，第一模态数据被配置为使用第一模态呈现，来自请求者的请求在第一设备被接收；响应于接收请求，第二设备接收第一设备发送的消息，消息包括允许第二设备请求第二模态数据的信息，第二模态数据包括重叠(overlap)第一内容的第二内容，第二模态数据被配置为使用第二模态呈现。可以通过将第一模态数据与第二模态数据呈现给用户，使用户使用第一模态或者第二模态响应重叠内容来同步第一模态数据与第二模态数据。

可以确定将在消息中发送的信息。信息包括指向第二模态数据或第一模态数据的指针。信息包括指向第二指针的第一指针，第二指针指向第二模态数据。

例如，在重叠时间间隔期间可以呈现第一模态数据与第二数据。第一模态数据可以呈现给第一移动设备的第一用户；第二模态数据可以呈现给第二移动设备的第二用户；第一用户或第二用户都可以响应重叠内容。

发送消息包括在第二设备已经被预订到的公布/预订系统的信道上公布该消息。信道被用户设备的网际协议(“IP”)地址、用户设备的标识符或使用第一模态与第二模态的用户标识符识别。

第一设备包括浏览器；第一模态数据包括超文本标记语言(“HTML”)页面；请求者包括用户；浏览器使用浏览器适配器发送消息；第二设备包括具有话音网关适配器的话音网关；第二模态数据包括对应于HTML页面的话音可扩展标记语言(“VXML”)页面的指示符。VXML页面的指示符包括VXML页面的统一资源定位符(“URL”)，或者HTML页面的URL。

第一设备可包括话音网关；第一模态数据包括VXML页面；请求者可包括在用户设备上的基于IP的话音(“VoIP”)客户；话音网关使用话音网关适配器发送消息；第二设备可包括具有浏览器适配器的浏览器；第二模态数据可包括对应于VXML页面的HTML页面的指示符。请求者可包括在用户设备上的特征提取单元。可以通过用户标识符识别信道。

第一设备可包括服务器；第一模态数据包括HTML页面；请求者可包括具有浏览器适配器的浏览器；服务器从浏览器接收请求；第二设备可包括具有话音网关适配器的话音网关；第二模态数据可包括对应于HTML页面的VXML页面的指示符。服务器通过从包括防火墙、代理、和网关的组中选择的中间物从浏览器接收请求。

第一设备与第二设备是从远程位置存取数据的网络的一部分。第一设备包括从包含(i)网关、(ii)适配器、(iii)服务器的组中选择的设备。请求者包括从包含(i)用户、(ii)个人通信设备、(iii)网关、(iv)适配器的组中选择的实体。请求者可以包括第二设备。

第一设备可以接收另一个请求。其它的请求来自第二请求者，请求包括第三内容的第二个第一模态数据。第二个第一模态数据被配置为使用第一模态呈现。响应于接收其它的请求，第一设备可以发送另一个消息。第三设备接收发送的其它消息。其它的消息包括允许第三设备请求第二个第二模态数据的第二信息，第二个第二模态数据包括重叠第三内容的第四内容。第二个第二模态数据被配置为使用第二模态呈现。

通过向第二用户呈现第二个第一模态数据与第二个第二模态数据，使第二用户可以使用第一模态或者第二模态响应重叠内容来同步第二个第一模态数据与第二个第二模态数据。

第一设备包括服务器；请求者包括第一浏览器；第二设备包括具有第一话音网关适配器的第一话音网关；第二请求者包括具有第二话音网关适配器的第二话音网关；第三设备包括第二浏览器。

第一设备响应于接收的初始请求发送第二消息，第三设备接收被发送的第二消息。第二消息包括允许第三设备请求第三模态数据的第二信息，第三模态数据包括重叠第一内容与第二内容的第三内容。第三模态数据被配置为使用第三模态呈现。

可以通过向用户呈现第一模态数据、第二模态数据与第三模态数据的每一个，使用户可以使用第一模态、第二模态或者第三模态响应重叠内容来同步第一模态数据、第二模态数据与第三模态数。可以通过发送被第二设备与第三设备接收的单个消息执行发送消息与发送第二消息。信息包括第二信息。

向请求者发送第一模态数据。从第二设备接收对第二模态数据的请求。向第二设备发送第二模态数据。请求者包括网关；第一设备包括服务器；第二设备包括另一个网关。

通信设备可包括执行一个或多个上述实施例的一个或多个组件或机制。用于接收请求的组件或机制可包括具有网关适配器的网关。用于发送消息的组件或机制可包括网关适配器。用于接收请求的组件或机制可包括具有服务器适配器的服务器。用于发送消息的组件或机制可包括服务器适配器。

另一方面，请求关于第一模态的第一数据。第一数据包括第一内容。在请求第一数据之后，自动请求关于第二模态的第二数据。第二数据包括重叠第一内容的第二内容。可以通过向用户呈现第一内容与第二内容，使用户可以使用第一模态或者第二模态响应重叠的内容来同步第一模态与第二模态。

可向用户呈现使用第一模态的第一内容。向用户呈现使用第二模态的第二内容。第一内容与第二内容可以在重叠时间间隔被呈现给用户，在这期间，用户可以使用第一模态或者第二模态响应重叠内容。

另一方面，通信设备包括耦合到第一网关的第一模态用户接口。第一模态用户接口被配置为请求包括关于第一模态的第一内容的第一数据，并向用户呈现使用第一模态的第一内容。通信设备包括第二网关，被配置为在第一模态用户接口请求第一数据之后自动地请求关于第二模态的第二数据。第二数据包括重叠第一内容的第二内容。通信设备还包括被配置为向用户呈现使用第二模态的第二内容的第二模态用户接口。

通信设备被配置为呈现给用户第一内容与第二内容，使用户可以使用第一模态或者第二模态响应重叠内容。同步模块可以与第一模态用户接口与第二网关耦合。同步模块可以被配置为根据第一数据确定将被请求的第二数据。

另一方面，呈现不同模态的更新数据包括：使用第一模态与第二模态呈现内容。响应于呈现内容，从第一模态接收输入。响应于接收的输入，使用第一模态与第二模态自动地呈现新内容，根据被接收的输入确定该新内容。

使用第二模态呈现新内容可包括根据接收的输入确定包括新内容的第二模态数据项。可以在第一时间间隔使用第一模态呈现内容，可以在重叠第一时间间隔的第二时间间隔使用第二模态呈现内容。

一种装置包括计算机可读介质，当执行计算机可读介质中存储的指令时能产生上述任何方面的一个或多个上述实施例。该装置可包括耦合到计算机可读介质的用于执行其中存储指令的处理设备。

通信设备可包括用于执行上述任何方面的一个或多个实施例的一个或多个组件或机制。

下文的附图与说明陈述一个或多个实施例的细节。特定实施例的其他特征将根据说明书、附图与权利要求书变得清楚。

附图说明

图1是用于同步多种通信模式的集中式系统的实例。

图2是图1中系统实施例的实例。

图3是话音网关请求VXML页面之后用于同步浏览器的服务器推(sever-push)处理的实例。

图4是话音网关请求VXML页面之后用于同步浏览器的浏览器拉(brower-pull)处理的实例。

图5是浏览器请求HTML页面之后用于同步话音网关的话音中断收听器处理的实例。

图6是浏览器请求HTML页面之后用于同步话音网关的无输入标签处理的实例。

图7是用于同步多模式的融合系统(fused system)的实例。

图8是浏览器输入之后同步图7系统中的浏览器与话音模式的处理的实例。

图9是话音输入之后同步图7系统中的浏览器与话音模式的处理的实例。

图10是用于同步多通信模式的代理系统的实例。

图11是浏览器输入之后同步图10系统中的浏览器与话音模式的处理的实例。

图12是话音输入之后同步图10系统中的浏览器与话音模式的处理的实例。

图13是与用于同步多通信模式的代理系统中的同步控制器进行通信的设备的实例。

图14是具有多个移动设备、话音网关与服务器的系统实例，所显示的各种组件包括适配器。

图15是图14系统的一个受限实施例的实例。

图16是使用图15系统的处理的实例。

图17是具有防火墙的图15的系统实例。

图18是用于发送同步消息的处理的实例。

图19是分散式系统的另一种实例。

图20是用于请求同步数据的处理的实例。

图21是用于呈现不同模态中的更新数据的处理的实例。

具体实施方式

在下文中结合图2更全面地讨论的一个特定实施例中，用户可以使用多通信模式连接万维网。例如，用户可以在使用浏览器的同时使用听觉输入与输出。听觉接口与浏览器能够被同步以允许用户选择使用浏览器或者话音作为特定的输入。通过用对应的数据更新浏览器与话音网关可以保持实施例的同步。例如，当用户点击一个链接时，浏览器将显示期望的网页，话音网关将接收对应的基于话音的网页以便用户能够接收对应于被显示页面的话音提示，并输入对应于被显示页面的话音输入。

集中式实施例

参看图1，用于同步多通信模式的系统100包括被包含在公共单元140中，通过连接130相互进行通信的服务器系统110与同步控制器120。服务器系统110和/或同步控制器120通过连接130与公布/预订系统150进行通信。

系统100还包括具有第一网关165、第一接口170、第二接口175的设备160。第一网关165与第一接口170通过连接180进行通信。系统100还包括通过连接190与第二接口175进行通信的第二网关185。第一与第二网关165与185中的任一个或二者都通过连接130与服务器系统110和/或同步控制器120进行通信。第一与第二网关165与185还分别通过连接194与196和公布/预订系统150进行通信。

“接口”指从用户接受输入或者向用户提供输出的组件。实例包括显示器、打印机、扬声器、麦克风、触摸屏、鼠标、滚动球、游戏棒、键盘、温度传感器、光传感器、光、加热器、例如烟雾探测器的空气质量传感器，以及压力传感器。例如，组件可以是硬件、软件或二者的组合。

“网关”指在用户输入/输出与一些其它数据格式之间进行翻译的组件。例如，浏览器是将用户的点击与打字翻译成超文本传输协议(“HTTP”)消息、并将接收的HTML消息翻译成用户能够理解的格式的网关。

系统100选择性地包括第三网关198与第三接口199。第三网关通过连接130选择性地直接地与单元140进行通信。第三网关198表明可在不同实施例中使用的不同模式的多样性，事实上用于这些模式的网关与接口可以彼此远离，并与其它网关与接口远离。各种输入/输出模式的例子包括手控、视觉的(例如，显示或打印)、听觉的(例如，话音或告警)、触觉的、压力、温度与气味。例如，手控模式包括键盘、指示笔、小键盘、按钮、鼠标、触摸(例如、触摸屏)以及其它的手动输入。

模态网关或模态接口指特别适合于输入和/或输出的特定模式或者各种模式的网关(或接口)。例如，浏览器是一个模态网关，其中的模态主要包括手控模式输入(键盘、鼠标、指示笔)、视觉模式输出(显示器)、以及可能的听觉模式输出(扬声器)。因此，在给定的模态网关中可以表示多种模式。因为系统可以包括几种不同的模态网关与接口，例如，这种网关与接口称作第一模态网关、第一模态接口、第二模态网关与第二模态接口。

更广泛地，第一模态实体涉及特别适合于输入和/或输出的特定模式或者各种模式的组件。例如，第一模态实体可包括第一模态网关或第一模态接口。

第一模态数据项指被第一模态实体使用的数据项。该数据项不必以第一模态实体支持的其中一种模式提供，该数据项而是被第一模态实体用于与在一种被支持的模式中的用户进行接口连接。例如，如果话音网关是第一模态网关，那么第一模态数据项可以是，例如一个VXML页。VXML页本身不是话音数据，但是可用于向用户提供话音接口连接。

参看图2，系统200是系统100的实施例中的一个实例。控制单元140由包括内置同步控制器的网络服务器240实现。设备160由例如可以是计算机或移动设备的设备260实现。第一网关165与第一接口170分别由设备260的浏览器265与浏览器接口270实现。第二网关185与第二接口175分别由话音网关285与话音接口275实现。公布/预订系统250类似于公布/预订系统150。连接230、280、290、294与296类似于连接130、180、190、194与196。

话音接口275可包括，例如麦克风与扬声器。话音接口275可用于通过连接290发送话音命令到话音网关285，并通过连接290从话音网关285接收话音提示。命令与提示可以通过连接290传输，例如，连接290使用网际协议(“IP”)连接的话音电话业务(被称作IP话音或“VoIP”)。话音网关285可以对输入的话音数据执行话音识别功能。话音网关285还能从网络服务器240接收VXML页，该VXML页包括与使用话音的用户进行交互操作的对话入口。话音网关285可以将已识别的、从用户接收的代码与对话入口进行相关以确定如何响应用户输入。可能的响应可包括提示用户附加的输入或根据用户的输入执行命令。

浏览器265以类似话音网关285的方式操作。然而，浏览器265使用HTML页面而不是VXML页面。同样，浏览器265与用户经常使用手动的和视觉的模式进行通信，例如，键盘、鼠标与显示器，而不是使用话音。尽管浏览器265能够使用听觉模式，但是这种模式通常局限于输出，例如，通过扬声器提供音乐。尽管系统200显示一种特定的手动与话音输入、显示器与话音输出模式的实施例，但是同样可以与支持替换的与附加的模式。

例如，公布/预订系统250可以作用为被预订实体的路由器。例如，如果网关265与285被预订，那么公布/预订系统250将消息从网络服务器240路由到网关265与285。

参考图3至6解释系统200的操作，图3至6描述可使用系统200执行的处理的实例。描述的四种处理在用户已经使用两个网关其中一个导航到新页面之后都使两个网关同步。四种处理是服务器推、浏览器拉、话音中断收听器以及无输入标签。

参看图3，系统200使用的被称为服务器推的处理300包括使浏览器265预订公布/预订系统250(310)。通过使网络服务器240将函数调用插入HTML页面来方便预定。当浏览器265接收并加载页面时，执行函数调用，将预定传递到公布/预订系统250。预定包括被插入预定中的回叫指针或引用以便当接收被公布的消息时公布/预订系统250能够向浏览器265提供消息。预订之后，浏览器265接着监听公布/预订系统250的任何消息。在一个实施例中，浏览器265使用包括内容帧、接收帧与发送帧的多个帧。发送帧被用于预订；接收帧被用于监听；内容帧是仅显示信息内容的帧。可以在处理300中延迟预定(310)，但是预定必须发生在浏览器265接收消息(参看350)之前。

处理300包括使话音网关285请求VXML页面(320)、并使网络服务器240发送VXML页面到话音网关285(330)。注意浏览器265与话音网关285是在所描述的处理300的实施例中被同步的网关。例如，响应用户向话音网关285提供的告诉话音网关285导航新网页的话音命令，操作320与330被初始化。网络服务器240可以延迟发送VXML页面直到处理300的稍后处。这种延迟可能有助于用对应的HTML页面到达浏览器265的到达时间改善被请求的VXML页面到达话音网关285的到达时间。

例如，页面可能是内容页面或服务器页面。内容页面包括用户通常在浏览该网络时看到的或听到的网页。例如，网页包括HTML页面与VXML页面。服务器页面包括例如Java服务器页面(“JSP”)的编程页面。服务器页面还可包括内容。

处理300包括使网络服务器240发送消息到公布/预订系统250，指出与被发送给话音网关285的VXML页面对应的HTML页面(340)。网络服务器240可以识别或者假定：由于VXML页面被发送给话音网关285使得话音网关285与浏览器265不同步、或两个网关265与285将变成不同步。因此，网络服务器240发送消息到公布/预订系统250，打算让浏览器265使两个网关265与285开始同步。例如，网络服务器240通过使用有嵌入式Java脚本命令的、指示对应的HTML页面的HTTP post消息来发送消息。网络服务器240不必指定打算使用消息的特定浏览器265(例如，通过指定IP地址与端口号)。相反，网络服务器240发送配置用于指定“主题”的消息(通常是串参数)。当网络服务器240使用公布/预订系统250公布消息时，所有关于那个主题的用户接收该消息。

网络服务器240可以用各种方式确定对应的HTML页面。例如，如果VXML页面请求是与链接的点击等效的话音，那么VXML数据可包含用于对应的HTML页面的统一资源定位符(“URL”)。替换地，例如，网络服务器240可以访问包含对应的VXML与HTML页面的URL的数据库，或者如果已知对应页面具有类似的URL，执行URL翻译。

在该公开中使用的“同步”涉及使两个实体变成同步、或者保持两个实体之间的同步。为公开的目的，两个网关被认为是同步的，当在给定时间点用户能够使用两个网关中的任何一个来与相同的指定信息进行接口连接时，其中接口连接包括输入/输出。

如果在本公开中使用的两个项目(item)被不同模态的网关使用以允许用户与相同的指定信息进行接口连接，则二者相“对应”。例如，如果HTML页面与VXML页面允许用户接口连接相同的信息，则HTML页面对应VXML页面。如果两个网关能够使用项目允许用户接口连接使用不同模态的该项目中的信息，这个项目对应于它本身。

处理300包括使公布/预订系统250从网络服务器240接收消息，并发送消息到浏览器265(350)。公布/预订系统250使用另一个HTTP post消息将消息发送到指定主题的所有用户。在该实施例中，公布/预订系统250可以使用已经被插入来自浏览器265的预定中的回叫指针或者引用。

处理300包括使浏览器265接收消息(360)。浏览器265被假定处于流HTTP模式，意味着HTTP连接在浏览器265与公布/预订系统250之间保持开放(keep open)。因为浏览器265被预订，所以HTTP连接还在公布/预订系统250与网络服务器240之间保持开放。网络服务器240通过公布/预订系统250重复地指示浏览器265“保持有效”，并继续显示当前HTML页面。这些“保持有效”的通信被处于中断方式的浏览器265的接收帧接收。当网络服务器消息到达并指出对应的HTML页面时，浏览器265接收在浏览器接收帧中的消息，并执行嵌入式Java脚本命令。执行通过将内容帧重定向到另一个HTML页面更新浏览器265的内容帧的命令。

参看图4，与系统200一起使用的处理400被称为浏览器拉，处理400包括使话音网关285请求VXML页面(410)，以及使网络服务器240向话音网关285发送被请求的VXML页面(420)。例如，网络服务器240可以延迟发送VXML页面直至处理400的稍后处，以便通过对应的HTML页面到达浏览器265的到达时间改善被请求的VXML页面到达话音网关285的到达时间。

处理400包括使网络服务器240注意已经变化的话音网关285的状态，确定浏览器265所需的对应的页面，以保持同步(430)。因此，网络服务器240跟踪网关265与285的状态。

处理400包括使浏览器265向网络服务器240发送关于任何更新的请求(440)。该请求是刷新请求或者用于更新的请求，并且浏览器265在循环的基础上使用HTTP get消息从发送帧发送该请求。

处理400包括使网络服务器240发送响应以更新浏览器265(450)。通常，网络服务器240通过向浏览器接收帧发送指示“无变化”的应答消息来响应刷新请求。然而，当话音网关285已经请求新VXML页面时，网络服务器240将Java脚本命令嵌入对浏览器265的刷新应答中，浏览器265一旦执行该命令就使浏览器265进入同步状态。例如，Java脚本命令指示浏览器265加载新的HTML页面。

处理400包括使浏览器265接收响应，执行所嵌入的命令(460)。当执行所嵌入的命令时，浏览器265内容帧被对应的HTML页面更新。命令提供对应页面的URL。在另一个实施例中，网络服务器240发送指示“无变化”的、命令浏览器265从网络服务器240重新加载当前HTML页面的标准响应。然而，网络服务器240还在网络服务器240的当前HTML页面嵌入命令，该命令指示对应的HTML页面。因此，当请求、接收、加载当前HTML页面时，浏览器265将执行内嵌的命令并更新HTML页面。

参看图5，与系统200一起使用的处理500被称为话音中断收听器，处理500包括使话音网关285预订公布/预订系统250(510)。函数调用可被嵌入到从网络服务器240接收的VXML页面中，可由话音网关285执行函数调用以预订公布/预订系统250。话音网关285能在各个时间点进行预订，例如，当开始运行话音网关285或者接收到VXML页面时。与浏览器不同，话音网关不使用帧。预定(510)可以在处理500中延迟，但是预定必须发生在话音网关285接收消息之前(参看550)。

处理500包括使浏览器265从网络服务器240请求HTML页面(520)，以及使网络服务器240向浏览器265发送被请求的HTML页面(530)。例如，可通过用户从浏览器265中的“喜爱”下拉菜单选择新的URL来开始这种处理。例如，网络服务器240可以延迟发送被请求的HTML页面(530)直至处理500的稍后处，以便通过对应的VXML页面到达话音网关285的到达时间改善被请求的HTML页面到达话音网关265的到达时间。

处理500包括使网络服务器240发送消息到公布/预订系统250以指示对应的VXML页面(540)。网络服务器240向公布/预订系统250发送HTTP post消息，这个消息包括话音网关285被预订的主题。与嵌入Java脚本命令不同，网络服务器240还将参数嵌入该消息中。被嵌入的参数指示对应的VXML页面。

处理500包括使公布/预订系统250向话音网关285发送消息(550)。公布/预订系统250可以使用另一个HTTP post消息简单地重新路由至被预订的话音网关285的消息。

处理500还包括使话音网关285接收消息(560)。话音网关285被假定处于流HTTP模式，从公布/预订系统250监听消息并接收循环的“保持有效”消息。当话音网关285从网络服务器240接收新消息时，话音网关285解析嵌入的参数，并根据参数执行命令。例如，命令可以是对网络服务器240中对应VXML页面的请求。

参看图6，与系统200一起使用的处理600可被称为无输入标签，处理600包括使网络服务器240向话音网关285发送一个具有嵌入无输入标签的VXML页面(610)。每个VXML页面都有无输入标记标签(<无输入>)，如果话音网关285在指定的时间量内没有接收任何用户输入，标记标签指定话音网关285中的代码开始运行。代码中嵌入JSP(Java服务器页面)的URL，该代码告诉话音网关285发布HTTP get命令以检索JSP。相同的无输入标签被嵌入每个被发送给话音网关285的VXML页面中，因此，无输入标签每次都指定相同的JSP。

处理600包括使浏览器265请求HTML页面(620)，使网络服务器240向浏览器265发送被请求的HTML页面(630)，并使网络服务器240注意状态变化，并确定对应的VXML页面(640)。网络服务器240使用关于对应的VXML页面的信息更新JSP的内容，或者JSP所指的页面内容。例如，这种信息可包括对应的VXML页面的URL。例如，网络服务器240可以延迟发送被请求的HTML页面(630)直至处理600的稍后处，以便通过对应的VXML页面到达话音网关285的到达时间改善被请求的HTML页面到达浏览器265的到达时间。

处理600包括使话音网关285等待指定的时间量并发送对更新的请求(650)。在经过由话音网关285中的代码确定的指定时间量之后，话音网关285发布对JSP的HTTP get命令。当在指定的时间量内无用户输入时，用户可能已经使用非话音模式键入输入，结果，话音网关285可能必须被同步。

处理600包括使网络服务器240接收更新请求并向话音网关285发送对应的VXML页面(66类型指针。网络服务器240使用对应于当前HTML页面的VXML页面向话音网关285公布HTTP post消息。

处理600包括使话音网关285接收对应的VXML页面(670)。当话音网关285接收并加载对应的VXML页面，并且浏览器265接收并加载HTML页面(参看630)时，两个网关265与285被同步。然而，因为用户不键入浏览器输入，这样情况下，话音网关285在指定的等待时间量内没有接收到话音输入之后简单地重新加载当前页面，所以两个网关265与285可以总是同步。

因为处理600等待话音网关285请求更新，所以该处理有固有的延迟。因此，话音网关285可能在大约是与预订延迟相当的一段时间内不同步。当话音网关285不同步时，被接收的话音输入可以用几种方式处理。首先，如果输入上下文指示网关265与285不同步，那么话音输入可以被话音网关285忽略。例如，如果用户点击一个链路，然后下达对应于新页面的对话的命令，话音网关285将不具有正确的对话。然而，假定一个冲突，网络服务器240可以确定网关265与285不同步，可以向任何一个网关授予优先权。例如，可能在第一输入的基础上授予优先权或者将优先权给予作为默认的一个网关。

融合实施例

参看图7，系统700包括与设备730中的同步控制器720通信的网络服务器710。设备730同样包括与浏览器接口270通信的浏览器735，与话音接口275通信的话音模式系统740。

例如，网络服务器710可以是通过HTTP连接提供HTML与VXML页面的标准网络服务器。例如，设备730可以是计算机、便携式个人数字助理(“PDA”)、或者其他用于与因特网通信的电子设备。在一个实施例中，设备730是允许用户使用浏览器或者话音输入和输出与因特网通信的便携式设备。在这种实施例中，因为全部的同步与通信被同步控制器720处理，所以不需要重新设计网络服务器710。

话音模式系统740存储用户感兴趣的VXML页面，允许用户使用话音输入和输出与这些VXML页面进行接口连接。VXML页面可以根据希望以各种方式更新或者变化，例如，在非峰荷时间期间从万维网下载VXML页面。话音模式系统740是一个话音网关，但是被称为话音模式系统，以注意到它是一个被改变的话音网关。话音模式系统740执行用户话音输入的话音识别，并使用话音接口275使仿真话音输出。同步控制器720还执行浏览器与话音模式之间的同步。参看图8和9，描述同步浏览器735与话音模式系统740，或者，同步浏览器接口270与话音接口275的两个处理。

参看图8，处理800包括使同步控制器720接收对新HTML页面的浏览器的请求(810)。浏览器735可被设计向同步控制器720发送请求，或者浏览器735可以向网络服务器710发送请求，并且同步控制器720可以截取浏览器请求。

处理800包括使同步控制器720确定对应于被请求的HTML页面的VXML页面(820)。在特定的实施例中，当用户通过点击与浏览器735的链接请求新HTML页面时，HTML数据还包括对应的VXML页面的URL。此外，浏览器735向同步控制器720发送关于被请求的HTML页面的URL与关于对应的VXML页面的URL。同步控制器720仅通过从浏览器265接收关于对应的VXML页面的URL确定对应的VXML页面。例如，同步控制器720还通过执行查表、访问数据库、在HTML URL与VXML URL之间应用翻译，或者从网络服务器710请求信息来确定对应的页面。

处理800包括使同步控制器720向话音模式系统740传递对应的VXML页面的标识符(830)。例如，标识符可以是URL。在特定的实施例中，话音模式系统740可以截取对新HTML页面的浏览器请求，或者浏览器735可以向话音模式系统740发送该请求。在两种情况中，代替同步控制器720确定对应的页面(820)并发送标识符(830)，话音模式系统740可以确定对应的VXML页面。

处理800包括使同步控制器720向服务器710传递浏览器的HTML页面请求(840)。例如，同步控制器720可使用HTTP请求。在同步控制器720截取浏览器请求的实施例中，隐含地执行对请求的传递(840)。例如，同步控制器720可以延迟向服务器发送浏览器请求(840)直至处理800的稍后处，以便通过话音模式系统740对对应的VXML页面的访问改善被请求的HTML页面到达浏览器735的到达时间(参看860)。

处理800包括使浏览器接收被请求的HTML页面(850)并使话音模式系统740访问对应的VXML页面(860)。一旦这两个页面被加载并可用于方便用户间的交互作用，两种模式将被同步。

参看图9，处理900包括使话音模式系统740接收用户对新VXML页面的请求(910)，并访问被请求的VXML页面(920)。例如，话音模式系统740从被存储的VXML页面中访问VXML页面。可以延迟访问被请求的VXML页面(920)以与在操作960中浏览器接收对应的HTML页面一致。

处理900包括使话音模式系统740向同步控制器720传递对VXML页面的请求(930)，使同步控制器720确定对应的HTML页面(940)。在特定的实施例中，话音模式系统740可以确定对应的HTML页面，或者可以随着浏览器735确定对应的HTML页面直接向浏览器735传递对VXML页面的请求。

处理900包括使同步控制器720从网络服务器710请求对应的HTML页面(950)，使浏览器接收对应的HTML页面(960)。例如，同步控制器720可以使用HTTP get命令。

代理实施例

参看图10，系统1000包括使网络服务器1010与同步控制器1020和话音网关1025通信。同步控制器1020还与话音网关1025和设备1030中的几个组件通信。设备1030包括浏览器接口270、浏览器1040与话音接口275。浏览器1040与浏览器接口270和同步控制器1020通信。话音接口275与同步控制器1020通信。

网络服务器1010能够递送HTML与VXML页面。例如，设备1030可以是装备与万维网接口连接的双模式的计算机或者便携式PDA。系统1000允许双模式被同步，因为同步控制器1020是独立的并与网络服务器1010分开，系统1000不需要增强或者重新设计网络服务器1010。

参看图11和12，描述同步浏览器1040与话音网关1025，或者，同步浏览器接口270与话音接口275的两种处理。尽管可以使用其他的输入，但两种处理假定用户的输入是对新页面的请求。

参看图11，处理1100包括使同步控制器1020接收对新HTML页面的浏览器请求(1110)。处理1100还包括使同步控制器1020向网络服务器1010传递HTML请求(1120)，并确定对应的VXML页面(1130)。除同步控制器的位置外(比较720与1120)，这三个操作1110-1130基本上分别类似于操作810、840与820。例如，同步控制器1020可以延迟向网络服务器1010发送浏览器请求(1120)直至处理1100的稍后处，以便通过对应的VXML页面到达同步控制器1020的到达时间改善被请求的HTML页面到达浏览器1040的到达时间(参看1150)。

处理1100包括使同步控制器1020通过话音网关1025请求对应的VXML页面(1140)。同步控制器1020可以用各种方式请求页面。例如，同步控制器1020可以向话音网关1025发送仿真的话音请求，或者可以向话音网关1025发送命令。

处理1100包括使同步控制器1020接收对应的VXML页面(1150)。话音网关1025接收被请求的VXML页面并向同步控制器1020发送VXML页面。在另一个实施例中，同步控制器1020不接收VXML页面，话音网关1025进行话音识别并在同步控制器1020充当管道的情况下与用户进行接口连接。

参看图12，处理1200包括使同步控制器1020从话音接口275接收请求新VXML页面的话音输入(1210)。处理1200包括使同步控制器(i)解析话音输入，沿着话音网关1025传递对新VXML页面的请求(1220)，以及(ii)确定对应的HTML页面(1230)。在这个实施例中，同步控制器1020能访问并存储当前VXML页面，这允许同步控制器1020解析话音输入。如上述说明，具有当前VXML页面还允许同步控制器1020确定与“话音点击”事件对应的HTML页面。例如，如果用户输入不是与对链路的点击等效的话音，而是口述的URL，则具有话音识别的能力的同步控制器能够解析URL和服务器提供关于对应的HTML页面的URL的请求。

处理1200包括使同步控制器1020从服务器请求对应的HTML页面(1240)，使浏览器接收被请求的HTML页面(1250)。在另一个实施例中，同步控制器1020不确定对应的页面，而是请求网络服务器1010确定对应的页面并发送该对应的页面。

在另一个实施例中，同步控制器1020不解析话音输入，仅沿话音网关1025传递VoIP请求。如果话音输入是对VXML页面的请求，话音网关1025确定对应的HTML页面，并向同步控制器1020提供关于HTML页面的URL。

参看图13，设备1300包括同步控制器接口1310、浏览器1320、浏览器接口270以及话音接口275。浏览器1320与浏览器接口270和同步控制器接口1310进行通信。同步控制器接口1310还与话音接口275进行通信。除了允许浏览器1040和话音接口275与同步控制器1020进行通信的功能性以外，设备1300(其中同步控制器1020被独立成同步控制器接口1310)类似于设备1030。在一个实施例中，设备1300是一个移动设备。这种移动设备比如果还在移动设备上实现同步控制器的情况更小并且更轻。此外，因为这种移动设备不包含同步控制器的功能性，仅包括一个接口，移动设备不必重新设计便能够利用同步控制器的改进。

其他的变化

上述每个实施例可以使用超过两种不同的模式。例如，使用三种不同的模式访问仓库的库存、发货或者其他的数据，访问仓库数据的一个或多个机器可能必须同步。例如，第一模式可包括键盘输入；第二模式可包括话音输入；第三模式可包括扫描托盘的条形码得到的输入以请求特定的记录。例如，任何一种模式的输出包括显示输出、话音输出或者打印机输出。

依据特定的系统主要地解释了所描述的处理。然而，每个处理可能使用集中式、融合、代理、或者其它系统类型的许多其它实施例。

再次参看图1，服务器系统110包括用于至少暂时存储能被一个或多个网关访问的信息的一个或多个设备。例如，网络服务器具有用于存储网页的存储设备。服务器系统110可包括本地设置或者彼此远距离设置的多个存储设备。服务器系统110可包括对另一个组件，例如设备160或者第二网关185来说是本地设置的一个或多个存储设备。在各种实施例中，服务器系统110或者同步控制器120不包含在单元140中。

同步控制器120保持或者建立两个或更多设备之间的同步，例如网关和/或接口的同步。同步控制器120的组件彼此间可以是远距离的或者本地的，对系统100中的一个或多个其它组件来说可以是本地的，例如，设备160、第二网关185或者公布/预订系统150。

公布/预订系统150涉及一种接收并发送消息的系统。在特定实施例中，除接收预订请求外，公布/预订系统150仅能从被预订的实体接收消息，或向被预订的实体发送消息。

设备160可以是电子设备、光学设备、磁设备或者其它能够与用户以及其他系统通信的设备类型。实例包括计算机、PDA、服务器或者机顶盒。

连接130、180、190、194与196，以及贯穿该公开的其它连接可能是与一个或多个中间设备直接或者间接的连接。连接可以使用一个或多个介质，例如有线的、无线的、电缆或者卫星连接。连接可以使用各种技术或者标准，例如模拟或者数字技术、分组交换、码分多址(“CDMA”)、时分多址(“TDMA”)、以及具有通用分组无线电业务(“GPRS”)的全球移动系统(“GSM”)。连接可以使用各种已经建立的网络，例如因特网、万维网、广域网(“WAN”)、局域网(“LAN”)、电话网、无线网、电视网、电缆网、卫星网络。

处理300-600适应于各种按照几种实例的变化，并可被应用于不同于系统200的结构。每个包括一个网关的单独设备可以通过一直跟踪IP地址与单独设备的端口号，或者通过使设备预订在公布/预订系统相同的主题而实现同步。例如，用户可能以在第一机器上的第一模态接口操作，并在第二机器上的第二模态接口操作。作为另一个实例，两个或更多用户可以相隔遥远，并可以希望同步。<被远距离设置的用户可能操作相同模态接口的，或者不同的模态接口。

初始操作320或者410讨论的话音命令与初始操作520或者620讨论的浏览器命令可能是导航命令或者非导航命令。例如，导航命令包括指定URL、输入主页、向后或者向前命令。例如，非导航命令包括文本输入、喜好变化或者聚焦命令。

网关接收的包括命令与数据的任何输入由话音网关或者浏览器提供到服务器。例如，即使当话音网关不需要VXML页面时，话音网关可以提供给服务器文本输入及其他输入，以便服务器能向浏览器提供输入以保持浏览器与文本输入同步，而不仅是与新页面同步。

在各种实施例中，在操作360，460或者560中到达网关的服务器消息可以包括，例如(i)实际的对应HTML/VXML页面，(ii)对应页面的URL与查找对应页面的命令，(iii)识别对应页面的JSP的URL，(iv)关于对应页面或者识别对应页面的JSP的命令，以及(v)对重新加载当前页的指示(加载到已经嵌入检索对应页面的命令的服务器中)。

当第一项包括涉及第一数据的信息时，认为第一项涉及第一数据。例如，这种信息包括第一数据本身、第一数据的地址或者其它指向第一数据的指针、第一数据的编码以及从第一数据识别的特定信息的参数。例如，第一数据可包括在本公开中描述的多种实例中的任何一种以及其它数据的地址、被用户输入的数据与被用户输入的命令。

例如，向网关(340-50、450、540-550或者660)发送对应的输入或者关于对应的输入的指示时，服务器可发送诸如命令或者参数。例如，命令可包括请求对应页面的Java脚本命令。例如，参数可包括对应页面的URL。解析参数、确定命令以及执行命令。例如，在操作660中，代替发送对应的VXML页面，服务器可以发送包含参数的消息，该消息包括URL(用于对应的VXML页面)以及话音网关应该请求被URL识别的页面的指示。

在处理300-600中，网络服务器240被描述为执行各种动作。如较早的描述，网络服务器240包括同步控制器，由网络服务器240执行的许多动作被表现为由同步控制器执行。

参看图8和9，操作810和910可被概括为允许同步控制器720接收其他的浏览器输入，以及允许话音模式系统740接收其他的话音输入。例如，输入可包括命令、对新页面的请求、数据输入与对焦点的请求。在操作910的一个实施例中，话音模式系统740接收关于在VXML页面字段中要求该用户地址的用户城市选择。城市选择的接收引起VXML进入关于选择状态的对话输入。话音模式系统740向浏览器735传递这个选择以便可以更新用户的屏幕显示。

此外，话音模式系统740可以是话音网关。在这种实施例中，话音网关本地不存储任何VXML页面，而是从网络服务器710请求VXML页面。同步控制器720可以类似于同步控制器720可以截取或者控制浏览器请求的方式来截取或者控制话音网关请求。

同步控制器720的一个或多个功能可以被浏览器735或者话音模式系统740执行。例如，浏览器735可向话音模式系统740发送HTML页面请求，话音模式系统740可确定对应的VXML页面。

由公开的实施例的广度所表示，同步控制器可以被安置在系统内的各个位置。此外，同步控制器的组件功能可以分开，并被安置在系统内的不同位置。这种灵活性允许系统定位于一个或多个特定设备的复杂性。例如，通过保持移动设备的同步控制器功能空闲，移动设备可以更轻、价格更低廉、对同步控制器的技术增强更强健。通过使用代理模型，移动设备仍然独立于同步控制器并且享有显著的有益特性。此外，通过使用代理模型，现有的许多网络服务器不需要被重新设计，同步控制器可允许多种移动设备类型与相同的服务器基础结构进行通信。使用公布/预订系统，以所描述的或者依据其他原理的实施例操作，还便于具有对客户设备最小安装时间的结构，使客户设备仅最低限度地变化。

例如，同步控制器可包括适合于执行在本公开的一个或者多个实施例中对同步控制器所描述的功能的一个或多个组件。例如，组件可以是硬件、软件、固件或一些上述的组合。例如，硬件组件包括控制器芯片以及芯片支架、通信芯片、数字逻辑及其他数字或者模拟电路。

被公开的实施例特征为提供同步机制。例如，这种同步机制可包括(i)向公布/预订系统发送消息，(ii)向浏览器发送消息，该消息可能包括关于新页面或者JSP的URL，(iii)例如，通过更新JSP更新状态信息，(iv)直接向网关发送对应的页面，(v)从中间物或者具有页面的存储位置请求对应的页面，(vi)确定对应的页面，以及(vii)请求关于对应页面的决定，可能地，请求对该决定的接收。各种列出的机制可以被同步控制器、网络服务器、网关或者其它适合于提供这种功能的组件执行。

许多公开的实施例都集中在万维网以及因特网应用。然而，所描述的特征能被应用于各种通信环境、网络以及系统。使用术语″页面″不意味限制，其涉及采用被特定网关、接口或者其它组件可用的形式的数据。

贯穿本公开描述各种动作。例如，这些术语包括接收、访问、提供、发送、请求、确定、传递与路由选择，以及其它类似的术语倾向于广泛地解释。因此，这些术语不局限于直接起作用，而是通过一个或多个中间物而起作用。例如，即使页面首先通过控制器或者公布/预订系统，一个页面可以被发送给网关、提供到网关、或者从网关接收。作为另一个实例，通过请求另一个组件提供对应的URL可确定对应的页面。

现在提供关于特定实施例的补充细节，其主要集中在用于两个或更多模态相互结合的各种机制。上文描述的实施例可以使用各种机制结合各种模态，多种机制属于普通技术人员不需要过度实验(undue experimentation)的技能范围。这样的机制可包括结合模态和/或设备的各种表格方法与命名规则。此外，对如上所述的融合实施例，设备可以被编辑与该设备中支持的多种模式关联。上述的实施例还向用户查询识别用户希望结合的模式和/或设备的信息。

因此，上述的实施例具有允许一个普通技术人员在没有过度实验的情况下产生并使用该实施例的充分的说明，下文中对机制的公开不需要启动或者描述上述的实施例。然而，例如，以下的讨论提供支持对被公开的机制与实施例来说特定的从属权利要求的附加的公开。

使用IP地址的同步

参看图14，系统1400包括具有第一“基于IP的话音”(“VoIP”)客户1414与第一浏览器1416的第一移动设备1410，第一浏览器1416包括第一浏览器适配器1418。第一VoIP客户机1414被耦合到包括话音网关适配器1424的第一话音网关1420。

系统1400包括具有第二VoIP客户机1434与第二浏览器1436的第二移动设备1430，第二浏览器1436包括第二浏览器适配器1438。第二VoIP客户机1434被耦合到包括第二话音网关适配器1444的第二话音网关1440。

系统1400包括具有第一网络服务器适配器1454的第一网络服务器1450。系统1400包括具有第二网络服务器适配器1464的第二网络服务器1460。第一网络服务器1450与第二网络服务器1460每个被耦合到第一浏览器1416、第一话音网关1420、第二浏览器1436以及第二话音网关1440。系统1400还包括与第一网络服务器适配器1454、第二网络服务器适配器1464、第一浏览器适配器1418、第一话音网关适配器1424、第二浏览器适配器1438、以及第二话音网关适配器1444耦合的消息传递处理器(messaging handler)1470。网络服务器适配器1454与1464每个分别能作为在网络服务器1450或者1460中运行的多模态应用的一部分执行。

参看图15，系统1500是比图14中的通用系统小的实施例。系统1500包括第一移动设备1410(称为移动设备1410)、第一话音网关1420(称为话音网关1420)、第一网络服务器1450(称为网络服务器1450)，与消息传递处理器1470，以及在描述图14中描述的这些设备的组成组件。

参看图16，处理1600与系统1500一起使用，处理1600一般描述用于在各种组件之间建立通信以及结合两种模态的一个实施例。例如，在处理1600中描述的结合可以被上述一种或者多种同步处理使用。

处理1600包括使VoIP客户机1414连接到话音网关1420(1610)。响应于用户请求，通过使用指示笔选择“连接”图标可以在移动设备1410建立话音连接(1610)。例如，诸如国际电信联盟-T推荐H.323(“H.323”)或者会话启动协议(“SIP”)的标准协议可以在特定实施例的VoIP客户机1414与话音网关1420之间使用。

处理1600还包括使话音网关适配器1424获得移动设备1410的网际协议(“IP”)地址(1620)。IP地址可以是所使用的VoIP协议的一部分，在这种情况下，例如，话音网关适配器1424可以通过从连接标题中拉出IP地址获得IP地址。例如，还可以通过查询用户或者移动设备1410获得IP地址。

系统1500中的各种适配器通常管理用于网关/服务器的消息传递接口，例如，系统1500中的各种适配器可能作为一个软件插件程序实现。在各种实施例中，适配器起收听器处理的功能，浏览器适配器包含嵌入每个HTML页面中的软件，软件调用程序被存储浏览器机器中。当接收每个HTML页面并且执行嵌入软件时，软件的执行可以引起关于在浏览器机器中展示(instantiate)的那个HTML页面的适配器进行工作。这些实施例还可支持话音网关这种调用的实施例中的VXML进页面嵌入类似的调用。因为系统具有不支持这种调用的话音网关，所以话音网关可包括与消息传递处理器接口连接的单个收听器处理(适配器)。类似地，一个浏览器适配器可以支持在显示器浏览器支持这种调用的实施例中的多种HTML页面。

处理1600包括使话音网关适配器1424根据移动设备1410的IP地址预订唯一信道(1630)。例如，话音网关适配器1424可以使用HTTP与消息传递处理器1470通信。消息传递处理器1470创建信道并使用IP地址作为信道的名字或者其他引用，话音网关适配器1424预订唯一信道。因为是通过被移动设备1410唯一的IP地址进行描述，所以信道唯一的。

处理1600包括使话音网关1420从网络服务器1450请求响应(1640)。话音网关1420可以向网络服务器1450发送HTTP请求以请求响应。因为在此刻VoIP客户机1414没有请求指定的网页，所以该请求可能是关于不必包含任何内容的缺省页面(也就是说，空(dummy)页面)。特定的实施例可以执行这种操作作为启动步骤的一部分，该操作允许在请求或者发送有内容的网页之前，有浏览器1416连接网络服务器1450的时间。网络服务器1450可以使用增强的标准网络服务器应用程序执行这种功能，以支持同步多种模态。

处理1600包括使网络服务器1450向话音网关1420返回空话音页面(1650)。处理1600还包括使浏览器1416连接网络服务器1450，并且建立新的浏览器会话(1660)。例如，浏览器1416可以响应于用户输入的所希望的网页的URL，或者响应于连接命令进行连接。

处理1600包括使网络服务器1450检测移动设备1410的IP地址，并将唯一的消息传递信道与建立在浏览器1416和网络服务器1450之间的新会话相关联(1665)。在特定的实施例中，IP地址被嵌入到浏览器1416与网络服务器1450之间的HTTP通信中，网络服务器1450通过从通信中提取IP地址检测IP地址。在一个实施例中，网络服务器1450假定存在由IP地址引用的唯一消息传递信道，并使用列表或者数据结构来将会话与唯一的消息传递信道相关联。

处理1600包括使网络服务器1450响应于连接网络服务器1450的第一浏览器1416，向浏览器1416发送网页(1670)。发送给浏览器的网页典型地是HTML页面。如果响应于用户输入的所希望的网页的URL建立浏览器-服务器连接(1660)，那么网络服务器1450可发送被请求的网页。

处理1600包括使网络服务器1450通过消息传递处理器1470向话音网关适配器1424公布被发送给浏览器1416的网页的URL(1675)。网络服务器1450向被移动设备1410的IP地址标识或者引用的唯一消息传递信道公布URL。第一网络服务器适配器1454(称为网络服务器适配器1454)被用于向消息传递处理器1470进行公布。最初，仅话音网关适配器1424被预订给唯一的消息传递信道，所以不存在关于什么实体打算接收消息的模糊性。

在典型的实施例中，对应的VXML与HTML网页的URL相同。因此，在该典型实施例中，服务器仅需要公布URL来允许其它模态识别对应的网页。在对应的页面(或者其他数据)不具有相同的URL或者其他标识符的实施例中，服务器(或者其他组件)可确定关于对应的页面的标识符。

处理1600包括使浏览器适配器1418预订唯一的消息传递信道(1680)。话音网关适配器1424与浏览器适配器1418现在被预订给唯一的消息传递信道，能够接收向那个信道公布的消息。

在某些实施例中较早地执行操作1680。在浏览器适配器1418在操作1660中预订的实施例中，因为话音网关适配器1424与浏览器适配器1418被预订给唯一的消息传递信道，每个适配器将接收在操作1670中公布的URL，以及随后被公布的URL。在操作1670中，例如，话音网关适配器1424可通过(i)使网络服务器1450在消息中嵌入指示一个或者多个适配器中那一个将对该消息进行响应的信息，或者(ii)使网络服务器1450使用唯一消息传递信道的子信道来认识到自身是消息的预期接收者。替换地，如下文的解释，适配器1424与1418可以作用于该消息，各自的网关1420与1416可以确定页面是否必须被请求。

处理1600包括使话音网关适配器1424指示话音网关1420请求对应于被公布的URL的网页(1685)。在认识到本身是被公布的消息的预期接收者之后，话音网关适配器1424指示话音网关1420请求对应于被嵌入到消息中的URL的网页。作为响应，话音网关1420从网络服务器1450请求网页。被请求的页面对应于被发送给浏览器1416的HTML页面的VXML版本。在浏览器适配器1418同时作用于被公布的消息的实施例中，浏览器1416可以确定被请求的网页已经被浏览器1416接收，以及消息仅为话音网关适配器1424准备。

处理1600包括使网络服务器1450检测移动设备1410的IP地址，将话音网关1420与网络服务器1450之间的会话与唯一的消息传递信道相关联(1690)。在操作1665中可以检测浏览器1416的IP地址。代替检测IP地址本身，实施例可以检测指示IP地址的另一个参数。在处理1600中可以较早地执行这种操作，例如，在操作1640中执行这种操作。

处理1600完成之后，适配器1424与1418被预订给消息传递处理器1470中唯一的消息传递信道(1630，1680)，该信道由移动设备1410的IP地址描述或者引用。此外，网络服务器1450中的两个会话与唯一的消息传递信道相关联(1665，1690)。因此，当用户请求使用任何一种模态的网页时，请求会话已经与消息传递信道相关联(例如，1665)，可以发送允许请求(例如，1685)与传递同步网页的消息(例如，1675)。

在其他实施例中，话音网关1420连接到网络服务器1450之前，浏览器1416可以连接网络服务器1450。在这种实施例中，两个网关1416与1420的作用通常与在处理1600中描述的相反。

使用用户/设备ID的同步

参看图17，系统1700包括与系统1500相同的组件，还包括在移动设备1410与话音网关1420和网络服务器1450二者之间接口连接的防火墙1710。更具体地，防火墙1710被放置在VoIP客户机1414与话音网关1420之间，以及浏览器1416与网络服务器1450之间。因此，系统1700中所显示的防火墙1710有四个连接。

在典型的实施例中，防火墙1710将防火墙1710的IP地址嵌入通过防火墙1710从移动设备1410传输的通信中。因此，防火墙1710保护移动设备1410的IP地址不向话音网关1420与网络服务器1450传输。因此，如果系统1700与处理1600一起使用，那么防火墙1710的IP地址在操作1620中将被话音网关适配器1424检测，在操作1665中被网络服务器1450检测。这将引起话音网关适配器1424预订给被防火墙1710的IP地址识别的消息传递信道。继续这个实例，在操作1680中，浏览器适配器1418不能预订给相同的消息传递信道，除非浏览器适配器1418知道防火墙1710的IP地址。然而，对于许多实施例来说存在一个更普遍的问题。

典型的实施例将使多个移动设备耦合到防火墙1710。在那些实施例中，防火墙1710的IP地址不提供唯一的消息传递信道。因此，所公布的关于单个设备中各种模态的消息也被其他的设备接收。

在一种解决方案中，(i)在操作1610中VoIP客户机1414向话音网关1420提供唯一标识符，(ii)在操作1660中浏览器1416向网络服务器1450提供唯一标识符。用这种方式，(i)话音网关适配器1424能被配置为在操作1620中检测唯一标识符，(ii)网络服务器1450能被配置为在操作1665中检测唯一标识符。此外，浏览器适配器1418能被配置为预订给被唯一标识符识别的并在操作1630中创建的消息传递信道。

例如，唯一标识符可以是用户ID、设备ID、设备的IP地址与相关联的防火墙IP地址的组合、或者唯一的硬件标识符。例如，可以通过以防火墙1710不移去唯一标识符的方式将其嵌入通信格式内来提供该唯一标识符。

参看图18，处理1800可以用于发送同步消息。处理1800可以被各种实施例使用，例如，包括与系统1500和系统1700相关的实施例。

处理1800包括接收对第一模态数据的请求(1810)。第一模态数据包括第一内容，第一模态数据被配置为使用第一模态呈现，来自请求者的请求在第一设备被接收。第一模态数据包括可使用第一模态呈现给用户的数据，或者包括用户使用第一模态可以响应的数据。其他的模态数据，例如第二模态数据与第三模态数据可以被同样地定义。

例如，第一模态数据可以包括网页或者其他数据结构，这种数据结构典型地包括内容。内容通常指呈现给用户或者用户可以查找的信息。例如，数据结构还可包括具有标题信息的标题，及其他格式化信息。举例来说，网页可包括通过浏览器应用程序被显示给显示设备的内容，该网页的HTML可包括控制该网页显示与路由方面的标题与格式化信息。

处理1800包括发送允许请求第二模态数据的消息(1820)。消息从第一设备发送，被第二设备接收，其中该消息响应于接收的请求被发送，并包括允许第二设备请求第二模态数据的信息，第二模态数据包括重叠第一内容的第二内容，第二模态数据被配置为使用第二模态呈现。第二模态数据的内容可以通过具有公共的内容来重叠第一模态数据的内容。例如，HTML页面(第一模态数据)与对应的VXML页面(第二模态数据)具有公共的内容。

该允许第二模态数据的请求的信息可以是各种类型的。例如，信息可包括(i)对第二模态数据的指针(例如，URL)，(ii)指向第二模态数据的指针的点(例如，JSP的URL，JSP包括第二模态数据的URL)，或者(iii)允许将被确定的第二模态数据的地址数据(例如，可被提供的HTML页面的URL，据此能确定对应的VXML页面的URL)。

此外，通过向用户呈现第一模态数据与对应的第二模态数据，以用户可以使用第一模态或者第二模态响应重叠内容的方式，第一模态数据与对应的第二模态数据可以实现同步。

处理1800包括确定在发送消息中包含的信息(1830)。例如，如果第一模态数据与对应的第二模态数据的URL不同并且该信息包括第一模态数据的URL，则可以通过使用例如查表或者算法，或者从另一个组件或用户请求信息来确定对应的第二模态数据的URL。

处理1800包括向请求者发送第一模态数据(1840)。一个或多个附加的组件可被包含在上游或者下游中的向请求者发送第一模态数据的过程中。处理1800包括从第二设备接收对第二模态数据的请求(1850)。例如，该请求可以是(i)对包含在发送消息中的信息所识别的URL中的第二模态数据的请求，(ii)对从包含在发送消息中的信息所确定的URL中的第二模态数据的请求，或者(iii)对从包含在发送消息中的信息所识别或者确定的URL中的网页指示的地址中的第二模态数据的请求。

处理1800包括向第二设备发送第二模态数据(1860)。一个或多个附加组件可以被包含在向第二设备发送第二模态数据的过程中，并可以被包含在发送的上游或者下游过程中。例如，服务器可以通过防火墙向网关发送数据。

处理1800包括发送第二消息(1870)。响应于接收的请求，从第一设备发送第二消息，用于第三设备的接收。第二消息包括允许第三设备请求第三模态数据的第二信息，第三模态数据包括重叠第一内容与第二内容的第三内容，第三模态数据被配置为使用第三模态呈现。第二信息允许第三模态与前面两个模态同步。例如，通过向用户呈现每个模态数据，以用户可以使用第一模态、第二模态或者第三模态响应重叠内容的方式，第一模态数据、对应的第二模态数据、以及对应的第三模态数据可以实现同步。

处理1800包括第一设备接收另一个请求(1880)。另一个请求来自第二请求者，并请求包括第四内容的第二个第一模态数据。第二个第一模态数据被配置为使用第一模态呈现。例如，另一个请求可以来自使用不同设备的另一个用户。

处理1800包括从第一设备发送另一个消息(1890)。响应于接收另一个请求，另一个消息被发送并由另一个设备接收。另一个消息包括允许其它设备请求包括重叠第四内容的第五内容的第二个第二模态数据，第二个第二模态数据被配置为使用第二模态呈现。因此，例如两个用户每一个可以使用分离的移动通信设备导航例如万维网的网络，并且每个用户的模态可以是同步的。也就是说，第一用户可以使他的/她的两个模态同步，第二用户可以使他的/她的两个模态同步，但是两个用户之间不需要任何同步。通过向第二用户呈现第二个第一模态数据与第二个对应的第二模态数据，以第二用户可以使用第一模态或者第二模态响应重叠内容的方式，第二个第一模态数据与第二个对应的第二模态数据可能实现同步。

例如，处理1800可以由包括系统1500或系统1700的各种实施例举例说明。在系统1500或者1700中，网络服务器1450可从话音网关1420接收对VXML页面的请求(1810)。网络服务器1450可向浏览器1416发送消息，该消息包括由话音网关1420请求的VXML页面的URL，因此允许浏览器1416请求对应的HTML页面(1820)。网络服务器1450可以使用网络服务器适配器1454、消息传递处理器1470、以及浏览器适配器1418向浏览器1416发送消息。如果VXML页面的URL与对应的HTML页面的URL不同，那么网络服务器1450可以确定对应的HTML页面的URL，并在消息中发送对应的HTML页面的URL，而不是发送VXML页面的URL(1830)。

网络服务器1450可以向话音网关1420发送被请求的VXML页面(1840)。网络服务器1450可能通过防火墙1710从浏览器1416可以接收对对应的HTML页面的请求(1850)。网络服务器1450可以向浏览器1416发送对应的HTML页面(1860)。

网络服务器1450可以发送第二消息，第二消息将进入第三模态网关(未显示)并包括VXML页面的URL，VXML页面的URL允许第三模态网关请求对应的第三模态数据(1870)。

网络服务器1450可以接收另一个请求，另一个请求来自第二话音网关(未显示)并请求第二VXML页面(1880)。网络服务器1450可以发送被第二浏览器(未显示)接收的另一个消息，另一个消息包括第二VXML页面的URL，因此允许第二浏览器请求对应于第二VXML页面的HTML页面(1890)。

网络服务器1450可以使用较早描述的服务器推、浏览器拉、话音中断收听器或者无输入标签实施例中的任何一种执行处理1800的各种操作。例如，在服务器推中，话音网关从服务器请求VXML页面(320；1810)，该服务器向浏览器发送指示对应的HTML页面的消息(340-350；1820)。例如，在浏览器拉中，话音网关从服务器请求VXML页面(410；1810)，该服务器向浏览器发送具有嵌入命令的响应，当浏览器执行嵌入命令时用对应的HTML页面更新浏览器(450；1820)。例如，在话音中断收听器中，浏览器从服务器请求HTML页面(520；1810)，该服务器向话音网关发送指示对应的VXML页面的消息(540-550；1820)。例如，在无输入标签中，浏览器从服务器请求HTML页面(620；1810)。服务器预先向话音网关发送无输入标签，允许话音网关请求JSP(610；1820)，服务器此刻用例如对应的VXML页面的地址更新JSP，因此允许话音网关请求对应的VXML页面(640；1820)。

例如，处理1800的各种操作还可被代理或者融合实施例执行。例如，在代理实施例中，同步控制器从浏览器接收对HTML页面的请求(1110；1810)，该同步控制器向话音网关发送消息以便话音网关请求对应的VXML页面(1140；1820)。例如，在融合实施例中，同步控制器从浏览器接收对HTML页面的请求(810；1810)，同步控制器向话音模式系统传递对应的VXML页面的标识符(830；1820)。

使用智能适配器的同步

参看图19，系统1900包括改良的移动设备1910，该移动设备1910包括VoIP客户机1414与具有改良的浏览器适配器1918的改良的浏览器1916。系统1900包括耦合到VoIP客户机1414的、并包括改良的话音网关适配器1924的改良的话音网关1920。系统1900包括不具有适配器且与浏览器1916和话音网关1920耦合的改良的网络服务器1930。系统1900还包括与浏览器适配器1918和话音网关适配器1924耦合的消息传递处理器1470。消息传递处理器1470不与网络服务器1930通信。

浏览器1916与话音网关1920的改良之处在于他们每个能分别向浏览器适配器1918与话音网关适配器1924发送信息，并分别从浏览器适配器1918与话音网关适配器1924接收信息。相反地，浏览器1416与话音网关1420仅分别从浏览器适配器1418与话音网关适配器1424接收信息。如上所示，网络服务器1930与根据网络服务器1450的改良之处在于网络服务器1930不包括适配器，不具有与使用适配器相关的功能性。因此，网络服务器1930不公布消息。

消息被话音网关适配器1924与浏览器适配器1918公布以及接收。更具体地说，当浏览器1916从用户接收请求HTML页面的输入时，浏览器1916向唯一消息传递信道公布(使用浏览器适配器1918)具有被请求的HTML页面的URL的消息。话音网关适配器1924接收该消息，并指示话音网关1920从网络服务器1930请求对应的VXML页面。再次谈及处理1600，代替在操作1675中服务器向话音网关适配器公布URL，浏览器适配器1918公布该URL。类似地，当话音网关1920从请求VXML页面的VoIP客户机1424接收输入时，话音网关1920向唯一消息传递信道公布(使用话音网关适配器1924)具有被请求的VXML页面的URL的消息。浏览器适配器1918接收该消息，并指示浏览器1916从网络服务器1930请求对应的HTML页面。

浏览器适配器1918与话音网关适配器1924可以使用之前描述的机制检测或者获得移动设备1910的IP地址，或者用户ID或设备ID。此外，所使用的登陆步骤可以包括，例如用户向浏览器1916以及话音网关1920输入登录信息(例如，使用VoIP客户机1414)。被浏览器1930(或者一些其它的组件)可以使用这种登录信息以验证并唯一地识别用户。登陆步骤还能与先前描述的关于系统1500与1700的实施例一起使用。

系统1900可以用于举例说明处理1800的所选方面。在系统1900中，移动设备1910可以从用户接收对HTML页面的请求(1810)。移动设备1910可以在消息中向话音网关1920发送被请求的HTML页面的URL，该URL允许话音网关1920请求对应的VXML页面(1820)。移动设备1910可以使用浏览器适配器1918、消息传递处理器1470与话音网关适配器1924发送消息。替换地，在关于HTML页面的URL与关于对应的VXML页面的URL不同的实施例中，移动设备1910可确定关于对应的VXML页面的URL(1830)，并在消息中向话音网关1920发送关于对应的VXML页面的URL。移动设备1910可发送包括被请求的HTML页面的URL的第二消息，第二消息将进入第三模态设备，被发送的URL允许第三模态设备请求对应的第三模态数据(1870)。

在另一个使用系统1900的实例中，话音网关1920可接收对VXML页面的请求(1810)。话音网关1920在消息中向浏览器1916发送被请求的VXML页面的URL，该URL允许浏览器1916请求对应的HTML页面(1820)。话音网关1920可以使用话音网关适配器1924、消息传递处理器1470、浏览器适配器1918发送消息。替换地，在关于HTML页面的URL与关于对应的VXML页面的URL不同的实施例中，话音网关1920可确定关于对应的HTML页面的URL(1830)，并在消息中向浏览器1916发送关于对应的HTML页面的URL。话音网关1920可发送包括被请求的VXML页面的URL的第二消息，第二消息将进入第三模态设备，被发送的URL允许第三模态设备请求对应的第三模态数据(1870)。

参看图20，请求同步数据的处理2000包括请求关于第一模态的第一数据(2010)，第一数据包括第一内容。处理2000包括在请求第一数据之后自动地请求对应的关于第二模态的第二数据(2020)。对应的第二数据包括重叠第一内容的第二内容，通过向用户呈现第一内容与第二内容，以用户可以使用第一模态或者第二模态响应该重叠内容的方式，可以同步第一模态与第二模态。

处理2000包括确定对应的第二数据(2030)。例如，对应的数据可以通过接收指示对应的第二数据的信息来确定，或者通过根据第一数据确定对应的第二数据来确定。

处理2000包括向用户呈现使用第一模态的第一内容(2040)，并向用户呈现使用第二模态的第二内容(2050)。第一内容与第二内容在重叠时间期间被呈现给用户，在此期间，用户可以使用第一模态或者第二模态来响应重叠内容。

例如，处理2000可以通过系统1900举例说明。在系统1900中，移动设备1910可请求VXML页面(2010)，该请求是对使用VoIP客户1414的网关1920进行的。据此，移动设备1910可自动地从网络服务器1930请求对应的HTML页面(2020)。移动设备1910可从话音网关适配器1924接收对应的HTML页面的URL(2030)，浏览器适配器1918接收在消息中的URL。移动设备1910可以向使用VoIP客户机1414与扬声器的用户呈现被请求的VXML页面(2040)，并可向使用浏览器1916的用户呈现对应的HTML页面(2050)。

例如，处理2000的各种操作还能被代理或者融合实施例执行。例如，在代理实施例中，同步控制器从网络服务器请求HTML页面(1120；2010)，该同步控制器请求对应的VXML页面(1140；2020)。例如，在融合实施例中，同步控制器从网络服务器请求HTML页面(840；2010)，该同步控制器通过向话音模式系统传递对应的VXML页面的标识符来请求对应的VXML页面(830；2020)。一般地说，例如在融合实施例中，设备730：(i)请求HTML页面(840；2010)，(ii)确定对应的VXML页面(820；2030)，(iii)请求对应的VXML页面(830；2020)，(iv)在接收HTML页面之后呈现被请求的HTML页面(参见850；2040)，以及(v)在访问VXML页面之后呈现对应的VXML页面(参见860；2050)。

同样，处理2000的各种操作还可以通过先前描述的服务器推、浏览器拉、话音中断收听器、或者无输入标签实施例的任何一个实施例中的一个或多个组件执行。

参看图21，用于呈现处于不同模态的更新数据的处理2100包括呈现使用第一模态的内容(2110)。处理2100还包括呈现使用第二模态的内容(2120)，以及响应于呈现的内容接收输入，被接收的输入来自第一模态(2130)。处理2100包括响应于接收的输入自动地呈现使用第一模态的新内容(2140)，根据接收的输入确定新内容。响应于从第一模态接收的输入自动地呈现使用第二模态的新内容(2150)。

上文对处理2100的操作的描述中使用术语“内容”与对处理1800和2000中的操作的描述稍有不同。“内容”仍然泛指呈现给用户的信息或者用户可以查找的信息，例如，从网页显示的信息。然而，处理2100仅涉及通过两个模态呈现的重叠内容。

对每一种移动的或者其它类型设备的实施例都能用于举例说明处理2100。例如，考虑系统1900，(i)移动设备1910可呈现HTML页(2110)，(ii)浏览器1916可通知话音网关1920所呈现的HTML页，(iii)话音网关1920可请求对应的VXML页，(iv)移动设备1910可呈现对应的VXML页(2120)，(v)移动设备1910可接收在浏览器1916的请求新HTML页面的指示笔输入(2130)，(vi)移动设备1910可呈现新的HTML页(2140)，(vii)浏览器1916可通知话音网关1920所呈现的新HTML页，(viii)话音网关1920可请求对应的新VXML页面，以及(ix)移动设备1910可呈现对应的VXML页(2150)。

附加的实施例以及变化

再次参看图14中的系统1400，如图所示，实施例可包括多个移动设备1410与1430、多个话音网关1420与1440、和/或多个网络服务器1450与1460。实施例还可包括多个消息传递处理器。此外，组件之间的耦合可以根据实施例变化。例如，话音网关可以支持多个移动设备(和用户)，消息传递处理器可专用于组件的附属设备(subset)，网络服务器及其他组件可直接与其它组件连接(物理的或者逻辑的)或者可共享总线或者其他的通信介质。例如，通信介质可包括有线的、无线的、光学的及其他介质。

实施例还包括使多个用户使用一种或多种同步的模态进行交互操作，模态可以在单个设备或者不同设备中呈现信息。在一个实施例中，两个用户彼此远离，并使用不同的设备，每个设备支持至少一种模态(每个设备的模态可能相同)。每个用户可以响应于呈现在用户的一个或多个相应设备中的信息，因此修改随后呈现在两个用户设备中的信息。在另一个实施例中，用户之一不具有响应被呈现的数据的能力或者授权，但是能观察或者监视该数据。这种实施例对观察用户是管理者而另一个用户是雇员，或者观察用户是受培训者而另一个用户是教员(或者反之亦然)的情况是有用的。在另一个实施例中，每个用户具有不同的模态，例如，允许管理者或者教员仅使用话音响应数据，雇员或者受培训者仅使用浏览器接口响应数据。

移动设备1410与1430，或者其他的设备不必使用VoIP客户机1414和1434与话音网关进行通信。在一个实施例中，设备自身执行特征提取，并将结果数据传递到话音网关。特征提取可以通过组成特征提取单元的一个或多个组件执行。被传递的数据可以通过IP连接、HTTP连接、或其它的方式传送，话音网关可使用适当的语法执行识别处理。通过执行特征提取，而不是直接地传送话音，设备可以减少设备与话音网关之间所需的带宽，因此，这种实施例能有效地用于窄带通信链接。

再次参看图17中的系统1700，在各种实施例中，防火墙1710的功能可以通过诸如代理、网关、或者另一种中间物执行。实施例可以在各种结构中使用多个中间物。

一个实施例可以包括许多模态，例如，模态的数目可以是固定的、可变的但是确定的、或者可变并且未知的。例如，模态的数目可以预先在系统中固定，也就是说被明确地设计为支持移动设备与浏览器和话音进行通信，并使用两种模态。模态的数目还可以是可变的但是确定的，例如在移动设备最初的连接或者上电期间，通过使系统查询用户所使用的模态数目。

模态的数目还可以是可变并且未知的。例如，被连接或者上电的每个模态网关可以检测IP地址或者用户ID，并预订到适当的消息传递处理器中的唯一消息传递信道。在预订之后，每个模态网关可以接收全部被公布的消息，每个消息(i)例如，指示其中一种已经被提供有新数据的模态，(ii)提供允许其它模态同步的信息。在服务器公布消息的实施例中，因为每个模态网关同步，所以新的会话可与唯一消息传递信道相关联。

在包括多个服务器的实施例中，例如，第一服务器可向第二服务器提供信息，以便于会话的关联。服务器能够提供多模态同步业务以及标准的单模态业务。

在包括多个消息传递处理器的实施例中，公布同步报文的组件可以在所有消息传递处理器上进行公布。替换地，进行公布的组件可以彼此进行通信的以确保消息在预定到有源模态网关的所有消息传递处理器中公布。

所描述的实施例与特征可以用于同步包括导航命令和/或非导航命令的数据。例如，假定关于非导航命令的对应数据可包括使另一个模态的组件输入文本、改变喜好、或者提供焦点。

各种模态的实例包括用于输入的话音、指示笔、键盘/小键盘、按钮、鼠标、与触摸、以及用于输出的视觉、听觉、触觉(包括振动)、压力、温度、以及气味。第一模态可以被定义为包括话音输入与听觉输出，第二模态可以被定义为包括人工输入与视觉以及听觉输出。模态还可以被限制为输入或输出。

例如，用于各种模态的接口可包括直接地或者间接地与用户进行交互操作的组件。例如，如先前描述的那样，直接进行交互操作的组件可包括扬声器。例如，间接进行交互操作的组件包括与扬声器进行通信的VoIP客户机。

各种实施例自动地执行一种或多种操作、功能、或者特征。自动是指基本上没有人介入地执行，也就是，以基本上非交互的方式。自动处理的实例包括由使用者开始、之后由其自身运行、或许需要用户定期的输入的处理。自动实施例可以使用电学、光学、机械、或者其它技术。

如先前的说明，本公开中描述的各种动作倾向于概括地解释。例如，接收可包括访问或者截取。如另一个实例，设备可包括单个组件或者多个组件。

已经描述了多个实施例，尽管如此，可以理解可以进行各种修改。例如，可以用不同的顺序或者并行地执行所公开的处理中的各种操作，公开实施例中的各种特征与组件可以被结合、删除、重新排列、或者增补。因此，其它的实施例处于随后权利要求的范围中。

Claims (79)

1.一种同步网关的方法，该方法包括：

同步第一模态网关与第二模态网关，两个网关在用户与服务器系统之间进行接口连接，同步允许用户在给定的时间点使用第一模态网关或者第二模态网关以与服务器系统中的指定信息进行接口连接。

2.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括同步浏览器与话音网关，其中服务器系统包括网页。

3.如权利要求1所述的同步网关的方法，该方法还包括同步第一模态网关与第三模态网关，其中第三模态网关在用户与服务器系统之间进行接口连接。

4.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

响应于在服务器系统接收来自第一模态网关的输入，从服务器系统向第一模态网关发送第一模态页面；

确定对应第一模态页面的第二模态页面；以及

从服务器系统向第二模态网关发送第二模态页面。

5.如权利要求4所述的同步网关的方法，其中：

从服务器系统向第一模态网关发送第一模态页面包括响应于在网络服务器接收来自话音网关的输入，网络服务器向话音网关发送话音可扩展标记语言(“VXML”)页面，

确定第二模态页面包括网络服务器确定对应VXML页面的超文本标记语言(“HTML”)页面，

发送第二模态页面包括网络服务器向浏览器发送确定的HTML页面，

该方法还包括网络服务器在发送确定的HTML页面之前接收来自浏览器的更新请求。

6.如权利要求4所述的同步网关的方法，其中：

从服务器系统向第一模态网关发送第一模态页面包括响应于网络服务器接收来自话音网关的输入，网络服务器向话音网关发送VXML页面，

确定第二模态页面包括网络服务器确定对应VXML页面的HTML页面，向第二模态网关发送第二模态页面包括通过具有使得公布/预订系统向浏览器发送确定的HTML页面的结果的向公布/预订系统发送确定的HTML页面步骤，网络服务器向浏览器发送确定的HTML页面。

7.如权利要求4所述的同步网关的方法，其中：

从服务器系统向第一模态页面网关发送第一模态页面包括响应于网络服务器接收来自浏览器的输入，网络服务器向浏览器发送HTML页面，

确定第二模态页面包括网络服务器确定对应HTML页面的VXML页面，以及

向第二模态网关发送第二模态页面包括通过具有使得公布/预订系统向话音网关发送VXML页面的结果的网络服务器向公布/预订系统发送VXML页面步骤，网络服务器向话音网关发送确定的VXML页面。

8.如权利要求4所述的同步网关的方法，其中：

从服务器系统向第一模态网关发送第一模态页面包括响应于网络服务器接收来自浏览器的输入，网络服务器向浏览器发送HTML页面，

确定第二模态页面包括网络服务器确定对应HTML页面的VXML页面，

向第二模态网关发送第二模态页面包括网络服务器向话音网关发送确定的VXML页面，以及

该方法还包括当话音网关在指定时间量没有接收到话音输入时，网络服务器接收话音网关的请求，在网络服务器向话音网关发送确定的VXML页面之前网络服务器接收该请求。

9.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

从第一模态网关接收对第一模态页面的请求；

确定对应于第一模态页面的第二模态页面；以及

请求第二模态页面。

10.如权利要求9所述的同步网关的方法，其中：

从第一模态网关接收对第一模态页面的请求包括控制器从浏览器接收对HTML页面的请求，控制器与浏览器物理分离，

确定第二模态页面包括控制器确定对应于HTML页面的VXML页面，以及

请求第二模态页面包括控制器从话音网关请求确定的VXML页面，控制器与话音网关以及服务器系统物理分离。

11.如权利要求9所述的同步网关的方法，其中：

从第一模态网关接收对第一模态页面的请求包括控制器从话音网关接收对VXML页面的请求，控制器与话音网关驻留在移动设备中，

确定第二模态页面包括控制器确定对应于VXML页面的HTML页面，以及

请求第二模态页面包括控制器从网络服务器请求确定的HTML页面。

12.如权利要求9所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

从第一模态网关接收对第一模态页面的请求；

确定对应于第一模态页面的第二模态页面；以及

向第二模态网关发送第二模态页面的标识符。

13.如权利要求9所述的同步网关的方法，其中：

从第一模态网关接收对第一模态页面的请求包括控制器从浏览器接收对HTML页面的请求，控制器与浏览器驻留在移动设备中，

确定第二模态页面包括控制器确定对应于HTML页面的VXML页面，以及

向第二模态网关发送第二模态页面的标识符包括控制器向话音网关发送确定的VXML页面的统一资源定位符(“URL”)，话音网关驻留在移动设备中。

14.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

从第一模态接口接收对第一模态页面的请求；

访问第二模态页面的标识符，第二模态页面对应于第一模态页面；以及

请求第二模态页面。

15.如权利要求14所述的同步网关的方法，其中：

从第一模态接口接收对第一模态页面的请求包括控制器从话音接口接收对VXML页面的请求，控制器与话音接口物理分离，

访问第二模态页面的标识符包括控制器访问对应于VXML页面的HTML页面的URL，其中URL由与控制器物理分离的话音网关提供，以及

请求第二模态页面包括控制器从网络服务器请求关于浏览器的对应的HTML页面，控制器与网络服务器以及浏览器物理分离。

16.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

从第一模态接口接收涉及第一数据的第一项，以及

确定第二数据，第二数据对应于第一数据。

17.如权利要求16所述的同步网关的方法，其中：

从第一模态接口接收涉及第一数据的第一项包括控制器从话音接口接收对VXML页面的请求，第一项包含请求并且第一数据包含VXML页面，控制器与话音接口物理分离，

确定第二数据包括控制器确定对应于VXML页面的HTML页面，第二数据对应于第一数据，以及

该方法还包括控制器从网络服务器请求关于浏览器的已确定的HTML页面，控制器与浏览器以及网络服务器物理分离。

18.如权利要求16所述的同步网关的方法还包括向第二模态接口提供第二数据。

19.如权利要求16所述的同步网关的方法，其中：

接收第一项包括接收对第一网页的请求，第一网页由第一统一资源定位符(“URL”)标识，第一数据包括第一URL；

确定第二数据包括确定关于第二网页的第二URL，第二网页对应于第一网页，第二数据包括第二URL。

20.如权利要求1所述的同步网关的方法，其中同步第一模态网关与第二模态网关包括：

从第一模态网关接收涉及第一数据的第一项以及

确定第二数据，第二数据对应于第一数据。

21.如权利要求20所述的同步网关的方法，其中控制器接收第一项，并且控制器确定第二数据。

22.如权利要求20所述的同步网关的方法，还包括向第二模态网关提供第二数据。

23.如权利要求22所述的同步网关的方法，还包括在向第二模态网关提供第二数据之前，等待直到第二模态网关请求第二数据为止。

24.如权利要求23所述的同步网关的方法，还包括通知第二模态网关请求第二数据。

25.如权利要求24所述的同步网关的方法，其中：

通知第二模态网关包括控制器通过公布/预订系统通知第二模态网关，以及

控制器提供第二数据。

26.如权利要求24所述的同步网关的方法，其中：

通知第二模态网关包括控制器通过发送刷新查询响应来通知第二模态网关，以及

提供第二数据包括控制器提供第二数据。

27.如权利要求20所述的同步网关的方法，还包括保存第二数据的标识符。

28.如权利要求27所述的同步网关的方法，还包括向第二模态网关提供对第二数据标识符的指针。

29.如权利要求20所述的同步网关的方法，还包括从服务器系统请求第二数据。

30.如权利要求29所述的同步网关的方法，其中从服务器系统请求第二数据包括控制器从存储介质请求第二数据，该存储介质相对于控制器是本地的，服务器系统包括存储介质。

31.如权利要求29所述的同步网关的方法，其中从服务器系统请求第二数据包括控制器从存储介质请求第二数据，该存储介质相对于控制器是远程的，服务器系统包括存储介质。

32.如权利要求29所述的同步网关的方法，还包括向第二模态网关提供第二数据的标识符。

33.如权利要求20所述的同步网关的方法，其中确定第二数据包括从第一个模态网关接收第二数据的标识符。

34.一种对网关使用同步机制的方法，该方法包括：

存取从第一模态网关发送的通信信息；以及

响应于存取通信信息提供同步机制，在同步第一模态网关与第二模态网关时能使用同步机制，这两个网关在用户与服务器系统之间进行接口连接。

35.如权利要求34所述的对网关使用同步机制的方法，其中存取通信信息包括接收对第一项的请求，以及

提供同步机制包括：

确定对应于第一项的第二项，和

向第二模态网关发送第二项。

36.如权利要求34所述的对网关使用同步机制的方法，其中

存取通信信息包括接收对第一项的请求，以及

提供同步机制包括：

确定对应于第一项的第二项，

确定第二项的标识符，和

向第二模态网关发送标识符。

37.如权利要求34所述的对网关使用同步机制的方法，其中：

存取通信信息包括接收一个项目，以及

提供同步机制包括：

确定第二模态网关的身份，和

向第二模态网关发送该项目。

38.如权利要求37所述的对网关使用同步机制的方法，其中接收一个项目包括接收用户输入的文本输入。

39.一种同步网关的产品，该产品包括：

第一模态接口；

第二模态接口；以及

控制器接口，其中控制器接口包括当通过机器执行时导致第一模态接口与第二模态接口被连接到控制器的指令，该控制器提供第一模态接口与第二模态接口的同步。

40.如权利要求39所述的同步网关的产品，其中第一模态接口包括浏览器接口。

41.一种在设备之间通信的方法，该方法包括：

接收对包括第一内容的第一模态数据的请求，第一模态数据被配置为使用第一模态呈现，以及来自请求者的该请求在第一设备被接收；以及

从第一设备发送的消息被第二设备接收，响应于接收的请求发送消息，该消息包括允许第二设备请求第二模态数据的信息，第二模态数据包括重叠第一内容的第二内容，第二模态数据被配置为使用第二模态呈现，

其中可以通过将第一模态数据与第二模态数据呈现给用户，使用户可使用第一模态或者第二模态进行响应以重叠内容来同步第一模态数据与第二模态数据。

42.如权利要求41所述的在设备之间通信的方法，该方法还包括确定信息。

43.如权利要求41所述的在设备之间通信的方法，其中信息包括指向第二模态数据的指针。

44.如权利要求41所述的在设备之间通信的方法，其中信息包括指向第二指针的第一指针，第二指针指向第二模态数据。

45.如权利要求41所述的在设备之间通信的方法，其中信息包括指向第一模态数据的指针。

46.如权利要求41所述的在设备之间通信的方法，还包括呈现第一模态数据与第二模态数据。

47.如权利要求46所述的在设备之间通信的方法，其中在重叠时间间隔期间呈现第一模态数据与第二模态数据。

48.如权利要求47所述的在设备之间通信的方法，其中：

第一模态数据被呈现给第一移动设备的第一用户，

第二模态数据被呈现给第二移动设备的第二用户，以及

第一用户或第二用户都可以响应该重叠内容。

49.如权利要求41所述的在设备之间通信的方法，其中发送消息包括在第二设备已经被预订到的公布/预订系统的信道上公布该消息。

50.如权利要求49所述的在设备之间通信的方法，其中信道被用户设备的网际协议(“IP”)地址识别。

51.如权利要求49所述的在设备之间通信的方法，其中信道被用户设备的标识符识别。

52.如权利要求49所述的在设备之间通信的方法，其中信道被正在使用第一模态与第二模态度的用户的标识符识别。

53.如权利要求49所述的在设备之间通信的方法，其中：

第一设备包括浏览器，

第一模态数据包括超文本标记语言(“HTML”)页面，

请求者包括用户，

浏览器使用浏览器适配器发送消息，

第二设备包括具有话音网关适配器的话音网关，以及

第二模态数据包括对应于HTML页面的话音可扩展标记语言(“VXML”)页面的指示符。

54.如权利要求53所述的在设备之间通信的方法，其中VXML页面的指示符包括VXML页面的统一资源定位符(“URL”)。

55.如权利要求53所述的在设备之间通信的方法，其中VXML页面的指示符包括HTML页面的URL。

56.如权利要求49所述的在设备之间通信的方法，其中

第一设备包括话音网关，

第一模态数据包括VXML页面，

请求者包括用户设备上的基于IP的话音(“VoIP”)客户机，

话音网关使用话音网关适配器发送消息，

第二设备包括具有浏览器适配器的浏览器，以及

第二模态数据包括对应于VXML页面的HTML页面的指示符。

57.如权利要求49所述的在设备之间通信的方法，其中请求者包括在用户设备上的特征提取单元。

58.如权利要求49所述的在设备之间通信的方法，其中信道被用户标识符识别。

59.如权利要求49所述的在设备之间通信的方法，其中

第一设备包括服务器，

第一模态数据包括HTML页面，

请求者包括具有浏览器适配器的浏览器，

服务器从浏览器接收请求，

第二设备包括具有话音网关适配器的话音网关，以及

第二模态数据包括对应于HTML页面的VXML页面的指示符。

60.如权利要求59所述的在设备之间通信的方法，其中服务器通过从包括防火墙、代理和网关的组中选择的中间物从浏览器接收请求。

61.如权利要求41所述的在设备之间通信的方法，其中第一设备与第二设备是提供从远程位置存取数据的网络的一部分。

62.如权利要求41所述的在设备之间通信的方法，其中第一设备包括从包含(i)网关、(ii)适配器、(iii)服务器的组中选择的设备。

63.如权利要求41所述的在设备之间通信的方法，其中请求者包括从包含(i)用户、(ii)个人通信设备、(iii)网关、以及(iv)适配器的组中选择的实体。

64.如权利要求41所述的在设备之间通信的方法，其中请求者包括第二设备。

65.如权利要求41所述的在设备之间通信的方法还包括：

第一设备接收另一个请求，其它的请求来自第二请求者，请求包括第三内容的第二个第一模态数据，第二个第一模态数据被配置为使用第一模态呈现；以及

从第一设备发送另一消息，响应于接收的其它请求被发送的其它消息被第三设备接收，其它消息包括允许第三设备请求第二个第二模态数据的第二信息，第二个第二模态数据包括重叠第三内容的第四内容，第二个第二模态数据被配置为使用第二模态呈现。

66.如权利要求65所述的在设备之间通信的方法，其中可以通过向第二用户呈现第二个第一模态数据与第二个第二模态数据，使第二用户可以使用第一模态或者第二模态响应该重叠内容来同步第二个第一模态数据与第二个第二模态数据。

67.如权利要求65所述的在设备之间通信的方法，其中：

第一设备包括服务器，

请求者包括第一浏览器，

第二设备包括具有第一话音网关适配器的第一话音网关，

第二请求者包括具有第二话音网关适配器的第二话音网关以及

第三设备包括第二浏览器。

68.如权利要求41所述的在设备之间通信的方法，该方法还包括第一设备响应于接收的请求发送第二消息，第三设备接收被发送的第二消息，第二消息包括允许第三设备请求第三模态数据的第二信息，第三模态数据包括重叠第一内容与第二内容的第三内容，第三模态数据被配置为使用第三模态呈现。

69.如权利要求68所述的在设备之间通信的方法，其中可以通过向用户呈现第一模态数据、第二模态数据与第三模态数据的每一个，使用户可以使用第一模态、第二模态或者第三模态响应该重叠内容来同步第一模态数据、第二模态数据与第三模态数。

70.如权利要求68所述的在设备之间通信的方法，其中：

通过发送被第二设备与第三设备接收的单个消息执行发送消息与发送第二消息，以及

信息包括第二信息。

71.如权利要求41所述的在设备之间通信的方法，还包括：

向请求者发送第一模态数据；

从第二设备接收对第二模态数据的请求；以及

向第二设备发送第二模态数据。

72.如权利要求71所述的在设备之间通信的方法，其中：

请求者包括网关，

第一设备包括服务器，以及

第二设备包括另一个网关。

73.一种通信设备包括：

接收对包括第一内容的第一模态数据的请求的装置，第一模态数据被配置为使用第一模态呈现，来自于请求者的请求被第一设备接收；以及

从第一设备发送消息的装置，其中被发送的消息被第二设备接收，该消息响应于接收的请求被发送，并包括允许第二设备请求第二模态数据的信息，第二模态数据包括重叠第一内容的第二内容，第二模态数据被配置为使用第二模态呈现，

其中可以通过向用户呈现第一模态数据与第二模态数据，使得用户使用第一模态或者第二模态响应该重叠内容而同步第一模态数据与第二模态数据。

74.如权利要求73所述的通信设备，其中：

接收请求的装置包括具有网关适配器的网关，以及

发送消息的装置包括网关适配器。

75.如权利要求73所述的通信设备，其中：

接收请求的装置包括具有服务器适配器的服务器，以及

发送消息的装置包括服务器适配器。

76.一种同步数据模态的方法包括：

请求关于第一模态的第一数据，第一数据包括第一内容；以及

请求第一数据之后自动地请求关于第二模态的第二数据，其中第二数据包括重叠第一内容的第二内容，

其中可以通过向用户呈现第一内容与第二内容，使得用户可以使用第一模态或者第二模态响应该重叠内容来同步第一模态与第二模态。

77.如权利要求76所述的同步数据模态的方法，该方法还包括：

向用户呈现使用第一模态的第一内容；以及

向用户呈现使用第二模态的第二内容，使得在重叠时间期间向用户呈现第一内容与第二内容，其中用户可以使用第一模态或者第二模态响应该重叠内容。

78.一种通信设备包括：

请求关于第一模态的第一数据的装置，第一数据包括第一内容；以及

在请求第一数据之后自动请求关于第二模态的第二数据的装置，其中第二数据包括重叠第一内容的第二内容，

其中可以通过向用户呈现第一内容与第二内容，使得用户可以使用第一模态或者第二模态响应该重叠内容来同步第一模态与第二模态。

79.如权利要求78所述的通信设备，该设备还包括：

向用户呈现使用第一模态的第一内容的装置；以及

向用户呈现使用第二模态的第二内容的装置，使得在重叠时间期间向用户呈现第一内容与第二内容，其中用户可以使用第一模态或者第二模态响应重叠内容。

Images