CN1881162A - 在多模式浏览器中显示可用菜单选项的方法和系统 - Google Patents
在多模式浏览器中显示可用菜单选项的方法和系统 Download PDFInfo
- Publication number
- CN1881162A CN1881162A CNA2006100042724A CN200610004272A CN1881162A CN 1881162 A CN1881162 A CN 1881162A CN A2006100042724 A CNA2006100042724 A CN A2006100042724A CN 200610004272 A CN200610004272 A CN 200610004272A CN 1881162 A CN1881162 A CN 1881162A
- Authority
- CN
- China
- Prior art keywords
- menu
- gui
- field
- user
- gui menu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种在多模式浏览器中显示可用菜单选项的方法、系统和产品，包括：向用户展示多个GUI菜单字段；选择多个GUI菜单字段中的一个；在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项。
Description
技术领域
本发明的技术领域涉及数据处理，或者更具体的说，涉及在多模式浏览器中显示可用菜单选项的方法、系统和产品。
背景技术
随着小型设备变得越来越小，用户通过键盘或指示笔与运行在这些小型设备上的应用进行交互已经变得越来越受限和繁琐。特别的，像移动电话和PDA这样的小型手持设备可以提供许多功能，并且具有足够的处理能力来支持通过其它方式，比如多模式访问等的用户交互。支持多模式访问的设备在同一交互中结合了多种用户输入模式或通道，使得用户可以同时通过多种输入模式或通道与设备上的各种应用进行交互。输入方法包括语音识别、键盘、触摸屏、指示笔、鼠标、手写、以及其它方法等等。多模式输入常常使得用户可以更容易地使用小型设备。
由于典型GUI(“图形用户界面”)的尺寸限制使得在小型多模式设备上显示许多字段(field)的许多菜单选项变得困难。当向用户展示多个菜单字段时，使每个字段具有一个显示框来向用户展示菜单选项的方式使得在GUI显示中需要过多的显示空间。因此有必要对在多模式浏览器中显示可用菜单选项进行改进。
发明内容
本发明公开了在多模式浏览器中显示可用菜单选项的方法、系统和产品。实施例包括向用户展示多个GUI菜单字段；接收用户语音；根据用户语音和字段选择规则选择多个GUI菜单字段中的一个；在用于多个GUI菜单字段的一个GUI显示框中显示所选GUI菜单字段的菜单选项。典型的实施例还包括突出显示所选GUI菜单字段，和向用户显示代表多个GUI菜单字段中至少一个GUI菜单字段的选择属性的图标。
接收用户语音可以包括接收用户指令来选择特定的GUI菜单字段。接收用户语音还可以包括从用户接收对菜单选项的选择。根据用户语音和字段选择规则选择多个GUI菜单字段中的一个可以包括确定该选择是否匹配与多个GUI菜单字段相关联的多个菜单选项中的一个，如果该选择匹配菜单选项中的一个，识别与该选择相关联的GUI菜单字段，以及识别至少一个不与匹配的菜单选项相关联的GUI菜单字段。
本发明的上述以及其它目的、特征和优点，将在下面配合附图对本发明的示例实施例进行的更详细的阐述中变得更清晰，附图中相似的附图标记通常代表本发明的示例实施例中相似的部分。
附图说明
图1示出了用于说明示例系统设备的网络图，其中每一个设备都能够支持多模式浏览。
图2示出了用于执行本发明实施例的多模式框架的方框图。
图3示出了包含能够支持多模式浏览器的示例计算机的自动化计算机的方框图。
图4示出了用于说明在多模式浏览器中显示可用菜单选项的示例性方法的流程图。
图5示出了根据图4的方法操作的示例性多模式浏览器的示意图。
图6示出了用于说明根据字段选择规则选择GUI菜单字段的例子的流程图。
图7示出了根据图6的方法操作的示例性多模式浏览器的示意图。
具体实施方式
介绍
在本说明书中将以在多模式浏览器中显示可用菜单选项的方法为例对本发明进行更广范围的说明。然而，本领域的普通技术人员将会发现任何包含了合适的编程装置的、用于根据所公开的方法运行的计算系统都落入本发明的范围内。合适的编程装置包含任何控制计算机系统执行本发明方法的步骤的装置，包括例如，包含处理单元和耦合到计算机存储器的数字逻辑电路的系统，其中系统具有在计算机存储器中进行存储的功能，并且计算机存储器包含配置成用于存储由处理单元执行的本发明方法的数据、程序指令和程控步骤的电子电路。
本发明还可以在例如软磁盘或者其它记录介质的计算机程序产品中实现，用于由任何合适的数据处理系统使用。计算机程序产品的实施例可以由用于机器可读信息的任何记录介质来实现，包括磁介质、光介质，或者其它合适的介质。本领域的普通技术人员将会发现任何具有合适的编程装置的计算系统都可以执行包括在程序产品中的本发明的方法的步骤。本领域的普通技术人员还会发现，虽然在本说明书中描述的大多数示例性实施例面向安装并运行在计算机硬件上的软件，然而，由固件或者硬件实现的其它实施例同样也在本发明的范围之内。
在多模式浏览器中显示可用菜单选项
下面将参考附图，由图1开始，描述根据本发明实施例的在多模式浏览器中显示可用菜单选项的示例性方法、系统和产品。图1示出了用来说明示例性系统设备的网络图，所述系统设备包括根据本发明实施例的能够支持多模式浏览器的多个客户设备和根据本发明实施例的能够提供多模式网页的服务器。
图1的数据处理系统包括广域网(“WAN”)101和局城网(“LAN”)103。图1架构中的网络连接方面只是用于阐述，而并不是限制。事实上，根据本发明实施例的在多模式浏览器中显示可用菜单选项的系统可以连接成LAN、WAN。企业网、互联网、因特网、网、万维网本身或者其它本领域普通技术人员可以想到的连接。这样的网络是一种媒介，可以用于在整个数据处理系统中连接在一起的各种设备和计算机之间提供数据通信连接。
在图1的例子中，服务器106执行LAN 103和WAN 101之间的网关、路由器或者网桥的功能。服务器106可以是任何能够接收多模式网页请求并且作为响应将多模式网页提供给请求的客户设备的计算机。这种服务器的一个例子就是HTTP(‘超文本传输协议’)服务器或者‘网页服务器’。根据本发明的实施例，示例性服务器106能够支持可以提供多模式网页的多模式网络应用。这些应用通过向用户展示多个GUI菜单字段；接收用户语音；根据用户语音和字段选择规则来选择多个GUI菜单字段中的一个；以及创建网页，所述网页在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项，从而创建显示可用菜单选项的多模式网页。
图1的系统包含多个示例性客户设备108、112、104、110、126和102，其中每一个设备都能够支持根据本发明的多模式浏览器。这样的多模式浏览器通常能够显示多模式网页，所述多模式网页向用户展示多个GUI(‘图形用户界面’)菜单字段。这样的多模式浏览器也可以接收用户语音以选择多个GUI菜单字段中的一个，并且显示网页，该网页在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项。
‘多模式浏览器’典型地是能够接收多模式输入并且以多模式输出与用户交互的网页浏览器。多模式浏览器典型地显示用XHTML+VOICE(X+V)书写的网页。X+V提供一种标记语言，使用户能够在传统输入方式，如键盘敲击和鼠标点击动作之外，通过语音对话与应用进行交互。X+V通过将XHTML(可扩展超文本标记语言)和语音识别词汇表整合到一起，来将语音交互添加到网页内容上。XHTML包括支持语音合成、语音对话、命令和控制以及语言语法的语音模块。语音处理程序可以附加到XHTML元素上，并且响应特定事件。语音交互功能与XHTML整合到一起，从而可以在XHTML内容中直接使用。
在图1的例子中，包括PDA 112、计算机工作站104、移动电话110以及个人电脑108的几个示例性的客户设备将连接到WAN 101上。网络移动电话110通过无线连接116连接到WAN 101上，并且PDA 112通过无线连接114连接到网络101上。在图1的例子中，个人电脑108通过电线连接120连接到WAN 101上，并且计算机工作站104通过电线连接122连接到WAN 101上。在图1的实例中，便携式计算机126通过无线连接118连接到LAN 103上，并且个人电脑102通过电线连接124连接到LAN 103上。
如图1所示的示例性系统的服务器和其它设备的构成方案是用于阐述，而并不是限制。正如本领域普通技术人员应该知道的，根据本发明的各种实施例的数据处理系统可以包括没有在图1中示出的附加的服务器、路由器、其它设备以及对等架构。在这样的数据处理系统中的网络可以支持许多数据通信协议，包括，例如，TCP/IP、HTTP、WAP、HDTP和其它本领域普通技术人员知道的协议。本发明的各种实施例可以在图1所示的平台之外的硬件平台上实现。
根据本发明在多模式浏览器中显示可用菜单选项的多模式应用通常与计算机，即自动计算机一起实现。因此，为了进一步的阐述，图2示出了包含有能够支持具有根据本发明实施例的菜单显示模块189的多模式应用188的示例性服务器151的自动计算机的方框图。
图2的服务器151包含至少一个计算处理器156或者‘CPU’，还包括通过系统总线160连接到处理器156和计算机其他部件的随机访问存储器168(“RAM”)。存储在RAM 168中的是操作系统154。根据本发明实施例的用于计算机中的操作系统包括UNIXTM，LinuxTM，Microsoft NTTM，AIXTM，IBM的i5os，以及许多其它本领域的普通技术人员知道的操作系统。
同样存储在RAM 168中的还有具有根据本发明实施例的菜单显示模块189的多模式应用188。菜单显示模块189包含有计算机程序指令。所述菜单显示模块创建用于向用户展示多个GUI菜单字段的网页。菜单显示模块还能够通常响应于用户语音以及根据字段选择规则来选择多个GUI菜单字段中的一个，并且还能够创建网页，该网页在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项。
图2的服务器151包括通过系统总线160耦合到处理器156和服务器151的其它部件的非易失性计算机存储器166。非易失性计算机存储器166可以实现为硬盘驱动器170、光盘驱动器172、电可擦除可编程只读存储器空间(所谓的‘EEPROM’或者‘闪速’存储器)174，RAM驱动(未示出)，或者是本领域的普通技术人员知道的任何其它类型的计算机存储器。
图2的示例服务器151包括一个或多个输入/输出接口适配器178。计算机中的输入/输出接口适配器通过例如用来控制到例如计算机显示屏的显示设备180的输出，以及控制从例如键盘和鼠标的用户输入设备181的输入的软件驱动器和计算机硬件实现面向用户的输入/输出。
图2的示例服务器151包括通信适配器167，用来实现与其它计算机182的数据通信184。这样的数据通信可以通过RS-232链接，经由例如USB的外部总线，通过例如IP网络的数据通信网络，以及其它本领域的普通技术人员知道的方法来实现。通信适配器实现数据通信的硬件层次，由此一台计算机可以直接地或者通过网络向另一台计算机发送数据通信。根据本发明实施例的用于多模式应用中的通信适配器的实例包括用于有线拨号通信的调制解调器，用于有线网络通信的以太网(IEEE 802.3)适配器，以及用于无线网络通信的802.11b适配器。
根据本发明实施例的多模式浏览器显示多模式网页。因此，为了进一步的阐述，图3示出了包含有能够支持多模式浏览器的示例客户端152的自动计算机的方框图，该多模式浏览器能够向用户展示多个GUI菜单字段，接收用户指令来选择多个GUI菜单字段中的一个；并且在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项。图3的客户端152包括至少一个计算机处理器156或‘CPU’，同时包括通过系统总线160连接处理器156和计算机其它部件的随机访问存储器168(“RAM”)。存储在RAM168中的是操作系统154。根据本发明的实施例用于计算机中的操作系统包括UNIXTM、LinuxTM、Microsoft NTTM、AIXTM、IBM的i5os以及许多其它本领域的普通技术人员知道的操作系统。
同样存储在RAM168中的还有多模式浏览器191。图2的多模式浏览器191通过向用户展示多个GUI菜单字段，接收用于在多个GUI菜单字段中选择一个的用户语音，以及在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项，由此显示可用菜单选项。
图3的客户端152包含通过系统总线160耦合到处理器156和客户端152的其它部件的非易失性计算机存储器166。非易失性计算机存储器166可以实现为硬盘驱动器170、光盘驱动器172、电可擦除可编程只读存储器空间(所谓的‘EEPROM’或者‘闪速’存储器)174、RAM驱动器(未示出)或者是本领域的普通技术人员知道的任何其它种类的计算机存储器。
图3的示例客户端包含一个或者多个输入/输出接口适配器178。计算机中的输入/输出接口适配器通过例如用来控制到例如计算机显示屏的显示设备180的输出，以及控制从例如键盘和鼠标的用户输入设备181的输入的软件驱动器和计算机硬件实现面向用户的输入/输出。
图3的示例客户端152包括通信适配器167，用来实现与其它计算机182的数据通信184。这样的数据通信可以通过RS-232链接，经由比如USB的外部总线，通过比如IP网络的数据通信网络，以及其它本领域的普通技术人员知道的方法来实现。通信适配器实现数据通信的硬件层次，由此一台计算机可以直接地或者通过网络向另一台计算机发送数据通信。根据本发明实施例的用于多模式应用中的通信适配器的实例包括用于有线拨号通信的调制解调器，用于有线网络通信的以太网(IEEE 802.3)适配器，以及用于无线网络通信的802.11b适配器。
为了进一步的阐述，图4示出了用于在多模式浏览器414中显示可用菜单选项的示例方法的流程图。图4的方法包括向用户展示(402)多个GUI菜单字段404。向用户展示(402)多个菜单字段404可以通过在GUI文本框中展示为用户描述所填入的菜单字段的文本，显示代表GUI菜单字段的图标，或者任何其它本领域普通技术人员知道的向用户展示GUI菜单字段的方法来实现。描述菜单字段的文本的例子包括‘选择城市’、‘选择时间’、‘选择邮编’等本领域普通技术人员知道的文本。
在图4的实例中，多个GUI菜单字段404中的每一个都有相关联的一组菜单选项用于显示在GUI显示框412中。在图4的实例中的GUI显示框是单个GUI显示框，用于显示多个GUI菜单字段404的每一个的菜单选项。GUI显示框412显示当前所选择的菜单字段的菜单选项。所选的GUI菜单字段通常被称为‘聚焦’。当菜单字段被选择，或被聚焦时，与该GUI菜单字段相关联的菜单选项显示在GUI显示框中，并且用户能够选择一个菜单选项来填充该菜单字段。
图4的方法还包括接收(403)用户语音407，并且根据用户语音407和字段选择规则602来选择(406)多个GUI菜单字段404中的一个405。字段选择规则是控制分析用户语音的规则，它被设计以便响应于接收到用户语音来选择GUI菜单字段中的一个。在一个直接的实例中，接收(403)用户语音407并且根据用户语音407和字段选择规则602来选择(406)多个GUI菜单字段404中的一个405，可以通过下述方式来实现，接收识别可用菜单字段中的一个的语音指令，根据一种规则选择菜单字段，该规则为当用户语音识别一个菜单字段时，选择该识别出来的菜单字段。
如上面所讨论的，多模式应用能够接收作为语音的用户指令，也可以接收传统方式的输入，比如键盘指令、鼠标点击或者其它本领域普通技术人员知道的接收用户指令的方式。字段选择规则可以被用来在没有直接用户指令被识别为特定的选择时，确定或者推断用户对GUI菜单字段的选择，例如通过教导语音指令和按键结合在一起来将如何解释来选择GUI菜单字段中的一个。根据这样的字段选择规则来选择GUI菜单的其它实例将在下面参考图6和7给予更详细的描述。
图4的方法包括在用于多个GUI菜单字段404的GUI显示框412中显示(408)所选GUI菜单字段405的菜单选项410。如上所述，图4的GUI显示框412是单个显示框，用于显示与任何GUI菜单字段404相关联的菜单选项，并且当选择所选字段405时，根据本发明操作的多模式浏览器在GUI显示框412中显示其菜单选项410。
根据图4的方法，在多模式浏览器中显示的多模式网页通常通过突出显示所选GUI菜单字段指示用户GUI菜单字段的选择。突出显示所选GUI菜单字段可以通过使用表示该GUI菜单字段已被选择的GUI显示图标，通过使用以预定的字体在GUI菜单字段中显示的文本，或者任何其它本领域的普通技术人员知道的突出显示GUI菜单字段的方法来实现。
根据图4的方法，在多模式浏览器中显示的多模式网页也可以通过向用户显示代表GUI菜单字段的选择属性的图标来向用户提供GUI菜单字段的选择属性的标示。考虑到GUI菜单字段的状态或者GUI菜单字段的选择要求，选择属性是附加信息。这种选择属性的例子是：‘必须’，指示用户对GUI菜单字段的菜单选项的选择是必须的，‘可选’，指示用户对GUI菜单字段的菜单选项的选择不是必须的，‘监听’，指示用户该GUI菜单字段当前已被选中，并且接受来自用户的菜单选项，‘填充’，指示用户该GUI菜单字段已经接受菜单选项，以及其它本领域普通技术人员知道的情况。
为了进一步的阐述，图5示出了根据图4的方法操作的示例多模式浏览器500的示意图。在图5实例中的示例多模式浏览器显示了对在特定时间、特定城市的特定影院正在上演的电影进行选择的多模式网页501。图5的网页501有四个GUI菜单字段514、516、518和520，以及用于显示所选GUI菜单字段518的菜单选项504、506、508、510和512的GUI显示框502。图5的网页501还包括代表GUI菜单字段514、516、518和520的选择属性的多个图标536、532、530和528。
在图5的实例中，第一GUI菜单字段514接受用户对电影的选择，并且在这个实例中，用户已经选择了电影‘I，Robot’。作为对用户已经选择电影I，Robot的结果，描述该用户选择的文本出现在GUI菜单字段514中。作为该用户选择的结果，代表选择属性‘填充’的图标536显示在GUI菜单字段514旁边，指示用户该GUI菜单字段的菜单选项已被选择。
在图5的实例中，第二GUI菜单字段516接受用户对城市的选择。在图5的实例中，当前没有城市被选中，因此GUI菜单字段516包含提示用户选择一个城市的文本。进一步的，第二菜单字段516并不是必须的，因此代表选择属性‘可选’的图标532显示在GUI菜单字段516旁边。
在图5的实例中，第三GUI菜单字段518接受用户对影院的选择。在图5的实例中，第三GUI菜单字段518当前被选中，并且接受来自用户的菜单选项。作为该GUI菜单字段选择的结果，代表选择属性‘监听’的图标530显示在GUI菜单字段518旁边。同样，作为该GUI菜单字段选择的结果，影院选项显示在GUI显示框502中。在图5的实例中，五个菜单选项被显示在GUI显示框502中。菜单选项包括‘Malco Forest Hill Cinema 8’504，‘Malco Collierville Towne Cinema’506，‘Malco Paridiso’508，‘Ajay Theatres-Palace Cinema’510和‘Malco Highland Quartet’512。图5的实例可以有利地告知用户菜单选项并且利用显示在GUI菜单字段518中的文本‘选择影院’提示用户选择菜单选项中的一个。
在图5的实例中，第四GUI菜单字段520接受用户对电影时间的选择。在图5的实例中，当前没有电影被选中，因此GUI菜单字段520包含用于提示用户选择电影时间的文本‘选择时间’。进一步的，第四GUI菜单字段520是必填的，并且没有被填充，因此代表选择属性‘必须，未填’的图标528显示在GUI菜单字段520旁边。
示出图5的示例多模式网页是为了阐述而并不是限制。事实上，通过向用户展示多个GUI菜单字段、选择多个GUI菜单字段中的一个、以及在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项从而在多模式浏览器中显示可用菜单选项可以以许多形式出现，并且所有这些形式都在本发明的范围之内。
如上所讨论的，多模式应用经常在同一用户交互中接收多于一个指令。比如，用户说“我要在八点钟看‘蜘蛛人’”，这事实上可以在单个言辞中选择图5的实例中的两个必须的菜单字段。这样与用户进行的交互通常被称为‘混合发起’(mixed initiative)对话。因此，为了进一步的阐述，图6示出了根据提供与用户进行混合发起对话的字段选择规则来选择GUI菜单字段的实例的流程图。在图6的实例中，根据字段选择规则602选择GUI菜单字段。字段选择规则是用于控制分析用户指令的规则。这些规则经常通过确定用户是否已经事实上选择了菜单选项，并且确定是否还剩余其它必须的菜单选项需要用户选择来进行操作。
图6的实例示出了根据字段选择规则602选择(406)GUI菜单字段的一种方式的流程图，该规则包括以语音方式从用户接收(604)对菜单选项的选择606。在图6的一些实例中，除了语音选择之外，也可以使用附加的输入，比如手写选择、键盘选择或者其它任何本领域普通技术人员知道的选择，并且在选择特定菜单字段时，字段选择规则也可以包括这种多模式输入。
图6的方法还包括确定(608)选择606是否匹配与多个GUI菜单字段404相关联的多个菜单选项610中的一个。在图6的实例中，选择606是以语音指令接收的，因此确定(608)选择606是否匹配多个菜单选项610中的一个包含根据语法620分析语音指令，并且将分析后的语音指令和与GUI菜单字段相关联的菜单选项进行比较。确定(608)选择606是否匹配多个菜单选项610中的一个可以通过在为与多模式网页浏览器进行数据通信而进行耦合的服务器上运行的网页应用来实现。
图6的方法包括如果该选择匹配菜单选项610中的一个时，识别(612)与该选择相关联的菜单字段，并且识别(614)至少一个不与匹配的菜单选项相关联的GUI菜单字段。根据图6的方法，如果该选择匹配菜单选项610中的一个时，识别(612)与该选择相关联的菜单字段的结果是，识别被用户选择填充的GUI菜单字段，并且由此不使其仍然处于选择状态。因此，识别(614)至少一个不与匹配的菜单选项相关联的GUI菜单字段的结果是，识别仍然处于选择状态并且仍然未被用户填充的GUI菜单字段。如果该选择匹配菜单选项610中的一个时，识别(612)与该选择相关联的菜单字段，并且识别(614)至少一个不与匹配的菜单选项相关联的GUI菜单字段，可以通过在为与多模式网页浏览器进行数据通信而进行耦合的服务器上运行的网页应用来实现。
在图6的方法中，如果用户选择606不匹配与多个GUI菜单字段404相关联的多个菜单选项610中的一个，那么根据图6的方法，该选择没有提供足够的信息来选择GUI菜单字段。图6的方法有利地根据提供与用户进行混合发起对话的字段选择规则来提供用于选择GUI菜单字段的方法。
进一步的，根据图6的方法，已经选择了GUI菜单字段，实施例可以包括提示用户选择不与匹配的菜单选项相关联的GUI菜单字段中所选的一个GUI菜单字段的菜单选项。即，实施例可以包括提示用户选择通过图6的方法选择的菜单字段的菜单选项。提示用户选择菜单选项可以通过显示菜单选项并显示告知用户多模式应用正在监听用户对于一个菜单选项的选择的图标，或者其它任何本领域的普通技术人员知道的提示用户的方法来实现。
为了进一步的阐述，图7示出了根据图6的方法操作的示例多模式浏览器500的示意图。图7的实例中的示例多模式浏览器500显示了对在特定时间、特定城市的特定影院正在上演的电影进行选择的多模式网页501。图7的网页501有四个GUI菜单字段514、516、518和520，以及用于显示所选GUI菜单字段518的菜单选项504、506、508、510和512的GUI显示框502。图7的网页501还包括代表GUI菜单字段514、516、518和520的选择属性的多个图标702、704、706和708。
图7示出了根据字段选择规则选择GUI菜单字段的实例，该实例从用户接收对菜单选项的选择，确定该选择是否匹配与多个GUI菜单字段相关联的多个菜单选项中的一个，如果该选择匹配菜单选项中的一个，识别与该选择相关联的菜单字段，并且识别至少一个不与所识别的与匹配的菜单选项相关联的菜单字段相关联的GUI菜单字段。
在图7的实例中，显示多模式网页501的多模式浏览器500以下述语音言辞的形式接收用户选择，“我要在晚上八点在Memphis看I，Robot”。在图7的实例中，为与图7的浏览器500进行数据通信而耦合的网页应用根据语法分析语音言辞，并且将分析后的言辞和与GUI菜单字段514、516、518和520相关联的菜单选项进行比较。
在图7的实例中，第一GUI菜单字段514对电影‘I，Robot’有匹配的相关联菜单选项。这样，网页应用提供用来在浏览器500中进行显示的网页，该网页在GUI菜单字段514中显示描述用户选择的文本，并且在GUI菜单字段514的旁边显示代表选择属性‘填充’的图标，指示用户该GUI菜单字段的菜单选项已被选择。
在图7的实例中，第二GUI菜单字段516对城市‘Memphis’有匹配的相关联菜单选项。这样，在浏览器500中显示的网页在GUI菜单字段516中显示描述用户选择‘Memphis’的文本，并且在GUI菜单字段516的旁边显示代表选择属性‘填充’的图标，指示用户该GUI菜单字段的菜单选项已被选择。
在图7的实例中，第四GUI菜单字段520对时间‘8:00p.m.’有匹配的相关联菜单选项。这样，在浏览器500中显示的网页在GUI菜单字段520中显示描述用户选择‘8:00p.m.’的文本，并且在GUI菜单字段520的旁边显示代表选择属性‘填充’的图标，指示用户该GUI菜单字段的菜单选项已被选择。
在图7的实例中，为与浏览器500进行数据通信而耦合的网页应用识别与其它已识别的与匹配的菜单选项相关联的菜单字段514、516和520不相关联的剩余的GUI菜单字段518。选择图7实例中的第三GUI菜单字段518，并且它当前正接受来自用户的菜单选项。作为对GUI菜单字段的选择结果，在浏览器所显示的网页中的GUI菜单字段518的旁边显示代表选择属性‘监听’的图标706。同样作为对GUI菜单字段的选择结果，影院选项被显示在GUI显示框502中。在图7的实例中，五个菜单选项被显示在GUI显示框502中。菜单选项包括‘MalcoForest Hill Cinema 8’504，‘Malco Collierville Towne Cinema’506，‘Malco Paridiso’508，‘Ajay Theatres-Palace Cinema’510，和‘MalcoHighland Quartet’512。图7的实例可以有利地告知用户菜单选项并且利用显示在GUI菜单字段518中的文本‘选择影院’提示用户选择菜单选项中的一个。
图7示出的示例多模式网页是为了阐述而并不是限制。事实上，通过向用户展示多个GUI菜单字段、根据字段选择规则选择多个GUI菜单字段中的一个、在用于多个GUI菜单字段的GUI显示框中显示所选GUI菜单字段的菜单选项从而在多模式浏览器中显示可用菜单选项可以以许多形式来出现，并且所有这些形式都在本发明的范围之内。
从上述的描述中可以知道在不背离本发明真正的构思的条件下可以对本发明的各种实施例进行变化和修改。说明书中的描述只是为了说明目的而不能解释为对本发明的限制。本发明的范围仅由下面的权利要求书中的语言来限定。
Claims (13)
1、一种在多模式浏览器中显示可用菜单选项的方法，该方法包括：
向用户展示多个GUI菜单字段；
接收用户语音；
根据用户语音和字段选择规则选择多个GUI菜单字段中的一个；以及
在用于多个GUI菜单字段的GUI显示框中显示对所选GUI菜单字段的菜单选项。
2、如权利要求1所述的方法，其中接收用户语音还包括接收用户指令来选择特定的GUI菜单字段。
3、如权利要求1所述的方法，其中接收用户语音还包括从用户接收对菜单选项的选择，以及
根据用户语音和字段选择规则选择多个GUI菜单字段中的一个还包括确定该选择是否匹配与多个GUI菜单字段相关联的多个菜单选项中的一个；
如果该选择匹配菜单选项中的一个，识别与该选择相关联的GUI菜单字段；以及
识别至少一个不与匹配的菜单选项相关联的GUI菜单字段。
4、如权利要求3所述的方法，还包括提示用户选择该至少一个不与匹配的菜单选项相关联的GUI菜单字段的菜单选项。
5、如权利要求1所述的方法，还包括突出显示所选的GUI菜单字段。
6、如权利要求1所述的方法，还包括向用户显示代表多个GUI菜单字段中至少一个GUI菜单字段的选择属性的图标。
7、一种在多模式浏览器中显示可用菜单选项的系统，该系统包括：
计算机处理器；
为进行数据传输而耦合到所述处理器的计算机存储器，所述计算机存储器已在其中配置了包括下列内容的计算机程序指令：
菜单显示模块；
所述菜单显示模块能够：
向用户展示多个GUI菜单字段；
接收用户语音；
根据用户语音和字段选择规则选择多个GUI菜单字段中的一个；以及
在用于多个GUI菜单字段的GUI显示框中显示对所选GUI菜单字段的菜单选项。
8、如权利要求7所述的系统，其中所述菜单显示模块还能够接收用户语音指令以选择特定的GUI菜单字段。
9、如权利要求7所述的系统，其中所述显示模块还能够：
从用户接收对菜单选项的选择；
确定该选择是否匹配与多个GUI菜单字段相关联的多个菜单选项中的一个；
如果该选择匹配菜单选项中的一个，识别与该选择相关联的GUI菜单字段；以及
识别至少一个不与匹配的菜单选项相关联的GUI菜单字段。
10、如权利要求9所述的系统，其中所述显示模块还能够提示用户选择该至少一个不与匹配的菜单选项相关联的GUI菜单字段的菜单选项。
11、如权利要求7所述的系统，其中所述显示模块还能够突出显示所选的GUI菜单字段。
12、如权利里要求7所述的系统，其中所述显示模块还能够向用户显示代表多个GUI菜单字段中至少一个GUI菜单字段的选择属性的图标。
13、一种用于在多模式浏览器中显示可用菜单选项的计算机程序产品，该计算机程序产品配置在记录介质上，所述计算机程序产品包括执行权利要求1-6中任何一个中的步骤的计算机程序指令。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/154,899 US20060288309A1 (en) | 2005-06-16 | 2005-06-16 | Displaying available menu choices in a multimodal browser |
| US11/154,899 | 2005-06-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1881162A true CN1881162A (zh) | 2006-12-20 |
| CN100444097C CN100444097C (zh) | 2008-12-17 |
Family
ID=37519381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2006100042724A Expired - Fee Related CN100444097C (zh) | 2005-06-16 | 2006-02-13 | 在多模式浏览器中显示可用菜单选项的方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20060288309A1 (zh) |
| CN (1) | CN100444097C (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915198A (zh) * | 2015-05-25 | 2015-09-16 | 南京国电南自美卓控制系统有限公司 | 一种可灵活定义布局与内容的scada上位机人机界面 |
| CN111696546A (zh) * | 2019-03-15 | 2020-09-22 | 奥多比公司 | 使用多模式界面以利于口头命令的发现 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9083798B2 (en) | 2004-12-22 | 2015-07-14 | Nuance Communications, Inc. | Enabling voice selection of user preferences |
| US8090584B2 (en) * | 2005-06-16 | 2012-01-03 | Nuance Communications, Inc. | Modifying a grammar of a hierarchical multimodal menu in dependence upon speech command frequency |
| US7917365B2 (en) | 2005-06-16 | 2011-03-29 | Nuance Communications, Inc. | Synchronizing visual and speech events in a multimodal application |
| US8073700B2 (en) | 2005-09-12 | 2011-12-06 | Nuance Communications, Inc. | Retrieval and presentation of network service results for mobile device using a multimodal browser |
| US9208785B2 (en) | 2006-05-10 | 2015-12-08 | Nuance Communications, Inc. | Synchronizing distributed speech recognition |
| US7848314B2 (en) | 2006-05-10 | 2010-12-07 | Nuance Communications, Inc. | VOIP barge-in support for half-duplex DSR client on a full-duplex network |
| US7676371B2 (en) | 2006-06-13 | 2010-03-09 | Nuance Communications, Inc. | Oral modification of an ASR lexicon of an ASR engine |
| US8332218B2 (en) | 2006-06-13 | 2012-12-11 | Nuance Communications, Inc. | Context-based grammars for automated speech recognition |
| US8145493B2 (en) | 2006-09-11 | 2012-03-27 | Nuance Communications, Inc. | Establishing a preferred mode of interaction between a user and a multimodal application |
| US8374874B2 (en) | 2006-09-11 | 2013-02-12 | Nuance Communications, Inc. | Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction |
| US7957976B2 (en) | 2006-09-12 | 2011-06-07 | Nuance Communications, Inc. | Establishing a multimodal advertising personality for a sponsor of a multimodal application |
| US8086463B2 (en) | 2006-09-12 | 2011-12-27 | Nuance Communications, Inc. | Dynamically generating a vocal help prompt in a multimodal application |
| US8073697B2 (en) | 2006-09-12 | 2011-12-06 | International Business Machines Corporation | Establishing a multimodal personality for a multimodal application |
| US7827033B2 (en) * | 2006-12-06 | 2010-11-02 | Nuance Communications, Inc. | Enabling grammars in web page frames |
| US8612230B2 (en) | 2007-01-03 | 2013-12-17 | Nuance Communications, Inc. | Automatic speech recognition with a selection list |
| US8069047B2 (en) | 2007-02-12 | 2011-11-29 | Nuance Communications, Inc. | Dynamically defining a VoiceXML grammar in an X+V page of a multimodal application |
| US7801728B2 (en) | 2007-02-26 | 2010-09-21 | Nuance Communications, Inc. | Document session replay for multimodal applications |
| US8150698B2 (en) | 2007-02-26 | 2012-04-03 | Nuance Communications, Inc. | Invoking tapered prompts in a multimodal application |
| US7840409B2 (en) | 2007-02-27 | 2010-11-23 | Nuance Communications, Inc. | Ordering recognition results produced by an automatic speech recognition engine for a multimodal application |
| US8938392B2 (en) | 2007-02-27 | 2015-01-20 | Nuance Communications, Inc. | Configuring a speech engine for a multimodal application based on location |
| US7809575B2 (en) | 2007-02-27 | 2010-10-05 | Nuance Communications, Inc. | Enabling global grammars for a particular multimodal application |
| US7822608B2 (en) | 2007-02-27 | 2010-10-26 | Nuance Communications, Inc. | Disambiguating a speech recognition grammar in a multimodal application |
| US8713542B2 (en) | 2007-02-27 | 2014-04-29 | Nuance Communications, Inc. | Pausing a VoiceXML dialog of a multimodal application |
| US9208783B2 (en) | 2007-02-27 | 2015-12-08 | Nuance Communications, Inc. | Altering behavior of a multimodal application based on location |
| US8843376B2 (en) | 2007-03-13 | 2014-09-23 | Nuance Communications, Inc. | Speech-enabled web content searching using a multimodal browser |
| US7945851B2 (en) | 2007-03-14 | 2011-05-17 | Nuance Communications, Inc. | Enabling dynamic voiceXML in an X+V page of a multimodal application |
| US8670987B2 (en) | 2007-03-20 | 2014-03-11 | Nuance Communications, Inc. | Automatic speech recognition with dynamic grammar rules |
| US8515757B2 (en) | 2007-03-20 | 2013-08-20 | Nuance Communications, Inc. | Indexing digitized speech with words represented in the digitized speech |
| US8909532B2 (en) | 2007-03-23 | 2014-12-09 | Nuance Communications, Inc. | Supporting multi-lingual user interaction with a multimodal application |
| US8788620B2 (en) | 2007-04-04 | 2014-07-22 | International Business Machines Corporation | Web service support for a multimodal client processing a multimodal application |
| US8862475B2 (en) | 2007-04-12 | 2014-10-14 | Nuance Communications, Inc. | Speech-enabled content navigation and control of a distributed multimodal browser |
| US8725513B2 (en) | 2007-04-12 | 2014-05-13 | Nuance Communications, Inc. | Providing expressive user interaction with a multimodal application |
| US10133372B2 (en) * | 2007-12-20 | 2018-11-20 | Nokia Technologies Oy | User device having sequential multimodal output user interface |
| US8831950B2 (en) * | 2008-04-07 | 2014-09-09 | Nuance Communications, Inc. | Automated voice enablement of a web page |
| US8543404B2 (en) * | 2008-04-07 | 2013-09-24 | Nuance Communications, Inc. | Proactive completion of input fields for automated voice enablement of a web page |
| US9047869B2 (en) * | 2008-04-07 | 2015-06-02 | Nuance Communications, Inc. | Free form input field support for automated voice enablement of a web page |
| US8082148B2 (en) | 2008-04-24 | 2011-12-20 | Nuance Communications, Inc. | Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise |
| US8121837B2 (en) | 2008-04-24 | 2012-02-21 | Nuance Communications, Inc. | Adjusting a speech engine for a mobile computing device based on background noise |
| US8214242B2 (en) | 2008-04-24 | 2012-07-03 | International Business Machines Corporation | Signaling correspondence between a meeting agenda and a meeting discussion |
| US9349367B2 (en) | 2008-04-24 | 2016-05-24 | Nuance Communications, Inc. | Records disambiguation in a multimodal application operating on a multimodal device |
| US8229081B2 (en) | 2008-04-24 | 2012-07-24 | International Business Machines Corporation | Dynamically publishing directory information for a plurality of interactive voice response systems |
| TWI413938B (zh) * | 2009-12-02 | 2013-11-01 | Phison Electronics Corp | 情感引擎、情感引擎系統及電子裝置的控制方法 |
| US20130246920A1 (en) * | 2012-03-19 | 2013-09-19 | Research In Motion Limited | Method of enabling voice input for a visually based interface |
Family Cites Families (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US507149A (en) * | 1893-10-24 | Flushing-tank | ||
| JPH1091412A (ja) * | 1996-07-25 | 1998-04-10 | Toshiba Corp | 表示部品選択装置及び表示部品選択方法 |
| US6243375B1 (en) * | 1996-11-08 | 2001-06-05 | Gregory J. Speicher | Internet-audiotext electronic communications system with multimedia based matching |
| US6301560B1 (en) * | 1998-01-05 | 2001-10-09 | Microsoft Corporation | Discrete speech recognition system with ballooning active grammar |
| WO1999048088A1 (en) * | 1998-03-20 | 1999-09-23 | Inroad, Inc. | Voice controlled web browser |
| US6456699B1 (en) * | 1998-11-30 | 2002-09-24 | At&T Corp. | Web-based generation of telephony-based interactive voice response applications |
| JP3514372B2 (ja) * | 1999-06-04 | 2004-03-31 | 日本電気株式会社 | マルチモーダル対話装置 |
| US6275806B1 (en) * | 1999-08-31 | 2001-08-14 | Andersen Consulting, Llp | System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters |
| US6807574B1 (en) * | 1999-10-22 | 2004-10-19 | Tellme Networks, Inc. | Method and apparatus for content personalization over a telephone interface |
| US7376586B1 (en) * | 1999-10-22 | 2008-05-20 | Microsoft Corporation | Method and apparatus for electronic commerce using a telephone interface |
| US6920425B1 (en) * | 2000-05-16 | 2005-07-19 | Nortel Networks Limited | Visual interactive response system and method translated from interactive voice response for telephone utility |
| US20020092019A1 (en) * | 2000-09-08 | 2002-07-11 | Dwight Marcus | Method and apparatus for creation, distribution, assembly and verification of media |
| US20020098891A1 (en) * | 2000-10-10 | 2002-07-25 | Graham Michael B. | Computerized system and method for providing advertising to a consumer |
| GB0029025D0 (en) * | 2000-11-29 | 2001-01-10 | Hewlett Packard Co | Enhancement of communication capabilities |
| WO2002044887A2 (en) * | 2000-12-01 | 2002-06-06 | The Trustees Of Columbia University In The City Of New York | A method and system for voice activating web pages |
| US20030046316A1 (en) * | 2001-04-18 | 2003-03-06 | Jaroslav Gergic | Systems and methods for providing conversational computing via javaserver pages and javabeans |
| JP4437633B2 (ja) * | 2001-08-10 | 2010-03-24 | 富士通株式会社 | 携帯端末 |
| US7752326B2 (en) * | 2001-08-20 | 2010-07-06 | Masterobjects, Inc. | System and method for utilizing asynchronous client server communication objects |
| US9015297B2 (en) * | 2002-01-15 | 2015-04-21 | Avaya Inc. | Communication application server for converged communication services |
| US8135711B2 (en) * | 2002-02-04 | 2012-03-13 | Cataphora, Inc. | Method and apparatus for sociological data analysis |
| US7315613B2 (en) * | 2002-03-11 | 2008-01-01 | International Business Machines Corporation | Multi-modal messaging |
| US7327833B2 (en) * | 2002-03-20 | 2008-02-05 | At&T Bls Intellectual Property, Inc. | Voice communications menu |
| US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| TWI329112B (en) * | 2002-07-19 | 2010-08-21 | Bristol Myers Squibb Co | Novel inhibitors of kinases |
| EP1394692A1 (en) * | 2002-08-05 | 2004-03-03 | Alcatel | Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal |
| US20040216036A1 (en) * | 2002-09-13 | 2004-10-28 | Yahoo! Inc. | Browser user interface |
| JP4216583B2 (ja) * | 2002-12-27 | 2009-01-28 | 日本合成化学工業株式会社 | 物性算出方法、物性算出装置及びコンピュータプログラム |
| US20040236476A1 (en) * | 2003-02-27 | 2004-11-25 | Mahesh Chowdhary | Vehicle safety management system that detects speed limit violations |
| US7484176B2 (en) * | 2003-03-03 | 2009-01-27 | Aol Llc, A Delaware Limited Liability Company | Reactive avatars |
| US7966188B2 (en) * | 2003-05-20 | 2011-06-21 | Nuance Communications, Inc. | Method of enhancing voice interactions using visual messages |
| US7356472B2 (en) * | 2003-12-11 | 2008-04-08 | International Business Machines Corporation | Enabling speech within a multimodal program using markup |
| US7409690B2 (en) * | 2003-12-19 | 2008-08-05 | International Business Machines Corporation | Application module for managing interactions of distributed modality components |
| CN100424630C (zh) * | 2004-03-26 | 2008-10-08 | 宏碁股份有限公司 | 网页语音接口的操作方法 |
| US7925512B2 (en) * | 2004-05-19 | 2011-04-12 | Nuance Communications, Inc. | Method, system, and apparatus for a voice markup language interpreter and voice browser |
| US8549501B2 (en) * | 2004-06-07 | 2013-10-01 | International Business Machines Corporation | Framework for generating mixed-mode operations in loop-level simdization |
| US8768711B2 (en) * | 2004-06-17 | 2014-07-01 | Nuance Communications, Inc. | Method and apparatus for voice-enabling an application |
| US7487085B2 (en) * | 2004-08-24 | 2009-02-03 | International Business Machines Corporation | Method and system of building a grammar rule with baseforms generated dynamically from user utterances |
| US7739117B2 (en) * | 2004-09-20 | 2010-06-15 | International Business Machines Corporation | Method and system for voice-enabled autofill |
| US7509260B2 (en) * | 2004-09-20 | 2009-03-24 | International Business Machines Corporation | Systems and methods for inputting graphical data into a graphical input field |
| US7509659B2 (en) * | 2004-11-18 | 2009-03-24 | International Business Machines Corporation | Programming portal applications |
| US7650284B2 (en) * | 2004-11-19 | 2010-01-19 | Nuance Communications, Inc. | Enabling voice click in a multimodal page |
| US8024194B2 (en) * | 2004-12-08 | 2011-09-20 | Nuance Communications, Inc. | Dynamic switching between local and remote speech rendering |
| US9083798B2 (en) * | 2004-12-22 | 2015-07-14 | Nuance Communications, Inc. | Enabling voice selection of user preferences |
| US7548977B2 (en) * | 2005-02-11 | 2009-06-16 | International Business Machines Corporation | Client / server application task allocation based upon client resources |
| US8725514B2 (en) * | 2005-02-22 | 2014-05-13 | Nuance Communications, Inc. | Verifying a user using speaker verification and a multimodal web-based interface |
| US20060218039A1 (en) * | 2005-02-25 | 2006-09-28 | Johnson Neldon P | Enhanced fast food restaurant and method of operation |
| US20060229880A1 (en) * | 2005-03-30 | 2006-10-12 | International Business Machines Corporation | Remote control of an appliance using a multimodal browser |
| US20060224430A1 (en) * | 2005-04-05 | 2006-10-05 | Cisco Technology, Inc. | Agenda based meeting management system, interface and method |
| US20060235694A1 (en) * | 2005-04-14 | 2006-10-19 | International Business Machines Corporation | Integrating conversational speech into Web browsers |
| US7917365B2 (en) * | 2005-06-16 | 2011-03-29 | Nuance Communications, Inc. | Synchronizing visual and speech events in a multimodal application |
| US8090584B2 (en) * | 2005-06-16 | 2012-01-03 | Nuance Communications, Inc. | Modifying a grammar of a hierarchical multimodal menu in dependence upon speech command frequency |
| US20060287865A1 (en) * | 2005-06-16 | 2006-12-21 | Cross Charles W Jr | Establishing a multimodal application voice |
| US20070274297A1 (en) * | 2006-05-10 | 2007-11-29 | Cross Charles W Jr | Streaming audio from a full-duplex network through a half-duplex device |
| US7848314B2 (en) * | 2006-05-10 | 2010-12-07 | Nuance Communications, Inc. | VOIP barge-in support for half-duplex DSR client on a full-duplex network |
| US9208785B2 (en) * | 2006-05-10 | 2015-12-08 | Nuance Communications, Inc. | Synchronizing distributed speech recognition |
| US7676371B2 (en) * | 2006-06-13 | 2010-03-09 | Nuance Communications, Inc. | Oral modification of an ASR lexicon of an ASR engine |
| US8332218B2 (en) * | 2006-06-13 | 2012-12-11 | Nuance Communications, Inc. | Context-based grammars for automated speech recognition |
| US8374874B2 (en) * | 2006-09-11 | 2013-02-12 | Nuance Communications, Inc. | Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction |
| US8145493B2 (en) * | 2006-09-11 | 2012-03-27 | Nuance Communications, Inc. | Establishing a preferred mode of interaction between a user and a multimodal application |
| US7957976B2 (en) * | 2006-09-12 | 2011-06-07 | Nuance Communications, Inc. | Establishing a multimodal advertising personality for a sponsor of a multimodal application |
| US8086463B2 (en) * | 2006-09-12 | 2011-12-27 | Nuance Communications, Inc. | Dynamically generating a vocal help prompt in a multimodal application |
| US8073697B2 (en) * | 2006-09-12 | 2011-12-06 | International Business Machines Corporation | Establishing a multimodal personality for a multimodal application |
| US7827033B2 (en) * | 2006-12-06 | 2010-11-02 | Nuance Communications, Inc. | Enabling grammars in web page frames |
| US20080177611A1 (en) * | 2006-12-13 | 2008-07-24 | Joshua Paul Sommers | Means and methods to coordinate meetings and generation of related documents |
| US8612230B2 (en) * | 2007-01-03 | 2013-12-17 | Nuance Communications, Inc. | Automatic speech recognition with a selection list |
| US8069047B2 (en) * | 2007-02-12 | 2011-11-29 | Nuance Communications, Inc. | Dynamically defining a VoiceXML grammar in an X+V page of a multimodal application |
| US8150698B2 (en) * | 2007-02-26 | 2012-04-03 | Nuance Communications, Inc. | Invoking tapered prompts in a multimodal application |
| US7801728B2 (en) * | 2007-02-26 | 2010-09-21 | Nuance Communications, Inc. | Document session replay for multimodal applications |
| US8938392B2 (en) * | 2007-02-27 | 2015-01-20 | Nuance Communications, Inc. | Configuring a speech engine for a multimodal application based on location |
| US7809575B2 (en) * | 2007-02-27 | 2010-10-05 | Nuance Communications, Inc. | Enabling global grammars for a particular multimodal application |
| US7840409B2 (en) * | 2007-02-27 | 2010-11-23 | Nuance Communications, Inc. | Ordering recognition results produced by an automatic speech recognition engine for a multimodal application |
| US7822608B2 (en) * | 2007-02-27 | 2010-10-26 | Nuance Communications, Inc. | Disambiguating a speech recognition grammar in a multimodal application |
| US20080208594A1 (en) * | 2007-02-27 | 2008-08-28 | Cross Charles W | Effecting Functions On A Multimodal Telephony Device |
| US20080208586A1 (en) * | 2007-02-27 | 2008-08-28 | Soonthorn Ativanichayaphong | Enabling Natural Language Understanding In An X+V Page Of A Multimodal Application |
| US9208783B2 (en) * | 2007-02-27 | 2015-12-08 | Nuance Communications, Inc. | Altering behavior of a multimodal application based on location |
| US20080208589A1 (en) * | 2007-02-27 | 2008-08-28 | Cross Charles W | Presenting Supplemental Content For Digital Media Using A Multimodal Application |
| US8713542B2 (en) * | 2007-02-27 | 2014-04-29 | Nuance Communications, Inc. | Pausing a VoiceXML dialog of a multimodal application |
| US8843376B2 (en) * | 2007-03-13 | 2014-09-23 | Nuance Communications, Inc. | Speech-enabled web content searching using a multimodal browser |
| US7945851B2 (en) * | 2007-03-14 | 2011-05-17 | Nuance Communications, Inc. | Enabling dynamic voiceXML in an X+V page of a multimodal application |
| US8515757B2 (en) * | 2007-03-20 | 2013-08-20 | Nuance Communications, Inc. | Indexing digitized speech with words represented in the digitized speech |
| US8670987B2 (en) * | 2007-03-20 | 2014-03-11 | Nuance Communications, Inc. | Automatic speech recognition with dynamic grammar rules |
| US20080235029A1 (en) * | 2007-03-23 | 2008-09-25 | Cross Charles W | Speech-Enabled Predictive Text Selection For A Multimodal Application |
| US8909532B2 (en) * | 2007-03-23 | 2014-12-09 | Nuance Communications, Inc. | Supporting multi-lingual user interaction with a multimodal application |
| US8788620B2 (en) * | 2007-04-04 | 2014-07-22 | International Business Machines Corporation | Web service support for a multimodal client processing a multimodal application |
| US8725513B2 (en) * | 2007-04-12 | 2014-05-13 | Nuance Communications, Inc. | Providing expressive user interaction with a multimodal application |
| US8862475B2 (en) * | 2007-04-12 | 2014-10-14 | Nuance Communications, Inc. | Speech-enabled content navigation and control of a distributed multimodal browser |
| US9317593B2 (en) * | 2007-10-05 | 2016-04-19 | Fujitsu Limited | Modeling topics using statistical distributions |
| US20090204465A1 (en) * | 2008-02-08 | 2009-08-13 | Santosh Pradhan | Process and system for facilitating communication and intergrating communication with the project management activities in a collaborative environment |
| US8185587B2 (en) * | 2008-03-13 | 2012-05-22 | Xerox Corporation | Capturing, processing, managing, and reporting events of interest in virtual collaboration spaces |
-
2005
- 2005-06-16 US US11/154,899 patent/US20060288309A1/en not_active Abandoned
-
2006
- 2006-02-13 CN CNB2006100042724A patent/CN100444097C/zh not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915198A (zh) * | 2015-05-25 | 2015-09-16 | 南京国电南自美卓控制系统有限公司 | 一种可灵活定义布局与内容的scada上位机人机界面 |
| CN104915198B (zh) * | 2015-05-25 | 2017-11-21 | 南京国电南自维美德自动化有限公司 | 一种灵活定义布局与内容的scada上位机人机界面 |
| CN111696546A (zh) * | 2019-03-15 | 2020-09-22 | 奥多比公司 | 使用多模式界面以利于口头命令的发现 |
| CN111696546B (zh) * | 2019-03-15 | 2024-08-02 | 奥多比公司 | 使用多模式界面以利于口头命令的发现 |
| US12112097B2 (en) | 2019-03-15 | 2024-10-08 | Adobe Inc. | Facilitating discovery of verbal commands using multimodal interfaces |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100444097C (zh) | 2008-12-17 |
| US20060288309A1 (en) | 2006-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1881162A (zh) | 在多模式浏览器中显示可用菜单选项的方法和系统 | |
| CN100456234C (zh) | 在多模式应用中同步视觉和语音事件的方法和系统 | |
| CN1257473C (zh) | Html文档中增加可访问性的主动alt标记的方法和系统 | |
| US20030081003A1 (en) | System and method to facilitate analysis and removal of errors from an application | |
| US20040104944A1 (en) | Interface accelerator | |
| WO2014179819A2 (en) | Software design pattern for adapting a graph database visualization software | |
| CN1530817A (zh) | 有效内容的向导：任务和结构内容的执行 | |
| CN102609188A (zh) | 基于插入点的用户界面交互行为 | |
| CN1855041A (zh) | 实现虚拟语音一键通功能的方法和多模式界面 | |
| CN104077348A (zh) | 用于控制网页的动态改变的内容的方法及其电子装置 | |
| US11010536B2 (en) | Systems and methods for dynamic web user interface generation | |
| CN1869973A (zh) | 生成文档的方法和系统 | |
| CN1577267A (zh) | 步进式标记语言与面向对象的开发工具的组合使用 | |
| CN1484789A (zh) | 控制装置 | |
| EP3142025B1 (en) | Generating and distributing interactive documents | |
| CN113849156A (zh) | OpenHarmony操作系统应用的无代码智能开发系统及其使用方法 | |
| CN114117190A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN1934533A (zh) | 显示处理装置和显示处理方法 | |
| CN101137080A (zh) | 用于便携式电子装置的远程管理系统和方法 | |
| CN102609247A (zh) | 国际化的图形用户界面 | |
| US20120216132A1 (en) | Embedding User Selected Content In A Web Browser Display | |
| US8533616B2 (en) | Time support for service adaptation | |
| CN111680288A (zh) | 容器的命令执行方法、装置、设备及存储介质 | |
| CN112988138A (zh) | 应用于集成开发环境中的系统和方法 | |
| CN113407241A (zh) | 交互配置方法、装置、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: NEW ANST COMMUNICATION CO.,LTD. Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINE CORP. Effective date: 20090918 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20090918 Address after: Massachusetts, USA Patentee after: Nuance Communications Inc Address before: American New York Patentee before: International Business Machines Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081217 Termination date: 20210213 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |