CN1602461A - 带语音控制系统的ui - Google Patents
带语音控制系统的ui Download PDFInfo
- Publication number
- CN1602461A CN1602461A CNA028247442A CN02824744A CN1602461A CN 1602461 A CN1602461 A CN 1602461A CN A028247442 A CNA028247442 A CN A028247442A CN 02824744 A CN02824744 A CN 02824744A CN 1602461 A CN1602461 A CN 1602461A
- Authority
- CN
- China
- Prior art keywords
- option
- user
- equipment
- pattern
- options
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008275 binding mechanism Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001343 mnemonic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种具有用于提供第一用户可选选项的UI的电子设备。当选择第一选项的特定选项时可获得第二用户可选选项。当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率。此外,用于从第一选项进行选择的与UI的用户交互的第一模式、不同于从第二选项进行选择的与UI的用户交互的第二模式。
Description
发明领域
本发明涉及一种用户界面(UI),具体来讲,涉及一种用于具有小屏幕尺寸的设备的多模式UI,所述小屏幕设备诸如手持信息设备(掌上型电脑、电子手表、管理器、移动电话、Web板(Web pads)、遥控装置、PDA的或者笔记本计算机等等)。
背景技术以及发明概要
目前趋势表明,到2002年为止,全世界会有10亿的移动电话订购者。到2004年为止,使用中的移动电话将会多于PC。
移动电话已经成为私人、可信赖设备。诸如由Philips Electronics生产的Genie的移动电话,通常具有作为用户界面部分的LCD,并且存在提供甚至更多插件级的软件服务的趋势。所述电话还具有语音控制能力。
诸如个人数字助理(PDA)的手提计算装置,例如由3COM生产的Palm或者基于Windows CE的iPAQ手持设备,可以经由无线调制解调器、或者2.5G(例如GPRS)或者3G(例如DoCoMo)服务连接到网络中。因此,经由互联网的普遍存在的信息访问已经成为现实。近来的服务使设备能够始终保持连接,并且能够访问诸如电子邮件、瞬时消息、IP电话、音频/视频以及个人日程表或者日历之类的信息。诸如802.11b和蓝牙之类的无线LAN及PAN连通性标准,使PDA和移动电话能够与位于各个网络的各种信息内容进行交互。为不同网络之间的无缝漫游提供了GPRS和802.11b连通性的组合,所述不同网络为:广域网(WAN)、局域网(LAN)以及个人局域网(PAN)。研究还表明:PDA以及移动电话的功能已经开始集中,并且移动信息社会正在不断发展。将会出现专用设备。PDA正是目前所涉及到的工作。在不久的将来,PDA将成为始终和用户在一起的个性化计算机。PDA将会变得能量更多、尺寸更小,并且能够容纳更多且更通用的功能。大多数的连接装置可以经由UI、通过利用触摸屏选择图标、菜单项或者列表项来得以控制,或者通过语音、使用语音识别软件和硬件选择项目来控制,又或者通过使用诸如按钮、滚轮等等的专用硬件接口来控制。
便利和用户友好被认为是限制移动电话、掌上型电脑、PDA或者电子表的可用性和实用性的因素。具体来讲,用于连接个人设备的UI和服务可接入性已经成为能否被市场接受的关键性因素。具体来讲,如果用户界面技术使用户能够采用最佳选项来与各式各样的数字内容和通信选项进行交互,那么电子商业或者电子售货可以受益于个人通信装置的普遍存在。
本发明特此致力于通过向用户提供多个接口模式来提供一种简化用户访问信息、控制和通信选项的方法和设备,其中每个接口模式是最适用于特定的多级任务的。本发明的另一方面涉及一种能够根据信息分辨率为特定的信息访问、控制或者通信任务进行模式选择的方法和设备。本发明的又一方面能够使UI模式选择定制。
在此文本中使用的术语“信息分辨率”具体指的是、但是不是专指:当通过视觉、听觉、触觉或者其他感官手段进行感知时、确定用户在不同项目之间进行区分的能力的信息项集合的属性。例如,所述分辨率与所选项目或所起作用项目之间的相对距离相关联,例如当在显示监视器上显示(空间距离)时、由麦克风捕获或者经由扩音器播出(时间距离)时。适当的分辨率或者分辨率间隔可以取决于单个用户、UI模式、设备能力、环境条件以及其他因素。例如,SungChoi以及Janvan Ee发表的美国专利6,211,856(代理人编号PHA 23,387)涉及一种用于显示电子设备可控功能的图形用户界面触摸屏,将该篇专利引用于此,以供参考。将所述功能以图标方式并且以缩放尺寸显示出来,其中用户可识别所述功能,但是其太小以至于无法轻易地访问功能特征。当用户触摸图标区域时,可以提供该图标至少一个区域的放大版本。在上述例子中,第一信息分辨率对于用户来说太低,以至于无法影响对其结果有高度的信心的所要求的任务,例如按键。放大的版本通过提高表示相应动作的每个图标的尺寸来提高信息分辨率,尤其在其控制方面。在那种情况下,通过将最初不足的尺寸提高到可接受的程度、来直接在相同的逻辑维数(图解表示法)中提高信息分辨率。
发明者知道通过使用特定的UI模式显示用户感知的信息可影响信息分辨率。作为选择的UI模式可用于提供不同的信息分辨率范围。术语“模式”指的是一个或多个特定的感觉方式,或者指涉及用户与UI进行交互的一个或多个特定的感官知觉(例如,听觉、视觉、运动觉)和/或相应的生理学过程(例如,语音输入输出、听觉反馈、图形输入/反馈、触觉输入/反馈)。在UI中可以明确地(例如,用图表表示,听觉)或者内隐地(例如,直观地清晰的出现,或者凭经验,或者通过助记符号表明)表现信息项。
据此,本发明涉及具有UI的电子设备。所述UI提供第一用户可选选项。当选择第一选项的特定选项时,可得到第二用户可选选项。显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率。从第一选项中选出的与UI的用户交互的第一模式,不同于从第二选项中选出的与UI的用户交互的第二模式。优选的是,至少第一模式或者第二模式可以依照UI的结构模式进行编程。以这样的方式,用户可以配置这样一种方式,其中例如根据他/她的偏好或者菜单中处于不同级的信息分辨率来与UI进行交互。例如,在多层的菜单中,一层包括大量的第一选项,而其它层包括少量的第二个选项。例如使用触摸屏从第一选项当中进行选择,并且使用语音输入从第二选项中进行选择可能会更加便利。
优选的是,与UI的用户交互的其他模式也适用于从至少第一或者第二选项中进行选择。在本发明的实施例中,所述设备包括通信功能,例如电话、瞬时消息器或者电子邮件处理器等。
在其他的实施例中,所述设备具有触摸屏以及用于语音输入的麦克风。第一和第二模式之一涉及触摸所述触摸屏,而第一和第二模式的另一种涉及语音输入。
在本发明其它实施例中,所述设备包括用于显示至少一些第一选项的显示监视器;能够使用户将所显示的第一选项的每个相应选项与多个预定属性的相应属性进行关联的第一装置;以及用于通过相关联的属性选择所显示的第一选项的特定选项的第二装置。
本发明还涉及用于提供UI能够选择设置在第一和第二层中的选项的方法。当在UI中进行显示时的第一层中的选项,具有不同于在UI中显示时的第二层中选项的信息分辨率。所述方法包括提供第一模式以便在第一层的选项中选择第一选项,并且第一模式不同于在第二层的选项中选择第二选项的第二模式。本发明例如还可以利用网站来提供用户友好的或者定制的界面。
本发明还涉及在电子设备上使用的软件,用于生成提供第一用户可选选项以及第二用户可选选项的UI,其中所述第二用户可选选项当选择第一选项的特定选项时获得,其中,当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率,并且其中用于从第一选项中选择的与UI的用户交互的第一模式、不同于用于从第二选项中选择的与UI的用户交互的第二模式。诸如膝上型电脑、PDA或者移动通信设备的电子设备由此可以被更新以便适合用户的需要以及偏好。
附图简述
下面将通过举例并且参照附图来更加详细地解释本发明,其中:
图1-3是具有示出了菜单中的连续层的UI的设备图;
图4是用于电子地址薄的图形辅助语音控制系统的框图;以及
图5是用于标识内容(HTML、XML)表示接口的图形辅助语音控制系统的框图。
贯穿整个附图,相同的参考标记表明相应或者相似的特征。
详细的实施例
其中,设备UI的用户友好性取决于与UI的用户交互的模式、在UI中显示时与其交互的项目的信息分辨率以及环境影响。可以认为分辨率取决于以下因素的一些或全部:用户交互的模式、显示的特定项目集、环境影响以及设备应该执行的任务。例如,可以在触摸屏上用图形显示电话号码薄中的名称集,并且用户可以通过在已经显示出的特定名称的位置触摸屏幕来从所述集合中选择特定名称。特定名称的选择还可以使用语音识别来执行。然而,通常将名称按字母顺序来设置,并且所显示的集合可能包括以相同文本字符开始的名称,并因此具有相同的音素。这样使得语音模式的分辨率十分低。此外,如果存在环境噪声,那么会妨碍语音或者语音识别,由此对语音模式的分辨率产生了不利影响。
更具体地说,考虑依照本发明的设备的以下例子:基于电话的电子地址薄,其中可以通过触摸屏幕GUI上的其图像来选择特定地址集,或者作为选择,使用语音识别系统通过说出人名来选择。地址簿提供用于向个人进行呼叫或者发电子邮件或者发送瞬时消息的选项。然后,为了向所选的那个人发电子邮件,用户要么触摸相应的电子邮件图标,要么说出选项名称(“电子邮件”)。用于在第一步中选择特定名称的语音接口的信息分辨率、因所列名称之间语音的相似性而可以相当低。此外,一般的语音识别系统需要进行训练,从而适用于单个用户。另一方面,由于相关选项的有限数目以及预定字符,说出“电子邮件”将会是访问第二功能的更快且更精确的选项。即使没有打开第二GUI也可以实现。为了能够使用户在每一步都利用最佳UI选项,系统可以确定最佳模式并且提供模式提示,例如图标或者推荐的模式的其它表示。在上述电话簿的例子中,系统可以在第一步上示出“指示笔”图标,并且在第二步上示出“语音”图标。作为选择,所推荐的模式还能够在访问下一个UI模块以前、加速特定功能的访问。例如,例如通过使用滚轮在屏幕上高亮显示收件人之后,用户能够使用例如“callhome”的语音命令来激活与所述项目相关联的特定功能,而不是明确地表现出来。这种交互在单手操作中尤其有用。在此环境中,例如参见由Willem Bulthuis及其他人、于12/16/99申请的序列号为09/464,855(代理人编号为PHA 23,875)的名为“HAND-EAR USERINTERFACE FOR HAND-HELD DEVICE”的美国专利,将该篇申请引用于此,以供参考。此专利文献涉及一种手持设备,该设备能够使用户仅仅利用单手并且在无需看着该设备的情况下、从菜单中选择选项。所述设备包括用于与设备进行用户交互的用户接口。所述用户接口具有能够为用户在选项集中导航的导航输入端;当用户被导航时、向用户提供关于选项的相应可选选项的相应听觉反馈的反馈输出端;以及能够使用户根据所述反馈选择当前选项的确认输入端。优选的是,诸如移动电话的设备的手持版本具有拇指轮或者其它单步调试部件,用于让用户扫视选项的线性或者环形阵列。每个相应的选项由相应的音频输出表示,所述音频输出当将滚轮的凹口卷起或放下时进行播出。这样能够使用户利用单手并且在无需看着设备的情况下来选择选项。由于不需要小键盘通过个性化目录输入数字以进行呼叫,所以这样还可以允许形状音素小于传统的移动电话。
对于本发明来说,可以增加高分辨率的信息维数,以便进一步简化选择过程。在上述地址薄的例子中,将属性列添加到当前地址列表页中。地址簿包含例如与正在显示的记录相关的视觉上的不同形状。所述形状还可以是不同颜色的,以便进一步提高可得到的组合的信息分辨率和数目。所述形状和/或颜色不与数据库中的特定项相关联,例如收件人名称,而是与屏幕上特定项的位置相关联,例如线。当用户上卷或者下卷所述列表时,属性列中的项基本上保持相同。用户通过说出形状和/或其颜色的名称来访问个体记录,其中所述形状和/或颜色当前与所显示的记录相关联。例如,短语“蓝色圆圈”将选择在属性列中以相应形状/颜色组合标记的记录。选择语音上基本不同的形状和颜色的名称,以便降低翻译概率。这对于解决发音彼此非常相似或者发音不是很清楚的项、例如人名称,是尤其有用的。用户能够以他/她的判断来启用上述例子中的图形辅助语音接口,例如通过按电钮来实现。作为选择,能够以地址簿外壳上的固定按钮的方式来实现形状和颜色。用户能够通过按下按钮的确定组合来访问记录。
在另外的例子中,将信息分辨率渐近(information resolutionapproach)用于带有互联网访问(浏览器)和显示器显示的手持信息处理设备,诸如PDA、掌上型电脑、web pads、使用WAP(无线应用协议)、蓝牙,802.11等技术的移动电话。这种设备可以使用浏览器通过互联网进行检索和导航网页,但是它们无法在不丢失信息的情况下显示整体页面。然而,页面图像的布局和一般外貌表明例如包含超链接的部分表明是否为用户感兴趣的。为了简化访问页面的特定部分,诸如“图像”、“文本”、“段”的高级HTML标识可用于表现页面的概观。也可以使用最高层XML标识。所述系统能够响应表明页面特定部分的语音命令,例如“图像”。如果在页面上显示出多个图像,那么可以按照数目、颜色、特殊符号等来表示。所述系统能够响应表明信息项属性的命令。例如,在彩色荧光屏上,蓝色条表示第一图像,而绿色条表示其它图像,以便命令“蓝色图像”能够使用户放大第一图像。在黑白屏幕上,可以由具有明显区别形状的符号来表示信息项,例如星形、圆圈、矩形等。因此,所述系统能够响应诸如“星图像”、“圆圈文本”以及其他等等的命令。
本发明的系统优选的是,为多层菜单中的各级向用户提供定制选项,诸如其它的访问模式偏好,例如语音、指示/触摸、按钮等。基于PC或互联网服务器的软件可以指导用户按结构级来选择信息单位、模式、选项表示,例如形状、颜色、语言、发音等。例如,用户能够选择形状的任取其一的分类,诸如几何图形、水果、动物、数字等。用户还能够通过计算机下载图形集和/或绘图软件,例如通过网络服务器、PC、PDA。
图1、2和3是具有电子地址薄的通信装置100的UI中的连续层的图。在此例子中,设备100是无线设备,并且例如包括手机功能、电子邮件功能和SMS功能。地址簿具有设备100的操作模式中的菜单,以便使用户选择收件人的名称,以及对此收件人待执行的通信动作,例如开始呼叫、发送瞬时消息、发送电子邮件、发送SMS消息等。在此作为特定入口的姓“Shteyn”通过选择适当的名称集而选出,例如经由滚动按钮(未示出)或者表明字母“S”的软TAB键,或者通过发音“S”、经由语音输入来实现,其中所述发音“S”由麦克风106采集并且由语音识别系统108等来处理。然后,用户触摸显示在设备触摸屏104上的第一层菜单的名称图形表示102(例如字母数字表示、图标或者图像等)。作为选择,通过向与语音识别系统108相耦合的麦克风106说出相关人的名称,可以选择特定入口。为了在第一步中选择特定名称的语音接口的信息分辨率,由于所列名称之间语音的相似性而可以相对低。另一个缺点在于:语音识别系统108通常必须为每一单个用户的地址簿的每个个人名称入口进行训练。因此,更为方便的是进行语音控制,以便使当前显示在显示器104上的每一个名称临时映射到预定属性的特定属性上,其中已经为所述属性进行了语音控制的预编程。这里将所述属性显示在列110中。向上或者向下滚动名称,以便将另一个名称子集显示出来。显示在显示器104上的每个子集能因此与同一预定义的属性相关联,以用于在操作使用期间选择。也就是说,当用户上卷或者下卷名称列表时,列110保持不变。在所示出的例子中,所述属性是几何形状。作为选择,其例如还可以是不同的颜色、数字等。在以当前名称子集所示的例子中,属性“圆圈”与名称“Shteyn”相关联;属性“三角形”与名称“Steen”相关联;属性“月形”与名称“Stein”相关联;属性“正方形”与名称“Steyn”相关联;名称“Stijn”与属性“三角形”相关联。例如在显示器104的独立窗口中显示显示板110中的属性,或者作为设备100上的硬按钮等等。显示推荐的模式提示110,以表明语音识别系统被激活。通过视觉上将所显示的信息项“Shteyn”与图形符号“圆圈”相关联,并且说出词“圆圈”,或者通过触摸触摸屏104上的圆圈,经由语音输入来实现收件人“Shteyn”的选择。据此,选择机制利用名称“Shteyn”的语义内容到(摘要)属性上的视觉映射,这里所述属性是“圆圈”,并且说出后者名称。选择由此涉及视觉方面和语音方面的混合组合。当选择收件人的名称“Shteyn”时,菜单进入到图2中所示的下一个状态。
图2示出了一经选择入口、这里是收件人的姓“Shteyn”的显示器104。地址簿的菜单示出了此选择存在四个可能的选项:“Eugene”、“Svetlana”、“Vladimir”和“Alice”。用户想要给Alice Shteyn打电话。为了选择入口“Alice”,可以使用图1的属性映射。然而,由于信息分辨率足以高到可以使用语音输入的级别可获得的选项的数目有限,所以经由系统108进行语音输入更为方便。用户说单词“Alice”以选择此收件人。当选择“Alice”时,菜单可以图形地进入下一级,并列出与Alice有联系的选项:她的电话号码、她的电子邮件地址、她的寻呼机号、或者表示这些相关信息项的图标等等,参见图3的图表。应该注意的是,在操作模式中,因为用户只对以确定通信方式经由设备100开始联络感兴趣,而不需要对用于其的确切联系信息感兴趣,所以无须显示号码或者电子邮件地址。当用户说出“呼叫”或者“电话”时,甚至可以完全省略因Alice而列出的通信选项的显示。由于代表遍及地址簿的所有收件人的通信方式是有限的,所以用户在此例子中说“呼叫”或者“电话”。应该注意的是,当用户说出“Alice”之后立即说出“呼叫”或者“电话”时,甚至可以完全省略因Alice列出的通信选项的显示,从而图2的菜单级成为选择过程的结束。于是,设备拨打所列出的Alice Shteyn私人手机的号码,并且开始呼叫。
图4是举例说明利用依照本发明的设备或者系统进行用户交互的过程的流程图,其中所述设备或者系统允许语音输入以及用于用户交互的其他模式。在步骤402中,确定环境噪声级并且在步骤404中与阈级相比。如果所述环境噪声级不低于确定阈值,那么在步骤406中激活触摸屏访问模式。所述设备在步骤408中还选择适当的访问模式提示,以通知用户所选择的访问模式,例如图形模式,并且在步骤410中向用户呈现该模式。然后,用户经由触摸屏提供输入。如果所述环境噪声级低于阈值,那么在步骤414中系统设备初始化图形辅助语音控制系统。在步骤416中,例如通过系统自动地或者人工地或者由用户经由语音输入来选择图形集。图形集包括图标或者符号集合,例如显示在显示监视器上的由参考标记110表明的集合。在步骤418中建立捆绑机制,以便一方面在图标或符号与图形地表示的信息项之间创建关联,例如图1中的名称。在步骤420中,产生合并的GUI,例如以所显示的名称和图标在图1所示出的那样。在步骤422中,激活语音控制访问模式,并且如在上述步骤408下解释的那样来选择访问模式提示。
图5是举例说明依照本发明的图形辅助语音控制系统的标识内容(例如HTML、XML)显示接口的流程图。在步骤502中,用户设备或者享有其利益的代理设备、从服务器接收用户所请求的HTML文件。所述HTML文件可以表示网页、用户接口表示,例如UPnP设备接口等。在步骤504中,例如以像素为单位来估算页面显示大小。HTML页面大小的确定在现有技术中是被人们所熟知的。例如,可以在互联网上,例如从www.mozilla.org中获得Netscape web browser的源代码。在步骤506中,将所要求的显示大小与实际设备显示大小或者用于显示的有效区域相比较,以便确定分辨率阈值是否低于所要求的阈值。所述阈值例如可以由所要求的页面大小和实际有效的屏幕大小之间的比率来表示。设备的图像缩放能力也可以被考虑。如果显示要求超过阈值,那么在步骤508中,激活全触摸屏访问模式。否则,在步骤516中,初始化图形辅助语音控制系统。所述初始化步骤可以涉及载入存储器程序指令和/或涉及下一步过程的过程数据段。所述数据段可以驻留在设备自身或者其他设备上,例如个人计算机或者互联网服务器。在后者的情况下,将设备经由有线或者无线网络连接。在步骤518中,选择显示标记集。在所给出的实现方式中,所述标记集包括HTML标识名列表,例如IMG、FORM、TABLE等等,以及选择性地包括它们表示的元件的阈值像素尺寸。所述标识可以表示HTML文档的标准属性,和/或与特定文件类型相关的专有扩展名。在此处所述的实现方式中,所述HTML文档表示在互联网上利用以及被称为“标记语言”的方式来写的超媒体内容的实例。SGML就是这种语言之一,用于描述文档结构并且用于描述标记方案,以便描绘文本中的结构。HTML、XML、XHTML是SGML的子集,其被广泛用于文档表示以及文档通信。在步骤520中,分析HTML文件以提取由所述标识表示的信息,其中所述标识在步骤518中所选的标记集合中列出。当准备显示所提取的信息时,例如通过除去不适合所选择的标记集合的标记数据、可以存储原始文件以便备查或者将其清除。在步骤522中选择图形集来表示在显示器上所识别的、标记的信息。所述图形集可以包括图标、几何图形、标识名称等集合。在步骤524中,将所标记的信息段映射到所述图形集,以便在两者之间建立视觉和音频通信。在步骤526中,产生合并的GUI以允许原始HTML文件的显示表示。所述组合可以作为HTML文件来实现,所述HTML文件具有标记的信息段以及在步骤522中选择的图形集元件。在那种情况下,根据系统配置由诸如IMG、FONT的HTML标识来表示图形集元件。在步骤528中,激活语音控制访问模式以允许“收听”并且提取与所述图形集相关联的语音命令。在步骤510中,选择访问模式提示以便向用户提供优选的访问模式的指示。在步骤512中,将提示呈现给用户,并且在步骤514中,将系统设置为等待用户输入。如上所述的过程可以在显示设备本身上实现,或者在分布式或客户-服务器环境内、以及它们的组合中实现。例如,对于具有不足的计算资源的设备、例如移动电话来说,代理服务器可以执行从步骤504到步骤526的操作。在后者的情况下,将结果产生的HTML文件或者具有更喜欢的交互模式的指示的其压缩图像发送到所述设备。在另外的实现方式中,将显示的标识集和图形集作为用户偏好数据库的一部分存储在服务器上。
Claims (10)
1.一种具有UI的电子设备,其中:
所述UI提供第一用户可选选项以及第二用户可选选项,所述第二用户可选选项当选择第一选项的特定一个选项时获得;
显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率;以及
从第一选项中进行选择的与UI的用户交互的第一模式,不同于从第二选项中选出的与UI的用户交互的第二模式。
2.如权利要求1所述的设备,其中至少第一模式或者第二模式可以依照UI的配置模式进行编程。
3.如权利要求1所述的设备,其中与UI的用户交互的附加模式可用于从至少第一或者第二选项中进行选择。
4.如权利要求1所述的设备,包括通信功能。
5.如权利要求1所述的设备,其中:
所述设备具有触摸屏;
所述设备具有用于语音输入的麦克风;
第一和第二模式之一涉及触摸所述触摸屏;
第一和第二模式的另一个涉及语音输入。
6.如权利要求1所述的设备,包括:
显示监视器,用于显示至少一些第一选项;
第一装置,用于使用户能够将所显示的第一选项的每个相应选项与多个预定属性的相应属性进行关联;以及
第二装置,用于经由相关联的属性选择所显示的第一选项的特定一个选项。
7.用于提供UI以便能够选择布置在第一和第二层中的选项的方法,其中:
当在UI中显示时、第一层中的选项具有不同于在UI中显示时的第二层中选项的信息分辨率;并且
所述方法包括提供在第一层中选择第一选项之一的第一模式,它不同于在第二层中选择第二选项之一的第二模式。
8.如权利要求7所述的方法,其中第一和第二模式之一涉及触摸屏,并且其中其它的第一和第二选项涉及语音输入。
9.在电子设备上使用的软件,用于生成提供第一用户可选选项以及第二用户可选选项的UI,其中所述第二用户可选选项当选择第一选项的特定选项时获得,其中,当显示第一选项时的信息分辨率不同于显示第二选项时的信息分辨率,并且其中用于从第一选项中选择的与UI的用户交互的第一模式、不同于用于从第二选项中选择的与UI的用户交互的第二模式。
10.如权利要求9所述的软件,其中第一和第二模式之一涉及触摸屏,并且其中其它的第一和第二选项涉及语音输入。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/017,067 US6791529B2 (en) | 2001-12-13 | 2001-12-13 | UI with graphics-assisted voice control system |
US10/017,067 | 2001-12-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1602461A true CN1602461A (zh) | 2005-03-30 |
Family
ID=21780532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA028247442A Pending CN1602461A (zh) | 2001-12-13 | 2002-11-20 | 带语音控制系统的ui |
Country Status (7)
Country | Link |
---|---|
US (1) | US6791529B2 (zh) |
EP (1) | EP1459163A2 (zh) |
JP (1) | JP2005512226A (zh) |
KR (1) | KR20040063170A (zh) |
CN (1) | CN1602461A (zh) |
AU (1) | AU2002351018A1 (zh) |
WO (1) | WO2003050668A2 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096541B (zh) * | 2009-12-10 | 2013-02-06 | 腾讯科技(深圳)有限公司 | 多媒体播放器界面操作控制装置及方法 |
CN103716454A (zh) * | 2012-10-08 | 2014-04-09 | 三星电子株式会社 | 利用语音识别执行预设操作模式的方法和设备 |
CN103870160A (zh) * | 2014-03-26 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105100460A (zh) * | 2015-07-09 | 2015-11-25 | 上海斐讯数据通信技术有限公司 | 一种声音操控智能终端的方法及系统 |
CN110060679A (zh) * | 2019-04-23 | 2019-07-26 | 诚迈科技(南京)股份有限公司 | 一种全程语音控制的交互方法和系统 |
Families Citing this family (187)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US20030172299A1 (en) * | 2002-03-05 | 2003-09-11 | Gunter Carl A. | Method and system for maintaining secure access to web server services using permissions |
KR100457509B1 (ko) * | 2001-07-07 | 2004-11-17 | 삼성전자주식회사 | 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법 |
US7246063B2 (en) * | 2002-02-15 | 2007-07-17 | Sap Aktiengesellschaft | Adapting a user interface for voice control |
DE60214126T2 (de) * | 2002-02-19 | 2006-12-21 | Nokia Corp. | Verfahren zum Ermöglichen einer Kommunikation mittels eines Mobilfunkgeräts und Mobilfunkgerät zum Ermöglichen einer Kommunikation |
US7193609B2 (en) * | 2002-03-19 | 2007-03-20 | America Online, Inc. | Constraining display motion in display navigation |
US7155382B2 (en) * | 2002-06-03 | 2006-12-26 | Boys Donald R | Audio-visual language instruction system without a computer |
US20050003870A1 (en) * | 2002-06-28 | 2005-01-06 | Kyocera Corporation | Information terminal and program for processing displaying information used for the same |
US7251683B1 (en) * | 2002-10-25 | 2007-07-31 | Sandeep Shah | Information handling system including arrangements for initiating an application in response to usage of cross reference between information and for initiating usage of a workflow flow chart associated with and information work |
US20040103153A1 (en) * | 2002-11-21 | 2004-05-27 | Chang Tsung-Yen Dean | Apparatus and method for providing smart network appliances |
US7607100B2 (en) * | 2003-05-29 | 2009-10-20 | International Business Machines Corporation | Method, system and program product for display management of web page phone/fax numbers by a data processing system |
JP3728304B2 (ja) * | 2003-07-10 | 2005-12-21 | キヤノン株式会社 | 情報処理方法、情報処理装置、プログラム、及び記憶媒体 |
US7613467B2 (en) * | 2003-10-31 | 2009-11-03 | The Boeing Company | Geo-cast systems and methods |
KR100593982B1 (ko) * | 2003-11-06 | 2006-06-30 | 삼성전자주식회사 | 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체 |
US20050192808A1 (en) * | 2004-02-26 | 2005-09-01 | Sharp Laboratories Of America, Inc. | Use of speech recognition for identification and classification of images in a camera-equipped mobile handset |
US20050229112A1 (en) * | 2004-04-13 | 2005-10-13 | Clay Timothy M | Method and system for conveying an image position |
DE102004021454A1 (de) * | 2004-04-29 | 2005-11-24 | Volkswagen Ag | Verfahren und Vorrichtung für einen akustischen Zugang zu einem Anwendungsrechner |
JP4855653B2 (ja) * | 2004-05-25 | 2012-01-18 | ソニー株式会社 | 放送番組提供システム,放送受信端末装置,閲覧端末,操作端末およびコンピュータプログラム |
DE112005001540T5 (de) * | 2004-06-22 | 2007-08-02 | Voice Signal Technologies Inc., Woburn | Erweiterbare Sprachbefehle |
US20070130078A1 (en) * | 2005-12-02 | 2007-06-07 | Robert Grzesek | Digital rights management compliance with portable digital media device |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US20070088549A1 (en) * | 2005-10-14 | 2007-04-19 | Microsoft Corporation | Natural input of arbitrary text |
US20070124507A1 (en) * | 2005-11-28 | 2007-05-31 | Sap Ag | Systems and methods of processing annotations and multimodal user inputs |
US8055707B2 (en) * | 2005-11-30 | 2011-11-08 | Alcatel Lucent | Calendar interface for digital communications |
US8280742B2 (en) * | 2005-12-16 | 2012-10-02 | Panasonic Corporation | Input device and input method for mobile body |
US20070205993A1 (en) * | 2006-03-06 | 2007-09-06 | Samsung Electronics Co., Ltd. | Mobile device having a keypad with directional controls |
US20070205989A1 (en) * | 2006-03-06 | 2007-09-06 | Samsung Electronics Co., Ltd. | Camera with a touch sensitive keypad |
US20070205992A1 (en) * | 2006-03-06 | 2007-09-06 | Samsung Electronics Co., Ltd. | Touch sensitive scrolling system and method |
US20070205991A1 (en) * | 2006-03-06 | 2007-09-06 | Samsung Electronics Co., Ltd. | System and method for number dialing with touch sensitive keypad |
KR101246293B1 (ko) * | 2006-04-24 | 2013-03-21 | 삼성전자주식회사 | 홈 네트워크에서 사용자 인터페이스 방법 및 장치와 그전자기기 및 저장 매체 |
JP5247700B2 (ja) * | 2006-08-25 | 2013-07-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | サマリーを生成する方法および装置 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8620315B1 (en) * | 2006-09-29 | 2013-12-31 | Yahoo! Inc. | Multi-tiered anti-abuse registration for a mobile device user |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
DE102007024110A1 (de) * | 2007-05-22 | 2008-12-11 | Deutsche Telekom Ag | Verfahren zur Beeinflussung der Interpretation multimodaler Eingaben |
US20080317219A1 (en) * | 2007-06-21 | 2008-12-25 | Siemens Communications, Inc. | Method and apparatus for context based voice dialing |
US20090024664A1 (en) * | 2007-06-29 | 2009-01-22 | Alberto Benbunan Garzon | Method and system for generating a content-based file, and content-based data structure |
DE102007037567A1 (de) * | 2007-08-09 | 2009-02-12 | Volkswagen Ag | Verfahren zur multimodalen Bedienung mindestens eines Gerätes in einem Kraftfahrzeug |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8751947B2 (en) | 2008-02-29 | 2014-06-10 | Adobe Systems Incorporated | Visual and functional transform |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
KR101545137B1 (ko) * | 2008-04-17 | 2015-08-19 | 삼성전자주식회사 | 사용자 인터페이스를 생성하는 방법 및 장치 |
KR20090110202A (ko) | 2008-04-17 | 2009-10-21 | 삼성전자주식회사 | 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치 |
KR101560183B1 (ko) * | 2008-04-17 | 2015-10-15 | 삼성전자주식회사 | 사용자 인터페이스를 제공/수신하는 방법 및 장치 |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
KR101488726B1 (ko) * | 2008-05-27 | 2015-02-06 | 삼성전자주식회사 | 위젯 창을 표시하는 디스플레이 장치 및 이를 포함하는디스플레이 시스템과 그 디스플레이 방법 |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
KR101545582B1 (ko) * | 2008-10-29 | 2015-08-19 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
US20100199228A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Gesture Keyboarding |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
DE102009024693B4 (de) * | 2009-06-12 | 2019-07-11 | Volkswagen Ag | Infotainmentsystem für ein Fahrzeug und Verfahren zum Darstellen von Informationen |
DE102009025530B4 (de) * | 2009-06-19 | 2019-05-23 | Volkswagen Ag | Verfahren zur Bedienung eines Fahrzeugs mittels eines automatisierten Sprachdialogs sowie entsprechend ausgestaltetes Sprachdialogsystem und Fahrzeug |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US9183834B2 (en) * | 2009-07-22 | 2015-11-10 | Cisco Technology, Inc. | Speech recognition tuning tool |
US9197736B2 (en) | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
US20110165917A1 (en) * | 2009-12-31 | 2011-07-07 | Mary Elizabeth Taylor | Methods and arrangements employing sensor-equipped smart phones |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US20130204406A1 (en) * | 2010-04-12 | 2013-08-08 | Electrolux Home Products Corporation N.V. | Control interface for household appliances |
US9046999B1 (en) * | 2010-06-08 | 2015-06-02 | Google Inc. | Dynamic input at a touch-based interface based on pressure |
US20110307252A1 (en) * | 2010-06-15 | 2011-12-15 | Microsoft Corporation | Using Utterance Classification in Telephony and Speech Recognition Applications |
WO2012043168A1 (ja) * | 2010-09-29 | 2012-04-05 | Necカシオモバイルコミュニケーションズ株式会社 | 音声変換装置、携帯電話端末、音声変換方法および記録媒体 |
JP5576257B2 (ja) * | 2010-12-13 | 2014-08-20 | トヨタ自動車株式会社 | 制御装置 |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
KR101295711B1 (ko) * | 2011-02-15 | 2013-08-16 | 주식회사 팬택 | 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법 |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US9002703B1 (en) * | 2011-09-28 | 2015-04-07 | Amazon Technologies, Inc. | Community audio narration generation |
US9082403B2 (en) | 2011-12-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Spoken utterance classification training for a speech recognition system |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9691377B2 (en) | 2013-07-23 | 2017-06-27 | Google Technology Holdings LLC | Method and device for voice recognition training |
US8977555B2 (en) * | 2012-12-20 | 2015-03-10 | Amazon Technologies, Inc. | Identification of utterance subjects |
KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
WO2014144949A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | Training an at least partial voice command system |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
EP3008964B1 (en) | 2013-06-13 | 2019-09-25 | Apple Inc. | System and method for emergency calls initiated by voice command |
US9548047B2 (en) | 2013-07-31 | 2017-01-17 | Google Technology Holdings LLC | Method and apparatus for evaluating trigger phrase enrollment |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
WO2015144536A1 (en) * | 2014-03-27 | 2015-10-01 | Sony Corporation | Electronic device and method for identifying input commands of a user |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
JP6483680B2 (ja) * | 2014-06-30 | 2019-03-13 | クラリオン株式会社 | 情報処理システム、及び、車載装置 |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
JP6423673B2 (ja) * | 2014-09-26 | 2018-11-14 | 京セラ株式会社 | 通信端末およびその制御方法 |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9576575B2 (en) * | 2014-10-27 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Providing voice recognition shortcuts based on user verbal input |
CN104601651A (zh) * | 2014-11-18 | 2015-05-06 | 浪潮(北京)电子信息产业有限公司 | NaaS的多级插件系统 |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
JP6380091B2 (ja) | 2014-12-26 | 2018-08-29 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
US9959129B2 (en) * | 2015-01-09 | 2018-05-01 | Microsoft Technology Licensing, Llc | Headless task completion within digital personal assistants |
CN104635927A (zh) * | 2015-01-27 | 2015-05-20 | 深圳富泰宏精密工业有限公司 | 互动显示系统及方法 |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10733235B2 (en) | 2015-06-09 | 2020-08-04 | Patricia Henery | Aid for dyslexic readers |
US20160366264A1 (en) * | 2015-06-12 | 2016-12-15 | International Business Machines Corporation | Transferring information during a call |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
JP6932917B2 (ja) * | 2016-11-30 | 2021-09-08 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
EP3583481B1 (en) * | 2018-05-07 | 2021-02-17 | Google LLC | Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices |
KR20210015348A (ko) | 2019-08-01 | 2021-02-10 | 삼성전자주식회사 | 대화 관리 프레임워크에 기반한 대화 관리 방법 및 그 장치 |
US20220093098A1 (en) * | 2020-09-23 | 2022-03-24 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11630644B2 (en) | 2021-05-27 | 2023-04-18 | Bank Of America Corporation | Service for configuring custom software |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5566272A (en) | 1993-10-27 | 1996-10-15 | Lucent Technologies Inc. | Automatic speech recognition (ASR) processing using confidence measures |
JP3267047B2 (ja) | 1994-04-25 | 2002-03-18 | 株式会社日立製作所 | 音声による情報処理装置 |
FI97508C (fi) * | 1995-01-09 | 1996-12-27 | Nokia Mobile Phones Ltd | Pikavalinta henkilökohtaisessa matkaviestimessä |
US5956035A (en) * | 1997-05-15 | 1999-09-21 | Sony Corporation | Menu selection with menu stem and submenu size enlargement |
US6211856B1 (en) | 1998-04-17 | 2001-04-03 | Sung M. Choi | Graphical user interface touch screen with an auto zoom feature |
US6369803B2 (en) * | 1998-06-12 | 2002-04-09 | Nortel Networks Limited | Active edge user interface |
US6269335B1 (en) * | 1998-08-14 | 2001-07-31 | International Business Machines Corporation | Apparatus and methods for identifying homophones among words in a speech recognition system |
US6259436B1 (en) * | 1998-12-22 | 2001-07-10 | Ericsson Inc. | Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch |
US6765557B1 (en) | 2000-04-10 | 2004-07-20 | Interlink Electronics, Inc. | Remote control having touch pad to screen mapping |
US7143043B1 (en) * | 2000-04-26 | 2006-11-28 | Openwave Systems Inc. | Constrained keyboard disambiguation using voice recognition |
-
2001
- 2001-12-13 US US10/017,067 patent/US6791529B2/en not_active Expired - Fee Related
-
2002
- 2002-11-20 CN CNA028247442A patent/CN1602461A/zh active Pending
- 2002-11-20 JP JP2003551660A patent/JP2005512226A/ja not_active Withdrawn
- 2002-11-20 EP EP02785728A patent/EP1459163A2/en not_active Withdrawn
- 2002-11-20 KR KR10-2004-7009060A patent/KR20040063170A/ko not_active Application Discontinuation
- 2002-11-20 AU AU2002351018A patent/AU2002351018A1/en not_active Abandoned
- 2002-11-20 WO PCT/IB2002/004904 patent/WO2003050668A2/en active Application Filing
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096541B (zh) * | 2009-12-10 | 2013-02-06 | 腾讯科技(深圳)有限公司 | 多媒体播放器界面操作控制装置及方法 |
CN103716454A (zh) * | 2012-10-08 | 2014-04-09 | 三星电子株式会社 | 利用语音识别执行预设操作模式的方法和设备 |
US10825456B2 (en) | 2012-10-08 | 2020-11-03 | Samsung Electronics Co., Ltd | Method and apparatus for performing preset operation mode using voice recognition |
CN103870160A (zh) * | 2014-03-26 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN103870160B (zh) * | 2014-03-26 | 2018-03-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US10055118B2 (en) | 2014-03-26 | 2018-08-21 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
CN108469937A (zh) * | 2014-03-26 | 2018-08-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108469937B (zh) * | 2014-03-26 | 2020-11-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105100460A (zh) * | 2015-07-09 | 2015-11-25 | 上海斐讯数据通信技术有限公司 | 一种声音操控智能终端的方法及系统 |
CN110060679A (zh) * | 2019-04-23 | 2019-07-26 | 诚迈科技(南京)股份有限公司 | 一种全程语音控制的交互方法和系统 |
CN110060679B (zh) * | 2019-04-23 | 2022-02-11 | 诚迈科技(南京)股份有限公司 | 一种全程语音控制的交互方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2005512226A (ja) | 2005-04-28 |
WO2003050668A2 (en) | 2003-06-19 |
US6791529B2 (en) | 2004-09-14 |
KR20040063170A (ko) | 2004-07-12 |
WO2003050668A3 (en) | 2004-02-26 |
US20030117365A1 (en) | 2003-06-26 |
EP1459163A2 (en) | 2004-09-22 |
AU2002351018A8 (en) | 2003-06-23 |
AU2002351018A1 (en) | 2003-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1602461A (zh) | 带语音控制系统的ui | |
US6731316B2 (en) | Graphical layout and keypad response to visually depict and implement device functionality for interactivity with a numbered keypad | |
CN102640101B (zh) | 用于提供用户接口的方法及装置 | |
US8108776B2 (en) | User interface for multimodal information system | |
US20070079383A1 (en) | System and Method for Providing Digital Content on Mobile Devices | |
US20070002077A1 (en) | Methods and System for Providing Information Services Related to Visual Imagery Using Cameraphones | |
JP2013502861A (ja) | 連絡先情報入力方法及びシステム | |
MXPA04010107A (es) | Entrada multimodal secuencial. | |
WO2001037165A9 (en) | An apparatus and method for simple wide-area network navigation | |
JP5140759B2 (ja) | 通信端末装置及びこれを用いた通信システム | |
CN107734189A (zh) | 界面展示方法及装置 | |
KR20090111826A (ko) | 문서 내 링크들을 표시하기 위한 방법 및 시스템 | |
CN107895006B (zh) | 音频播放方法、装置、存储介质及电子设备 | |
CN107797729A (zh) | 界面展示方法及装置 | |
CN102663055A (zh) | 浏览器导航的实现方法、装置及浏览器 | |
US20110126087A1 (en) | Graphical user interface for non mouse-based activation of links | |
CN1245312A (zh) | 显示万维网文档的系统和方法 | |
JP2003122770A (ja) | Webブラウズ装置 | |
JP2007080257A (ja) | 携帯型の営業活動支援装置 | |
CN106776634A (zh) | 一种用于网络访问的方法、装置及终端设备 | |
JP2001357309A (ja) | 日記型嗜好情報収集方法 | |
JP4734199B2 (ja) | 端末装置及びプログラム | |
JP2005115757A (ja) | 受注システム、受注システムの制御方法、通信端末、情報処理装置、通信端末の制御方法、情報処理装置の制御方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
WO2003000001A2 (en) | Graphic user interface with remote configuration to access computer network | |
KR20060098791A (ko) | 웹브라우저에서 탭 기능을 제공하는 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |