CN1369168A - 手提式装置的手－耳用户界面 - Google Patents

手提式装置的手－耳用户界面 Download PDF

Info

Publication number
CN1369168A
CN1369168A CN00806265A CN00806265A CN1369168A CN 1369168 A CN1369168 A CN 1369168A CN 00806265 A CN00806265 A CN 00806265A CN 00806265 A CN00806265 A CN 00806265A CN 1369168 A CN1369168 A CN 1369168A
Authority
CN
China
Prior art keywords
user
option
feedback
input
described user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00806265A
Other languages
English (en)
Other versions
CN1199425C (zh
Inventor
W·布尔图伊斯
E·施泰因
M·库萨诺
R·拉姆布尼
L·霍茨豪泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1369168A publication Critical patent/CN1369168A/zh
Application granted granted Critical
Publication of CN1199425C publication Critical patent/CN1199425C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/2747—Scrolling on a display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/56—Arrangements for indicating or recording the called number at the calling subscriber's set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H04M1/233—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof including a pointing device, e.g. roller key, track ball, rocker switch or joystick
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/56—Details of telephonic subscriber devices including a user help function

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

一种手提式信息处理装置,例如移动电话,它包含拇指轮,允许用户扫描环形排列的选项。每个相应的选项由相应的音频输出来表示,其中,音频输出在拇指轮往上或往下转动一级时被播放。这就使用户能够用一只手来选择一个选项,而不需要看着装置。它还允许小于传统移动电话的形状因数,因为不需要小键盘来输入数字以从个人化的号码簿进行呼叫。

Description

手提式装置的手-耳用户界面
发明领域
本发明具体涉及诸如移动电话、传呼机、其它通信装置、掌上型计算机、个人数字助理(PDA)、遥控以及播放诸如音乐的预录制信息内容的装置等的信息处理装置的用户界面。本发明特别涉及用于用户必须与设备或装置互动环境下的手提式装置及设备。
背景技术
与当前手提式装置互动时，用户通常需要注视装置的用户界面，例如从装置的菜单中来选项。例如，当输入所需的字母数字字符或选择适当的键或图标序列来选取菜单选项时，典型的移动电话、PDA或遥控装置要求用户注视小键盘或触摸屏。例如当用户正在开车或必须将注意力集中在其它某个事物上又或者在光线不足的环境下进行操作时，就极不愿意遇到上述情况。视觉受损的用户也无法与这种设备进行正确的互动。
发明概述
本发明提供一种手提式装置，这种装置实现了仅用一只手就可以从菜单中进行选项，并且不需要看着该装置。为此，本发明的信息处理装置包括使用户能够与该装置互动的用户界面。用户界面包括：使用户能够在选项集中导航的导航输入；将用户导航时有关选项中相应可选择的一个选项的相应听觉反馈提供给用户的反馈输出、使用户能够根据反馈来选择当前选项的确认输入。
本发明中信息处理装置的手提式型式，诸如移动电话，最好是具有拇指轮(thumb wheel)或另一种步进(Step-through)元件，它使用户可以扫描线性排列的选项或环形排列的选项。各个选项由拇指轮向上或向下转动一级时所播放的各个音频输出来表示。这就使用户能够用一只手就可以选取一个选项，并且不需要看着装置。而且还允许小于传统移动电话的形状因数，因为不需要用小键盘来输入数字来从个人化号码簿中进行呼叫。
在此通过引用结合下面的专利文献：
Joost Kemink和Richard Sagar于99年10月27日申请的题为“PDA具有经因特网进行远程控制的无线调制解调器”的美国专利No.09/427821，该文献涉及一种PDA，这种PDA结合了无线调制解调器以便经因特网和本地服务器来实现对CE设备的远程控制。
Joost Kemink于99年5月13日申请的题为“更新可编程控制器的基于因特网的业务”的美国专利09/434155，该文献涉及更新可编程控制器的基于因特网的业务。因特网网站包含与设备相关控制的链接和特征选项信息，它们可以作为图形用户界面(GUI)被下载到可编程控制器上。在网站提供了用户界面，以方便用户指定目标设备，并随后选择性地下载目标设备可用的界面和控制信息。因特网网站还包含与配置和宏的其它提供商的链接，其中提供商有诸如根据用户可控制设备的清单提供界面的系统集成商以及共享被认为有用的配置和宏的计算机业余爱好者等等。
Adrian Turner、Simon Pearce、David Eves及Allan Timms于98年9月25日申请的题为“基于用户简档的因特网允许装置的定制更新”的美国专利No.09/160490，以及Eugene Shteyn于98年11月10日申请的题为“本地网络协作方面(Synergetic aspects)的更新”的美国专利No.09/189535，这两份文献均涉及一种服务器系统，这种系统维护家用电子网络允许设备的特定终端用户的用户简档以及这种设备的新技术特征的数据库。如果简档和新技术特征之间匹配，并且用户表示他/她愿意接收有关更新或销售报价的信息，那么用户便经选项的网络得到通知来获取所述特征。在用户设备的部件(piecesof equipment)之间检测协同作用，以便通知他/她使用或扩充其设备的其它可能性。
附图简述
本发明通过示例并参照附图来进行说明，附图中：
图1是移动电话的方框图；
图2是掌上型计算机或PDA的方框图；
图3是重放预录制音频的设备的方框图；以及
图4是流程图，说明经图1至3所示装置的UI的用户输入所引起的操作。
在所有附图中，相同的标号表示相似或相应的功能部件。
最佳实施例
图1是根据本发明的移动电话100的方框图。电话100包括使用户能够与电话100相互作用的用户界面102以及执行电话的无线通信功能的通信部件104。部件104是众所周知的，在此就不再进行说明。UI 102包含使用户能够在存储在存储器108的选项集中进行导航的导航输入106。选项包括例如作为普通电话小键盘上的数字字符或排列在个人化号码簿中的名字，下面将对其进行详细说明。UI 102具有在控制导航输入106的同时用户碰到一个选项时提供听觉反馈的反馈输出110。UI 102还包含确认输入112，以便使用户能够根据听觉反馈来确认选项。确认具体的选项使该具体选项被存储在缓冲器114中。缓冲器的内容用作通信部件104的输入数据。导航输入和确认输入连接到处理器116。处理器116通过适当的变换器(未示出)从输入106和112接收输入信号。对于旋转输入装置的一个示例，参见例如通过引用结合在此的美国专利5703661；许多其它的实施例在本领域是已知的。处理器116根据输入信号将控制信号给存储器108、反馈输出110以及缓冲器114。
在本示例中，输入106包含拇指轮或用户可来回旋转的其它可旋转元件，以便以线性方式、环形方式或更复杂方式来扫描选项，这些将在下面进行说明，它将决定树与线性或环形扫描进行结合。本示例中，确认输入112包括单个键。在另外一些实施例中，输入106包括例如拨动开关，这个拨动开关可以被拨到一个方向上来按一个方向扫描选项，拨到另一个方向上来按另一个方向扫描选项。输入106和112还可结合到单个元件中。例如，输入106的拇指轮可以被适当安装，使其靠着弹簧元件的压力而滑入装置100，使用户还能够将拇指轮用作确认输入。
电话100的操作如下所述。用户打开电话100来输入进行呼叫的输入信息。假定UI 102允许用户以多种方式的其中至少一种方式来选择输入信息。
在第一种方式中，用户按以下所述通过数字字符来选择电话号码。当用户转动拇指轮106时，处理器116以环形方式扫描存储在108中表示字符“0”、“1”、…、“8”以及“9”的作为可选项的数据。当用户快速转动拇指轮106时，从当前选项转到下一个选时，反馈输出110提供可听到的滴答声。当用户慢慢转动拇指轮106时，从当前选项转到下一个选时，反馈输出110提供也是存储在存储器108中合成的或预录制的语音输出。例如，当拇指轮从其表示数据“7”的当前选项往前转动一级到下一个选项时，用户听到发出“8”的声音。“滴答”声能够进行快速前转或快速后转，而语音输出则识别当前可用选项。如果用户已经识别了所需的数字，他/她按下确认键112。处理器116随即将有关被确认的选项存储到缓冲器114中。处理器最好是还将下一个数字的扫描起始点重置为“0”。最好是，一旦用户已经输入了组成所需电话号码的全部数字，用户再例如快速连续地按下确认键112两次。这就会使缓冲器114的内容被反馈输出110重复。如果用户通过键112确认了所选的字符串，缓冲器114中的数据则被传送到通信部件104，以便对这样选定的电话号码建立呼叫。这样，用户只需要用一只手来操作电话100而不需要看着UI102。
在第二种方式中，存储器108存储有关表示与名字相关人员的电话号码的数据的名字音频文件。这些名字和音频文件已由用户预先输入。例如，电话100具有进行呼叫和接收呼叫的操作模式以及对存储器108进行编程的编程模式。在电话100的编程模式中，UI 102使用麦克风118来输入经处理器116存储到存储器108的语音数据，其中，麦克风118最好是包含在电话100的通信部件104中的麦克风。语音数据表示用户可能要用电话100频繁地对其进行呼叫的人员的名字或其它标识符。例如，要输入的语音数据是“家里”、“妈妈(家里)”、“妈妈的手机”、“秘书”、“康丁斯基”、“吉吉”、“盖阿斯”、“斯维特拉娜”以及“菲利普父母的公寓”。电话100包括抽样器(未示出)和编码器(未示出)，用于建立待存储到存储器108中的表示音频文件的数据。电话100还包括解码器(未示出)，用于根据从存储器108中的检索经反馈输出110来播放音频文件。反馈输出110最好是使用包含在电话100的通信部件104中的喇叭120。
假定用户已经将电话100置为编程模式。按住键112的同时，用户对着麦克风说“家里”。模拟信号被取样及编码，并且被编码的数据被作为音频文件“家里”存储在存储器108中。处理器116则准备好存储器108来存储与“家里”相关的电话号码。用户被提示通过小键盘将组成该电话号码的数字输入电话100。所输入的数据被存储在缓冲区114中，并且该号码显示在显示屏124上。如果该号码是对的，用户则通过键112来确认该号码，并且该号码被作为与“家里”相关的号码存储在存储器108中。用户松开键112并再次按下它来以同样的方法输入“妈妈(家里)”。这时，编程模式为用户提供选项来对音频文件按特定的顺序进行排序。该顺序关系到如下所述的稍后通过拇指轮106进行的导航。用户这时要通过向上或向下转动拇指轮106来选择将“妈妈(家里)”的次序指定为高于或低于“家里”的次序。当用户将拇指轮106朝一个方向或另一个方向转动一级时，已经存储的音频文件通过反馈输出110进行播放，此处为文件“家里”。例如，用户想到某个字母表顺序，并将“妈妈(家里)”选择为较低次序。处理器116控制排列，使待存储的文件安排在高于或低于最后播放的文件次序的次序上，并取决于拇指轮106的转动方向。这样，用户在拇指轮106往下转动一级播放了文件“家里”之后按下确认键112。下一项是将被排列在“家里”和“妈妈(家里)”之间的“妈妈的手机”。用户向下转动拇指轮106，所存储的文件被依次播放。在文件“家里”被播放之后，用户按下键112，音频文件“妈妈的手机”则被存储在低于“家里”但高于“妈妈(家里)”的次序上。最后，存储器108按用户所确定的特定顺序存储音频文件及相关的电话号码。这时，当用户已经退出编程模式并进入操作模式来通过昵称进行选择时，他/她往上或往下快速转动拇指轮106，以便听他/她以环形方式所经过的各个可选项(昵称)的可听到的滴答声。当用户慢慢转动拇指轮106时，对于拇指轮的每一级，一个音频文件按照所指定的次序被播放，根据拇指轮106的旋转方向从低到高或从高到低进行播放。在这种方法中，用户可以选择他/她想要进行呼叫的人员。如果用户发现所需的昵称，他/她按下键112，使控制器116将表示有关电话号码的数字的数据直接从存储器108传送到通信部件104中，以便开始拨号过程。因此就不需要存放在缓冲器114中用于检验。
该方法的一种变体是号码根据使用频度来动态地重新排序。在启动操作模式用来进行呼叫之后，根据旋转方向，每次按降序或升序转动拇指轮一级，用户会得到最常用的音频文件。这就缩短了选择过程。重新排序可以通过例如软件来实现。例如，第一软件模块记录某个时段所进行的选择；第二软件模块计算每个菜单选项选择的次数；第三模块根据选择的次数来排列这些选项；第四软件模块建立动态查找表，以便将输入通过拇指轮106链接到已重排序的选项。
另一个变体是基于数字的导航和基于昵称的导航在单个选择树中形成分支。例如，在初始选项集中，数字“0”至“9”与标志“昵称”连接在一起，使用户可以通过数字或昵称按环形方式在电话号码中进行选择。如果用户确认一个所选的数字，这个过程则按第一种方式所述进行。如果用户确认“昵称”，则该过程转到第二种方式。
另一个变体是基于数字的导航与常用的基于动作的导航相结合。例如，在初始选项集中，数字“0”至“9”与例如“删除前一个”选项和“删除全部”选项连接在一起。当执行线性单击方式(click-through)时，最好是对拇指轮106在每个方向的旋转结合物理限制时，这种导航极为有效。为了达到所需的动作，用户可以将选择器快进到该限制范围的末尾或开头。在达到该物理限制之后，用户以较高准确度来选择所需选项。
注意，传统移动电话的小键盘在很大程度上决定电话的形状因数。也就是说，容纳小键盘所需的空间比较大。本发明的导航和确认过程能够使电话具有较小的尺寸，并使它能够具有不同于传统移动电话的形状。本文中，同样参见通过引用结合在此的Sung Choi和Jan van Ee于98年4月17日申请的题为“具有自动缩放功能的图形用户界面触摸屏”的美国专利No.09/062,364(代理人档案号PHA23387)。小键盘122可以被制成一个模块，这个模块可以任选地附加到电话100的其它元件中，也可以从其中分离。实现音频文件存储的抽样器和编码器可以被同样制成可分离的模块，用于对存储器108进行编程或重新编程的情况下。
图2是本发明的笔记本式计算机或PDA 200的方框图。PDA 200具有几个软件控制的功能。例如，PDA 200包含使用户能够发送和接收电子邮件的元件202。在本发明的PDA中，用户被允许接收和发送包含音频文件附件的电子邮件。音频文件包括用户希望通过因特网发送到某个地址或接收来自某个发件人的内容信息。该音频文件可以是无格式电子邮件中文本正文或文本附件的可选择项或补充。音频文件包括用户或发送方所输入的已录制的语音、经适当编码和压缩的信息内容。PDA包括通信部件204，该通信部件204包含与因特网进行通信的无线调制解调器206。调制解调器204是例如Minstrel或Ricochet。Novatel Wireless所推出的Minstrel是用于PDA的双向无线调制解调器，其中它使用户浏览万维网并接收电子邮件。在普通意义上来说，象Minstrel或Ricochet之类的无线调制解调器为手提式装置200提供采用因特网进行通信的任何类型的应用均可使用的IP地址(受吞吐量、等待时间以及覆盖范围的限制)。Minstrel采用由蜂窝业务提供商所支持的称作蜂窝数字分组数据(CDPD)的技术。万维网冲浪受限于19.2 kbps的CDPD速度上限(cap)。出自Metricom的Ricochet具有28.8 K-bps的较快连接速率，但它仅在三大城市中心(旧金山海湾地区、西雅图以及华盛顿)才被支持。PDA200包含变换表，将“昵称”与“电子邮件地址”进行连接，其配置类似于前面在图1中所述的存储在存储器108中的移动电话100的“昵称”与“电话号码”。变换表可以例如由用户公司的系统管理员进行用户编程或预定义。为了发送电子邮件，用户转动拇指轮106来导航通过“昵称”。一确认选择，PDA就通过插入对应于所选的已记录昵称的电子邮件地址来建立电子邮件标题。在建立标题之前或之后，用户对麦克风说话，以便建立要发送的内容信息。该语音通过抽样器208被取样及编码，并且编码的数据被附加到电子邮件。音频抽样器和编码器在本领域中是众所周知，在此就不再详述。在本领域中，将音频文件附加或包含在电子邮件中是已知的，在此就不再详述。当成功完成时，用户立即例如通过按下一个键(未示出)来使该电子邮件被发送。在例如控制器116中的电子邮件建立程序最好是允许提供提示音，以便提示用户对麦克风118说出他的名字和/或引用电子邮件的主题。从这些输入所建立的数据被存储在电子邮件的某些区中，以便在作为音频提供时，接收方能够通过听发件人区和主题数据区来浏览发件人和/或主题列表。对于以文本格式提供的电子邮件，类似的功能是已知的；这些就不需要再进行详细说明。注意，PDA200或服务器(未示出)上不需要语音识别软件，因为通信被包含在音频文件中，其中，音频文件的内容将由用户在提供时进行说明。
正如电话100的情况一样，PDA 200最好是包含采用拇指轮106和确认键112进行导航的分支菜单。例如，用户已经根据类别“家里”、“办公室”、“朋友”以及其它来组织了“昵称”文件。在导航模式中，PDA 200向用户返回用户在编程模式中所输入的所说的类别名称。在导航中确认类别时，拇指轮106的旋转立即使PDA提供以编程顺序列在确认类别中的所说的人员名字。任何嵌套级均可以用来实现这种树状搜索策略。
注意，本发明在基于网络的体系结构中的实现可以采用因特网业务，其中音频文件及昵称和/或电话号码及昵称存储在服务器中供用户存取，并且，其中的存取通过因特网连接来进行。客户机不必是便携式装置，但相反可以是诸如台式PC或桌上型电话之类的固定设备。但是，由于如上所述的涉及人体工程学，手提式独立装置是特别令人关注的。
图3是播放预录制音频内容的装置300的方框图。装置300包括手提式自动电唱机，其中，用户可以在存储器302中存储音乐文件，存储器302包含例如具有较小形状因数的可记录或可重写光盘、大容量半导体存储器或硬盘驱动器，以便将机械冲击的影响减到最小。按照例如传统的方式，通过播放部件304可以实现所存储的音频的播放。播放部件304包含提供所存储的音频的处理板306、喇叭308以及最好是本领域已知的编辑/编程功能(未示出)，以便能够通过GUI(未示出)来标记视觉反馈的编程音轨。注意，GUI最好是用于设备库的建立，但在装置300的操作使用中并不需要。因此，GUI模块可以制成可分离的。
对于自动电唱机技术，参见例如通过引用结合在此的Pieter vander Meulen于99年6月4日申请的题为“虚拟自动电唱机”的美国专利No.09/326506。该文档涉及收集管理系统或虚拟自动电唱机，用于独立于录制资料的物理媒体的记录收集。该系统组成包括存储媒体和重放装置的网络的一部分，为使用收集编目、归档以及检索的系统提供了方便。在一个最佳实施例中，收集管理系统属于家用电子(CE)装置，或个人或家用计算机(PC)，并且该收集包括存储在一个或一个以上与CE装置或PC有关的硬盘驱动器上的记录。收集管理系统包括用户界面，该用户界面以流派、作者等的单独选择为基础来方便从一个或一个以上存储设备对重放的记录的检索。通过将记录存储在具有相关磁盘操作系统的硬盘驱动器或其它大容量存储设备中，立即存取可以用于该驱动器中的每个记录，并且当新资料加入收集中时，可以在系统中增加附加驱动器。
假定用户已经在存储器302中存储了许多音轨，并且存储器302包含在播放部件304中。播放处理板306具有引子播放模式，以便仅播放所存储的每个音轨的第一部分。这种引子模式可以从例如Microsoft的“CD播放器”软件应用程序4.0版中了解到。其引子部分存储在UI 102的存储器108中，与其一起存储的还有一个标签，用于标识提取引子部分的音轨。在缓慢地旋转拇指轮106时，存储在存储器108中的音轨的引子部分就立即通过反馈部分110和喇叭120被播放，作为在音轨中进行导航时的可听反馈。在进行这样的导航时，与在播放的引子相关的标签存储到缓冲器114中。当用户通过键112来确认他/她的选择时，该标签被反馈到播放部件304，用于播放这样选择的整个音轨。当拇指轮106快速转动时，用户听见可听到的滴答声来确定顺着可选音轨或文件夹的线性或环形菜单的进度。
另一方面，当拇指轮106慢慢转动时，所有音频文件中相关的一个文件被播放，直到拇指轮转到下一级，这时开始了下一个文件的播放。本实施例中，在选项中导航时实现立即播放。
另外一种选择方案或补充方案是，装置300可以被制成一种系统中的一个元件，其中，这种系统能够例如通过对于作为音频文件库的从设备装置300是主设备的PC来从万维网下载内容。当能够访问提供语音反馈以使用户能够例如使用拇指轮106和确认键112进行下载选择的某些网站时，装置300和200的结合能够作为一个独立的功能。在编程或下载模式中，这些用户输入则作为浏览器的部分在音频文件中进行导航，类似于通过显示屏所提供的图形表示来浏览万维网时键盘或鼠标的控制键。被寻址的万维网服务器最好是提供靠听觉可浏览的主页的信息。
注意，电话100、PDA 200以及音乐装置300的上述某些功能也可以采用基于网络的系统来实现。例如，电话100能够联络因特网上的服务器。这时不是象图1和2所示那样将导航时听觉反馈的名字、数字或电子邮件地址以及音频文件存储在电话或PDA本身，而是存储在服务器中。这时，服务器是手提式装置本身的扩充，具有实际无限的存储容量用于存放地址表及其压缩的昵称音频文件。电话或PDA通过转动拇指轮并确认树状菜单的分支选择中最终选择来导航到列于服务器中的选项。确认的最终结果则被用来启用装置的本机功能。
本发明的基于综合网络的实施例的另一个变体是语音邮件系统。该系统能够使(移动)用户检索并导航到存储在服务器中的语音邮件。例如，当用户使用电话100来拨打语音邮件系统号码时，与语音消息存取系统相关的一组可选项或选项被启动。假定主叫ID功能及密码使用户有权访问服务器上他/她的邮箱。例如，通过用户说事先选择辞句来输入口令。然后服务器上的一个应用程序确定所说的辞句以及最好是诸如频谱之类的用户声音的特征是否与为该用户存储的声音模板匹配。一旦用户获准访问该邮箱，用户会从服务器得到确认，例如通过预录制的语音：“这是<所登记的用户名>的邮箱”。此时，系统提供一列选项，其中包括“下一个”、“上一个”、“保存”、“删除”。每个选项在电话100中均被映射为表示字母数字字符组合的脉冲序列，就象在传统语音邮件业务的菜单中的那样。在按下确认键112时该脉冲序列被发送给服务器。当服务器端接收时，脉冲序列使所选取的选项启动。听觉反馈最好包含发件人名字和消息主题的指示。当用户确认消息的选择时播放全文。选项的映射可以由用户或通过专用配置工具进行手动编程，或者作为一种建立电话100配置的业务而由服务提供商提供。本文中，参见通过引用结合在此的Joost Kemink于99年5月13日申请的题为“更新可编程控制器的基于因特网的业务”的美国专利No.09/311128。该文献涉及更新可编程控制器的基于因特网的业务。因特网网站包含与独立于设备的控制及功能选项信息的链接，该信息可以作为图形用户界面(GUI)被下载到可编程控制器。网站提供了用户界面，便于用户指定目标设备，并有选择性地下载目标设备可用的界面和控制信息。
本发明的另一个示例考虑通用可编程远程控制装置。该装置包含一些硬键(hard key)以及前面参照图1至3讨论的具有拇指轮106和确认键112的UI，其中硬键包括：一组字母数字字符，例如“0”至“9”；一组设备选择键，例如“TV”、“VCR”等等；一组动作键，例如“频道上/下”、“音量增/减”、“播放”、“前进”、“选择”等等。设备选择键组仅限于少量常用的家用设备。字母数字字符键和动作键允许用户访问多于设备选择键组所允许数量的设备和宏，例如“DVD播放器”、“卧室宏”、“时间异常记录”(如TiVobox中)等。此时，附加设备的键可以被编程，其中，可通过拇指轮106进行导航，通过键112进行选择。通过记录用户的声音或者从万维网或通过用户PC下载小的音频文件用于听觉提供，可以对相关的听觉反馈进行编程。当用户慢慢转动拇指轮106时，音频文件被播放，并且确认键112使用户能够导航一组有关附加设备或宏集的命令。远程装置还具有对各种命令的键的映射，使用户能够通过例如IR或者PC中的控制应用程序或者作为远程装置和附加设备之间的媒介的机顶盒来控制附加设备。附加设备的控制代码可以作为缺省提供存储在远程装置中，或者从万维网或其它设备或装置下载。通过例如配置软件应用程序可以对远程装置进行配置。
图4是说明本发明的流程图400。在步骤402，用户输入通过拇指轮106被接收。在步骤404，拇指轮的当前位置被确定，以及在步骤406，该位置被映射到可选项。在步骤408，选项被暂时选取以便在步骤410中向用户提供听觉反馈。如果用户在步骤412中通过键112确认了该选项，则该选项在步骤414中被处理。如果该选项没有被确认，并且用户转动拇指轮106一级，则该过程返回到步骤402。
前面围绕手提式装置对本发明进行了详细描述，以便说明具体的人体工程学优点。要认识到，对于手提式装置以外的设备，本发明还具有特殊的优点。例如，用户界面可以被用于ATM或自动售货机；用于汽车，在这种情况下，导航和确认输入均包括在方向盘上来操作例如汽车导航系统；用于工业机械等。本发明有益于用户在临界情况下安全地进行操作，因为它允许根据听觉反馈来选择菜单选项。
前面作为特定示例提到了拇指轮和拨动开关。根据具体的应用，其它用户可控制的输入元件是可行的。例如，开关或拇指轮允许主要两个方向(上、下)的滚动。拇指或手操作的操纵杆或轨迹球允许两个以上方向的滚动，例如罗盘的四个或八个主要方向。多维选项空间，例如操纵杆的两维，方便于视频游戏，例如选择武器和火力(这种视频游戏很普遍)。
任选地，喇叭120可以是有线或无线耳机。采用耳机就能够在嘈杂的环境中使用或在不能受听觉反馈干扰的环境下使用。
如上所述，小键盘不必为根据本发明的装置的整体部分。由于类似或其它原因，本发明的装置也不需要将显示器作为整体部分，甚至还可以缩小尺寸并降低成本：只要一个微型喇叭和几个按钮就足够了。因此，本发明不仅这样形成了最小的蜂窝电话的基础，而且还形成了最小的无线电子邮件终端的基础(耳机和远程控制/发射机部分)：对于服务器上的文本-语音转换，既不需要键盘也不需要显示屏。
本发明的另一个优点是：所有选项可以被软编码，并且可以随时间而改变，如以上示例所述。由于软编码，例如根据应用、环境、状态和/或通过网络从服务器下载新的选项时，菜单或其选项可以被增加/删除或动态地改变。例如，多功能装置采用一组软件应用程序作为第一级菜单，当他/她滚动列表时，每个应用程序均由一个特定的听觉反馈来指示给用户。例如，当滚动主级列表时，用户听到以下合成的或预录制的语音：“电子邮件”、“电话”、“传呼机”、“音乐”等。在通过确认输入选择了一个应用时，例如“电子邮件”，下一级立即提供有关所选应用环境的选项菜单，其身分在用户导航到这些选项时会以听觉的形式来提供。随后用户可以使用听觉反馈再次导航到相应的选项(见上述示例)。几个菜单可以被包含在这种嵌套的分层结构中。

Claims (14)

1.一种信息处理装置(100；200；300)，它包括使用户能够与所述装置互动的用户界面(102)，所述用户界面包括：
导航输入(106)，用于使所述用户能够导航到一组选项；
其特征在于它还包括：
反馈输出(110)，用于在所述用户导航时向所述用户提供有关所述选项中相应可选择的一个选项的相应听觉反馈信息；
确认输入(112)，用于使所述用户能够根据所述反馈来选择当前选项。
2.权利要求1的装置，其特征在于所述导航输入和/或所述确认输入包括人工输入。
3.权利要求1的装置，其特征在于所述确认输入包括人工输入。
4.权利要求1至3之一的装置，其特征在于：当所述用户快速导航时，所述反馈输出以第一方式提供所述相应的听觉反馈，而当所述用户慢慢导航时，以不同于所述第一方式的第二方式提供所述相应的听觉反馈。
5.权利要求1至4之一的装置，其特征在于能够使所述用户对存储音频文件的存储器进行编程，用于在导航到所述选项组时提供听觉反馈。
6.权利要求1至5之一的装置，其特征在于包括移动通信设备(100)。
7.权利要求6的装置，其特征在于包括无线电子邮件终端，用于操作文本-语音转换的应用服务器。
8.权利要求1至7之一的装置，其特征在于它包括用于播放音乐文件的设备(300)。
9.权利要求1至8之一的装置，其特征在于所述相应的听觉反馈包括所述音乐文件中相应的一个文件的相应引子部分。
10.一种使用户能够与信息处理装置(100；200；300)互动的方法，所述方法包括如下步骤：
使所述用户能够导航到(402至408)一组选项；
在所述用户导航时向所述用户提供所述选项中有关相应可选择的一个选项的相应听觉反馈信息(410)；以及
使所述用户能够根据所述反馈来确认(412)所述选项中当前的一个选项，用于访问所述选项中所述可选择的一个选项。
11.权利要求10的方法，其特征在于它包括能够使所述用户对存储音频文件的存储器进行编程，用于在导航到所述选项组时提供听觉反馈。
12.权利要求10或11的方法，其特征在于：
所述装置包括电话(100)；以及
所述选项组包括电话分机。
13.权利要求10至12之一的方法，其特征在于：
所述装置能够进行电子邮件通信(200)；以及
所述选项组包括电子邮件地址。
14.权利要求10至13之一的方法，其特征在于：
所述装置包括音频播放功能(300)；以及
所述选项组包括相应音频文件的相应引子部分。
CNB00806265XA 1999-12-16 2000-12-01 手提式装置的手－耳用户界面 Expired - Fee Related CN1199425C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/464,855 US6978127B1 (en) 1999-12-16 1999-12-16 Hand-ear user interface for hand-held device
US09/464,855 1999-12-16

Publications (2)

Publication Number Publication Date
CN1369168A true CN1369168A (zh) 2002-09-11
CN1199425C CN1199425C (zh) 2005-04-27

Family

ID=23845524

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB00806265XA Expired - Fee Related CN1199425C (zh) 1999-12-16 2000-12-01 手提式装置的手－耳用户界面

Country Status (8)

Country Link
US (2) US6978127B1 (zh)
EP (2) EP1755319A3 (zh)
JP (1) JP4733895B2 (zh)
KR (1) KR100756931B1 (zh)
CN (1) CN1199425C (zh)
DE (1) DE60033518T2 (zh)
TW (1) TWI244604B (zh)
WO (1) WO2001044912A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping

Families Citing this family (238)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657910B1 (en) * 1999-07-26 2010-02-02 E-Cast Inc. Distributed electronic entertainment method and apparatus
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7187947B1 (en) 2000-03-28 2007-03-06 Affinity Labs, Llc System and method for communicating selected information to an electronic device
FI110297B (fi) 2000-08-21 2002-12-31 Mikko Kalervo Vaeaenaenen Lyhytäänisanomajärjestelmä, -menetelmä ja -päätelaite
AU2002316435B2 (en) 2001-06-27 2008-02-21 Skky, Llc Improved media delivery platform
GR1004462B (el) * 2001-10-19 2004-02-27 Θεοδωριδησαδημητριοσαχρηστου Συστημααακουστικησαεκτυλιξης
US7312785B2 (en) 2001-10-22 2007-12-25 Apple Inc. Method and apparatus for accelerated scrolling
EP1440402A1 (en) 2001-10-22 2004-07-28 Apple Computer, Inc. Intelligent synchronization for a media player
US7345671B2 (en) 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US7079645B1 (en) * 2001-12-18 2006-07-18 Bellsouth Intellectual Property Corp. Speaker volume control for voice communication device
US8004496B2 (en) 2002-01-08 2011-08-23 Koninklijke Philips Electronics N.V. User interface for electronic devices for controlling the displaying of long sorted lists
US7336602B2 (en) * 2002-01-29 2008-02-26 Intel Corporation Apparatus and method for wireless/wired communications interface
US7333092B2 (en) 2002-02-25 2008-02-19 Apple Computer, Inc. Touch pad for handheld device
US7254708B2 (en) * 2002-03-05 2007-08-07 Intel Corporation Apparatus and method for wireless device set-up and authentication using audio authentication—information
US8150937B2 (en) 2004-10-25 2012-04-03 Apple Inc. Wireless synchronization between media player and host device
US7827259B2 (en) 2004-04-27 2010-11-02 Apple Inc. Method and system for configurable automatic media selection
US7680849B2 (en) 2004-10-25 2010-03-16 Apple Inc. Multiple media type synchronization between host computer and media device
US7797446B2 (en) 2002-07-16 2010-09-14 Apple Inc. Method and system for updating playlists
US9715500B2 (en) 2004-04-27 2017-07-25 Apple Inc. Method and system for sharing playlists
US9412417B2 (en) 2002-04-05 2016-08-09 Apple Inc. Persistent group of media items for a media device
JP2003308283A (ja) * 2002-04-18 2003-10-31 Mitsubishi Electric Corp 通信装置、通信方法及び車載用ナビゲーション装置
GB0213134D0 (en) * 2002-06-07 2002-07-17 Mitel Knowledge Corp Mouse enabled phone
US7956272B2 (en) 2002-07-30 2011-06-07 Apple Inc. Management of files in a personal communication device
US7166791B2 (en) * 2002-07-30 2007-01-23 Apple Computer, Inc. Graphical user interface and methods of use thereof in a multimedia player
JP3999092B2 (ja) * 2002-09-30 2007-10-31 京セラ株式会社 重ね型携帯端末装置
CN1319356C (zh) * 2003-04-24 2007-05-30 三星电子株式会社 在移动终端中使用旋转键以及控制显示的装置和方法
JP2007515698A (ja) 2003-04-30 2007-06-14 ディズニー エンタープライゼス インコーポレイテッド 携帯電話によるマルチメディアコントローラ
JP4179085B2 (ja) * 2003-07-16 2008-11-12 松下電器産業株式会社 電子機器
US7757173B2 (en) * 2003-07-18 2010-07-13 Apple Inc. Voice menu system
US7499040B2 (en) 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
US20070152977A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Illuminated touchpad
AU2003288662A1 (en) * 2003-11-18 2005-06-08 Nokia Corporation A hand-portable electronic device for verifying an input test sequence of characters against a predetermined sequence of characters
US7495659B2 (en) 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US8059099B2 (en) 2006-06-02 2011-11-15 Apple Inc. Techniques for interactive input to portable electronic devices
TWM257497U (en) * 2004-05-19 2005-02-21 Lite On Technology Corp Use roller of cell phone input apparatus
US10972536B2 (en) 2004-06-04 2021-04-06 Apple Inc. System and method for synchronizing media presentation at multiple recipients
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
US8797926B2 (en) 2004-06-04 2014-08-05 Apple Inc. Networked media station
US8443038B2 (en) 2004-06-04 2013-05-14 Apple Inc. Network media device
CN100555200C (zh) 2004-08-16 2009-10-28 苹果公司 触敏器件和提高触敏器件的空间分辨率的方法
US8261246B1 (en) 2004-09-07 2012-09-04 Apple Inc. Method and system for dynamically populating groups in a developer environment
US7711835B2 (en) 2004-09-30 2010-05-04 Citrix Systems, Inc. Method and apparatus for reducing disclosure of proprietary data in a networked environment
US8099482B2 (en) 2004-10-01 2012-01-17 E-Cast Inc. Prioritized content download for an entertainment device
US11314378B2 (en) 2005-01-07 2022-04-26 Apple Inc. Persistent group of media items for a media device
US7958441B2 (en) 2005-01-07 2011-06-07 Apple Inc. Media management for groups of media items
US7890071B2 (en) * 2005-05-11 2011-02-15 Sigmatel, Inc. Handheld audio system
EP1880267B1 (en) 2005-05-13 2019-12-04 Nokia Technologies Oy Method for inputting characters in electronic device
US7706832B2 (en) 2005-05-20 2010-04-27 Kyocera Wireless Corp. Systems and methods for using aliases to manage contact information in a mobile communication device
CN100450240C (zh) * 2005-06-10 2009-01-07 华为技术有限公司 控制移动终端物理操作的装置及方法
US20070010289A1 (en) * 2005-07-11 2007-01-11 Arthur Mezue Detachable large display unit for cell phones
US7671837B2 (en) 2005-09-06 2010-03-02 Apple Inc. Scrolling input arrangements using capacitive sensors on a flexible membrane
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
ATE425632T1 (de) * 2005-09-27 2009-03-15 Research In Motion Ltd Benutzerschnittstelle für eine multi-tap tastatur mit eingaberegionen
US7684821B2 (en) 2005-09-27 2010-03-23 Research In Motion Limited Multi-tap keyboard user interface
US7880729B2 (en) 2005-10-11 2011-02-01 Apple Inc. Center button isolation ring
US7808480B2 (en) * 2005-10-28 2010-10-05 Sap Ag Method and system for secure input
US20070152983A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Touch pad with symbols based on mode
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
GB0601988D0 (en) * 2006-02-01 2006-03-15 Univ Dundee Speech generation
US8743060B2 (en) 2006-07-06 2014-06-03 Apple Inc. Mutual capacitance touch sensing device
US9360967B2 (en) 2006-07-06 2016-06-07 Apple Inc. Mutual capacitance touch sensing device
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7940250B2 (en) 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7795553B2 (en) 2006-09-11 2010-09-14 Apple Inc. Hybrid button
US8274479B2 (en) 2006-10-11 2012-09-25 Apple Inc. Gimballed scroll wheel
US8482530B2 (en) 2006-11-13 2013-07-09 Apple Inc. Method of capacitively sensing finger position
US8850140B2 (en) 2007-01-07 2014-09-30 Apple Inc. Data backup for mobile device
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8788954B2 (en) 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US8631088B2 (en) 2007-01-07 2014-01-14 Apple Inc. Prioritized data synchronization with host device
GB2445803A (en) * 2007-01-19 2008-07-23 Southwing S L Personal Communications Systems
US7826872B2 (en) * 2007-02-28 2010-11-02 Sony Ericsson Mobile Communications Ab Audio nickname tag associated with PTT user
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20090013254A1 (en) * 2007-06-14 2009-01-08 Georgia Tech Research Corporation Methods and Systems for Auditory Display of Menu Items
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US20090047933A1 (en) * 2007-07-13 2009-02-19 Josh Spitzer Messaging network, system and method for an away user of a mobile communications device
US9654104B2 (en) 2007-07-17 2017-05-16 Apple Inc. Resistive force sensor with capacitive discrimination
CN201315050Y (zh) 2007-09-04 2009-09-23 苹果公司 紧凑输入装置
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8046369B2 (en) 2007-09-04 2011-10-25 Apple Inc. Media asset rating system
US9619143B2 (en) * 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8683378B2 (en) 2007-09-04 2014-03-25 Apple Inc. Scrolling techniques for user interfaces
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US20090094283A1 (en) * 2007-10-03 2009-04-09 Microsoft Corporation Active use lookup via mobile device
US8416198B2 (en) 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
US8473081B2 (en) * 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
US8326635B2 (en) * 2007-12-25 2012-12-04 Personics Holdings Inc. Method and system for message alert and delivery using an earpiece
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8125461B2 (en) 2008-01-11 2012-02-28 Apple Inc. Dynamic input graphic display
US8820133B2 (en) 2008-02-01 2014-09-02 Apple Inc. Co-extruded materials and methods
US9454256B2 (en) 2008-03-14 2016-09-27 Apple Inc. Sensor configurations of an input device that are switchable based on mode
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
EP2112813A1 (en) * 2008-04-24 2009-10-28 Koninklijke KPN N.V. Personal address book communication service
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
CN101600009A (zh) * 2008-06-04 2009-12-09 深圳富泰宏精密工业有限公司 无线控制装置及具有该控制装置的无线通信装置
MX2011000409A (es) 2008-07-11 2011-06-24 Bby Solutions Inc Conmutacion de clasificaciones para reproductores de medios portatiles.
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8816967B2 (en) 2008-09-25 2014-08-26 Apple Inc. Capacitive sensor having electrodes arranged on the substrate and the flex circuit
US8255825B2 (en) * 2008-10-07 2012-08-28 Microsoft Corporation Content aware adaptive display
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8395590B2 (en) 2008-12-17 2013-03-12 Apple Inc. Integrated contact switch and touch sensor elements
US8453057B2 (en) * 2008-12-22 2013-05-28 Verizon Patent And Licensing Inc. Stage interaction for mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
GB2468338A (en) * 2009-03-05 2010-09-08 Marcus Lewis A headset outputting audio messages comprising menu options to a user who inputs commands via a joggle wheel on the headset based on the options
US9354751B2 (en) 2009-05-15 2016-05-31 Apple Inc. Input device with optimized capacitive sensing
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8872771B2 (en) 2009-07-07 2014-10-28 Apple Inc. Touch sensing device having conductive nodes
US8295820B2 (en) * 2009-07-15 2012-10-23 Oter Gottfried Advanced internet-based caller ID information/data for mobile phones and mobile networks
KR20110055096A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 휴대용 단말기에서 입체 효과 설정 방법 및 장치
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8381107B2 (en) * 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8516395B2 (en) * 2010-03-30 2013-08-20 Cisco Technology, Inc. One-dimensional representation of a two-dimensional data structure
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8949745B2 (en) * 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9014674B2 (en) * 2013-01-17 2015-04-21 Samsung Electronics Co., Ltd. Apparatus and method for transmitting information in voicemail
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US10783929B2 (en) 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
US10614857B2 (en) 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2571191B1 (fr) * 1984-10-02 1986-12-26 Renault Systeme de radiotelephone, notamment pour vehicule automobile
US5095503A (en) * 1989-12-20 1992-03-10 Motorola, Inc. Cellular telephone controller with synthesized voice feedback for directory number confirmation and call status
DE4008598C2 (de) 1990-03-17 1995-08-17 Philips Patentverwaltung Mobilfunkgerät mit einem mindestens eine Funktionstaste aufweisenden Bedienteil
US5444768A (en) * 1991-12-31 1995-08-22 International Business Machines Corporation Portable computer device for audible processing of remotely stored messages
JP3268467B2 (ja) * 1992-09-08 2002-03-25 株式会社日立製作所 電話機
US5500919A (en) * 1992-11-18 1996-03-19 Canon Information Systems, Inc. Graphics user interface for controlling text-to-speech conversion
US5812870A (en) * 1993-09-17 1998-09-22 Eloner I.P. Holdings Ltd. Personal organizer with interface for recording digital voice files
US5481595A (en) * 1994-03-08 1996-01-02 Uniden America Corp. Voice tag in a telephone auto-dialer
DE29503933U1 (de) * 1994-03-16 1995-12-07 Ericsson Telefon Ab L M Gleichförmige Mensch-Maschine-Schnittstelle für zellulare Mobiltelefone
US5495566A (en) * 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
US5774540A (en) * 1995-11-15 1998-06-30 Lucent Technologies Inc. Hierarchical menu screen interface for displaying and accessing telephone terminal features
IL116103A0 (en) * 1995-11-23 1996-01-31 Wireless Links International L Mobile data terminals with text to speech capability
JPH09224077A (ja) * 1996-02-14 1997-08-26 Canon Inc 電子機器における情報検索方式及び情報検索装置
US5748104A (en) * 1996-07-11 1998-05-05 Qualcomm Incorporated Wireless remote telemetry system
US5950123A (en) * 1996-08-26 1999-09-07 Telefonaktiebolaget L M Cellular telephone network support of audible information delivery to visually impaired subscribers
US6128012A (en) * 1996-09-19 2000-10-03 Microsoft Corporation User interface for a portable data management device with limited size and processing capability
US5901222A (en) * 1996-10-31 1999-05-04 Lucent Technologies Inc. User interface for portable telecommunication devices
EP0844572A1 (en) * 1996-11-22 1998-05-27 Webtv Networks, Inc. User interface for controlling audio functions in a web browser
US6282511B1 (en) * 1996-12-04 2001-08-28 At&T Voiced interface with hyperlinked information
US5909183A (en) * 1996-12-26 1999-06-01 Motorola, Inc. Interactive appliance remote controller, system and method
EP0905951A1 (en) 1997-03-18 1999-03-31 Mitsubishi Denki Kabushiki Kaisha Mobile telephone
US6178338B1 (en) * 1997-04-28 2001-01-23 Sony Corporation Communication terminal apparatus and method for selecting options using a dial shuttle
US5978689A (en) * 1997-07-09 1999-11-02 Tuoriniemi; Veijo M. Personal portable communication and audio system
JP4051728B2 (ja) * 1997-08-07 2008-02-27 ソニー株式会社 記録再生装置
JP3195279B2 (ja) * 1997-08-27 2001-08-06 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 音声出力システムおよびその方法
US6097964A (en) * 1997-09-04 2000-08-01 Nokia Mobile Phones Limited Navigation key for a handset
FR2769781B1 (fr) 1997-10-14 2000-01-07 Sagem Telephone mobile a diffusion de messages sonores
JP3865169B2 (ja) * 1997-11-28 2007-01-10 ソニー株式会社 通信端末装置及び通信端末装置の制御方法
US6246983B1 (en) * 1998-08-05 2001-06-12 Matsushita Electric Corporation Of America Text-to-speech e-mail reader with multi-modal reply processor
US6161008A (en) * 1998-11-23 2000-12-12 Nortel Networks Limited Personal mobility and communication termination for users operating in a plurality of heterogeneous networks
US6192253B1 (en) * 1999-10-06 2001-02-20 Motorola, Inc. Wrist-carried radiotelephone

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping

Also Published As

Publication number Publication date
KR100756931B1 (ko) 2007-09-07
US7310513B2 (en) 2007-12-18
CN1199425C (zh) 2005-04-27
JP4733895B2 (ja) 2011-07-27
DE60033518D1 (de) 2007-04-05
WO2001044912A3 (en) 2001-12-13
EP1755319A2 (en) 2007-02-21
EP1181802B1 (en) 2007-02-21
DE60033518T2 (de) 2007-11-22
US6978127B1 (en) 2005-12-20
EP1181802A2 (en) 2002-02-27
TWI244604B (en) 2005-12-01
US20060099908A1 (en) 2006-05-11
EP1755319A3 (en) 2007-02-28
KR20010102132A (ko) 2001-11-15
WO2001044912A2 (en) 2001-06-21
JP2003517674A (ja) 2003-05-27

Similar Documents

Publication Publication Date Title
CN1199425C (zh) 手提式装置的手－耳用户界面
US7865366B2 (en) Data preparation for media browsing
US7956272B2 (en) Management of files in a personal communication device
US7820901B2 (en) Information management method, information management program, and information management device
US20030132953A1 (en) Data preparation for media browsing
TW200807297A (en) Improved mobile communication terminal and method
CN101794208A (zh) 用于无显示器的电子设备的音频用户接口
JP2004531836A (ja) 音響インターフェースを提供する方法およびシステム
CN1106006C (zh) 将写入数据再现为声频信号的放音装置
JP5036716B2 (ja) 個人用通信デバイスにおけるファイルの管理
CN101079975A (zh) 一种记录用户操作的电视机及其实现方法
JP4600759B2 (ja) 再生装置、再生方法及び再生プログラム
US7719930B2 (en) Apparatus and method for digital contents playback
CN1979407A (zh) 手持式电子装置的辅助操作系统
JP4725780B2 (ja) 再生装置、再生方法及び再生プログラム
CA2621128C (en) Management of files in a personal communication device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050427

Termination date: 20171201