CN110297679A - 用于提供视听反馈的设备、方法和图形用户界面 - Google Patents

用于提供视听反馈的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN110297679A
CN110297679A CN201910420166.1A CN201910420166A CN110297679A CN 110297679 A CN110297679 A CN 110297679A CN 201910420166 A CN201910420166 A CN 201910420166A CN 110297679 A CN110297679 A CN 110297679A
Authority
CN
China
Prior art keywords
user interface
display
video
user
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910420166.1A
Other languages
English (en)
Inventor
M·I·布朗
A·E·西普林斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN110297679A publication Critical patent/CN110297679A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及用于提供视听反馈的设备、方法和图形用户界面。电子设备提供用于呈现具有多个用户界面对象的用户界面的数据。当前焦点在多个用户界面对象的第一用户界面对象上。设备接收输入。作为响应，基于输入的方向和/或幅度，设备提供用于将当前焦点从第一用户界面对象移动至第二用户界面对象的数据，并且提供声音信息以与当前焦点从第一用户界面对象至第二用户界面对象的移动并发地提供声音输出。声音输出的音高基于第一用户界面对象的大小、第一用户界面对象的类型、第二用户界面对象的大小和/或第二用户界面对象的类型。

Description

用于提供视听反馈的设备、方法和图形用户界面
本申请是申请日为2016年8月15日、申请号为201610670699.1、 题为“用于提供视听反馈的设备、方法和图形用户界面”的发明专利 申请的分案申请。
技术领域
本文总体上涉及提供声音输出的电子设备，并且更具体地，涉及 结合图形用户界面提供声音输出的电子设备。
背景技术
许多电子设备将视听界面用作提供关于用户的与设备的交互的 反馈的方式。但是用于提供视听反馈的常规方法是有限的。例如，简 单的视听反馈仅向用户提供有限的信息。如果基于简单的视听反馈执 行了非预期操作，则用户需要提供附加输入以取消这样的操作。因此， 这些方法花费比必要的时间更长的时间，从而浪费能量。
发明内容
因此，存在对于具有用于提供视听反馈的更有效的方法和界面的 电子设备的需要。这样的方法和界面可选地补充或者替换用于提供视 听反馈的常规方法。这样的方法和界面减少来自用户的输入的数目、 程度和/或性质并且产生更高效的人机界面。进一步地，这样的方法减 少处理触摸输入所消耗的处理功率、节省功率、减少不必要的/额外的 /重复的输入，并且潜在地减少存储器使用。
通过所公开的设备减少或者消除以上缺陷和与用于具有触敏表 面的电子设备的用户界面相关联的其他问题。在一些实施例中，该设 备是数字媒体播放器，诸如来自加利福尼亚州的库比蒂诺的Apple公 司的Apple在一些实施例中，该设备是台式计算机。在一些实 施例中，该设备是便携式的(例如，笔记本计算机、平板计算机或者 手持式设备)。在一些实施例中，该设备是个人电子设备(例如，可 穿戴电子设备，诸如手表)。在一些实施例中，该设备具有触摸板。 在一些实施例中，该设备具有触敏显示器(也被称为“触摸屏”或者 “触摸屏显示器”)。在一些实施例中，该设备具有图形用户界面 (GUI)、一个或多个处理器、存储器和在存储器中存储的一个或多 个模块、程序或者指令集用于执行多个功能。在一些实施例中，用户 主要通过遥控器(例如，遥控器的一个或多个按钮和/或遥控器的触敏 表面)与GUI交互。用于执行这些功能的可执行指令可选地包括在非 瞬态计算机可读存储介质或者被配置用于由一个或多个处理器执行 的其他计算机程序产品中。备选地或者附加地，用于执行这些功能的 可执行指令可选地包括在瞬态计算机可读存储介质或者被配置用于 由一个或多个处理器执行的其他计算机程序产品中。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备 处执行一种方法。该设备与显示器和音频系统通信。该方法包括向显 示器提供用于呈现目前由设备所生成的用户界面的数据。该用户界面 包括具有第一视觉特性的第一用户界面对象。该用户界面进一步包括 与第一用户界面对象不同的具有第二视觉特性的第二用户界面对象。 该设备向音频系统提供用于提供声音输出的声音信息。该声音输出包 括对应于第一用户界面对象的第一音频分量。该声音输出进一步包括 对应于第二用户界面对象并且与第一音频分量不同的第二音频分量。 当用户界面被呈现在显示器上并且声音输出被提供时，该设备向显示 器提供用于更新用户界面的数据并且向音频系统提供用于更新声音 输出的声音信息。更新用户界面和更新声音输出包括：结合改变对应 于第一用户界面对象的第一音频分量来改变第一用户界面对象的第 一视觉特性中的至少一个视觉特性；并且结合改变对应于第二用户界 面对象的第二音频分量来改变第二用户界面对象的第二视觉特性中 的至少一个视觉特性。提供用于更新用户界面的数据独立于用户输入 而发生。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备 处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向 显示器提供用于呈现具有多个用户界面对象的用户界面的数据，所述 多个用户界面对象包括在显示器上的第一位置处的控制用户界面对 象。该控制用户界面对象被配置为控制相应参数。该方法进一步包括： 接收对应于与显示器上的控制用户界面对象的第一交互的第一输入。 该方法进一步包括：当接收对应于与显示器上的控制用户界面对象的 第一交互的第一输入时：向显示器提供用于根据第一输入将控制用户 界面对象从显示器上的第一位置移动到与显示器上的第一位置不同 的显示器上的第二位置的数据；以及向音频系统提供用于提供第一声 音输出的第一声音信息，该第一声音输出具有与由控制用户界面对象 控制的相应参数不同并且根据从显示器上的第一位置到显示器上的 第二位置的控制用户界面对象的移动而改变的一个或多个特性。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备 处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向 显示器提供用于呈现具有多个用户界面对象的第一用户界面的数据， 其中，当前焦点在多个用户界面对象中的第一用户界面对象上。该方 法进一步包括：当显示器正呈现第一用户界面时，接收与用于改变第 一用户界面中的当前焦点的位置的请求对应的输入，所述输入具有方 向和幅度。该方法进一步包括：响应于接收到与用于改变第一用户界 面中的当前焦点的位置的请求对应的输入：向显示器提供用于将当前 焦点从第一用户界面对象移动到第二用户界面对象的数据，其中根据 输入的方向和/或幅度而针对当前焦点选择第二用户界面对象；以及向 音频系统提供用于提供第一声音输出的第一声音信息，该第一声音输 出对应于当前焦点从第一用户界面对象到第二用户界面对象的移动， 其中第一声音输出与当前焦点从第一用户界面对象移动到第二用户 界面对象的显示并发地被提供，并且第一声音输出的音高至少部分基 于第一用户界面对象的大小、第一用户界面对象的类型、第二用户界 面对象的大小和/或第二用户界面对象的类型来确定。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备 处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向 显示器提供用于呈现包括关于第一视频的描述性信息的第一视频信 息用户界面的数据。该方法进一步包括：向音频系统提供用于在由显 示器对第一视频信息用户界面的呈现期间提供对应于第一视频的第 一声音输出的声音信息。该方法进一步包括：当显示器正呈现包括关 于第一视频的描述性信息的第一视频信息用户界面时，接收与用于回 放第一视频的请求对应的输入。该方法进一步包括：响应于接收到与 用于回放第一视频的请求对应的输入，向显示器提供用于利用第一视频的回放替换第一视频信息用户界面的呈现的数据。该方法进一步包 括：在第一视频的回放期间，接收与用于显示关于第一视频的第二视 频信息用户界面的请求对应的输入。该方法进一步包括响应于接收到 与用于显示关于第一视频的第二视频信息用户界面的请求对应的输 入：向显示器提供用于利用关于第一视频的第二视频信息用户界面替 换第一视频的回放的数据，以及向音频系统提供声音信息，该声音信 息用于提供在由显示器对第二视频信息用户界面的呈现期间对应于 第一视频的与第一声音输出不同的第二声音输出。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备 处执行一种方法。该设备与显示器通信。该方法包括：向显示器提供 呈现第一视频的数据。该方法还包括：当显示器正呈现第一视频时， 接收与用于暂停第一视频的用户请求对应的输入；以及响应于接收到 与用于暂停第一视频的用户请求对应的输入，在第一视频的时间线中 的第一回放位置处暂停第一视频的呈现。该方法进一步包括：在在第 一视频的时间线中的第一回放位置处暂停第一视频的呈现之后并且 当第一视频的呈现被暂停时，向显示器提供用于呈现来自第一视频的 多个所选择的静止图像的数据。基于在其处暂停第一视频的第一回放 位置，选择该多个所选择的静止图像。
根据一些实施例，电子设备与显示单元和音频单元通信，所述显 示单元被配置为显示用户界面，并且所述音频单元被配置为提供声音 输出。该设备包括：处理单元，被配置为向显示单元提供用于呈现由 设备所生成的用户界面的数据。该用户界面包括具有第一视觉特性的 第一用户界面对象。该用户界面进一步包括与第一用户界面对象不同 的具有第二视觉特性的第二用户界面对象。该设备被配置为向音频单 元提供用于提供声音输出的声音信息。该声音输出包括对应于第一用 户界面对象的第一音频分量。该声音输出进一步包括对应于第二用户 界面对象并且与第一音频分量不同的第二音频分量。当用户界面被呈 现在显示单元上并且声音输出被音频单元提供时，该设备向显示单元 提供用于更新用户界面的数据并且向音频单元提供用于更新声音输 出的声音信息。更新用户界面和更新声音输出包括：结合改变对应于 第一用户界面对象的第一音频分量来改变第一用户界面对象的第一 视觉特性中的至少一个视觉特性；以及结合改变对应于第二用户界面 对象的第二音频分量来改变第二用户界面对象的第二视觉特性中的 至少一个视觉特性。提供用于更新用户界面的数据是独立于用户输入 而发生的。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥 控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元 被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表 面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备 包括处理单元，其被配置为向显示单元提供用于呈现具有多个用户界 面对象的用户界面的数据，所述多个用户界面对象包括在显示单元上 的第一位置处的控制用户界面对象。该控制用户界面对象被配置为控 制相应参数。该处理单元进一步被配置为接收和与显示单元上的控制 用户界面对象的第一交互对应的第一输入。该处理单元进一步被配置 为：当接收和与显示单元上的控制用户界面对象的第一交互对应的第 一输入时：向显示单元提供用于根据第一输入将控制用户界面对象从 显示单元上的第一位置移动到与显示单元上的第一位置不同的显示 单元上的第二位置的数据；以及向音频单元提供用于提供第一声音输 出的第一声音信息，该第一声音输出具有与由控制用户界面对象控制 的相应参数不同并且根据控制用户界面对象从显示单元上的第一位 置到显示单元上的第二位置的移动而改变的一个或多个特性。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥 控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元 被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表 面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备 包括：处理单元，被配置为向显示单元提供用于呈现具有多个用户界 面对象的第一用户界面的数据，其中当前焦点在多个用户界面对象中 的第一用户界面对象上。该处理单元进一步被配置为当显示单元正呈 现第一用户界面时，接收与用于改变第一用户界面中的当前焦点的位 置的请求对应的输入，该输入具有方向和幅度。该处理单元进一步被配置为：响应于接收到与用于改变第一用户界面中的当前焦点的位置 的请求对应的输入：向显示单元提供用于将当前焦点从第一用户界面 对象移动到第二用户界面对象的数据，其中第二用户界面对象是根据 输入的方向和/或幅度而针对当前焦点选择的；以及向音频单元提供用 于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦 点从第一用户界面对象到第二用户界面对象的移动，其中第一声音输 出与当前焦点从第一用户界面对象移动到第二用户界面对象的显示 并发地被提供，并且第一声音输出的音高至少部分基于第一用户界面 对象的大小、第一用户界面对象的类型、第二用户界面对象的大小和 /或第二用户界面对象的类型来确定。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥 控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元 被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表 面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备 包括：处理单元，被配置为向显示单元提供用于呈现包括关于第一视 频的描述性信息的第一视频信息用户界面的数据。该处理单元还被配 置为向音频单元提供用于在由显示单元对第一视频信息用户界面的 呈现期间提供对应于第一视频的第一声音输出的声音信息。该处理单 元进一步被配置为当显示单元呈现包括关于第一视频的描述性信息的第一视频信息用户界面时，接收与用于回放第一视频的请求对应的 输入。该处理单元进一步被配置为响应于接收到与用于回放第一视频 的请求对应的输入，向显示单元提供用于利用第一视频的回放替换第 一视频信息用户界面的呈现的数据。该处理单元进一步被配置为在第 一视频的回放期间，接收与用于显示关于第一视频的第二视频信息用 户界面的请求对应的输入。该处理单元进一步被配置为响应于接收到 与用于显示关于第一视频的第二视频信息用户界面的请求对应的输 入：向显示单元提供用于利用关于第一视频的第二视频信息用户界面 替换第一视频的回放的数据；以及向音频单元提供用于在由显示单元 对第二视频信息用户界面的呈现期间提供对应于第一视频的与第一 声音输出不同的第二声音输出的声音信息。
根据一些实施例，电子设备包括处理单元。该电子设备与显示单 元通信。该显示单元被配置为显示视频回放信息。该处理单元被配置 为向显示单元提供用于呈现第一视频的数据；当显示单元正呈现第一 视频时，接收与用于暂停第一视频的用户请求对应的输入；响应于接 收到与用于暂停第一视频的用户请求对应的输入，在第一视频的时间 线中的第一回放位置处暂停第一视频的呈现；以及在第一视频的时间 线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的 呈现被暂停时，向显示单元提供用于呈现来自第一视频的多个所选择 的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置， 选择多个所选择的静止图像。
根据一些实施例，电子设备与显示器、音频系统和可选的遥控器 (其可选地包括触敏表面)通信。该电子设备包括一个或多个处理器、 存储器和一个或多个程序；一个或多个程序被存储在存储器中并且被 配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行 本文所描述的方法中的任何一种方法的操作或者引起本文所描述的 方法中的任何一种方法的操作执行的指令。根据一些实施例，计算机 可读存储介质(例如，非瞬态计算机可读存储介质或者备选地瞬态计 算机可读存储介质)已经在其中存储指令，该指令当由与显示器和音 频系统通信的电子设备执行时，使得设备执行本文所描述的方法中的 任何一种方法的操作或者引起本文所描述的方法中的任何一种方法 的操作执行。根据一些实施例，具有显示器、触敏表面、存储器和执 行存储在存储器中的一个或多个程序的一个或多个处理器的电子设 备上的图形用户界面包括响应于如本文所描述的方法中的任何一种 方法中所描述的输入而更新的上文所描述的方法中的任何一种方法 中所显示的元件中的一个或多个元件。根据一些实施例，电子设备与 显示器和音频系统通信。该电子设备包括用于执行本文所描述的方法 中的任何一种方法的操作或者引起本文所描述的方法中的任何一种 方法的操作执行的装置。根据一些实施例，一种用于使用在与显示器 和音频系统通信的电子设备中的信息处理装置包括用于执行本文所 描述的方法中的任何一种方法的操作或者引起本文所描述的方法中 的任何一种方法的操作执行的装置。
因此，与显示器和音频系统通信的电子设备被提供有经改进的用 于提供视听反馈的方法和界面，从而增加关于这样的设备的有效性、 效率和用户满意度。这样的方法和界面可以补充或者替换用于提供视 听反馈的常规方法。
附图说明
为了更好地理解各种描述的实施例，下面应当结合附图参考对各 实施例的描述，其中相似的参考标号指代贯穿附图的对应部分。
图1A是图示了根据一些实施例的具有触敏显示器的便携式多功 能设备的框图。
图1B是图示了根据一些实施例的用于事件处置(handle)的示例 性组件的框图。
图2图示了根据一些实施例的具有触摸屏的便携式多功能设备。
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能 设备的框图。
图4A图示了根据一些实施例的用于便携式多功能设备上的应用 的菜单的示例性用户界面。
图4B图示了根据一些实施例的用于具有与显示器分离的触敏表 面的多功能设备的示例性用户界面。
图4C图示了根据一些实施例的与显示器和触敏表面通信的示例 性电子设备，其中对于电子设备的至少子集而言，显示器和/或触敏表 面被集成到电子设备中。
图5A至图5SS图示了根据一些实施例的用于提供视听反馈的示 例性用户界面。
图6A至图6C是图示了根据一些实施例的结合改变对应于用户 界面对象的音频分量来改变用户界面对象的视觉特性的方法的流程 图。
图7A至图7D是图示了根据一些实施例的提供对应于用户的与 用户界面对象的交互的声音信息的方法的流程图。
图8A至图8C是图示了根据一些实施例的提供对应于用户的与 用户界面对象的交互的声音信息的方法的流程图。
图9A至图9C是图示了根据一些实施例的提供针对视频信息用 户界面的声音信息的方法的流程图。
图10A至图10B图示了根据一些实施例的当视频处于暂停状态 时提供视听信息的方法的流程图。
图11是根据一些实施例的电子设备的功能框图。
图12是根据一些实施例的电子设备的功能框图。
图13是根据一些实施例的电子设备的功能框图。
具体实施方式
许多电子设备响应于用户输入而更新图形用户界面并且提供音 频反馈。常规方法包括响应于相同用户输入而提供简单的音频反馈。 例如，响应于与用于移动当前焦点的请求对应的每个用户输入，提供 相同音频反馈。这样的简单的音频反馈不提供设备的响应的上下文。 如果用户未完全理解交互的上下文，则用户可能执行非预期的操作。 非预期的操作对于用户而言可能是令人沮丧的。另外，这样的非预期 的操作要求取消这样的非预期的操作并且再提供用户输入直到期望 的操作被执行，其可能是麻烦并且低效的。
在下面所描述的一些实施例中，一种经改进的用于提供音频反馈 的方法包括提供用于呈现具有控制用户界面对象(例如，滑动条的滑 块(thumb))的用户界面的数据。当接收到输入时，提供数据来移 动控制用户界面对象的数据，并且针对具有随着控制用户界面对象的 移动而改变的特性的声音输出提供声音信息。因此，声音输出的特性 指示控制用户界面对象的移动。
另外，在下面所描述的一些其他实施例中，一种经改进的用于提 供音频反馈的方法包括提供用于呈现具有多个图标的用户界面的数 据，其中当前焦点在第一图标上。响应于接收到输入，提供数据来将 当前焦点移动到第二图标，并且针对声音输出提供声音信息，其中声 音输出的音高基于第一图标的大小或者类型和/或第二图标的大小或 者类型来确定。
另外，用于暂停视频的常规方法包括在其中当暂停视频的回放时 暂停视频的位置处呈现视频的单个图像。暂停视频的回放并且在稍后 的时间返回以恢复视频的回放的用户具有关于在何处播放视频的有 限信息。因此，在视频的回放被恢复之后，用户可能花费一些时间理 解视频的上下文。
在下面所描述的一些实施例中，一种经改进的用于暂停视频的回 放的方法包括当视频的回放被暂停时提供用于呈现来自视频的多个 静止图像的数据。来自视频的多个静止图像促进用户即使在视频的回 放被恢复之前，也理解其中视频的回放被暂停周围的视频的上下文。 因此，用户可以在视频的回放被恢复之后不久理解视频的上下文。
而且，用于呈现视频信息用户界面的常规方法包括不管是否已经 发起视频的回放(例如，用户在观看视频的至少一部分之后是否已经 返回到视频信息用户界面)都提供单个声音输出。因此，声音输出仅 提供关于视频的有限的固定信息。
在下面所描述的一些实施例中，一种经改进的用于呈现视频信息 用户界面的方法包括：在视频的回放已经发起之后，提供与普通 (stock)声音输出不同的声音输出，使得声音输出可以用来传达附加 信息，诸如其中视频的回放被中断的心情。
而且，用于呈现屏幕保护程序的常规方法包括呈现视频。然而， 屏幕保护程序不包括声音输出或者包括有限的声音输出。
在下面所描述的一些实施例中，一种经改进的用于呈现屏幕保护 程序的方法包括提供包括对应于在屏幕保护程序中所显示的用户界 面对象的音频分量的声音输出。因此，声音输出可以用来可听见地指 示附加信息，诸如对于所显示的用户界面对象的视觉特性和屏幕保护 程序的状态的改变。
在下面，图1A至图1B、图2和图3提供了示例性设备的描述。 图4A至图4C和图5A至图5SS图示了用于提供音频反馈的用户界面。 图6A至图6C图示了根据一些实施例的结合改变对应于用户界面对 象的音频分量来改变用户界面的视觉特性的方法的流程图。图7A至图7D图示了根据一些实施例的提供对应于用户的与用户界面对象的 交互的声音输出信息的方法的流程图。图8A至图8C图示了根据一 些实施例的提供对应于用户的与用户界面对象的交互的声音输出信 息的方法的流程图。图9A至图9C图示了提供针对视频信息用户界面的声音输出的方法的流程图。图10A至图10B图示了当视频处于 暂停状态时提供视听信息的方法的流程图。图5A至图5SS中的用户 界面用来图示图6A至图6C、图7A至图7D、图8A至图8C、图9A 至图9C以及图10A至图10B中的过程。
示例性设备
现在将对其示例在附图中图示的实施例详细进行参考。在以下详 细描述中，阐述很多特定细节以便提供各种所描述的实施例的透彻理 解。然而，对于本领域的普通技术人员而言将明显的是，可以在没有 这些特定细节的情况下实践各种所描述的实施例。在其他实例中，尚 未详细描述公知方法、流程、组件、电路和网络以便不会不必要地使 实施例的各方面难以理解。
还将理解到，虽然在一些实例中术语第一、第二等在本文中用来 描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用 来将一个元件与另一个元件进行区分。例如，第一用户界面对象可以 被称作第二用户界面对象，并且类似地，第二用户界面对象可以被称 作第一用户界面对象，而不脱离各种所描述的实施例的范围。第一用 户界面对象和第二用户界面对象均是用户界面对象，但是除非上下文 以其他方式明确指出，否则它们不是同一个用户界面对象。
在各种描述的实施例的描述中使用的术语在本文中仅用于描述 特定实施例的目而并不旨在限制。除非上下文以其他方式明确指出， 否则如在各种描述的实施例的描述以及所附权利要求书中所使用的 单数形式的“一”、“一个”和“所述”旨在也包括复数形式。还应 当理解，本文所使用的术语“和/或”指代并且涵盖相关联的列举的项 目的一个或多个项目中的任何项目以及所有可能的组合。应当进一步 理解，术语“包括”、“具有”、“包含”和/或“含有”当在本说明 书中使用时指定陈述的特征、整体、步骤、操作、元件和/或组件的存 在，但并不排除一个或多个其他特征、整体、步骤、操作、元件、组 件和/或它们的分组的出现或添加。
如本文所使用的，术语“如果”取决于上下文可以被解释为意味 着“当…时”或者“一旦…则”或者“响应于确定”或“响应于检测 到”。类似地，短语“如果确定”或者“如果检测到[陈述的条件或 事件]”取决于上下文可选地被解释为意味着“一旦确定，则”或者 “响应于确定”或者“一旦检测到[陈述的条件或事件]”或者“响应 于检测到[陈述的条件或事件]”。
描述了电子设备、针对这样的设备的用户接口以及用于使用这样 的设备的相关联过程的实施例。在一些实施例中，设备是数字媒体播 放器，诸如来自加利福尼亚州的库比蒂诺的Apple公司的Apple在一些实施例中，设备是便携式通信设备(诸如移动电话)，其还包 含其他功能，诸如PDA和/或音乐播放器功能。便携式多功能设备的 示例性实施例包括但不限于：来自加利福尼亚州库比蒂诺的Apple公 司的iPod和设备。可选地使用诸如具有触敏 表面(例如，触摸屏显示器和/或触摸板)的膝上型计算机或平板计算 机之类的其他便携式电子设备。还应当理解的是，在一些实施例中， 该设备不是便携式通信设备，而是台式计算机。在一些实施例中，台 式计算机具有触敏表面(例如，触摸屏显示器和/或触摸板)。
在以下论述中，描述了一种与显示器和触敏表面通信和/或包括显 示器和触敏表面的电子设备。然而，应当理解的是，该电子设备可选 地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/ 或操纵杆。
该设备典型地支持各种应用，诸如以下应用中的一个或多个应 用：笔记应用、画图应用、演示应用、文字处理应用、网站创建应用、 盘编写(disk authoring)应用、电子表格应用、游戏应用、电话应用、 视频会议应用、电子邮件应用、即时消息接发应用、锻炼支持应用、 照片管理应用、数码相机应用、数码录像机应用、web浏览应用、数 字音乐播放器应用和/或数字视频播放器应用。
在设备上被执行的各种应用可选地使用至少一个公共物理用户 接口设备，诸如触敏表面。触敏表面的一个或多个功能以及在设备上 显示的对应信息可选地被从一个应用向下一个应用和/或在各自应用 中调整和/或变化。按照这种方式，设备的公共物理架构(诸如触敏表 面)利用对于用户而言直观并且透明的用户界面来可选地支持各种应 用。
现在把注意力转向具有触敏显示器的便携式设备的实施例。图1A 是图示了根据一些实施例的具有触敏显示系统112的便携式多功能设 备100的框图。触敏显示器系统112有时为了方便起见被称作“触摸 屏”，并且有时简单地被称作触敏显示器。设备100包括存储器102 (其可选地包括一个或多个非瞬态计算机可读存储介质)、存储器控 制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF 电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O) 子系统106、其他输入或控制设备116以及外部端口124。设备100可选地包括一个或多个光学传感器164。设备100可选地包括用于在 设备100(例如，触敏表面，诸如设备100的触敏显示系统112)上 检测接触的强度的一个或多个强度传感器165。设备100可选地包括 用于在设备100上生成触觉输出(例如，在触敏表面(诸如，在设备 100的触敏显示系统112或者设备300的触摸板335)上生成触觉输 出)的一个或多个触觉输出生成器167。这些组件可选地在一个或多 个通信总线或信号线103上进行通信。
如在说明书和权利要求中所使用的，术语“触觉输出”指代将由 用户利用用户的触感检测的设备相对于设备的之前定位的物理位移、 设备的组件(例如，触敏表面)相对于设备的另一个组件(例如，外 壳)的物理位移、或者组件相对于设备的质心的位移。例如，在设备 或者设备的组件与对触摸敏感的用户的表面(例如，手指、手掌或者 用户的手的其他部分)接触的情况下，由物理位移生成的触觉输出将 被用户解译为对应于设备或者设备的组件的物理特性中的感知改变 的触觉感觉。例如，触敏表面(例如，触敏显示器或者触控板)的移 动可选地被用户解译为物理致动器按钮的“向下点击(down click)” 或者“向上点击(up click)”。在一些情况下，即使当不存在与由用 户的移动物理地按压(例如，位移)的触敏表面相关联的物理致动器 按钮的移动时，用户也将感觉到触觉感觉，诸如“向下点击”或者“向 上点击”。作为另一个示例，即使当触敏表面的平滑中不存在改变时， 触敏表面的移动也可选地被用户解译或者感觉为触敏表面的“粗糙 度”。虽然用户的对触摸的这样的解译受到用户的个性化的感官知觉 的影响，但是存在对大多数用户是共同的触摸的许多感官知觉。因此， 当触觉输出被描述为对应于用户的特定感官知觉(例如，“向上点击”、“向下点击”、“粗糙度”)时，除非另作说明，否则生成的 触觉输出对应于将生成用于典型的(或者平均的)用户的描述的感官 知觉的设备或者其组件的物理位移。
应当领会到，设备100仅是便携式多功能设备的一个示例，并且 设备100可选地具有比所示组件更多或更少的组件，可选地组合两个 或更多个组件，或者可选地具有不同的组件配置或布置。图1A中所 示出的各种组件在硬件、软件、固件或其组合(包括一个或多个信号 处理和/或专用集成电路)中被实施。
存储器102可选地包括高速随机访问存储器，并且可选地还包括 非易失性存储器，诸如一个或多个磁盘存储设备、闪存设备或其他非 易失性固态存储器设备。由设备100的其他组件(诸如(一个或多个) CPU 120和外围设备接口118)对存储器102的访问可选地被存储器 控制器122控制。
外围设备接口118可以用来将设备的输入和输出外围设备耦合至 (一个或多个)CPU 120和存储器102。一个或多个处理器120运行 或执行在存储器102中存储的各种软件程序和/或指令集，以执行针对 设备100的各种功能以及处理数据。
在一些实施例中，外围设备接口118、(一个或多个)CPU 120 以及存储器控制器122可以在单个芯片(诸如，芯片104)上被实施。 在一些其他实施例中，它们可选地在分离的芯片上被实施。
RF(射频)电路108接收并且发送RF信号，也被称作电磁信号。 RF电路108将电信号转换成电磁信号/将电磁信号转换成电信号，并 且经由电磁信号与通信网络以及其他通信设备通信。RF电路108可 选地包括用于执行这些功能的公知电路，包括但不限于：天线系统、 RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字 信号处理器、CODEC芯片集、订户标识模块(SIM)卡、存储器等。 RF电路108可选地通过无线通信与诸如也被称为万维网(WWW)的 因特网、内联网和/或诸如蜂窝式电话网络、无线局域网(LAN)和/ 或城域网(MAN)的无线网络以及其他设备通信。无线通信可选地 使用多种通信标准、协议和技术中的任何一种，包括但不限于：全球 移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下 行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、 仅演进数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、 长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、 无线高保真(Wi-Fi)(例如，IEEE 802.11a、IEEE802.ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、因特 网协议语音(VoIP)、Wi-MAX、针对电子邮件的协议(例如，因特 网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息接发 (例如，可扩展消息接发和出席协议(XMPP)、针对即时消息接发 和出席平衡扩展的会话发起协议(SIMPLE)、即时消息接发和出席 服务(IMPS))和/或短消息服务(SMS)，或者任何其他适当的通 信协议，包括在本文献递交日为止还未开发出的通信协议。
音频电路110、扬声器111和麦克风113在用户与设备100之间 提供音频接口。音频电路110从外围设备接口118接收音频数据，将 该音频数据转换成电信号，并且向扬声器111传输该电信号。扬声器 111将该电信号转换成人类可听见的声波。音频电路110还接收由麦 克风113从声波转换的电信号。音频电路110将电信号转换成音频数 据并且向外围设备接口118传输该音频数据用于处理。音频数据可选 地通过外围设备接口118从存储器102和/或RF电路108获取和/或传 输到存储器102和/或RF电路108。在一些实施例中，音频电路110 还包括耳机插孔(例如，212，图2)。耳机插孔在音频电路110与可 移除音频输入/输出外围设备(诸如只有输出的受话器或既能输出(例 如，单耳或双耳的受话器)又能输入(例如，麦克风)的耳机)之间 提供接口。
I/O子系统106将设备100上的输入/输出外围设备(诸如触摸屏 112和其他输入或控制设备116)与外围设备接口118耦合。I/O子系 统106可选地包括显示器控制器156、光学传感器控制器158、强度 传感器控制器159、触感反馈控制器161、以及针对其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从 其他输入或控制设备116接收电信号/向其他输入或控制设备116发送 电信号。其他输入或控制设备116可选地包括物理按钮(例如，下压 按钮、摇杆按钮等)、拨盘、滑动开关、操纵杆、点击式转盘等。在一些备选实施例中，(一个或多个)输入控制器160可选地与以下各 项中的任意项(或没有)耦合：键盘、红外端口、USB端口、触笔以 及诸如鼠标之类的指点设备。一个或多个按钮(例如，208，图2)可 选地包括针对扬声器111和/或麦克风113的音量控制的上/下按钮。 该一个或多个按钮可选地包括下压按钮(例如，206，图2)。
触敏显示器系统112在设备与用户之间提供输入接口和输出接 口。显示器控制器156从触敏显示器系统112接收电信号和/或向触敏 显示器系统112发送电信号。触敏显示器系统112向用户显示视觉输 出。该视觉输出可选地包括图形、文本、图标、视频以及上述各项的 任何组合(统称为“图形”)。在一些实施例中，一些或所有视觉输 出对应于用户接口对象。
触敏显示器系统112具有基于触感和/或触觉接触而接受来自用 户的输入的触敏表面、传感器或传感器集。触敏显示器系统112和显 示器控制器156(连同存储器102中的任何相关联的模块和/或指令集) 检测触敏显示器系统112上的接触(以及接触的任意移动或阻断)， 并且将检测到的接触转换成与在触敏显示器系统112上显示的用户界 面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在 一些实施例中，在触敏显示器系统112与用户之间的接触点对应于用 户的手指或者触笔。
触敏显示器系统112可选地使用LCD(液晶显示屏)技术、LPD (发光聚合物显示器)技术或LED(发光二极管)技术，但在其他实 施例中使用其他显示技术。触敏显示器系统112和显示器控制器156 可选地使用现在已知或以后开发的多种触摸感测技术的任何一种来检测接触以及接触的任何移动或阻断，这些触摸感测技术包括但不限 于：电容、电阻、红外和表面声波技术，以及用于确定与触敏显示器 系统112的一个或多个接触点的其他接近传感器阵列或其他元件。在 一些实施例中，使用诸如可以在加利福尼亚州、库比蒂诺的Apple公 司的iPod和中找到的投射式互电容感测技术。
触敏显示器系统112可选地具有超过100dpi的视频分辨率。在 一些实施例中，触摸屏视频分辨率超过400dpi(例如，500dpi、800 dpi或者更大)。用户可选地使用诸如触笔、手指等之类的任何适当 物体或附属物与触敏显示器系统112进行接触。在一些实施例中，用 户界面被设计成通过基于手指的接触和手势来工作，由于手指在触摸 屏上的接触面积更大，因此基于手指接触和手势在精度上可能低于基 于触笔的输入。在一些实施例中，设备将粗略的基于手指的输入转译 成精确的指针/光标定位或用于执行用户所期望的动作的命令。
在一些实施例中，除了触摸屏之外，设备100可选地包括用于激 活或去激活特定功能的触摸板(未示出)。在一些实施例中，触摸板 是设备的与触摸屏不同的、不显示视觉输出的触敏区域。触摸板可选 地是与触敏显示器系统112分离的触敏表面或者由触摸屏形成的触敏 表面的延伸。
设备100还包括用于对各种组件供电的电力系统162。电力系统 162可选地包括电力管理系统、一个或多个电源(例如，电池、交流 电(AC))、充电系统、电力故障检测电路、电力转换器或反相器、 电力状态指示器(例如，发光二极管(LED))以及与便携式设备中 的电力的生成、管理和分配相关联的任何其他组件。
设备100可选地还包括一个或多个光学传感器164。图1A示出 了与I/O子系统106中的光学传感器控制器158耦合的光学传感器。 (一个或多个)光学传感器164可选地包括电荷耦合器件(CCD)或 互补金属氧化物半导体(CMOS)光电晶体管。(一个或多个)光学 传感器164接收通过一个或多个透镜投射的来自环境的光，并且将光 转换成代表图像的数据。与成像模块143(也被称作相机模块)相结 合，(一个或多个)光学传感器164可选地捕获静止图像或视频。在 一些实施例中，光学传感器位于设备100的背面，与设备正面上的触敏显示器系统112相对，从而使得触摸屏显示器能够用作静止和/或视 频图像获取的取景器。在一些实施例中，另一光学传感器位于设备的 正面，从而使得(例如，针对自拍，针对在用户查看触摸屏显示器上 的其他视频会议参与者的同时等)，获取用户的图像。
设备100可选地还包括一个或者多个接触强度传感器165。图1A 示出了与I/O子系统106中的强度传感器控制器159耦合的接触强度 传感器。(一个或多个)接触强度传感器165可选地包括一个或多个 压缩电阻应变仪、电容力传感器、电力传感器、压电力传感器、光学 力传感器、电容的触敏表面或者其他强度传感器(例如，用来在触敏 表面上测量接触的力(或者压力)的传感器)。(一个或多个)接触 强度传感器165从环境接收接触强度信息(例如，压力信息或者用于 压力信息的代表)。在一些实施例中，至少一个接触强度传感器与触 敏表面(例如，触敏显示器系统112)并置或者接近。在一些实施例 中，至少一个接触强度传感器位于设备100的背面，其与位于设备100 的前面的触摸屏显示器系统112相对。
设备100可选地还包括一个或多个接近传感器166。图1A示出 了与外围设备接口118耦合的接近传感器166。备选地，接近传感器 166与I/O子系统106中的输入控制器160耦合。在一些实施例中， 当多功能设备处于用户的耳朵附近时(例如，当用户正在打电话时)，接近传感器关闭并且禁用触敏显示器系统112。
设备100可选地还包括一个或多个触觉输出生成器167。图1A 示出了与I/O子系统106中的触感反馈控制器161耦合的触觉输出生 成器。(一个或多个)触觉输出生成器167可选地包括一个或者多个 电声设备(诸如，扬声器或者其他音频分量)和/或将能量转换成线性 运动的机电设备(诸如，电机、螺线管、电活性聚合物、压电式致动 器、静电致动器或者其他触觉输出生成组件(例如，将电信号转换成 设备上的触觉输出的组件))。在一些实施例中，(一个或多个)触 觉输出生成器165从触感反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉的触觉输出。在一些实 施例中，至少一个触觉输出生成器与触敏表面(例如，触敏显示器系 统112)并置或者接近，并且可选地通过垂直地(例如，进/出设备100 的表面)或者横向地(在与设备100的表面相同的平面中来回)移动触敏表面来生成触觉输出。在一些实施例中，至少一个触觉输出生成 器传感器位于设备100的背面，其与位于设备100的前面的触摸屏显 示器系统112相对。
设备100可选地还包括一个或多个加速度计168。图1A示出了 与外围设备接口118耦合的加速度计168。备选地，加速度计168可 选地与I/O子系统106中的输入控制器160。在一些实施例中，基于 对从一个或多个加速度计接收的数据的分析而按照纵向视图或者横向视图将信息显示在触摸屏显示器上。除了(一个或多个)加速度计 168之外，设备100可选地包括磁力计(未示出)和GPS(或者 GLONASS或者其他全球导航系统)接收器(未示出)以用于获得与 设备100的位置和定向(例如，纵向或横向)有关的信息。
在一些实施例中，存储在存储器102中的软件组件包括操作系统 126、通信模块(或指令集)128、接触/运动模块(或指令集)130、 图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输 入模块(或指令集)134、全球定位系统(GPS)模块(或指令集) 135以及应用(或指令集)136。此外，如在图1A和图3中所示，在 一些实施例中，存储器102(图1A)或者存储器370(图3)存储设 备/全局内部状态157。设备/全局内部状态157包括以下各项中的一 项或多项：活跃应用状态，指示当前活跃的应用(如果有的话)；显 示器状态，指示哪些应用、视图或其他信息占用触敏显示器系统112 各种区域；传感器状态，包括从设备的各种传感器和其他输入或控制 设备116获得的信息；以及与设备的位置和/或姿势有关的位置和/或 定位信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、 OS X、WINDOWS、或者诸如VxWorks的嵌入式操作系统)包括用 于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电 力管理等)的各种软件组件和/或驱动器，并且有助于在各种硬件与软 件组件之间的通信。
通信模块128有助于在一个或多个外部端口124上与其他设备的 通信，并且还包括用于处置通过RF电路108和/或外部端口124接收 的数据的各种软件组件。外部端口124(例如，通用串行总线(USB)、 FIREWIRE等)适于直接地或通过网络(例如，因特网、无线LAN等)间接地耦合至其他设备。在一些实施例中，外部端口是与在来自 加利福尼亚州的库比蒂诺的Apple公司的iPod和 设备中使用的30管脚连接器相同、相似和/或兼容的多管脚(例 如，30管脚)连接器。在一些实施例中，外部端口是与在来自加利福 尼亚州的库比蒂诺的Apple公司的iPod和设 备中使用的闪电连接器相同、相似和/或兼容的闪电连接器。
接触/运动模块130可选地检测与触敏显示器系统112(与显示器 控制器156相结合)和其他触敏设备(例如，触摸板或物理点击式转 盘)的接触。接触/运动模块130包括用于执行与接触的检测相关的各 种操作的各种软件组件(例如，通过手指或者通过触笔)，诸如确定 是否发生了接触(例如，检测手指向下事件)，确定接触的强度(例 如，接触的力或者压力，或者用于接触的力或者压力的替代)，确定 是否存在接触的移动并且跟踪跨触敏表面的移动(例如，检测一个或 多个手指拖拽事件)以及确定接触是否已停止(例如，检测手指向上 事件或接触阻断)。接触/运动模块130从触敏表面接收接触数据。确 定触点的移动(其由一系列接触数据所表示)可选地包括确定触点的 速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向上 的改变)。这些操作可选地应用于单个接触(例如，一个手指接触或 触笔接触)，或者多个同时接触(例如，“多触摸”/多个手指接触)。 在一些实施例中，接触/运动模块130和显示器控制器156检测触摸板 上的接触。
接触/运动模块130可选地检测由用户输入的手势。触敏表面上不 同的手势具有不同的接触模式(例如，不同的运动、计时和/或检测的 接触的强度)。因此，手势可选地通过检测特定接触模式被检测。例 如，检测手指叩击手势包括：检测手指向下事件、随后是在与该手指 向下事件(例如，在图标的定位处)相同的定位(或者基本上相同的 定位)检测手指向上(抬起)事件。作为另一示例，检测触摸表面上 的手指扫动(swipe)手势包括：检测手指向下事件、随后是检测一 个或多个手指拖拽事件并且再随后是检测手指向上(抬起)事件。类 似地，通过检测针对触笔的特定接触模式针对触笔可选地检测叩击、 扫动、拖曳和其他手势。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲 染和显示图形的各种已知软件组件，包括用于改变所显示图形的视觉 效果(例如，亮度、透明度、饱和度、对比度或者其他视觉属性)的 组件。如本文所使用的，术语“图形”包括可以向用户显示的任何对 象，包括但不限于：文本、网页、图标(诸如包括软按键的用户界面 对象)、数字图像、视频、动画等。
在一些实施例中，图形模块132存储表示待使用的图形的数据。 每个图形被可选地指派对应的代码。图形模块132从应用等接收指定 待显示的图形的一个或多个代码连同(如果有需要)坐标数据和其他 图形属性数据，并且然后生成屏幕图像数据以向显示器控制器156输 出。
触感反馈模块133包括各种软件组件，这些软件组件用于响应于 与设备100的用户交互来生成由触觉输出生成器167用来在设备100 上的一个或者多个位置处使用(一个或多个)触觉输出生成器167产 生触觉输出的指令(例如，由触觉反馈控制器161所使用的指令)。
文本输入模块134(其可选地是图形模块132的组件)提供用于 将文本录入各种应用(例如，联系人137、电子邮件140、IM 141、 浏览器147和需要文本输入的任何其他应用)中的软键盘。
GPS模块135确定设备的位置，并且提供这一信息以用于在各种 应用中使用(例如，提供给电话138以用于在基于位置的拨号中使用； 提供给相机143作为图片/视频元数据；以及提供给提供诸如天气小部 件、本地黄页小部件和地图/导航小部件的基于位置的服务的应用)。
应用136可选地包括以下模块(或指令集)或其子集或超集：
·联系人模块137(有时被称作地址簿或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息接发(IM)模块141；
·锻炼支持模块142；
·用于静止和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·小部件模块149，其可选地包括以下各项中的一项或多项：天气 小部件149-1、股票小部件149-2、计算器小部件149-3、闹钟小 部件149-4、词典小部件149-5以及由用户获得的其他小部件， 以及用户创建的小部件149-6；
·用于制作用户创建的小部件149-6的小部件创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其可选地由视频播放器模块和音乐 播放器模块组成；
·备忘录模块153；
·地图模块154；和/或
·在线视频模块155。
可选地被存储在存储器102中的其他应用136的示例包括其他文 字处理应用、其他图像编辑应用、画图应用、演示应用、具有JAVA 功能的应用、加密、数字权限管理、语音识别和语音复制。
结合触敏显示器系统112、显示器控制器156、接触/运动模块130、 图形模块132和文本输入模块134，联系人模块137包括管理地址簿 或联系人列表(例如，存储在存储器102或存储器370中的联系人模 块137的应用内部状态192中)的可执行指令，包括：将姓名添加到 地址簿；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址 或其他信息与姓名相关联；将图像与姓名相关联；对姓名进行分类和 排序；提供电话号码和/或电子邮件地址以发起和/或有助于通过电话 138、视频会议139、电子邮件140或IM 141的通信等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触 敏显示器系统112、显示器控制器156、接触/运动模块130、图形模 块132和文本输入模块134，电话模块138包括录入对应于电话号码 的字符的序列、访问地址簿137中的一个或多个电话号码、修改已经 被录入的电话号码、拨打相应的电话号码、进行会话以及当会话完成 时断开连接或挂断。如上所述，无线通信可选地使用多种通信标准、 协议和技术中的任何一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触 敏显示器系统112、显示器控制器156、(一个或多个)光学传感器 164、光学传感器控制器158、接触/运动模块130、图形模块132、文 本输入模块134、联系人列表137和电话模块138，视频会议模块139 包括用以根据用户指令发起、进行和终止在用户与一个或多个其他参 与者之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示器控制器156、接 触模块130、图形模块132和文本输入模块134，电子邮件客户端模 块140包括用以响应于用户指令创建、发送、接收和管理电子邮件的 可执行指令。结合图像管理模块144，电子邮件客户端模块140使创建和发送带有利用相机模块143拍摄的静止或视频图像的电子邮件变 得非常容易。
结合RF电路108、触敏显示器系统112、显示器控制器156、接 触模块130、图形模块132和文本输入模块134，即时消息接发模块 141包括用以录入对应于即时消息的字符序列、用以修改先前录入的 字符、用以传输相应的即时消息(例如，使用针对基于电话的即时消 息的短消息服务(SMS)或多媒体消息服务(MMS)协议，或者使用 针对基于因特网的即时消息的XMPP、SIMPLE、苹果推送通知服务 (APN)或IMPS)、以于接收即时消息和用以查看接收的即时消息 的可执行指令。在一些实施例中，如在MMS和/或增强型消息接发服 务(EMS)中所支持的那样，所传输和/或所接收的即时消息可选地 包括图形、照片、音频文件、视频文件和/或其他附件。如本文中所使 用的，“即时消息接发”指代基于电话的消息(例如，使用SMS或 MMS发送的消息)和基于因特网的消息(例如，使用XMPP、SIMPLE、 APN或IMPS发送的消息)二者。
结合RF电路108、触敏显示器系统112、显示器控制器156、接 触模块130、图形模块132、文本输入模块134、GPS模块135、地图 模块154和音乐播放器模块146，锻炼支持模块142包括用以创建锻 炼(例如，具有时间、距离和/或卡路里燃烧目标)；与锻炼传感器(在运动设备和智能手表中)通信；接收锻炼传感器数据；校准用来监测 锻炼的传感器；选择并且播放用于锻炼的音乐；以及显示、存储并且 传输锻炼数据的可执行指令。
结合触敏显示器系统112、显示器控制器156、光学传感器164、 光学传感器控制器158、接触/运动模块130、图形模块132和图像管 理模块144，相机模块143包括用以捕获静止图像或视频(包括视频 流)并且将它们存储到存储器102中，修改静止图像或视频的特性和 /或从存储器102删除静止图像或视频的可执行指令。
结合触敏显示器系统112、显示器控制器156、接触/运动模块130、 图形模块132、文本输入模块134和相机模块143，图像管理模块144 包括用以布置、修改(例如，编辑)、或以其他方式操纵、标记、删 除、呈现(例如，在数字幻灯片演示或相册中)以及存储静止和/或视 频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示器系统控制器156、 接触模块130、图形模块132和文本输入模块134，浏览器模块147 包括用以根据用户指令浏览因特网(包括搜索、链接到、接收和显示 网页或网页的部分以及附件与被链接到网页的其他文件)的可执行指 令。
结合RF电路108、触敏显示器系统112、显示器系统控制器156、 接触模块130、图形模块132、文本输入模块134、电子邮件客户端模 块140和浏览器模块147，日历模块148包括用以根据用户指令创建、 显示、修改和存储日历和与日历相关联的数据(例如，日历条目、待 办事项列表等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示器系统控制器156、 接触/运动模块130、图形模块132、文本输入模块134和浏览器模块 147，小部件模块149是可选地由用户下载和使用的小型应用(例如， 天气小部件149-1、股票小部件149-2、计算器小部件149-3、闹钟小 部件149-4和词典小部件149-5)，或者由用户创建的小型应用(例 如，用户创建的小部件149-6)。在一些实施例中，小部件包括HTML (超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文 件。在一些实施例中，小部件包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！小部件)。
结合RF电路108、触敏显示器系统112、显示器系统控制器156、 接触模块130、图形模块132、文本输入模块134和浏览器模块147， 小部件创建器模块150包括创建小部件(例如，将网页的用户指定部 分转变成小部件)的可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、 图形模块132和文本输入模块134，搜索模块151包括用以根据用户 指令搜索存储器102中的与一条或多条搜索准则(例如，一个或多个 用户指定的搜索项)匹配的文本、音乐、声音、图像、视频和/或其他 文件的可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、 图形模块132、音频电路110、扬声器111，RF电路108以及浏览器 模块147，视频和音乐播放器模块152包括允许用户下载和回放记录 的音乐以及按照一种或多种文件格式存储的其他声音文件(诸如MP3 或AAC文件)的可执行指令，并且包括用以(例如，在触敏显示器 系统112上或在无线地或经由外部端口124外部连接的显示器上)显 示、呈现或者以其他方式回放视频的可执行指令。在一些实施例中， 设备100可选地包括诸如iPod(Apple公司的商标)的MP3播放器的功能。
结合触敏显示器系统112、显示器控制器156、接触模块130、图 形模块132和文本输入模块134，备忘录模块153包括根据用户指令 创建并且管理备忘录、待办事项列表等的可执行指令。
结合RF电路108、触敏显示器电路112、显示器控制器156、接 触模块130、图形模块132、文本输入模块134、GPS模块135和浏 览器模块147，地图模块154包括根据用户指令接收、显示、修改和 存储地图以及与地图相关联的数据(例如，驾驶方向；关于在特定位 置或附近的商店及其他兴趣点的数据；以及其他基于位置的数据)的 可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、 图形模块132、音频电路110、扬声器111、RF电路108、文本输入 模块134、电子邮件客户端模块140和浏览器模块147，在线视频模 块155包括允许用户访问、浏览、接收(例如，通过流传输和/或下载)、(例如，在触摸屏上或在无线地或经由经由外部端口124外部连接的 显示器上)回放特定在线视频、发送具有到特定在线视频的链接的电 子邮件以及以其他方式管理按照诸如H.264之类的一个或多个文件格 式的在线视频的可执行指令。在一些实施例中，即时消息接发模块141 而不是电子邮件客户端模块140被用来发送到特定在线视频的链接。
上述模块和应用中的每一个均对应于用于执行上文所述的一个 或多个功能以及在本申请中描述的方法(例如，本文所述的计算机实 现方法以及其他信息处理方法)的指令集。这些模块(即，指令集) 无需被实施为单独的软件程序、过程或模块，并且因此这些模块的各 种子集可选地在各种实施例中被组合或者重新布置。在一些实施例 中，存储器102可选地存储上述模块和数据结构的子集。此外，存储 器102可选地存储上文未描述的附加模块和数据结构。
在一些实施例中，设备100是其中排他地通过触摸屏和/或触摸板 来执行设备上的预定的功能集合的操作的设备。通过将触摸屏和/或触 摸板用作设备100的操作的主要输入控制设备，可选地减少设备100 上的物理输入控制设备(诸如下压按钮、拨盘等)的数目。
排他地通过触摸屏和/或触摸板执行的该预定的功能集合可选地 包括在用户界面之间的导航。在一些实施例中，当被用户触摸时，触 摸板将设备100从在设备100显示上的任意用户界面导航到主画面屏 幕、主画面或根菜单。在此类实施例中，“菜单按钮”使用触摸板被 实施。在一些其他实施例中，菜单按钮是物理下压按钮或其他物理输 入控制设备而不是触摸板。
图1B是图示了根据一些实施例的用于事件处置(handle)的示例 性组件的框图。在一些实施例中，存储器102(在图1A中)或存储 器370(图3)包括事件分类器170(例如，在操作系统126中)和相 应的应用136-1(例如，前述应用136、137-155、380-390中的任何应用)。
事件分类器170接收事件信息，并且确定应用136-1以及应用 136-1的向其递送该事件信息的应用视图191。事件分类器170包括 事件监测器171和事件分派器模块174。在一些实施例中，应用136-1 包括应用内部状态192，其指示当应用活跃或执行时在触敏显示器系 统112上显示的(一个或多个)当前应用视图。在一些实施例中，设 备/全局内部状态157被事件分类器170用来确定那些应用当前活跃， 并且应用内部状态192由事件分类器170用来确定向其递送事件信息 的应用视图191。
在一些实施例中，应用内部状态192包括附加信息，诸如以下各 项中的一项或多项：当应用136-1恢复执行时将被使用的恢复信息， 指示应用136-1正在显示或准备好显示的信息的用户界面状态信息， 使用户能够回到应用136-1的之前状态或视图的状态队列以及由用户 执行的先前动作的重做/撤销队列。
事件监测器171从外围设备接口118接收事件信息。事件信息包 括关于子事件(例如，作为多触摸手势的一部分的触敏显示器系统112 上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106 或传感器(诸如接近传感器166、加速度计168和/或麦克风113(通 过音频电路110))接收的信息。外围设备接口118从I/O子系统106 接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施例中，事件监测器171以预定间隔向外围设备接口 118发送请求。作为响应，外围设备接口118传输事件信息。在其他 实施例中，只在存在重要事件(例如，接收到超过预定噪声阈值和/ 或长于预定持续时间的输入)时，外围设备接口118才传输事件信息。
在一些实施例中，事件分类器170还包括命中视图确定模块172 和/或活跃事件识别器确定模块173。
命中视图确定模块172提供用于在触敏显示器系统112显示多于 一个视图时确定子事件在一个或多个视图中发生的位置的软件程序。 视图由用户在显示器上可以看到的控件和其他元件组成。
与应用相关联的用户界面的另一方面是一组视图，有时在本文中 被称为应用视图或用户界面窗口，其中显示信息并且发生基于触摸的 手势。其中检测到触摸的(相应应用的)应用视图可以对应于该应用 的程序或视图层次中的程序层级。例如，其中检测到触摸的最低层级 视图可选地被称为命中视图，并且可以至少部分基于开始基于触摸的 手势的初始触摸的命中视图来可选地确定被识别为正确输入的事件 集。
命中视图确定模块172接收与基于触摸的手势的子事件有关的信 息。当应用具有以层次组织的多个视图时，命中视图确定模块172将 该层次结构中应当处置该子事件的最低层视图标识为命中视图。在大 部分情况下，命中视图是其中发生了发起子事件(即，子事件序列中 形成事件或潜在事件的第一个子事件)的最低层级的视图。一旦命中 视图由命中视图确定模块标识，该命中视图就通常接收与使其被标识 为命中视图的相同触摸或输入源有关的所有子事件。
活跃事件识别器确定模块173确定视图层次中应当接收特定子事 件序列的一个或多个视图。在一些实施例中，活跃事件识别器确定模 块173确定只有命中视图应当接收特定子事件序列。在其他实施例中， 活跃事件识别器确定模块173确定包括子事件的物理位置的所有视图 都是有效涉及的视图，并且因此确定所有有效涉及的视图都应当接收 特定子事件序列。在其他实施例中，即使触摸子事件被完全限定到与 一个特定视图相关联的区域，层次中更高的视图仍然将保持作为有效 涉及的视图。
事件分派器模块174将事件信息分派至事件识别器(例如，事件 识别器180)。在包括活跃事件识别器确定模块173的实施例中，事 件分派器模块174将事件信息递送至由活跃事件识别器确定模块173 确定的事件识别器。在一些实施例中，事件分派器模块174将事件信 息存储在事件队列中，该事件信息由相应的事件接收器模块182取回。
在一些实施例中，操作系统126包括事件分类器170。备选地， 应用136-1包括事件分类器170。在更多其他实施例中，事件分类器 170是单独模块，或者是存储器102中存储的另一模块(诸如接触/ 运动模块130)的一部分。
在一些实施例中，应用136-1包括多个事件处置器190以及一个 或多个应用视图191，其中的每一个包括用于处置发生在该应用的用 户界面的相应视图内的触摸事件的指令。应用136-1的每个应用视图 191包括一个或多个事件识别器180。通常，相应的应用视图191包 括多个事件识别器180。在其他实施例中，事件识别器180中的一个 或多个事件识别器是单独模块(诸如用户接口套件(未示出))的一 部分，或者应用136-1从中继承方法和其他属性的更高层对象。在一 些实施例中，各事件处置器190包括以下各项中的一项或多项：数据 更新器176、对象更新器177、GUI更新器178和/或从事件分类器170 接收的事件数据179。事件处置器190可选地利用或调用数据更新器 176、对象更新器177或GUI更新器178来更新应用内部状态192。 备选地，应用视图191中的一个或多个应用视图包括一个或多个相应 事件处置器190。同样，在一些实施例中，数据更新器176、对象更 新器177和GUI更新器178中的一个或多个被包括在相应的应用视图 191中。
相应的事件识别器180从事件分类器170接收事件信息(例如， 事件数据179)，并基于该事件信息标识事件。事件识别器180包括 事件接收器182和事件比较器184。在一些实施例中，事件识别器180 还包括以下各项的至少子集：元数据183和事件递送指令188(其可 选地包括子事件递送指令)。
事件接收器182从事件分类器170接收事件信息。该事件信息包 括关于子事件(例如，触摸或触摸移动)的信息。取决于子事件，事 件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运 动时，事件信息还可选地包括子事件的速度和方向。在一些实施例中， 事件包括设备从一个定向到另一个定向的旋转(例如，从纵向到横向 的旋转，反之亦然)，并且事件信息包括关于设备的当前定向(也被 称作设备姿态)的对应信息。
事件比较器184将事件信息与预定的事件或子事件定义进行比 较，并且基于该比较确定事件或子事件，或者确定或更新事件或子事 件的状态。在一些实施例中，事件比较器184包括事件定义186。事 件定义186包含事件(例如，预定的子事件序列)的定义，例如，事 件1(187-1)、事件2(187-2)等等。在一些实施例中，事件187 中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多 触摸。在一个示例中，针对事件1(187-1)的定义是对显示的对象的 双叩击。该双叩击例如包括对显示的对象的、预定阶段的第一触摸(触摸开始)、预定阶段的第一抬起(触摸结束)、对显示对象的、预定 阶段的第二触摸(触摸开始)以及预定阶段的第二抬起(触摸结束)。 在另一示例中，针对事件2(187-2)的定义是对显示对象的拖拽。该 拖拽例如包括对显示的对象的、预定阶段的触摸(或接触)、该触摸 跨触敏显示器系统112上的移动以及触摸的抬起(触摸结束)。在一 些实施例中，事件还包括针对一个或多个相关联的事件处置器190的 信息。
在一些实施例中，事件定义187包括针对相应用户界面对象的事 件的定义。在一些实施例中，事件比较器184执行命中测试以确定哪 个用户界面对象与子事件相关联。例如，在其中三个用户界面对象被 显示在触敏显示器系统112上的应用视图中，当在触敏显示器系统 112上检测到触摸时，事件比较器184执行命中测试以确定三个用户 界面对象中(如果有的话)的哪个用户界面对象与该触摸(子事件) 相关联。如果每个显示对象均与相应的事件处置器190相关联，则事 件比较器使用命中测试的结果来确定应当激活哪个事件处置器190。 例如，事件比较器184选择与触发命中测试的子事件和对象相关联的 事件处置器。
在一些实施例中，针对各事件187的定义还包括延迟的动作，其 延迟事件信息的递送，直到已经确定子事件序列是否与事件识别器的 事件类型对应。
当各事件识别器180确定一系列子事件不与事件定义186中的任 何事件匹配时，该相应的事件识别器180进入事件不可能、事件失败 或者事件结束状态，此后该相应的事件识别器180忽视基于触摸的手 势的后续子事件。在这种情况下，对于命中视图保持活跃的其他事件 识别器(如果有的话)，继续跟踪和处理正在进行的基于触摸的手势 的子事件。
在一些实施例中，各事件识别器180包括具有可配置的属性、标 志和/或列表的元数据183，其指示事件递送系统应当如何执行去往有 效涉及的事件识别器的子事件递送。在一些实施例中，元数据183包 括可配置的属性、标志和/或列表，其指示事件识别器如何或者能够彼 此交互。在一些实施例中，元数据183包括可配置的属性、标志和/ 或列表，其指示子事件是否被递送到视图或程序层次中的不同层级。
在一些实施例中，各事件识别器180在事件的一个或多个特定子 事件被识别时激活与事件相关联的事件处置器190。在一些实施例中， 各事件识别器180向事件处置器190递送与事件相关联的事件信息。 激活事件处置器190不同于向相应的命中视图发送(或延迟发送)子 事件。在一些实施例中，事件识别器180抛出与识别的事件相关联的 标志，并且与该标志相关联的事件处置器190抓住该标志并执行预定 的过程。
在一些实施例中，事件递送指令188包括子事件递送指令，其递 送关于子事件的事件信息而不激活事件处置器。相反，子事件递送指 令向与一系列子事件或有效涉及的视图相关联的事件处置器递送事 件信息。与一系列子事件或与有效涉及的视图相关联的事件处置器接 收该事件信息并执行预定过程。
在一些实施例中，数据更新器176创建并更新在应用136-1中使 用的数据。例如，数据更新器176更新在联系人模块137中使用的电 话号码，或者存储在视频播放器模块145中使用的视频文件。在一些 实施例中，对象更新器177创建并更新在应用136-1中使用的对象。 例如，对象更新器176创建新的用户界面对象或更新用户界面对象的 定位。GUI更新器178更新GUI。例如，GUI更新器178准备显示器 信息，并且将其发送至图形模块132以用于在触敏显示器上显示。
在一些实施例中，事件处置器190包括或能够访问数据更新器 176、对象更新器177和GUI更新器178。在一些实施例中，数据更 新器176、对象更新器177和GUI更新器178被包括在相应的应用 136-1或应用视图191的单个模块中。在其他实施例中，它们被包括 在两个或更多个软件模块中。
应当理解，前面关于触敏显示器上的用户触摸的事件处置的论述 也适用于操作具有输入设备的多功能设备100的其他形式的用户输 入，其中不是所有用户输入都是在触摸屏上被发起的。例如，与单个 或多个键盘按压或保持可选地相配合的鼠标移动和鼠标按钮按压；触 控板上的接触移动(诸如叩击、拖拽、滚动等)；触笔输入，设备的 移动；口头指令；检测到的眼睛移动，生物测定的输入；和/或上述各 项的任何组合，都可选地用作与定义要被识别的子事件对应的输入。
图2图示了根据一些实施例的具有触摸屏112(例如，触敏显示 器系统112，图1A)的便携式多功能设备100。触摸屏可选地显示用 户界面(UI)200内的一个或多个图形。在这些实施例中以及如下所 述的其他实施例中，用户被使得能够通过对图形做出手势(例如，通 过一个或多个手指202(在图中未按比例画出)或一个或多个触笔(在 图中未按比例画出))来选择图形中的一个或多个图形。在一些实施 例中，对一个或多个图形的选择发生在用户阻断与一个或多个图形接 触的时候。在一些实施例中，手势可选地包括一个或多个叩击、一个 或多个扫动(从左到右、从右到左、向上和/或向下)和/或已经与设 备100接触的手指的转动(从右到左、从左到右、向上和/或向下)。 在一些实现方式或者情况中，与图形的无意接触不选择图形。例如， 当与选择对应的手势是叩击时，扫过应用图标的扫动手势可选地不会 选择对应的应用。
设备100可选地还包括一个或多个物理按钮，诸如“主画面 (home)”或菜单按钮204。如前所述，菜单按钮204可选地用来导 航至可选地在设备100上执行的应用集合中的任何应用136。备选地， 在一些实施例中，菜单按钮被实施为触摸屏显示器上显示的GUI中的 软按键。
在一些实施例中，设备100包括触摸屏显示器、菜单按钮204、 用于打开/关闭设备电源和锁定设备的下压按钮206、(一个或多个) 音量调节按钮208、订户标识模块(SIM)卡槽210、耳机插口212 和对接/充电外部端口124。下压按钮206可选地用来通过压下该按钮并使该按钮保持在压下状态预定的时间间隔来打开/关闭设备电源；通 过压下该按钮并在经过预定的时间间隔之前释放该按钮来锁定设备； 和/或解锁设备或发起解锁过程。在一些实施例中，设备100还通过麦 克风113接受用于激活或去激活某些功能的口头输入。设备100可选 地还包括用于在触敏显示器系统112上检测接触强度的一个或者多个 接触强度传感器165和/或用于生成用于设备100的用户的触觉输出的 一个或者多个触觉输出生成器167。
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能 设备的框图。设备300不需要是便携式的。在一些实施例中，设备300 是膝上型计算机、台式计算机、平板计算机、多媒体播放器设备、导 航设备、教育设备(诸如儿童的学习玩具)、游戏设备或控制设备(例 如，家用或工业控制器)。设备300通常包括一个或多个处理单元 (CPU)310、一个或多个网络或其他通信接口360、存储器370以及 用于互连这些组件的一个或多个通信总线320。通信总线320可选地 包括互连和控制在系统组件之间通信的电路(有时被称作芯片组)。 设备300包括含有显示器340(其通常为触摸屏显示器)的输入/输出 (I/O)接口330。I/O接口330也可选地包括键盘和/或鼠标(或其他 指点设备)350和触摸板355、用于在设备300上生成触觉输出的触 觉输出生成器357(例如，类似于以上参考附图1A所描述的触觉输出生成器167)、传感器359(例如，与以上参考附图1A所描述的接 触强度传感器165类似的光学、加速度、接近、触敏和/或接触强度传 感器)。存储器370包括高速随机访问存储器，诸如DRAM、SRAM、 DDR RAM或其他随机访问固态存储设备；并且可选地包括非易失性 存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或 其他非易失性固态存储设备。存储器370可选地包括远离(一个或多 个)CPU 310的一个或多个存储设备。在一些实施例中，存储器370 存储与存储在便携式多功能设备100(图1)的存储器102中的程序、 模块、和数据结构类似的程序、模块、和数据结构或其子集。此外， 存储器370可选地存储未存在于便携式多功能设备100的存储器102 中的附加程序、模块和数据结构。例如，设备300的存储器370可选 地存储画图模块380、演示模块382、文字处理模块384、网站创建模 块386、盘编写模块388和/或电子表格模块390，而便携式多功能设 备100(图1A)的存储器102可选地不存储这些模块。
图3中的上述元件中的每个元件可选地被存储在前述存储器设备 中的一个或多个设备中。上述模块中的每个模块对应于用于执行如上 所述的功能的指令集。上述模块或程序(即，指令集)不需要被实施 为单独软件程序、过程或模块，并且因此这些模块的各种子集可选地 在各实施例中被组合或以其他方式重新布置。在一些实施例中，存储 器370可选地存储上述模块和数据结构的子集。此外，存储器370可 选地存储上文未描述的附加模块和数据结构。
现在把注意力转向可选地在便携式多功能设备100上实施的用户 界面(“UI”)的实施例。
图4A图示了根据一些实施例的用于便携式多功能设备100上的 应用的菜单的示例性用户界面。类似用户界面可选地在设备300上被 实施。在一些实施例中，用户界面400包括以下元件或其子集或超集：
用于(一个或多个)无线通信(诸如蜂窝信号和Wi-Fi信号)的 (一个或多个)信号强度指示符402；
时间404；
蓝牙指示符；
电池状态指示符406；
具有用于频繁使用的应用的图标的托盘408，诸如：
电话模块138的图标416，被标记为“电话”，其可选地包括 未接呼叫或语音电子邮件消息的数目的指示符414；
电子邮件客户端模块140的图标418，被标记为“邮件”，其 可选地包括未读电子邮件的数目的指示符410；
浏览器模块147的图标420，被标记为“浏览器”；以及
视频和音乐播放器模块152的图标422，也被称为iPod(Apple 公司的商标)模块152，被标记为“iPod”；以及
其他应用的图标，诸如：
IM模块141的图标424，被标记为“消息”；
日历模块148的图标426，被标记为“日历”；
图像管理模块144的图标428，被标记为“照片”；
相机模块143的图标430，被标记为“相机”；
在线视频模块155的图标432，被标记为“在线视频”；
股票小部件149-2的图标434，被标记为“股票”；
地图模块154的图标436，被标记为“地图”；
天气小部件149-1的图标438，被标记为“天气”；
闹钟小部件149-4的图标440，被标记为“时钟”；
锻炼支持模块142的图标442，被标记为“锻炼支持”；
备忘录模块153的图标444，被标记为“备忘录”；以及
用于设置应用或者模块的图标446，其提供对设备100的设置 和其各种应用136的访问。
应当注意到，在图4A中所图示的图标标签仅为示例性。例如， 在一些实施例中，视频和音乐播放器模块152的图标422被标记为“音 乐”或“音乐播放器”。其他标签可选地用于各种应用图标。在一些 实施例中，相应应用图标的标签包括对应于相应应用图标的应用名 称。在一些实施例中，特定应用图标的标签与对应于特定应用图标的 应用名称不同。
图4B图示了具有与显示器450分离的触敏表面451(例如，图3 的平板计算机或触摸板355)的设备(例如，图3的设备300)上的 示例性用户界面。设备300还可选地包括用于在触敏表面451上检测 接触强度的一个或者多个接触强度传感器(例如，传感器357中的一个或者多个传感器)和/或用于生成用于设备300的用户的触觉输出的 一个或者多个触觉输出生成器359。
图4B图示了具有与显示器450分离的触敏表面451(例如，图3 的平板计算机或触摸板355)的设备(例如，图3的设备300)上的 示例性用户界面。以下许多示例将参考检测在与显示器分离的触敏表 面上的输入的设备被给出，如图4B中所示。在一些实施例中，触敏表面(例如，图4B中的451)具有对应于显示器(例如，450)上的 主轴(例如，图4B中的453)的主轴(例如，图4B中的452)。根 据这些实施例，设备检测在对应于显示器上的相应位置的位置处(例 如，在图4B中，460对应于468并且462对应于470)的与触敏表面 451的接触(例如，图4B中的460和462)。通过这种方式，当触敏 表面与显示器分离时，由设备在触敏表面(例如，图4B中的451) 上检测到的用户输入(例如，接触460和接触462及其移动)由设备 使用来操纵多功能设备的显示器(例如，图4B中的450)上的用户 界面。应当理解，类似方法可选地用于本文所述的其他用户界面。
此外，虽然以下示例主要针对手指输入(例如，手指接触、手指 叩击手势、手指扫动手势等)而被给出，但是应当理解的是，在一些 实施例中，手指输入中的一个或多个手指输入可以被来自另一输入设 备的输入(例如，基于鼠标的输入或触笔输入)或同一设备上的另一 类型的输入(按钮按压)替换。例如，扫动手势可选地被鼠标点击(例 如，而不是接触)随后沿扫动路径移动光标(例如，而不是接触的移 动)替换。作为另一示例，叩击手势可选地当光标位于叩击手势的位 置上(例如，而不是检测接触随后停止检测该接触)被鼠标点击替换。 类似地，当同时检测到多个用户输入时，应当理解，多个计算机鼠标 可选地被同时使用，或者鼠标和手指接触可选地被同时使用。
图4C图示了与显示器450和触敏表面451通信的示例性电子设 备。根据一些实施例，对于电子设备的至少子集而言，显示器450和 /或触敏表面451被集成到电子设备中。虽然参考与电子设备(例如， 图1A至图1B中的便携式多功能设备100或图3中的设备300)通信的触敏表面451和显示器450描述了下面更详细描述的示例，但是应 当理解，根据一些实施例，触敏表面和/或显示器与电子设备集成，而 在其他实施例中，触敏表面和显示器中的一个或多个与电子设备分 离。此外，在一些实施例中，电子设备具有集成显示器和/或集成触敏 表面并且和与电子设备分离的一个或多个附加显示器和/或触敏表面 通信。
在一些实施例中，在具有用户界面导航逻辑480的单个电子设备 (例如，下面参考图4C所描述的计算设备A)上执行下面参考图5A 至图5SS、图6A至图6C、图7A至图7D、图8A至图8C、图9A至 图9C和图10A至图10B所描述的所有操作。然而，应当理解，常常 多个不同的电子设备被链接在一起以执行下面参考图5A至图5SS、 图6A至图6C、图7A至图7D、图8A至图8C、图9A至图9C和图 10A至图10B所描述的操作(例如，具有用户界面导航逻辑480的电 子设备与具有显示器450的分离的电子设备和/或具有触敏表面451 的分离的电子设备通信)。在这些实施例中的任何一个实施例中，下 面参考图5A至图5SS、图6A至图6C、图7A至图7D、图8A至图 8C、图9A至图9C和图10A至图10B描述的电子设备是包含用户界 面导航逻辑480的(一个或多个)电子设备。此外，应当理解，在各 种实施例中，可以在多个不同的模块或电子设备之间划分用户界面导 航逻辑480；然而，出于本文中的描述的目的，用户界面导航逻辑480 将主要地被称为驻留在单个电子设备中以便不不必要地使各实施例 的其他方面难以理解。
在一些实施例中，用户界面导航逻辑480包括一个或多个模块(例 如，一个或多个事件处置器190，包括一个或多个对象更新器177和 一个或多个GUI更新器178，如上文参考图1B更详细描述的)，其 接收解译的输入并且响应于这些解译的输入，生成用于根据解译的输 入更新图形用户界面的指令，该解译的输入随后被用来更新显示器上 的图形用户界面。在一些实施例中，解译的输入是已经检测(例如， 通过图1A至图1B和图3中的接触运动130)、识别(例如，通过图 1B中的事件识别器180)和/或优先化(例如，通过图1B中的事件分类器170)的输入。在一些实施例中，通过电子设备处的模块生成解 译的输入(例如，电子设备接收原始接触输入数据以便标识来自原始 接触输入数据的手势)。在一些实施例中，解译的输入中的一些或全 部解译的输入由电子设备接收为解译的输入(例如，包括触敏表面451 的电子设备处理原始接触输入数据以便标识来自原始接触输入数据 的手势并且向包括用户界面导航逻辑480的电子设备发送指示手势的 信息)。
在一些实施例中，显示器450和触敏表面451两者与包含用户界 面导航逻辑480的电子设备(例如，图4C中的计算设备A)集成。 例如，电子设备可以是具有集成显示器(例如，图3中的340)和触 摸板(例如，图3中的355)的台式计算机或膝上型计算机。作为另 一示例，电子设备可以是具有触摸屏(例如，图2中的122)的便携 式多功能设备100(例如，智能电话、PDA、平板计算机等)。
在一些实施例中，触敏表面451与电子设备集成，而显示器450 不与包含用户界面导航逻辑480的电子设备(例如，图4C中的计算 设备B)集成。例如，电子设备可以是具有连接(经由有线或无线连 接)到分离的显示器(例如，计算机监视器、电视等)的集成触摸板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计 算机)。作为另一示例，电子设备可以是具有连接(经由有线或无线 连接)到分离的显示器(例如，计算机监视器、电视等)的触摸屏(例 如，图2中的122)的便携式多功能设备100(例如，智能电话、PDA、 平板计算机等)。
在一些实施例中，显示器450与电子设备集成，而触敏表面451 不与包含用户界面导航逻辑480的电子设备(例如，图4C中的计算 设备C)集成。例如，电子设备可以是具有连接(经由有线或无线连 接)到分离的触敏表面(例如，远程触摸板、便携式多功能设备等)的集成显示器(例如，图3中的340)的设备300(例如，台式计算 机、膝上型计算机、具有集成机顶盒的电视)。作为另一示例，电子 设备可以是具有连接(经由有线或无线连接)到分离的触敏表面(例 如，远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能 设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100 (例如，智能电话、PDA、平板计算机等)。
在一些实施例中，显示器450和触敏表面451两者都不与包含用 户界面导航逻辑480的电子设备(例如，图4C中的计算设备D)集 成。例如，电子设备可以是连接(经由有线或无线连接)到分离的触 敏表面(例如，远程触摸板、便携式多功能设备等)和分离的显示器(例如，计算机监视器、电视等)的单独的电子设备300(例如，台 式计算机、膝上型计算机、控制台、机顶盒等)。作为另一示例，电 子设备可以是具有连接(经由有线或无线连接)到分离的触敏表面(例 如，远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能 设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100 (例如，智能电话、PDA、平板计算机等)。
在一些实施例中，计算设备具有集成音频系统。在一些实施例中， 计算设备与音频系统通信，所述音频系统与计算设备分离。在一些实 施例中，音频系统(例如，集成在电视单元中的音频系统)集成有独 立的显示器450。在一些实施例中，音频系统(例如，立体声系统) 是与计算设备和显示器450分离的单独的系统。
用户界面和相关联的过程
现在把注意力转向可以利用与显示器和触敏表面通信和/或包括 显示器和触敏表面的电子设备(诸如图4C中的计算设备A-D之一) 实施的用户界面(“UI”)和相关联的过程的实施例。
图5A至图5SS图示了根据一些实施例的用于提供音频反馈的示 例性用户界面。这些附图中的用户界面用来图示下面所描述的过程， 包括图6A至图6C、图7A至图7D、图8A至图8C、图9A至图9C 以及图10A至图10B中的过程。虽然将参考与显示器450分离的触 敏表面451上的输入给出以下示例中的一些示例，但是在一些实施例 中，设备检测触摸屏显示器(其中，组合触敏表面和显示器)上的输 入，如图4A中所示。
现在把注意力转向可以在与显示器和音频系统通信的电子设备 (诸如便携式多功能设备100或设备300，如图4C所示)上实施的 用户界面(“UI”)和相关联的过程的实施例。在一些实施例中，电 子设备包括显示器。在一些实施例中，电子设备包括音频系统。在一 些实施例中，电子设备既不包括显示器也不包括音频系统。在一些实 施例中，显示器包括音频系统(例如，显示器和音频系统是电视的组 件)。在一些实施例中，音频系统和显示器的某些组件是分离的(例 如，显示器是电视的组件，并且音频系统包括与电视分离的条形音 响)。在一些实施例中，电子设备与分离的遥控器通信，所述电子设 备通过所述遥控器接收用户输入(例如，遥控器包括用户与电子设备 交互所通过的触敏表面或者触摸屏)。在一些实施例中，遥控器包括 检测遥控器的运动(例如，用户拾起遥控器)的运动传感器(例如， 加速度计和/或陀螺仪)。
图5A至图5G图示了根据一些实施例的用于结合改变对应于用 户界面对象的音频分量来改变用户界面的视觉特性的示例性用户界 面。这些附图中的用户界面用来图示下面所描述的过程，包括图6A 至图6C中的过程。
图5A图示了在显示器450上显示由设备所生成的用户界面517。 在一些实施例中，参考图5A至图5G所描述的各种用户界面对象的 视觉特性独立于用户输入而确定(例如，在缺少用户输入的情况下确 定用户界面对象的视觉特性)。在一些实施例中，用户界面517是屏 幕保护程序用户界面。
用户界面517包括第一用户界面对象501-a(例如，第一气泡)。 第一用户界面对象501-a具有各种视觉特性，包括形状(例如，圆形)、 大小和显示器450上的位置。设备还向音频系统(例如，显示器450 上的扬声器系统或单独的音频系统)提供(例如，与向显示器450提 供数据并发地)对应于第一用户界面对象501-a的声音输出的第一音 频分量503。
在一些实施例中，与第一用户界面对象501-a相关联的第一音频 分量503的一个或多个特性对应于第一用户界面对象501-a的视觉特 性。例如，如音频图516中所示，第一音频分量503的音高对应于第 一用户界面对象501-a的初始大小(通过表示音频图516中的第一音 频分量503的圆形的垂直位置表示第一音频分量503的音高)。作为 另一示例，第一音频分量503的立体声平衡(例如，音频图516中的 左/右分布)对应于显示器450上的第一用户界面对象501-a的水平位 置。在一些实施例中，根据第一用户界面对象501-a的一个或多个视 觉特性确定对应于第一用户界面对象501-a的第一音频分量503的一 个或多个特性。备选地，在一些实施例中，根据第一音频分量503的 一个或多个特性确定第一用户界面对象501-a的一个或多个视觉特 性。
当用户界面517被呈现在显示器450上并且声音输出被音频系统 提供时，设备向显示器450提供用于更新用户界面517的数据(例如， 第一用户界面对象501-a跨越显示器450移动并且第一用户界面对象 501-a的大小增加，如图5B中所示)。提供用于更新用户界面517 的数据独立于用户输入而发生(例如，在图5A中的遥控器5001上未 检测到用户输入)。设备还向音频系统提供用于更新声音输出的声音 信息，如图5B中的音频图516中所图示的(例如，音频分量503的 立体声平衡向右移位，如在图5B中的音频图516中由音频分量503 的图形表示向右的移动所表示的，并且音频分量503的音量减小，如 在图5B中的音频图516中由音频分量503的图形表示的减小的大小 所表示的)。
图5B示出了在图5A之后不久的时间处的用户界面517。在图5B 中，用户界面517包括具有可选地与第一用户界面对象501-a的视觉 特性不同的视觉特性的第二用户界面对象501-b(例如，第二气泡) (例如，第二用户界面对象501-b的位置和大小与第一用户界面对象 501-a的位置和大小不同)。设备还向音频系统提供(例如，与向显 示器450提供数据并发地)对应于第二用户界面对象501-b的声音输 出的第二音频分量505。例如，由于第二用户界面对象501-b的初始 大小(图5B)比第一用户界面对象501-a的初始大小(图5A)更大， 因而音频分量505的音高比第一音频分量503的音高更低(由图5B 中的音频图516中的第二音频分量505的较低位置表示)。在一些实 施例中，至少部分基于第一音频分量503，选择第二音频分量505。 例如，在一些实施例中，第一音频分量503和第二音频分量505具有组成和弦(例如，A小调和弦)的两个音高(例如，音符)的相应音 高。
如图5B中所示，更新用户界面517和更新声音输出包括结合以 对应于第一用户界面对象501-a的改变的视觉特性的方式改变第一音 频分量503来改变第一用户界面对象501-a的视觉特性中的至少一个 特性。例如，与图5A中的第一用户界面对象501-a相比较，图5B中 的第一用户界面对象501-a已经扩大，并且对应地在图5B中第一音 频分量503的音量已经减小。
图5C示出了在图5B之后不久的时间处的用户界面517。在图5C 中，用户界面517包括具有可选地与第一用户界面对象501-a和第二 用户界面对象501-b的视觉特性不同的视觉特性的第三用户界面对象 501-c(例如，第三气泡)(例如，第三用户界面对象501-c的位置和 大小与第一用户界面对象501-a的位置和大小以及第二用户界面对象 501b的位置和大小不同)。设备还向音频系统提供(例如，与向显示 器450提供数据并发地)对应于第三用户界面对象501-c的声音输出 的第三音频分量507。在一些实施例中，由于第三用户界面对象501-c 的初始大小(图5C)比第二用户界面对象501-b(图5B中所示的) 或者第一用户界面对象501-a(图5A中所示的)的初始大小更小，第 三音频分量507的音高比第一音频分量503或者第二音频分量505的 音高更高(由图5C中的音频图516中的音频分量507的较高的垂直 位置表示)，如图5C中所描绘的。在一些实施例中，至少部分基于 第一音频分量503，选择第三音频分量507。例如，在一些实施例中， 第一音频分量503、第二音频分量505和第三音频分量507具有组成 和弦(例如，A小调和弦)的三个音高(例如，音符)的相应音高。
如图5C中所示，更新用户界面517和更新声音输出包括结合以 对应于第二用户界面对象501-b的改变的视觉特性的方式改变第二音 频分量505来改变第二用户界面对象501-b的视觉特性中的至少一个 特性。例如，图5C示出了与图5B相比较第二用户界面对象501-b已 经扩大并且对应地在图5C中第二音频分量505的音量已经减小(例 如，如由图5C中的音频图516中的音频分量505的图形表示的减小 的大小所表示的)。另外，在图5B与图5C之间类似地更新第一用 户界面对象501-a的视觉特性和对应的第一音频分量503。
图5D图示了对声音输出和用户界面517的另一更新。在该示例 中，第二用户界面对象501-b变得更大并且对应的第二音频分量505 的音量减小，并且第三用户界面对象501-c变得更大并且对应的第三 音频分量507的音量减小。另外，第一用户界面对象501-a变得更大 并且向右移动，因此对应的第一音频分量503的音量减小并且第一音 频分量503的平衡向右移位。
图5E图示了对声音输出和用户界面517的另一更新。在该示例 中，第二用户界面对象501-b变得更大并且对应的第二音频分量505 的音量减小，并且第三用户界面对象501-c变得更大并且对应的第三 音频分量507的音量减小。然而，设备已经向显示器450提供数据来 更新用户界面517，包括停止显示第一用户界面对象501-a(例如，通 过使第一用户界面对象501-a移动/滑出显示器450和/或淡出)。结 合地，设备已经向音频系统提供数据来更新声音输出，包括停止提供 对应于第一用户界面对象501-a的第一音频分量503。
图5F图示了在稍后的时间处的用户界面517。在图5F中，第四 用户界面对象501-d和第五用户界面对象501-e是移动的。结合地， 音频分量509和音频分量511将根据第四用户界面对象501-d和第五 用户界面对象501-e的移动在其相应方向上移位。在图5F中，设备还检测到在遥控器5001的相应按钮上(例如，在菜单按钮5002上) 的用户输入513。响应于检测到用户输入513，设备向音频系统提供 用于改变音频分量509和音频分量511的声音信息(例如，通过中止 音频分量509和音频分量511)，如图5G中所示。设备还向显示器 450提供用于更新用户界面517和显示一个或多个控制用户界面对象 (例如，应用图标532-a至532-e和电影图标534-a至534-c)的数据。 在一些实施例中，第四用户界面对象501-d和第五用户界面对象501-e 继续与控制用户界面对象一起显示。例如，与控制用户界面对象相比 较，第四用户界面对象501-d和第五用户界面对象501-e在z方向上 显示更低，使得第四用户界面对象501-d和第五用户界面对象501-e 由控制用户界面对象重叠，如图5G中所示。
图5H图示了根据一些实施例的音频包络515。音频包络515的 垂直轴表示幅度(音量)，并且水平轴表示在用户输入的时间t0开始 的时间。音频包络515包括在t0与t1之间的起声(attack)期A(其 中，幅度随时间增加)、在t1与t2之间的衰减(decay)期D(其中， 幅度随时间减小)、在t2与t3之间的维持期S(其中，幅度随时间保 持恒定)和在t3与t4之间的释放期R(其中，幅度随时间呈指数/渐近 地减小)。在时间t4之后，停止对应于用户输入的声音输出。在一些 实施例中，音频包络515不包括衰减期D和/或维持期S。
在一些实施例中，由音频系统所提供的相应的音频分量具有与图 5H中所示的音频包络515类似的音频包络。响应于检测到用户输入 (例如，图5F中的用户输入513)，电子设备向音频系统提供用于 改变相应的音频分量的声音信息。在一些实施例中，响应于检测到用 户输入，修改音频包络的一个或多个方面(例如，增加相应音频分量 的起声)。
图5I至图5S图示了根据一些实施例的当用户操纵用户界面中的 控制对象(例如，滑动条或旋钮上的滑块)时提供音频反馈的用户界 面。这些附图中的用户界面用来图示下面所描述的过程，包括图7A 至图7D中的过程。
图5I图示了显示器450和遥控器5001，其两者与执行下面所描 述的某些操作的电子设备通信。在一些实施例中，遥控器5001具有 触敏表面451。在一些实施例中，遥控器5001还具有一个或多个按钮 或者可供件(affordance)，诸如菜单按钮5002、麦克风按钮5003、 播放/暂停按钮5004、观看列表按钮5005、音量增加按钮5006和/或 音量减小按钮5007。在一些实施例中，菜单按钮5002或者类似可供 件允许主屏幕用户界面显示在显示器450上。在一些实施例中，麦克 风按钮5003或者类似可供件允许用户向电子设备提供口头命令或者 语音条目。在一些实施例中，播放/暂停按钮5004用来播放或者暂停 在显示器450上描绘的音频或者视频媒体。在一些实施例中，观看列 表按钮5005允许观看列表用户界面显示在显示器450上。在一些实 施例中，观看列表用户界面给用户提供使用电子设备播放的多个音频 /视频媒体项。
图5I图示了在显示器450上显示的视频回放视图500。视频回放 视图500是提供媒体项(例如，电影或者电视节目)的显示的用户界 面。在一些情况下，媒体项的显示处于暂停或者播放状态。在一些实 施例中，视频回放视图500提供与媒体项的导航相关联的视频信息的 显示。图5I图示了在正常回放期间显示的电影的开场字幕。在一些 实施例中，虽然媒体项处于暂停或者播放状态，但是在触敏表面451 上检测到用户输入502(例如，轻触摸接触)。
图5J图示了在一些实施例中，响应于接收到用户输入502，电子 设备向显示器450提供用于提供视频回放视图500上的多个用户界面 对象的数据(例如，视频回放视图用户界面)。多个用户界面对象包 括导航滑动条506(有时也被称作搓擦条)上的滑块504(有时也被 称作播放头)。滑块504是被配置为控制参数(例如，表示所显示的 媒体项的总持续时间的时间线的导航滑动条506内的当前位置/时间) 的控制用户界面对象的示例。多个用户界面对象还包括音量控制用户 界面对象508(例如，指示由音频系统输出的声音的音量的音频控制 用户界面对象)。
在图5J中，滑块504被表示为正方形，其提供用户的与视频回 放视图500的交互的当前焦点不在滑块504上的视觉指示。为了比较， 在图5K中，滑块504被表示为具有视频预览510的圆形，其提供用 户的与视频回放视图500的交互的当前焦点在滑块504上的视觉指示。在一些实施例中，视频预览510显示与滑块504在滑动条506内 的位置对应的媒体项内的位置的预览图像。如后续附图(例如，图5L) 中所示，在一些实施例中，滑块504(具有圆形的形状)随着用户与 滑块504交互而变形。
图5K图示了遥控器5001检测到在位置512-1处开始并且在位置 512-2处结束(图5L)的用户输入512，其是用于拖曳滑块504在滑 动条506内的位置的交互。
在一些实施例中，遥控器5001检测本文所描述的用户输入并且 向电子设备传达关于用户输入的信息。当关于用户输入的信息被传达 至电子设备时，电子设备接收用户输入。在一些实施例中，电子设备 直接接收用户输入(例如，检测与电子设备集成的触敏表面上的用户 输入)。
在一些实施例中，电子设备确定用户输入512是用于以下的交互： 当用户输入512满足预定准则(诸如当当前焦点在滑块504上时，遥 控器5001检测到用户输入的接触强度的增加)时调节滑块504在滑 动条506内的位置。例如，在图5K中，用户输入512是当当前焦点 在滑块504上时检测到的具有大于轻按压阈值ITL的强度的拖曳手势。
用户输入512在显示器450上将滑块504从位置504-1(图5K) 拖曳至位置504(图5L)。因此，当电子设备接收到用户输入512时 (例如，与用户输入512并发地、与用户输入512连续地和/或响应于 用户输入512)，电子设备向显示器450提供数据以移动滑块504使得用户似乎将实时拖曳滑块504。
当接收到用户输入512时(例如，与用户输入512并发地、与用 户输入512连续地和/或响应于用户输入512)，电子设备还提供(在 图5K-5L的音频图516中表示的)用于提供声音输出514的声音信息。 在一些实施例中，声音输出514是对应于滑块504的拖曳的音频反馈 (例如，声音输出514具有根据滑块504从位置504-1至位置504-2 的拖曳而改变的一个或多个特性)。例如，根据音频图516中的声音 输出514画出的箭头对应于滑块504从位置504-1至位置504-2的拖 曳并且指示与用户输入512并发地和/或连续地提供声音输出514。另 外，根据声音输出514画出的箭头指示声音输出514根据滑块504的 移动而改变的方式(例如，声音输出514的立体声平衡向右移位)， 如下面所描述的。
在该示例中，音频系统包括两个或更多扬声器，其包括左扬声器 和右扬声器。声音输出514的一个或多个特性包括(在音频图516的 水平轴上表示的)左扬声器与右扬声器之间的平衡(例如，声音输出 强度的比例)。在一些实施例中，一个或多个特性还包括(在音频图 516中的声音输出514的垂直位置上表示的)声音输出514的音高。 在一些实施例中，声音输出514仅具有基于用户输入512的位置或者 移动的单个特性(例如，诸如音高或者平衡)。在该示例中，根据音 频图516中的声音输出514画出的箭头的方向和幅度指示音高和平衡 如何根据滑块504从位置504-1至位置504-2的拖曳而改变。因此， 当滑块504从位置504-1向右移动至位置504-2时，声音输出514的 平衡向右移位，这给定用户向右移动的音频印象。声音输出514的音 高也在滑块504的向右移动期间移位更高，这直觉地给定用户在由滑 动条506表示的时间中移动“更高”的印象。备选地，在一些实施例 中，音高在滑块504的向右移动期间移位更低。
图5M至图5N与图5K至图5L类似。然而，在图5M至图5N 中，遥控器5001检测到在其他方面与用户输入512类似但具有更大 速度的用户输入518。像用户输入512那样，用户输入518在位置504-1 处开始拖曳滑块504。但是由于用户输入518具有更大的速度，该用 户输入比用户输入512更远地将滑块504拖曳至位置504-3。当接收 到用户输入518时(例如，与用户输入518并发地、与用户输入518 连续地和/或响应于用户输入518)，电子设备提供(在图5M至5N 的音频图516中表示的)用于提供声音输出520的声音信息。
在一些实施例中，电子设备向用户提供指示相应用户输入的速度 的各种音频和视觉标记。例如，声音输出514的音量基于滑块504从 位置504-1至位置504-2的移动的速度(或者用户输入512从位置 512-1至512-2的速度)，如图5K至5L中所示；并且声音输出520的音量基于滑块504从位置504-1至位置504-3的移动的速度(或者 用户输入518从位置518-1至518-2的速度)。在音频图516中(图 5K至图5N)，通过表示相应声音输出的圆形的大小描绘每个相应声 音输出的音量。如从声音输出514(图5K至图5L)和声音输出520 (图5M至图5N)的比较可以看到，与较慢的用户输入512(图5K 至图5L)和较低声的声音输出514相比较，较快的用户输入518(图 5M-5N)导致较高声的声音输出520。
在一些实施例中，电子设备基于滑块504的移动(例如，速度或 者位置)或者基于用户输入512/518的移动(例如，速度和/或位置)， 视觉地对滑块504进行区分。例如，如图5L和图5N中所示，基于 用户输入的速度和/或方向，滑块504显示有尾部(例如，滑块504 被延长/伸展)。由于用户输入512和用户输入518二者向右拖曳滑块 504，因而在这两个示例中滑块504向左伸展(例如，以与向右移动 的彗星类似)。但是由于用户输入518比用户输入512更快，因而滑 块504作为用户输入518的结果(图5N)比作为用户输入512的结 果(图5L)伸展更多。
图5O至图5P图示了用户输入518从位置518-2(图5O)至图 518-3(图5P)的继续，其将滑块504从在滑动条506的中间附近的 位置504-3(图5O)拖曳至对应于滑动条506的终点的位置504-4(图 5P)。如上文所描述的，当接收到用户输入518的继续时(例如，与 用户输入518并发地、与用户输入518连续地和/或响应于用户输入 518)，电子设备提供用于提供声音输出520的继续的声音信息(在 图5O至图5P中的音频图516中表示的)直到滑块504到达位置504-4 (或者直到在滑块504到达位置504-4之前短时间)。在一些实施例 中，电子设备向音频系统提供声音信息，以提供声音输出522来指示 滑块504位于滑动条506的终点处(例如，声音输出522是指示滑块 504已经与滑动条506的终点“冲突”的回响“啵嘤(BOING)”声 音)。声音输出522与声音输出514和520不同(例如，在时间上或 者在听觉上)。在一些实施例中，声音输出522不具有基于用户输入 518的一个或多个特性(例如，无论何时滑块504与滑动条506的终 点冲突，音频系统都提供相同声音而不管使得滑块504与滑动条506 的终点冲突的用户输入的特性(诸如速度)如何)。备选地，在一些 实施例中，声音输出522的音量基于当用户输入518到达滑动条506 的终点时用户输入518的速度(例如，与滑动条506的终点的较快的 冲突导致高声的回响“啵嘤”声音)。在一些实施例中，一旦到达滑 动条506的终点，就显示滑块504抵着滑动条506的终点而吱吱响的 动画。因此，在一些实施例中，电子设备提供分立的(例如，不是连 续的)关于某些用户界面导航事件的音频和视觉反馈(例如，控制用 户界面对象(诸如滑块)、到达其控制范围的末尾(诸如滑动条的末 尾))。
图5Q示出了图示电子设备如何向用户动态地并且流畅地提供音 频反馈以辅助对控制用户界面对象(例如，滑动条上的滑块)的操纵 的图形524。在一些实施例中，声音输出514/520的一个或多个特性 (例如，平衡、音高和/或音量)每秒(例如，每秒10次、20次、30次或者60次)更新多次。例如，在一些实施例中，基于用户输入的 当前位置和用户输入的先前位置(例如，先前所测量的1/60秒)之间 的差异，以每秒60次计算用户输入的速度，并且基于该速度以每秒 60次确定对应的声音输出的音量。因此，图524图示了与用户输入 512/518连续地并且并发地提供声音输出514/520。基于用户输入 512/518的位置(或者滑块504的位置，如上文所描述的)，即时感 知地确定声音输出514/520的音高和平衡。随着用户输入512/518的 位置(例如，速度)的改变，即时感知地确定声音输出514/520的音 量。
在一些实施例中，基于用户输入512/518的位置(例如，速度) 的改变，确定声音输出514/520的音高和平衡。在一些实施例中，声 音输出514/520的音量基于用户输入512/518的位置(或者滑块504 的位置，如上文所描述的)。
类似地，在一些实施例中，以每秒多次(例如，每秒10次、20 次、30次或者60次)更新滑块504的视觉特性(例如，延长/伸展)。 因此，例如，基于用户输入的速度，以每秒60次更新滑块504的尾 部的长度，如上文所描述的。
图5R至图5S与图5K至图5L大部分类似，但是图示了其中连 续提供的声音输出的音高与用户输入的改变或者移动成比例的实施 例。图5R至图5S图示了遥控器5001检测到在526-1处开始并且在 位置526-2处结束(图5S)的用户输入526，其是用于在滑动条506 内将滑块504的位置从位置504-1拖曳至位置504-2的交互。因此， 当遥控器5001检测到用户输入526(例如，与用户输入526并发地、 与用户输入526连续地和/或响应于用户输入526)，电子设备向显示 器450提供用于移动滑块504的数据使得用户似乎将实时拖曳滑块 504。当接收到用户输入526时(例如，与用户输入526并发地、与 用户输入526连续地和/或响应于用户输入526)，电子设备还向音频 系统提供(在图5R至图5S中的音频图516中描绘的)用于提供声音 输出528的声音信息。声音输出528(图5R至图5S)与声音输出514 (图5K至图5L)之间的差异在于，声音输出528的音高独立于用户 输入526的移动(例如，速度，或者位置的改变)，而声音输出514 的音高随着用户输入512的位置而变化。在一些实施例中，相应声音 输出具有基于用户输入的移动的方向(或者滑块504的移动的方向) 的平衡(例如，向左移动具有左平衡并且向右移动具有右平衡，而不 管滑块504的位置如何)。
图5T至图5HH图示了根据一些实施例的当用户在用户界面中的 分立的用户界面对象(例如，图标)上导航时提供音频反馈的用户界 面。这些附图中的用户界面用来图示下面所描述的过程，包括图8A 至图8C中的过程。
图5T图示了在显示器450上显示的主画面屏幕用户界面530。主 画面屏幕用户界面530包括多个用户界面对象，其在该示例中包括应 用图标532(例如，应用图标532-a到532-e，其中的每一个是第一类 型的用户界面对象)和电影图标534(例如，电影图标534-a到534-c， 其中的每一个是第二类型的用户界面对象)。而且，在图5T中，主 画面屏幕用户界面530的当前焦点在应用图标532-e上，并且应用图 标532-e与多个用户界面对象中的其他用户界面对象在视觉上区分开 (例如，应用图标532-e比其他应用图标532稍微更大并且具有加亮 的边界)来指示当前焦点在应用532-e上。
在图5T中，当显示主画面屏幕用户界面530时，电子设备接收 遥控器5001上的用户输入536。用户输入536(例如，扫动手势输入) 具有幅度(例如，图5T的由脱离用户输入536的箭头的长度表示的 速度和/或距离)和方向(例如，图5T的由脱离用户输入536的箭头的方向表示的用户在触敏表面45上拖曳其手指的方向)。用户输入536是用于将主画面屏幕用户界面530的当前焦点从应用图标532-e 移动至应用图标532-d的请求。
图5U示出了响应于用户输入536(图5T)已经将当前焦点从应 用图标532-e移动至应用图标532-d。在图5U中，将应用图标532-d 与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示 当前焦点在应用图标532-d上。
图5U还图示了音频图516，其示出由音频系统所提供的与当前 焦点从应用图标532-e至应用图标532-d的移动对应的声音输出(例 如，声音输出538-1和可选的声音输出540-1)的表示。音频图516 上的水平轴表示音频分量的立体声平衡(例如，音频图516中的左/ 右分布)。声音输出538-1指示当前焦点已经移动至应用图标532-d。 可选地，音频系统提供声音输出540-1，其指示当前焦点已经从应用 图标532-e移动。在一些实施例中，音频系统在提供声音输出538-1 之前提供声音输出540-1。在一些实施例中，音频系统在不提供声音 输出540-1的情况下提供声音输出538-1。
音频图516的垂直轴表示声音输出538和540的音高。在一些实 施例中，相应的声音输出(例如，声音输出538-1和/或声音输出540-1) 的音高基于与相应的声音输出相关联的用户界面对象(例如，当前焦 点位于其上的用户界面对象)的大小。例如，声音输出538-1具有基 于应用图标532-d的大小的音高。如下面所论述的，在一些实施例中， 与大用户界面对象(例如，电影图标534)相关联的声音输出具有比 与小用户界面对象(例如，应用图标532)相关联的声音输出更低的 音高。
在一些实施例中，相应的声音输出的音高基于当前焦点在其上的 用户界面对象的类型。例如，与电影图标534相关联的声音输出具有 低音高并且与应用图标532相关联的声音输出具有高音高，而不管应 用图标532和电影图标534的相应大小如何。
在图5U中，电子设备接收遥控器5001上的用户输入542。
图5V示出了响应于用户输入542(图5U)已经将当前焦点从应 用图标532-d移动至应用图标532-c。在图5V中，将应用图标532-c 与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示 当前焦点在应用图标532-c上。
图5V中的音频图516包括由音频系统提供的与当前焦点从应用 图标532-d至应用图标532-c的移动对应的声音输出(例如，声音输 出538-2和可选的声音输出540-2)的表示。在一些实施例中，除了 声音输出538-2之外，音频系统提供声音输出540-2，其指示当前焦 点已经从应用图标532-d移动。在一些实施例中，音频系统在提供声 音输出538-2之前提供声音输出540-2。在一些实施例中，音频系统 在不提供声音输出540-2的情况下提供声音输出538-2。
在图5V中，电子设备接收遥控器5001上的用户输入544。
图5W示出了响应于用户输入544(图5V)已经将当前焦点从应 用图标532-c移动至应用图标532-b。在图5W中，将应用图标532-b 与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示 当前焦点在应用图标532-b上。
图5W中的音频图516包括由音频系统提供的与当前焦点从应用 图标532-c至应用图标532-b的移动对应的声音输出(例如，声音输 出538-3和可选的声音输出540-3)的表示。
在图5W中，电子设备接收遥控器5001上的用户输入546。用户 输入546具有比用户输入536(图5T)、542(图5U)和544(图5V) 更高的幅度(例如，速度和/或距离)。
图5X图示了响应于用户输入546(图5W)已经将当前焦点从应 用图标532-b移动至应用图标532-e(通过应用图标532-c和532-d)。
图5X中的音频图516包括由音频系统提供的与当前焦点通过应 用图标532-c和532-d从应用图标532-b至应用图标532-e的移动对应 的声音输出538-4、538-5和538-6的表示(例如，声音输出538-4对 应于应用图标532-c，声音输出538-5对应于应用图标532-d，声音输 出538-6对应于应用图标532-e)。虽然声音输出538-4、538-5和538-6 一起示出在音频图516中，但是顺序地提供声音输出538-4、538-5 和538-6(例如，声音输出538-4跟随有声音输出538-5，所述声音输 出538-5跟随有声音输出538-6)。
声音输出538-4、538-5和538-6具有(如与图5W中的声音输出 538-3的表示相比通过音频图516中更小大小的表示所表示的)降低 的音量来避免降低用户体验的大音量的重复声音。
在图5X中，电子设备接收遥控器5001上的用户输入548。用户 输入548对应于用于将当前焦点从应用图标532-e移动至下一行(例 如，在应用图标532-e下面的图标的行)中的图标的请求。
图5Y图示了响应于用户输入548主画面屏幕用户界面530已经 卷曲，这展现了图标550-a到550-d。另外，响应于用户输入548，已 经将当前焦点从应用图标532-e移动至图标550-d。
图5Y中的音频图516包括由音频系统提供的与当前焦点从应用 图标532-e至图标550-d的移动对应的声音输出538-7的表示。声音 输出538-7具有比与应用图标532相关联的声音输出(例如，声音输 出538-1到538-6)更低的音高。
在图5Y中，电子设备接收遥控器5001上的用户输入552。用户 输入552对应于用于将当前焦点从图标550-d移动至图标550-d上面 的图标的行中的图标(例如，应用图标532的行)的请求。
图5Z图示了响应于用户输入552主画面屏幕用户界面530已经 卷曲回来。另外，响应于用户输入552，已经将当前焦点从图标550-d 移动至应用图标532-e。
图5Z中的音频图516包括由音频系统提供的与当前焦点从图标 550-d至应用图标532-e的移动对应的声音输出538-8的表示。
在图5Z中，电子设备接收遥控器5001上的用户输入554(例如， 叩击手势)。用户输入552对应于用于激活应用图标532-e(或者对 应的应用)的请求。
图5AA图示了响应于用户输入554显示游戏应用(例如，乒乓 球游戏应用)的用户界面594。
图5AA中的音频图516包括声音输出556-1的表示，其指示已经 激活应用图标532-e(图5Z)。
图5AA还图示了电子设备接收遥控器5001的菜单按钮5002上 的用户输入558(例如，按钮按压)。
图5BB图示了响应于用户输入558(图5AA)显示主画面屏幕用 户界面530。
图5BB中的音频图516包括声音输出560-1的表示，其指示游戏 应用的用户界面利用主画面屏幕用户界面530替换。
图5BB还图示了电子设备接收遥控器5001上的用户输入562。 用户输入562对应于用于将当前焦点从应用图标532-e移动至应用图 标532-e上面的图标的行(例如，电影图标534的行)中的图标的请 求。
图5CC图示了响应于用户输入562(图5BB)已经将当前焦点从 应用图标532-e移动至电影图标534-c。
图5CC中的音频图516包括与当前焦点从应用图标532-e至电影 图标534-c的移动对应的声音输出538-9的表示。
图5CC还图示了电子设备接收遥控器5001上的用户输入564。
图5DD图示了响应于用户输入564(图5CC)已经将当前焦点从 电影图标534-c移动至电影图标534-b。
图5DD中的音频图516包括与当前焦点从电影图标534-c至电影 图标534-b的移动对应的声音输出538-10的表示。
图5DD还图示了电子设备接收遥控器5001上的用户输入566。
图5EE图示了响应于用户输入566(图5DD)已经将当前焦点从 电影图标534-b移动至电影图标534-a。
图5EE中的音频图516包括与当前焦点从电影图标534-b至电影 图标534-a的移动对应的声音输出538-11的表示。
图中5EE还图示了电子设备接收遥控器5001上的用户输入568 (例如，叩击手势)。
图5FF图示了响应于用户输入568(图5EE)显示产品页面视图 572。
图5FF中的音频图516包括声音输出556-2的表示，其指示已经 激活电影图标534-a(图5EE)。
图5FF还图示了电子设备接收遥控器5001的菜单按钮5002上的 用户输入570(例如，按钮按压)。
图5GG图示了响应于用户输入570(图5FF)显示主画面屏幕用 户界面530。
图5GG中的音频图516包括声音输出560-2的表示，其指示产品 页面视图572的用户界面利用主画面屏幕用户界面530替换。
图5GG还图示了电子设备接收遥控器5001的菜单按钮5002上 的用户输入574(例如，按钮按压)。
图5HH图示了响应于用户输入574(图5GG)显示屏幕保护程序 用户界面517。
图5HH中的音频图516包括声音输出560-3的表示，其指示主画 面屏幕用户界面530利用屏幕保护程序用户界面517替换。在一些实 施例中，在缺少用户输入的情况下，随后地更新屏幕保护程序用户界 面517，如图5A至图5E中所图示的。
在一些实施例中，当屏幕保护程序用户界面517被显示在显示器 450上时，用户输入(例如，遥控器5001的按钮上的按钮按压或者触 敏表面451上的叩击手势)发起利用主画面屏幕用户界面530替换屏 幕保护程序用户界面517。
在一些实施例中，如图5T至图5Z和图5BB至图5GG中所图示 的，除了其他方面，主画面屏幕用户界面530是包括多个媒体项(例 如，电影图标534)的表示的视频选择用户界面。在一些实施例中， 选择特定电影项的用户输入(例如，图5EE中的用户输入568)导致 包括关于对应电影的描述性信息576的产品页面视图572(图5II)的 显示。因此，在一些实施例中，图5II是针对下面参考图5JJ至图5MM 所描述的功能性的起始点。
图5II至图5MM图示了根据一些实施例的与产品页面视图相关 联的操作。这些附图中的用户界面用来图示下面所描述的过程，包括 图9A至图9C中的过程。
图5II图示了产品页面视图572的显示。产品页面视图572包括 关于媒体项的描述性信息576(例如，图5AA的对应于电影图标534-a 的视频)，诸如标题576-a、运行时间576-b、情节概述576-c、评级 576-d和用于播放媒体项的可供件。虽然显示了产品页面视图572，但是电子设备还向音频系统提供声音信息以提供基于媒体项的第一 声音输出(例如，声音输出)。在一些实施例中，第一声音输出基于 媒体项的种类。例如，“大攀登(The GreatClimb)”被分类为激动 人心的纪录片，并且第一声音输出包括胜利的管弦乐。在一些实施例 中，第一声音输出包括来自媒体项的声音轨道的轨道。例如，当用户 尚未开始观看媒体项时，第一声音输出包括被预选为表示电影的总体 感觉的代表性轨道。在一些实施例中，当用户尚未开始观看媒体项时， 第一声音输出包括还被用于媒体项的预告片的轨道。在一些实施例 中，当用户尚未开始观看媒体项时，第一声音输出对应于第一场景的 音调或者被用于开场字幕的声音轨道。
图5II图示了遥控器5001检测与用于回放媒体项的请求对应的输 入578(例如，用户输入，诸如播放/暂停按钮5004上的按钮按压)。 图5JJ图示了电子设备通过向显示器提供信息以回放媒体项(例如， 通过显示下面所描述的视频回放用户界面500)来对用于回放媒体项 的请求作出响应。
图5JJ图示了响应于接收到与用于回放媒体项的请求对应的用户 输入578，电子设备向显示器提供用于回放媒体项的数据。
图5JJ还图示了电子设备接收遥控器5001的菜单按钮5002上的 用户输入580(例如，按钮按压)。
图5KK图示了响应于用户输入580(图5JJ)显示产品页面视图 572。
在一些实施例中，响应于用户输入580(图5KK)显示的产品页 面视图572与在媒体项(图5II)的回放之前显示的产品页面视图572 不同。例如，图5KK中的产品页面视图572包括来自媒体项的一个 或多个选择的静止图像582。在一些实施例中，一个或多个选择的静止图像582基于回放位置。在一些实施例中，一个或多个选择的静止 图像582与回放位置的帧或者暂停图像不同。例如，如从图5JJ可以 看到，用户正好在山羊到达山顶之前暂停媒体项。但是，如图5KK 中所示，选择的静止图像582是山顶处的山羊的图像。在一些实施例 中，静止图像582是针对回放位置的场景的预选择的图像。以这种方 式，静止图像582可以被选择为更有代表性的场景并且当在不合时宜 的时间处暂停媒体项时可以避免例如演员的脸看起来尴尬。备选地， 在一些实施例中，响应于用户输入580显示的产品页面视图572与在媒体项(图5II)的回放之前显示的产品页面视图572相同。
电子设备还向音频系统提供声音信息以提供在由显示器对媒体 项信息用户界面的呈现期间对应于媒体项的声音输出。例如，当显示 器显示产品页面视图572时(图5KK)，音频系统播放来自与当先前 显示产品页面视图572时(例如，在图5II中，在用户开始观看媒体 项之前)播放的轨道不同的声音轨道的轨道。在一些实施例中，轨道 是对应于回放位置(例如，其中用户暂停媒体项或者停止观看媒体项 的位置)的轨道。在一些实施例中，声音输出不是针对媒体项的声音 轨道的一部分，而是相反基于回放位置处的媒体项的一个或多个特 性。例如，当回放位置在电影中的黑暗的场景中时(例如，基于场景 中的显示的颜色的颜色分析)，第二声音输出是“黑暗的”音乐。
图5LL图示了在视频回放用户界面500中显示媒体项的结束字 幕。图5LL还图示了当显示结束字幕时电子设备接收遥控器5001的 菜单按钮5002上的用户输入582(例如，按钮按压)。
图5MM图示了响应于用户输入582(图5LL)显示产品页面视 图572。在一些实施例中，图5MM中的产品页面视图572包括来自 媒体项的一个或多个选择的静止图像584(例如，这示出了结束字幕)。
图5NN至图5SS图示了根据一些实施例的与视频的暂停状态相 关联的操作。这些附图中的用户界面用来图示下面所描述的过程，包 括图10A至图10B中的过程。
图5NN图示了媒体项的回放期间的视频回放视图500。图5NN 还图示了在播放/暂停按钮5004上检测到用户输入586(例如，按钮 按压)。
图5OO图示了在示例性暂停模式期间或者在暂停状态期间(例 如，响应于检测到用户输入586)视频回放视图500中显示的媒体项。 在一些实施例中，在该示例性暂停模式期间，在视频回放视图500中 显示的媒体项上(例如，在表示其中暂停视频的视频中的点的静止图 像或帧上)显示倒计时时钟588。在一些实施例中，倒计时时钟588 是半透明或者部分透明的。在一些实施例中，虽然在暂停模式期间显 示媒体项，但是一个或多个静止图像590被显示重叠在媒体项上。在 一些实施例中，静止图像590包括从在其中暂停媒体项的媒体项中的 点之前的预定时间间隔选择的代表性帧。例如，静止图像590包括从 在电影的回放中的当前暂停点之前的电影的五分钟内的戏剧或者感 兴趣场景的四个帧。
图5PP图示了在一些实施例中，倒计时时钟588的显示包括与在 显示另一示例性暂停状态或者暂停状态的另一示例性表示之前的预 定时间间隔对应的动画的显示(例如，屏幕保护程序或者幻灯片)。 在一些实施例中，如果在由倒计时时钟588过去所表示的预定时间间 隔之前检测到用户输入，则媒体项的回放恢复，然而在一些实施例中， 倒计时时钟588的前进暂停(例如，针对预定时间或者不确定地)直 到检测到与用于恢复媒体项的回放的请求对应的另一用户输入。
图5QQ图示了在其相关联的预定时间间隔已经完全过去之后(例 如，铃声充满，倒计时时钟588到达100％不透明，倒计时时钟588 增长到某个大小等)倒计时时钟588的示例性表示。在一些实施例中， 在预定时间间隔过去之后，在显示媒体项的暂停状态的另一示例性表 示之前显示动画或者转换。
图5RR图示了媒体项的暂停状态的另一示例性表示。在一些实施 例中，显示静止图像的幻灯片或者屏幕保护程序，这对应于其中暂停 媒体项的媒体项中的点。例如，显示(例如，随机地或者以循环顺序) 包括来自电影中的暂停点之前的前三至五分钟的十个静止图像的幻 灯片或者屏幕保护程序。在一些实施例中，当显示幻灯片或者屏幕保 护程序时，显示一个或多个暂停状态元件，诸如当前时间、状态指示 符(例如，闪烁暂停符号)、媒体信息和/或结束时间指示符。在一些 实施例中，静止图像是对于幻灯片或者屏幕保护程序预选择的(例如， 由电影导演预选择的)媒体项的代表性帧。在一些实施例中，静止图 像是从媒体项自动提取的帧。
图5SS图示了在一些实施例中，随着时间过去，修改或者更新一 个或多个暂停状态的元件。例如，当前时间示出时间现在是8：00PM (而不是7：41PM，如图5RR中所示)，并且结束时间指示符也已 经更新来指示暂停的媒体项将在8：53PM(而不是在8：34PM，如 图5RR中所示)结束回放。图5SS还图示了对菜单按钮5002上的示 例性用户输入592(例如，按钮按压)的检测。
在一些实施例中，响应于用户输入592显示产品页面视图572(例 如，图5KK)。
图6A至图6C图示了根据一些实施例的结合改变对应于用户界 面对象的音频分量来改变用户界面的视觉特性的方法600的流程图。 在与显示器和音频系统通信的电子设备(例如，图3的设备300或者 图1A的便携式多功能设备100)处执行方法600。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例 中，音频系统包括信号放大器。在一些实施例中，音频系统与一个或 多个扬声器耦合。在一些实施例中，音频系统与多个扬声器耦合。在 一些实施例中，音频系统包括一个或多个扬声器。在一些实施例中， 音频系统与显示器(例如，具有音频处理电路和扬声器的电视)集成。 在一些实施例中，音频系统与显示器(例如，显示屏和分离的音频系 统)不同并且分离。
可选地组合方法600中的一些操作和/或可选地改变一些操作的 顺序。在一些实施例中，图5A至图5G中的用户界面用来图示关于 方法600所描述的过程。
如下面所描述的，方法600包括提供针对屏幕保护程序用户界面 的声音输出。该方法减少当与用户界面对象(例如，控制用户界面对 象)交互时用户的认知负担，从而创建更高效的人机界面。通过提供 附加信息(例如，指示屏幕保护程序的状态)，可以避免或者减少不 必要的操作(例如，与设备交互来检查设备的状态)。提供声音输出 帮助用户更高效地与设备交互并且减少不必要的操作节省电力。
设备向显示器提供(602)用于呈现由设备生成的用户界面的数 据。在一些实施例中，由设备自动生成用户界面。该用户界面包括具 有第一视觉特性的第一用户界面对象。该用户界面还包括与第一用户 界面对象不同的具有第二视觉特性的第二用户界面对象。例如，设备 (例如，图3的设备300或者图1A的便携式多功能设备100)自动 地生成图形用户界面，其包括具有第一视觉特性的第一用户界面对象 和具有第二视觉特性的第二用户界面对象。设备向显示器(例如，显 示器450)发送由显示器使用以显示、示出或者以其他方式呈现图形 用户界面(例如，具有第一用户界面对象501-a(第一气泡)和第二 用户界面对象501-b(第二气泡)的用户界面517，如图5B中所示) 的数据。在图5B中，第一用户界面对象501-a和第二用户界面对象 501-b在显示器上具有不同的视觉特性，诸如不同的大小和不同的位 置。
在一些实施例中，第一视觉特性包括(604)第一用户界面对象 的大小和/或位置。在一些实施例中，第二视觉特性包括第二用户界面 对象的大小和/或位置。例如，如上文所解释的，图5B中的第一用户 界面对象501-a和第二用户界面对象501-b在显示器上具有不同的大 小和不同的位置。
在一些实施例中，独立于用户输入确定(606)第一用户界面对 象的第一视觉特性和第二用户界面对象的第二视觉特性。例如，可以 初始地独立于用户输入确定第一用户界面对象的第一视觉特性和第 二用户界面对象的第二视觉特性。在一些实施例中，伪随机地生成第 一用户界面对象和第二用户界面对象。例如，伪随机地确定相应用户 界面对象的移动的方向、速度、位置和/或大小。在一些实施例中，独 立于用户输入生成用户界面中的所有用户界面对象。在一些实施例 中，伪随机地确定对第一用户界面对象和第二用户界面对象的改变。
设备向音频系统提供(608)用于提供声音输出的声音信息。该 声音输出包括对应于第一用户界面对象的第一音频分量。该声音输出 进一步包括对应于第二用户界面对象并且与第一音频分量不同的第 二音频分量。例如，第一音频分量可以是第一音调并且第二音频分量 可以是第二音调，其中每个音调具有一个或多个听觉特性诸如音高、 音色、音量、起声、维持、衰减等。在一些实施例中，声音输出包括 独立于第一用户界面对象和第二用户界面对象的第三音频分量。在一 些实施例中，第三音频分量独立于用户界面中的任何用户界面对象。
在一些实施例中，至少部分基于第一音频分量，选择(610)第 二音频分量。在一些实施例中，基于第一音频分量的音高，选择第二 音频分量的音高。例如，当第一音频分量和与第一音频分量并发地输 出的任何其他音频分量(如果有的话)具有特定和弦(例如，A小调 和弦)的音高(或者音符)时，第二音频分量被选择为具有特定和弦 的音高(或者音符)。
在一些实施例中，用户界面包括多个用户界面对象，并且声音输 出具有对应于多个用户界面对象中的相应用户界面对象的相应音频 分量。在一些实施例中，声音输出具有独立于多个用户界面对象的至 少一个音频分量(例如，基准音调或者旋律)。
当用户界面被呈现在显示器上并且声音输出被提供时，设备向显 示器提供(图6B的612)用于更新用户界面的数据并且向音频系统 提供用于更新声音输出的声音信息。更新用户界面和更新声音输出包 括：结合(例如，并发地)改变对应于第一用户界面对象的第一音频 分量来改变第一用户界面对象的第一视觉特性中的至少一个视觉特 性(例如，大小和/或位置)；以及结合(例如，并发地)改变对应于 第二用户界面对象的第二音频分量来改变第二用户界面对象的第二 视觉特性中的至少一个视觉特性(例如，大小和/或位置)。例如，设 备向显示器(例如，图5A至图5G的显示器450)发送由显示器使用 以更新图形用户界面(例如，通过将第一用户界面对象501-a和第二 用户界面对象501-b在它们在用户界面517中相应的位置之间移动， 如图5B和图5C中所示)的数据。注意，第一用户界面对象501-a的 大小和位置已经在图5B与图5C之间改变。类似地，第二用户界面 对象501-b的大小已经在图5B与图5C之间改变。第一用户界面对象 501-a的视觉特性的改变结合(例如，如由图5B和图5C中的改变的 第一音频分量503表示的)对应于第一用户界面对象501-a的音频分 量的改变而发生。例如，对应于第一用户界面对象501-a的声音随着 第一气泡在显示器上扩大和移动而改变。类似地，第二用户界面对象 501-b的视觉特性的改变结合对应于第二用户界面对象501-b的音频 分量的改变而发生。例如，对应于第二用户界面对象501-b的声音随 着第二气泡在显示器上扩大而改变。
提供用于更新用户界面的数据独立于用户输入而发生。在一些实 施例中，提供用于更新声音输出的声音信息独立于用户输入而发生。 例如，在没有用户输入的情况下，自动地更新所显示的用户界面和对 应的声音。在一些实施例中，只要未检测到用户输入，就更新所显示 的用户界面和对应的声音(例如，由具有第一用户界面对象和第二用 户界面对象的设备生成的用户界面是屏幕保护程序用户界面，并且只 要在遥控器上未按压按钮、在遥控器的触敏表面上未检测到接触等， 则屏幕保护程序就继续更新)。在一些实施例中，在当未检测到用户 输入时更新所显示的用户界面和对应的声音之后，检测到用户输入并且作为响应，设备停止提供用于更新用户界面的数据并且停止提供用 于更新声音输出的声音信息。相反，设备向显示器提供数据来呈现第 二用户界面(例如，正好在显示屏幕保护程序用户界面(诸如图5A 至图5F中所示的屏幕保护程序用户界面517)与由设备所生成的第 一用户界面对象和第二用户界面对象之前显示的用户界面)。
在一些实施例中，根据对第一用户界面对象的第一视觉特性的至 少一个视觉特性的改变来改变(614)对应于第一用户界面对象的第 一音频分量。例如，在确定对第一用户界面对象的第一视觉特性(的 至少一个视觉特性)的改变之后，基于对第一用户界面对象的第一视 觉特性的改变，确定对第一音频分量的改变。在一些实施例中，根据 对第二用户界面对象的第二视觉特性的至少一个视觉特性的改变来 改变对应于第二用户界面对象的第二音频分量。例如，在确定对第二 用户界面对象的第二视觉特性的改变之后，基于对第二用户界面对象 的第二视觉特性的改变，确定对第二音频分量的改变。
在一些实施例中，独立于对其他用户界面对象的改变(例如，对 第二用户界面对象的第二视觉特性的至少一个视觉特性的改变)，根 据对相应用户界面对象的改变(例如，对第一用户界面对象的第一视 觉特性的至少一个视觉特性的改变)来改变对应于相应用户界面对象 (例如，第一用户界面对象)的音频分量。例如，对应于相应用户界 面对象的音频分量仅基于相应用户界面对象的改变而改变。
在一些实施例中，根据对相应用户界面对象的改变(例如，对第 一用户界面对象的第一视觉特性的至少一个视觉特性的改变)来改变 对应于多个用户界面对象(包括相应用户界面对象)的音频分量。例 如，当相应用户界面对象出现在用户界面中时，对应于多个用户界面 对象(除相应用户界面对象之外)的音频分量的音量降低。
在一些实施例中，根据对第一音频分量的改变来改变(616)第 一用户界面对象的第一视觉特性的至少一个视觉特性。例如，在确定 对第一音频分量的改变之后，确定对第一用户界面对象的第一视觉特 性的改变。在一些实施例中，根据对第二音频分量的改变来改变第二 用户界面对象的第二视觉特性的至少一个视觉特性。
在一些实施例中，更新用户界面和更新声音输出进一步包括 (618)停止显示第一用户界面对象和停止提供包括与第一用户界面 对象对应的第一音频分量的声音输出(例如，第一用户界面对象扩大、 渐隐并且从用户界面消失，如图5E中所示)；停止显示第二用户界 面对象和停止提供包括与第二用户界面对象对应的第二音频分量的 声音输出(例如，第二用户界面对象扩大、渐隐并且从用户界面消失)； 和/或显示一个或多个相应用户界面对象并且提供包括与一个或多个 相应用户界面对象对应的一个或多个相应音频分量的声音输出(例 如，显示与第一用户界面对象和第二用户界面对象不同的用户界面对 象，如图5C中所示)。
在一些实施例中，更新声音输出包括(620)确定是否满足预定 不活动性准则(例如，针对预定时间段尚未接收到用户输入或者放下 遥控器)。根据确定满足预定不活动性准则，设备改变声音输出的音 量。在一些实施例中，改变声音输出的音量包括增加或者减小相应音 频分量的音量。
在一些实施例中，相应音频分量的音高对应于(图6C的622) 对应的用户界面对象的初始大小(例如，图5A中音频分量503的音 高对应于用户界面对象501-a的初始大小)，相应音频分量的立体声 平衡对应于显示器上的对应的用户界面对象的位置(例如，图5A中音频分量503的立体声平衡对应于显示器450上的用户界面对象 501-a的位置)，和/或相应音频分量的音量的改变对应于对应的用户 界面对象的大小的改变(例如，图5B中音频分量503的音量的改变 对应于用户界面对象501-a的大小的改变)。在一些实施例中，相应 音频分量的音量对应于对应的用户界面对象的大小(例如，音量随着 对应的用户界面对象的大小的增加而减小，如在图5A至图5F中所示， 或者备选地，音量随着对应的用户界面对象的大小的增加而增加)。 在一些实施例中，伪随机地生成音频分量。例如，伪随机地确定相应音频分量的音高、音量和/或立体声平衡。因此，音频分量不是音符的 预定序列的一部分。
在一些实施例中，设备检测(624)用户输入(例如，检测按压 按钮或者拾起遥控器)。响应于检测到用户输入，设备向音频系统提 供用于改变对应于相应用户界面对象的相应音频分量的声音信息(例 如，降低音量和/或增加相应音频分量的起声)。如本文所使用的，起 声指代多么猛烈地命中音符(例如，声音的幅度随时间向其峰值音量 增加的速率，如图5H中所示)。响应于检测到用户输入，设备进一 步向显示器提供用于更新用户界面并且显示一个或多个控制用户界 面对象(例如，包括(附加的)控制用户界面对象，诸如用户界面中 的按钮、图标、滑动条、菜单等，或者利用包括一个或多个控制用户 界面对象的第二用户界面替换用户界面，如图5G中所示)的数据。
在一些实施例中，向音频系统提供的声音信息包括(626)用于 提供包括音频分量的声音输出的信息，所述音频分量与对应于相应用 户界面对象的相应音频分量是不和谐的。在一些实施例中，向音频系 统提供的声音信息包括用于提供包括音频分量的声音输出的信息，所 述音频分量与对应于相应用户界面对象的相应音频分量是不和谐的。 在一些实施例中，与相应音频分量不和谐的音频分量具有预设的(例 如，固定的)音高。
在一些实施例中，第一音频分量和第二音频分量是和谐的。在一 些实施例中，对应于相应用户界面对象的相应音频分量是和谐的(例 如，相应音频分量具有特定和弦的音高)。
在一些实施例中，在检测到用户输入(例如，用户拾起遥控器) 之前，设备向显示器提供(628)用于在不向音频系统提供用于提供 声音输出的声音信息的情况下显示用户界面并且更新用户界面的数 据。在检测到用户输入之后，设备向显示器提供用于显示用户界面和 更新用户界面的数据并且向音频系统提供用于提供声音输出和更新 声音输出的声音信息(例如，停止提供声音输出，如由图5G中所图 示的，或者备选地降低声音输出的音量等)。在一些实施例中，第一 用户界面对象和第二用户界面对象在检测到用户输入之前比在检测 到用户输入之后移动更慢。
应当理解，已经描述图6A至图6C中的操作的特定顺序仅是示例 性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领 域的普通技术人员将认识到将本文所描述的操作重新排序的各种方 式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法 700、800、900和1000)在本文中所描述的其他过程的细节以与上文 关于图6A至图6C所描述的方法600类似的方式也是适用的。例如， 上文参考方法600所描述的用户界面对象、用户界面和声音输出可选 地具有参考在本文中所描述的其他方法(例如，方法700、800、900 和1000)在本文中所描述的用户界面对象、用户界面和声音输出的特 性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图7A至图7D是图示了根据一些实施例的提供对应于用户的与 用户界面对象的交互的声音信息的方法700的流程图。在与显示器和 音频系统通信的电子设备(例如，图3的设备300或者图1A的便携 式多功能设备100)处执行方法700。在一些实施例中，电子设备与具有触敏表面的用户输入设备(例如，远程用户输入设备，诸如遥控 器)通信。在一些实施例中，显示器是触摸屏显示器，并且触敏表面 在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面 分离。在一些实施例中，用户输入设备与电子设备集成。在一些实施 例中，用户输入设备与电子设备分离。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例 中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个 或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音 频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显 示器(例如，显示屏和独立的音频系统)不同并且分离。在一些实施 例中，设备包括触敏表面。在一些实施例中，显示器是触摸屏显示器， 并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示 器与触敏表面分离(例如，触敏表面与电视的遥控器集成)。
可选地组合方法700中的一些操作和/或可选地改变一些操作的 顺序。在一些实施例中，使用图5I至图5S中的用户界面来图示关于 方法700所描述的过程。
如下面所描述的，方法700提供对应于用户的与用户界面对象的 交互的声音输出。该方法减少当与用户界面对象(例如，控制用户界 面对象)交互时用户的认知负担，从而创建更高效的人机界面。提供 声音输出帮助用户更快并且更高效地操纵用户界面对象，从而节省电 力。
设备向显示器提供(702)用于呈现具有多个用户界面对象(包 括显示器上的第一位置处的控制用户界面对象(例如，滑动条的滑块 等))的用户界面的数据。控制用户界面对象被配置为控制相应参数 (例如，导航滑动条中的当前位置)。在一些实施例中，控制用户界 面对象不是音频控制用户界面对象。例如，控制用户界面对象是控制 正显示在显示器上的视频(例如，电影)的当前位置的滑动条的滑块 (例如，播放头)，如图5J至图5P和图5R至图5S中所示(滑动条 506的滑块504)。
设备接收(704)对应于与显示器上的控制用户界面对象的第一 交互(例如，用于调节滑动条的滑块的位置的交互)的第一输入(例 如，触敏表面上的拖曳手势)。当接收(706)对应于与显示器上的 控制用户界面对象的第一交互的第一输入时(例如，与第一输入的至 少一部分并发地)，设备向显示器提供(708)用于根据第一输入将 控制用户界面对象从显示器上的第一位置移动至与显示器上的第一 位置不同的显示器上的第二位置的数据。例如，如图5K至图5L中 所示，拖曳手势512将滑块504从位置504-1拖曳至位置504-2。
在一些实施例中，响应于接收到对应于与显示器上的控制用户界 面对象的第一交互的第一输入：设备向显示器提供(710)数据以根 据第一输入将控制用户界面对象从显示器上的第一位置移动至与显 示器上的第一位置不同的显示器上的第二位置并且在从显示器上的 第一位置至显示器上的第二位置的控制用户界面对象的移动期间根 据第一输入在视觉上区分开控制用户界面对象(例如，设备显示滑块 移动的尾部和/或在从显示器上的第一位置向显示器上的第二位置的 方向上延长或者伸展滑块，如图5K至图5L、图5M至图5N和图5R 至图5S中所示)。
当接收到和与显示器上的控制用户界面对象的第一交互对应的 第一输入时，设备向音频系统提供(712)提供第一声音信息以提供 具有与由控制用户界面对象控制的相应参数不同并且根据控制用户 界面对象从显示器上的第一位置至显示器上的第二位置的移动而改 变的一个或多个特性的第一声音输出(例如，第一声音输出是对应于 滑动条控制的移动的音频反馈)。在一些实施例中，响应于接收到第 一输入，数据被提供到显示器并且第一声音信息被提供到音频系统。 在一些实施例中，在与控制用户界面对象的第一交互的持续时间期间 由音频系统提供第一声音输出。
在一些实施例中，根据确定第一输入满足第一输入准则，第一声 音输出具有(图7B的714)第一特性集(例如，音高、音量)。根 据确定第一输入满足第二输入准则，第一声音输出具有与第一特性集 (例如，音高、音量)不同的第二特性集。例如，如果第一输入比预定速度阈值移动更快，则第一声音输出的音量增加，并且如果第一输 入比预定速度阈值移动更慢，则第一声音输出的音量减小。
在一些实施例中，一个或多个特性包括(716)多个空间通道上 的第一声音输出的音高、第一声音输出的音量和/或第一声音输出的分 布(也被称作“平衡”)。在一些实施例中，一个或多个特性包括第 一声音输出的音色和/或第一声音输出的一个或多个音频包络特性(例 如，起声、维持、延迟和/或释放特性)。例如，如图5I至图5R中所 图示的，设备根据控制用户界面对象从显示器上的第一位置至第二位 置的移动来改变声音输出的音高和平衡。在一些实施例中，声音输出 的仅一个特性(例如，音高或者平衡)基于控制用户界面对象的移动。
在一些实施例中，音频系统与对应于多个空间通道的多个扬声器 耦合(718)。在一些实施例中，多个空间通道包括左通道和右通道。 在一些实施例中，多个空间通道包括左通道、右通道、前通道和后通 道。在一些实施例中，多个空间通道包括左通道、右通道、上通道和 下通道。在一些实施例中，多个空间通道包括左通道、右通道、前通 道、后通道、上通道和下通道。在一些实施例中，向音频系统提供用 于提供第一声音输出的第一声音信息包括根据控制用户界面对象从 显示器上的第一位置至显示器上的第二位置的移动的方向，确定第一 声音输出在多个空间通道上的分布(也被称作平衡)。在一些实施例 中，向音频系统提供用于提供第一声音输出的第一声音信息包括根据 控制用户界面对象从显示器上的第一位置至显示器上的第二位置的 移动的方向，调节第一声音输出在多个空间通道上的分布。例如，控 制用户界面对象的向左移动导致第一声音输出在多个空间通道上的分布的向左移动；控制用户界面对象的向右移动导致第一声音输出在 多个空间通道上的分布的向右移动。在一些实施例中，第一声音信息 包括用于根据所确定的第一声音输出在多个空间通道上的分布来提 供第一声音输出的信息。
在一些实施例中，音频系统与对应于多个空间通道的多个扬声器 耦合(720)(例如，如上文所描述的)。在一些实施例中，向音频 系统提供用于提供第一声音输出的第一声音信息包括在控制用户界 面对象从显示器上的第二位置至显示器上的第三位置的移动期间根 据显示器上的控制用户界面对象的位置来确定第一声音输出在多个 空间通道上的分布(例如，通过左通道待输出的第一声音输出的强度 和通过右通道待输出的第一声音输出的强度的比例)。在一些实施例 中，向音频系统提供用于提供第一声音输出的第一声音信息包括在控 制用户界面对象从显示器上的第二位置至显示器上的第三位置的移 动期间根据显示器上的控制用户界面对象的位置来调节第一声音输 出在多个空间通道上的分布。例如，当水平滑动条的滑块被定位到滑 动条的中点的左边时，第一声音输出在多个空间通道上的分布移位到 左边；当水平滑动条的滑块被定位到滑动条的中点的右边时，第一声 音输出在多个空间通道上的分布移位到右边。
在一些实施例中，第一声音信息包括用于根据所确定的第一声音 输出在多个空间通道上的分布来提供第一声音输出的信息。例如，利 用基于控制用户界面对象的位置确定的平移值(例如，立体声平移(左 /右)或者其他多通道平移)播放声音输出。
在一些实施例中，向音频系统提供用于提供第一声音输出的第一 声音信息包括(图7C的722)根据控制用户界面对象从显示器上的 第一位置至显示器上的第二位置的移动的速度来确定第一声音输出 的音量。在一些实施例中，向音频系统提供用于提供第一声音输出的 第一声音信息包括根据控制用户界面对象从显示器上的第一位置至 显示器上的第二位置的移动的速度来调节第一声音输出的音量。在一 些实施例中，第一声音信息包括根据所确定的第一声音输出的音量来 提供第一声音输出的信息。在一些实施例中，控制用户界面对象从显 示器上的第一位置至显示器上的第二位置的移动的速度比(参考操作728所描述的)控制用户界面对象从显示器上的第二位置至显示器上 的第三位置的移动的速度更高，并且第一声音输出的音量比(参考操 作728所描述的)第二声音输出的音量更低(例如，当控制用户界面 对象移动更快时，声音输出的音量降低)。在一些实施例中，控制用户界面对象(例如，滑动条的滑块)从显示器上的第一位置至显示器 上的第二位置的移动的速度比控制用户界面对象从显示器上的第二 位置至显示器上的(参考操作728所描述的)第三位置的移动的速度 更高，并且第一声音输出的音量比(参考操作728所描述的)第二声 音输出的音量更高(例如，当控制用户界面对象移动更快时，声音输 出的音量增加)。
在一些实施例中，控制用户界面对象是(724)滑动条上的滑块 (图5J至图5S)。第一声音输出的音高根据控制用户界面对象在滑 动条上的位置(例如，控制用户界面对象与滑动条的一端的距离、控 制用户界面对象与滑动条的中心的距离或者控制用户界面对象与滑 动条的最近一端的距离)而改变。在一些实施例中，第一声音输出具 有当滑块处于第一位置时的第一音高和当滑块处于第一位置左边的 第二位置时的比第一音高更低的第二音高。在一些实施例中，当滑块 更远离右边时，音高是更低的。
在一些实施例中，在对第一输入做出响应之后，设备接收(726) 对应于与显示器上的控制用户界面对象的第二交互(例如，用于进一 步调节滑动条的滑块的位置的交互)的第二输入。响应于并且当接收 到对应于与显示器上的控制用户界面对象的第二交互时：设备向显示 器提供(728)用于根据第二输入将控制用户界面对象从显示器上的 第二位置移动至与显示器上的第二位置不同的显示器上的第三位置 的数据；并且向音频系统提供用于提供第二声音输出的第二声音信 息，该第二声音输出具有根据控制用户界面对象从显示器上的第二位 置至显示器上的第三位置的移动而改变的一个或多个特性(例如，第二声音输出是对应于滑动条控制的附加移动的音频反馈)。在一些实 施例中，相应声音输出具有第一音高并且后续的声音输出具有与第一 音高不同的第二音高。
在一些实施例中，控制用户界面对象是(图7D的730)滑动条 上的滑块。显示器上的第二位置不是滑动条的终点。在一些实施例中， 显示器上的第三位置(或者作为显示器上的先前位置的另一位置)不 是滑动条的终点。在一些实施例中，设备接收(732)对应于与显示 器上的控制用户界面对象的相应交互的输入。响应于接收到对应于与 显示器上的控制用户界面对象的相应交互的输入：设备向显示器提供 (734)用于根据输入将控制用户界面对象移动至显示器上的第四位 置的数据，其中，显示器上的第四位置是滑动条的终点。在一些实施 例中，控制用户界面对象从显示器上的第二位置移动。在一些实施例 中，控制用户界面对象从显示器上的第三位置(或者作为显示器上的 先前位置的另一位置)移动。在一些实施例中，显示器上的第四位置 与显示器上的第二位置不同。在一些实施例中，显示器上的第四位置 与显示器上的第三位置不同。设备还向音频系统提供用于提供第三声音输出的声音信息来指示控制用户界面对象位于滑动条的终点处，其 中第三声音输出与第一声音输出不同。在一些实施例中，第三声音输 出与第二声音输出不同。在一些实施例中，第四声音输出是提供对应 于橡胶带效应的音频反馈的弹跳声音(例如，回响“啵嘤”)(例如， 如图5O至图5P中所图示的)。
应当理解，已经描述图7A至图7C中的操作的特定顺序仅是示例 性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领 域的普通技术人员将认识到用于将本文所描述的操作重新排序的各 种方式。此外，应当注意，关于在本文中所描述的其他方法(例如， 方法600、800、900和1000)在本文中所描述的其他过程的细节以与 上文关于图7A至图7C所描述的方法700类似的方式也是适用的。 例如，上文参考方法700所描述的用户界面对象、用户界面和声音输 出可选地具有参考在本文中所描述的其他方法(例如，方法600、800、 900和1000)在本文中所描述的用户界面对象、用户界面和声音输出 的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图8A至图8C是图示了根据一些实施例的提供对应于用户的与 用户界面对象的交互的声音信息的方法800的流程图。在与显示器和 音频系统通信的电子设备(例如，图3的设备300或者图1A的便携 式多功能设备100)处执行方法800。在一些实施例中，电子设备与具有触敏表面的用户输入设备(例如，远程用户输入设备，诸如遥控 器)通信。在一些实施例中，显示器是触摸屏显示器，并且触敏表面 在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面 分离。在一些实施例中，用户输入设备与电子设备集成。在一些实施 例中，用户输入设备与电子设备分离。可选地组合方法800中的一些 操作和/或可选地改变一些操作的顺序。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例 中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个 或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音 频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显 示器(例如，显示屏和分离的音频系统)不同并且分离。在一些实施 例中，设备包括触敏表面。在一些实施例中，显示器是触摸屏显示器， 并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示 器与触敏表面分离(例如，触敏表面与电视的遥控器集成)。
可选地组合方法800中的一些操作和/或可选地改变一些操作的 顺序。在一些实施例中，图5T至图5AA中的用户界面用来图示关于 方法800所描述的过程。
如下面所描述的，方法800提供对应于用户的与用户界面对象的 交互的声音输出。该方法减少当与用户界面对象(例如，通过移动当 前焦点)交互时用户的认知负担，从而创建更高效的人机界面。提供 声音输出帮助用户更快并且更高效地操纵用户界面对象，从而节省电 力。
该设备向显示器提供(802)用于呈现具有多个用户界面对象的 第一用户界面的数据，其中当前焦点在多个用户界面对象的第一用户 界面对象上。在一些实施例中，当当前焦点在第一用户界面对象上时， 将第一用户界面对象与多个用户界面对象中的其他用户界面对象在 视觉上区分开。例如，如图5T中所示，应用图标532-e通过稍微更 大并且具有加亮的边界而与其他应用图标532在视觉上区分开。
当显示器正呈现第一用户界面时，设备接收(804)与用于改变 当前焦点在第一用户界面中的位置的请求对应的输入(例如，触敏表 面上的拖曳手势)，该输入具有方向和幅度(例如，输入的速度和/ 或距离)。在一些实施例中，电子设备与遥控器通信，并且从遥控器 接收输入。例如，如图5T中所示，在遥控器5001的触敏表面451上 检测到用户输入536。
响应于接收到与用于改变当前焦点在第一用户界面中的位置的 请求对应的输入，设备向显示器提供(806)用于将当前焦点从第一 用户界面对象移动至第二用户界面对象的数据，其中根据输入的方向 和/或幅度针对当前焦点选择第二用户界面对象。例如，如图5T至图 5U中所示，设备响应于用户输入536，将当前焦点从应用图标532-e (图5T)移动至应用图标532-d(图5U)。在一些实施例中，当当 前焦点在第二用户界面对象上时，将第二用户界面对象与多个用户界 面对象中的其他用户界面对象在视觉上区分开。在一些实施例中，当 当前焦点在相应用户界面对象上时，将相应用户界面对象与多个用户 界面对象中的其他用户界面对象在视觉上区分开。
而且，响应于接收到与用于改变当前焦点在第一用户界面中的位 置的请求对应的输入，设备向音频系统提供用于提供第一声音输出的 第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象 至第二用户界面对象的移动，其中与当前焦点从第一用户界面对象移 动至第二用户界面对象的显示并发地提供第一声音输出，并且第一声 音输出的音高至少部分基于以下项而确定：第一用户界面对象的大小 (例如，如果第一用户界面对象是大的则低音高，并且如果第一用户 界面对象是小的则高音高)、第一用户界面对象的类型(例如，如果 第一用户界面对象是种类图标则低音高，并且如果第一用户界面对象 是电影海报则高音高)、第二用户界面对象的大小(如果第二用户界 面对象是大的则低音高，并且如果第二用户界面对象是小的则高音 高)和/或第二用户界面对象的类型(例如，如果第二用户界面对象是 种类图标则低音高，并且如果第二用户界面对象是电影海报则高音 高)。例如，针对应用图标532-d的图5U中所示的声音输出538-1 的音高比针对比应用图标532-d更大的电影图标534-c的图5CC中所 示的声音输出538-9的音高更高。
在一些实施例中，通过在多个空间通道上的分布、一个或多个音 频包络特性(例如，起声、衰减、维持和/或释放)、音色、音量和/ 或音高来表征第一声音输出。在一些实施例中，在多个空间通道上的 分布、一个或多个音频包络特性(例如，起声、衰减、维持和/或释放)、 音色、音量和/或音高基于以下项中的任意项而确定：第一用户界面对 象的大小、第一用户界面对象的类型、第二用户界面对象的大小、第 二用户界面对象的类型、输入的幅度和/或输入的方向。
在一些实施例中，基于第二用户界面对象的特性(例如，大小和 /或类型)(例如，并且不是第一用户界面对象的任何特性)，确定第 一声音输出的音高。在一些实施例中，第一声音输出是给用户提供指 示她将导航到的用户界面对象的大小和/或类型的音频反馈的“进入” 声音或者“移至”声音。在一些实施例中，基于第一用户界面对象的 特性(大小和/或类型)(例如，并且不是第二用户界面对象的任何特 性)，确定第一声音输出的音高。在一些实施例中，第一声音输出是 给用户提供指示她将导航远离的用户界面的大小和/或类型的音频反 馈的“退出”声音或者“移走”声音。
在一些实施例中，基于输入的幅度(例如，输入的速度和/或距离)， 确定(808)第一声音输出的音量。例如，根据确定输入的速度和/或 距离超过预定阈值，降低第一声音输出的音量。
在一些实施例中，一个或多个用户界面对象位于显示器上的第一 用户界面对象与第二用户界面对象之间，并且当前焦点根据输入的方 向和/或幅度经由一个或多个用户界面对象从第一用户界面对象移动 至第二用户界面对象(例如，图5W至图5X中的当前焦点经由应用 图标532-c和应用图标532-d从应用图标532-b移动至应用图标 532-e)。
在一些实施例中，根据对输入的幅度满足预定输入准则(例如， 速度和/或距离准则)来降低(810)第一声音输出的音量。例如，第 一声音输出是当第二用户界面对象在显示器上更远离时比当第二用 户界面对象更接近第一用户界面对象时更安静的“移至”声音(例如， 如上文所描述的)，如图5W至图5X中所示。在一些实施例中，用 户界面对象的相应数目(例如，计数)位于显示器上的第一用户界面 对象与第二用户界面对象之间。当前焦点经由位于第一用户界面对象 与第二用户界面对象之间的用户界面对象从第一用户界面对象移动 至第二用户界面对象，并且第一声音输出的音量基于位于显示器上的 第一用户界面对象与第二用户界面对象之间的用户界面对象的相应 数目(例如，计数)(例如，给出指示用户正在多少用户界面对象上 移动的用户音频反馈)。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低 (812)第一声音输出的释放。例如，对于跨越分立对象(例如，视 频选择用户界面(诸如电视主画面屏幕)中的多个视频的表示)的导 航而言，第一声音输出当幅度满足预定输入准则时具有较短的释放 (例如，关于速度和/或距离)，并且当幅度不满足预定输入准则时具 有较长的释放(例如，当第一输入的速度较慢时具有较长的释放，这 给出用户指示输入更逐渐的音频反馈)。
在一些实施例中，根据第二用户界面对象在第一用户界面中的位 置来调节(814)第一声音输出在多个空间通道上的分布(例如，当 当前焦点移动至位于第一用户界面的左侧的用户界面对象时，左音频 通道增加和/或右音频通道降低，并且当当前焦点移动至位于第一用户 界面的右侧的用户界面对象时，右音频通道增加和/或左音频通道降 低，如图5CC至图5EE中所示)。在一些实施例中，根据第二用户 界面对象关于第一用户界面对象的相对位置(例如，上/下、左或右) 调节第一声音输出在多个空间通道上的分布。在一些实施例中，根据 当前焦点从第一用户界面对象至第二用户界面对象的移动(例如，上 /下、左或右)来调节第一声音输出在多个空间通道上的分布。在一些 实施例中，多个空间通道包括左音频通道、右音频通道、上音频通道 和下音频通道。例如，当当前焦点移动至位于第一用户界面的上侧的 用户界面对象时，上音频通道增加和/或下音频通道降低，并且当当前 焦点移动至位于第一用户界面的下侧的用户界面对象时，下音频通道 增加和/或上音频通道降低。
在一些实施例中，基于第二用户界面对象的大小和/或第二用户界 面对象的类型(例如，并且不基于第一用户界面对象的大小和/或第一 用户界面对象的类型)，确定(图8B的816)第一声音输出的音高。 响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求 对应的输入，设备向音频系统提供用于提供与当前焦点从第一用户界 面对象至第二用户界面对象的移动对应的第二声音输出的第二声音 信息，其中至少部分基于第一用户界面对象的大小和/或第一用户界面 对象的类型(例如，并且不基于第二用户界面对象的大小和/或第二用 户界面对象的类型)，确定第二声音输出的音高。例如，第一声音输出指示当前焦点“移至”第二用户界面对象(例如，进入声音)，并 且第二声音输出指示当前焦点从第一用户界面对象“移走”(例如， 退出声音)。如图5T至图5U中所示，结合将当前焦点从应用图标 532-e移动至应用图标532-d，顺序地提供声音输出540-1(示例性退 出声音)和声音输出538-1(示例性进入声音)。在一些实施例中， 第二声音输出在第一声音输出开始之前开始。在一些实施例中，第二 声音输出在第一声音输出终止之前终止。在一些实施例中，与第一声 音输出并发地提供第二声音输出的至少部分。在一些实施例中，第一 声音输出在第二声音输出终止之后开始(例如，第一声音输出和第二 声音输出不重叠)。
在一些实施例中，第一用户界面包括具有不同大小的三个或更多 个用户界面对象，并且该三个或更多个用户界面对象对应于具有一个 或多个不同的声音特性(例如，不同的音高)的声音输出。
在一些实施例中，响应于接收到与用于改变当前焦点在第一用户 界面中的位置的一个或多个请求对应的一个或多个输入：设备向显示 器提供(818)用于将当前焦点从第二用户界面对象移动至第三用户 界面对象的数据。设备还向音频系统提供用于提供与当前焦点从第二 用户界面对象至第三用户界面对象的移动对应的第三声音输出的第 三声音信息，其中与当前焦点从第二用户界面对象移动至第三用户界 面对象的显示并发地提供第三声音输出。设备还向显示器提供用于将 当前焦点从第三用户界面对象移动至第四用户界面对象的数据，并且 向音频系统提供用于提供与当前焦点从第三用户界面对象至第四用 户界面对象的移动对应的第四声音输出的第四声音信息。与当前焦点 从第三用户界面对象移动至第四用户界面对象的显示并发地提供第 四声音输出。例如，在声音输出538-7的情况下当前焦点移动至图标 550-d(图5Y)，之后在声音输出538-8的情况下当前焦点移动至应 用图标532-e(图5Z)，并且在音输出538-9的情况下移动至电影图 标534-c(图5CC)。
在一些实施例中，与当前焦点至第二用户界面对象、第三用户界 面对象和第四用户界面对象中的最大对象的移动对应的声音输出具 有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户 界面对象中的剩余两个对象的移动对应的相应声音输出更低的音高 (例如，当第三用户界面对象是第二用户界面对象、第三用户界面对 象和第四用户界面对象中的最大对象时，对应于当前焦点至第三用户 界面对象的移动的声音输出具有比对应于当前焦点至第二用户界面 对象的移动的声音输出的音高和对应于当前焦点至第四用户界面对 象的移动的声音输出的音高更低的音高)。例如，在图5Y至图5CC 中，电影图标534-c是图标550-d、应用图标532-e和电影图标534-c 中的最大对象，并且对应的声音输出538-9具有与图标550-d、应用 图标532-e和电影图标534-c相关联的声音输出中的最低音高。
在一些实施例中，与当前焦点至第二用户界面对象、第三用户界 面对象和第四用户界面对象中的最小对象的移动对应的声音输出具 有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户 界面对象中的剩余两个对象的移动对应的相应声音输出更高的音高 (例如，当第二用户界面对象是第二用户界面对象、第三用户界面对 象和第四用户界面对象中的最小对象时，对应于当前焦点至第二用户 界面对象的移动的声音输出具有比对应于当前焦点至第三用户界面 对象的移动的声音输出的音高和对应于当前焦点至第四用户界面对 象的移动的声音输出的音高更高的音高)。例如，在图5Y至图5CC 中，应用图标532-e是图标550-d、应用图标532-e和电影图标534-c 中的最小对象，并且对应的声音输出538-9具有与图标550-d、应用 图标532-e和电影图标534-c相关联的声音输出中的最高音高。
当显示器呈现具有多个用户界面对象的第一用户界面时，其中具 有多个用户界面对象的第一用户界面包括在用户界面的层次结构中， 设备接收(图8C的820)与用于利用用户界面的层次结构中的第二 用户界面替换第一用户界面的请求对应的输入(例如，按压菜单按钮 5002的输入574，如图5GG中所示，或者触敏表面451上的用户输 入554，如图5Z中所示)。为了描述这些特征和相关特征，假定用 户界面的示例性层次结构包括屏幕保护程序用户界面(例如，图5HH 中的屏幕保护程序用户界面517)、屏幕保护程序用户界面下面的主 画面屏幕用户界面(例如，图5GG中的主画面屏幕用户界面530)和 主画面屏幕用户界面下面的应用用户界面(例如，图5AA中的游戏 用户界面594)(例如，用户界面的层次结构以从上到下的层次结构 的顺序包括屏幕保护程序用户界面517、主画面屏幕用户界面530和游戏用户界面594)。响应于接收到与用于利用第二用户界面替换第 一用户界面的请求对应的输入：设备向显示器提供(822)用于利用 第二用户界面替换第一用户界面的数据(例如，响应于按压菜单按钮 5002的输入574，屏幕保护程序用户界面517替换主画面屏幕用户界 面530，如图5GG至图5HH中所示，并且响应于触敏表面451上的 用户输入554，游戏用户界面594替换主画面屏幕用户界面530)。 根据确定在用户界面的层次结构中第一用户界面位于第二用户界面 上面(例如，在示例性层次结构中从较高的用户界面导航至较低的用户界面，诸如从主画面屏幕用户界面530导航至游戏用户界面594)， 设备向音频系统提供用于提供第五声音输出(例如，高音高声音，诸 如图5AA中的声音输出556-1)的第五声音信息。在一些实施例中， 与利用第二用户界面替换第一用户界面并发地提供第五声音输出。在 一些实施例中，在用户界面的层次结构中第一用户界面紧接地位于第 二用户界面上面(例如，在示例性层次结构中主画面屏幕用户界面530 紧接地位于游戏用户界面594上面)。根据确定在用户界面的层次结 构中第一用户界面位于第二用户界面下面(例如，在示例性层次结构 中从较低的用户界面导航至较高的用户界面，诸如从主画面屏幕用户 界面530导航至屏幕保护程序用户界面517)，设备向音频系统提供 用于提供与第五声音输出不同的第六声音输出(例如，低音高声音， 诸如图5HH中的声音输出560-3)的第六声音信息。在一些实施例中， 与利用第二用户界面替换第一用户界面并发地提供第六声音输出。在 一些实施例中，在用户界面的层次结构中第一用户界面紧接地位于第 二用户界面下面(例如，在示例性层次结构中主画面屏幕用户界面530 紧接地位于屏幕保护程序用户界面517下面)。因此，第五声音输出 和/或第六声音输出可以用来指示用户是否将向层次结构的顶部或者 底部导航。
在一些实施例中，第五声音输出与第一声音输出不同。在一些实 施例中，第五声音输出与第二声音输出不同。在一些实施例中，第五 声音输出与第三声音输出不同。在一些实施例中，第五声音输出与第 四声音输出不同。在一些实施例中，第六声音输出与第一声音输出不 同。在一些实施例中，第六声音输出与第二声音输出不同。在一些实 施例中，第六声音输出与第三声音输出不同。在一些实施例中，第六 声音输出与第四声音输出不同。在一些实施例中，第六声音输出与第 五声音输出不同。
当显示器呈现第一用户界面时，设备接收(824)与用于激活具 有当前焦点的用户界面对象的请求对应的输入(例如，用户界面对象 由当前焦点重叠、围绕或者在其附近)。响应于接收到与用于激活具 有当前焦点的用户界面对象的请求对应的输入，根据确定第一用户界 面对象具有当前焦点，设备向音频系统提供(826)用于提供第七声 音输出的第七声音信息，该第七声音输出对应于第一用户界面对象的 激活。例如，结合提供声音输出556-1(图5AA)激活应用图标532-e (图5Z)。根据确定第二用户界面对象具有当前焦点，设备向音频 系统提供用于提供第八声音输出的第八声音信息，该第八声音输出对 应于第二用户界面对象的激活。第八声音输出与第七声音输出不同。 例如，结合提供声音输出556-2(图5FF)，激活电影图标534-a(图 5EE)。在与当前焦点至第一用户界面对象的移动对应的声音输出的 一个或多个特性与第二声音输出的一个或多个特性之间的关系对应 于在第七声音输出的一个或多个特性与第八声音输出的一个或多个 特性之间的关系。例如，当第一用户界面对象比第二用户界面对象更 小时，对应于当前焦点至第一用户界面对象的移动的声音输出具有比 对应于当前焦点至第二用户界面对象的移动的声音输出的音高更高的音高，并且与第一用户界面对象的激活对应的声音输出具有比与第 二用户界面对象的激活对应的声音输出的音高更高的音高(例如，在 图5Z中与当前焦点至应用图标532-e的移动对应的声音输出538-8 具有比在图5EE中与当前焦点至电影图标534-a的移动对应的声音输 出538-11更高的音高，并且在图5AA中与应用图标532-e的激活对 应的声音输出556-1具有比在图5FF中与电影图标534-a的激活对应 的声音输出556-2更高的音高)。
在一些实施例中，相应声音输出是单个音调或者和弦(例如，声 音“叮(DING)”)。在一些实施例中，相应声音输出是旋律中的 单个音调或者和弦(例如，短旋律“叮咚(DINGDONG)”中的声 音“叮(DING)”，其中旋律包括至少两个音调和和弦)。在一些 实施例中，当根据所确定的特性提供(或者确定、修改等)旋律中的 单个音调或者和弦时，根据所确定的特性提供(或者确定、修改等) 声音输出(例如，当旋律“叮咚中的声音“叮”提供有所确定的音高 时，提供具有所确定的音高的相应声音输出)。在一些实施例中，当 根据所确定的特性提供(或者确定、修改等)整个旋律时，根据所确 定的特性作为旋律并且提供(或者确定、修改等)声音输出(例如， 声音输出是V-I节奏，其中，I表示根据所确定的音高确定的根和弦 并且V是根和弦I上面五个音阶的和弦)。在一些实施例中，音高是 感知的音高。
应当理解，已经描述图8A至图8C中的操作的特定顺序仅是示例 性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领 域的普通技术人员将认识到用于将本文所描述的操作重新排序的各 种方式。此外，应当注意，关于在本文中所描述的其他方法(例如， 方法600、700、900和1000)在本文中所描述的其他过程的细节以与 上文关于图8A至图8C所描述的方法800类似的方式也是适用的。 例如，上文参考方法800所描述的用户界面对象、用户界面和声音输 出可选地具有参考在本文中所描述的其他方法(例如，方法600、700、 900和1000)在本文中所描述的用户界面对象、用户界面和声音输出 的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图9A至图9C是图示了根据一些实施例的针对视频信息用户界 面提供声音信息的方法900的流程图。在与显示器和音频系统通信的 电子设备(例如，图3的设备300或者图1A的便携式多功能设备100) 处执行方法900。在一些实施例中，电子设备与具有触敏表面的用户 输入设备(例如，远程用户输入设备，诸如遥控器)通信。在一些实 施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显 示器集成。在一些实施例中，显示器与触敏表面分离。在一些实施例 中，用户输入设备与电子设备集成。在一些实施例中，用户输入设备 与电子设备分离。可选地组合方法900中的一些操作和/或可选地改变 一些操作的顺序。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例 中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个 或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音 频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显 示器(例如，显示屏和分离的音频系统)不同并且分离。
可选地组合方法900中的一些操作和/或可选地改变一些操作的 顺序。在一些实施例中，图5II至图5MM中的用户界面用来图示关 于方法900所描述的过程。
如下面所描述的，暂停视频的回放包括提供用于当视频的回放暂 停时呈现来自视频的多个静止图像的数据。来自视频的多个静止图像 帮助用户即使在视频的回放被恢复之前，也理解其中视频的回放被暂 停周围的视频的上下文。因此，用户可以在视频的回放被恢复之后不 久理解视频的上下文。
设备向显示器提供(902)用于呈现包括关于第一视频的描述性 信息的第一视频信息用户界面的数据。例如，第一视频信息用户界面 (例如，图5II中的产品页面视图572)包括信息，诸如标题、运行 时间、情节概述、评级、用于播放第一视频的可供件等。
在一些实施例中，在显示器呈现第一视频信息用户界面之前：设 备向显示器提供(904)用于呈现包括多个视频的表示的视频选择用 户界面的数据(例如，具有对应于多个视频中的每一个视频的海报和 /或标题的图标)。设备接收与多个视频中的第一视频的表示的选择对 应的输入，其中响应于接收到与第一视频的表示的选择对应的输入， 呈现用于第一视频的第一视频信息用户界面。例如，在图5II中的用 户界面的显示之前显示图5GG中的用户界面，并且响应于用户激活 电影图标534-a(图5GG)而呈现图5II中的用户界面。
设备向音频系统提供(906)用于在由显示器对第一视频信息用 户界面的呈现期间提供对应于(例如，基于)第一视频的第一声音输 出。在一些实施例中，声音信息是基于第一视频的种类的音频(例如， 戏剧的黑暗环境声音或者喜剧的明亮环境声音等)。在一些实施例中， 使用与视频相关联的元数据(例如，指示对视频或者视频中的第一场 景的一个或多个种类分类的元数据)确定第一视频的种类。在一些实 施例中，声音信息是从第一视频自身中的声音或者音乐生成的音频 (例如，音频是来自第一视频的声音轨道的音频)。在一些实施例中， 声音信息是被选择为对应于第一视频中的特定场景的音调的音频。例 如，在一些实施例中，设备分析第一视频的第一场景的颜色分布来确 定场景是“明亮的”还是“黑暗的”并且将音频匹配为“明亮”或“黑 暗”。在一些实施例中，当显示关于第一视频的第一视频信息用户界 面时，第一声音输出循环(重复)。
在一些实施例中，第一视频信息用户界面包括(908)多个用户 界面对象。例如，如图5II中所示，用户界面包括“现在观看(Watch Now)”的可供件和“预告片/预览”的可供件。多个用户界面对象的 第一用户界面对象被配置为：当被选择(或者激活)时，发起电子设备向音频系统提供用于提供与第一视频的第一声音轨道的至少部分 对应的声音输出的声音信息(例如，激活第一视频信息用户界面中的 播放用户界面对象发起输出来自第一视频的枪声)。多个用户界面对 象的第二用户界面对象被配置为：当被选择(或者激活)时，发起电 子设备向音频系统提供用于提供对应于与第一视频的第一声音轨道 不同的第二视频的第二声音轨道的至少部分的声音输出的声音信息 (例如，激活第一视频信息用户界面中的预告片用户界面对象发起输 出来自第一视频的马声)。
当显示器呈现包括关于第一视频的描述性信息的第一视频信息 用户界面时，设备接收(910)与用于回放第一视频的请求对应的输 入(例如，接收对应于视频信息用户界面中的播放图标的激活或者与 设备通信的遥控器上的播放按钮的激活的输入)。响应于接收到与用 于回放第一视频的请求对应的输入，设备向显示器提供(912)用于 利用第一视频的回放(例如，图5JJ中的视频回放视图500)替换第 一视频信息用户界面的呈现的数据。例如，用户决定观看第一视频并 且因此激活第一视频的回放。
在第一视频的回放期间，设备接收(图9B的914)与用于显示 关于第一视频的第二视频信息用户界面的请求对应的输入(例如，接 收对应于暂停图标或者返回图标的激活或者与设备通信的遥控器上 的暂停按钮或者返回按钮(诸如菜单按钮5002)的激活的输入580， 如图5JJ中所示)。在一些实施例中，关于第一视频的第二视频信息 用户界面与关于第一视频的第一视频信息用户界面不同。例如，第二 视频信息是与产品页面视图不同的“暂停”屏幕。在一些实施例中， 关于第一视频的第二视频信息用户界面与关于第一视频的第一视频 信息用户界面相同。在一些实施例中，当用户暂停视频时，设备返回 至第一视频信息用户界面。
响应于接收到与用于显示关于第一视频的第二视频信息用户界 面的请求对应的输入：设备向显示器提供(916)用于利用关于第一 视频的第二视频信息用户界面(例如，图5KK中的产品页面视图572) 替换第一视频的回放的数据。设备向音频系统提供用于在由显示器对 第二视频信息用户界面的呈现期间提供与第一声音输出不同的对应 于(例如，基于)第一视频的第二声音输出。在一些实施例中，当显 示关于第一视频的第二视频信息用户界面时，第二声音输出循环(重 复)。
在一些实施例中，第二声音输出是(918)与当接收到与用于显 示第二视频信息用户界面的请求对应的输入时正播放的第一视频的 位置对应的第一视频的声音轨道。在一些实施例中，从与涵盖当接收 到与用于显示第二视频信息用户界面的请求对应的输入时正播放的 第一视频中的位置的第一视频的章节对应的第一视频的声音轨道中 选择第二声音输出。
在一些实施例中，根据确定在从第一视频的结束起的预定持续时 间内接收到与用于显示第二视频信息用户界面的请求对应的输入(例 如，当显示结束字幕时的输入582，如图5LL中所示)，针对第二声 音输出选择(920)第一视频的结束字幕声音轨道。例如，如果第一 视频靠近(例如足够接近于)结束，则利用视频信息用户界面播放结 束字幕声音轨道。
在一些实施例中，在发起第一视频的回放之后，设备接收(图9C 的922)与用于暂停第一视频的请求对应的输入。响应于接收到与用 于暂停第一视频的请求对应的输入：设备在第一视频的时间线中的第 一回放位置处暂停(924)第一视频的回放并且向显示器提供用于呈 现来自第一视频的一个或多个所选择的静止图像的数据，其中基于在 其处暂停第一视频的第一回放位置，选择一个或多个所选择的静止图 像(例如，如果当音频系统输出第一视频的第一声音轨道时接收到与 用于暂停第一视频的请求对应的输入，则当暂停第一视频时，音频系 统继续输出第一视频的第一声音轨道)。设备进一步向音频系统提供用于提供声音输出的声音信息，该声音输出对应于第一回放位置处的 第一视频的声音轨道。
在一些实施例中，在发起第一视频的回放之后，设备接收(926) 与用于暂停第一视频的请求对应的输入。响应于接收到与用于暂停第 一视频的请求对应的输入：设备在第一视频的时间线中的第一回放位 置处暂停(928)第一视频的回放；并且向显示器提供用于呈现来自 第一视频的一个或多个所选择的静止图像的数据(例如，图5OO至 图5SS)。基于在其处暂停第一视频的第一回放位置，选择一个或多 个所选择的静止图像。设备还向音频系统提供用于提供声音输出的声 音信息，该声音输出对应于第一回放位置处的第一视频的一个或多个 特性(例如，原始声音轨道的节拍、和弦)。在一些实施例中，该方 法包括标识涵盖第一回放位置的预定持续时间的时间窗处或该时间 窗内的原始声音轨道的节拍和/或和弦，并且基于第一回放位置处的原 始声音轨道的节拍和/或和弦，选择与原始声音轨道不同的音乐。
在一些实施例中，从第一视频的声音轨道选择(330)第一声音 输出和/或第二声音输出。在一些实施例中，第一声音输出是第一视频 的主题音乐。在一些实施例中，第一声音输出独立于第一视频中的当 前回放位置。例如，甚至在播放第一视频之前选择第一声音输出。
在一些实施例中，基于第一视频的一个或多个特性(例如，种类、 用户评级、评论评级等)，(例如，从独立于第一视频的声音轨道， 诸如来自各种种类的电影的声音轨道的集合)选择(932)第一声音 输出和/或第二声音输出。例如，针对科幻电影选择电子音乐，并且针 对西方电影选择西方音乐(例如，基于与第一视频相关联的元数据)。 例如，针对具有高于预定准则的用户评级和/或评论评级的电影选择以 快节拍和/或以大和弦开始的音乐，并且针对具有低于预定准则的用户 评级和/或评论评级的电影选择以慢节拍和/或以小和弦开始的音乐。
应当理解，已经描述图9A至图9C中的操作的特定顺序仅是示例 性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领 域的普通技术人员将认识到用于将本文所描述的操作重新排序的各 种方式。此外，应当注意，关于在本文中所描述的其他方法(例如， 方法600、700、800和1000)在本文中所描述的其他过程的细节以与 上文关于图9A至图9C所描述的方法900类似的方式也是适用的。 例如，上文参考方法900所描述的用户界面对象、用户界面、声音输 出和静止图像可选地具有参考在本文中所描述的其他方法(例如，方 法600、700、800和1000)在本文中所描述的用户界面对象、用户界 面、声音输出和静止图像的特性中的一个或多个特性。为了简洁起见， 此处不重复这些细节。
图10A至图10B图示了根据一些实施例的当视频处于暂停状态 时提供视听信息的方法1000的流程图。在与显示器(并且在一些实 施例中与触敏表面)通信的电子设备(例如，图3的设备300或者图 1A的便携式多功能设备100)处执行方法1000。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集 成。在一些实施例中，显示器与触敏表面分离。可选地组合方法10 中的一些操作和/或可选地改变一些操作的顺序。
如下面所描述的，方法1000提供了用于当视频处于暂停状态时 提供视听信息的直观的方式。该方法减少当视频处于暂停状态时当观 察到视听信息时用户的认知负担，从而创建更高效的人机界面。当视 频处于暂停状态时使得用户能够观察到视听信息也节省电力。
设备100向显示器提供(1002)用于呈现第一视频的数据。例如， 用于呈现电影或者电视节目的数据(例如，图5NN中的视频回放视 图500)。当显示器正呈现(例如，回放)第一视频时，设备接收(1004) 与用于暂停第一视频的用户请求对应的输入。例如，接收到与暂停图 标的激活、设备上或者与设备通信的遥控器上的触敏表面上的暂停手 势或者与设备通信的遥控器上的暂停按钮的激活对应的输入(例如， 图5NN中的播放/暂停按钮5004上的输入586)。
响应于接收到与用于暂停第一视频的用户请求对应的输入，设备 暂停(1006)第一视频的时间线中的第一回放位置处的第一视频的呈 现。在暂停第一视频的时间线中的第一回放位置处的第一视频的呈现 之后并且当暂停第一视频的呈现时，设备向显示器提供(1008)用于 呈现来自第一视频的多个所选择的静止图像(例如，自动选择的静止 图像)的数据，其中基于在其处暂停第一视频的第一回放位置，选择 该多个所选择的静止图像。例如，设备向显示器提供用于呈现该多个 所选择的静止图像的数据，如图5OO至图5SS中所示。
在一些实施例中，当第一视频暂停时，顺序地呈现多个所选择的 静止图像。在一些实施例中，当第一视频暂停时，以时间顺序呈现所 选择的静止图像。在一些实施例中，当第一视频暂停时，以随机顺序 呈现所选择的静止图像。在一些实施例中，当第一视频暂停时，向显 示器顺序地提供所选择的静止图像。在一些实施例中，当第一视频暂 停时，以时间顺序呈现所选择的静止图像。在一些实施例中，当第一 视频暂停时，以随机顺序呈现所选择的静止图像。
在一些实施例中，从在时间线中的第一回放位置与领先于第一回 放位置的时间线中的第二回放位置之间的用于第一视频的回放位置 范围中选择(1010)多个所选择的静止图像。在一些实施例中，时间 线中的第二回放位置以预定时间间隔领先于第一回放位置(1012)。 例如，从30秒范围中选择多个静止图像，并且第一回放位置在0：45：00处，并且第二回放位置在0：44：30。在一些实施例中，选择图像 以便排除对应于第一回放位置之后的视频的回放的任何图像。例如， 选择图像以避免揭示关于第一回放位置之后的故事线的任何内容。
在一些实施例中，时间线中的第二回放位置以在接收到与用于暂 停第一视频的请求对应的输入之后确定的时间间隔领先于第一回放 位置(1014)。例如，响应于接收到对应于暂停第一视频的请求的输 入或者紧接地在提供呈现来自第一视频的多个所选择的静止图像的 数据之前，确定时间间隔。在一些实施例中，如果在时间线中的第一 回放位置与领先于第一回放位置的时间线中的第二回放位置之间的 帧的改变小于第一预定帧改变准则，则使用较长的时间间隔。在一些 实施例中，预定帧改变准则之一是帧中检测的移动量。例如，如果在 领先第一回放位置的30秒或者60秒内存在非常少的移动，则时间间 隔增加到领先第一回放位置2分钟。在一些实施例中，如果在时间线 中的第一回放位置与领先于第一回放位置的时间线中的第二回放位 置之间的帧的改变大于第二预定帧改变准则，则使用较短的时间间 隔。在一些实施例中，预定帧改变准则之一是正显示的视频的种类。 例如，如果第一视频是针对古典音乐演奏，则使用较长的时间间隔， 并且如果第一视频是动作电影，则使用较短的时间间隔。
在一些实施例中，视频的多个所选择的静止图像包括(图10B的 1016)对于多个所选择的静止图像中的任何其他静止图像在视频中不 连续的静止图像。例如，通过视频的至少一个帧将静止图像与任何其 他静止图像分离(例如，一个或多个帧位于任何两个所选择的静止图 像之间的视频中)。在一些实施例中，未以视频速率播放静止图像(例 如，每个静止图像可以显示数秒)。在一些实施例中，多个所选择的 静止图像包括(1018)代表性帧。在一些实施例中，方法包括基于预 定代表性帧准则标识代表性帧(例如，具有相应帧的中心区域中的字 符和/或对象的帧、具有小于预定移动准则的对象的移动的帧等)。
在一些实施例中，在暂停第一视频的时间线中的第一回放位置处 的第一视频的呈现之后并且当第一视频的呈现被暂停时，设备向显示 器提供(1020)用于呈现指示向幻灯片模式转换的动画的数据(例如， 图5PP中的倒计时时钟588)。在一些实施例中，当视频暂停时，在 幻灯片模式中显示多个所选择的静止图像。在一些实施例中，指示向 幻灯片模式转换的动画包括(1022)倒计时时钟。在一些实施例中， 在幻灯片模式中显示多个图像包括显示时间标记，该时间标记指示对 应于第一回放位置(例如，在此处暂停视频)的视频的时间线中的位 置。在一些实施例中，在幻灯片模式中显示多个图像包括显示指示当 前时间(例如，当前8:03pm)的时钟。
在一些实施例中，设备重复(1024)向显示器提供用于呈现来自 第一视频的多个所选择的静止图像的数据。在一些实施例中，重复(例 如，循环)对多个所选择的静止图像的顺序显示。在一些实施例中， 以随机化方式重复多个所选择的静止图像的显示。在一些实施例中， 设备向显示器提供(1026)用于呈现具有平移效果和/或缩放效果的多 个所选择的静止图像的相应静止图像的数据。在一些实施例中，设备 向显示器提供用于呈现具有透明度的多个所选择的静止图像的相应 静止图像的数据(例如，当显示下一个静止图像时)。
在一些实施例中，设备与音频系统通信，并且设备向音频系统提 供(1028)用于提供第一声音输出的声音信息，该第一声音输出对应 于在显示器上正呈现的第一视频。在一些实施例中，设备向音频系统 提供(1030)用于提供声音输出的声音信息，该声音输出是基于在其 处暂停第一视频的第一回放位置而选择的。
应当理解，已经描述图10A至图10B中的操作的特定顺序仅是示 例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本 领域的普通技术人员将认识到用于将本文所描述的操作重新排序的 各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如， 方法600、700、800和900)在本文中所描述的其他过程的细节以与 上文关于图10A至图10B所描述的方法1000类似的方式也是适用的。 例如，上文参考方法1000所描述的用户界面对象、用户界面、静止 图像和声音输出可选地具有参考在本文中所描述的其他方法(例如， 方法600、700、800和900)在本文中所描述的用户界面对象、用户 界面、静止图像和声音输出的特性中的一个或多个特性。为了简洁起 见，此处不重复这些细节。
根据一些实施例，图11示出了根据各种所描述的实施例的原理 配置的电子设备1100的功能框图。设备的功能框可选地由硬件、软 件、固件或其组合实施以实现各种所描述的实施例的原理。本领域的 技术人员应理解到，图11中所描述的功能框可选地组合或分离为子 框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支 持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图11中所示，电子设备1100包括处理单元1106。在一些实施 例中，电子设备1100与显示单元1102(例如，被配置为显示用户界 面)和音频单元1104(例如，被配置为提供声音输出)通信。在一些 实施例中，处理单元1106包括：显示使能单元1108、音频使能单元 1110和检测单元1112。
处理单元1106被配置为向显示单元1102提供(例如，利用显示 使能单元1108)用于呈现由设备生成的用户界面的数据。该用户界面 包括具有第一视觉特性的第一用户界面对象。该用户界面还包括与第 一用户界面对象不同的具有第二视觉特性的第二用户界面对象。
处理单元1106被配置为向音频单元1104提供(例如，利用音频 使能单元1110)用于提供声音输出的声音信息。该声音输出包括对应 于第一用户界面对象的第一音频分量。该声音输出还包括对应于第二 用户界面对象并且与第一音频分量不同的第二音频分量。
处理单元1106被配置为：当用户界面被呈现在显示单元1102上 并且声音输出被提供时，向显示单元1102提供(例如，利用显示使 能单元1108)用于更新用户界面的数据，并且向音频单元1104提供 (例如，利用音频使能单元1110)用于更新声音输出的声音信息。更 新用户界面和更新声音输出包括：结合改变对应于第一用户界面对象 的第一音频分量来改变第一用户界面对象的第一视觉特性中的至少 一个视觉特性，以及结合改变对应于第二用户界面对象的第二音频分 量来改变第二用户界面对象的第二视觉特性中的至少一个视觉特性。 提供用于更新用户界面的数据独立于用户输入而发生。
在一些实施例中，第一视觉特性包括第一用户界面对象的大小和 /或位置。
在一些实施例中，更新用户界面和更新声音输出进一步包括：停 止显示第一用户界面对象和停止提供包括对应于第一用户界面对象 的第一音频分量的声音输出；停止显示第二用户界面对象和停止提供 包括对应于第二用户界面对象的第二音频分量的声音输出；和/或显示 一个或多个相应用户界面对象并且提供包括对应于一个或多个相应 用户界面对象的一个或多个相应音频分量的声音输出。
在一些实施例中，根据对第一用户界面对象的第一视觉特性中的 至少一个视觉特性的改变来改变对应于第一用户界面对象的第一音 频分量。
在一些实施例中，根据对第一音频分量的改变来改变第一用户界 面对象的第一视觉特性中的至少一个视觉特性。
在一些实施例中，相应音频分量的音高对应于对应的用户界面对 象的初始大小，相应音频分量的立体声平衡对应于显示单元1102上 的对应的用户界面对象的位置，和/或相应音频分量的音量的改变对应 于对应的用户界面对象的大小的改变。
在一些实施例中，独立于用户输入来确定第一用户界面对象的第 一视觉特性和第二用户界面对象的第二视觉特性。
在一些实施例中，至少部分基于第一音频分量，选择第二音频分 量。
在一些实施例中，更新声音输出包括：确定是否满足预定不活动 性准则，并且根据确定满足预定不活动性准则，改变声音输出的音量。
在一些实施例中，处理单元1106被配置为检测(例如，使用检 测单元1112)用户输入。处理单元1106被配置为响应于检测到用户 输入，向音频单元1104提供(例如，使用音频使能单元1110)用于 改变对应于相应用户界面对象的相应音频分量的声音信息，并且向显示单元1102提供(例如，使用显示使能单元1108)用于更新用户界 面和显示一个或多个控制用户界面对象的数据。
在一些实施例中，向音频单元1104提供的声音信息包括用于提 供包括音频分量的声音输出的信息，所述音频分量与对应于相应用户 界面对象的相应音频分量是不和谐的。
在一些实施例中，处理单元1106被配置为在检测到用户输入之 前，向显示单元1102提供(例如，使用显示使能单元1108)用于显 示用户界面和更新用户界面的数据，而不向音频单元1104提供用于 提供声音输出的声音信息。处理单元1106被配置为在检测到用户输 入之后，向显示单元1102提供(例如，使用显示使能单元1108)用 于显示用户界面和更新用户界面的数据，并且向音频单元1104提供 用于提供声音输出和更新声音输出的声音信息。
根据一些实施例，图12示出了根据各种所描述的实施例的原理 配置的电子设备1200的功能框图。设备的功能框可选地由硬件、软 件、固件或其组合实施来实现各种所描述的实施例的原理。本领域的 技术人员应理解到，图12中所描述的功能框可选地组合或分离为子 框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支 持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图12中所示，电子设备1200与显示单元1202(例如，被配置 为显示用户界面)、音频单元1216(例如，被配置为提供声音输出) 通信，并且在一些实施例中与遥控器单元1206通信，遥控器单元1206 被配置为检测用户输入并且将其发送给设备1200。在一些实施例中， 遥控器单元1206包括被配置为接收接触的触敏表面单元1204。在一 些实施例中，处理单元1208包括：显示使能单元1210、接收单元1212 和音频使能单元1214。
根据一些实施例，处理单元1208被配置为向显示单元1202提供 用于呈现具有多个用户界面对象(包括显示单元1202上的第一位置 处的控制用户界面对象)的用户界面的数据(例如，利用显示使能单 元1210)。该控制用户界面对象被配置为控制相应参数。处理单元1208被配置为接收(例如，利用接收单元1212)对应于与显示单元 1202上的控制用户界面对象的第一交互的第一输入(例如，在触敏表 面单元1204上)。处理单元1208被配置为当接收到对应于与显示单 元1202上的控制用户界面对象的第一交互的第一输入时，向显示单 元1202提供用于根据第一输入将控制用户界面对象从显示单元1202 上的第一位置移动至与显示单元1202上的第一位置不同的显示单元 1202上的第二位置的数据；并且向音频单元1216(例如，利用音频 使能单元1214)提供用于提供第一声音输出的第一声音信息，第一声 音输出具有与由控制用户界面对象控制的相应参数不同并且根据控 制用户界面对象从显示单元1202上的第一位置到显示单元1202上的 第二位置的移动而改变的一个或多个特性。
在一些实施例中，根据确定第一输入满足第一输入准则，第一声 音输出具有第一特性集，并且根据确定第一输入满足第二输入准则， 第二声音输出具有与第一特性集不同的第二特性集。
在一些实施例中，处理单元1208被配置为在对第一输入做出响 应之后，接收(例如，利用接收单元1212)对应于与显示单元1202 上的控制用户界面对象的第二交互的第二输入(例如，在触敏表面单 元1204上)。处理单元1208被配置为响应于并且当接收到对应于与 显示单元1202上的控制用户界面对象的第二交互的第二输入时，向 显示单元1202提供(例如，利用显示使能单元1210)用于根据第二 输入将控制用户界面对象从显示单元1202上的第二位置移动至与显 示单元1202上的第二位置不同的显示单元1202上的第三位置的数 据。处理单元1208还被配置为响应于并且当接收到第二输入时，向 音频单元1216提供(例如，利用音频使能单元1214)用于提供第二 声音输出的第二声音信息，该第二声音输出具有根据控制用户界面对 象从显示单元1202上的第二位置至显示单元1202上的第三位置的移 动而改变的一个或多个特性。
在一些实施例中，一个或多个特性包括第一声音输出的音高、第 一声音输出的音量和/或第一声音输出在多个空间通道上的分布。
在一些实施例中，音频单元1216与对应于多个空间通道的多个 扬声器耦合。向音频单元1216提供用于提供第一声音输出的第一声 音信息包括：根据控制用户界面对象从显示单元1202上的第一位置 到显示单元1202上的第二位置的移动的方向来确定(例如，利用音 频使能单元1214)第一声音输出在多个空间通道上的分布。
在一些实施例中，音频单元1216与对应于多个空间通道的多个 扬声器耦合。向音频单元1216提供用于提供第一声音输出的第一声 音信息包括：根据控制用户界面对象从显示单元1202上的第二位置 到显示单元1202上的第三位置的移动期间控制用户界面对象在显示 单元1202上的位置来确定(例如，利用音频使能单元1214)第一声 音输出在多个空间通道上的分布。
在一些实施例中，向音频单元1216提供用于提供第一声音输出 的第一声音信息包括：根据控制用户界面对象从显示单元1202上的 第一位置到显示单元1202上的第二位置的移动的速度来确定(例如， 利用音频使能单元1214)第一声音输出的音量。
在一些实施例中，控制用户界面对象是滑动条上的滑块。第一声 音输出的音高根据控制用户界面对象在滑动条上的定位(例如，位置) 而改变。
在一些实施例中，控制用户界面对象是滑动条上的滑块。显示单 元1202上的第二位置不是滑动条的终点。处理单元1208被配置为接 收(例如，利用接收单元1212)对应于与显示单元1202上的控制用 户界面对象的相应交互的输入(例如，在触敏表面单元1204上)。处理单元1208被配置为响应于接收到对应于与显示单元1202上的控 制用户界面对象的相应交互的输入，向显示单元1202提供(例如， 利用显示使能单元1210)用于根据该输入将控制用户界面对象移动至 显示单元1202上的第四位置的数据，其中显示单元1202上的第四位 置是滑动条的终点；并且向音频单元1216提供(例如，利用音频使 能单元1214)用于提供第三声音输出的声音信息，以指示控制用户界 面对象位于滑动条的终点，其中第三声音输出与第一声音输出不同。
在一些实施例中，处理单元1208被配置为响应于接收到对应于 与显示单元1202上的控制用户界面对象的第一交互的第一输入，向 显示单元1202提供(例如，利用显示使能单元1210)用于根据第一 输入将控制用户界面对象从显示单元1202上的第一位置移动至与显 示单元1202上的第一位置不同的显示单元1202上的第二位置的数 据，并且在控制用户界面对象从显示单元1202上的第一位置至显示 单元1202上的第二位置的移动期间根据第一输入在视觉上区分开(例 如，利用显示使能单元1210)控制用户界面对象。
根据一些实施例，处理单元1208被配置为向显示单元1202提供 (例如，利用显示使能单元1210)用于呈现具有多个用户界面对象的 第一用户界面的数据，其中当前焦点在多个用户界面对象的第一用户 界面对象上。处理单元1208被配置为当显示单元1202呈现第一用户 界面时，接收(例如，利用接收单元1212)与用于改变当前焦点在第 一用户界面中的位置的请求对应的输入(例如，在触敏表面单元1204 上)，该输入具有方向和幅度。处理单元1208被配置为响应于接收 到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入， 向显示单元(1202)提供(例如，利用显示使能单元1210)用于将当 前焦点从第一用户界面对象移动至第二用户界面对象的数据，其中第 二用户界面对象是根据输入的方向和/或幅度而针对当前焦点选择的； 并且向音频单元1216提供(例如，利用音频使能单元1214)提供用 于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象至第二用户界面对象的的移动，其中与当前焦 点从第一用户界面对象移动至第二用户界面对象的显示并发地提供 第一声音输出。至少部分基于第一用户界面对象的大小、第一用户界 面对象的类型、第二用户界面对象的大小和/或第二用户界面对象的类 型，确定第一声音输出的音高(例如，通过音频使能单元1214)。
在一些实施例中，基于输入的幅度，确定第一声音输出的音量(例 如，通过音频使能单元1214)。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低 第一声音输出的音量(例如，通过音频使能单元1214)。
在一些实施例中，根据第二用户界面对象在第一用户界面中的位 置，调节第一声音输出在多个空间通道上的分布(例如，通过音频使 能单元1214)。
在一些实施例中，基于第二用户界面对象的大小和/或第二用户界 面对象的类型，确定第一声音输出的音高(例如，通过音频使能单元 1214)。响应于接收到与用于改变当前焦点在第一用户界面中的位置 的请求对应的输入，处理单元1208被配置为向音频单元1216提供(例 如，利用音频使能单元1214)用于提供第二声音输出的第二声音信息， 该第二声音输出对应于当前焦点从第一用户界面对象至第二用户界 面对象的移动，其中至少部分基于第一用户界面对象的大小和/或第一 用户界面对象的类型，确定第二声音输出的音高。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低 第一声音输出的释放(例如，通过音频使能单元1214)。
在一些实施例中，处理单元1208被配置为响应于接收到与用于 改变当前焦点在第一用户界面中的位置的一个或多个请求对应的一 个或多个输入(例如，通过接收单元1212)，向显示单元1202提供 (例如，利用显示使能单元1210)用于将当前焦点从第二用户界面对 象移动至第三用户界面对象的数据；向音频单元1216提供(例如， 利用音频使能单元1214)提供用于提供第三声音输出的第三声音信 息，该第三声音输出对应于当前焦点从第二用户界面对象至第三用户 界面对象的移动，其中与当前焦点从第二用户界面对象移动至第三用 户界面对象的显示并发地提供第三声音输出；向显示单元1202提供 (例如，利用显示使能单元1210)用于将当前焦点从第三用户界面对 象移动至第四用户界面对象的数据；并且向音频单元1216提供(例 如，利用音频使能单元1214)用于提供第四声音输出的第四声音信息， 该第三声音输出对应于当前焦点从第三用户界面对象至第四用户界 面对象的移动，其中与当前焦点从第三用户界面对象移动至第四用户 界面对象的显示并发地提供第四声音输出。与当前焦点至第二用户界 面对象、第三用户界面对象和第四用户界面对象中的最大对象的移动 对应的声音输出具有比与当前焦点至第二用户界面对象、第三用户界 面对象和第四用户界面对象中的剩余两个对象的移动对应的相应声 音输出更低的音高。与当前焦点至第二用户界面对象、第三用户界面 对象和第四用户界面对象中的最小对象的移动对应的声音输出具有 比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界 面对象中的剩余两个对象的移动对应的相应声音输出更高的音高。
在一些实施例中，具有多个用户界面对象的第一用户界面被包括 在用户界面的层次结构中。处理单元1208被配置为当显示单元1202 呈现具有多个用户界面对象的第一用户界面时，接收(例如，利用接 收单元1212)与用于在用户界面的层次结构中利用第二用户界面替换 第一用户界面的请求对应的输入(例如，在触敏表面单元1204上)； 并且响应于接收到与用于利用第二用户界面替换第一用户界面的请 求对应的输入，向显示单元1202提供(例如，利用显示使能单元1210) 用于利用第二用户界面替换第一用户界面的数据；根据确定在用户界 面的层次结构中第一用户界面位于第二用户界面上面，向音频单元1216提供(例如，利用音频使能单元1214)用于提供第五声音输出 的第五声音信息；并且根据确定在用户界面的层次结构中第一用户界 面位于第二用户界面下面，向音频单元1216提供(例如，利用音频 使能单元1214)用于提供与第五声音输出不同的第六声音输出的第六 声音信息。
在一些实施例中，处理单元1208被配置为当显示单元1202呈现 第一用户界面时，接收(例如，利用接收单元1212)与用于激活具有 当前焦点的用户界面对象的请求对应的输入(例如，在触敏表面单元 1204上)；响应于接收到与用于激活具有当前焦点的用户界面对象的 请求对应的输入：根据确定第一用户界面对象具有当前焦点，向音频 单元1216提供(例如，利用音频使能单元1214)用于提供第七声音 输出的第七声音信息，该第七声音输出对应于第一用户界面对象的激 活；并且根据确定第二用户界面对象具有当前焦点，向音频单元1216 提供用于提供第八声音输出的第八声音信息，该第八声音输出对应于 第二用户界面对象的激活。第八声音输出与第七声音输出不同。在与 当前焦点至第一用户界面对象的移动对应的声音输出的一个或多个 特性与第二声音输出的一个或多个特性之间的关系对应于在第七声 音输出的一个或多个特性与第八声音输出的一个或多个特性之间的关系。
根据一些实施例，处理单元1208被配置为向显示单元1202提供 (例如，利用显示使能单元1210)用于呈现包括关于第一视频的描述 性信息的第一视频信息用户界面的数据；向音频单元1216提供(例 如，利用音频使能单元1214)用于在由显示单元1202对第一视频信 息用户界面的呈现期间提供对应于第一视频的第一声音输出的声音 信息；当显示单元1202呈现包括关于第一视频的描述性信息的第一 视频信息用户界面时，接收(例如，利用接收单元1212)与用于回放 第一视频的请求对应的输入(例如，在触敏表面单元1204上)；响 应于接收到与用于回放第一视频的请求对应的输入，向显示单元1202 提供(例如，利用显示使能单元1210)用于利用第一视频的回放替换 第一视频信息用户界面的呈现的数据；在第一视频的回放期间，接收 (例如，利用接收单元1212)与用于显示关于第一视频的第二视频信 息用户界面的请求对应的输入(例如，在触敏表面单元1204上)； 响应于接收到与用于显示关于第一视频的第二视频信息用户界面的 请求对应的输入，向显示单元1202提供用于利用关于第一视频的第 二视频信息用户界面替换第一视频的回放的数据，并且向音频单元 1216提供用于在由显示单元1202对第二视频信息用户界面的呈现期 间提供与第一声音输出不同的对应于第一视频的第二声音输出的声 音信息。
在一些实施例中，从第一视频的声音轨道选择第一声音输出和/ 或第二声音输出。
在一些实施例中，第二声音输出是与当接收到与用于显示第二视 频信息用户界面的请求对应的输入时正播放的第一视频中的位置对 应的第一视频的声音轨道。
在一些实施例中，根据确定在从第一视频的结束起的预定持续时 间内接收到与用于显示第二视频信息用户界面的请求对应的输入，针 对第二声音输出选择(例如，通过音频使能单元1214)第一视频的结 束字幕声音轨道。
在一些实施例中，处理单元1208被配置为：在发起第一视频的 回放之后，接收(例如，利用接收单元1212)与用于暂停第一视频的 请求对应的输入(例如，在触敏表面单元1204上)；并且响应于接 收到与用于暂停第一视频的请求对应的输入，在第一视频的时间线中 的第一回放位置处暂停(例如，利用显示使能单元1210)第一视频的 回放；向显示单元1202提供(例如，利用显示使能单元1210)用于 呈现来自第一视频的一个或多个所选择的静止图像的数据，其中基于 在其处暂停第一视频的第一回放位置，选择该一个或多个所选择的静 止图像；并且向音频单元1216提供(例如，利用音频使能单元1214) 用于提供与第一回放位置处的第一视频的声音轨道对应的声音输出 的声音信息。
在一些实施例中，处理单元1208被配置为：在发起第一视频的 回放之后，接收(例如，利用接收单元1212)与用于暂停第一视频的 请求对应的输入(例如，在触敏表面单元1204上)；并且响应于接 收到与用于暂停第一视频的请求对应的输入，在第一视频的时间线中 的第一回放位置处暂停(例如，利用显示使能单元1210)第一视频的 回放；向显示单元1202提供(例如，利用显示使能单元1210)用于 呈现来自第一视频的一个或多个所选择的静止图像的数据，其中基于 在其处暂停第一视频的第一回放位置，选择该一个或多个所选择的静 止图像，并且向音频单元1216提供(例如，利用音频使能单元1214) 用于提供与第一回放位置处的第一视频的一个或多个特性对应的声 音输出的声音信息。
在一些实施例中，第一视频信息用户界面包括多个用户界面对 象。多个用户界面对象的第一用户界面对象被配置为：当被选择时， 发起电子设备1200向音频单元1216提供(例如，利用音频使能单元 1214)用于提供与第一视频的第一声音轨道的至少部分对应的声音输 出的声音信息。多个用户界面对象的第二用户界面对象被配置为：当 被选择时，发起电子设备1200向音频单元1216提供(例如，利用音 频使能单元1214)用于提供声音输出的声音信息，该声音输出对应于 第一视频的与第一声音轨道不同的第二声音轨道的至少部分。
在一些实施例中，基于第一视频的一个或多个特性，选择第一声 音输出和/或第二声音输出。
在一些实施例中，处理单元1208被配置为：在显示单元1202呈 现第一视频信息用户界面之前，向显示单元1202提供用于呈现包括 多个视频的表示的视频选择用户界面的数据；以及接收(例如，利用 接收单元1212)与多个视频中的第一视频的表示的选择对应的输入 (例如，在触敏表面单元1204上)，其中响应于接收到与第一视频 的表示的选择对应的输入，呈现针对第一视频的第一视频信息用户界 面。
根据一些实施例，图13示出了根据各种所描述的实施例的原理 配置的电子设备1300的功能框图。设备的功能框可选地由硬件、软 件、固件或其组合实施来实现各种所描述的实施例的原理。本领域的 技术人员应理解到，图13中所描述的功能框可选地组合或分离为子 框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支 持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图13中所示，电子设备1300与显示单元1302通信。显示单 元1302被配置为显示视频回放信息。在一些实施例中，电子设备1300 与音频单元1312通信。电子设备1300包括与显示单元1302通信并 且在一些实施例中与音频单元1312通信的处理单元1304。在一些实 施例中，处理单元1304包括：数据提供单元1306、输入接收单元1308、 暂停单元1310和声音提供单元1314。
处理单元1304被配置为：向显示单元1302提供(例如，利用数 据提供单元1306)用于呈现第一视频的数据；当显示单元1302呈现 第一视频时，接收(例如，利用输入接收单元1308)与用于暂停第一 视频的用户请求对应的输入；响应于接收到与用于暂停第一视频的用 户请求对应的输入，在第一视频的时间线中的第一回放位置处暂停 (例如，使用暂停单元1310)第一视频的呈现；并且在第一视频的时 间线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频 的呈现被暂停时，向显示单元1302提供(例如，利用数据提供单元 1306)用于呈现来自第一视频的多个所选择的静止图像的数据，其中 基于在其处暂停第一视频的第一回放位置，选择该多个所选择的静止 图像。
在一些实施例中，从在时间线中的第一回放位置与领先于第一回 放位置的时间线中的第二回放位置之间的用于第一视频的回放位置 范围中选择多个所选择的静止图像。
在一些实施例中，时间线中的第二回放位置以预定时间间隔领先 于第一回放位置。
在一些实施例中，时间线中的第二回放位置以在接收到与用于暂 停第一视频的请求对应的输入之后确定的时间间隔领先于第一回放 位置。
在一些实施例中，视频的多个所选择的静止图像包括对于多个所 选择的静止图像中的任何其他静止图像在视频中不连续的静止图像。
在一些实施例中，多个所选择的静止图像包括代表性帧。
在一些实施例中，设备1300与音频单元1312通信，并且处理单 元1304进一步被配置为向音频单元1312提供(例如，利用声音信息 提供单元1314)用于提供与在显示单元1302上呈现的第一视频对应 的第一声音输出的声音信息。
在一些实施例中，处理单元1304被配置为向音频单元1312提供 (例如，利用声音信息提供单元1314)用于提供声音输出的声音信息， 该声音输出是基于在其处暂停第一视频的第一回放位置而选择的。
在一些实施例中，处理单元1304被配置为：在第一视频的时间 线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的 呈现被暂停时，向显示单元1302提供(例如，使用数据提供单元1306) 用于呈现指示向幻灯片模式转换的动画的数据。
在一些实施例中，指示向幻灯片模式转换的动画包括倒计时时 钟。
在一些实施例中，处理单元1304被配置为重复向显示单元1302 提供用于呈现来自第一视频的多个所选择的静止图像的数据。
在一些实施例中，处理单元1304被配置为向显示单元1302提供 (例如，使用数据提供单元1306)呈现具有平移效果和/或缩放效果 的多个所选择的静止图像的相应静止图像的数据。
可选地，通过运行信息处理装置(诸如通用处理器(例如，如上 文参考图1A和图3所描述的)或者专用芯片)中的一个或多个功能 模块实施上文所描述的信息处理方法中的操作。
可选地，通过图1A至图1B或者图10或者图11中所描绘的组件 实施上文参考图6A至图6C、图7A至图7D、图8A至图8C以及图 10A至图10B所描述的操作。例如，可选地，通过事件分类器170、 事件识别器180和事件处置器190实施接收操作704、接收操作804 和接收操作910。事件分类器170中的事件监测器171检测触敏显示 器112上的接触，并且事件分派器模块174向应用136-1递送事件信 息。应用136-1的相应事件识别器180将事件信息与相应事件定义186 相比较，并且确定是否触敏表面上的第一位置处的第一接触(或者是 否设备的旋转)对应于预定事件或者子事件，诸如用户界面上的对象 的选择或者设备从一个定向至另一个定向的旋转。当检测到相应的预 定事件或者子事件时，事件识别器180激活与事件或者子事件的检测 相关联的事件处置器190。事件处置器190可选地使用或调用数据更新器176或对象更新器177来更新应用内部状态192。在一些实施例 中，事件处置器190访问相应GUI更新器178来更新由应用显示的内 容。类似地，对于本领域的普通技术人员而言将清楚的是，可以如何 基于图1A至图1B中所描绘的组件实施其他过程。
出于解释的目的，已经参考特定实现方案描述前面的描述。然而， 上文的说明性论述不旨在是详尽的或者将本发明限于所公开的精确 形式。鉴于上文教导，许多修改和变型是可能的。选择并且描述实施 例以便最好地解释本发明的原理和其实际应用，从而使得本领域技术 人员能够最好地使用本发明和具有如适于预期的特定用途的各种修 改的各种所描述的实施例。

Claims (14)

1.一种方法，包括：
在具有一个或多个处理器和存储器的电子设备处，其中所述设备与显示器通信：
向所述显示器提供用于呈现第一视频的数据；以及
在所述显示器呈现所述第一视频时，接收与用于暂停所述第一视频的用户请求对应的输入；
响应于接收到与用于暂停所述第一视频的所述用户请求对应的所述输入，在所述第一视频的时间线中的第一回放位置处暂停所述第一视频的所述呈现；以及
在所述第一视频的时间线中的所述第一回放位置处暂停所述第一视频的所述呈现之后并且在所述第一视频的所述呈现被暂停时，向所述显示器提供用于呈现来自所述第一视频的多个所选择的静止图像的数据，其中基于在其处暂停所述第一视频的所述第一回放位置，选择所述多个所选择的静止图像。
2.根据权利要求1所述的方法，其中从在所述时间线中的所述第一回放位置与所述时间线中的领先于所述第一回放位置的第二回放位置之间的用于所述第一视频的回放位置范围中选择所述多个所选择的静止图像。
3.根据权利要求2所述的方法，其中所述时间线中的所述第二回放位置以预定时间间隔领先于所述第一回放位置。
4.根据权利要求2所述的方法，其中所述时间线中的所述第二回放位置以在接收到与用于暂停所述第一视频的所述请求对应的所述输入之后确定的时间间隔领先于所述第一回放位置。
5.根据权利要求1-4中任一项所述的方法，其中所述视频的所述多个所选择的静止图像包括对于所述多个所选择的静止图像中的任何其他静止图像而言在所述视频中不连续的静止图像。
6.根据权利要求1-5中任一项所述的方法，其中所述多个所选择的静止图像包括代表性帧。
7.根据权利要求1-6中任一项所述的方法，其中所述设备与音频系统通信，并且所述方法包括：向所述音频系统提供用于提供第一声音输出的声音信息，所述第一声音输出对应于在所述显示器上呈现的所述第一视频。
8.根据权利要求7所述的方法，包括：向所述音频系统提供用于提供声音输出的声音信息，所述声音输出是基于在其处暂停所述第一视频的所述第一回放位置而选择的。
9.根据权利要求1-8中任一项所述的方法，包括：在所述第一视频的所述时间线中的所述第一回放位置处暂停所述第一视频的所述呈现之后并且在所述第一视频的所述呈现被暂停时，向所述显示器提供用于呈现指示向幻灯片模式转换的动画的数据。
10.根据权利要求9所述的方法，其中指示向所述幻灯片模式转换的所述动画包括倒计时时钟。
11.根据权利要求1-10中任一项所述的方法，包括：重复向所述显示器提供用于呈现来自所述第一视频的所述多个所选择的静止图像的数据。
12.根据权利要求1-11中任一项所述的方法，包括：向所述显示器提供用于呈现具有平移效果和/或缩放效果的所述多个所选择的静止图像的相应静止图像的数据。
13.一种电子设备，与显示器通信，所述电子设备包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置用于由所述一个或多个处理器运行，所述一个或多个程序包括用于执行权利要求1-12中任一项所述的方法的指令。
14.一种计算机可读存储介质，存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由与显示器通信的电子设备运行时使得所述设备执行权利要求1-12中任一项所述的方法。
CN201910420166.1A 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面 Pending CN110297679A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562215244P 2015-09-08 2015-09-08
US62/215,244 2015-09-08
US14/866,570 US9928029B2 (en) 2015-09-08 2015-09-25 Device, method, and graphical user interface for providing audiovisual feedback
US14/866,570 2015-09-25
CN201610670699.1A CN106502638B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610670699.1A Division CN106502638B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN110297679A true CN110297679A (zh) 2019-10-01

Family

ID=58189522

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910420166.1A Pending CN110297679A (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面
CN201610670699.1A Active CN106502638B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面
CN201910411256.4A Active CN110275664B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201610670699.1A Active CN106502638B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面
CN201910411256.4A Active CN110275664B (zh) 2015-09-08 2016-08-15 用于提供视听反馈的设备、方法和图形用户界面

Country Status (6)

Country Link
US (3) US9928029B2 (zh)
EP (1) EP3268856A1 (zh)
CN (3) CN110297679A (zh)
AU (3) AU2016318321B2 (zh)
DK (1) DK179171B1 (zh)
WO (1) WO2017044238A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
WO2015200537A2 (en) 2014-06-24 2015-12-30 Apple Inc. Input device and user interface interactions
CN111782130B (zh) 2014-06-24 2024-03-29 苹果公司 用于在用户界面中导航的列界面
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
JP6538825B2 (ja) 2014-09-02 2019-07-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 可変触覚出力のための意味論的フレームワーク
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
USD848458S1 (en) * 2015-08-03 2019-05-14 Google Llc Display screen with animated graphical user interface
USD849027S1 (en) * 2015-08-03 2019-05-21 Google Llc Display screen with animated graphical user interface
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US9928029B2 (en) * 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9671244B2 (en) 2015-09-18 2017-06-06 Les Solutions Cyclelabs Inc. Electronic device and method for providing travel information
KR102546212B1 (ko) * 2016-01-05 2023-06-22 삼성전자주식회사 소리 출력 방법 및 이를 지원하는 전자 장치
KR102490548B1 (ko) * 2016-01-25 2023-01-19 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179034B1 (en) * 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK180122B1 (en) * 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US10542319B2 (en) 2016-11-09 2020-01-21 Opentv, Inc. End-of-show content display trigger
JP6890991B2 (ja) * 2017-01-31 2021-06-18 キヤノン株式会社 画像処理装置、制御方法及びプログラム
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10976913B2 (en) * 2017-10-12 2021-04-13 Disney Enterprises, Inc. Enabling undo on scrubber/seekbar UI widgets
US10423320B2 (en) * 2017-11-13 2019-09-24 Philo, Inc. Graphical user interface for navigating a video
US11567627B2 (en) * 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US10901687B2 (en) * 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
CN110310613A (zh) * 2018-03-27 2019-10-08 上海新啊利网络科技有限公司 一种用于生成颜色编码音乐的方法和设备
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
US11922006B2 (en) * 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US10976989B2 (en) * 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
US11579750B2 (en) * 2018-12-14 2023-02-14 Perksy, Inc. Methods, systems, and apparatus, for receiving persistent responses to online surveys
USD941829S1 (en) 2018-12-31 2022-01-25 Perksy, Inc. Display screen with graphical user interface
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
CN114302210B (zh) 2019-03-24 2024-07-05 苹果公司 用于查看和访问电子设备上的内容的用户界面
CN113711169A (zh) 2019-03-24 2021-11-26 苹果公司 包括内容项的可选表示的用户界面
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
USD921506S1 (en) 2019-04-26 2021-06-08 SmartHalo Technologies Inc. Electronic device for providing travel information
CN113906380A (zh) 2019-05-31 2022-01-07 苹果公司 用于播客浏览和回放应用程序的用户界面
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
DE102019118965A1 (de) * 2019-07-12 2021-01-14 Workaround Gmbh Nebengerät für ein Sensor- und/oder Informationssystem sowie Sensor- und/oder Informationssystem
US11709557B1 (en) 2019-09-25 2023-07-25 Apple Inc. Multipurpose controller device
CN111290721A (zh) * 2020-01-20 2020-06-16 北京大米未来科技有限公司 在线交互控制方法、系统、电子设备和存储介质
CN111225266B (zh) * 2020-02-25 2022-03-15 上海哔哩哔哩科技有限公司 用户界面交互方法和系统
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
JP2022088187A (ja) * 2020-12-02 2022-06-14 富士フイルム株式会社 情報処理装置及び情報処理プログラム
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11729448B2 (en) * 2021-08-20 2023-08-15 University Of Central Florida Research Foundation, Inc. Intelligent digital interruption management
JP7430166B2 (ja) * 2021-11-02 2024-02-09 任天堂株式会社 情報処理プログラム、情報処理装置および情報処理方法
EP4380169A1 (en) * 2021-12-29 2024-06-05 Samsung Electronics Co., Ltd. Display device and control method therefor
US20230370649A1 (en) * 2022-05-13 2023-11-16 Citrix Systems, Inc. Proximity and context based stream playback control

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1689327A (zh) * 2002-10-03 2005-10-26 皇家飞利浦电子股份有限公司 媒体通信方法和设备
CN1956516A (zh) * 2005-10-28 2007-05-02 深圳Tcl新技术有限公司 通过图片结合语音显示电视功能界面的方法
US20080062128A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Perspective scale video with navigation menu
US20090013254A1 (en) * 2007-06-14 2009-01-08 Georgia Tech Research Corporation Methods and Systems for Auditory Display of Menu Items
US20090167701A1 (en) * 2007-12-28 2009-07-02 Nokia Corporation Audio and tactile feedback based on visual environment
GB201311764D0 (en) * 2013-07-01 2013-08-14 Nokia Corp An apparatus
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器
CN103455237A (zh) * 2013-08-21 2013-12-18 中兴通讯股份有限公司 菜单处理方法及装置
CN103635938A (zh) * 2011-03-25 2014-03-12 爱立信(中国)通信有限公司 在流传输客户端中用于处理视频流传输数据的方法、流传输客户端、计算机程序和计算机程序产品
CN103902804A (zh) * 2012-12-27 2014-07-02 索尼电脑娱乐美国公司 能够基于先前用户游戏玩法而影子式玩视频游戏的系统和方法
CN103974146A (zh) * 2014-05-30 2014-08-06 深圳市同洲电子股份有限公司 一种视频处理方法、客户端及系统
US20140292706A1 (en) * 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
CN104391711A (zh) * 2014-08-28 2015-03-04 小米科技有限责任公司 一种设置屏幕保护的方法及装置
US20150106856A1 (en) * 2013-10-16 2015-04-16 VidRetal, Inc. Media player system for product placements
CN104618788A (zh) * 2014-12-29 2015-05-13 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367631A (en) 1992-04-14 1994-11-22 Apple Computer, Inc. Cursor control device with programmable preset cursor positions
US5374942A (en) 1993-02-05 1994-12-20 Gilligan; Federico G. Mouse and method for concurrent cursor position and scrolling control
US6903723B1 (en) * 1995-03-27 2005-06-07 Donald K. Forest Data entry method and apparatus
US6160536A (en) * 1995-03-27 2000-12-12 Forest; Donald K. Dwell time indication method and apparatus
US5973694A (en) 1995-06-02 1999-10-26 Chatham Telecommunications, Inc., Method of communication using sized icons, text, and audio
US5999895A (en) * 1995-07-24 1999-12-07 Forest; Donald K. Sound operated menu method and apparatus
US6005549A (en) * 1995-07-24 1999-12-21 Forest; Donald K. User interface method and apparatus
US5687331A (en) 1995-08-03 1997-11-11 Microsoft Corporation Method and system for displaying an animated focus item
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5870079A (en) 1996-11-12 1999-02-09 Legaltech, Inc. Computer input device and controller therefor
JP3409834B2 (ja) 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JPH11352949A (ja) 1998-06-04 1999-12-24 Casio Comput Co Ltd 表示制御装置及び表示制御のプログラムを記録した媒体
US7992163B1 (en) 1999-06-11 2011-08-02 Jerding Dean F Video-on-demand navigational system
EP1111497A1 (en) 1999-12-24 2001-06-27 CANAL+ Société Anonyme Navigation
US20010030667A1 (en) 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US20020055986A1 (en) 2000-11-08 2002-05-09 Lavaflow, Llp Method of downloadinga screen saver to a cellular telephone
US20020120934A1 (en) 2001-02-28 2002-08-29 Marc Abrahams Interactive television browsing and buying method
US20020128067A1 (en) 2001-03-09 2002-09-12 Victor Keith Blanco Method and apparatus for creating and playing soundtracks in a gaming system
US6594616B2 (en) * 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US7109975B2 (en) 2002-01-29 2006-09-19 Meta4Hand Inc. Computer pointer control
US20030169306A1 (en) 2002-03-07 2003-09-11 Nokia Corporation Creating a screen saver from downloadable applications on mobile devices
JP2004038896A (ja) * 2002-06-28 2004-02-05 Clarion Co Ltd 表示制御手段
US20040041849A1 (en) 2002-08-30 2004-03-04 Von Mock Display screen saver with two way messaging capability and method therefor
US7571393B2 (en) 2003-04-15 2009-08-04 Microsoft Corporation Method for navigation between elements on a page of content in a handheld device
JP4269155B2 (ja) 2003-06-25 2009-05-27 日本電気株式会社 ポインティングデバイス制御システムおよび電子機器
US7167162B2 (en) 2003-12-12 2007-01-23 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus and method for controlling a screen pointer
US20050204138A1 (en) 2004-03-12 2005-09-15 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for an email screen saver
KR101017737B1 (ko) * 2004-03-12 2011-02-28 엘지전자 주식회사 영상표시기기의 부화면(ｐｉｐ) 처리장치 및 방법
EP1728142B1 (en) 2004-03-23 2010-08-04 Fujitsu Ltd. Distinguishing tilt and translation motion components in handheld devices
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7301528B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7434173B2 (en) 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
US7386806B2 (en) * 2005-01-05 2008-06-10 Hillcrest Laboratories, Inc. Scaling and layout methods and systems for handling one-to-many objects
WO2006108288A1 (en) 2005-04-14 2006-10-19 Research In Motion Limited System and method for customizing notifications in a mobile electronic device
JP4533791B2 (ja) 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
US7797641B2 (en) 2005-05-27 2010-09-14 Nokia Corporation Mobile communications terminal and method therefore
US20070055947A1 (en) 2005-09-02 2007-03-08 Microsoft Corporation Animations and transitions
JP4817779B2 (ja) 2005-09-14 2011-11-16 ソニー株式会社 電子機器、電子機器の表示制御方法、グラフィカル・ユーザ・インターフェースおよび表示制御プログラム
US20070192734A1 (en) 2006-02-16 2007-08-16 Viktors Berstis Methods and arrangements to control pop-up windows
US20080104537A1 (en) 2006-10-30 2008-05-01 Sherryl Lee Lorraine Scott Method of improved viewing of visual objects on a display, and handheld electronic device
US20080229206A1 (en) 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US10225389B2 (en) 2007-06-29 2019-03-05 Nokia Technologies Oy Communication channel indicators
WO2009028160A1 (ja) 2007-08-24 2009-03-05 Panasonic Corporation 受信装置および受信方法
US20090125824A1 (en) 2007-11-12 2009-05-14 Microsoft Corporation User interface with physics engine for natural gestural control
JP4882989B2 (ja) 2007-12-10 2012-02-22 ソニー株式会社 電子機器、再生方法及びプログラム
US20090158222A1 (en) 2007-12-14 2009-06-18 Apple Inc. Interactive and dynamic screen saver for use in a media system
US8230360B2 (en) 2008-01-04 2012-07-24 Apple Inc. User interface for selection from media collection
US7552396B1 (en) 2008-04-04 2009-06-23 International Business Machines Corporation Associating screen position with audio location to detect changes to the performance of an application
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8249423B2 (en) 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
JP5658144B2 (ja) 2008-05-28 2015-01-21 グーグル・インコーポレーテッド 視覚ナビゲーション方法、システム、およびコンピュータ可読記録媒体
US8176438B2 (en) 2008-09-26 2012-05-08 Microsoft Corporation Multi-modal interaction for a screen magnifier
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8645871B2 (en) 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
US9037999B2 (en) 2008-12-31 2015-05-19 Tivo Inc. Adaptive search result user interface
US8266690B2 (en) * 2009-01-23 2012-09-11 Sony Corporation Temporally synchronized video display unit screensaver or wallpaper based on user preferences
US8482520B2 (en) 2009-01-30 2013-07-09 Research In Motion Limited Method for tap detection and for interacting with and a handheld electronic device, and a handheld electronic device configured therefor
US8689128B2 (en) 2009-03-16 2014-04-01 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8181120B2 (en) 2009-04-02 2012-05-15 Sony Corporation TV widget animation
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US20110148774A1 (en) 2009-12-23 2011-06-23 Nokia Corporation Handling Tactile Inputs
KR101661973B1 (ko) * 2010-01-05 2016-10-04 엘지전자 주식회사 영상표시장치
US8473860B2 (en) 2010-02-12 2013-06-25 Microsoft Corporation Multi-layer user interface with flexible parallel and orthogonal movement
US9317837B2 (en) 2010-03-17 2016-04-19 Intellectual Ventures Fund 83 Llc Dynamic graphic indicator for connected tasks
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2011243070A (ja) * 2010-05-19 2011-12-01 Sony Corp 情報処理システムおよび情報処理装置
KR101673925B1 (ko) 2010-05-26 2016-11-09 삼성전자주식회사 터치 락 상태를 가지는 단말기 및 이의 운용 방법
NL2004780C2 (nl) 2010-05-28 2012-01-23 Activevideo Networks B V Visueel element werkwijze en systeem.
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9009594B2 (en) 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
WO2012008628A1 (ko) 2010-07-13 2012-01-19 엘지전자 주식회사 이동단말기 및 그 대기화면 구성방법
KR20120010433A (ko) 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US20120038571A1 (en) 2010-08-11 2012-02-16 Marco Susani System and Method for Dynamically Resizing an Active Screen of a Handheld Device
KR20120017649A (ko) 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
US8826134B2 (en) 2010-09-10 2014-09-02 Sony Computer Entertainment America Llc Pivot command for playlist
US9445135B2 (en) 2010-09-17 2016-09-13 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
US8963847B2 (en) 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
CN103562848B (zh) 2011-03-08 2018-09-28 TiVo解决方案有限公司 多个源媒体和目的媒体的发现和管理平台
US20120331506A1 (en) 2011-06-24 2012-12-27 Sony Network Entertainment International Llc User interface and content integration
EP2740264B1 (en) 2011-08-05 2016-10-19 Thomson Licensing Video peeking
US20130055119A1 (en) 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
US9933935B2 (en) 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
US9965151B2 (en) 2011-09-09 2018-05-08 Cloudon Ltd. Systems and methods for graphical user interface interaction with cloud-based applications
JP5527304B2 (ja) 2011-10-17 2014-06-18 株式会社デンソー 入力装置
US9361942B2 (en) * 2011-12-22 2016-06-07 Apple Inc. Playlist configuration and preview
KR20130093721A (ko) 2011-12-23 2013-08-23 삼성전자주식회사 디스플레이 장치 및 그 잠금 해제 방법
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
JP5641001B2 (ja) 2012-02-20 2014-12-17 株式会社デンソー 表示制御装置および表示システム
BR112014020960B1 (pt) 2012-02-24 2022-04-19 Koninklijke Philips N. V. Sistema para processamento em tempo real de um movimento de ponteiro provido por um dispositivo apontador; estação de trabalho ou um aparelho de formação de imagem e método para processamento em tempo real de um movimento de ponteiro provido por um dispositivo apontador
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
JP5367191B2 (ja) 2012-04-17 2013-12-11 シャープ株式会社 メニュー表示装置、メニュー表示方法、メニュー表示プログラム、メニュー表示装置を備えたテレビジョン受像機、及び、記録媒体
AU2013259642A1 (en) * 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
KR101864620B1 (ko) 2012-05-09 2018-06-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6082458B2 (ja) * 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
KR101956082B1 (ko) * 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9454303B2 (en) 2012-05-16 2016-09-27 Google Inc. Gesture touch inputs for controlling video on a touchscreen
US20140002582A1 (en) 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
EP2690879B1 (en) 2012-07-23 2016-09-07 LG Electronics, Inc. Mobile terminal and method for controlling of the same
US20140053113A1 (en) 2012-08-15 2014-02-20 Prss Holding BV Processing user input pertaining to content movement
US9304595B2 (en) 2012-10-19 2016-04-05 Google Inc. Gesture-keyboard decoding using gesture path deviation
TWI467467B (zh) 2012-10-29 2015-01-01 Pixart Imaging Inc 畫面物件移動控制方法及裝置
KR101990036B1 (ko) 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102042461B1 (ko) 2012-10-31 2019-11-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140063272A (ko) 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
KR101436585B1 (ko) 2012-12-26 2014-10-30 전자부품연구원 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101984592B1 (ko) 2013-01-04 2019-05-31 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US9344815B2 (en) * 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Method for augmenting hearing
US9292202B2 (en) 2013-02-28 2016-03-22 Sony Corporation Client device, operating method, and recording medium
US8879888B2 (en) 2013-03-12 2014-11-04 Fuji Xerox Co., Ltd. Video clip selection via interaction with a hierarchic video segmentation
WO2014143633A1 (en) 2013-03-15 2014-09-18 Apple Inc. Device, method, and graphical user interface for orientation-based parallax dispaly
KR20140115761A (ko) 2013-03-22 2014-10-01 삼성전자주식회사 스크린 락 제어 방법 및 이를 지원하는 전자 장치
US9417791B2 (en) 2013-03-29 2016-08-16 Deere & Company Active feedback interface for touch screen display
US9250773B2 (en) 2013-04-30 2016-02-02 International Business Machines Corporation Accessible chart navigation using object neighborhood
WO2015022498A1 (en) 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
US9521459B2 (en) 2013-08-22 2016-12-13 aioTV, Inc. Method and system for delivering video content from multiple platforms to subscribers
US20150058796A1 (en) 2013-08-23 2015-02-26 General Electric Company Navigation control for a tabletop computer system
US9311545B2 (en) 2013-09-18 2016-04-12 Blackberry Limited Multicolor biometric scanning user interface
KR20150049900A (ko) 2013-10-31 2015-05-08 엘지전자 주식회사 제어 장치 및 그 동작 방법
JP2015127872A (ja) 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、及び、プログラム
JP2015127870A (ja) 2013-12-27 2015-07-09 ソニー株式会社 制御装置、制御方法、プログラム、及び、電子機器
US9509753B2 (en) 2014-01-08 2016-11-29 Samsung Electronics Co., Ltd. Mobile apparatus and method for controlling thereof, and touch device
US8943036B1 (en) 2014-01-09 2015-01-27 Funded Ventures LLC Search controls using sliders and lightboxes
US10042537B2 (en) 2014-05-30 2018-08-07 Apple Inc. Video frame loupe
US20150358685A1 (en) 2014-06-05 2015-12-10 Eric Adjesson System to Enhance Television Viewing by Merging Television and the Internet
EP3882753A1 (en) 2014-06-24 2021-09-22 Apple Inc. Application menu for video system
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
CN104954848A (zh) * 2015-05-12 2015-09-30 乐视致新电子科技（天津）有限公司 智能终端的显示图形用户界面的控制方法及装置
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1689327A (zh) * 2002-10-03 2005-10-26 皇家飞利浦电子股份有限公司 媒体通信方法和设备
CN1956516A (zh) * 2005-10-28 2007-05-02 深圳Tcl新技术有限公司 通过图片结合语音显示电视功能界面的方法
US20080062128A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Perspective scale video with navigation menu
US20090013254A1 (en) * 2007-06-14 2009-01-08 Georgia Tech Research Corporation Methods and Systems for Auditory Display of Menu Items
US20090167701A1 (en) * 2007-12-28 2009-07-02 Nokia Corporation Audio and tactile feedback based on visual environment
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器
CN103635938A (zh) * 2011-03-25 2014-03-12 爱立信(中国)通信有限公司 在流传输客户端中用于处理视频流传输数据的方法、流传输客户端、计算机程序和计算机程序产品
CN103902804A (zh) * 2012-12-27 2014-07-02 索尼电脑娱乐美国公司 能够基于先前用户游戏玩法而影子式玩视频游戏的系统和方法
US20140292706A1 (en) * 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
GB201311764D0 (en) * 2013-07-01 2013-08-14 Nokia Corp An apparatus
CN103455237A (zh) * 2013-08-21 2013-12-18 中兴通讯股份有限公司 菜单处理方法及装置
US20150106856A1 (en) * 2013-10-16 2015-04-16 VidRetal, Inc. Media player system for product placements
CN103974146A (zh) * 2014-05-30 2014-08-06 深圳市同洲电子股份有限公司 一种视频处理方法、客户端及系统
CN104391711A (zh) * 2014-08-28 2015-03-04 小米科技有限责任公司 一种设置屏幕保护的方法及装置
CN104618788A (zh) * 2014-12-29 2015-05-13 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置

Also Published As

Publication number Publication date
DK179171B1 (en) 2018-01-02
US20170068511A1 (en) 2017-03-09
CN106502638A (zh) 2017-03-15
EP3268856A1 (en) 2018-01-17
WO2017044238A1 (en) 2017-03-16
US20190138273A1 (en) 2019-05-09
AU2021201361A1 (en) 2021-03-18
AU2019246875B2 (en) 2021-04-22
CN110275664B (zh) 2022-08-16
AU2019246875A1 (en) 2019-10-31
AU2021201361B2 (en) 2022-09-22
US9928029B2 (en) 2018-03-27
US10599394B2 (en) 2020-03-24
CN106502638B (zh) 2019-05-07
US10152300B2 (en) 2018-12-11
DK201500583A1 (en) 2017-03-27
CN110275664A (zh) 2019-09-24
AU2016318321B2 (en) 2019-10-31
US20170068430A1 (en) 2017-03-09
AU2016318321A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN106502638B (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN108351750B (zh) 用于处理与触摸输入相关联的强度信息的设备、方法、以及图形用户界面
CN108139863B (zh) 用于在与强度敏感按钮交互期间提供反馈的设备、方法和图形用户界面
CN106415431B (zh) 用于发送指令的方法、计算机可读介质和电子设备
CN105955520B (zh) 用于控制媒体呈现的设备和方法
CN105264479B (zh) 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
CN104685470B (zh) 用于从模板生成用户界面的设备和方法
CN104487928B (zh) 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
CN104471521B (zh) 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
CN104487929B (zh) 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CN104903835B (zh) 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
CN104487927B (zh) 用于选择用户界面对象的设备、方法和图形用户界面
CN110209290A (zh) 使用表冠和传感器进行手势检测、列表导航和项目选择
CN109313528A (zh) 加速滚动
CN109196455A (zh) 用于carplay的应用程序快捷方式
CN107683470A (zh) 用于web浏览器的音频控制
CN108363526A (zh) 用于在用户界面之间导航的设备和方法
CN109219781A (zh) 显示和更新应用程序视图组
CN106233237B (zh) 一种处理与应用关联的新消息的方法和装置
CN107710131A (zh) 内容浏览用户界面
CN108829325A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN110383229A (zh) 用于导航、显示和编辑具有多个显示模式的媒体项的设备、方法和图形用户界面
WO2023091627A9 (en) Systems and methods for managing captions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191001

WD01 Invention patent application deemed withdrawn after publication