CN104995596A - 在选项卡层级管理音频以用于用户通知及控制 - Google Patents

在选项卡层级管理音频以用于用户通知及控制 Download PDF

Info

Publication number
CN104995596A
CN104995596A CN201480008856.1A CN201480008856A CN104995596A CN 104995596 A CN104995596 A CN 104995596A CN 201480008856 A CN201480008856 A CN 201480008856A CN 104995596 A CN104995596 A CN 104995596A
Authority
CN
China
Prior art keywords
tab
audio
application program
plug
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480008856.1A
Other languages
English (en)
Other versions
CN104995596B (zh
Inventor
冼世敬
泽格·拉沙佩勒
尤里·詹姆斯·维塔拉
林骄阳
兴·重·拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104995596A publication Critical patent/CN104995596A/zh
Application granted granted Critical
Publication of CN104995596B publication Critical patent/CN104995596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

根据一个一般方面，一种方法可包含由计算装置的处理器执行包含多个选项卡的应用程序的至少一部分，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联。所述方法还可包含确定所述多个选项卡中的正记录来源于所述计算装置的环境的音频及/或视觉信号的特定选项卡。所述方法可进一步包含提供与所述特定选项卡相关联的向所述计算装置的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。

Description

在选项卡层级管理音频以用于用户通知及控制
相关申请案的交叉参考
本申请案主张对标题为“在选项卡层级管理音频以用于用户通知及控制(MANAGING AUDIO AT THE TAB LEVEL FOR USER NOTIFICATION ANDCONTROL)”的在2013年3月15日提出申请的第13/843,721号美国非临时专利申请案的优先权且为其接续申请案，所述专利申请案的揭示内容以全文引用的方式并入本文中。
技术领域
本描述涉及多媒体，且更具体来说，涉及在应用程序内控制音频及/或视觉信号。
背景技术
在许多应用程序中，可在图形用户接口(GUI)中一次显示数个文档。在GUI的区域中，选项卡式文档接口(TDI)或多文档接口(MDI)允许在单一窗口内含有多个文档。通常，选项卡可用作容器以在应用程序的单一窗口内向用户提供不同内容(例如，文档、网页等)且允许用户在观看与和不同选项卡中的不同内容交互之间容易地切换。TDI及MDI为最常与web浏览器、web应用程序、文本编辑器及偏好窗格包含在一起的接口样式。
一般来说，包含相机的膝上型计算机在所述相机被使用时提供某种指示。举例来说，通常，灯或发光二极管(LED)耦合到相机或放置于挨着相机处。此灯通常在相机被接通时接通以向用户指示相机正记录或拍摄照片。然而，在计算机的麦克风正记录时，通常不存在类似指示。此外，并非所有相机均包含类似指示特征。
许多现代网页允许用户利用经连接相机或麦克风来记录音频/视觉信息。在现代web浏览器中，通常在选项卡内显示及控制网页。用户通常一次使用一个网页与web浏览器交互，但经常使数个选项卡同时打开以便迅速地在若干页面之间切换。当用户一次与仅一个选项卡交互同时其它选项卡在背景中执行时，用户可能忘记或未意识到背景选项卡的内容正利用输入装置(例如，相机、麦克风等)。
发明内容
根据一个一般方面，一种方法可包含由计算装置的处理器执行包含多个选项卡的应用程序的至少一部分，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联。所述方法还可包含确定所述多个选项卡中的正记录来源于所述计算装置的环境的音频及/或视觉信号的特定选项卡。所述方法可进一步包含提供与所述特定选项卡相关联的向所述计算装置的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
实施方案可包含以下特征中的一或多者。举例来说，提供所述指示可包含：在所述特定选项卡的标签句柄上提供图形用户接口。提供所述指示可包含：在所述特定选项卡的缩略图句柄上提供所述指示。确定所述选项卡可包含：确定一插件与所述应用程序包含在一起；及确定所述应用程序的哪一选项卡与所述插件包含在一起。所述插件可与多个选项卡包含在一起，且确定所述特定选项卡可包含从所述插件接收关于哪一选项卡与所述音频信号包含在一起的指示。
举例来说，提供与所述特定选项卡相关联的图形指示可包含：如果所述应用程序未被显示但仍由所述计算装置的所述处理器执行，那么在与所述应用程序相关联的图标上显示所述图形指示。提供与所述特定选项卡相关联的图形指示可包含：在与由所述计算装置的所述处理器执行的操作系统相关联的通知中心内显示所述图形指示。举例来说，所述方法可进一步包含基于响应于用户交互而由所述图形指示产生的命令来操纵所述音频及/或视觉信号。
根据另一一般方面，一种计算装置可包含：处理器，其经配置以执行包含多个选项卡的应用程序，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联。所述计算装置还可包含：音频/视觉控制器，其经配置以确定所述多个选项卡中的正记录来源于设备的环境的音频及/或视觉信号的特定选项卡。所述计算装置可进一步包含：音频/视觉用户接口(UI)产生器，其经配置以提供与所述特定选项卡相关联的向所述设备的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
实施方案可包含以下特征中的一或多者。举例来说，所述音频/视觉用户接口(UI)产生器可经配置以在所述特定选项卡的缩略图句柄上提供所述指示。所述音频/视觉用户接口(UI)产生器可经配置以在所述特定选项卡的标签句柄上提供图形用户接口。所述音频/视觉控制器可经配置以确定一插件与所述应用程序包含在一起且确定所述应用程序的哪一选项卡与所述插件包含在一起。所述插件可与多个选项卡包含在一起。所述音频/视觉控制器可经配置以至少部分地通过从所述插件接收关于哪一选项卡与所述音频信号包含在一起的指示而确定所述特定。
举例来说，所述音频/视觉用户接口(UI)产生器可经配置以：如果所述应用程序未被显示但仍由所述计算装置的所述处理器执行，那么在与所述应用程序相关联的图标上显示所述图形指示。所述音频/视觉控制器可经配置以基于响应于用户交互而由所述图形指示产生的命令来操纵所述音频及/或视觉信号。
根据另一一般方面，一种有形体现的计算机可读媒体包含机器可执行程序的可执行代码。此可执行代码可经配置以在执行时致使设备进行以下操作：由所述设备的处理器执行包含多个选项卡的应用程序，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联。所述代码可致使所述设备确定所述多个选项卡中的正记录来源于所述设备的环境的音频及/或视觉信号的特定选项卡。所述代码可致使所述设备提供与所述特定选项卡相关联的向所述设备的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
实施方案可包含以下特征中的一或多者。举例来说，所述音频/视觉控制器可经配置以基于响应于用户交互而由所述图形指示产生的命令来操纵所述音频及/或视觉信号。实施方案可包含在所述特定选项卡的标签句柄上提供图形用户接口。实施方案可包含在所述特定选项卡的缩略图句柄上提供所述指示。实施方案可包含确定一插件与所述应用程序包含在一起且确定所述应用程序的哪一选项卡与所述插件包含在一起。实施方案可包含在与由所述设备的所述处理器执行的操作系统相关联的通知中心内显示所述图形指示。
在附图及下文描述中陈述一或多个实施方案的细节。从所述描述及图式且从权利要求书将明了其它特征。
权利要求书中更全面地陈述实质上结合图中的至少一者展示及/或描述的用于控制音频及/或视觉信号的系统及/或方法。
附图说明
图1是根据所揭示标的物的系统的实例性实施例的框图。
图2是根据所揭示标的物的应用程序的实例性实施例的图式。
图3是根据所揭示标的物的图形用户接口的实例性实施例的图式。
图4是根据所揭示标的物的图形用户接口的实例性实施例的图式。
图5是根据所揭示标的物的图形用户接口的实例性实施例的图式。
图6是根据所揭示标的物的图形用户接口的实例性实施例的图式。
图7是根据所揭示标的物的技术的实例性实施例的流程图。
图8是根据所揭示标的物的系统的实例性实施例的框图。
在各个图式中，相同的参考符号指示相同的元件。
具体实施方式
本文中描述其中检测将从本地麦克风或相机输入的一或多个音频及/或视觉信号且其中确定在计算机系统上运行的一或多个应用程序与所述音频/视觉信号包含在一起或与所述音频/视觉信号相关联的技术。另外，确定为与音频/视觉信号包含在一起的应用程序可包含多个选项卡，且可确定与音频-视觉信号包含在一起的一或若干个别选项卡。在其中向用户显示与音频/视觉信号包含在一起的选项卡的图形用户接口内，可通过用户命令控制音频/视觉信号，所述用户命令通过其中显示选项卡的用户接口发布到与音频/视觉信号包含在一起的应用程序。方法可包含基于响应于用户交互而由图形用户接口产生的命令操纵音频/视觉信号。
图1是根据所揭示标的物的系统100的实例性实施例的框图。在一个实施例中，系统100可包含计算机101，计算机101又可包含选项卡式应用程序102、全局音频管理器104及麦克风及/或相机106。在所图解说明实施例中，选项卡式应用程序102可包含web浏览器，所述web浏览器可在所述浏览器的窗口中打开多个内容选项卡。然而，应理解，在各种实施例(例如，文本编辑器、演示应用程序、媒体播放器等)中可包含其它选项卡式或MDI应用程序。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在另一实施例中，系统100可包含相机106。在各种实施例中，相机可包含记录各种波长(例如，在视觉光谱、红外、紫外等内)的光的能力。在一些实施例中，系统100可包含麦克风及相机两者或此类输入装置的多个版本(例如，红外光谱相机及视觉光谱相机两者等)。在各种实施例中，更一般来说，系统100可据说包含经配置以记录来自或来源于计算机101或系统100的环境或者在检测区域内的输入的形式的传感器106。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
尽管在此上下文中，将主要使用术语“麦克风”及“音频信号”，但应理解，此仅为一个说明性实例(所揭示标的物不限于所述说明性实例)，且包含非音频组件(例如，视觉组件)的其它实施例可包含类似于或相似于本文中所描述的音频组件的子系统及组件(例如，视频控制器等)。
在各种实施例中，选项卡式应用程序102可包含经配置以再现或致使在应用程序102或其窗口GUI元素内显示文档的再现器110。在所图解说明实施例中，再现器110可以若干个选项卡112显示多个文档。在一个实施例中，再现器110可经配置以连同选项卡管理器118一起工作。在此实施例中，选项卡管理器118可经配置以借助应用程序102管理选项卡112及其创建、删除、排序等。
在各种实施例中，文档或在选项卡112内再现的其它内容可包含由音频消费者113图解说明的经配置以接收或记录音频及/或视觉信号的元素(例如，超文本标记语言(HTML)输入标志、嵌入式插入对象等)。在此实施例中，音频信号可由应用程序102的音频控制器114控制。音频控制器114可经配置以从全局音频管理器104接收音频信号。在一个特定实例中，选项卡式应用程序102可包含可打开音频/视频内容的多个选项卡的web浏览器，且每一相应选项卡的音频/视频内容可消费或致使记录由麦克风106产生的音频信号。
在各种实施例中，全局音频管理器104可经配置以在多个应用程序(例如，应用程序102等)与麦克风106之间提供接口。在一些实施例中，全局音频管理器104可包含驱动器软件、固件或其组合。在一个实施例中，全局音频管理器104可包含音频混音器130及音频接口132。
在一个实施例中，音频接口132可经配置以收集从麦克风106收集或搜集的音频信号或模拟音频信号的数字样本。此音频信号可接着传递到多个音频消费者108中的一者或可由多个音频消费者108中的一者使用。在所图解说明实施例中，音频消费者中的一者可包含选项卡式应用程序102。
在此实施例中，麦克风106可经配置以产生音频信号(例如，来自可由人的听力检测的声音等)。麦克风106可包含经配置以将声音或声波转换为电信号的电换能器。在各种实施例中，如上文所描述，系统100可包含经配置以产生类似相应电信号的其它传感器(例如，摄像机等)。
在一个实施例中，音频混音器130可经配置以从一或多个源(例如麦克风106(经由音频接口132)、应用程序102、其选项卡112、插件120或122或者计算机101所包含或在计算机101上执行的其它音频源108等)接收音频信号。在各种实施例中，其它音频源可包含其它应用程序、通过音频信号(例如，麦克风等)、环回信号(例如，由一种应用程序产生且接着重新路由到麦克风或音频进入端口等的信号)或其它音频源。音频混音器130可经配置以提供对这些音频信号中的每一者的增益或音量控制的级别且将其组合成单一音频信号以供由扬声器107消费。
应理解，尽管本文中以单数意义使用术语“音频信号”，但所述术语包含多个声道音频信号(例如，立体声、环绕声音、8音轨等)。在此实施例中，音频混音器130可将各种增益或音量控制(包含静音等)级别应用于音频信号的各种声道，且麦克风106可包含多个麦克风(例如，右声道麦克风、左声道麦克风等)。
在各种实施例中，在选项卡式应用程序102中打开的一或多个选项卡112可致使记录音频信号。举例来说，如上文所解释，在特定实例中，选项卡式应用程序102可包含可打开多个选项卡的web浏览器，所述多个选项卡中的一或多者可致使记录来自计算机101的环境(例如，视频会议、图片、聊天会话等)的音频及/或视频内容。针对每一相应选项卡记录的音频及/或视频内容可致使经由麦克风106记录、搜集或产生音频信号。在各种实施例中，本文中所揭示的技术可经配置以给用户190提供对负责音频信号的各种选项卡中的内容的精细控制粒度。
在各种实施例中，音频控制器114可经配置以确定选项卡式应用程序102的哪一或哪些选项卡112含有致使产生音频信号的内容或针对哪一选项卡112产生哪一相应音频信号。在各种实施例中，此任务可由全局音频管理器104执行，在所述情况下，所述全局音频管理器可首先确定哪一应用程序(例如，选项卡式应用程序102或其它音频消费者108等)致使产生音频信号或者消费或接收音频信号。
可以各种方式执行对与音频信号包含在一起的选项卡的确定。举例来说，在包含音频元素(例如，HTML输入标志或捕获字段等)的选项卡112的情况下，再现器110可将选项卡112识别为音频信号的消费者。在另一实施例中，音频信号可由选项卡112间接相关联。在各种实施例中，音频信号可由插件(例如，插件120及122)消费。
在此上下文中，“插件”通常为向较大应用程序102添加特定能力(例如，播放特定文件类型的能力、以安全方式通信的能力等)的组件。在各种实施例中，插件可能不能够在不借助较大应用程序102的帮助的情况下执行。一般来说，存在两种类型的插件-每选项卡插件120及全局插件122，但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
每选项卡插件120可包含经配置以每选项卡112或选项卡112上的每元素实例化单一次数的插件。举例来说，如果再现器110检测到选项卡112包含与每选项卡插件120包含在一起的元素，那么再现器110可调用每选项卡插件120的版本或致使实例化或执行所述版本以处置或处理相关联元素。如果多个选项卡112包含与插件120包含在一起的元素，那么可发生插件120的多个实例化。在此实施例中，音频控制器114可容易地确定每选项卡插件是源还是与音频信号包含在一起。
在各种实施例中，由选项卡112包含或与选项卡112包含在一起的元素可包含HTML标志、可扩展标记语言(XML)元素、GUI元素(例如，按钮、字段、窗格等)、嵌入式对象(例如，对象链接与嵌入(OLE)对象、组件对象模型(COM)对象等)等，但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在全局插件122的情况下，全局插件122可每计算机101或应用程序102实例化或执行一次。在此实施例中，全局插件122的单一版本可处理或处置包括与全局插件122包含在一起的元素的若干个元素或选项卡112。在各种实施例中，全局插件122可处置或处理元素而无论哪一应用程序(例如，应用程序102或其它音频消费者108)消费所述元素或与所述元素包含在一起。在此实施例中，音频控制器114可能非常难以独立确定哪一选项卡112或者应用程序102或108与音频信号相关联。
在一个实施例中，音频控制器114可查询全局插件122以确定哪一应用程序(例如，应用程序102或108)与音频信号包含在一起或相关联。在另一实施例中，音频混音器130或全局音频管理器104可查询全局插件122以确定与音频信号包含在一起的应用程序或选项卡。在此实施例中，如果音频信号与支持精细粒度音频控制的应用程序102包含在一起，那么全局音频管理器104可向应用程序102的音频控制器114告知结果及选项卡112与音频信号的相关联。
在又一实施例中，全局插件122可主动向全局音频管理器104或应用程序102的音频控制器114告知全局插件122正产生音频信号或与音频信号包含在一起及哪一选项卡112及/或元素与所述音频信号包含在一起。在各种实施例中，全局插件122可向全局音频管理器104或应用程序102的音频控制器114告知可对音频信号执行的命令或其它操作的列表(例如，记录、暂停、静音、停止、重新开始等)。
可使用或采用若干个可能消息格式及消息传送字段来在全局插件122与全局音频管理器104或音频控制器114之间通信。在各种实施例中，消息可包含用以指示多个音频信号中的哪一者为消息的主题的音频信号标识符。在另一实施例中，消息可包含经配置以指示与所记录音频信号相关联的插件的插件标识符。在又一实施例中，消息可包含经配置以指示与所记录音频信号相关联的选项卡的选项卡标识符。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
一旦已确定与音频信号包含在一起的选项卡112(例如，由音频控制器114或全局音频管理器104)，音频控制器114便可确定选项卡112是否被允许或准许记录音频信号。在一个实施例中，音频控制器114可致使音频用户接口(UI)产生器116产生或显示询问用户190其是否希望允许发生记录的UI元素(例如，模式对话框、通知消息等)。如果用户190授予记录音频信号的权限，那么音频控制器114可允许所述记录且音频UI产生器116可提供UI指示，如下文所描述。如果用户190不给予其权限，那么音频控制器114可阻挡或阻止记录音频信号。在一些实施例中，此可包含将麦克风106关断。在另一实施例中，此可包含指令音频混音器130或全局音频管理器104的其它部分静音或不将由麦克风106产生的音频信号提供到选项卡112或选项卡式应用程序(在一些实施例中)。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在一些实施例中，音频控制器114可经配置以存储或存取权限115的列表。在各种实施例中，这些权限可包含由用户190先前授予/拒绝的权限、一或多个默认权限(例如，基于通信协议(例如，举例来说，超文本传输协议(HTTP))、基于与选项卡112相关联的网页的地址或统一资源定位符(URL)、基于与选项卡112相关联的网页的可信赖度的第三方报告等)、一或多个规则等。在一些实施例中，可暂时(例如，针对选项卡式应用程序102的单一执行、选项卡112打开或存在的时间等)存储这些权限115、永久存储这些权限115，或其组合。在各种实施例中，每一记录装置106(例如，内置麦克风、内置相机、蓝牙耳机等)可与权限相关联。在此实施例中，用户190可允许或授予经由内置麦克风及相机但不允许或授予经由蓝牙麦克风进行记录。在另一实施例中，权限可跨越能够或经配置以记录特定类型的感觉输入的所有装置(例如，所有麦克风、所有相机等)为有效的。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在优选实施例中，如果与选项卡112相关联的网页不利用安全或经加密通信协议(例如，与HTTP安全(HTTPS)相反的HTTP等)，那么超出选项卡式应用程序102内的选项卡112的存在可不存储所授予的权限。在此实施例中，如果用户190授予选项卡112记录音频信号的权限、接着关闭选项卡112且接着打开先前与选项卡112相关联的网页，那么音频控制器114将第二次询问用户190以获得记录音频信号的权限。
相反地，在优选实施例中，如果选项卡112确实利用安全或经加密通信协议，那么用户190对记录音频信号的能力的授予或拒绝可存储于权限115内且可在用户190下一次存取与选项卡112相关联的网页时使用。在此实施例中，如果用户190授予或拒绝选项卡112记录音频信号的权限、接着关闭选项卡112且接着打开先前与选项卡112相关联的网页，那么音频控制器114将不第二次询问用户190以获得记录音频信号的权限。应理解，上文仅为一个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，音频控制器114及/或音频UI产生器116可经配置以提供用户190可经由其修改其权限选择的UI接口。在此实施例中，用户190可撤销或授权网页记录音频信号(或其它信号(例如，视频)等)。在一些实施例中，此UI接口可允许用户190基于各种准则(例如上文所论述的那些准则)确立一或多个规则。
在各种实施例中，计算机101或甚至选项卡式应用程序102可由多个用户190使用。在此实施例中，权限115可各自与个别用户或用户标识符(例如，用户名、电子邮件地址等)相关联。在此实施例中，第一用户190可授予选项卡记录音频信号的权限且第二用户可拒绝记录音频信号的权限。音频控制器114可在给定记录时间基于与特定选项卡112相关联的用户允许或拒绝权限。在各种实施例中，另一组权限115可与其中无特定用户登入或可辨别的事件相关联。在一些实施例中，所述组权限115可发射到中央存储装置(未展示)或从中央存储装置接收。在此实施例中，每一用户190的权限115可在多个计算装置101之间同步。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在一些实施例中，一旦与音频信号包含在一起的选项卡112被授予记录音频信号的权限，音频用户接口(UI)产生器116便可创建用户190可依据其通过计算机101操纵音频信号或音频信号的处理的图形UI(GUI)。音频UI产生器116可经配置以在选项卡112的句柄的上下文中提供GUI，其中“选项卡”可为网页的全部内容的容器，且“选项卡的句柄”可为与选项卡包含在一起但不显示选项卡的内容或显示少于选项卡的全部内容的UI元素。
“选项卡的句柄”或“选项卡句柄”可包含经配置以促进选项卡的选择(例如，使选项卡“在焦点中”，如图2的上下文中所更详细地描述)或使向用户显示的GUI内的选项卡的内容的位置移动的GUI元素。举例来说，可通过鼠标的动作选择选项卡句柄并拖动所述句柄以将与选项卡包含在一起的内容移动到显示屏上的新位置。
另外，通过创建用户190可依据其操纵音频信号或音频信号的处理的图形UI(GUI)且通过提供选项卡句柄以包含UI，选项卡句柄可促进对在选项卡内搜集或记录音频/视觉内容的控制。因此，标志句柄可包含提供关于音频内容或选项卡的状态(例如，指示选项卡的内容当前是否负责经由麦克风106记录音频信号的状态)的信息的GUI元素，且可提供用户可借助其控制选项卡内的音频内容的可选择控制元素(例如，可允许用户将选项卡的所记录音频信号静音/取消静音或控制其音量、停止从麦克风106记录等的可选择控制元素)。因此，标志句柄提供用户可通过其理解可能打开的许多选项卡中的哪一(或哪些)选项卡负责记录音频/视频信号的迅速方式，而用户不必审阅每一打开选项卡的内容以理解此或可简单地使用户190意识到选项卡式应用程序102仍记录音频/视频信号。此外，标志句柄允许用户在许多标志打开时调整由选项卡的内容记录的音频信号(例如，静音、取消静音、暂停等)，而用户不必审阅每一打开选项卡的内容以做出此类调整。
尽管可存在且在所揭示标的物的范围内预期许多类型的选项卡句柄，但下文各自依次且参考其特定图详细地描述三种类型。“标签句柄”201(参见于图2及3中)通常为从选项卡自身的主要矩形元素突出的小的矩形GUI元素，且通常展示与其包含在一起的选项卡的标签或标题(例如，文件名、HTML页面标题等)。标签句柄类似于且通常后来模型化为插入于纸质文件或卡片式索引中的传统卡片式选项卡。“缩略图句柄”406(参见于图4中)通常包含选项卡的内容或内容的子集的微型图片或表示。在各种实施例中，缩略图句柄可为活动或动态的，在于微型图片可随选项卡的内容改变而改变(例如，在播放或记录视频时等)。但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
如上文所描述，音频UI产生器116可经配置而以与包含音频消费者113的选项卡112的句柄包含在一起的方式提供GUI。在各种实施例中，音频UI产生器116可经配置以提供与促进或允许用户190操纵音频信号的选项卡句柄包含在一起的GUI。在此实施例中，选项卡句柄GUI可在用户190的请求或用户交互(例如，通过选择按钮、摇晃装置等)下产生指令应用程序102或全局音频管理器104操纵音频信号的命令。举例来说，用户190可命令将所记录音频静音、增加音量、减小音量、暂停，应用程序102或其它音频控制组件(例如，插件120)停止或结束音频信号的记录等，但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，音频控制器114可经配置以处理或作用于所接收音频命令且操纵基于选项卡的内容而产生的音频信号。在一些实施例中，如果所述命令为可由音频混音器130执行的命令(例如，静音、输入音量控制等)，那么所述命令可全部或部分地或者本质上传递到音频混音器130；但音频控制器114可在应用程序102内部处理命令。在另一实施例中，所述命令可与插件(例如，插件120及122)包含在一起。在所述情况下，音频控制器114可将所述命令全部、部分地或者本质上传递到相应插件以供处理。同样地，在其中全局音频管理器104为控制组件的实施例中，命令可传递到相应应用程序102的音频控制器114、插件120及112或由音频混音器130在内部处置。
图2是根据所揭示标的物的应用程序200的实例性实施例的图式。在所图解说明实施例中，应用程序200可包含web浏览器，但应理解，上文仅为一个说明性实例，所揭示标的物不限于所述说明性实例。在各种实施例中，应用程序200可包含多个选项卡(例如选项卡202、204、206及208)，其中所述选项卡用作容器以在应用程序200的单一窗口内向用户提供不同内容。
在一个实施例中，在图2的顶部部分中展示，选项卡202可能在前景中或具有焦点(如突出显示的选项卡202的标签句柄201所图解说明)，使得向用户显示选项卡202中所含的内容。在计算上下文中，如果操作系统或计算机已选择或识别UI元素作为用以接收用户输入的恰当元素，那么所述UI元素被视为“具有焦点”。其它选项卡204、206、208的内容不在焦点中且因此选项卡204、206、208的内容不被显示，且仅选项卡204、206及208的标签句柄被显示。
在图2的底部部分中，选项卡206在焦点中，而选项卡202、204、208不在焦点中，且因此选项卡202、204及208的内容不被显示。选项卡206可含有包含各种元素的文档的若干个内容元素或部分。第一内容元素210可不包含任何音频记录或搜集元素(举例来说，文档、可填充形式、图片等)，而第二元素212可包含音频记录或搜集内容元素(举例来说，HTML输入标志、AdobeTMFlashTM应用程序等)。
在各种实施例中，一旦选项卡206加载音频元素212，此音频元素212便可自动粗略地开始记录音频(搜集音频信号)。在一些实施例中，此可甚至在选项卡206在前景中或不具有焦点的情况下(例如，在选项卡202具有焦点的情况下等)发生。此对于用户可为不便的或尴尬的。此外，如果用户未意识到选项卡206包含音频元素(例如，视频聊天、电话会议等)，那么用户可能不确定哪一选项卡204、206或208或者甚至哪一应用程序(在执行多个应用程序的情况下)与所记录的音频信号相关联或与其包含在一起。因此，用户可发现迅速关断、静音或操纵音频信号的记录为困难的。
在另一实施例中，用户可能最初意识到音频元素212正记录音频信号(例如，用户起始的视频会议等)，但用户可能已接着切换到另一选项卡(例如，选项卡202)。在此实施例中，用户可能已忘记音频元素212仍记录音频信号。在一些实施例中，此可甚至在选项卡206在前景中或不具有焦点的情况下(例如，在选项卡202具有焦点的情况下等)发生。再次，此对于用户可为不便的或尴尬的。因此，用户可发现UI元素(例如，在图3及4中所描述的UI元素)指示选项卡元素212仍记录音频信号为有用的或有帮助的。
图3是根据所揭示标的物的图形用户接口300的实例性实施例的图式。在所图解说明实施例中，图2的应用程序200展示为GUI与选项卡206的标签句柄306包含在一起，但应理解，所图解说明的内容仅为一个说明性实例，所揭示标的物不限于所述说明性实例。
在一个实施例中，一旦已确定应用程序200及选项卡206正记录音频信号或与音频信号包含在一起(由图2的元素212产生)，用于控制或操纵音频信号的GUI便可与选项卡206的标签句柄306包含在一起。在所图解说明实施例中，GUI可甚至在选项卡206不在前景或给定焦点中的情况下与选项卡句柄306包含在一起。在所图解说明实施例中，选项卡202被突出显示以展示其内容当前在前景及给定焦点中且选项卡206在前景中且不在给定焦点中。在此实施例中，用户可操纵由选项卡206的内容记录的音频信号而不打开选项卡306且不致使选项卡206的内容被显示或带到前景中。
在一个实施例中，与标签句柄306包含在一起的GUI可包含经配置以指示选项卡206与所记录音频信号相关联或包含在一起的徽章或图标310(例如，脉动或闪烁红圈等)。在各种实施例中，如果多个选项卡(例如，选项卡206及208)两者均记录音频信号，那么每一选项卡可与其自身的音频操纵GUI及图标310包含在一起。在一个实施例中，如果用户选择或点击图标或徽章310，那么可以双态切换方式将音频信号静音或取消静音。在此实施例中，可改变图标210(例如，改变为红的“X”在其上的静态红圈、改变为另个红的平行栏等)以指示音频信号的状态。在另一实施例中，用户可使鼠标或光标(未展示)在图标310上方徘徊且使用滚轮或动态显示的滑动栏来控制记录音量级别。再一次，图标310可动态地改变(例如，获得或散发音频波棒、改变圈的直径等)以反映对所记录音频信号的任何操纵。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在另一实施例中，与标签句柄306包含在一起的GUI可包含菜单312。在各种实施例中，如果用户以预定方式右击或以其它方式选择标签句柄306，那么可显示菜单312。在一些实施例中，菜单312可包含可由用户向应用程序发出的各种音频操纵命令(例如，记录、暂停等)。在此实施例中，与标签句柄306包含在一起以显示菜单312的GUI的选择可不致使选项卡206具有焦点或可不致使将选项卡206的内容带到前景。因此，在也显示菜单312时，可继续向用户显示选项卡202的内容。所述菜单可或可看似与选项卡206相关联。
在各种实施例中，音频操纵命令可按音频消费者的类型(例如，HTML输入标志、HTML容器性质、FlashTM对象等)变化。在此实施例中，插件可指令音频UI产生器，所述命令为音频消费者所支持。举例来说，插件可仅支持以默认音量级别记录音频信号(例如，可在记录音频信号之后应用增益(如果有的话)等)。在另一实例中，插件或由插件播放的文件可支持在麦克风或经配置以记录或产生音频信号等的装置之间切换。在另一实施例中，尽管其它命令是基于插件而受支持，但与音量控制相关的命令(例如，静音、较安静、较大声等)可由音频控制器或音频混音器普遍支持及控制，而无论插件支持如何，如上文所描述。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在优选实施例中，GUI还可包含在地址栏或多功能地址栏(omnibox)内或者沿着其显示的徽章或图标316。在各种实施例中，地址栏或多功能地址栏可经配置以显示URL或与相应选项卡相关联的网页的地址。在所图解说明实施例中，图标316可指示用户是否先前已被授予或拒绝相关联网页记录音频(或其它)信号的权限。在一个此实施例中，如果用户先前不做出指示且网页未请求记录音频信号，那么可不显示图标316。在此实施例中，图标316可不仅包含权限状态(授予、拒绝等)而且包含权限涉及到的装置或感觉输入的类型。举例来说，如果用户被授予记录音频的权限，那么可显示麦克风，且如果用户被授予记录视频的权限，那么可显示相机，或者如果权限被拒绝，那么可显示被灰视或划掉的麦克风。在又一实施例中，图标316可包含类似于图标310的图标或反之亦然。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，与图标316包含在一起的GUI可包含菜单或UI接口318。在一些实施例中，UI接口318可等同于菜单312。在另一实施例中，UI接口318可允许用户选择从哪一记录装置(例如，内置麦克风、蓝牙耳机等)提供音频或相应信号。在优选实施例中，可将UI元素318显示为或在艺术上表示为演讲气球或泡泡。应理解，上文仅为一个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，web浏览器或应用程序可执行隐藏或不可见使得其不与标签句柄相关联的选项卡。在各种实施例中，此可由于web扩展或其它插件而发生。在此实施例中，UI元素或图标320可显示于应用程序UI 300的中心或常用区域中以指示记录正发生。在所图解说明实施例中，图标320可类似于图标310及其相关联UI元素(例如，菜单312)。在另一实施例中，图标320可类似于图标316及其相关联UI元素(例如，演讲气球318)。在又一实施例中，图标320可组合两个UI元素或图标310及316的特征。在优选实施例中，可取决于操作系统(例如，通知中心等)而在中心位置中显示向用户通知隐藏选项卡正记录信号的指示或UI元素，如下文所描述。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
图4是根据所揭示标的物的图形用户接口400的实例性实施例的图式。再次，展示应用程序200，然而，应理解，此UI 400可包含为操作系统或窗口管理器(例如，窗口切换器等)的一部分。在各种实施例中，UI 400可包含为应用程序200的主屏幕或初始选项卡接口的部分。举例来说，在一个实施例中，当启动应用程序200时且在打开选项卡并将其定位于选项卡栏411之前，可在选项卡栏中显示类属选项卡句柄415且可展示先前显示的选项卡的缩略图。在另一实施例中，可在一或多个选项卡在浏览器中打开时显示UI 400(例如，在用户请求下)，且可展示当前打开的选项卡的缩略图。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
因此，在一个实施例中，UI 400可显示选项卡202、204、206及208的缩略图选项卡句柄，所述句柄显示选项卡202、204、206及208的全部内容或少于所述全部内容的表示。这些缩略图选项卡句柄可允许用户选择或操纵(例如，关闭、选择、移动、重新布置等)应用程序200的各种选项卡，或在另一实施例中，其它应用程序或窗口。
如图4中所展示，选项卡206与音频信号包含在一起，如上文所描述。在各种实施例中，缩略图选项卡句柄406或与缩略图句柄406包含在一起的GUI可包含经配置以指示哪一选项卡与音频信号包含在一起的图标或徽章410，如上文所描述。
在各种实施例中，缩略图选项卡句柄406或与缩略图句柄406包含在一起的GUI可包含经配置以促进操纵所记录音频/视觉信号的GUI元素418。举例来说，GUI元素418可包含用以提高所记录音频信号的音量、降低所记录音频信号的音量、停止音频信号的记录、暂停音频信号的记录或开始音频信号的记录等的图标。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
图5是根据所揭示标的物的用户接口500的实例性实施例的图式。在所图解说明实施例中，在本机操作系统(OS)的较宽广上下文内在窗口591内显示选项卡式应用程序。在一些实施例中，UI 500可包含与一或多个其它应用程序相关联的一或多个其它窗口522。
在各种实施例中，UI 500可包含本机OS的桌面或屏幕。在一些实施例中，本机OS可支持UI 500可为其中的仅一者的多个虚拟屏幕或虚拟桌面。在一些实施例中，虚拟桌面可包含其中计算机的桌面或屏幕环境的虚拟空间通过软件的使用而扩充超出屏幕的显示区域的物理限制的用户接口。在各种实施例中，虚拟桌面可参见于苹果(Apple)的OS X“空间”特征或UNIX的X窗口系统；但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在所图解说明实施例中，本机OS可在包含表示各种应用程序或可执行的程序的菜单543及若干个图标524的UI 500的底部处包含任务栏525。在各种实施例中，创建窗口591的web浏览器可包含于图标524的列表中。本机OS桌面500还可包含定位于任务栏525外部的一或多个图标526。在各种实施例中，这些图标可执行或促进由本机OS执行的一或多个动作(例如，文件系统管理、文件删除、启动应用程序等)。应理解，上文仅为一个说明性实例，所揭示标的物不限于所述说明性实例。
在一个实施例中，UI 500可包含经配置以提供来自各种应用程序或OS的警告或通知的概述的通知中心528。在一些实施例中，通知中心528可与任务栏525包含在一起或相关联。在另一实施例中，通知中心528可独立于任务栏525。在一些实施例中，通知中心528可包含下拉式菜单或UI元素、边栏UI元素、对话框或其它UI元素(例如，气球状提示或消息等)、其中显示视觉指示符或图标的栏或区域等。
在所图解说明实施例中，通知中心528可包含或显示指示应用程序或选项卡正记录音频及/或视觉信号的视觉指示符527。在一些实施例中，用户可以类似于关于图3或4所描述的方式的方式与视觉指示符527交互。在各种实施例中，选择视觉指示符527或选择与视觉指示符527相关联的UI元素(例如，菜单项等)可致使将相关联应用程序或选项卡带到前景或接收焦点。在优选实施例中，可针对隐藏或不可见选项卡(例如，通过web扩展创建的选项卡等)使用或采用视觉指示符527。尽管将通知中心528图解说明为在窗口化操作系统内发生，但应理解，类似或相似通知或常用消息传送区域也在非窗口化OS、移动OS等中发生。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
图6是根据所揭示标的物的用户接口(UI)600的实例性实施例的图式。在一个实施例中，UI 600可显示于设备601的监视器或屏幕上。在一些实施例中，设备601可包含触敏移动计算装置(例如，平板计算机、智能电话等)。在另一实施例中，设备601可包含另一计算装置(例如，膝上型计算机、桌上型计算机等)。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，UI 600可包含与各种相应应用程序相关联的多个图标或应用程序标识符(ID)(例如，图标602、606、610等)的显示。在所图解说明实施例中，那些应用程序中的两者可为记录声音或者与所搜集或所记录音频及/或视觉信号相关联。在此实施例中，应用程序与其音频信号之间的关联可由声音或音频控制器UI 604及608指示。
在各种实施例中，声音或音频控制器UI 604及608可向用户指示音频信号的状态。举例来说，在所图解说明实施例中，可将由web浏览器应用程序(与图标606相关联)记录的声音或音频信号静音或暂停。如此，相关联声音或音频控制器UI 608可在音频信号正由web浏览器记录时指示将记录方面暂停且不从装置601的麦克风(或相机)记录声音。相反地，由聊天应用程序(与图标602相关联)记录的声音或音频信号可为活动的。如此，相关联声音或音频控制器UI 604可指示由装置601的麦克风捕获的声音正由聊天应用程序(例如，由红的脉动点图解说明等)记录。最后，针对不与任何音频信号相关联的应用程序(由应用程序图标或ID 610共同表示)，不显示声音或音频控制器UI。应理解，上文仅为一个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，用户可能够通过利用相应声音或音频控制器UI 604及/或608而操纵与每一应用程序相关联的音频信号的记录。举例来说，在一个实施例中，用户可能够敲击(在触摸屏实施方案中)或点击(在基于光标的实施方案中)声音或音频控制器UI604以使聊天应用程序对声音的记录暂停。在另一实施例中，用户可能够敲击或点击声音或音频控制器UI 608以使由web浏览器应用程序记录的声音不暂停。在又一实施例中，用户可能够敲击/点击且固持声音或音频控制器UI 604以使聊天应用程序对声音的记录停止。在各种实施例中，用户可能够敲击/点击及拖动(例如，向上及/或向下等)声音或音频控制器UI 604以使由聊天应用程序记录的音频不暂停且改变所述音频的所记录音量级别(例如，向上或向下等)。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
在各种实施例中，图6中所展示的实施例可用于其中屏幕占用面积一般有限的移动装置。在此实施例中，较大UI(例如，图3或4中所展示的UI)可能对于移动装置的有限屏幕占用面积来说太大。在另一实施例中，可在与移动装置相比具有相对的装置上采用类似于UI 600的UI以节约屏幕占用面积。应理解，上文仅为用途或优点的几个说明性实例，所揭示标的物不限于所述说明性实例。
应理解，所图解说明UI 600仅为声音或音频控制器UI的一个说明性实例，所揭示标的物不限于所述说明性实例。在各种实施例中，声音或音频控制器UI可基于由用户采取或执行的动作(例如，敲击、双击、拖动等)而改变或显示额外UI元素(例如，菜单、滑块等)。应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。
图7是根据所揭示标的物的技术的实例性实施例的流程图。在各种实施例中，技术700可由例如图1的那些系统的系统使用或产生。此外，技术700的部分可涉及或包含图形用户接口(例如图3、4、5或6的那些图形用户接口)的使用。但应理解，上文仅为几个说明性实例，所揭示标的物不限于所述说明性实例。应理解，所揭示标的物不限于技术700所图解说明的动作的排序或数目。
方框702图解说明在一个实施例中，可由计算装置的处理器执行应用程序的至少一部分，如上文所描述。在各种实施例中，所述应用程序可包含多个选项卡，如上文所描述。在此实施例中，每一选项卡可与配置成经再现以供由所述应用程序显示的相应文档相关联，如上文所描述。在各种实施例中，此方框所图解说明的动作中的一或多者可由图1或8的设备或系统、图1的计算机101或应用程序102执行，如上文所描述。
方框704图解说明在一个实施例中，可确定多个选项卡中的特定选项卡正记录音频及/或视觉信号，如上文所描述。在各种实施例中，所述音频及/或视觉信号可来源于计算装置的环境，如上文所描述。在一些实施例中，确定可包含确定一插件与所述应用程序包含在一起及确定所述应用程序的哪一选项卡与所述插件包含在一起，如上文所描述。在各种实施例中，所述插件可与多个选项卡相关联或包含在一起，如上文所描述。在此实施例中，确定可包含从所述插件接收关于哪一选项卡与音频信号包含在一起的指示，如上文所描述。在各种实施例中，此方框所图解说明的动作中的一或多者可由图1或8的设备或系统、图1的应用程序102或者插件120或122执行，如上文所描述。
方框706图解说明在一个实施例中，可提供向计算装置的用户指示特定选项卡正记录音频及/或视觉信号的图形指示，如上文所描述。在各种实施例中，所述图形指示可与特定选项卡相关联，如上文所描述。在各种实施例中，提供所述指示可包含在特定选项卡的标签句柄上提供图形用户接口，如上文所描述。在一些实施例中，提供所述指示可包含在特定选项卡的缩略图句柄上提供所述指示，如上文所描述。在另一实施例中，提供与特定选项卡相关联的图形指示可包含：如果应用程序未被显示但仍由计算装置的处理器执行，那么在与所述应用程序相关联的图标上显示所述图形指示，如上文所描述。在又一实施例中，提供与特定选项卡相关联的图形指示可包含在与由计算装置的处理器执行的操作系统相关联的通知中心内显示所述图形指示，如上文所描述。在各种实施例中，此方框所图解说明的动作中的一或多者可由图1或8的设备或系统、图1的应用程序102或音频/视觉UI产生器116执行，如上文所描述。
方框708图解说明在一个实施例中，可操纵音频及/或视觉信号，如上文所描述。在一些实施例中，所述操纵可基于响应于用户交互而由图形指示产生的命令，如上文所描述。在各种实施例中，此方框所图解说明的动作中的一或多者可由图1或8的设备或系统、图1的应用程序102、音频/视觉控制器114或者音频/视觉UI产生器116执行，如上文所描述。
图8展示可与此处所描述的技术一起使用的类属计算机装置800及类属移动计算机装置850的实例。计算装置800打算表示各种形式的数字计算机，例如膝上型计算机、桌上型计算机、工作站、个人数字助理、服务器、刀片式服务器、大型计算机及其它适当计算机。计算装置850打算表示各种形式的移动装置，例如个人数字助理、蜂窝式电话、智能电话及其它类似计算装置。此处所展示的组件、其连接及关系以及其功能打算仅为示范性的，且不打算限制本文档中所描述及/或所主张的本发明的实施方案。
计算装置800包含：处理器802；存储器804；存储装置806；高速接口808，其连接到存储器804及高速扩充端口810；及低速接口812，其连接到低速总线814及存储装置806。组件802、804、806、808、810及812中的每一者使用各种总线而互连，且可安装于共用主板上或以其它方式适当地安装。处理器802可处理供在计算装置800内执行的指令，包含存储于存储器804中或存储装置806上以在外部输入/输出装置(例如耦合到高速接口808的显示器816)上显示用于GUI的图形信息的指令。在其它实施方案中，多个处理器及/或多个总线可适当地连同多个存储器及若干类型的存储器一起使用。此外，可连接多个计算装置800，其中每一装置提供必要操作的若干部分(例如，作为服务器组、刀片式服务器群组或多处理器系统)。
存储器804存储计算装置800内的信息。在一个实施方案中，存储器804为一或若干易失性存储器单元。在另一实施方案中，存储器804为一或若干非易失性存储器单元。存储器804还可为另一形式的计算机可读媒体，例如磁盘或光盘。
存储装置806能够提供用于计算装置800的大容量存储装置。在一个实施方案中，存储装置806可为或含有计算机可读媒体，例如软盘装置、硬盘装置、光盘装置或磁带装置、快闪存储器或其它类似固态存储器装置，或包含存储区域网络或其它配置中的装置的装置阵列。计算机程序产品可有形地体现于信息载体中。所述计算机程序产品还可含有在执行时实施例如上文所描述的方法的一或多个方法的指令。所述信息载体为计算机可读媒体或机器可读媒体，例如存储器804、存储装置806或处理器802上的存储器。
高速控制器808管理计算装置800的带宽密集型操作，而低速控制器812管理较低带宽密集型操作。此功能分配仅为示范性的。在一个实施方案中，高速控制器808耦合到存储器804、显示器816(例如，通过图形处理器或加速器)且耦合到可接受各种扩充卡(未展示)的高速扩充端口810。在所述实施方案中，低速控制器812耦合到存储装置806及低速扩充端口814。可包含各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩充端口可(例如)通过网络适配器耦合到一或多个输入/输出装置，例如键盘、指向装置、扫描仪或联网装置(例如交换机或路由器)。
如图中所展示，可以若干种不同形式来实施计算装置800。举例来说，可将其实施为标准服务器820或在此类服务器的群组中多次实施。还可将其实施为机架式服务器系统824的一部分。另外，可将其实施于个人计算机(例如膝上型计算机822)中。或者，可将来自计算装置800的组件与例如装置850的移动装置(未展示)中的其它组件组合。此类装置中的每一者可含有计算装置800、850中的一或多者，且整个系统可由彼此通信的多个计算装置800、850组成。
计算装置850包含处理器852、存储器864、输入/输出装置(例如显示器854)、通信接口866及收发器868以及其它组件。装置850还可具备存储装置(例如微驱动器)或其它装置以提供额外存储。组件850、852、864、854、866及868中的每一者使用各种总线而互连，且所述组件中的数个组件可安装于共用主板上或以其它方式适当地安装。
处理器852可执行计算装置850内的指令，其包含存储于存储器864中的指令。所述处理器可实施为包含单独及多个模拟与数字处理器的若干芯片的芯片集。所述处理器可提供(举例来说)装置850的其它组件的协作，例如对用户接口、由装置850运行的应用程序及由装置850所做出的无线通信的控制。
处理器852可通过耦合到显示器858的控制接口856及显示接口854与用户通信。显示器854可为(举例来说)TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或者其它适当显示技术。显示接口856可包括用于驱动显示器854以向用户再现图形及其它信息的适当电路。控制接口858可接收来自用户的命令并对其进行转换以供提交到处理器852。另外，外部接口862可经提供以与处理器852通信，以便实现装置850与其它装置的近区域通信。外部接口862可在一些实施方案中提供(举例来说)有线通信，或在其它实施方案中提供无线通信，且还可使用多个接口。
存储器864存储计算装置850内的信息。存储器864可实施为以下各项中的一或多者：一或若干计算机可读媒体、一或若干易失性存储器单元或者一或若干非易失性存储器单元。还可提供扩充存储器874且其通过扩充接口872连接到装置850，所述扩充接口可包含(举例来说)SIMM(单列直插式存储器模块)卡接口。此类扩充存储器874可给装置850提供额外存储空间，或还可存储装置850的应用程序或其它信息。具体来说，扩充存储器874可包含用以实施或补充上文所描述的过程的指令，且还可包含安全信息。因此，举例来说，扩充存储器874可提供为装置850的安全模块，且可借助准许装置850的安全使用的指令编程。另外，安全应用程序可连同额外信息一起经由SIMM卡而提供，例如以非黑客方式将识别信息放置于SIMM卡上。
存储器可包含(举例来说)如下文所论述的快闪存储器及/或NVRAM存储器。在一个实施方案中，计算机程序产品有形地体现于信息载体中。所述计算机程序产品含有在执行时执行例如上文所描述的方法的一或多个方法的指令。所述信息载体为计算机可读媒体或机器可读媒体，例如存储器864、扩充存储器874或处理器852上的可(举例来说)经由收发器868或外部接口862接收的存储器。
装置850可通过在必要的情况下可包含数字信号处理电路的通信接口866无线地通信。通信接口866可提供在各种模式或协议下的通信，例如GSM语音呼叫，SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS以及其它。此通信可(举例来说)通过射频收发器868发生。另外，短程通信可(例如)使用蓝牙、WiFi或其它此类收发器(未展示)而发生。另外，GPS(全球定位系统)接收器模块870可将额外导航及位置相关无线数据提供到装置850，所述数据可视情况由在装置850上运行的应用程序使用。
装置850还可使用音频编解码器860以音频方式通信，所述音频编解码器可从用户接收所说信息并将其转换为可用数字信息。音频编解码器860同样地可(例如)在装置850的手机中(例如)经由扬声器向用户产生可听声音。此声音可包含来自语音电话呼叫的声音、可包含所记录声音(例如，语音消息、音乐文件等)且还可包含由在装置850上操作的应用程序产生的声音。
如图中所展示，可以若干种不同形式来实施计算装置850。举例来说，其可实施为蜂窝式电话880。其还可实施为智能电话882、个人数字助理或其它类似移动装置的部分。
此处所描述的系统及技术的各种实施方案可以数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件及/或其组合而实现。这些各种实施方案可包含可在可编程系统上执行及/或解译的一或多个计算机程序中的实施方案，所述可编程系统包含可为专用或通用的至少一个可编程处理器(其经耦合以从存储系统接收数据及指令且将数据及指令发射到存储系统)、至少一个输入装置及至少一个输出装置。
这些计算机程序(还称为程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令且可以高级程序及/或对象导向的编程语言及/或以汇编/机器语言实施。如本文中所使用，术语“机器可读媒体”、“计算机可读媒体”是指用于将机器指令及/或数据提供到可编程处理器的任何计算机程序产品、设备及/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，所述可编程处理器包含接收作为机器可读信号的机器指令的机器可读媒体。术语“机器可读信号”是指用于将机器指令及/或数据提供到可编程处理器的任何信号。
为提供与用户的交互，此处所描述的系统及技术可实施于具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)及用户可通过其将输入提供到计算机的键盘及指向装置(例如，鼠标或轨迹球)的计算机上。也可使用其它种类的装置来提供与用户的交互；举例来说，提供给用户的反馈可为任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；且来自用户的输入可以任何形式(包含声音、语言或触觉输入)而接收。
此处所描述的系统及技术可实施于计算系统(包含后端组件(例如，作为数据服务器)；或包含中间件组件(例如，应用程序服务器)；或包含前端组件(例如，具有用户可经由其来与此处所描述的系统及技术的实施方案交互的图形用户接口或Web浏览器的客户端计算机))或此类后端、中间件或前端组件的任一组合中。所述系统的组件可通过任何数字数据通信形式或媒体(例如，通信网络)互连。通信网络的实例包含局域网(“LAN”)、广域网(“WAN”)及因特网。
所述计算系统可包含客户端及服务器。客户端与服务器通常彼此远离且通常通过通信网络交互。客户端与服务器的关系是借助在相应计算机上运行且彼此之间具有客户端-服务器关系的计算机程序而产生。
本文已描述若干个实施例。然而，将理解，可在不背离本发明的精神及范围的情况下做出各种修改。
另外，图中所描绘的逻辑流程未必需要所展示的特定次序或顺序次序来实现所要结果。另外，可提供其它步骤，或可从所描述流程消除若干步骤，且可向所描述系统添加或从所描述系统移除其它组件。因此，其它实施例在所附权利要求书的范围内。

Claims (20)

1.一种方法，其包括：
由计算装置的处理器执行包含多个选项卡的应用程序的至少一部分，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联；
确定所述多个选项卡中的正记录来源于所述计算装置的环境的音频及/或视觉信号的特定选项卡；及
提供与所述特定选项卡相关联的向所述计算装置的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
2.根据权利要求1所述的方法，其中提供所述指示包含：在所述特定选项卡的标签句柄上提供图形用户接口。
3.根据权利要求1到2中任一权利要求所述的方法，其中提供所述指示包含：在所述特定选项卡的缩略图句柄上提供所述指示。
4.根据权利要求1到3中任一权利要求所述的方法，其中确定所述选项卡包含：
确定一插件与所述应用程序包含在一起；及
确定所述应用程序的哪一选项卡与所述插件包含在一起。
5.根据权利要求1到4中任一权利要求所述的方法，其中所述插件与多个选项卡包含在一起，且
其中确定所述特定选项卡包含：从所述插件接收关于哪一选项卡与所述音频信号包含在一起的指示。
6.根据权利要求1到5中任一权利要求所述的方法，其中提供与所述特定选项卡相关联的图形指示包含：如果所述应用程序未被显示但仍由所述计算装置的所述处理器执行，那么在与所述应用程序相关联的图标上显示所述图形指示。
7.根据权利要求1到6中任一权利要求所述的方法，其中提供与所述特定选项卡相关联的图形指示包含：在与由所述计算装置的所述处理器执行的操作系统相关联的通知中心内显示所述图形指示。
8.根据权利要求1到7中任一权利要求所述的方法，其进一步包含基于响应于用户交互而由所述图形指示产生的命令来操纵所述音频及/或视觉信号。
9.一种计算装置，其包括：
处理器，其经配置以执行包含多个选项卡的应用程序，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联；
音频/视觉控制器，其经配置以确定所述多个选项卡中的正记录来源于所述计算装置的环境的音频及/或视觉信号的特定选项卡；及
音频/视觉用户接口UI产生器，其经配置以提供与所述特定选项卡相关联的向所述计算装置的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
10.根据权利要求9所述的计算装置，其中所述音频/视觉用户接口UI产生器经配置以在所述特定选项卡的缩略图句柄上提供所述指示。
11.根据权利要求9到10中任一权利要求所述的计算装置，其中所述音频/视觉用户接口UI产生器经配置以在所述特定选项卡的标签句柄上提供图形用户接口。
12.根据权利要求9到11中任一权利要求所述的计算装置，其中所述音频/视觉控制器经配置以：
确定一插件与所述应用程序包含在一起；及
确定所述应用程序的哪一选项卡与所述插件包含在一起。
13.根据权利要求9到12中任一权利要求所述的计算装置，其中所述插件与多个选项卡包含在一起，且
其中所述音频/视觉控制器经配置以至少部分地通过从所述插件接收关于哪一选项卡与所述音频信号包含在一起的指示而确定所述特定。
14.根据权利要求9到13中任一权利要求所述的计算装置，其中所述音频/视觉用户接口UI产生器经配置以：如果所述应用程序未被显示但仍由所述计算装置的所述处理器执行，那么在与所述应用程序相关联的图标上显示所述图形指示。
15.根据权利要求9到14中任一权利要求所述的计算装置，其中所述音频/视觉控制器经配置以基于响应于用户交互而由所述图形指示产生的命令来操纵所述音频及/或视觉信号。
16.一种包含机器可执行程序的可执行代码的有形体现的计算机可读媒体，所述机器可执行程序在执行时经配置以致使设备进行以下操作：
由所述设备的处理器执行包含多个选项卡的应用程序，每一选项卡与配置成经再现以供由所述应用程序显示的相应文档相关联；
确定所述多个选项卡中的正记录来源于所述设备的环境的音频及/或视觉信号的特定选项卡；及
提供与所述特定选项卡相关联的向所述设备的用户指示所述特定选项卡正记录所述音频及/或视觉信号的图形指示。
17.根据权利要求16所述的计算机可读媒体，其中所述机器可执行程序在执行时经配置以致使所述设备进行以下操作：
在所述特定选项卡的标签句柄上提供图形用户接口。
18.根据权利要求16到17中任一权利要求所述的计算机可读媒体，其中所述机器可执行程序在执行时经配置以致使所述设备进行以下操作：
在所述特定选项卡的缩略图句柄上提供所述指示。
19.根据权利要求16到18中任一权利要求所述的计算机可读媒体，其中所述机器可执行程序在执行时经配置以致使所述设备进行以下操作：
确定一插件与所述应用程序包含在一起；及
确定所述应用程序的哪一选项卡与所述插件包含在一起。
20.根据权利要求16到19中任一权利要求所述的计算机可读媒体，其中所述机器可执行程序在执行时经配置以致使所述设备进行以下操作：
在与由所述设备的所述处理器执行的操作系统相关联的通知中心内显示所述图形指示。
CN201480008856.1A 2013-03-15 2014-03-10 用于在选项卡层级管理音频的方法和系统 Active CN104995596B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/843,721 US9886160B2 (en) 2013-03-15 2013-03-15 Managing audio at the tab level for user notification and control
US13/843,721 2013-03-15
PCT/US2014/022594 WO2014150212A1 (en) 2013-03-15 2014-03-10 Managing audio at the tab level for user notification and control

Publications (2)

Publication Number Publication Date
CN104995596A true CN104995596A (zh) 2015-10-21
CN104995596B CN104995596B (zh) 2019-05-21

Family

ID=50513433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008856.1A Active CN104995596B (zh) 2013-03-15 2014-03-10 用于在选项卡层级管理音频的方法和系统

Country Status (7)

Country Link
US (1) US9886160B2 (zh)
EP (1) EP2972764B1 (zh)
JP (1) JP6318232B2 (zh)
KR (1) KR102248160B1 (zh)
CN (1) CN104995596B (zh)
CA (1) CA2894751C (zh)
WO (1) WO2014150212A1 (zh)

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9886160B2 (en) 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US20150261493A1 (en) * 2014-03-11 2015-09-17 Sonos, Inc. Playback Zone Representations
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US10387104B2 (en) * 2015-06-07 2019-08-20 Apple Inc. Audio control for web browser
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
WO2017087561A1 (en) * 2015-11-17 2017-05-26 Advisual, Inc. Methods and systems for dynamic chat background
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10430212B1 (en) * 2016-07-13 2019-10-01 Screenshare Technology Ltd. Method for recording, editing and reproduction of computer session
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11216241B2 (en) * 2016-12-13 2022-01-04 Samsung Electronics Co., Ltd. Method and device for audio management
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US20190206102A1 (en) * 2017-12-29 2019-07-04 Facebook, Inc. Systems and methods for enhancing content
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN110807158A (zh) * 2018-07-18 2020-02-18 北京字节跳动网络技术有限公司 标签页控制方法、系统、设备及计算机可读存储介质
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP2022045262A (ja) * 2020-09-08 2022-03-18 シャープ株式会社 音声処理システム、音声処理方法、及び音声処理プログラム
US11816308B2 (en) * 2021-03-26 2023-11-14 Salesforce, Inc. Web browser tab navigation during video conference session
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1790258A (zh) * 2004-08-16 2006-06-21 微软公司 显示适用于选中对象的格式化选项图库的改进的用户界面
CN101115066A (zh) * 2006-07-10 2008-01-30 国际商业机器公司 检查对记录因特网协议语音通信消息的许可的方法和设备
US7502993B1 (en) * 1999-09-03 2009-03-10 Cisco Technology, Inc. Calling service using voice enabled web based application server
CN101889278A (zh) * 2007-10-15 2010-11-17 国际商业机器公司 概述响应于触发门户页面中的事件而捕获的门户件使用
US20110113337A1 (en) * 2009-10-13 2011-05-12 Google Inc. Individualized tab audio controls

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4024505A (en) * 1974-11-18 1977-05-17 Compucorp Interface system for coupling an indeterminate number of peripheral devices to a central processing unit
JP3128328B2 (ja) * 1992-05-26 2001-01-29 キヤノン株式会社 記録装置
JP3217137B2 (ja) * 1992-07-28 2001-10-09 株式会社日立製作所 映像信号記録装置、再生装置及び伝送装置
JP3816571B2 (ja) * 1996-03-15 2006-08-30 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
JPH10174063A (ja) * 1996-12-10 1998-06-26 Sony Corp 映像信号伝送方法、重畳情報抽出方法、映像信号出力装置、映像信号受信装置および映像信号記録媒体
US6529602B1 (en) * 1997-08-19 2003-03-04 Walker Digital, Llc Method and apparatus for the secure storage of audio signals
US6816904B1 (en) * 1997-11-04 2004-11-09 Collaboration Properties, Inc. Networked video multimedia storage server environment
JP3890737B2 (ja) * 1998-04-14 2007-03-07 株式会社日立製作所 ディジタル映像信号または音声信号の再生装置及び再生方法
US7406250B2 (en) * 1998-05-15 2008-07-29 Kabushiki Kaisha Toshiba Information recording method and information reproducing method
JP4162294B2 (ja) * 1998-07-03 2008-10-08 パイオニア株式会社 複製制限機能を有する情報再生装置
US6480191B1 (en) * 1999-09-28 2002-11-12 Ricoh Co., Ltd. Method and apparatus for recording and playback of multidimensional walkthrough narratives
JP4269122B2 (ja) * 1999-10-20 2009-05-27 ソニー株式会社 記録装置および記録方法
US7934251B2 (en) * 1999-12-02 2011-04-26 Western Digital Technologies, Inc. Managed peer-to-peer applications, systems and methods for distributed data access and storage
JP3600521B2 (ja) * 2000-11-17 2004-12-15 株式会社東芝 ビデオ記録システム、ビデオ記録方法および記憶媒体
US20060020538A1 (en) * 2001-06-28 2006-01-26 Pranil Ram Tabs based drag and drop graphical trading interface
US7493369B2 (en) * 2001-06-28 2009-02-17 Microsoft Corporation Composable presence and availability services
US20030031107A1 (en) * 2001-08-09 2003-02-13 Noriaki Horii Recording /reproduction apparatus, recording method, reproduction apparatus and distribution apparatus
US7535996B2 (en) * 2001-10-01 2009-05-19 Voice Cards, Inc. Method and system for recording audio onto a carrier using a personal computer
US6778639B2 (en) * 2002-06-26 2004-08-17 International Business Machines Corporation Method, apparatus and computer program for authorizing recording of a message
US8495678B2 (en) * 2002-12-10 2013-07-23 Ol2, Inc. System for reporting recorded video preceding system failures
US7827232B2 (en) * 2003-05-05 2010-11-02 Microsoft Corporation Record button on a computer system
WO2005086022A1 (en) * 2004-02-25 2005-09-15 Applied Aged Care Solutions Pty Ltd Essential data communication system
US20060198504A1 (en) * 2005-01-21 2006-09-07 Shemisa Yousef O Call recording platform
US7738638B1 (en) * 2005-04-05 2010-06-15 At&T Intellectual Property Ii, L.P. Voice over internet protocol call recording
US7596760B2 (en) * 2005-04-07 2009-09-29 Microsoft Corporation System and method for selecting a tab within a tabbed browser
WO2006133337A2 (en) * 2005-06-07 2006-12-14 Golden Voice Technology & Training, L.L.C. Call logging and call logging notification at telecommunications service provider gateway
WO2007035965A2 (en) * 2005-09-23 2007-03-29 Jammermedia, Inc. Media management system
US20070121811A1 (en) * 2005-11-18 2007-05-31 Sbc Knowledge Ventures Lp Method for opt-in voice session recording in a communication device
JP2008003784A (ja) * 2006-06-21 2008-01-10 Ricoh Co Ltd 情報処理装置、プログラム及びその記録媒体
US8280014B1 (en) * 2006-06-27 2012-10-02 VoiceCaptionIt, Inc. System and method for associating audio clips with objects
WO2008027321A2 (en) * 2006-08-29 2008-03-06 Hillcrest Laboratories, Inc. Television control, playlist generation and dvr systems and methods
US8218572B2 (en) * 2006-12-22 2012-07-10 Verizon Patent And Licensing Inc. Network element connection management within a network management system
WO2008095566A1 (en) * 2007-02-09 2008-08-14 Nokia Siemens Networks Gmbh & Co. Kg Method, apparatus, and computer program product for dynamic bandwidth management in an ip-network
JP2009123165A (ja) 2007-11-19 2009-06-04 Denso Corp 車載画像記録システム
JP5010492B2 (ja) * 2008-01-31 2012-08-29 株式会社東芝 通信装置、方法及びプログラム
US8605863B1 (en) * 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
US8031075B2 (en) * 2008-10-13 2011-10-04 Sandisk Il Ltd. Wearable device for adaptively recording signals
US20100199185A1 (en) * 2009-02-04 2010-08-05 Microsoft Corporation Common navigation mechanism for desktop and browser-based applications
US9712579B2 (en) * 2009-04-01 2017-07-18 Shindig. Inc. Systems and methods for creating and publishing customizable images from within online events
WO2010144920A1 (en) * 2009-06-13 2010-12-16 Rolestar, Inc. System for sequential juxtaposition of separately recorded scenes
US20100325557A1 (en) * 2009-06-17 2010-12-23 Agostino Sibillo Annotation of aggregated content, systems and methods
US9137346B2 (en) * 2009-06-18 2015-09-15 Qualcomm Incorporated System and method for permitting recordation of voice transmissions among group members of a communication group of wireless communication devices
CN102782733B (zh) * 2009-12-31 2015-11-25 数字标记公司 采用配备有传感器的智能电话的方法和配置方案
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8984409B2 (en) * 2010-03-12 2015-03-17 Salesforce.Com, Inc. Service cloud console
US8468201B2 (en) * 2010-03-23 2013-06-18 Google Inc. Organizing social activity information on a site
US20120315615A1 (en) * 2010-03-30 2012-12-13 Health And Happiness, Llc Multi-sensory method for learning names
US8265928B2 (en) * 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US20130212521A1 (en) * 2010-10-11 2013-08-15 Teachscape, Inc. Methods and systems for use with an evaluation workflow for an evidence-based evaluation
US20130218733A1 (en) * 2011-05-05 2013-08-22 Carlo RAGO Method and system for data management and monetization
US8903892B2 (en) * 2011-05-19 2014-12-02 Oasys Healthcare Corporation Software based system for control of devices
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
US8763080B2 (en) * 2011-06-07 2014-06-24 Blackberry Limited Method and devices for managing permission requests to allow access to a computing resource
US9524651B2 (en) * 2011-07-25 2016-12-20 Raymond Fix System and method for electronic communication using a voiceover in combination with user interaction events on a selected background
US9215096B2 (en) * 2011-08-26 2015-12-15 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing communication between network domains in a service cloud
KR101495802B1 (ko) * 2011-08-29 2015-02-25 주식회사 케이티 어플리케이션 실행 장치 및 방법
US8886169B2 (en) * 2011-10-25 2014-11-11 At&T Intellectual Property I, Lp Apparatus and method for providing enhanced telephonic communications
US9007302B1 (en) * 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US20130212478A1 (en) * 2012-02-15 2013-08-15 Tvg, Llc Audio navigation of an electronic interface
US20130311899A1 (en) * 2012-05-17 2013-11-21 Cbs Interactive, Inc. Techniques for providing a topic-oriented online social environment
US9569060B2 (en) * 2012-07-25 2017-02-14 Salesforce.Com, Inc. Computer implemented methods and apparatus for composing and batch publishing feed items in a feed-based interaction context
US9251359B2 (en) * 2013-03-07 2016-02-02 Nokia Technologies Oy Method and apparatus for managing crowd sourced content creation
US9693233B2 (en) * 2013-03-13 2017-06-27 Location Sentry Corp. Intelligent agent for privacy and security application
US20140282908A1 (en) * 2013-03-13 2014-09-18 Location Sentry Corp Intelligent agent for privacy and security
US9886160B2 (en) 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
US20150106736A1 (en) * 2013-10-15 2015-04-16 Salesforce.Com, Inc. Role-based presentation of user interface
US9977911B2 (en) * 2014-12-30 2018-05-22 Facebook, Inc. Methods and systems for managing permissions to access mobile device resources
US10146915B2 (en) * 2015-09-14 2018-12-04 Salesforce.Com, Inc. Publication of collaborative file to library

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502993B1 (en) * 1999-09-03 2009-03-10 Cisco Technology, Inc. Calling service using voice enabled web based application server
CN1790258A (zh) * 2004-08-16 2006-06-21 微软公司 显示适用于选中对象的格式化选项图库的改进的用户界面
CN101115066A (zh) * 2006-07-10 2008-01-30 国际商业机器公司 检查对记录因特网协议语音通信消息的许可的方法和设备
CN101889278A (zh) * 2007-10-15 2010-11-17 国际商业机器公司 概述响应于触发门户页面中的事件而捕获的门户件使用
US20110113337A1 (en) * 2009-10-13 2011-05-12 Google Inc. Individualized tab audio controls

Also Published As

Publication number Publication date
WO2014150212A1 (en) 2014-09-25
JP6318232B2 (ja) 2018-04-25
KR102248160B1 (ko) 2021-05-03
CA2894751A1 (en) 2014-09-25
CA2894751C (en) 2022-08-23
US9886160B2 (en) 2018-02-06
KR20150129652A (ko) 2015-11-20
EP2972764A1 (en) 2016-01-20
CN104995596B (zh) 2019-05-21
US20140281983A1 (en) 2014-09-18
JP2016519351A (ja) 2016-06-30
EP2972764B1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
CN104995596A (zh) 在选项卡层级管理音频以用于用户通知及控制
US11750888B2 (en) User interfaces including selectable representations of content items
KR102131646B1 (ko) 디스플레이장치 및 그 제어방법
US10852912B2 (en) Image creation app in messaging app
US10956008B2 (en) Automatic home screen determination based on display device
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
US10146402B2 (en) User terminal device for displaying different content for an application based on selected screen and display method thereof
WO2016124095A1 (zh) 生成视频的方法、装置及终端
WO2018157812A1 (zh) 一种实现视频分支选择播放的方法及装置
KR20170054919A (ko) 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
KR20140144104A (ko) 전자기기 및 이의 서비스 제공 방법
CN107071512B (zh) 一种配音方法、装置及系统
KR101832394B1 (ko) 단말 장치, 서버 및 그 제어 방법
KR102470925B1 (ko) 비디오 처리 방법 및 장치, 디바이스 그리고 저장 매체
JP2013168927A (ja) 映像表示装置で字幕の属性を変更するための装置及び方法
US20160205427A1 (en) User terminal apparatus, system, and control method thereof
US10082928B2 (en) Providing content to a user based on amount of user contribution
US20150180998A1 (en) User terminal apparatus and control method thereof
TW201539298A (zh) 用於內容插入及修改之漸進式功能存取
US20160359932A1 (en) Display device and method of controlling the same
US10652105B2 (en) Display apparatus and controlling method thereof
CN104485122A (zh) 通信信息导出方法、装置,以及终端设备
US20160048493A1 (en) User terminal apparatus, control method thereof, and multimedia system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant