CN107835979B - 智能音频路由管理 - Google Patents
智能音频路由管理 Download PDFInfo
- Publication number
- CN107835979B CN107835979B CN201680038771.7A CN201680038771A CN107835979B CN 107835979 B CN107835979 B CN 107835979B CN 201680038771 A CN201680038771 A CN 201680038771A CN 107835979 B CN107835979 B CN 107835979B
- Authority
- CN
- China
- Prior art keywords
- application
- audio
- content
- routing
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本文描述的各示例在计算设备在互不连接模式下工作时自动将与应用相关联的音频信号路由到恰当的音频终端。音频信号的智能音频路由管理基于与音频信号相关联的应用的内容输出目的地。智能音频路由管理使得工作在互不连接模式下的计算设备能够接收与在多个设备上呈现或显示的应用内容有关的音频信号,并且将各个音频信号正确地路由到对应于相关联的音频内容被显示的位置的音频终端。
Description
背景
执行在计算设备上的许多应用具有包括音频内容的多媒体内容。当来自这些应用的音频内容信号被处理时,他们通常被路由到计算设备上的默认音频终端,诸如扬声器。对于计算设备来说,一般具有一个默认音频终端,并且来自各个应用的音频信号被路由到这一个终端以供输出。
概述
本公开的各示例提供了一种计算设备,该计算设备被配置成将内容流传输到辅助设备。耦合到计算设备或与之通信的音频路由组件接收与在所述计算设备上实现的多个应用相关联的多个音频信号并获得所述应用的应用状态数据。音频路由组件确定与单个应用相关联的内容输出目的地,所述内容输出目的地对应于所述计算设备或所述辅助设备中的至少一个。音频路由组件标识与所确定的所述单个应用的内容输出目的地相关联的音频终端,并且将与所述单个应用相关联的单个音频信号路由到所标识的音频终端。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征,亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是解说用于智能音频路由管理的计算设备的示例性框图。
图2是解说了处于互不连接模式下的核心计算设备和辅助计算设备的示例性框图。
图3是解说了处于互不连接模式下的移动设备和辅助设备的示例性框图。
图4是解说由实现在计算设备上的音频路由组件执行的操作的示例性流程图。
图5是解说由实现音频路由组件的核心计算设备执行的操作的示例性流程图。
图6a和图6b是解说用于智能音频路由管理的试探法的示例性表。
图7是解说用于实现音频路由组件的计算设备的操作环境的示例性框图。
在全部附图中,相应的附图标记指示相应的部分。
详细描述
参照各附图,本公开的各示例提供了基于与音频信号相关联的应用的内容输出位置来对音频信号进行智能音频路由管理以路由至恰当的音频终端。在一些示例中,这一音频路由管理使得工作在互不连接模式下的计算设备能够接收与在多个设备上呈现或显示的应用内容有关的音频信号,并且将各个音频信号自动路由到相关联的应用内容被显示或查看的位置处的音频终端。如本文所描述的,互不连接模式指的是计算设备通信地耦合到另一设备,以便于计算设备同时发送内容到至少两个显示器,其中每一个显示器上的内容是不同的。如本文所描述的,互不连接模式体验中的每一个显示器可显示不同的内容,这不同于其中每一个显示器显示相同内容的复制或镜像模式。在这些示例中,处于互不连接模式下的计算设备可将内容流传输或投射到一个显示器,该内容与类似连接的设备的另一显示器上输出的内容看上去分开或独立。连接到计算设备的外围设备(诸如键盘和鼠标)也可在互不连接体验下不同地行动,从而提供看上去每一个连接的输出设备正以准独立的形式工作的用户体验。其它连接的设备可使得与显示在该设备上的内容直接相关联的输入能够被路由回呈现该显示内容的计算设备并由其管理。在这些示例中,这一互不连接模式扩展了用户的体验以创建其中计算设备像是两个独立设备一样行动的环境。在一些示例中,互不连接模式可基于用户命令、计算设备和辅助设备之间的相邻距离、位置触发、或任何其它合适的触发事件来发生。
在一些示例中,计算设备可指的是核心计算设备、本地计算设备、或主计算设备。在一些说明性示例中,连接的设备可以是另一计算设备,并且在其它示例中,连接的设备可以是具有比计算设备少的资源的设备,诸如监视器或显示设备。在一些示例中,连接的设备还可指的是从设备、辅助设备、或远程设备。
一些示例提供基于视图的模型,该模型使得音频系统能够基于与接收的音频信号相关联的应用的查看位置来将音频路由到恰当的终端。本公开的各方面进一步使得具有两个不同视图(每一个屏幕上一个)的应用能够将音频流路由以供针对相关联的视图在恰当的音频终端播放。
现在参照图1,示例性框图解说了用于智能音频路由管理的计算设备。在图1的示例中,计算设备表示用于将与应用相关联的音频信号路由到对应于那些应用的内容输出位置的音频终端的系统。计算设备表示执行实现与计算设备相关联的操作和功能的指令(例如,作为应用程序、操作系统功能、或两者)的任何设备。计算设备可包括移动计算设备或任何其它的便携式设备。在一些示例中,移动计算设备包括移动电话、膝上型计算机、图形输入板、计算板、上网本、游戏设备和/或便携式媒体播放器。计算设备还可包括较不便携的设备,诸如台式个人计算机、自助服务终端、桌面设备、工业控制设备、无线充电站以及电动汽车充电站。附加地,计算设备可表示一组处理单元或其它计算设备。
在一些示例中,计算设备具有至少一个处理器、存储器区域、以及至少一个用户界面。处理器包括任意数量的处理单元,并被编程为执行用于实现本公开的各方面的计算机可执行指令。指令可由处理器或由在计算设备内的多个处理器执行,或者由计算设备外部的处理器来执行。在一些示例中,处理器被编程为执行诸如在附图(例如,图4-5)中所解说的那些指令之类的指令。
在一些示例中,处理器表示执行在此所述的操作的模拟技术的一种实现。例如,所述操作可以由模拟计算设备和/或数字计算设备来执行。
计算设备进一步具有一个或多个计算机可读介质,诸如存储器区域。存储器区域包括任何数量的、与计算设备相关联或计算设备可访问的介质。存储器区域可以在计算设备的内部(如图1-2所示)、在计算设备的外部(未示出)、或两者(未示出)。在一些示例中,存储器区域包括只读存储器和/或布线到模拟计算设备中的存储器。
存储器区域存储一个或多个应用等其它数据。应用在被处理器执行时操作以执行计算设备上的功能。示例性应用包括邮件应用程序、web浏览器、日历应用程序、地址簿应用程序、消息收发程序、通信应用、媒体应用、基于位置的服务、搜索程序、生产力应用等。应用可与对应的应用或服务通信,诸如可经由网络访问的web服务。例如,应用可表示与在云中执行的服务器侧服务相对应的所下载的客户机侧应用。
存储器区域还存储一个或多个计算机可执行组件。示例性组件包括音频路由组件、通信接口组件、以及用户界面组件。用户界面组件在由计算设备的处理器执行时致使处理器将数据输出到用户界面组件并处理经由用户界面组件接收的用户输入。
在一些实施例中,通信接口组件包括网络接口卡和/或用于操作网络接口卡的计算机可执行指令(例如驱动程序)。计算设备和其它设备之间的通信可使用任何协议或机制在任何有线或无线连接上发生。在一些示例中,通信接口可用近程通信技术来操作,诸如通过使用近场通信(NFC)标签。
在一些示例中,用户界面组件包括用于将数据显示给用户以及从用户接收数据的图形卡。用户界面组件还可包括用于操作显卡的计算机可执行指令(例如驱动程序)。此外,用户界面组件可包括显示器(例如,触摸屏显示器或自然用户界面)和/或用于操作该显示器的计算机可执行指令(例如驱动程序)。用户界面组件还可包括以下各项中的一个或多个来将数据提供给用户或从用户接收数据:扬声器、声卡、相机、话筒、振动马达、一个或多个加速度计、蓝牙通信模块、全球定位系统(GPS)硬件、以及感光光传感器。例如,用户可通过按特定方式移动计算设备来输入命令或操纵数据。
再次参照图1,示例性框图解说了用于智能音频路由管理的计算设备。计算设备102可通信地耦合到设备104或与设备104通信。设备104可以是能够从计算设备102接收内容或数据以供显示或输出的任何合适的设备。在这些示例中,设备104可包括但不限于辅助计算设备、显示设备、扬声器设备、嵌入式设备、或能够与计算设备102通信的任何其它合适的设备。
计算设备102包括处理器106,处理器106可通信地耦合到存储器区域108。计算设备102还可包括(一个或多个)音频终端110和内容输出目的地112。(一个或多个)音频终端110可以是耦合到计算设备102的任何类型的扬声器或音频输出设备。示例性音频终端可包括但不限于扬声器、头戴式耳机、耳塞式耳机、入耳式耳机、耳麦、或任何其它合适的音频输出设备。(一个或多个)音频终端110可以是被配置成接收并输出音频信号的无线或有线音频扬声器。内容输出目的地112可以是呈现内容供用户消费或交互的任何类型的输出设备。例如,示例性内容输出目的地可包括但不限于显示设备、图形用户界面的显示元素、音频输出设备、触觉输出设备、或被配置用于内容输出的任何其它合适的设备。
设备104还可包括(一个或多个)音频终端114和内容输出目的地116,在这些示例中,它们可类似于(一个或多个)音频终端110和内容输出目的地112。
存储器区域108可包括音频路由组件118、(一个或多个)音频信号120、(一个或多个)应用122、策略124、用户偏好数据126、通信接口组件128以及用户界面组件130。音频路由组件118接收与(一个或多个)应用122相关联的(一个或多个)音频信号120,并根据例如来自相关联的应用的内容在何处被输出或查看来将(一个或多个)音频信号120路由到恰当的音频终端。在这些示例中,计算设备102提供应用呈现的内容,该内容可在计算设备102、或设备104、或计算设备102和设备104两者上被显示或查看。在一个示例中,一个应用的应用呈现的内容可在计算设备102上被显示或查看,同时另一个应用的应用呈现的内容在设备104上被显示或查看。作为另一示例,应用可具有两个视图,其中一个视图被显示在计算设备102上,且另一个视图被显示在设备104上。
在确定将接收的音频信号路由至何处,更具体地,路由至哪一个音频终端(如果有的话)时,音频路由组件118通过标识与接收的音频信号相关联的应用的状态以及相关联的应用的当前内容输出目的地来提供智能音频路由管理。在之前的音频路由场景中,一般只存在一个默认音频终端,并且所有的音频被路由到该默认音频终端,无论什么设备被连接或者内容正在何处被输出或查看。在这些现有示例中,如果移动设备被连接到例如一对耳塞,则该耳塞连接被指定为移动设备处接收的所有音频信号的默认音频终端。类似地,在其它之前的示例中,如果计算设备被连接到第二屏幕,则与该第二屏幕相关联的扬声器可变为计算设备处接收的所有音频信号的默认音频终端。
音频路由组件118接收与(一个或多个)应用122相关联的(一个或多个)音频信号120并标识或获得(一个或多个)应用122的应用状态数据124。应用状态数据124可包括信息,诸如但不限于(一个或多个)应用是在后台运行还是在前台运行,运行在前台的应用是活跃的还是非活跃的,运行在前台的应用处于全屏模式还是部分屏幕模式,应用是操作在共享模式下还是排他模式下,运行在前台的应用是否具有多个视图,具有多个视图的应用是否正将视图显示在多个设备上等等。在这些示例中,前台应用可以是活跃的或非活跃的。活跃的应用指的是具有用户的聚焦或者具有最近用户交互的应用,而非活跃的应用指的是处于前台但是不具有用户的聚焦或时间上最近的用户交互的应用。在这些示例中,全屏模式指的是消费显示器的所有可用像素用于应用呈现的内容的应用模式,而部分屏幕模式指的是消费显示器的少于所有可用像素用于应用呈现的内容的应用模式。在这些示例中,排他模式指的是其中应用具有对输出音频流的音频终端设备的排他使用的模式,而共享模式指的是其中多个应用可共享音频终端设备(例如,通过在设备上打开共享模式的音频流)的模式。除了标识(一个或多个)应用122的状态数据,音频路由组件118还为每一个具有接收的音频信号的应用标识当前内容输出目的地。单个应用可具有不止一个内容输出目的地,诸如在具有多个视图的应用的示例中,其中一个视图被输出到核心计算设备上的目的地,而另一视图被输出到辅助设备上的目的地。
在一些示例中,当呼入呼叫被接收并被显示在移动设备显示器上时,在该移动设备上执行的媒体流传输应用可能正输出内容到第二屏幕。在这一示例中,音频路由组件118可接收针对媒体流传输应用和电话应用两者的音频信号,标识两个应用都位于前台,并且标识媒体流传输应用内容正在第二屏幕上以全屏模式查看,而电话应用内容正在移动设备屏幕上被显示。在这一示例中,音频路由组件118可将与媒体流传输应用相关联的音频信号导向与媒体内容正被显示或查看处的第二屏幕相关联的音频终端,而将与电话应用相关联的音频信号导向与移动设备相关联的音频终端,从而允许电影音频继续从第二屏幕的扬声器输出,而电话音频被路由以从移动设备的内部扬声器输出。
策略126可包括任意数量的用于部分基于应用的状态数据、当前应用条件、应用的当前内容输出目的地、用户偏好数据、操作系统策略、应用策略、基于应用性能的策略、和/或任何其它合适的规则来确定恰当的音频终端的试探法、模型、和/或算法。作为一个示例性解说,策略126可包括用于基于应用是否处于全屏模式、或者基于用户界面组件130是否当前正被显示在例如设备104的内容输出目的地116上来进行音频路由管理的规则。音频路由组件118在确定恰当的音频终端以供路由接收的音频信号时可使用策略126。用户偏好数据可经由用户输入来获得或经由例如基于用户与计算设备102的交互的机器学习来随时间习得。用户偏好数据可包括例如用户偏好的针对特定应用的默认音频终端、使用的类型、音频信号的类型、一天中的时间、隐私设置、和/或任何其它音频路由偏好。
在这些示例中,通信接口组件128可被用于建立或维护(或既建立又维护)计算设备102和设备104之间的连接。在一些说明性示例中,在通信接口组件128所促成的连接期间,计算设备102可获得关于设备104的信息,诸如设备104是否具备音频能力、关于(一个或多个)可用音频终端114的数据、关于内容输出目的地116的数据、或任何其它合适的设备数据。计算设备102的操作系统基于连接类型来维护所有音频终端的列表,并且确定例如哪个终端应当被用作为默认终端。在一些示例中,音频终端连接类型可包括但不限于音频插口连接、通用串行总线(USB)连接、连接、或任何其它合适的通信连接。
图1中解说的各组件是示例性的,并且不旨在提供对音频路由组件118的范围或能力的限制。在一些示例中,用户界面组件130可将计算设备102的用户界面投射或流传输到设备104的显示器。用户界面组件130可例如基于使用应用状态数据124确定的应用的状态来确定什么内容要显示以及在哪里显示。在一些示例中,(一个或多个)应用122还可选择推翻操作系统所指示的默认音频终端选择并且基于应用策略或正被输出的音频的类型来定义一个不同的默认音频终端来使用。
接着参照图2,示例性框图解说了处于互不连接模式下的核心计算设备和辅助计算设备。核心计算设备202可以是执行实现与计算设备相关联的操作和功能的指令(例如,应用程序、操作系统功能、或两者)的任何设备。在这些示例中,核心计算设备202可包括但不限于移动计算设备或任何其它便携式设备、较不便携的设备、或一组处理单元或其它计算设备。在一些示例中,移动计算设备可包括移动电话、膝上型计算机、平板、计算板、上网本、游戏设备、可穿戴计算设备、和/或便携式媒体播放器。在这些示例中,较不便携的计算设备可包括台式个人计算机、自助服务终端、桌面设备、工业控制设备、无线充电站以及电动汽车充电站。
计算设备202可通信地耦合到辅助设备204或与辅助设备204通信。辅助设备204可以是能够从核心计算设备202接收内容或数据以供显示或输出的任何合适的设备。在这些示例中,辅助设备204可包括但不限于辅助计算设备、显示设备、扬声器设备、嵌入式设备、或能够与移动计算设备202通信的任何其它合适的设备。
在这一示例性图表中,核心计算设备202包括音频路由组件206、显示器208、以及(一个或多个)音频终端210。音频路由组件206可以是例如图1中的音频路由组件118的一个实施方式的一个说明性示例。音频路由组件206接收与(一个或多个)应用214相关联的(一个或多个)音频信号212。在这一说明性示例中,(一个或多个)音频信号212可包括音频信号-A 216,其与应用-A 218相关联,以及音频信号-B 220,其与应用-B 222相关联。音频路由组件206可标识或获得应用-A 218和应用-B 222的状态数据以确定例如应用-A 218和应用-B 222是在前台还是后台执行、每一个应用的应用呈现的内容正在何处被显示或查看等等。
在这一示例中,应用-A呈现的内容224被显示或输出到核心计算设备202的显示器208,而应用-B呈现的内容228被显示或输出到辅助设备204的显示器226。显示器208可以是图1中的内容输出目的地112的说明性示例,并且显示器226可以是图1中的内容输出目的地116的说明性示例。音频路由组件206可标识对应于应用-A呈现的内容224正被显示处的显示器208的(一个或多个)音频终端210,并将音频信号-A 216路由到该(一个或多个)音频终端210。音频路由组件206可标识对应于应用-B呈现的内容228正被显示处的显示器230的(一个或多个)音频终端226,并将音频信号-B 220路由到该(一个或多个)音频终端230。以此方式,音频路由组件206提供基于应用呈现内容的查看位置的智能音频路由。
在另一示例中,应用-C 232可具有多个视图,其中应用呈现的内容被显示在核心计算设备202和辅助设备204上。在这一说明性示例中,应用-C呈现的内容234可以是被显示在辅助设备204的显示器226上的一个视图,且应用-C呈现的内容236可以是被显示在核心计算设备202的显示器208上的另一个视图。音频路由组件206可接收与应用-C 232相关联的音频信号C 238,并且使用获得的应用-C 232的应用状态数据来智能地将音频信号C 238路由到恰当的音频终端。
在一个说明性示例中,音频信号C 238可对应于特定视图的内容,诸如正在显示器226上被查看的应用-C呈现的内容234。在这一示例中,音频路由组件206可将音频信号C238路由到(一个或多个)音频终端230作为对应的内容正被查看处的辅助设备204的相关联的音频终端。
作为另一示例,应用-C 232可以是演示应用的一个说明性示例,该演示应用提供多个视图,诸如一个视图中是演示的幻灯片,另一视图中是用于演示者的注释。在这一示例中,应用-C呈现的内容234可以是在辅助设备204上显示给观众的幻灯片视图,而应用-C呈现的内容236可以是在演示期间显示在演示者的计算设备上供使用的注释视图。音频信号C238可以是对应于例如所呈现的幻灯片之一中嵌入的视频的音频内容。在这一示例中,音频路由组件206可将音频信号C 238路由到(一个或多个)音频终端230,因为(一个或多个)音频终端230是对于与该音频内容相对应的应用视图正被查看处而言恰当的音频终端。
在另一说明性示例中,音频信号A 216可以是对应于电话应用的呼入呼叫通知的音频内容,其中应用-A 218是电话应用。在这一示例性场景中,音频路由组件206可标识应用-C 232处于前台并具有在两个连接的设备上显示的多个视图,诸如上文解说的演示场景,而应用-A 218处于后台。音频路由组件206可部分基于每一个应用的状态数据并且部分基于策略(诸如图1中的策略126)将呼入呼叫通知路由到核心计算设备的内部扬声器。例如,策略可包括用于基于应用状态数据确定将音频信号路由到何处的试探法。
接着参照图3,示例性框图解说了处于互不连接模式下的移动设备和辅助设备。移动设备302可以是任何类型的移动设备的一个说明性示例,诸如例如智能电话或平板。辅助计算设备304可以是第二屏幕的一个说明性示例,诸如举例而言监视器、电视、或其它显示设备。
移动设备302可通信地耦合到辅助设备304或与辅助设备304通信。移动设备302可提供媒体应用呈现的内容(诸如举例而言流传输的电影影片)以供在辅助设备304处输出。当在辅助设备304上流传输电影时,移动设备302可接收呼入呼叫,因而在移动设备302的显示屏幕上显示通信应用。音频路由组件(诸如举例而言图1中的音频路由组件118)可将电影音频路由到与辅助设备304相关联的音频终端,诸如电视扬声器,而将呼入呼叫音频路由到与移动设备302相关联的音频终端,诸如举例而言连接到移动设备302的内部扬声器或耳机。
设备之间的任意数量个可能的连接配置以及与多个应用相关联的多个音频信号的路由配置可使用音频路由组件来实现。本文提供的说明性示例不旨在以任何方式限制由本文描述的智能音频路由管理所提供的配置选项或路由选项。
接着参考图4,示例性流程图解说了由实现在计算设备上的音频路由组件执行的操作。这些操作可由音频路由组件(诸如举例而言图1的音频路由组件118或图2的音频路由组件206)执行。
过程通过在操作402处接收与核心设备上的应用相关联的音频信号来开始。过程在操作404处获得应用状态数据。应用状态数据可例如由音频路由组件标识,或由音频路由组件获得。状态数据可包括关于各个应用的信息,诸如举例而言应用是在前台执行还是在后台执行,单个应用是活跃的还是非活跃的,单个应用具有一个视图还是多个视图,具有多个视图的单个应用正在一个设备还是多个设备上被显示或查看,单个应用处于全屏模式还是部分屏幕模式,单个应用是操作在共享模式下还是排他模式下,或者与能够由计算设备执行的应用相关联的任何其它合适的状态数据。
过程在操作406处标识与单个应用相关联的(一个或多个)内容输出目的地和对应的应用条件。内容输出目的地可以是例如核心设备的本地显示器、与核心设备通信的辅助显示设备、或本地显示器和辅助显示器两者。例如,核心设备的用户界面组件可将具有多个视图的单个应用的应用呈现的内容提供给核心设备显示器和辅助设备显示器两者。在其它示例中,用户界面组件可将应用呈现的内容提供给一个内容输出目的地。应用条件可基于获得的应用状态数据来确定。例如,应用条件可指示单个应用以全屏模式以及排他模式显示在特定设备显示器位置。
过程在操作408处基于操作406处标识的(一个或多个)内容输出目的地来确定单个应用呈现的内容是否正被显示在辅助设备上。响应于确定单个应用呈现的内容未正被显示在辅助设备上,过程在操作410处将对应于该单个应用的单个音频信号路由到核心设备的音频终端,该音频终端根据一个或多个策略并基于被标识的与单个应用相关联的应用条件来确定。过程可返回操作404以处理更多音频信号(如果适用的话)。
响应于确定单个应用呈现的内容正被显示在辅助设备上,过程在操作412处确定辅助设备是否具备音频能力。这一确定可部分基于例如在由核心设备建立的与辅助设备的连接期间获得的辅助设备数据。如果过程确定辅助设备不具备音频能力,则过程前进至操作410,将对应于单个应用的单个音频信号路由到核心设备的音频终端。如果过程在412处确定辅助设备具备音频能力,则过程在操作414处将将对应于单个应用的单个音频信号路由到辅助设备的音频终端,并且可返回操作404以处理更多音频信号(如果适用的话)。
接着参考图5,示例性流程图解说了由实现在计算设备上的音频路由组件在应用在连接的设备上处于全屏模式中时执行的示例性操作。这些操作可由音频路由组件(诸如例如图1的音频路由组件118或图2的音频路由组件206)执行。在一些示例中,这些操作与图4中解说的操作相关联地或同时地执行。
过程通过在操作502处接收与核心设备上的应用相关联的音频信号来开始。过程在操作504处获得由核心设备上执行的应用的应用状态数据。过程在操作506处标识与单个应用相关联的(一个或多个)内容输出目的地和应用条件。过程在操作508处确定单个应用呈现的内容是否正被显示在辅助设备上。
响应于确定单个应用呈现的内容未正被显示在辅助设备上,过程在操作510处将对应于该单个应用的单个音频信号路由到核心设备的音频终端,并且可返回到操作506以处理与其它应用相关联的更多音频信号。
响应于确定单个应用呈现的内容正被显示在辅助设备上,过程在操作512处确定单个应用是否处于全屏模式。响应于确定单个应用在辅助设备上处于全屏模式,过程在操作514处将对应于该单个应用的单个音频信号路由到辅助设备的音频终端,并且将与其它应用相关联的所有其它传入音频信号路由到核心设备的音频终端。
响应于确定单个应用在辅助设备上未处于全屏模式,过程在操作516处将对应于该单个应用的单个音频信号路由到辅助设备的音频终端,并且基于策略将与其它应用相关联的所有其它传入音频信号路由到辅助设备的音频终端。
例如,作为一个说明性示例,如果显示在辅助设备上的媒体应用未处于全屏模式,则部分基于媒体应用的部分屏幕模式并且部分基于检测到的用户与呈现在辅助设备上的媒体应用的交互,呼入电话呼叫通知声音可被路由到辅助设备音频终端。在另一示例中,如果显示在辅助设备上的媒体应用处于全屏模式,则呼入电话呼叫通知可部分基于策略被路由到核心设备内部扬声器。
图5中解说的示例性过程提供了基于应用状态数据和应用条件的一个可能的示例决策路由。任何数量的路由决策可使用本文描述的音频路由组件来进行。图4和图5中解说的示例性操作不限制智能音频路由组件可处理的可能决策的范围或描述其整体。这些说明性示例被提出以描述一些可能的实现,而不以任何方式限制音频路由组件的操作。例如,图5中的过程可进行针对其它应用条件或可用音频终端、或对应于特定应用的用户指定的参数的更多确定,这些确定调整图5中描绘的决策过程。
图6a和图6b是解说用于智能音频路由管理的试探法的示例性表。例如图1中的音频路由组件118可在确定将接收的音频信号路由到何处时使用这些示例性表。这些说明性表可以是例如图1中的策略126的试探法中的一些的示例。
在图6a的示例中,获得的与辅助设备(例如,第二屏幕)通信或连接的核心设备(例如,移动电话)上实现的应用的状态数据可指示演示应用正在前台执行并且正被显示在辅助和核心设备两者上。在一个示例中,媒体应用可正在后台执行,其中对演示幻灯片的嵌入链接的选择在被触发时将媒体应用带到前台。这一张表解说了一个可能的场景,其中音频路由组件可将演示的声音路由到辅助扬声器,并且将来自嵌入链接的媒体应用的声音路由到辅助扬声器。接收的运行在后台的应用的其它音频信号可在接收时部分基于例如指示演示应用处于前台并且正在两个设备上被查看的状态数据而被路由到电话扬声器。
在图6b的示例中,获得的状态数据可指示媒体应用在前台执行并且该媒体应用呈现的内容正在辅助设备处以全屏模式显示。在这一说明性场景中,音频路由组件可将与在第二屏幕上播放的电影相关联的音频内容路由到与该第二屏幕相关联的辅助扬声器。在这同一示例中,游戏应用可正在前台执行并且可被显示在移动电话显示器上。在这些示例中,当电影声音被路由到第二屏幕扬声器时,音频路由组件可将游戏声音路由到电话扬声器。
其他示例
在一些示例场景中,本文描述的过程可具有基于视图在何处呈现的多个视图,并且音频路由组件可将与特定视图相关联的音频路由到与该特定视图的查看位置相关联的音频终端。例如,在一个示例性场景中,Powerpoint演示可以两种视图来呈现,第一视图在移动设备上提供演示者注释以供演示者查看,而第二视图在大屏幕上提供具有嵌入视频的演示幻灯片以供观众查看。在这一示例中,当演示到达幻灯片上的嵌入视频时,音频路由组件将标识该视频的查看位置是大屏幕,标识与大屏幕相关联的音频终端,并且将该嵌入视频的音频路由到大屏幕的所标识的音频终端。在同一示例中,如果在演示期间音频路由组件接收到文本消息通知,则该通知可被路由到与移动设备相关联的音频终端,该音频终端还可以是该文本消息的视觉通知也被显示的地方。智能音频路由管理提供了更好的用户体验以及更智能的音频路由,其自动地确定音频应当被路由到何处而无需在那时的由用户指导的管理。
在一些其它示例中,举例来说,如果在用户设备上实现的媒体应用正在前台运行并且将电影以全屏模式流传输在第二屏幕上,同时游戏应用也在前台运行并且正被显示在用户设备显示器上,则音频路由组件可将电影音频信号路由到与第二屏幕相关联的音频终端,而将游戏音频信号路由到与用户设备相关联的音频终端。在这些示例中,每一个单独的应用可具有相关联的音频信号,该音频信号被路由到与单个应用被查看之处相关联的的恰当的终端。
作为本文所述的其他示例的替换或补充,一些示例包括以下的任何组合:
-所述内容输出目的地包括显示位置或音频输出位置中的至少一个;
-确定与另一应用相关联的内容输出目的地;
-标识对应于与该另一应用相关联的内容输出目的地的音频终端;
-将与该另一应用相关联的另一音频信号路由到所标识的对应于与该另一应用相关联的内容输出目的地的音频终端;
-用户界面组件,所述用户界面组件被实现在主设备上并且被配置成将所述计算设备的用户界面流传输到所述辅助设备的显示器;
-接收与在所述移动设备上实现的另一应用相关联的另一音频信号;
-获得所述另一应用的状态数据;
-确定与所述另一应用相关联的另一查看位置;
-标识与所确定的所述另一应用的另一查看位置相关联的音频终端;
-将所述另一音频信号路由到所标识的所述另一应用的音频终端;
-所述音频路由组件同时接收所述音频信号和所述另一音频信号;
-所述音频路由组件接收与在所述移动设备上实现的多个应用相关联的多个音频信号并且基于与所述多个应用的应用呈现的内容相关联的查看位置将所述多个音频信号路由到各个音频终端;
-将所述移动设备的用户界面流传输到所述辅助设备的显示器;
-接收与多个应用相关联的多个音频信号;
-基于策略来确定要将所述多个音频信号路由到哪些音频终端;
-从所述多个音频信号中标识与具有对应于所述辅助设备的显示器的当前查看位置的单个应用相关联的音频信号;
-将所标识的音频信号路由到与所述辅助设备相关联的音频终端;
-至少部分基于所获得的所述单个应用的状态数据将所述多个音频信号中的剩余音频信号路由到所述移动设备;
-响应于确定所述辅助设备不具备音频能力,将所述音频信号路由到所述核心设备的音频终端;
-接收与由所述核心设备执行的另一应用相关联的另一音频信号;
-确定与对应于所述辅助设备的查看位置相关联的应用的应用呈现的内容是否处于全屏模式;
-响应于确定所述应用的应用呈现的内容处于全屏模式,将与所述另一应用相关联的另一音频信号路由到所述核心设备的音频终端;
-响应于确定所述应用的应用呈现的内容不处于全屏模式,将与所述另一应用相关联的另一音频信号路由到所标识的所述辅助设备的音频终端;
-由核心设备建立与辅助设备的连接;
-将所述核心设备的用户界面流传输到所述辅助设备的显示器;
-接收与多个应用相关联的多个音频信号;
-基于策略来确定要将所述多个音频信号路由到哪些音频终端;
-获得的所述应用的状态数据包括前台活跃状态、前台非活跃状态、或后台状态中的至少一个;
-接收与具有应用呈现的内容的应用相关联的音频信号,所述应用呈现的内容包括多个视图,所述应用呈现的内容的至少一部分被投射在与所述核心设备相关联的显示器上,并且所述应用呈现的内容的至少另一部分被投射在与辅助设备相关联的显示器上,并且所接收的音频信号对应于所述应用呈现的内容的一部分;
-标识与所述应用呈现的内容的所述一部分相关联的查看位置;
-将所述音频信号路由到与所述应用呈现的内容的所述一部分的所标识的查看位置相关联的音频终端;
-接收与下一应用相关联的下一音频信号,所述下一应用具有后台状态;
-将所述下一音频信号路由到与所述核心设备相关联的音频终端。
图1中的各种元件的功能中的至少一部分可以由图1中的其他元件或图1中未示出的实体(例如,处理器、web服务、服务器、应用程序、计算设备等)来执行。
在一些示例中,图4中所示的操作可以以在计算机可读介质上编码的软件指令、以被编程或设计为执行操作的硬件或这两者来实现。例如,本公开的各方面可以被实现为片上系统或包括多个互连的导电元件的其它电路。
尽管已经按照各种示例以及它们相关联的操作描述了本公开的各方面,但是本领域技术人员将理解来自任何数量的不同示例的操作的组合也在本公开的各方面的范围内。
虽然本发明的各方面没有跟踪个人可标识的信息,但参考了从用户监视和/或收集的数据来描述了各示例。在一些示例中,可向用户提供有关数据收集的通知(例如,经由对话框或偏好设置),并且给予用户对监视和/或收集给予同意或拒绝同意的机会。该同意可以采用选择加入同意或选择退出同意的形式。
示例性操作环境
图7解说了其上可以实现图1-3的示例的适当的计算和联网环境700的示例。计算系统环境700只是合适计算环境的一个示例,而非意在暗示对本公开的使用范围或功能有任何限制。也不应该将计算环境700解释为对示例性操作环境700中示出的任一组件或其组合有任何依赖性或要求。
本公开可用众多其他通用或专用计算系统环境或配置来操作。适用于本公开的公知计算系统、环境、和/或配置的示例包括但不限于:个人计算机、服务器计算机、手持式或膝上型设备、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境等等。
本公开可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本公开也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备在内的本地和/或远程计算机存储介质中。
参考图7,用于实现本公开的各方面的示例性系统可包括计算机710形式的通用计算设备。计算机710的组件可以包括但不限于:处理单元720、系统存储器730和将包括系统存储器在内的各种系统组件耦合至处理单元720的系统总线721。系统总线721可以是若干类型的总线结构中的任一种,包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。作为示例而非限制,这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也称为夹层(Mezzanine)总线)。
计算机710通常包括各种计算机可读介质。计算机可读介质可以是能由计算机710访问的任何可用介质,并包含易失性和非易失性介质以及可移动和不可移动介质两者。作为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以存储诸如计算机可读的指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。存储器731和732是计算机存储介质的示例。计算机存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机710访问的任何其他介质。然而,计算机存储介质不包括被传播的信号。相反,计算机存储介质排除被传播的信号。任何这样的计算机存储介质都可以是计算机710的一部分。
通信介质通常以诸如载波或其他传输机制之类的已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据,并且包括任何信息传送介质。术语“经调制数据信号”是指使得以在信号中编码信息的方式来设定或改变其一个或多个特征的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质,以及诸如声学、RF、红外及其它无线介质之类的无线介质。
系统存储器730包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)731和随机存取存储器(RAM)732。包含诸如在启动期间帮助在计算机710内的元件之间传输信息的基本例程的基本输入/输出系统733(BIOS)通常存储在ROM 731中。RAM732通常包含处理单元720可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制,图7示出了操作系统734、应用程序735、其他程序模块736和程序数据737。
计算机710也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图7示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器741,从可移动、非易失性磁盘752中读取或向其写入的磁盘驱动器751,以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘756中读取或向其写入的光盘驱动器755。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括,但不限于,盒式磁带、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器741通常通过诸如接口740之类的不可移动存储器接口连接到系统总线721,并且磁盘驱动器751和光盘驱动器755通常通过诸如接口750之类的可移动存储器接口连接到系统总线721。
以上描述并在图7中示出的驱动器及其相关联的计算机存储介质为计算机710提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如,在图7中,硬盘驱动器741被示为存储操作系统744、应用程序745、其他程序模块746和程序数据747。注意,这些组件可以与操作系统734、应用程序735、其它程序模块736和程序数据737相同或不同。操作系统744、应用程序745、其他程序模块746和程序数据747在这里被标注了不同的附图标记是为了说明至少它们是不同的副本。用户可通过诸如平板或者电子数字化仪764、话筒763、键盘762和定点设备761(通常指的是鼠标、跟踪球或触摸垫)等输入设备向计算机710输入命令和信息。图7中未示出的其他输入设备可以包括操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口760连接到处理单元720,但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。监视器791或其他类型的显示设备也经由诸如视频接口790之类的接口连接至系统总线721。监视器791也可以与触摸屏面板等集成。注意到监视器和/或触摸屏面板可以在物理上耦合至其中包括计算设备710的外壳,诸如在平板型个人计算机中。此外,诸如计算设备710等计算机还可以包括其他外围输出设备,诸如扬声器795和打印机796,它们可以通过输出外围接口794等连接。
计算机710可使用到一个或多个远程计算机(诸如,远程计算机780)的逻辑连接而在联网环境中操作。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点,并且通常包括许多或所有以上相对计算机710所描述的元件,但在图7中仅示出了存储器存储设备781。图7中所示的逻辑连接包括一个或多个局域网(LAN)771和一个或多个广域网(WAN)773,但也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和互联网中是常见的。
当在LAN联网环境中使用时,计算机710通过网络接口或适配器770连接到LAN771。当在WAN联网环境中使用时,计算机710通常包括调制解调器772或用于通过诸如因特网等WAN 773建立通信的其他手段。可为内置或可为外置的调制解调器772可以经由用户输入接口760或其他合适的机构连接至系统总线721。诸如包括接口和天线的无线联网组件可通过诸如接入点或对等计算机等合适的设备耦合到WAN或LAN。在联网环境中,相关于计算机710所示的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制,图7示出了远程应用程序785驻留在存储器设备781上。可以理解,所示的网络连接是示例性的,也可以使用在计算机之间建立通信链路的其他手段。
辅助子系统799(例如,用于内容的辅助显示)可经由用户界面760连接,从而即使计算机系统的主要部分处于低功率状态中,也允许诸如程序内容、系统状态和事件通知等数据被提供给用户。辅助子系统799可连接至调制解调器772和/或网络接口770,从而在主处理单元720处于低功率状态中时,也允许在这些系统之间进行通信。
本文解说并描述的示例以及本文未具体描述但在本公开的各方面的范围内的示例构成了用于基于定向情绪标识构造响应的示例性装置。例如,图1-3中解说的元件(诸如当被编码为执行图4-5中解说的操作时)构成用于确定应用的状态数据的示例性装置、用于确定与应用相关联的内容输出位置的示例性装置、以及用于将接收的与应用相关联的音频信号路由到与内容输出位置相关联的恰当的音频终端以便促成智能音频路由管理的示例性装置。
本文所例示并描述的本公开的各示例中的操作的执行或完成的顺序不是必需的,除非另作指定。即,除非另作指定,操作可以以任何顺序执行,本公开的各示例可以包括附加的或比本文所公开的操作更少的操作。例如,构想了在某一个操作之前、同时、或之后执行或完成另一个操作也在本公开的各方面的范围之内。
当介绍本公开的各方面的元素或其示例时,冠词“一”、“一个”、“该”、“所述”旨在意指一个或多个这样的元素。术语“包括”、“包含”、以及“具有”旨在是包含性的,并意指除所列出的元素以外可存在附加的元素。术语“示例性”旨在表示“……的一示例”。短语“以下各项中的一个或多个:A、B和C”意指“A中的至少一个和/或B中的至少一个和/或C中的至少一个”。
已经详细地描述了本公开的各方面,显然,在不偏离所附权利要求书所定义的本公开的各方面的范围的情况下,可以进行各种修改和变化。在不偏离本公开的各方面的范围的情况下,可以在上面的构造、产品以及方法中作出各种更改,意图是上面的描述中所包含的以及各附图中所示出的所有主题都应该解释为说明性的,而不是限制性的。
尽管本发明易于作出各种修改和替换构造,但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解,这不旨在将本公开限于所公开的具体形式,而是相反地,旨在覆盖落入本公开的精神和范围之内的所有修改、替换构造和等效方案。
Claims (18)
1.一种用于音频路由的系统,包括:
计算设备,所述计算设备被配置成将内容流传输到辅助设备;
音频路由组件,所述音频路由组件耦合到所述计算设备并且被配置成:
接收与在所述计算设备上实现的多个应用相关联的多个音频信号;
获得所述多个应用的应用状态数据,所述应用状态数据包括以下至少一个或多个信息:操作在共享模式下还是排他模式下,后台运行还是前台运行,在前台活跃还是非活跃,在前台处于全屏模式还是部分屏幕模式,在前台是否具有多个视图,多个视图是否正显示在多个设备上;
至少部分基于所获得的应用状态数据以及策略来从不止一个与单个应用相关联的内容输出目的地中确定一个与单个应用相关联的内容输出目的地,所述内容输出目的地对应于所述计算设备或所述辅助设备中的至少一个,所述策略为包括用于至少部分基于以下来确定所述内容输出目的地的试探法、模型、和/或算法:应用的状态数据、当前应用条件、应用的当前内容输出目的地、用户偏好数据、操作系统策略、应用策略、和/或基于应用性能的策略;
标识与所确定的所述单个应用的内容输出目的地相关联的音频终端;以及
将与所述单个应用相关联的单个音频信号自动路由到所标识的音频终端。
2.如权利要求1所述的系统,其特征在于,所述内容输出目的地包括显示位置或音频输出位置中的至少一个。
3.如权利要求1所述的系统,其特征在于,所述音频路由组件被进一步配置成:
确定与另一应用相关联的内容输出目的地;
标识对应于与所述另一应用相关联的内容输出目的地的音频终端;以及
将与所述另一应用相关联的另一音频信号自动路由到所标识的对应于与所述另一应用相关联的内容输出目的地的音频终端。
4.如权利要求1所述的系统,其特征在于,还包括:
用户界面组件,所述用户界面组件被实现在主设备上并且被配置成将所述计算设备的用户界面流传输到所述辅助设备的显示器。
5.一种用于音频路由的移动设备,包括:
用户界面组件,所述用户界面组件被配置成将应用呈现的内容流投射到辅助设备;以及
音频路由组件,所述音频路由组件被配置成:
接收与在所述移动设备上实现的多个应用相关联的多个音频信号;
获得所述多个应用的状态数据,所述应用状态数据包括以下至少一个或多个信息:操作在共享模式下还是排他模式下,后台运行还是前台运行,在前台活跃还是非活跃,在前台处于全屏模式还是部分屏幕模式,在前台是否具有多个视图,多个视图是否正显示在多个设备上;
至少部分基于所获得的应用状态数据以及策略来从不止一个与单个应用相关联的应用呈现的内容相关联的查看位置中确定一个与单个应用的应用呈现的内容相关联的查看位置,所述查看位置对应于与所述移动设备或所述辅助设备中的至少一个相关联的显示器,所述策略为包括用于至少部分基于以下来确定所述查看位置的试探法、模型、和/或算法:应用的状态数据、当前应用条件、应用的当前内容输出目的地、用户偏好数据、操作系统策略、应用策略、和/或基于应用性能的策略;
标识与所确定的查看位置相关联的音频终端;以及
将所述音频信号自动路由到所标识的音频终端。
6.如权利要求5所述的移动设备,其特征在于,所述音频路由组件被进一步配置成:
接收与在所述移动设备上实现的另一应用相关联的另一音频信号;
获得所述另一应用的状态数据;
确定与所述另一应用相关联的另一查看位置;
标识与所确定的所述另一应用的另一查看位置相关联的音频终端;以及
将所述另一音频信号自动路由到所标识的所述另一应用的音频终端。
7.如权利要求6所述的移动设备,其特征在于,所述音频路由组件同时接收所述音频信号和所述另一音频信号。
8.如权利要求5所述的移动设备,其特征在于,所述音频路由组件接收与在所述移动设备上实现的多个应用相关联的多个音频信号并且基于与所述多个应用的应用呈现的内容相关联的查看位置将所述多个音频信号自动路由到各个音频终端。
9.如权利要求5所述的移动设备,其特征在于,所述移动设备被进一步配置成建立与所述辅助设备的连接,并且其中所述用户界面组件被进一步配置成:
将所述移动设备的用户界面流传输到所述辅助设备的显示器。
10.如权利要求5所述的移动设备,其特征在于,所述音频路由组件基于策略来确定要将所述多个音频信号自动路由到的音频终端包括:
从所述多个音频信号中标识与具有对应于所述辅助设备的显示器的当前查看位置的单个应用相关联的音频信号;
将所标识的音频信号自动路由到与所述辅助设备相关联的音频终端;以及
至少部分基于所获得的所述单个应用的状态数据将所述多个音频信号中的剩余音频信号自动路由到所述移动设备。
11.一种用于音频路由的方法,包括:
由音频路由组件接收与在核心设备上执行的多个应用相关联的多个音频信号;
获得所述多个应用的应用状态数据,所述应用状态数据包括以下至少一个或多个信息:操作在共享模式下还是排他模式下,后台运行还是前台运行,在前台活跃还是非活跃,在前台处于全屏模式还是部分屏幕模式,在前台是否具有多个视图,多个视图是否正显示在多个设备上;
至少部分基于所获得的应用状态数据以及策略来从不止一个与单个应用相关联的查看位置中标识一个与单个应用相关联的查看位置,所述查看位置对应于辅助设备,所述策略为包括用于至少部分基于以下来确定所述查看位置的试探法、模型、和/或算法:应用的状态数据、当前应用条件、应用的当前内容输出目的地、用户偏好数据、操作系统策略、应用策略、和/或基于应用性能的策略;
确定所述辅助设备是否具备音频能力;
响应于确定所述辅助设备具备音频能力,标识与所述辅助设备相关联的音频终端;以及
至少部分基于所获得的所述应用的状态数据将所述音频信号自动路由到所标识的所述辅助设备的音频终端。
12.如权利要求11所述的方法,其特征在于,还包括:
响应于确定所述辅助设备不具备音频能力,将所述音频信号自动路由到所述核心设备的音频终端。
13.如权利要求11所述的方法,其特征在于,还包括:
接收与由所述核心设备执行的另一应用相关联的另一音频信号;
确定与对应于所述辅助设备的查看位置相关联的应用的应用呈现的内容是否处于全屏模式;
响应于确定所述应用的应用呈现的内容处于全屏模式,将与所述另一应用相关联的另一音频信号自动路由到所述核心设备的音频终端。
14.如权利要求13所述的方法,其特征在于,还包括:
响应于确定所述应用的应用呈现的内容不处于全屏模式,将与所述另一应用相关联的另一音频信号自动路由到所标识的所述辅助设备的音频终端。
15.如权利要求11所述的方法,其特征在于,还包括:
由所述核心设备建立与所述辅助设备的连接;以及
将所述核心设备的用户界面流传输到所述辅助设备的显示器。
16.如权利要求11所述的方法,其特征在于,获得的所述应用的状态数据包括前台活跃状态、前台非活跃状态、或后台状态中的至少一个。
17.如权利要求11所述的方法,其特征在于,还包括:
接收与具有应用呈现的内容的应用相关联的音频信号,所述应用呈现的内容包括多个视图,所述应用呈现的内容的至少一部分被投射在与所述核心设备相关联的显示器上,并且所述应用呈现的内容的至少另一部分被投射在与辅助设备相关联的显示器上,并且所接收的音频信号对应于所述应用呈现的内容的一部分;
标识与所述应用呈现的内容的所述一部分相关联的查看位置;以及
将所述音频信号自动路由到与所述应用呈现的内容的所述一部分的所标识的查看位置相关联的音频终端。
18.如权利要求17所述的方法,其特征在于,
接收与下一应用相关联的下一音频信号,所述下一应用具有后台状态;以及
将所述下一音频信号自动路由到与所述核心设备相关联的音频终端。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/754,500 US9652196B2 (en) | 2015-06-29 | 2015-06-29 | Smart audio routing management |
US14/754,500 | 2015-06-29 | ||
PCT/US2016/039145 WO2017003834A1 (en) | 2015-06-29 | 2016-06-24 | Smart audio routing management |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107835979A CN107835979A (zh) | 2018-03-23 |
CN107835979B true CN107835979B (zh) | 2021-12-28 |
Family
ID=56409181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680038771.7A Active CN107835979B (zh) | 2015-06-29 | 2016-06-24 | 智能音频路由管理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9652196B2 (zh) |
EP (1) | EP3314393A1 (zh) |
CN (1) | CN107835979B (zh) |
WO (1) | WO2017003834A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102546212B1 (ko) * | 2016-01-05 | 2023-06-22 | 삼성전자주식회사 | 소리 출력 방법 및 이를 지원하는 전자 장치 |
CN106095558B (zh) * | 2016-06-16 | 2019-05-10 | Oppo广东移动通信有限公司 | 一种音效处理的方法及终端 |
US10255031B2 (en) * | 2017-02-03 | 2019-04-09 | Facebook, Inc. | Music playback for affiliated services |
US10176808B1 (en) | 2017-06-20 | 2019-01-08 | Microsoft Technology Licensing, Llc | Utilizing spoken cues to influence response rendering for virtual assistants |
US11069363B2 (en) | 2018-12-21 | 2021-07-20 | Cirrus Logic, Inc. | Methods, systems and apparatus for managing voice-based commands |
US10743105B1 (en) | 2019-05-31 | 2020-08-11 | Microsoft Technology Licensing, Llc | Sending audio to various channels using application location information |
US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
CN111078186A (zh) * | 2019-12-31 | 2020-04-28 | 维沃移动通信有限公司 | 一种播放方法及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170549B1 (en) * | 2010-03-15 | 2012-05-01 | Symantec Corporation | Use of physical location and application state information in routing preferences for electronic communications |
CN103329147A (zh) * | 2010-11-04 | 2013-09-25 | 数字标记公司 | 基于智能手机的方法和系统 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7969990B2 (en) | 2002-07-25 | 2011-06-28 | Oded Shmueli | Routing of data including multimedia between electronic devices |
CN100581226C (zh) * | 2005-08-05 | 2010-01-13 | 三星电子株式会社 | 用于提供多屏幕的设备以及动态配置多屏幕的方法 |
JP2007155352A (ja) * | 2005-11-30 | 2007-06-21 | Aisin Aw Co Ltd | 経路案内システム及び経路案内方法 |
US20080146206A1 (en) * | 2006-12-13 | 2008-06-19 | Pichardo Luis A | Method and apparatus for routing content between mobile communication devices |
US20080186960A1 (en) | 2007-02-06 | 2008-08-07 | Access Systems Americas, Inc. | System and method of controlling media streams in an electronic device |
US8171177B2 (en) * | 2007-06-28 | 2012-05-01 | Apple Inc. | Enhancements to data-driven media management within an electronic device |
US8068925B2 (en) | 2007-06-28 | 2011-11-29 | Apple Inc. | Dynamic routing of audio among multiple audio devices |
US7861008B2 (en) | 2007-06-28 | 2010-12-28 | Apple Inc. | Media management and routing within an electronic device |
US20100064228A1 (en) | 2008-09-11 | 2010-03-11 | Ely Tsern | Expandable system architecture comprising a handheld computer device that dynamically generates different user environments with secondary devices with displays of various form factors |
US8934645B2 (en) | 2010-01-26 | 2015-01-13 | Apple Inc. | Interaction of sound, silent and mute modes in an electronic device |
US8706275B2 (en) * | 2010-02-10 | 2014-04-22 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for application sound management |
KR20120020532A (ko) * | 2010-08-30 | 2012-03-08 | 삼성전자주식회사 | 오디오 신호 처리 방법 및 장치 |
US8954854B2 (en) | 2012-06-06 | 2015-02-10 | Nokia Corporation | Methods and apparatus for sound management |
US9144094B2 (en) * | 2012-10-29 | 2015-09-22 | Qualcomm Incorporated | Establishing a wireless display session between a computing device and a vehicle head unit |
US9755847B2 (en) * | 2012-12-19 | 2017-09-05 | Rabbit, Inc. | Method and system for sharing and discovery |
US8706162B1 (en) | 2013-03-05 | 2014-04-22 | Sony Corporation | Automatic routing of call audio at incoming call |
US20140282746A1 (en) | 2013-03-15 | 2014-09-18 | Miiicasa Taiwan Inc. | Method and system for managing channel indexed content and electronic device implemented with said system |
US20140277642A1 (en) * | 2013-03-15 | 2014-09-18 | Logitech Europe S.A. | Technique for augmenting the acoustic output of a portable audio device |
KR102215815B1 (ko) * | 2013-07-24 | 2021-02-16 | 엘지전자 주식회사 | 단말기 및 이의 제어방법 |
KR20150049469A (ko) * | 2013-10-30 | 2015-05-08 | 삼성전자주식회사 | 멀티 윈도우에서의 사용자 인터페이스 제공 방법 및 장치 |
US20150117666A1 (en) | 2013-10-31 | 2015-04-30 | Nvidia Corporation | Providing multichannel audio data rendering capability in a data processing device |
US8843178B1 (en) | 2014-01-28 | 2014-09-23 | Gigastone America Corp | Wireless hotspot device capable of sharing video picture |
US20160242148A1 (en) * | 2015-02-13 | 2016-08-18 | Mark L. REED | Multi-mode wireless intercom |
-
2015
- 2015-06-29 US US14/754,500 patent/US9652196B2/en active Active
-
2016
- 2016-06-24 WO PCT/US2016/039145 patent/WO2017003834A1/en active Application Filing
- 2016-06-24 CN CN201680038771.7A patent/CN107835979B/zh active Active
- 2016-06-24 EP EP16738284.5A patent/EP3314393A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170549B1 (en) * | 2010-03-15 | 2012-05-01 | Symantec Corporation | Use of physical location and application state information in routing preferences for electronic communications |
CN103329147A (zh) * | 2010-11-04 | 2013-09-25 | 数字标记公司 | 基于智能手机的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107835979A (zh) | 2018-03-23 |
US20160378426A1 (en) | 2016-12-29 |
EP3314393A1 (en) | 2018-05-02 |
WO2017003834A1 (en) | 2017-01-05 |
US9652196B2 (en) | 2017-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107835979B (zh) | 智能音频路由管理 | |
US11276217B1 (en) | Customized avatars and associated framework | |
US9854032B2 (en) | Context-aware task offloading among multiple devices | |
US10515056B2 (en) | API for resource discovery and utilization | |
US9423994B2 (en) | Hierarchical display | |
CN106687923B (zh) | 多个设备上的计算环境的呈现 | |
EP2735133B1 (en) | Method and apparatus for providing data entry content to a remote environment | |
US9218212B2 (en) | Pairing physical devices to virtual devices to create an immersive environment | |
KR20200004530A (ko) | 복사된 메시지 리스트를 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체 | |
CN107835984B (zh) | 热减轻用户体验 | |
KR20170098795A (ko) | 정황상 인식되는 다이나믹 그룹 형성 | |
CN112420217B (zh) | 消息推送方法、装置、设备及存储介质 | |
US20220300144A1 (en) | Method, system, and non-transitory computer readable record medium for providing chatroom in 3d form | |
US10437917B2 (en) | Web page nonintrusive content protection on user device | |
US20170003829A1 (en) | Graphical user interface facilitating sharing and collaborative editing of electronic documents | |
US10484485B2 (en) | Context-aware task processing for multiple devices | |
CN104572771B (zh) | 处理状态展示方法及装置 | |
CN111727438A (zh) | 用于图像识别处理的对象分类 | |
CN111682983B (zh) | 界面显示方法、装置、终端及服务器 | |
EP3048524B1 (en) | Document display support device, terminal, document display method, and computer-readable storage medium for computer program | |
CN111597797A (zh) | 社交圈消息的编辑方法、装置、设备及介质 | |
CN115865852A (zh) | 即时通信会话信息的处理方法、装置及电子设备 | |
CN114449095B (zh) | 云手机截图方法、装置、电子设备和存储介质 | |
CN112965778B (zh) | 聊天页面展示方法、装置、电子设备和计算机可读介质 | |
Sumit et al. | Cloud Computing using Mobile Phone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |