CN108141696A - 用于空间音频调节的系统和方法 - Google Patents

用于空间音频调节的系统和方法 Download PDF

Info

Publication number
CN108141696A
CN108141696A CN201780003252.1A CN201780003252A CN108141696A CN 108141696 A CN108141696 A CN 108141696A CN 201780003252 A CN201780003252 A CN 201780003252A CN 108141696 A CN108141696 A CN 108141696A
Authority
CN
China
Prior art keywords
audio signal
audio
sound field
perceived
field subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780003252.1A
Other languages
English (en)
Other versions
CN108141696B (zh
Inventor
迈克尔·凯·莫里希塔
查德·塞金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108141696A publication Critical patent/CN108141696A/zh
Application granted granted Critical
Publication of CN108141696B publication Critical patent/CN108141696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本公开涉及管理用户的可感知音频环境或音场内的音频信号。即，一种计算设备可以以在用户的音场内的特定视在声源位置来提供音频信号。最初，第一音频信号可以被空间处理从而能够在第一音场分区中感知。响应于确定高优先级通知，第一音频信号的视在声源位置可以被移动至第二音场分区，并且与所述通知相关联的音频信号可以被空间处理从而能够在第一音场分区中感知。响应于确定用户话音，第一音频信号的视在声源位置可以被移动至不同的音场分区。

Description

用于空间音频调节的系统和方法
相关申请的交叉引用
本申请要求与2016年03月03日提交的美国专利申请No.15/059,949的优先权，所述申请通过引用全文结合于此。
背景技术
“闪避(ducking)”是在音轨混合中使用的术语，在所述音轨混合中，背景轨道(例如，音乐轨道)在诸如语音轨道的另一个轨道活动时被减弱。闪避允许语音轨道相比背景音乐显著突出且因此声音大于音乐而保持容易理解。在另一个典型的闪避实施方式中，以外国语言为特征(例如，在新闻节目中)的音频内容可以在其上同时播放翻译的音频时被闪避。在这些情形中，闪避通常作为后期处理的步骤而人工地执行。
同样存在一些可以被实时实现的音频闪避应用。例如，紧急广播系统可以闪避正在诸如广播电视或无线电的给定系统上回放的全部音频内容，以供紧急广播更为清晰地被听到。作为另一个示例，诸如飞机的交通工具中的音频回放系统可以被配置为在某些情形下自动闪避音频内容的回放。例如，当飞行员激活内部通话装置开关以与飞机上的乘客通信时，正在经由飞机的音频系统回放的所有音频都可以被闪避而使得机长的消息可以被听到。
在诸如智能手机和平板电脑的一些音频输出系统中，音频闪避可以在设备发出通知或其它通信时被启动。例如，正在经由音频源回放音频内容的智能电话可以在有电话呼入时闪避音频内容回放。这可以允许用户感知到电话呼叫而不会错过它。
音频输出设备可以经由扬声器和/或头戴耳机为用户提供音频信号。所述音频信号可以被提供而使得它们像是源自于用户内部或周围的各个声源位置。例如，一些音频输出设备可以在用户周围(前、后、左、右、上、下等)移动音频信号的视在声源位置以及移动得更接近或远离所述用户。
发明内容
本文所公开的系统和方法涉及来自用户的三维声学音场(soundstage)内的一个或多个视在位置内的音频信号的动态回放。例如，在计算设备正在经由头戴耳机播放诸如音乐的音频内容时，所述计算设备可以接收传入高优先级通知，并且作为响应可以在播出可听通知信号的同时在空间上闪避音乐。所述空间闪避处理可以涉及到处理音乐的音频信号(并且也可能涉及处理可听通知信号)，而使得收听者将音乐感知为源自于与所述可听通知信号所源自的不同位置。例如，音频可以被空间处理而使得在音乐和可听通知在头戴耳机中播出时，音乐被感知为源自于收听者后方，而可听通知则被感知为源自于收听者前方。这可以通过使得通知更加可辨识和/或通过以更加依赖于场境(context-dependent)的方式向用户提供内容来改善用户体验。
在一个方面，提供了一种计算设备。所述计算设备包括音频输出设备、处理器、非瞬态计算机可读介质和程序指令。所述程序指令存储在所述非瞬态计算机可读介质上，所述程序指令在被所述处理器执行时使得所述计算设备执行操作。所述操作包括：在利用第一音频信号驱动音频输出设备的同时，接收利用第二音频信号提供通知的指示并且确定所述通知比第一音频信号的播出具有更高优先级。所述操作进一步包括，响应于确定所述通知具有所述更高优先级，对所述第二音频信号进行空间处理以供在第一音场分区中感知，对所述第一音频信号进行空间处理以供在第二音场分区中感知，并且同时利用经空间处理的第一音频信号和经空间处理的第二音频信号驱动所述音频输出设备，而使得所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
在一个方面，提供了一种方法。所述方法包括利用第一音频信号驱动计算设备的音频输出设备，并且接收利用第二音频信号提供通知的指示。所述方法还包括确定所述通知比第一音频信号的播出具有更高优先级。所述方法还包括，响应于确定所述通知具有所述更高优先级，对所述第二音频信号进行空间处理以供在第一音场分区中感知，对所述第一音频信号进行空间处理以供在第二音场分区中感知，并且同时利用经空间处理的第一音频信号和经空间处理的第二音频信号驱动所述音频输出设备，而使得所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
在一个方面，提供了一种方法。所述方法包括利用第一音频信号驱动计算设备的音频输出设备，并且经由至少一个麦克风接收音频信息。所述方法还包括基于所接收到的音频信息来确定用户话音。所述方法还进一步包括，响应于确定用户话音而对所述第一音频信号进行空间处理以供在音场分区中感知，并且利用经空间处理的第一音频信号驱动所述音频输出设备，而使得所述第一音频信号能够在所述音场分区中感知。
在一个方面，提供了一种系统。所述系统包括用于实施本文所描述的其它相应方面的操作的各个装置。
通过适当参考附图来阅读以下的具体实施方式，这些以及其它的实施例、方面、优势和替选方案对于本领域技术人员将会是清楚明白的。另外，应当理解的是，该发明内容以及本文所提供的其它描述和示图仅意图通过示例对实施例进行说明，并且因此多种变化形式是可能的。例如，结构元素和处理步骤能够被重新排列、组合、分布、消除或者以其它方式有所变化，而仍然处于如所要求保护的实施例的范围之内。
附图说明
图1图示了根据示例实施例的计算设备的示意图。
图2A图示了根据示例实施例的可穿戴设备。
图2B图示了根据示例实施例的可穿戴设备。
图2C图示了根据示例实施例的可穿戴设备。
图2D图示了根据示例实施例的计算设备。
图3A图示了根据示例实施例的声学音场。
图3B图示了根据示例实施例的收听情景。
图3C图示了根据示例实施例的收听情景。
图3D图示了根据示例实施例的收听情景。
图4A图示了根据示例实施例的操作时间线。
图4B图示了根据示例实施例的操作时间线。
图5图示了根据示例实施例的方法。
图6图示了根据示例实施例的操作时间线。
图7图示了根据示例实施例的方法。
具体实施方式
本文描述示例方法、设备和系统。应当理解的是，词语“示例”或“示例性”在本文被用来表示“用作示例、实例或说明”。在本文被描述为“示例”或“示例性”的任何实施例或特征并非必然被理解为相对于其它实施例或特征是优选或有利的。可以采用其它实施例并且可以作出其它改变而并不背离本文所给出主题的范围。
因此，本文所描述的示例实施例并非意在作为限制。如本文总体描述以及附图中图示的，本公开的方面能够以各种不同配置进行布置、替换、组合、分离和设计，它们全部都在文本被预期。
另外，除非上下文以其它方式有所建议，否则每个附图中所图示的特征可以互相组合使用。因此，本着并非所有所图示的特征对于每个实施例都是必要的这一理解，附图应当在总体上被视为一个或多个整体实施例的组成方面。
I.概述
本公开涉及管理用户的可感知音频环境或音场内的音频信号。即，音频输出模块能够在用户的声学音场周围移动音频信号的视在声源位置。特别地，响应于确定高优先级通知和/或用户话音，音频输出模块可以将第一音频信号从第一声学音场分区“移动”至第二声学音场分区。在高优先级通知的情况下，音频输出模块随后可以在第一声学音场分区中回放与所述通知相关联的音频信号。
在一些实施例中，音频输出模块可以调节耳间声强差(ILD)和耳间时间差(ITD)从而改变各个音频信号的源的视在位置。这样，音频信号的视在位置可以在用户周围(前、后、左、右、上、下等)移动以及更接近或远离所述用户地移动。
在一个示例实施例中，在收听音乐时，用户可以感知到与音乐相关联的音频信号来自于前方的音场分区。当接收到通知时，音频输出模块可以通过基于所述通知的优先级调节音频回放而作出响应。对于高优先级的通知，可以通过将音乐移动至后方音场分区以及可选地减弱其音量而将它“闪避”。在闪避音乐之后，与通知相关联的音频信号可以在前方音场分区中播放。对于低优先级的通知，音乐无需被闪避并且所述通知可以在后方音场分区中播放。
通知可以基于各种通知属性而被指派优先级级别。例如，通知可以与诸如电子邮件、文本、传入电话呼叫或视频呼叫等的通信类型相关联。每种通信类型可以被指派优先级级别(例如，呼叫被指派高优先级，电子邮件被指派低优先级，等等)。除此之外或替选地，优先级级别可以基于通信的源来被指派。例如，在已知联系人是电子邮件的源的情况下，相关联的通知可以被指派高优先级。在这样的情景中，来自未知联系人的电子邮件可以被指派低优先级。
在一个示例实施例中，本文所描述的方法和系统可以基于情形的场境来确定通知的优先级级别。例如，如果用户在进行要求专注的活动，诸如驾驶或骑车，则来自已知联系人的文本消息可以被指派低优先级。在其它实施例中，通知的优先级级别可以基于计算设备的操作场境来确定。例如，如果计算设备的电池电量水平极低，则相对应的通知可以被确定为高优先级。
替选地或除此之外，响应于确定用户正在交谈(例如，使用麦克风或麦克风阵列)，音频输出模块可以调节音频信号的回放从而将它们移动至后方音场分区并且可选地减弱音频信号。
在一个示例实施例中，音频信号的闪避可以包括音频信号的空间过渡。即，音频信号的源可以通过第三音场分区(例如，中间或相邻的音场分区)从第一音场分区移动至第二音场分区。
在所公开的系统和方法中，音频信号可以在用户的音场分区内移动从而减少分心(例如，在会议期间)和/或改善通知的识别。此外，本文所描述的系统和方法可以通过在用户的音场内将不同的音频信号(例如音乐和音频通知)在空间上保持区分和/或在空间上有所分离而帮助用户对它们进行区别。
II.示例设备
图1图示了根据示例实施例的计算设备100的示意图。计算设备100包括音频输出设备110、音频信息120、通信接口130、用户接口140和控制器150。用户接口140可以包括至少一个麦克风142和控件144。控制器150可以包括处理器152和存储器154，诸如非瞬态的计算机可读介质。
音频输出设备110可以包括被配置为将电信号转换为可听信号(例如，声压波)的一个或多个设备。这样，音频输出设备110可以采取头戴耳机(例如，包耳式耳机、盖耳式耳机、耳塞、有线和无线耳机等)、一个或多个扬声器、或者针对这样的音频输出设备的接口(例如，“1/4”或“1/8”芯-环-套筒(TRS)端口、USB端口等)的形式。在一个示例实施例中，音频输出设备110可以包括放大器、通信接口(例如，BLUETOOTH接口)和/或头戴耳机插口或扬声器输出端子。被配置为向用户传递可感知音频信号的其它系统或设备是可能的。
音频信息120可以包括指示一个或多个音频信号的信息。例如，音频信息120可以包括指示音乐、语音记录(例如，播客、喜剧集、口述单词等)、音频通知、或者另一种类型的音频信号的信息。在一些实施例中，音频信息120可以被临时或永久地存储在存储器154中。计算设备100可以被配置为基于音频信息120而经由音频输出设备110来播放音频信号。
通信接口130可以允许计算设备100使用模拟或数字调制与其它设备、接入网络和/或传输网络进行通信。因此，通信接口130可以促进电路交换和/或分组交换通信，诸如普通老式电话服务(POTS)通信和/或互联网协议(IP)或其它分组化通信。例如，通信接口130可以包括被布置用于与无线电接入网络或接入点进行无线通信的芯片组和天线。而且，通信接口130可以采取有线接口的形式或包括有线接口，诸如以太网、通用串行总线(USB)或高清多媒体接口(HDMI)端口。通信接口130还可以采取无线接口的形式或包括无线接口，诸如WiFi、全球定位系统(GPS)或广域无线接口(例如，WiMAX或3GPP长期演进(LTE))。然而，可以通过通信接口130使用其它形式的物理层接口以及其它类型的标准或专用通信协议。此外，通信接口130可以包括多个物理通信接口(例如，WiFi接口、接口和广域无线接口)。
在一个示例实施例中，通信接口130可以被配置为接收指示音频信号的信息并将它至少临时地存储为音频信息120。例如，通信接口130可以接收指示电话呼叫、通知或另一种类型的音频信号的信息。在这样的情景下，通信接口130可以将所接收到的信息路由至音频信息120、控制器150和/或音频输出设备110。
用户接口140可以包括至少一个麦克风142和控件144。麦克风142可以包括全向麦克风或指向麦克风。另外，可以实现麦克风的阵列。在一个示例实施例中，两个麦克风可以被布置为检测计算设备100的穿戴者或用户的话音。当计算设备100被穿戴或者位于用户的嘴部附近时，两个麦克风142可以将收听波束(listening beam)朝向与穿戴者的嘴部相对应的位置指向。麦克风142还可以检测穿戴者的环境中的声音，诸如穿戴者附近的其他人的周围话音。预想到其它的麦克风配置和组合。
控件144可以包括开关、按钮、触摸敏感表面和/或其它用户输入设备的任何组合。用户可以经由控件144来监视和/或调节计算设备100的操作。控件144可以被用来触发本文所描述的一个或多个操作。
控制器150可以包括至少一个处理器152和存储器154。处理器152可以包括一个或多个通用处理器——例如微处理器——和/或一个或多个专用处理器——例如图像信号处理器(ISP)、数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路。在一个示例实施例中，控制器150可以包括一个或多个音频信号处理设备或音频效果单元。这样的音频信号处理设备可以处理模拟和/或数字音频信号格式的信号。除此之外或替选地，处理器152可以包括至少一个可编程的在线串行编程(ICSP)微控制器。存储器154可以包括一个或多个易失性和/或非易失性存储组件，诸如磁性、光学、闪存或有机存储，并且可以整体或部分与处理器152进行整合。存储器154可以包括可移除和/或非可移除组件。
处理器152可以能够执行存储在存储器154中的程序指令(例如，编译或非编译的程序逻辑和/或机器代码)从而实施本文所描述的各个功能。因此，存储器154可以包括具有存储与其上的程序指令的非瞬态计算机可读介质，所述程序指令在被计算设备100执行时使得计算设备100实施本说明书和/或附图中所公开的任何方法、过程或操作。程序指令被处理器152所执行可以导致处理器152使用计算设备100的各个其它元件所提供的数据。特别地，控制器150和处理器152可以对音频信息120执行操作。在一个示例实施例中，控制器150可以包括分布式计算网络和/或云计算网络。
在一个示例实施例中，计算设备100可以能够操作以回放控制器150所处理的音频信号。这样的音频信号可以以各种方式编码空间音频信息。例如，计算设备100和控制器150可以经由两个或更多通道中的元素的音量和/或相位差异来提供或播出实现相应通道(例如，左通道和右通道)的立体声音“分离”的立体音频信号。然而，在一些情况下，立体声录音至少由于左音频信号和右音频信号之间的串扰而仅可提供有限的声学音场(例如，在听讲话者时收听者前方大约30°的弧形)。
在一个示例实施例中，计算设备100可以被配置为播出“双耳”音频信号。双耳音频信号可以由假人或人体模型头部所分开的两个麦克风进行记录。此外，双耳音频信号可以在考虑自然耳部间隔(例如，麦克风之间的7英寸)的情况下被记录。可以进行双耳音频记录从而根据特定或通用的头相关传输函数(HRTF)来准确地捕获心理声学信息(例如，耳间声强差(ILD)和耳间时间差(ITD))。双耳音频记录可以向收听者提供非常宽广的声学音场。例如，在收听双耳音频信号时，一些用户可以能够感知到他们头部周围完整360°内的音频的声源位置。此外，一些用户可以将双耳音频信号感知为源自于他们的头部“之内”(例如，在收听者头部的内部)。
更进一步地，计算设备100可以被配置为使用诸如立体声头戴耳机(例如，立体声偶极(stereo dipole))的各种装置来播出“环绕声(Ambisonic)”录音。环绕声是一种经由数字信号处理——例如经由控制器150——提供更为准确的3D声音再现的方法。例如，环绕声可以使用头戴耳机来提供双耳收听体验，其可以被感知为类似于使用扬声器的双耳回放。环绕声可以提供用户可以在其中感知音频的更为宽广的声学音场。在一个示例实施例中，环绕声音频信号可以在收听者前方大约150°的弧形内再现。其它声学音场的大小和形状是可能的。
在一个示例实施例中，控制器150可以被配置为对音频信号进行空间处理而使得它们可以被用户感知为源自于用户内部或周围的一个或多个各种分区、位置或区域。即，控制器150可以对音频信号进行空间处理而使得它们具有用户内部、左方、右方、前方、后方、上方或下方的视在声源。除其它空间处理方法之外，控制器150可以被配置为调节ILD和ITD从而调节音频信号的视在声源位置。换言之，通过调节ILD和ITD，控制器150可以将音频信号(经由音频输出设备110)的回放指向用户之中或周围的可控视在声源位置。
在一些实施例中，音频信号的视在声源位置可以处于或接近于距用户的给定距离。例如，控制器150可以对音频信号进行空间处理从而提供距用户1米的视在声源位置。除此之外或替选地，控制器150利用距用户10米的视在声源位置对音频信号进行空间处理。用于实现用户和音频信号的视在声源位置之间的其它相对位置(例如，距离和方向)的空间处理是可能的。在再另外的实施例中，控制器150可以对音频信号进行空间处理从而提供用户头部之内的视在声源位置。即，经空间处理的音频信号可以经由音频输出设备110播放而使得它被用户感知为具有在他或她的头部内部的声源位置。
在一个示例实施例中，如上文所描述的，控制器150可以对音频信号进行空间处理而使得它们可以被感知为具有在用户之中或周围的各个区域中的声源(或多个声源)。在这样的情景下，示例声学音场可以包括用户周围的若干区域。在一个示例实施例中，声学音场可以包括从用户向外投射的径向楔形或锥形。作为示例，声学音场可以包括8个径向楔形，其中每一个共享中心轴线。所述中心轴线可以被定义为从下向上穿过用户头部的轴线。在一个示例实施例中，控制器150可以对音乐进行空间处理从而能够被感知为源自第一声学音场分区，所述第一声学音场分区可以被定义为大致在朝向用户前方朝外指向的大致30度的楔形或锥形。所述声学音场分区可以具有与其他声学音场分区相似或不同的形状。与用户后方的分区相比，声学音场分区在用户前方的楔形角度可以更小。声学音场分区的其它形状是可能的并且在本文被预期。
可以以各种方式对音频信号进行处理从而被收听者感知为源自于相对于所述收听者的各个区域和/或距离。在一个示例实施例中，针对每个音频信号，可以在播出期间的任何给定时间对角度(A)、高度(E)和距离(D)进行控制。此外，每个音频信号可以被控制以沿着给定“轨线”移动，所述给定“轨线”可以与从至少一个音场分区到另一个音场分区的平滑过渡相对应。
在一个示例实施例中，音频信号可以根据距音频源的所期望距离而被减弱。即，远处的声音可以以因数(1/D)扬声器距离被减弱，其中扬声器距离是距播出扬声器的单位距离并且D是关于扬声器距离的相对距离。即，比扬声器距离“更接近”的声音的幅值可以被增大，而“远离”扬声器的声音的幅值则可以被减小。
预见到其它的信号处理。例如，局部和/或全局混响(“reverb”)可以被应用于给定音频信号或从其中去除。在一些实施例中，可以应用音频过滤。例如，低通滤波器可以被应用于远处的声音。通过提供“早期反射”信息，例如镜面和漫射音频反射，空间成像效应(墙壁、天花板、地板)可以被应用于给定音频信号。多普勒编码是可能的。例如，所产生频率f’＝f(c/(c-v))，其中f是发射源频率，c是给定高度下的声音速度，并且v是声源相对于收听者的速度。
作为一个示例实施例，环绕声信息可以在四个通道中提供，分别是W(全向信息)、X(x指向信息)、Y(y指向信息)和Z(z指向信息)。
其中si是用于在给定空间位置(水平角度,方位角)和θi(垂直角度,theta)编码的音频信号。
在一个示例实施例中，本文所描述的音频信号可以经由一个或多个声场(soundfield)麦克风来捕获从而记录给定音频源的整个声场。然而，传统的麦克风记录技术在本文也被预期。
在播出期间，音频信号可以以各种方式被解码。例如，音频信号可以基于扬声器关于收听者的安放来解码。在一个示例实施例中，环绕声解码器可以提供针对给定扬声器的所有环绕声通道的加权和。即，提供至第j扬声器的信号可以被表达为：
其中(水平角度,方位角)和θi(垂直角度,theta)针对N个环绕声通道的第j扬声器的位置而给出。
虽然以上示例描述了环绕声音频编码和解码，但是控制器150可以进行操作以根据更高阶的环绕声方法和/或另一类型的全向声(例如，3D)音频再现系统来处理音频信号。
控制器150可以被配置为在相同时间——例如同时地——和/或以在时间上有所重叠的方式对来自两个或更多音频内容源的音频信号进行空间处理。即，控制器150可以在相同时间对音乐和音频通知进行空间处理。可以同时对音频内容的其它组合进行空间处理。除此之外或替选地，每个音频信号的内容可以被空间处理从而源自于相同的声学音场分区或者源自于不同的声学音场分区。
虽然图1将控制器150图示了示意性地远离计算设备100的其它元件，但是控制器150在物理上可以位于计算设备100的一个或多个元件处或者被包含于其中。例如，控制器150可以被包含到音频输出设备110、通信接口130和/或用户接口140中。除此之外或替选地，计算设备100的一个或多个元件可以被包含到控制器150和/或其组成元件中。例如，音频信息可以临时或永久地驻留在存储器154中。
如上文所描述的，存储器154可以存储程序指令，所述程序指令在被处理器152执行时使得计算设备执行操作。即，控制器150可以能够操作以实施如本文所描述的各种操作。例如，如本文其它地方所描述的，控制器150可以能够操作以利用第一音频信号驱动音频输出设备110。音频信息120可以包括指示第一音频信号的信息。第一音频信号的内容可以包括任何类型的音频信号。例如，第一音频信号可以包括音乐、语音记录(例如，播客、喜剧集、口述单词等)、音频通知、或者另一种类型的音频信号。
控制器150还可以能够操作以接收提供与第二音频信号相关联的通知的指示。所述通知可以经由通信接口130接收。除此之外或替选地，所述通知可以基于控制器150所作出的确定和/或计算设备100的过往、当前、或未来状态被接收。第二音频信号可以包括可以与通知相关联的任何声音。例如，第二音频信号可以包括但并不局限于钟声(chime)、铃声、音调、警报、音乐、音频消息，或者另一种类型的通知声音或音频信号。
控制器150可以能够操作以基于通知的属性来确定所述通知比第一音频信号的播出具有更高优先级。即，通知可以包括指示所述通知的绝对或相对优先级的信息。例如，通知可以被标记为“高优先级”或“低优先级”(例如，在元数据或者另一种类型的标签或信息中)。在这样的情景下，控制器150可以将通知状况确定为相对于第一音频信号的播出分别具有“更高优先级”或“更低优先级”。
在一些实施例中，通知的优先级可以至少部分基于计算设备100的当前操作模式来确定。即，计算设备100在接收到通知时可能正在播放音频信号(例如，音乐、播客等)。在这样的情景下，控制器150可以确定通知状况为处于“低优先级”从而不打扰计算设备100的穿戴者。
在一个示例实施例中，除此之外或替选地，通知的优先级可以基于计算设备100的用户的当前或预期行为来确定。例如，计算设备100和控制器150可以能够操作以基于一个或多个传感器(例如，麦克风、GPS单元、加速计、相机等)来确定情形场境。即，计算设备100可以能够操作以检测用户活动的场境指示，并且通知的优先级可以基于情形场境或场境指示来确定。
例如，计算设备100可以被配置为针对用户讲话和/或交谈的指示而监听计算设备100周围的声学环境。在这样的情况下，所接收到的指示及其相对应的优先级可以被控制器150确定为“低优先级”以避免中断用户或者使其分神。其它用户动作/行为可以致使控制器150默认地将传入通知状况确定为“低优先级”。例如，用户动作可以包括但并不局限于驾驶、跑步、收听、睡眠、学习、骑车、锻炼/外出工作、紧急，以及可能要求用户专注和/或专心的其它活动。
作为示例，如果用户被控制器150确定为正在驾驶骑车，则传入通知可以被默认地指派“低优先级”从而不会在用户驾车时使其分神。作为另一个示例，如果用户被控制器150确定为正在睡觉，则传入通知可以被默认地指派“低优先级”从而不会吵醒用户。
在一些实施例中，控制器150可以基于通知的类型来确定通知优先级相对于第一音频信号的播出为“高优先级”或“低优先级”。例如，传入呼叫通知可以默认地被确认为“高优先级”，而传入文本通知则可以默认地被确认为“低优先级”。除此之外或替选地，传入视频呼叫、日历提醒、传入电子邮件消息或者其它类型的通知均可以被指派绝对优先级级别或者相对于其它通知类型和/或第一音频信号的播出的相对优先级级别。
除此之外或替选地，控制器150可以基于通知的来源而将通知优先级确定为“高优先级”或“低优先级”。例如，计算设备100或另一个计算设备可以保持通知来源的列表(例如，联系人列表、高优先级列表、低优先级列表等)。在这样的情景下，当接收到通知时，传入通知的发送者或来源可以与列表进行交叉比对。例如，如果通知的来源与联系人列表上的已知联系人相匹配，则控制器150可以确定通知优先级为比第一音频信号的播出具有更高优先级。除此之外或替选地，如果通知的来源并未与联系人列表上的任何联系人相匹配，则控制器150可以确定通知优先级为“低优先级”。其它类型的确定可能基于通知的来源。
在一些实施例中，控制器150可以基于即将到来或重复出现的日历事件和/或其它信息来确定通知的优先级。例如，计算设备100的用户可能已经预定了即将从邻近机场起飞的航班。在这样的情景下，鉴于计算设备100的GPS的位置，计算设备100可以向计算设备100的用户提供高优先级的通知。例如，所述通知可以包括诸如“您的航班将在两小时内起飞，您应当在5分钟内离开房屋”的音频消息。
在一个示例实施例中，计算设备100可以包括虚拟助理。该虚拟助理可以被配置为向计算设备100的用户提供信息以及为所述用户执行动作。在一些实施例中，所述虚拟助理可以被配置为利用自然语言音频通知与用户交互。例如，用户可以请求虚拟助理预定午餐。作为响应，所述虚拟助理可以经由在线预定网站作出预定并经由自然语言通知向用户确认午餐预约已经完成。此外，所述虚拟助理可以提供通知以提醒用户即将到来的午餐预定。所述通知可以在午餐预约即将到来的情况下被确定为高优先级。此外，所述通知可以包括有关诸如天气的事件、事件时间以及出发前的时间量的信息。例如，高优先级音频通知可以包括“您已经预定了12:30PM在South Branch的午餐。您应当在五分钟内离开办公室。正在下雨，请带伞。”
在确定通知优先级为“高优先级”时，控制器150可以能够操作以在空间上闪避第一音频信号。在空间闪避第一音频信号时，控制器150可以对第一音频信号进行空间处理从而将第一音频信号的视在声源位置移动至给定音场分区。此外，控制器150可以对第二音频信号进行空间处理而使得其能够在不同音场分区中被感知。在一些实施例中，控制器150可以对第二音频信号进行空间处理而使得其被感知为源自于第一声学音场分区中。此外，控制器150可以对第一音频信号进行空间处理而使得其能够在第二声学音场分区中被感知。在一些实施例中，相应的音频信号可以被感知为源自于第三声学音场分区或者穿过所述第三声学音场分区移动。
在一个示例实施例中，空间闪避第一音频信号可以包括控制器150调节第一音频信号以减小它的音量或者增大相对于计算设备100的用户的视在声源距离。
此外，第一音频信号的空间闪避可以包括由控制器150在预定时间长度内对第一音频信号进行空间处理。例如，在这样的空间处理被中止或调节之前，第一音频信号可以在等于第二音频信号的持续时间的预定时间长度内被空间处理。即，在流逝预定长度的时间时，第一音频信号的空间闪避可以被中止。其它预定时间长度是可能的。
在确定低优先级的优先级通知状况时，计算设备100可以保持正常播放第一音频信号或者具有给定声学音场分区中的视在声源位置。与低优先级通知相关联的第二音频信号可以被控制器150空间处理从而能够在第二声学音场分区中(例如，在后方音场分区中)被感知。在一些实施例中，在确定低优先级的通知状况时，相关联的通知可以一起被忽略，或者通知可以被延迟直至给定时间，诸如在高优先级的活动已经完成之后。替选地或除此之外，低优先级通知可以被合并为一个或多个摘要通知或概要通知。例如，如果若干语音邮件通知被认为是低优先级，则通知可以被打包或合并为单个概要通知，所述概要通知在晚些时间被送至用户。
在一个示例实施例中，计算设备100可以被配置为促进基于语音的用户交互。然而，在其它实施例中，计算设备100并不需要促进基于语音的用户交互。
计算设备100可以被提供为具有各种不同的形式因数、形状和/或大小。例如，计算设备100可以包括可头戴式设备并且具有类似于传统眼镜的形式因数。除此之外或替选地，计算设备100可以采取耳机的形式。
计算设备100可以包括一个或多个能够操作以向用户的耳部和/或骨骼结构传递音频信号的设备。例如，计算设备100可以包括一个或多个头戴耳机和/或骨传导换能器或“BCT”。本文预见到被配置为向用户提供音频信号的其它类型的设备。
作为一个非限制示例，头戴耳机可以包括“入耳式”、“盖耳式”或“包耳式”头戴耳机。“入耳式”头戴耳机可以包括入耳头戴耳机、听筒或耳塞。“盖耳式”头戴耳机可以包括贴耳式头戴耳机，其可以部分包围用户的一只或两只耳朵。“包耳式”头戴耳机可以包括罩耳式头戴耳机，其可以完全包围用户的一只或两只耳朵。
头戴耳机可以包括一个或多个被配置为将电信号转换为声音的换能器。例如，头戴耳机可以包括静电式、驻极体式、动圈式、或其它类型的换能器。
BCT可以能够操作以在振动行经穿戴者的骨骼结构去往中耳的位置处使得穿戴者的骨骼结构发生振动，而使得大脑将所述振动解释为声音。在一个示例实施例中，计算设备100可以包括或者耦合至一个或多个包括BCT的耳机。
计算设备100可以经由有线或无线接口接驳至另一个计算设备(例如，用户的智能电话)。替选地，计算设备100可以是独立设备。
图2A-2D图示了如本公开中所预期的可穿戴设备的若干非限制性示例。这样，如关于图1所图示并描述的计算设备100可以采取可穿戴设备200、230或250或者计算设备260中的任一个的形式。计算设备100也可以采取其它形式。
图2A图示了根据示例实施例的可穿戴设备200。可穿戴设备200可以具有类似于一副眼镜或另一种类型的可头戴式设备的形状。这样，可穿戴设备200可以包括框架元件，其包括镜片框架204、206和中心框架支撑208，镜片元件210、212，以及延伸侧臂214、216。中心框架支撑208和延伸侧臂214-216被配置为将可穿戴设备200经由分别放置在用户的鼻子和耳朵上而固定至用户的头部。
框架元件204、206和208以及延伸侧臂214、216中的每一个可以由塑料和/或金属的固态结构形成，或者可以由类似材料的中空结构形成，从而允许连线和组件互联通过可穿戴设备200在内部路由。其它材料也是可能的。镜片元件210、212中的每一个也可以是充分透明的从而允许用户透过镜片元件观看。
除此之外或替选地，延伸侧臂214、216可以位于用户的耳后从而将可穿戴设备200固定于用户的头部。延伸侧臂214、216可以进一步通过绕用户头部的后方部分延伸而将可穿戴设备200固定于用户。除此之外或替选地，例如，可穿戴设备可以连接至可头部固定的头盔结构或者贴附在其内部。同样存在其它可能性。
可穿戴设备200还可以包括随载计算系统218以及至少一个可手指操作的触摸板224。随载计算系统218被示出为整合在可穿戴设备200的侧臂214中。然而，随载计算系统218可以被提供在可穿戴设备200的其它部分之上或之内，或者可以远离计算设备的可头戴式组件定位并与之通信耦合(例如，随载计算系统218能够被容纳在不可穿戴于头部的单独组件中，并且被有线或无线连接至可头部穿戴的组件)。随载计算系统218例如可以包括处理器和存储器。另外，随载计算系统218可以被配置为从可手指操作的触摸板224(并且可能从其它感应设备和/或用户接口组件)接收并分析数据。
在另外的方面，可穿戴设备200可以包括各种类型的传感器和/或感应组件。例如，可穿戴设备200可以包括惯性测量单元(IMU)(图2A中未明确图示)，其提供加速计、陀螺仪和/或磁力计。在一些实施例中，可穿戴设备200还可以包括并未整合在IMU中的加速计、陀螺仪和/或磁力计。
在另外的方面，可穿戴设备200可以包括促进关于可穿戴设备200是否正被配单的确定的传感器。例如，诸如加速计、陀螺仪和/或磁力计的传感器可以被用来检测作为可穿戴设备200正被穿戴的特征的运动(例如，作为用户正在走路、转动他们的头部等的特征的运动)，和/或被用来确定可穿戴设备200处于作为可穿戴设备200正被穿戴的特征的方位(例如，竖立，处于可穿戴设备200被穿戴于耳朵上时的位置)。因此，来自这样的传感器的数据可以被用作对头上检测处理的输入。除此之外或替选地，可穿戴设备200可以包括被布置在可穿戴设备200的表面上的电容传感器或另一种类型的传感器，所述传感器通常在可穿戴设备200被穿戴时接触穿戴者。因此，这样的传感器所提供的数据可以被用来确定可穿戴设备200是否正在被穿戴。其它传感器和/或技术也可以被用来检测可穿戴设备200何时正被穿戴。
可穿戴设备200还包括至少一个麦克风226，其可以允许可穿戴设备200接收来自用户的语音命令。麦克风226可以是指向麦克风或全向麦克风。另外，在一些实施例中，可穿戴设备200可以包括被布置在可穿戴设备200上的各个位置的麦克风阵列和/或多个麦克风。
在图2A中，触摸板224被示出为被布置在可穿戴设备200的侧臂214上。然而，手指可操作触摸板224可以位于可穿戴设备200的其它部分上。而且，可穿戴设备200上可以存在多于一个的触摸板。例如，第二触摸板可以被布置在侧臂216上。除此之外或替选地，触摸板可以被布置在侧臂214和216中的一个或其二者的后方部分227上。在一个这样的布置中，触摸板可以被布置在侧臂的穿戴者耳后周围弯曲的部分的上表面上(例如，使得触摸板处于总体上面向穿戴者后方的面上，并且被布置在与和穿戴者耳朵的背面相接触的表面相对的表面上)。一个或多个触摸板的其它布置也是可能的。
除其它可能性之外，触摸板224可以经由电容感测、电阻感测或表面声波处理来感测用户手指在触摸板上的接触、接近和/或移动。在一些实施例中，触摸板224可以是一维或线性触摸板，其能够感测触摸表面上的各个点处的触摸，并且能够感测手指在触摸板上的线性移动(例如，沿触摸板224向前或向后的移动)。在其它实施例中，触摸板224可以是能够感测触摸表面上的任何方向的触摸的二维触摸板。此外，在一些实施例中，触摸板224可以被配置用于接近触摸感测，而使得触摸板能够感测到用户的手指何时接近触摸板但并未与其接触。另外，在一些实施例中，触摸板224可以能够感测被施加于触摸板表面的压力水平。
在一个进一步的方面，耳机220和221被分别接合至侧臂215和216。耳机220和221可以分别均包括BCT 222和223。每个耳机220、221可以被布置为使得在可穿戴设备200被穿戴时，每个BCT 222、223被定位于穿戴者耳朵的后部。例如，在一个示例性实施例中，耳机220、221可以被布置为使得相应BCT 222、223能与穿戴者双耳的耳廓和/或穿戴者头部的其它部分相接触。耳机220、221的其它布置也是可能的。另外，具有单个耳机220或221的实施例也是可能的。
在一个示例性实施例中，BCT 222和/或BCT 223可以作为骨传导扬声器进行操作。BCT 222和223例如可以是响应于电音频信号输入而产生声音的振动换能器或电声换能器。通常，BCT可以是能够进行操作以直接或间接振动用户的骨骼表面的任何结构。例如，BCT可以利用被配置为接收音频信号并且依据该音频信号振动穿戴者的骨骼结构的振动换能器来实现。更一般地，应当理解的是，被配置为振动穿戴者的骨骼结构的任何组件都可以被包含作为骨传导扬声器，而并不背离本发明的范围。
在另外的方面，可穿戴设备200可以包括被配置为提供驱动BCT 222和/或BCT 223的音频信号的音频源(未示出)。作为示例，音频源可以提供可以被计算设备100作为如参考图1所图示并描述的音频信息120存储和/或使用的信息。在一个示例性实施例中，可穿戴设备200可以包括内部音频回放设备，诸如被配置为播放数字音频文件的随载计算系统218。除此之外或替选地，可穿戴设备200可以包括针对辅助音频回放设备(未示出)的音频接口，除其它可能性之外，所述辅助音频回放设备诸如便携式数字音频播放器、智能电话、家庭音响、汽车音响和/或个人计算机。在一些实施例中，基于应用或软件的接口可以允许可穿戴设备200接收从诸如用户的移动电话的另一个计算设备流送的音频信号。除此之外或替选地，用于辅助音频回放设备的接口可以是芯-环-套筒(TRS)连接器，或者可以采取另一种形式。其它音频源和/或音频接口也是可能的。
另外，在具有二者都包括BCT的两个耳机222和223的实施例中，耳机220和221可以被配置为向用户提供立体声和/或环绕声音频信号。然而，非立体声音频信号(例如，单一或单个通道的音频信号)在包括两个耳机的设备中也是可能的。
如图2A所示，可穿戴设备200无需包括图形显示器。然而，在一些实施例中，可穿戴设备200可以包括这样的显示器。实际上，可穿戴设备200可以包括近眼显示器(并未明确图示)。所示近眼显示器可以耦合至随载计算系统218、独立图形处理系统和/或可穿戴设备200的其它组件。所述近眼显示器可以形成于可穿戴设备200的镜片元件之一——诸如镜片元件210和/或212——上。这样，可穿戴设备200可以被配置为将计算机生成的图形覆盖在穿戴者的视场上，同时还允许用户透过镜片元件和当前视图看到至少一些他们的真实世界环境。在其它实施例中，基本上遮蔽用户的周围物理世界视图的虚拟现实显示器也是可能的。近眼显示器可以在相对于可穿戴设备200的各个位置提供，并且大小和形状也可以有所变化。
其它类型的近眼显示器也是可能的。例如，眼镜样式的可穿戴设备可以包括一个或多个投影仪(未示出)，所述投影仪被配置为将图形透射到可穿戴设备200的一个或两个镜片元件的表面上的显示器之上。在这样的配置中，可穿戴设备200的镜片元件可以充当光投影系统中的合成器并且可以包括将从投影仪透射到它们之上的光朝向穿戴者的一个或多个眼睛进行反射的涂层。在其它实施例中，不需要使用反射涂层(例如，在一个或多个投影仪采取一个或多个激光扫描设备的形式时)。
作为近眼显示器的另一个示例，眼镜样式的可穿戴设备的一个或两个镜片元件可以包括透明或半透明的矩阵显示器，诸如电致发光显示器或液晶显示器，用于将图像传递至用户眼睛的一个或多个波导，或者能够向用户传递对焦的近眼图像的其它光学元件。相对应的显示器驱动器可以被布置在可穿戴设备200的框架内以供驱动这样的矩阵显示器。替选地或除此之外，激光或LED源和扫描系统能够被用来直接将光栅显示绘制到用户的一个或两个眼睛的视网膜上。其它类型的近眼显示器也是可能的。
图2B图示了根据示例实施例的可穿戴设备230。设备300包括两个框架部分232，它们被形成为挂在用户的耳朵上。在穿戴时，耳后壳体236位于用户的每个耳朵之后。壳体236均可以包括BCT 238。BCT 238例如可以是响应于电音频信号输入而产生声音的振动换能器或电声换能器。这样，BCT 238可以充当通过振动穿戴者的骨骼结构来向穿戴者播放音频的骨传导扬声器。其它类型的BCT也是可能的。通常，BCT可以是能够操作以直接或间接振动用户的骨骼结构的任何结构。
注意到，当从侧面观看设备230的穿戴者时，耳后壳体236可以被部分或完全隐藏而无法看到。这样，与其它更加笨重和/或更可见的可穿戴计算设备相比，设备230可以更为分散地穿戴。
如图2B所示，BCT 238可以被布置在耳后壳体236之上或之内而使得在设备230被穿戴时，BCT 238被定位在穿戴者耳朵后方以便振动穿戴者的骨骼结构。更具体地，BCT 238可以形成耳后壳体236的一部分或者可以振动地耦合至形成耳后壳体236的材料。另外，设备230可以被配置为使得所述设备被穿戴时，耳后壳体236压住或接触穿戴者耳朵的背面。这样，BCT 238可以将振动经由耳后壳体236传输至穿戴者的骨骼结构。设备230上的BCT的其它布置也是可能的。
在一些实施例中，耳后壳体236可以包括与图2A中所示以及上文所描述的触摸板224相似的触摸板(未示出)。另外，图2B所示的框架232、耳后壳体236和BCT 238的配置可以被耳塞、包耳式头戴耳机或者另一种类型的头戴式耳机或微型扬声器所替代。这些不同的配置可以由可移除(例如，模块化)组件来实现，所述可移除组件能够由用户与设备230接合或从其拆除。其它示例也是可能的。
在图2B中，设备230包括从框架部分232延伸的两条线缆240。线缆240可以比框架部分232更为柔性，所述框架部分232可以更为刚性以便在使用期间保持挂在穿戴者的耳朵上。线缆240连接在吊坠样式的壳体244处。除其它可能性之外，壳体244例如可以包含一个或多个麦克风242、电池、一个或多个传感器、处理器、通信接口和随载存储器。
线缆246从壳体244的底部延伸，其可以被用来将设备230连接至另一个设备，除其它可能性之外，所述另一个设备诸如是便携式数字音频播放器、智能电话。除此之外或替选地，设备230可以经由例如位于壳体244中的通信接口与其它设备无线通信。在这种情况下，线缆246可以是可移除的线缆，诸如充电线。
壳体244中所包括的麦克风可以是全向麦克风或指向麦克风。另外，可以实现麦克风的阵列。在所图示的实施例中，设备230包括被专门布置为检测设备的穿戴者的话音的两个麦克风。例如，在设备230被穿戴时，麦克风242可以将收听波束指向与穿戴者的嘴部相对应的位置。麦克风242还可以检测穿戴者的环境中的声音，诸如穿戴者附近的其他人的周围话音。附加的麦克风配置也是可能的，包括从框架232的一部分延伸的麦克风臂或者内嵌定位于在一条或两条线缆上的麦克风。这里预见到提供指示本地声环境的信息的其它可能性。
图2C图示了根据示例实施例的可穿戴设备250。可穿戴设备250包括框架251和耳后壳体252。如图2C所示，框架251是弯曲的，并且被成形为挂在穿戴者的耳朵上。当被挂在穿戴者的耳朵上时，耳后壳体252位于穿戴者的耳朵之后，例如，在所图示的配置中，耳后壳体252位于耳廓之后，而使得耳后壳体252的表面253在耳廓背面与穿戴者接触。
注意到，当从侧面观看设备230的穿戴者时，耳后壳体252可以被部分或完全隐藏而无法看到。这样，与其它更加笨重和/或更可见的可穿戴计算设备相比，设备250可以更为分散地穿戴。
可穿戴设备250和耳后壳体252可以包括一个或多个BCT，诸如关于图2A所图示并描述的BCT 222。一个或多个BCT可以被布置在耳后壳体252之上或之内，而使得在可穿戴设备250被穿戴时，一个或多个BCT可以被定位在穿戴者耳朵后方以便振动穿戴者的骨骼结构。更具体地，一个或多个BCT可以形成耳后壳体252的表面253的至少一部分或者可以振动耦合至形成耳后壳体252的表面253的材料。另外，设备250可以被配置为使得所述设备被穿戴时，耳后壳体253压住或接触穿戴者耳朵的背面。这样，一个或多个BCT可以将振动经由表面253传输至穿戴者的骨骼结构。耳机上的BCT的其它布置也是可能的。
此外，可穿戴设备250可以包括触摸敏感表面254，诸如参考图2A所图示并描述的触摸板224。触摸敏感表面254可以被布置在可穿戴设备250的在穿戴者耳后周围弯曲的表面上(例如，由此使得所述触摸敏感表面在耳机设备被穿戴时总体上面向穿戴者的后方)。其它布置也是可能的。
如图2C所示，可穿戴设备250还包括可以朝用户的嘴部延伸的麦克风臂255。麦克风臂255可以包括远离耳机的麦克风256。麦克风256可以是全向麦克风或指向麦克风。另外，可以在麦克风臂255上实现麦克风的阵列。替选地，可以在麦克风臂255上实现骨传导麦克风(BCM)。在一个这样的实施例中，臂255可以能够操作以在穿戴者的下颌附近或其上将BCM靠着穿戴者的脸定位和/或压住，而使得BCM响应于穿戴者下颌在他们讲话时发生的振动而进行振动。注意到，麦克风臂255是可选的，并且用于麦克风的其它配置也是可能的。
在一些实施例中，本文所公开的可穿戴设备可以包括麦克风的两种类型和/或布置。例如，可穿戴设备可以包括被专门布置为检测设备的穿戴者发出的话音的一个或多个指向麦克风，以及被布置为检测(可能除了穿戴者的语音之外的)穿戴者的环境中的声音的一个或多个全向麦克风。这样的布置可以促进基于音频是否包括穿戴者的话音来进行智能处理。
在一些实施例中，可穿戴设备可以包括耳塞(未示出)，其可以充当典型扬声器并且振动周围的空气从而投射来自扬声器的声音。因此，当被插入穿戴者的耳朵中时，穿戴者可以以分立的方式听到声音。这样的耳塞是可选的并且可以由可移除(例如，模块化)组件来实现，所述可移除组件能够由用户与耳机设备接合或从其拆除。
图2D图示了根据示例实施例的计算设备260。计算设备260例如可以是移动电话、智能电话、平板计算机或可穿戴计算设备。然而，其它实施例是可能的。在一个示例实施例中，计算设备260可以包括如关于图1所图示并描述的系统100的一些或全部元件。
计算设备260可以包括各个元件，诸如主体262、相机264、多元显示器266、第一按钮268、第二按钮270和麦克风272。相机264可以位于主体262在操作中通常面向用户的一侧，或者位于与多元显示器266相同的一侧。计算设备260的各个元件的其它布置是可能的。
麦克风272可以能够操作以检测来自计算设备260附近的环境的音频信号。例如，麦克风272可以能够操作以检测语音和/或计算设备260的用户是否正在与另一方对话。
多元显示器266可以表示LED显示器、LCD、等离子显示器，或者任何其它类型的视觉或图形显示器。多元显示器266还可以支持触摸屏和/或存在敏感功能，其可以能够调节计算设备260的任何方面的设置和/或配置。
在一个示例实施例中，计算设备260可以能够操作以显示指示被提供给用户的音频信号的各个方面的信息。例如，计算设备260可以经由多元显示器266显示当前音频回放配置。当前音频回放配置可以包括用户的声学音场的图形表示。所述图形表示例如可以描绘各种音频源的视在声源位置。所述图形表示可以至少部分与关于图3A-3D所图示并描述的那些相似，然而其它图形表示是可能的并且在这里被预期。
虽然图3A-3D图示了本文所描述的各个操作的特定顺序和排列，所要理解的是，具体的定时顺序和披露持续时间可以有所变化。此外，一些操作可以被省略、添加，和/或与其它操作并行执行。
根据一个示例实施例，图3A从收听者302上方的顶部视图图示了声学音场300。在一个示例实施例中，声学音场300可以表示收听者302周围的分区集合。即，声学音场300可以包括收听者可以在其中定位声音的多个空间分区。即，经由耳朵304a和304b(和/或经由骨传导系统的振动)所听到的声音的视在声源位置可以被感知为处于声学音场300之内。
声学音场300可以包括多个空间楔形，所述空间楔形包括中前分区306、左前分区316、右前分区310、左分区312、右分区314、后分区左后分区316、右后分区318和后分区320。相应分区可以以径向方式远离收听者302延伸。除此之外或替选地，其它分区是可能的。例如，除此之外或替选地，径向分区可以包括接近或远离收听者302的区域。例如，音频信号的视在声源位置可以接近于人(例如，在圆圈322内)。除此之外或替选地，音频信号的视在声源位置可以更加远离人(例如，在圆圈322外)。
图3B图示了根据示例实施例的收听情景330。在收听情景330中，可以与计算设备100相似或完全相同的计算设备可以为收听者302提供第一音频信号。所述第一音频信号可以包括音乐或另一种类型的音频信号。所述计算设备可以调节第一音频信号的ILD和/或ITD从而控制它的视在声源位置。特别地，所述计算设备可以根据环绕声算法或头相关传输函数(HRTF)来控制ILD和/或ITD，而使得第一音频信号的视在声源位置332处于声学音场300的第一分区306之内。
图3C图示了根据示例实施例的收听情景340。收听情景340可以包括接收与第二音频信号相关联的通知。例如，所接收的通知可以包括电子邮件、文本、语音邮件或呼叫。其它类型的通知是可能的。基于通知的属性，可以确定高优先级通知。即，所述通知可以被确定为比第一音频信号的播出具有更高优先级。在这样的情景下，第一音频信号的视在声源位置可以在声学音场内从前区306移动至后分区左后分区316。即，最初，第一音频信号可以经由计算设备被驱动而使得用户可以将视在声源位置332感知为处于前区306之中。在确定高优先级通知状况之后，第一音频信号可以(渐进地或瞬时地)被移动至可以处于后分区左后分区316中的视在声源位置342。第一音频信号可以被移动至声学音场内的另一个分区。
注意到，第一音频信号可以被移动至距收听者302不同的视在距离。即，初始视在声源位置332可以处于距收听者302的第一距离，而最终视在声源位置342则可以处于距收听者302的第二距离。在一个示例实施例中，最终视在声源位置342可以比初始视在声源位置332距收听者302更远。
除此之外或替选地，第一音频信号的视在声源位置可以沿路径344移动，而使得第一音频信号可以被感知为渐进地移动至收听者的左方和后方。替选地，其它路径是可能的。例如，第一音频信号的视在声源位置可以沿路径346移动，这可以被收听者感知为第一音频信号经过他或她的右肩。
图3D图示了根据示例实施例的收听情景350。收听情景350可以在确定通知比第一音频信号的播出具有更高优先级时发生或者在稍晚时间发生。即，在第一音频信号的视在声源位置移动的同时，或者在它已经移动至最终视在声源位置342之后，第二音频信号可以被计算设备播放。第二音频信号可以在视在声源位置352处(例如，在右前分区310中)播放。如图3D所示，一些高优先级通知可以具有接近于收听者302的视在声源位置。替选地，视在声源位置可以处于相对于收听者302的其它距离。第二音频信号的视在声源位置352可以是静态的(例如，所有高优先级通知默认在右前分区310中播放)，或者所述视在声源位置例如可以基于通知类型而有所变化。例如，高优先级的电子邮件通知可以具有处于右前分区310中的视在声源位置，而高优先级的文本通知则可以具有处于左前分区308中的视在声源位置。基于通知类型，其它位置是可能的。第二音频源的视在声源位置可以基于通知的其它方面而有所变化。
III.示例方法
图4A图示了根据示例实施例的操作时间线400。操作时间线400可以描述与参考图3A-3D所图示并描述的那些以及参考图5所图示并描述的方法步骤或框相似或完全相同的事件。虽然图4A图示了事件的某种顺序，但是要理解的是，其它顺序是可能的。在一个示例实施例中，如框402中所示，诸如计算设备100的计算设备可以在时间t0在第一声学音场分区中播放第一音频信号。即，诸如关于图1所图示并描述的控制器150的计算设备的控制器可以对第一音频信号进行空间处理，而使得它能够被感知为处于第一声学音场分区中。在一些实施例中，第一音频信号并不需要被空间处理，并且第一音频信号可以在没有具体空间排队的情况下进行回放。框404图示了接收通知。如本文所描述的，通知可以包括文本消息、语音邮件、电子邮件、视频呼叫邀请等。通知可以包括可以指示优先级级别的元数据或其它信息。如框406中所示，计算设备可以基于元数据、计算设备的操作状态、和/或其它因素将通知确定为相对于第一音频信号的播出处于高优先级。
如框408所示，在确定高优先级通知时，控制器可以通过将第一音频信号的视在声源位置从第一声学音场分区移动至第二声学音场分区而在空间上闪避在时间t1开始的第一音频信号。即，控制器可以对第一音频信号进行空间处理而使得它的可感知源位置从初始声学音场分区(例如，第一声学音场分区)移动至最终声学音场分区(例如，第二声学音场分区)。
在第一音频信号的视在声源位置移动的同时或者在它已经到达第二声学音场分区之后，在时间t2，与控制器相关联的第二音频信号可以对通知进行空间处理而使得它能够利用第一声学音场分区中的视在声源位置被感知，如框410所示。
框412图示了计算设备可以在t3在第一声学音场分区中播放通知的同时中止第一音频信号的空间闪避。在一个示例实施例中，空间闪避的中止可以包括将第一音频信号的视在声源位置移动回到第一声学音场分区。
图4B图示了根据示例实施例的操作时间线420。在时间t0，计算设备可以播放第一音频信号(例如，音乐)，如框422所示。如框424所示，计算设备可以接收通知。如本文其它地方所描述的，通知可以是任何数目的不同通知类型(例如，传入电子邮件消息，传入语音邮件等)之一。
如框426所示，基于通知的至少一个方面，计算设备可以确定所述通知为低优先级。在一个示例实施例中，低优先级通知可以基于现有的联系人列表和/或元数据来确定。例如，通知可能涉及到来自未知联系人的文本消息或者以“低重要性”发送的电子邮件消息。在这样的情景下，计算设备(例如，控制器150)可以基于相应的场境情形来确定低优先级通知状况。
如框428所示，响应于在时间t1确定了低优先级通知，与通知相关联的第二音频信号可以在第二声学音场分区中播放。在其它实施例中，与低优先级通知相关联的第二音频信号不需要被播放，或者可以被延迟直到稍晚时间(例如，在高优先级活动完成之后)。
图5图示了根据示例实施例的方法500。方法500可以包括各个框或步骤。所述框或步骤可以单独或组合执行。所述框或步骤可以以任何顺序执行和/或串行或并行执行。另外，框或步骤可以被省略或者被添加至方法500。
方法500的一些或全部框可以涉及到参考图1、2A-2D所图示并描述的设备100、200、230、250和/或260的元件。例如，方法500的一些或全部框可以由控制器150和/或处理器152和存储器154来执行。此外，方法500的一些或全部框可以与关于图4A和4B所图示并描述的操作相似或完全相同。
框502包括利用第一音频信号驱动诸如计算设备100的计算设备的音频输出设备。在一些实施例中，利用第一音频信号驱动音频输出设备可以包括诸如控制器150的控制器根据环绕声算法或HRTF调节第一音频信号的ILD和/或ITD。例如，控制器可以调节ILD和/或ITD从而对第一音频信号进行空间处理，而使得它能够被感知为源自于第一声学音场区。在其它示例实施例中，第一音频信号可以在无需这样的空间处理的情况下被初始播放。
框504包括接收利用第二音频信号来提供通知的指示。
框506包括确定通知比第一音频信号的播出具有更高优先级。例如，计算设备的控制器可以确定通知相对于第一音频信号的播出具有更高优先级。
框508包括响应于确定更高优先级的通知而对第二音频信号进行空间处理以供在第一音场分区中感知。在一个这样的情况下，第一音频信号可以由控制器进行空间处理从而能够在第二声学音场分区中被感知。如本文其它地方所描述的，第一音频信号的空间处理可以包括减弱第一音频信号的音量或者增大第一音频信号相对于计算设备的用户的视在声源距离。
框510包括对第一音频信号进行空间处理以供在第二音场分区中感知。
框512包括同时利用经空间处理的第一音频信号和经空间处理的第二音频信号驱动音频输出设备，而使得第一音频信号能够在第二音场分区中被感知并且第二音频信号能够在第一音场分区中被感知。
在一些实施例中，所述方法可选地可以包括经由计算设备的至少一个传感器检测用户活动的场境指示(例如，睡眠、步行、讲话、锻炼、驾驶等)。例如，可以基于来自一个或多个IMU的运动/加速的分析来确定场境指示。在一个替选实施例中，所述场境指示可以基于对周围声音/频谱的分析来确定。在一些实施例中，所述场境指示可以基于计算设备的位置(例如，经由GPS信息)来确定。再另外的实施例可以包括对被配置为提供当前场境的指示的另一个设备或系统的应用程序接口(API)调用。在这样的情景下，确定通知优先级可以进一步基于所检测到的用户活动的场境指示。
图6图示了根据示例实施例的操作时间线600。框602包括在时间t0(经由计算设备)以第一声学音场分区内的视在声源位置播放第一音频信号。框604包括在时间t1接收音频信息。在一个示例实施例中，所述音频信息可以包括指示话音的信息。特别地，所述音频信息可以指示计算设备的用户的话音。例如，用户可能在与另一个人对话，或者可能在哼唱、唱歌、或者以其它方式发出口头声响。
在这样的情景下，框606可以包括计算设备基于所接收到的音频信息来确定用户话音。
在确定用户话音时，如在框608所示，第一音频信号可以通过将它的视在声源位置移动至第二声学音场分区来被空间闪避。除此之外或替选地，第一音频信号可以被减弱或者可以被移动至明显更加远离计算设备的用户的声源位置。
如框610所示，在时间t2(一旦不再检测到用户话音)，计算设备可以中止第一音频信号的空间闪避。这样，第一音频信号的视在声源位置可以被移动回到第一声学音场分区和/或恢复它的原始音量。
图7图示了根据示例实施例的方法700。方法700可以包括各个框或步骤。所述框或步骤可以单独或组合执行。所述框或步骤可以以任何顺序执行和/或串行或并行执行。另外，框或步骤可以被省略或者被添加至方法700。
方法700的一些或全部框可以涉及到参考图1、2A-2D所图示并描述的设备100、200、230、250和/或260的元件。例如，方法700的一些或全部框可以由控制器150和/或处理器152和存储器154来执行。此外，方法700的一些或全部框可以与关于图46所图示并描述的操作相似或完全相同。
框702包括利用第一音频信号驱动诸如计算设备100的计算设备的音频输出设备。在一些实施例中，控制器150可以对第一音频信号进行空间处理，而使得它在第一声学音场分区中可感知。然而，在其它实施例中，第一音频信号可以在无需在最初被空间处理。
框704包括经由至少一个麦克风接收音频信息。在一些实施例中，所述至少一个麦克风可以包括麦克风阵列。在这样的情景下，所述方法可选地可以包括由所述麦克风阵列将收听波束指向计算设备的用户。
框706包括基于所接收到的音频信息来确定用户话音。例如，确定用户话音可以包括确定音频信息的信噪比高于预定阈值比率(例如，大于预定信噪比)。其它确定用户话音的方式是可能的。例如，音频信息可以(例如，由计算设备100)利用话音识别算法被处理。在一些实施例中，所述话音识别算法可以被配置为确定来自所接收音频信息中的多个话音源的用户话音。即，所述话音识别算法可以被配置为在来自计算设备的用户的话音和其它讲话的个人和/或计算设备周围的本地环境内的音频源之间加以区分。
框708包括响应于确定用户话音，对第一音频信号进行空间处理以供在音场分区中感知。对第一音频信号进行空间处理包括调节第一音频信号的ILD和/或ITD或者其它属性而使得第一音频信号能够在第二声学音场区中被感知。第一音频信号的空间处理还可以包括减弱第一音频信号的音量或者增大第一音频信号的视在声源距离。
第一音频信号的空间处理可以包括第一音频信号的空间变换。例如，空间变换可以包括对第一音频信号进行空间处理从而将第一音频信号的视在声源位置从第一声学音场分区移动至第二声学音场分区。在一些实施例中，给定音频信号的视在声源位置可以穿过多个声学音场分区移动。此外，第一音频信号的空间处理可以在已经流逝预定时间长度之后被中止。
框710包括利用经空间处理的第一音频信号驱动音频输出设备，而使得第一音频信号能够在音场分区中被感知。
图中所示出的特定布置并不应当被视为限制。应当理解的是，其它实施例可以包括更多或更少的给定图中所示出的每个元素。另外，一些所图示的元素可以被组合或省略。再进一步地，说明性实施例可以包括并未在图中被图示的元素。
表示信息的处理的步骤或框可以对应于能够被配置为本文所描述的方法或技术的具体逻辑功能的电路。除此之外或替选地，表示信息的处理的步骤或框能够对应于程序代码的模块、分段或部分(包括相关数据)。程序代码可以包括能够由处理器执行以供实现所述方法或技术中的具体逻辑功能或动作的一个或多个指令。所述程序代码和/或相关数据能够被存储在任何类型的计算机可读介质上，诸如包括盘、硬盘或其它存储介质的存储设备。
计算机可读介质还可以包括非瞬态计算机可读介质，诸如用于在短时间段存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存、以及随机存取存储器(RAM)。计算机可读介质还可以包括更长时间段存储程序代码和/或数据的非瞬态计算机可读介质。因此，计算机可读介质可以包括辅助或永久的长期存储，如只读存储器(ROM)、光盘或磁盘、压缩盘只读存储器(CD-ROM)或非易失性存储系统。计算机可读介质可以被认为是计算机可读存储介质，例如有形存储设备。
虽然已经公开了各个示例和实施例，但是其它示例和实施例对于本领域技术人员将是显而易见的。各个所公开的示例和实施例是出于说明的目的而并非意在作为限制，其中实际的范围由所附权利要求书所指示。

Claims (20)

1.一种计算设备，包括：
音频输出设备；
处理器；
非瞬态计算机可读介质；以及
存储在所述非瞬态计算机可读介质中的程序指令，所述程序指令在被所述处理器执行时使得所述计算设备执行操作，所述操作包括，在利用第一音频信号驱动所述音频输出设备的同时：
接收利用第二音频信号提供通知的指示；
确定所述通知比所述第一音频信号的播出具有更高优先级；以及
响应于确定所述通知具有所述更高优先级：
对所述第二音频信号进行空间处理以供在第一音场分区中感知；
对所述第一音频信号进行空间处理以供在第二音场分区中感知；以及
同时利用经空间处理的第一音频信号和经空间处理的第二音频信号驱动所述音频输出设备，使得所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
2.根据权利要求1所述的计算设备，其中，对所述第一音频信号进行空间处理包括减弱所述第一音频信号的音量或者增大所述第一音频信号的视在声源距离。
3.根据权利要求2所述的计算设备，其中，所述第一音频信号在预定时间长度内被空间处理以供在所述第二音场分区中感知，其中，所述操作进一步包括：响应于所述预定时间长度流逝，中止为了在所述第二音场分区中感知而对所述第一音频信号的空间处理。
4.根据权利要求1所述的计算设备，进一步包括通信耦合至所述音频输出设备的至少一个骨传导换能器BCT设备，其中，经由所述至少一个BCT设备，所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
5.根据权利要求1所述的计算设备，其中，在确定所述第二音频信号的播出具有所述更高优先级之前，所述第一音频信号被空间处理以供在所述第一音场分区中感知，使得为了在所述第二音场分区中感知而对所述第一音频信号的后续空间处理将所述第一音频信号的视在声源位置从所述第一音场分区移动至所述第二音场分区。
6.根据权利要求1所述的计算设备，其中，对所述第一音频信号或所述第二音频信号进行空间处理包括：根据环绕声算法或头相关传输函数(HRTF)来调节相应音频信号的耳间声强差(ILD)和耳间时间差(ITD)。
7.根据权利要求1所述的计算设备，其中，所述操作进一步包括：
经由所述计算设备的至少一个传感器检测用户活动的场境指示，其中，确定所述通知比第一音频信号的播出具有更高优先级是基于所检测的所述用户活动的场境指示。
8.一种方法，包括：
利用第一音频信号驱动计算设备的音频输出设备；
接收利用第二音频信号提供通知的指示；
确定所述通知比第一音频信号的播出具有更高优先级；
响应于确定所述通知具有所述更高优先级：
对所述第二音频信号进行空间处理以供在第一音场分区中感知；
对所述第一音频信号进行空间处理以供在第二音场分区中感知；以及
同时利用经空间处理的第一音频信号和经空间处理的第二音频信号驱动所述音频输出设备，使得所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
9.根据权利要求8所述的方法，其中，对所述第一音频信号进行空间处理包括减弱所述第一音频信号的音量或者增大所述第一音频信号的视在声源距离。
10.根据权利要求9所述的方法，其中，所述第一音频信号在预定时间长度内被空间处理以供在所述第二音场分区中感知，其中，所述方法进一步包括：响应于所述预定时间长度流逝，中止为了在所述第二音场分区中感知而对所述第一音频信号的空间处理。
11.根据权利要求8所述的方法，其中，所述音频输出设备通信耦合至至少一个骨传导换能器BCT设备，其中，经由所述至少一个BCT设备，所述第一音频信号能够在所述第二音场分区中感知并且所述第二音频信号能够在所述第一音场分区中感知。
12.根据权利要求8所述的方法，其中，在确定所述第二音频信号的播出具有所述更高优先级之前，所述第一音频信号被空间处理以供在所述第一音场分区中感知，使得为了在所述第二音场分区中感知而对所述第一音频信号的后续空间处理将所述第一音频信号的视在声源位置从所述第一音场分区移动至所述第二音场分区。
13.根据权利要求8所述的方法，其中，对所述第一音频信号或所述第二音频信号进行空间处理包括：根据环绕声算法或头相关传输函数(HRTF)来调节相应音频信号的耳间声强差(ILD)和耳间时间差(ITD)。
14.根据权利要求8所述的方法，其中，所述操作进一步包括：
经由至少一个传感器检测用户活动的场境指示，其中，确定所述通知比第一音频信号的播出具有更高优先级是基于所检测的所述用户活动的场境指示。
15.一种方法，包括：
利用第一音频信号驱动计算设备的音频输出设备；
经由至少一个麦克风接收音频信息；
基于所接收到的音频信息来确定用户话音；以及
响应于确定用户话音：
对所述第一音频信号进行空间处理以供在音场分区中感知；以及
利用经空间处理的第一音频信号驱动所述音频输出设备，使得所述第一音频信号能够在所述音场分区中感知。
16.根据权利要求15所述的方法，其中，所述至少一个麦克风包括麦克风阵列，所述方法进一步包括：由所述麦克风阵列将收听波束指向所述计算设备的用户，其中，确定用户话音进一步包括确定所述音频信息的信噪比高于阈值比率。
17.根据权利要求15所述的方法，其中，所述音频输出设备通信耦合至至少一个骨传导换能器BCT设备，其中，所述第一音频信号能够经由所述BCT设备在所述音场分区中感知。
18.根据权利要求15所述的方法，其中，为了在音场分区中感知而对所述第一音频信号进行空间处理包括减弱所述第一音频信号的音量或者增大所述第一音频信号的视在声源距离。
19.根据权利要求15所述的方法，其中，为了在音场分区中感知而对所述第一音频信号进行空间处理包括在预定时间长度内对所述第一音频信号执行空间处理，其中，所述方法进一步包括响应于所述预定时间长度流逝，中止为了在所述音场分区中感知而对所述第一音频信号的空间处理。
20.根据权利要求15所述的方法，其中，为了在音场分区中感知而对所述第一音频信号进行空间处理包括：根据环绕声算法或头相关传输函数(HRTF)来调节所述第一音频信号的耳间声强差(ILD)和耳间时间差(ITD)，从而将所述第一音频信号的视在声源位置从第一音场分区移动至第二音场分区。
CN201780003252.1A 2016-03-03 2017-03-03 用于空间音频调节的系统和方法 Active CN108141696B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/059,949 US9774979B1 (en) 2016-03-03 2016-03-03 Systems and methods for spatial audio adjustment
US15/059,949 2016-03-03
PCT/US2017/020682 WO2017152066A1 (en) 2016-03-03 2017-03-03 Systems and methods for spatial audio adjustment

Publications (2)

Publication Number Publication Date
CN108141696A true CN108141696A (zh) 2018-06-08
CN108141696B CN108141696B (zh) 2021-05-11

Family

ID=59722960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003252.1A Active CN108141696B (zh) 2016-03-03 2017-03-03 用于空间音频调节的系统和方法

Country Status (4)

Country Link
US (2) US9774979B1 (zh)
EP (1) EP3424229B1 (zh)
CN (1) CN108141696B (zh)
WO (1) WO2017152066A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091848A (zh) * 2019-11-25 2020-05-01 重庆爱奇艺智能科技有限公司 一种用于预测头部姿态的方法和装置
CN113543012A (zh) * 2020-04-17 2021-10-22 诺基亚技术有限公司 提供空间音频信号
CN113614685A (zh) * 2019-03-19 2021-11-05 皇家飞利浦有限公司 音频装置及其方法
CN116700659A (zh) * 2022-09-02 2023-09-05 荣耀终端有限公司 一种界面交互方法及电子设备

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
US9800990B1 (en) * 2016-06-10 2017-10-24 C Matter Limited Selecting a location to localize binaural sound
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
US11222366B2 (en) 2016-10-20 2022-01-11 Meta Platforms, Inc. Determining accuracy of a model determining a likelihood of a user performing an infrequent action after presentation of content
JP7175281B2 (ja) * 2017-03-28 2022-11-18 マジック リープ， インコーポレイテッド ユーザ走査仮想オブジェクトに関係している空間化されたオーディオを用いる拡張現実システム
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10531196B2 (en) * 2017-06-02 2020-01-07 Apple Inc. Spatially ducking audio produced through a beamforming loudspeaker array
US10070224B1 (en) * 2017-08-24 2018-09-04 Oculus Vr, Llc Crosstalk cancellation for bone conduction transducers
GB2567459B (en) 2017-10-12 2019-10-09 Ford Global Tech Llc A vehicle cleaning system and method
WO2019087646A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3506661A1 (en) * 2017-12-29 2019-07-03 Nokia Technologies Oy An apparatus, method and computer program for providing notifications
TWI647954B (zh) * 2018-01-04 2019-01-11 中華電信股份有限公司 動態調整串流播放的系統及方法
US10390171B2 (en) 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking
EP3593198B1 (en) 2018-03-07 2023-03-08 Magic Leap, Inc. Visual tracking of peripheral devices
US11343613B2 (en) 2018-03-08 2022-05-24 Bose Corporation Prioritizing delivery of location-based personal audio
US10659875B1 (en) * 2018-04-06 2020-05-19 Facebook Technologies, Llc Techniques for selecting a direct path acoustic signal
US10715909B1 (en) * 2018-04-06 2020-07-14 Facebook Technologies, Llc Direct path acoustic signal selection using a soft mask
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10237675B1 (en) * 2018-05-22 2019-03-19 Microsoft Technology Licensing, Llc Spatial delivery of multi-source audio content
US10777202B2 (en) * 2018-06-19 2020-09-15 Verizon Patent And Licensing Inc. Methods and systems for speech presentation in an artificial reality world
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
US10966046B2 (en) * 2018-12-07 2021-03-30 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11039265B1 (en) 2019-12-13 2021-06-15 Bose Corporation Spatialized audio assignment
US11729549B2 (en) * 2019-12-30 2023-08-15 Harman International Industries, Incorporated Voice ducking with spatial speech separation for vehicle audio system
US11322150B2 (en) * 2020-01-28 2022-05-03 Amazon Technologies, Inc. Generating event output
EP4124067A4 (en) * 2020-04-30 2024-04-10 Shenzhen Shokz Co Ltd SOUND OUTPUT DEVICE, SOUND PICTURE ADJUSTMENT METHOD AND VOLUME ADJUSTMENT METHOD
US11810578B2 (en) * 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11200876B2 (en) * 2020-05-14 2021-12-14 Bose Corporation Activity-based smart transparency
US11553313B2 (en) 2020-07-02 2023-01-10 Hourglass Medical Llc Clench activated switch system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220103199A1 (en) * 2020-09-29 2022-03-31 Sonos, Inc. Audio Playback Management of Multiple Concurrent Connections
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
EP4291969A1 (en) 2021-02-12 2023-12-20 Hourglass Medical LLC Clench-control accessory for head-worn devices
EP4327186A1 (en) * 2021-04-21 2024-02-28 Hourglass Medical LLC Methods for voice blanking muscle movement controlled systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223604A1 (en) * 2002-05-28 2003-12-04 Kabushiki Kaisha Toshiba Audio output apparatus having a wireless communication function, and method of controlling sound-source switching in the apparatus
CN101461258A (zh) * 2006-06-07 2009-06-17 高通股份有限公司 用于混合音频的混合技术
US20100092007A1 (en) * 2008-10-15 2010-04-15 Microsoft Corporation Dynamic Switching of Microphone Inputs for Identification of a Direction of a Source of Speech Sounds
US8190438B1 (en) * 2009-10-14 2012-05-29 Google Inc. Targeted audio in multi-dimensional space
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19946022A1 (de) * 1999-09-25 2001-04-26 Bosch Gmbh Robert Steuerungsvorrichtung und -verfahren zur Festlegung einer Informationsausgabe-Rangfolge mehrerer Informationsquellen, insbesondere Audioquellen
US20050222844A1 (en) * 2004-04-01 2005-10-06 Hideya Kawahara Method and apparatus for generating spatialized audio from non-three-dimensionally aware applications
US7853649B2 (en) 2006-09-21 2010-12-14 Apple Inc. Audio processing for improved user experience
US8902272B1 (en) 2008-11-24 2014-12-02 Shindig, Inc. Multiparty communications systems and methods that employ composite communications
WO2011044064A1 (en) * 2009-10-05 2011-04-14 Harman International Industries, Incorporated System for spatial extraction of audio signals
WO2012140525A1 (en) 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
WO2012164153A1 (en) 2011-05-23 2012-12-06 Nokia Corporation Spatial audio processing apparatus
US8783099B2 (en) * 2011-07-01 2014-07-22 Baker Hughes Incorporated Downhole sensors impregnated with hydrophobic material, tools including same, and related methods
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
WO2013142641A1 (en) 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Placement of sound signals in a 2d or 3d audio conference
US10219093B2 (en) 2013-03-14 2019-02-26 Michael Luna Mono-spatial audio processing to provide spatial messaging
US20140363002A1 (en) * 2013-06-09 2014-12-11 DSP Group Indication of quality for placement of bone conduction transducers
US8989417B1 (en) 2013-10-23 2015-03-24 Google Inc. Method and system for implementing stereo audio using bone conduction transducers
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223604A1 (en) * 2002-05-28 2003-12-04 Kabushiki Kaisha Toshiba Audio output apparatus having a wireless communication function, and method of controlling sound-source switching in the apparatus
CN101461258A (zh) * 2006-06-07 2009-06-17 高通股份有限公司 用于混合音频的混合技术
US20100092007A1 (en) * 2008-10-15 2010-04-15 Microsoft Corporation Dynamic Switching of Microphone Inputs for Identification of a Direction of a Source of Speech Sounds
US8190438B1 (en) * 2009-10-14 2012-05-29 Google Inc. Targeted audio in multi-dimensional space
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113614685A (zh) * 2019-03-19 2021-11-05 皇家飞利浦有限公司 音频装置及其方法
CN113614685B (zh) * 2019-03-19 2023-10-20 皇家飞利浦有限公司 音频装置及其方法
CN111091848A (zh) * 2019-11-25 2020-05-01 重庆爱奇艺智能科技有限公司 一种用于预测头部姿态的方法和装置
CN111091848B (zh) * 2019-11-25 2022-09-30 重庆爱奇艺智能科技有限公司 一种用于预测头部姿态的方法和装置
CN113543012A (zh) * 2020-04-17 2021-10-22 诺基亚技术有限公司 提供空间音频信号
US11627429B2 (en) 2020-04-17 2023-04-11 Nokia Technologies Oy Providing spatial audio signals
CN116700659A (zh) * 2022-09-02 2023-09-05 荣耀终端有限公司 一种界面交互方法及电子设备
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备

Also Published As

Publication number Publication date
CN108141696B (zh) 2021-05-11
WO2017152066A1 (en) 2017-09-08
EP3424229B1 (en) 2022-10-26
EP3424229A1 (en) 2019-01-09
US9774979B1 (en) 2017-09-26
US20170257723A1 (en) 2017-09-07
EP3424229A4 (en) 2019-10-23
US20180020313A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
CN108141696A (zh) 用于空间音频调节的系统和方法
US10257637B2 (en) Shoulder-mounted robotic speakers
US20150326963A1 (en) Real-time Control Of An Acoustic Environment
JP2019523607A (ja) 空間化オーディオを用いた複合現実システム
US20230300532A1 (en) Fully customizable ear worn devices and associated development platform
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
CN106664488A (zh) 根据所跟踪的用户位置来驱动参量扬声器
US10496360B2 (en) Emoji to select how or where sound will localize to a listener
EP2839675A1 (en) Auto detection of headphone orientation
US20220180889A1 (en) Audio bandwidth reduction
CN110677781B (zh) 利用编码光线引导扬声器阵列和麦克风阵列的系统和方法
US20230247384A1 (en) Information processing device, output control method, and program
US20200174805A1 (en) True wireless headphones with improved user interface to an experiential eco-system and related devices, methods, and systems
US20220122630A1 (en) Real-time augmented hearing platform
US10820132B2 (en) Voice providing device and voice providing method
CN114339582A (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
US11163522B2 (en) Fine grain haptic wearable device
WO2024040527A1 (en) Spatial audio using a single audio device
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体
Tikander Development and evaluation of augmented reality audio systems
KR20220043088A (ko) 사운드 생성 방법 및 이를 수행하는 장치들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant