CN117897970A - 用于通信的增强音频 - Google Patents
用于通信的增强音频 Download PDFInfo
- Publication number
- CN117897970A CN117897970A CN202280057271.3A CN202280057271A CN117897970A CN 117897970 A CN117897970 A CN 117897970A CN 202280057271 A CN202280057271 A CN 202280057271A CN 117897970 A CN117897970 A CN 117897970A
- Authority
- CN
- China
- Prior art keywords
- audio
- environment
- data
- mutual
- audio environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title description 64
- 238000000034 method Methods 0.000 claims abstract description 173
- 230000033001 locomotion Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 77
- 230000008859 change Effects 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 36
- 230000005236 sound signal Effects 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 19
- 238000013507 mapping Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 11
- 230000003068 static effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000000386 athletic effect Effects 0.000 description 4
- 229920005994 diacetyl cellulose Polymers 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000012814 acoustic material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
Abstract
一种设备包括一个或多个处理器,其被配置基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构。一个或多个处理器还被配置为基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
Description
相关申请的交叉引用
本申请要求享有于2021年8月31日提交的共有美国非临时专利申请第17/446,498号的优先权的权益,该美国非临时专利申请的内容通过引用以其整体明确并入本文。
技术领域
本公开总体上涉及用于通信的增强音频。
背景技术
随着技术的进步,越来越多的计算环境并入扩展现实(“XR”,例如,虚拟现实、增强现实、混合现实等)的元素。在XR环境中,一个或多个虚拟或计算机生成的元素可以存在于用户的计算环境中。用户的计算环境还可以包括来自用户实际现实的一个或多个元素。
技术进步已经导致计算设备更小且功能更强大。例如,目前存在多种便携式个人计算设备,包括无线电话(例如,移动电话和智能电话)、平板计算机和膝上型计算机,它们小型、重量轻且易于由用户携带。这些设备可以通过无线网络通信语音和数据分组。此外,许多这样的设备并入附加功能,例如,数字相机、数字摄像机、数字记录器和音频文件播放器。而且,此类设备可以处理可执行指令,包括可以用于访问互联网的软件应用,例如,web浏览器应用。因此,这些设备可以包括重要的计算能力,包括例如使设备的用户能够与XR环境交互的多媒体系统。
让用户对XR环境的体验逼真并与用户的真实世界物理环境无缝融合可能具有挑战性。例如,两种环境之间的声学特性的差异可能导致向用户输出的声音似乎不自然。
发明内容
在特定方面,一种设备包括存储指令的存储器以及耦合到存储器的一个或多个处理器。一个或多个处理器被配置为执行指令用于:基于描述两个或更多个音频环境的数据,来确定相互音频环境(mutual audio environment)的几何结构。一个或多个处理器还被配置为:基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
在特定方面,一种方法包括:基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构。该方法还包括:基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
在特定方面,一种非暂时性计算机可读存储介质包括指令,该指令在由处理器执行时,使处理器进行以下操作:基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构。该指令在由处理器执行时,还使处理器进行以下操作:基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
在特定方面,一种用于通信的装置包括:用于基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构的单元。该装置还包括:用于基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出的单元。
本公开的其他方面、优点和特征将在阅读整个申请后变得明显,申请包括以下部分:附图说明、具体实施方式和权利要求书。
附图说明
图1是根据本公开的一些示例的包括被配置为增强音频以用于通信的设备的系统的示例的框图。
图2是根据本公开的一些示例的多个无线设备的示例的框图,该多个无线设备使用RF感测技术来检测在多个音频环境内的对象以生成音频环境的映射。
图3是示出根据本公开的一些示例的可以包括一个或多个无线设备的室内环境的图,该一个或多个无线设备被配置为执行RF感测以创建用于增强通信的室内地图。
图4A示出了根据本公开的一些示例的包括第一音频环境、第二音频环境和虚拟的相互音频环境的第一示例性音频环境配置。
图4B示出了根据本公开的一些示例的包括第一音频环境、第二音频环境和虚拟的相互音频环境的第二示例性音频环境配置。
图4C示出了根据本公开的一些示例的包括第一音频环境、第二音频环境和虚拟的相互音频环境的第三示例性音频环境配置。
图4D示出了根据本公开的一些示例的包括第一音频环境、第二音频环境和虚拟的相互音频环境的第四示例性音频环境配置。
图5是根据本公开的一些示例的用于增强音频以用于通信的方法的示例的流程图。
图6是根据本公开的一些示例的用于增强音频以用于通信的方法的另一示例的流程图。
图7是示出根据本公开的一些示例的图1的设备的特定示例的框图。
图8示出了根据本公开的一些示例的并入图1的设备的方面的交通工具。
图9示出了根据本公开的一些示例的并入图1的设备的方面的头戴式耳机。
图10示出了根据本公开的一些示例的并入图1的设备的方面的可穿戴电子设备。
图11示出了根据本公开的一些示例的并入图1的设备的方面的语音控制的扬声器系统。
图12示出了根据本公开的一些示例的并入图1的设备的方面的相机。
图13示出了根据本公开的一些示例的并入图1的设备的方面的移动设备。
图14示出了根据本公开的一些示例的并入图1的设备的方面的助听器设备。
图15示出了根据本公开的一些示例的并入图1的设备的方面的航空设备。
图16示出了根据本公开的一些示例的并入图1的设备的方面的头戴式耳机。
图17示出了根据本公开的一些示例的并入图1的设备的方面的家电。
图18是根据本公开的一些示例的用于增强音频以用于通信的方法的另一示例的流程图。
具体实施方式
用于在XR环境中提供一个或多个虚拟声源的系统可以以一种对用户来说与用户在用户真实环境内对声源的体验相比不自然的方式生成声音。例如,当前系统不考虑用于不同交互用户的不同声学环境,当前系统也不考虑用户在XR环境内相对于虚拟声源的移动。
所公开的系统和方法基于描述用于两个或更多个用户的两个或更多个音频环境的数据来确定相互音频环境的几何结构。所公开的系统和方法然后可以基于相互音频环境的几何结构来处理来自两个或更多个用户的音频数据,以在被设置在每个音频环境中的音频设备处输出。例如,所公开的系统和方法使用每个用户的网络环境的各种组件(例如,用户的路由器、计算设备等)来确定每个用户的音频环境的几何结构和/或每个用户在他/她的音频环境内的位置和定向(orientation)。所公开的系统和方法然后可以基于每个用户的音频环境的几何结构为所有用户生成虚拟的相互音频环境,然后基于该虚拟的相互音频环境的几何结构来处理每个用户的音频数据。
下面参考附图描述本公开的特定方面。在描述中,共同的特征由共同的附图标记表示。如本文所使用的,各种术语仅用于描述特定实现方式的目的,并且不旨在限制实现方式。例如,除非上下文另有明确说明,否则单数形式“一(a)”、“一(an)”和“该(the)”也旨在包括复数形式。此外,本文描述的一些特征在一些实现方式中是单数的并且在其他实现方式中是复数的。为了说明,图1描绘了包括一个或多个处理器(例如,图1中的处理器102)的设备100,这在指示一些实现方式中,设备100包括单个处理器102,而在其他实现方式中,设备100包括多个处理器102。为了便于在本文中参考,这种特征通常作为“一个或多个”特征引入,并且随后以单数或可选的复数(通常由以“(s)”结尾的术语表示)来指代,除非正在描述与多个特征相关的方面。
术语“包括(comprise)”、“包括(comprises)”和“包括(comprising)”在本文中可与“包含(include)”、“包含(includes)”或“包含(including)”互换使用。此外,术语“其中(wherein)”可与“其中(where)”互换使用。如本文所使用的,“示例性”指示示例、实现方式和/或方面,并且不应被解释为限制或指示偏好或优选实现方式。如本文所使用的,用于修饰元素(例如,结构、组件、操作等)的序数术语(例如,“第一”、“第二”、“第三”等)本身并不表示元素相对于另一元素的任何优先级或次序,而只是将该元素与具有相同名称的另一元素区分开来(但为了使用序数术语)。如本文所使用的,术语“集合”指代特定元素中的一个或多个,而术语“多个”指代特定元素中的多个(例如,两个或更多个)。
如本文所使用的,“耦合”可以包括“通信地耦合”、“电耦合”或“物理耦合”,并且还可以(或替代地)包括其任何组合。两个设备(或组件)可以直接耦合(例如,通信地耦合、电耦合或物理耦合)或经由一个或多个其他设备、组件、电线、总线、网络(例如,有线网络、无线网络或其组合)等间接耦合。作为说明性的非限制性示例,电耦合的两个设备(或组件)可以包含于同一设备或不同设备中,并且可以经由电子件、一个或多个连接器或电感耦合连接。在一些实现方式中,例如在电通信中的通信地耦合的两个设备(或组件)可以直接发送和接收电信号(数字信号或模拟信号),或例如经由一条或多条电线、总线、网络等间接地发送和接收电信号。如本文所使用的,“直接耦合”指代在没有中间组件的情况下两个设备耦合(例如,通信地耦合、电耦合或物理耦合)。
在本公开中,可以使用诸如“确定”、“计算”、“估计”、“移动”、“调整”等之类的术语来描述如何执行一个或多个操作。应当注意,这些术语不应被解释为限制性的,并且可以利用其他技术来执行类似的操作。此外,如本文所提及的,“生成”、“计算”、“估计”、“使用”、“选择”、“访问”和“确定”可以可互换地使用。例如,“生成”、“计算”、“估计”或“确定”参数(或信号)可以指代主动生成、估计、计算或确定参数(或信号),或者可以指代使用、选择或访问已经生成的参数(或信号),例如,由另一组件或设备生成的参数(或信号)。
图1是根据本公开的一些示例的包括被配置为增强音频以用于通信的设备100的系统的示例的框图。设备100可以用于增强来自第一音频环境124的音频以在第二音频环境126中输出,其中第一音频环境124和第二音频环境126具有不同的物理几何结构。设备100可以增强来自第一音频环境124的音频,使得对于第二音频环境126的用户而言,该音频听起来就好像第一音频环境124和第二音频环境126具有相似的几何结构。
在一些实现方式中,设备100包括耦合到存储器104的一个或多个处理器102。处理器102被配置为:接收描述第一音频环境124的第一音频环境描述114;接收描述第二音频环境126的第二音频环境描述116;以及基于第一音频环境描述114和第二音频环境描述116来确定相互音频环境几何结构118,如下面进一步描述的。在一些实现方式中,处理器102还被配置为基于相互音频环境几何结构118来处理来自第一音频环境124的第一音频数据128和来自第二音频环境126的第二音频数据130,以生成处理后的第一音频数据170和处理后的第二音频数据168,如下面进一步描述的。
在一些实现方式中,处理器102还被配置为将处理后的第一音频数据170输出到第二音频环境126和/或将处理后的第二音频数据168输出到第一音频环境124。如下文进一步描述的,处理后的第一音频数据170可以使第二音频环境126中的用户134能够听到来自第一音频环境124的通信,就好像第一音频环境124和第二音频环境126具有实质上相似的声学属性一样,即使第一音频环境124和第二音频环境126的真实世界声学属性(例如,房间维度、材料等)是不同的。类似地,处理后的第二音频数据168可以使第一音频环境124中的用户132能够听到来自第二音频环境126的通信,就好像第一音频环境124和第二音频环境126具有实质上相似的声学属性一样。
在特定方面,设备100被设置在第一音频环境124或第二音频环境126内。例如,设备100可以包括、对应于或包含于由第一音频环境124中的用户132使用的用户设备152(例如,通信设备或计算设备)。在另一特定方面,设备100远离第一音频环境124和第二音频环境126。例如,设备100可以包括、对应于或包含于一个或多个服务器设备,该一个或多个服务器设备与设置在第一音频环境124中的用户设备152和设置在第二音频环境126中的用户设备154交互。
第一音频环境124具有基于例如第一音频环境124的物理维度(在本文中也称为第一音频环境124的几何结构)、构成第一音频环境124的物理材料、构成第一音频环境124的某些物理材料的声学材料和/或第一音频环境124的其他特性的特定声学属性。例如,第一音频环境可以是八英尺乘八英尺的会议室,其中墙壁由吸音系数为0.02的未上漆混凝土制成。
在一些实现方式中,第一音频环境124可以包括用户设备152。用户设备152可以包括、对应于或包含于通信设备或计算设备(例如,台式计算机、膝上型计算机、平板计算机、智能电话等)中。在一些实现方式中,用户设备152可以包括一个或多个输出组件160,例如,用于向第一音频环境124的用户132输出音频信号的扬声器。用户设备152还可以被配置为将传入的音频数据转换为音频信号以输出到用户132。例如,如下文进一步描述的,用户设备152可以将来自设备100的处理后的第二音频数据168转换为音频信号以输出到用户132。
在相同或替代实现方式中,用户设备152还可以包括一个或多个输入组件162,例如,用于从第一音频环境124的用户132接收音频信号的麦克风。用户设备152还可以被配置为将来自用户132的音频信号转换为描述音频信号的数据以输出到一个或多个其他计算和/或通信设备。例如,如下文进一步描述的,用户设备152可以将来自用户132的传入语音音频信号转换为第一音频数据128以通信到设备100。
第一音频环境124还可以包括一个或多个声源。声源可以包括可以生成用于通信到另一音频环境的音频信号的任何声源。在特定方面,声源可以包括或对应于用户132(例如,通过在电话会议期间说话或以其他方式制造噪声)、第一音频环境124中的其他人或动物、环境声源(例如,风吹得沙沙响的树叶、交通等)和/或第一音频环境中的其他设备。为了说明,两个或更多个用户可以存在于第一音频环境124中。作为另一说明性示例,第一音频环境124可以包括在音乐会中表演的多个乐器和/或歌手。用户设备152可以被配置为将描述声源的数据通信到设备100以供处理,如下面参考图3-6更详细描述的。
根据第一音频环境124的几何结构,来自第一音频环境124内的声源(例如,用户132)的音频信号可以行进无数路径从用户132到用户设备152。例如,如图1中示出的,来自用户132的音频信号可以行进第一声音路径156从用户132到用户设备152。示例性第一声音路径156在到达用户设备152之前从用户132反射,用户周围是构成第一音频环境124的多个物理墙壁。同样,来自用户设备152的输出音频信号可以行进示例性第一声音路径156,在到达用户132之前在构成第一音频环境124的多个物理墙壁周围反射。取决于在第一音频环境124中声音所进行的路径,声音的声学属性可以改变。例如,音频信号可以具有一定量的混响。与音频信号相关联的混响可以包括“早期”混响和“后期”混响。在特定示例中,早期混响可以包括听众在声音起源的阈值时间(例如,3-4毫秒)内听到的音频反射。后期混响可以包括听众在早期混响的阈值时间之外但在声音起源的较长阈值时间(例如,从4到20毫秒)内听到的音频反射。
给定相对恒定的声速,音频信号穿过第一音频环境124所花费的时间的长度可以取决于第一音频环境124的物理维度而改变。因此,与音频信号相关联的混响的量和类型可以改变。当第一音频环境124中的用户132听到与音频信号相关联的混响时,用户对音频信号的体验可以基于第一音频环境124的几何结构而改变。
第二音频环境126具有基于例如第二音频环境126的物理维度(在本文中也称为第二音频环境126的几何结构)、构成第二音频环境126的物理材料、构成第二音频环境126的某些物理材料的声学材料和/或第二音频环境126的其他数据特性的特定声学属性。例如,第二音频环境可以是八英尺乘十二英尺的会议室,其中墙壁由吸音系数为0.1的涂漆混凝土制成。
在一些实现方式中,第二音频环境126还可以包括用户设备154。用户设备154可以包括、对应于或包含于通信设备或计算设备(例如,台式计算机、膝上型计算机、平板计算机、智能电话等)中。在一些实现方式中,用户设备154可以包括一个或多个输出组件166,例如,用于向第二音频环境126的用户134输出音频信号的扬声器。用户设备154还可以被配置为将传入的音频数据转换为音频信号以输出到用户134。例如,如下文进一步描述的,用户设备154可以将来自设备100的处理后的第一音频数据170转换为音频信号以输出到用户134。
在相同或替代实现方式中,用户设备154还可以包括一个或多个输入组件164,例如,用于从第二音频环境126的用户134接收音频信号的麦克风。用户设备154还可以被配置为将来自用户134的音频信号转换为描述音频信号的数据以输出到一个或多个其他计算和/或通信设备。例如,如下文进一步描述的,用户设备154可以将来自用户134的传入语音音频信号转换为第二音频数据130以通信到设备100。
第二音频环境126还可以包括一个或多个声源。声源可以包括可以生成用于通信到另一音频环境的音频信号的任何声源。在特定方面,声源可以包括或对应于用户134(例如,通过在电话会议期间说话或以其他方式制造噪声)、第二音频环境126中的其他人或动物、环境声源(例如,风吹得沙沙响的树叶、交通等)和/或第二音频环境中的其他设备。为了说明,两个或更多个用户可以存在于第二音频环境126中。作为另一说明性示例,第二音频环境126可以包括在音乐会中表演的多个乐器和/或歌手。用户设备154可以被配置为将描述声源的数据通信到设备100以供处理,如下面参考图3-6更详细描述的。
根据第二音频环境126的几何结构,来自第二音频环境126内的声源(例如,用户134)的音频信号可以行进无数路径从用户134到用户设备154。例如,如图1中示出的,来自用户134的音频信号可以行进第二声音路径158从用户134到用户设备154。示例性第二声音路径158在到达用户设备154之前从用户134反射,用户周围是构成第二音频环境126的多个物理墙壁。同样,来自用户设备154的输出音频信号可以行进示例性第二声音路径158,在到达用户134之前在构成第二音频环境126的多个物理墙壁周围反射。
给定相对恒定的声速,音频信号穿过第二音频环境126所花费的时间的长度可以取决于第二音频环境126的物理维度而改变。因此,与音频信号相关联的混响的量和类型可以改变。当第二音频环境126中的用户132听到与音频信号相关联的混响时,用户对音频信号的体验可以基于第二音频环境126的几何结构而改变。
在一些实现方式中,第一音频环境124的用户132和第二音频环境126的用户134也可以在他/她相应的音频环境内物理地四处移动。例如,用户132可以在音频环境的物理维度内四处移动(例如,踱步、移动到房间的前面等)。作为附加示例,用户132可以在音频环境内物理地移动他/她的身体的一部分(例如,转动他/她的头、面向声源、转离声源等)。
在音频环境内的物理移动可以是用户132与音频环境交互的自然部分。然而,物理移动可以改变用户相对于音频环境内的一个或多个声源的位置和/或定向。改变用户相对于音频环境内的一个或多个声源的位置和/或定向可以改变用户体验声源的方式。例如,用户可以期望当用户靠近声源时声源应该变得更响亮,而当用户远离声源时声源应该变得更安静。跟踪用户在音频环境内的移动可以用于在多用户通信中提供更自然的增强音频,如下面进一步描述的。
在一些实现方式中,用户设备152可以将第一音频环境描述114通信到设备100。第一音频环境描述114可以包括描述以下各项的数据:第一音频环境124内的一个或多个声源、第一音频环境124的几何结构、用户132在第一音频环境124内的用户定向、用户132在第一音频环境124内的用户运动、声源在第一音频环境124内的位置的指示和/或虚拟现实对象、增强现实对象、混合现实对象和/或扩展现实对象在第一音频环境124内的位置。在相同或替代实现方式中,第一音频环境描述114可以包括描述以下各项的数据:第一音频环境124的混响特性、第一音频环境124内的特定特征的位置(例如,显示屏的位置)等。在其他示例中,第一音频环境描述114包括的信息少于图1所示的信息。例如,当第一音频环境124包括固定工作站时,可以省略描述在第一音频环境124内的用户运动的数据。
在一些实现方式中,用户设备152可以将第二音频环境描述116通信到设备100。第二音频环境描述116可以包括描述以下各项的数据:第二音频环境126内的一个或多个声源、第二音频环境126的几何结构、用户132在第二音频环境126内的用户定向、用户132在第二音频环境126内的用户运动、声源在第二音频环境126内的位置的指示和/或虚拟现实对象、增强现实对象、混合现实对象和/或扩展现实对象在第二音频环境126内的位置。在相同或替代实现方式中,第二音频环境描述116可以包括描述以下各项的数据:第二音频环境126的混响特性、第二音频环境126内的特定特征的位置(例如,显示屏的位置)等。在其他示例中,第二音频环境描述116包括的信息少于图1所示的信息。例如,当第二音频环境126包括固定工作站时,可以省略描述在第二音频环境126内的用户运动的数据。
在一些实现方式中,第一音频环境描述114和第二音频环境描述116描述了可以具有不同声学属性的相应的音频环境。例如,第一音频环境124和第二音频环境126可以具有不同的物理维度、不同的声学属性等。因此,如上面所指出的,第一音频环境124的用户132和第二音频环境126的用户134可以具有不同的体验和/或与在他/她的相应的音频环境内的音频信号相关联的期望。
在一些实现方式中,处理器102可以被配置为针对在特定通信中的所有用户选择虚拟的相互音频环境。例如,相互音频环境选择器110可以使用第一音频环境描述114和第二音频环境描述116来选择具有不对应于第一音频环境124和/或第二音频环境126的相互音频环境几何结构118的虚拟的相互音频环境。处理器102还可以被配置为处理来自第一音频环境124和第二音频环境126内的声源的音频,使得用户132和134听到音频就好像音频起源于虚拟的相互音频环境内,而不是来自不同的物理第一音频环境124和/或第二音频环境126。
作为说明性示例,图1示出了对虚拟的相互音频环境的选择。图1示出了第一示例性XR环境136和第二示例性XR环境142。提供第一XR环境136和第二XR环境142是为了帮助理解而不旨在限制本公开的范围。下面参考图4A-4D更详细地描述基于第一音频环境描述114和第二音频环境描述116来确定相互音频环境几何结构118的其他示例性配置。在图1中,基于第一音频环境描述114,第一示例性XR环境136通常对应于第一音频环境124。基于第二音频环境描述116,第二示例性XR环境142通常对应于第二音频环境126。
第一示例性XR环境136示出了第一音频环境124的几何结构138,而第二示例性XR环境142示出了第二音频环境126的几何结构144。声音路径146和148示出了由声源生成的不同路径声音可以分别在第一音频环境124和第二音频环境126内。如上面所指出的,不同的声音路径可能导致具有不同声学属性(例如,混响)的音频信号。例如,与起源于第一音频环境124的音频信号相关联的混响对于第二音频环境126中的用户来说听起来不自然,反之亦然。
基于第一音频环境描述114和第二音频环境描述116,处理器102可以选择在第一音频环境124和第二音频环境126两者内使用的相互音频环境几何结构118。图1示出了第一示例性XR环境136和第二示例性XR环境142内的示例性相互音频环境140。如下文进一步描述的,处理器102可以改变来自第一音频环境124和第二音频环境126的音频数据以听起来就好像音频信号起源于示例性相互音频环境140。对于在第一示例性XR环境136或第二示例性XR环境142内的用户,音频信号可以听起来就好像它遵循第三声音路径150,这可能对用户来说听起来更自然。
提供第一XR环境136和第二XR环境142是为了帮助理解而不旨在限制本公开的范围。下面参考图4更详细地描述基于第一音频环境描述114和第二音频环境描述116确定相互音频环境几何结构118的其他示例性配置。
在一些实现方式中,处理器102可以从第一音频环境124和/或第二音频环境126接收和存储第一音频数据128和/或第二音频数据130(例如,作为音频数据106)。处理器102还可以被配置为通过改变接收到的音频数据的声学属性来处理音频数据106以匹配相互音频环境几何结构118。例如,处理器102可以去除与原始音频信号相关联的混响。然后,处理器可以对与示例性相互音频环境140的几何结构相关联的混响进行建模,以生成和存储模拟混响108。
如下文参考图6和图18更详细描述的,除了识别与在音频数据的原始音频环境中的音频数据相关联的混响之外,处理器102可以被配置为模拟与虚拟的相互音频环境中的音频数据相关联的混响。这可以包括例如经由音频数据的快速傅立叶变换卷积与针对相互音频环境的模拟脉冲响应来对早期反射进行建模。对后期反射进行建模可以包括将一个或多个梳状(comb)和/或全通无限脉冲响应滤波器应用于音频数据。
在一些实现方式中,混响数据可以包括方向性信息以及频率响应。方向性信息可以指示混响反射相对于相互音频环境几何结构118的各种方面的起源的方向。例如,方向性信息可以指示混响反射是否从虚拟的相互音频环境的一个或多个“墙壁”入射到用户。频率响应可以指示音频信号的哪些频率(如果有的话)在某个时间点正在反射。如以下参考图6和图18更详细描述的,处理音频数据可以包括在相互音频环境几何结构118内模拟混响。与模拟混响108相关联的数据可以存储在存储器104处。
在一些实现方式中,处理音频数据106可以包括向音频数据106添加、去除和/或修改与声源相关联的方向性信息。在特定配置中,方向性信息可以与模拟混响108分开存储或作为模拟混响108的一部分存储。在相同或替代实现方式中,处理音频数据106可以包括改变与音频数据的一个或多个音频分量相关联的频率范围。例如,处理器102可以被配置为改变在某个时间点反射的音频信号的一个或多个频率。在特定配置中,频率范围修改可以与模拟混响108分开存储或作为模拟混响108的一部分存储。
在一些实现方式中,处理音频数据106还可以或可替代地包括应用一个或多个音频滤波器120以添加、去除、修改和/或增强音频数据106的一个或多个音频分量。如下面参考图6和图18更详细描述的,音频处理器112可以例如应用一个或多个最小均方滤波器以从代表原始音频信号的数据中去除混响。处理器102还可以例如应用一个或多个梳状和/或全通无限脉冲响应滤波器来模拟在相互音频环境内的后期混响,如下面参考图6和图18更详细地描述的。作为附加示例,处理器102可以应用一个或多个滤波器来减少和/或抑制与一个或多个音频环境相关联的背景噪声、增强一个或多个声源的声音质量、改变一个或多个声源的频率等等。作为另一示例,处理器102可以向音频信号添加和/或增强背景噪声以模拟不同的音频环境。
在一些实现方式中,处理器102然后可以在适当时将处理后的音频数据通信到第一音频环境124和/或第二音频环境126。在一些实现方式中,设备100可以通信处理后的音频数据,使得处理后的音频数据与模拟混响108进行卷积。在相同或替代的实现方式中,设备100可以分别通信处理后的音频数据和/或模拟混响108。
在一些实现方式中,设备100还可以被配置为将处理后的第一音频数据168和处理后的第二音频数据170通信回原始音频环境以输出到用户。例如,设备100可以被配置为将处理后的第一音频数据170通信到第一音频环境124,并且将处理后的第二音频数据168通信到第二音频环境124。用户设备152还可以被配置为将处理后的第一音频数据170输出到第一音频环境124的用户132,并且用户设备154还可以被配置为将处理后的第二音频数据168输出到第二音频环境126的用户134。在这样的实现方式中,用户132和/或134可以通过诸如耳机之类的输出组件160和/或166听到处理后的音频数据。例如,用户然后可以听到他们自己的声音,以及来自另一环境的音频输出,就好像两个音频源都起源于相同的音频环境一样。
在一些实现方式中,到一个或多个特定音频环境(例如,第一音频环境124和/或第二音频环境126)的通信可以经由一个或多个接口122发生。接口122可以例如是用于与特定音频环境进行通信的无线802.11接口和/或有线以太网接口。
虽然图1示出了某些实现方式,但在不脱离本公开的范围的情况下,其他实现方式也是可能的。例如,图1将示例性相互音频环境140示出为具有与第一示例性XR环境136不同的几何结构和与第二示例性XR环境142不同的定向。在其他实现方式中,相互音频环境140可以具有与单独的音频环境中的一个或多个音频环境相同的几何结构和/或定向。在相同或替代实现方式中,相互音频环境140可以具有与单独的音频环境中的一个或多个音频环境不同的声学属性(例如,声音衰减),同时具有与单独的音频环境中的一个或多个音频环境实质上相同的维度。下面参考图4A-4D更详细地描述其他示例性相互音频环境。在相同或替代实现方式中,设备100可以针对多于两个单独的音频环境选择相互音频环境几何结构118。
根据特定方面,设备100可以使用射频(“RF”)感测技术接收单独的音频环境的自动映射,以检测单独的音频环境内的对象。图2是多个无线设备200和224的示例的框图,该多个无线设备200和224使用RF感测技术来检测在多个音频环境124、126内的对象202和226以生成音频环境124、126的无线范围测量。在一些实现方式中,无线设备200和224可以是移动电话、无线接入点和/或包括至少一个RF接口的其他设备。
在一些实现方式中,无线设备200、224可以包括用于发射RF信号的一个或多个组件。此外,无线设备200、224可以包括用于接收数字信号或波形并将其转换为模拟波形的一个或多个数模转换器(“DAC”)204、228。从DAC 204、228输出的模拟信号可以被提供给一个或多个RF发射机(“RF TX”)206、230。RF发射机206、230中的每一个可以是Wi-Fi发射机、5G/新无线电(“NR”)发射机、BluetoothTM发射机或者能够发射RF信号的任何其他发射机(Bluetooth是Kirkland(Washington,USA)的Bluetooth SIG公司的注册商标)。
RF发射机206、230可以耦合到一个或多个发射天线212、236。在一些实现方式中,发射天线212、236中的每一个可以是能够在所有方向上发射RF信号的全向天线。例如,发射天线212可以是可以以360度辐射模式辐射Wi-Fi信号(例如,2.4GHz、5GHz、6GHz等)的全向Wi-Fi天线。在另一示例中,发射天线236可以是在特定方向上发射RF信号的定向天线。
在一些示例中,无线设备200、224还可以包括用于接收RF信号的一个或多个组件。例如,无线设备200可以包括一个或多个接收天线214,并且无线设备224可以包括一个或多个接收天线238。在一些示例中,接收天线214可以是能够从多个方向接收RF信号的全向天线。在其他示例中,接收天线238可以是被配置为从特定方向接收信号的定向天线。在进一步的示例中,发射天线212和接收天线214两者可以包括被配置作为天线阵列(例如,线性天线阵列、2维天线阵列、3维天线阵列或其任何组合)的多个天线(例如,元件)。
无线设备200、224还可以包括分别耦合到接收天线214、238的一个或多个RF接收机(“RF RX”)210、234。RF接收机210、234可以包括用于接收诸如Wi-Fi信号、BluetoothTM信号、5G/NR信号或任何其他RF信号之类的波形的一个或多个硬件和/或软件组件。在一些实现方式中,RF接收机210、234可以分别耦合到模数转换器(“ADC”)208、232。ADC 208、232可以被配置为将接收到的模拟波形转换为可以被提供给处理器的数字波形。
在一个示例中,无线设备200、224可以通过使传输波形216、240从发射天线212、236发射来实现RF感测技术。虽然传输波形216被示为单条线,但在一些实现方式中,传输波形216、240中的一个或多个可以通过全向发射天线在所有方向上发射。例如,传输波形216可以是由无线设备200中的Wi-Fi发射机发射的Wi-Fi波形。作为附加示例,传输波形216可以被实现为包括具有某些自相关属性的序列。例如,传输波形216可以包括单载波Zadoff序列和/或可以包括类似于正交频分复用(OFDM)和/或长训练场(LTF)符号的符号。
在一些技术中,无线设备200、224可以通过同时执行发射和接收功能来进一步实现RF感测技术。例如,无线设备200可以使其RF接收机210能够接收波形218,同时或接近同时,该无线设备200使RF发射机206能够发射传输波形216。波形218是传输波形216的从对象202反射的反射部分。
在一些示例中,包含于传输波形216中的序列或模式的传输可以被连续重复,使得该序列被发射特定次数和/或特定持续时间。例如,如果无线设备200在启用RF发射机206之后启用RF接收机210,则可以使用在传输波形216中重复传输模式来避免错过任何反射信号的接收。
通过实现同时发射和接收功能,无线设备200、224可以接收对应于传输波形216、240的任何信号。例如,无线设备200、224可以在无线设备200、224的特定检测范围内接收从反射器(例如,对象或墙壁)反射的信号,例如,分别从对象202和226反射的波形218、242。无线设备200、224还可以接收直接从发射天线212、236耦合到接收天线214、238而不从任何对象反射的泄漏信号(例如,分别为传输泄漏信号220和244)。在一些实现方式中,波形218、242中的一个或多个可以包括多个序列,这些序列对应于传输波形216、240中包括的序列的多个副本。在特定实现方式中,无线设备200、224可以组合由RF接收机210、234接收到的多个序列以改进信噪比。
无线设备200、224可以通过获得与对应于传输波形216、240的接收到的信号中的每一个相关联的RF感测数据来进一步实现RF感测技术。在一些示例中,RF感测数据可以包括基于与传输波形216、240的直接路径(例如,泄漏信号220、244)相关的数据以及与对应于传输波形216、240的反射路径(例如,波形218、242)相关的数据的信道状态信息(“CSI”)。
在一些技术中,RF感测数据(例如,CSI数据)可以包括可以用于确定传输波形216、240中的一个或多个如何从RF发射机206、230中的一个或多个传播到RF接收机210、234中的一个或多个的信息。RF感测数据可以包括对应于由于多径传播、散射、衰落和功率随距离衰减或其任何组合而对发射的RF信号产生的影响的数据。在一些示例中,RF感测数据可以包括在特定带宽上对应于频域中的每个音调的虚数据和实数据(例如,I/Q分量)。
在一些示例中,RF感测数据可以用于计算与反射波形(例如,波形218、242)相对应的距离和到达角。在进一步的示例中,RF感测数据还可以用于检测运动、确定位置、检测位置或运动模式的改变、获得信道估计、或其任何组合。在一些情况下,反射信号的距离和到达角可以用于识别周围环境中的反射器(例如,对象202、226)的大小和位置,以生成室内地图。在一些实现方式中,RF感测数据还可以用于识别可以从室内地图中省略的暂时性对象(例如,走过室内环境的人或宠物)。
无线设备200、224中的一个或多个还可以被配置为通过利用信号处理、机器学习算法、使用任何其他合适的技术或其任何组合,来计算对应于反射波形的距离和到达角(例如,对应于波形218、242中的一个或多个的距离和到达角)。在其他示例中,无线设备200、224中的一个或多个可以将RF感测数据发送到另一计算设备(例如,服务器),该计算设备可以执行计算以获得对应于波形218、242和/或其他反射波形中的一个或多个的距离和到达角。
在特定示例中,波形218、242中的一个或多个行进的距离可以通过测量从接收泄漏信号220、244到接收反射信号的时间差来计算。例如,无线设备200可以基于从无线设备200发射传输波形216的时间到其接收到泄漏信号220的时间的差(例如,传播延迟)来确定基线距离为零。无线设备200然后可以基于从无线设备200发射传输波形216的时间到其接收到波形218的时间的差来确定与波形218相关联的距离,然后可以根据与泄露信号220相关联的传播延迟来调整该距离。在这样做时,无线设备200可以确定波形218行进的距离,这可以用于确定引起反射的反射器(例如,对象202)的距离。
在附加示例中,波形218的到达角可以通过测量波形218在接收天线阵列(例如,接收天线214)的单独元件之间的到达时间差来计算。在一些示例中,可以通过测量在接收天线阵列中的每个元件处的接收相位差来计算到达时间差。
在另外的示例中,波形218的距离和到达角可以用于确定在无线设备200与对象202之间的距离以及对象202相对于无线设备200的位置。波形218的距离和到达角也可以用于确定引起反射的对象202的大小和形状。例如,无线设备200可以利用对应于波形218的计算出的距离和到达角来确定从对象202反射的传输波形216的点。无线设备200可以聚合各种反射信号的反射点以确定对象202的大小和形状。
在相同或替代的实现方式中,无线设备224可以被配置为实现类似于上面参考无线设备200描述的功能。例如,无线设备224还可以确定波形242行进的距离,该距离可以用于确定引起反射的反射器(例如,对象226)的距离。波形242是传输波形240的已经从对象226反射的反射部分。无线设备224还可以被配置为通过测量波形242在接收天线阵列(例如,接收天线238)的单独元件之间的到达时间差来计算波形242的到达角。无线设备224还可以被配置为使用波形242的距离和到达角来确定在无线设备224与对象226之间的距离,以及对象226相对于无线设备224的位置。
如上面所指出的,无线设备200、224可以包括移动设备,例如,智能电话、膝上型计算机、平板计算机等。在一些实现方式中,无线设备200、224中的一个或多个可以被配置为获得设备位置数据和设备定向数据以及RF感测数据。在特定实现方式中,设备位置数据和设备定向数据可以用于确定或调整反射信号(例如,波形218、242)的距离和到达角。例如,在RF感测过程期间,用户可能正拿着无线设备200并走过房间。在该实例中,无线设备200在它发射传输波形216时可能具有第一位置和第一定向,并且在它接收波形218时可能具有第二位置和第二定向。无线设备200在它处理RF感测信号以计算到达距离和到达角时可以考虑位置的改变和定向的改变。例如,可以基于与每个数据元素相关联的时间戳来使位置数据、定向数据和RF感测数据相关。在一些技术中,位置数据、定向数据和RF感测数据的组合可以用于确定对象202的大小和位置。
在一些实现方式中,设备位置数据可以由无线设备200、224中的一个或多个使用包括往返时间(“RTT”)测量、被动定位、到达角、接收信号强度指示器(“RSSI”)、CSI数据的技术、使用任何其他合适的技术或其任何组合来收集。在另外的示例中,设备定向数据可以从无线设备200、224上的电子传感器(例如,陀螺仪、加速度计、罗盘、磁力计、任何其他合适的传感器或其任何组合)获得。例如,无线设备200上的陀螺仪可以用于检测或测量无线设备200的定向的改变(例如,相对定向),并且罗盘可以用于检测或测量无线设备200的绝对定向。在一些实现方式中,无线设备200的位置和/或定向可以由图1的设备100使用以作为第一音频环境124的用户132的位置和/或定向的代理。类似地,无线设备224的位置和/或定向可以由图1的设备100使用以作为第二音频环境126的用户134的位置和/或定向的代理。
虽然图2示出了具有实质上相似配置的两个无线设备200、224,但是在不脱离本公开的范围的情况下可以使用多于两个的设备。此外,两个或更多个设备中的每一个可以被配置为使用不同的组件和/或特定实现方式来执行室内映射功能中的一些或所有。例如,在不脱离本公开的范围的情况下,无线设备200可以使用全向发射天线212,而无线设备224可以使用定向发射天线236。作为附加示例,无线设备224可以被配置为(例如,通过内部陀螺仪)跟踪移动数据,而无线设备200可以被配置为不跟踪移动数据。
在一些实现方式中,无线设备200、224可以被配置为将与第一音频环境124和第二音频环境126中的每一个相关联的映射数据通信到设备100。例如,无线设备200可以被配置为通信在第一音频环境124内的无线设备200与对象202之间的距离。在一些实现方式中,映射数据可以被通信到设备100作为第一音频环境描述114中的一些或全部。同样,无线设备224可以被配置为通信在第二音频环境126内的无线设备224与对象226之间的距离。在一些实现方式中,映射数据可以被通信到设备100作为第二音频环境描述116中的一些或全部。
如以上参考图1更详细描述的,设备100可以被配置为基于映射数据来确定相互音频环境的几何结构。在一些实现方式中,设备100还可以被配置为基于相互音频环境的几何结构来处理音频数据,以在被设置在第一音频环境124和第二音频环境126中的一个或多个音频设备处输出。在一些实现方式中,设备100可以被配置为将处理后的第二音频数据168通信到第一音频环境124,并且将处理后的第一音频数据170通信到第二音频环境126,如上面更详细描述的。
除了识别在第一音频环境124和第二音频环境126内的一个或多个对象202、226的位置之外,第一音频环境描述114和第二音频环境描述116还可以包括相应的音频环境的更彻底的映射。例如,除了识别信号反射对象的位置之外,音频环境描述还可以包括构成音频环境的墙壁的映射。图3是示出根据本公开的一些示例的室内环境300的图,该室内环境300可以包括被配置为执行RF感测以创建用于增强通信的室内地图的一个或多个无线设备。在一些示例中,室内环境300可以包括一个或多个无线设备302(例如,移动设备)和/或可以被配置为执行RF感测以创建室内环境300的室内地图的一个或多个静态无线设备(例如,接入点(“AP”)304)。
通常,室内环境300对应于图1的第一音频环境124。虽然图3示出了单个室内环境300,但在不脱离本公开的范围的情况下可以包括更多的室内环境。例如,设备100可以从室内环境300接收第一音频环境描述114并且从另一室内环境接收第二音频环境描述116。此外,虽然图3示出了单个无线设备302和单个AP 304,但在不脱离本公开的范围的情况下,室内环境300内可以存在更多、更少和/或不同的组件。例如,室内环境300可以包括一个或多个AP 304、一个或多个无线设备302、零个AP 304(和一个或多个无线设备302)和/或零个无线设备302(和一个或多个AP 304)。
图3示出了使用单个AP 304和单个无线设备302的室内环境300的示例性映射。在特定实现方式中,AP 304可以是在室内环境300内具有静态或固定位置的Wi-Fi接入点。虽然室内环境300被示为具有接入点(例如,AP 304),但是任何类型的静态无线设备(例如,台式计算机、无线打印机、相机、智能电视、智能电器等)都可以被配置为执行本文描述的技术。在一个示例中,AP 304可以包括可以被配置为同时发射和接收RF信号的硬件和/或软件组件,例如,本文关于图2的无线设备200描述的组件。例如,AP 304可以包括可以被配置为发射RF信号的一个或多个天线(例如,发射天线306)和可以被配置为接收RF信号的一个或多个天线(例如,接收天线308)。如关于无线设备200所指出的,AP 304可以包括被配置为从任何方向发射和接收信号的全向天线和/或天线阵列。
在一个方面,AP 304可以发送RF信号310,该RF信号310可以从位于室内环境300中的各种反射器(例如,位于场景内的静态或动态对象;诸如墙壁、天花板或其他障碍物之类的结构元素;和/或其他对象)反射。例如,RF信号310可以从墙壁322反射并导致反射信号312经由接收天线308被AP 304接收。在发射RF信号310时,AP 304也可以接收对应于从发射天线306到接收天线308的直接路径的泄漏信号314。
在一些实现方式中,AP 304可以获得与反射信号312相关联的RF感测数据。例如,RF感测数据可以包括对应于反射信号312的CSI数据。在特定实现方式中,AP 304可以使用RF感测数据来计算对应于反射信号312的距离D1和到达角θ1。例如,AP 304可以通过基于在泄漏信号314与反射信号312之间差或相移来计算反射信号312的飞行时间来确定距离D1。在相同或替代实现方式中,AP 304可以通过利用天线阵列接收反射信号并且测量天线阵列的元件处的接收相位差来确定到达角θ1。
在一些实现方式中,AP 304可以利用对应于一个或多个反射信号(例如,反射信号312)的距离D1和到达角θ1来识别墙壁322。在一些实现方式中,AP 304可以生成包括表示墙壁322的数据的室内环境300的地图(例如,作为第一音频环境描述114中的一些或全部)。在相同或替代实现方式中,AP 304可以向设备100通信用于修改室内环境300的地图的数据。此外,在相同或替代实现方式中,AP 304可以收集RF感测数据,并将RF感测数据提供给另一计算设备(例如,服务器),以处理反射信号的飞行时间和到达角的计算。
在一些实现方式中,室内环境300还可以包括无线设备302。虽然被示为智能电话,但是无线设备302可以包括、对应于或包含于任何类型的移动设备(例如,台式计算机、膝上型计算机、智能手表等)内。在特定实现方式中,无线设备302可以被配置为执行RF感测以创建或修改与室内环境300有关的室内地图。
在特定实现方式中,无线设备302可以使波形316A经由其RF发射机中的一个或多个被发射。图3示出了在第一时间(表示为“t1”)和第一位置(表示为“(x1,y1)”)发射波形316A的移动设备。在特定实现方式中,无线设备302可以在其进行RF感测时移动,使得无线设备302在稍后的第二时间(表示为“t2”)处于第二位置(表示为“(x2,y2)”)。在特定示例中,波形316A可以从对象320反射,并且无线设备302可以在时间t2接收得到的反射波形318A。在另一特定示例中,波形316A的波长可以使得波形316A穿透和/或穿过对象320,从而产生从墙壁324反射的波形316B。来自墙壁324的反射318B同样可以穿过对象320并导致反射波形318C在稍后的第三时间t3被无线设备302接收。
在一些实现方式中,无线设备302可以收集对应于反射波形318A和318C的RF感测数据。在另外的方面,无线设备302还可以捕获与波形316A被发射的时间(例如,t1)和/或反射波形318A被接收的时间(例如,t1)和反射波形318C被接收的时间(例如,t3)相对应的设备位置数据和设备定向数据。
在一些实现方式中,无线设备302可以利用RF感测数据来计算反射波形318A和318C中的每一个的飞行时间和到达角。在进一步的示例中,无线设备302可以利用位置数据和定向数据来说明设备在RF感测过程期间的移动。在特定实现方式中,无线设备302可以利用反射波形318A、318C中的一个或多个的飞行时间和到达角来估计在反射波形由无线设备302接收的时间的无线设备的位置(例如,x2、x3等)。无线设备302可以被配置为基于例如在无线设备在第一时间的位置估计(例如,x2)与无线设备302在第二时间的位置估计(例如,x3)之间的差来估计无线设备302的移动。
在相同或替代实现方式中,反射波形318A和318C的飞行时间可以分别基于设备朝向对象320和墙壁324的移动来调整。在另一示例中,反射波形318A和318C的到达角可以基于无线设备302在其发射波形316A的时间对无线设备302接收反射波形318A和318C的时间的移动和定向来调整。
在一些实现方式中,无线设备302可以利用飞行时间、距离、到达角、位置数据、定向数据或其某种组合来确定对象320和/或墙壁324的大小和/或位置。
在一些实现方式中,无线设备302可以使用距离、到达角、位置和定向数据来创建包括对对象320和墙壁324的引用的室内环境300的地图。在相同或替代实现方式中,无线设备302可以使用RF感测数据来修改它从诸如图1的设备100之类的计算设备接收到的部分地图。在其他方面,无线设备302可以将RF感测数据发送到服务器,以处理和创建室内环境300的地图。
作为说明性示例,AP 304和无线设备302可以被配置为实现双基地(bistatic)配置,其中发射和接收功能由不同的设备执行。例如,AP 304(和/或室内环境300内的静止或静态的另一设备)可以发射可以包括信号328A和328B的全向RF信号。如所示的,信号328A可以从AP 304直接行进(例如,没有反射)到无线设备302。信号328B可以从墙壁326反射,并导致对应的反射信号328C被无线设备302接收。
作为另一示例,无线设备302可以利用与直接信号路径(例如,信号328A)和反射信号路径(例如,信号328C)相关联的RF感测数据来识别反射器(例如,墙壁326)的大小和形状。例如,无线设备302可以获得、取回和/或估计与AP 304相关联的位置数据。在一些实现方式中,无线设备302可以使用与AP 304相关联的位置数据和RF感测数据(例如,CSI数据)以确定与由AP 304发射的信号(例如,诸如信号328A之类的直接路径信号和诸如信号328C之类的反射路径信号)相关联的飞行时间、距离和/或到达角。在一些情况下,无线设备302和AP 304还可以发送和/或接收通信,该通信可以包括与RF信号328A和/或反射信号328C相关联的数据(例如,传输时间、序列/模式、到达时间、飞行时间、到达角等)。
在一些实现方式中,AP 304和/或无线设备302可以被配置为实现单基地(monostatic)配置,其中发射和接收功能由相同的设备执行。例如,AP 304和/或无线设备(和/或室内环境300内的静止或静态的另一设备)可以执行RF感测技术,而不管它们彼此之间或与Wi-Fi网络是否关联。例如,当无线设备302不与任何接入点或Wi-Fi网络相关联时,无线设备302可以利用其Wi-Fi发射机和Wi-Fi接收机来执行如本文所讨论的RF感测。在另外的示例中,AP 304可以执行RF感测技术,而不管它是否具有与其相关联的任何无线设备。
在一些实现方式中,无线设备302和AP 304可以交换与它们相应的室内环境300的室内地图相关的数据,以创建包括对由无线设备302和AP 304两者检测到所有反射器(例如,静态对象、动态对象、结构元素)的引用的地图。在相同或替代实现方式中,来自无线设备302和AP 304的RF感测数据可以被发送到一个或多个服务器,该服务器可以聚合数据以生成或修改地图。
作为说明性示例,服务器设备可以从位于室内环境(例如,室内环境300)内的多个无线设备获得(例如,众包)RF感测数据。服务器设备可以使用来自多个设备的RF感测数据来识别和分类不同的反射器。例如,服务器设备可以通过使用RF感测数据来跟踪对象的移动或通过确定对应于对象的数据是时间有关的和/或未通过来自其他无线设备的RF感测数据确认,来确定反射器是临时对象(例如,走过环境的宠物或人类)。在一些实现方式中,服务器设备可以从室内地图中省略和/或去除对临时对象的引用。在另一示例中,计算设备可以使用来自多个无线设备的RF感测数据来确定反射器对应于结构元素,例如,门、窗、墙壁、地板、天花板、屋顶、柱子、楼梯或其任何组合。在相同或替代实现方式中,计算设备可以在地图中包括指示结构元素的类型的引用。在一些情况下,计算设备可以使用来自多个无线设备的RF感测数据来确定反射器对应于静态对象,例如,一件家具、家电、固定装置(例如,百叶窗/窗帘、吊扇、植物、地毯、灯具等)。在一些示例中,计算设备可以在室内地图中包括指示静态对象的类型的引用。
在一些实现方式中,无线设备302和/或AP 304可以被配置为将与室内环境300相关联的映射数据通信到设备100。例如,无线设备302和/或AP 304可以被配置为通信在无线设备302与室内环境300内的对象320之间的距离。作为附加示例,无线设备302和/或AP 304可以被配置为通信在AP 304(和/或无线设备302)与墙壁322、324和326中的一个或多个之间的距离。在一些实现方式中,映射数据可以被通信到设备100作为第一音频环境描述114中的一些或全部。
如上面参考图1更详细描述的,设备100可以被配置为基于映射数据来确定相互音频环境的几何结构。在一些实现方式中,设备100还可以被配置为基于相互音频环境的几何结构来处理音频数据,以在被设置在室内环境300中的一个或多个音频设备处输出。设备100还可以被配置为将处理后的第二音频数据168通信到室内环境300(例如,第一音频环境124),如上面参考图1更详细描述的。
图2-3示出了其中各种电子设备(例如,图2的无线设备200、224,图3的无线设备302和/或图3的AP 304)可以映射音频环境以供设备100用于选择虚拟的相互音频环境(例如,图1的相互音频环境几何结构118)的各种实现方式。如上面参考图1更详细描述的,相互音频环境选择器110可以为一个或多个音频环境选择相互音频环境几何结构,并且设备100可以基于相互环境的几何结构来处理音频数据,以在音频环境中的一个或多个音频环境(例如,图1的第一音频环境124和第二音频环境126)处输出。图4A-4C示出了多个示例性音频环境配置,包括虚拟的相互音频环境。
图4A示出了根据本公开的一些示例的包括第一音频环境402A、第二音频环境404A和虚拟的相互音频环境406A的第一示例性音频环境配置400A。通常,第一音频环境402A对应于图1的第一音频环境124,并且第二音频环境404A对应于图1的第二音频环境126。
图4A将第二音频环境404A示为大小小于第一音频环境402A。因此,声音可以沿其行进到第二音频环境404A的用户的示例性声音路径410A短于声音可以沿其行进到第一音频环境402A的用户的示例性声音路径408A。因此,由于沿着不同声音路径408A和410A行进的声音的不同声学属性,第一音频环境402A和第二音频环境404A的用户可以不同地体验声音。
如上面更详细地描述的,图1的设备100可以确定用于第一音频环境402A和/或第二音频环境404A的虚拟的相互音频环境406A。在图4A的说明性示例中,第二音频环境404A的维度使得第二音频环境404A可以在空间上在第一音频环境402A的维度内适合。如上面参考图1-3更详细描述的,在第一音频环境402A内的电子设备(例如,图1的用户设备152)可以将第一音频环境描述414A通信到图1的设备100,而第二音频环境404A可以将第二音频环境描述416A通信到图1的设备100。
在一些实现方式中,设备100可以确定相互音频环境406A可以具有相同维度的一个或多个单独的音频环境。例如,图4A将相互音频环境406A示出为具有与第二音频环境404A相同的维度。因此,在特定配置中,设备100可以被配置为仅处理音频以在第一音频环境402A处输出。例如,设备100可以将处理后的第二音频数据418A通信到第一音频环境402A。如上面参考图1更详细描述的,处理后的第二音频数据418A可以具有这样的声学特性:允许第一音频环境402A的用户听到处理后的第二音频数据418A,就好像第一音频环境402A的用户位于相互音频环境406A内而不是在第一音频环境402A内一样。因此,第一音频环境402A的用户可以体验到行进示例性声音路径412A(而不是声音路径408A)的声音,该示例性声音路径412A与示例性声音路径410A实质上相似。因此,第一音频环境402A和第二音频环境404A两者的用户都可以体验到具有实质上相似的声学特性的声音,从而改进了示例性音频环境之间的通信的自然体验。
图4B示出了包括第一音频环境402B、第二音频环境404B和虚拟的相互音频环境406B的第二示例性音频环境配置400B。通常,第一音频环境402B对应于图1的第一音频环境124,并且第二音频环境404B对应于图1的第二音频环境126。
虽然图4A将第二音频环境404A示出为大小小于第一音频环境402A,但图4B将第一音频环境402B和第二音频环境404B示出为具有不相似的几何结构,其中一个音频环境的维度不能被容易地转换为另一音频环境。此外,声音可以沿其行进到第一音频环境402B的用户的示例性声音路径408B和声音可以沿其行进到第二音频环境404B的用户的示例性声音路径410B可以不同。因此,由于沿着不同声音路径408B和410B行进的声音的不同声学属性,第一音频环境402B和第二音频环境404B的用户可以不同地体验声音。
如上面更详细地描述的,图1的设备100可以确定用于第一音频环境402B和/或第二音频环境404B的虚拟的相互音频环境406B。在图4B的说明性示例中,在第一音频环境402B内的电子设备(例如,图1的用户设备152)可以将第一音频环境描述414B通信到图1的设备100,而第二音频环境404B可以将第二音频环境描述416B通信到图1的设备100。在一些实现方式中,设备100可以确定具有与第一音频环境402B或第二音频环境404B的维度不匹配的任意维度的相互音频环境几何结构。例如,图4B将相互音频环境406B示出为具有可以在第一音频环境402B和第二音频环境404B两者内适合的实质上矩形区域的维度。可以选择实质上矩形的区域以例如减少处理音频数据所需的处理资源的量。
因此,在特定配置中,设备100可以被配置为根据相互音频环境406B的几何结构处理音频,以在第一音频环境402B和第二音频环境404B两者处输出。例如,设备100可以将处理后的第二音频数据418B通信到第一音频环境402B,并且将处理后的第一音频数据420B通信到第二音频环境404B。如上面参考图1更详细描述的,处理后的第一音频数据418B和处理后的第二音频数据420B可以具有这样的声学特性:允许第一音频环境402B和第二音频环境404B的用户听到音频,就好像用户位于相互音频环境406B内而不是用户相应的实际音频环境内一样。因此,第一音频环境402B和第二音频环境404B的用户可以体验行进示例性声音路径412B的声音。因此,第一音频环境402B和第二音频环境404B两者的用户都可以体验到具有实质上相似的声学特性的声音,从而改进了在示例性音频环境之间的通信的自然体验。
图4C示出了根据本公开的一些示例的包括第一音频环境402C、第二音频环境404C和虚拟的相互音频环境406C的第三示例性音频环境配置400C。通常,第一音频环境402C对应于图1的第一音频环境124,并且第二音频环境404C对应于图1的第二音频环境126。
虽然图4A示出了使用第二音频环境404A的实际维度作为相互音频环境406A的维度,但图4C示出了使用具有任意维度的相互音频环境406C来解决第一音频环境402C和第二音频环境404C的用户的不同位置。在图4C中,声音可以沿其行进到第一音频环境402C的用户的示例性声音路径408C和声音可以沿其行进到第二音频环境404C的用户的示例性声音路径410C可以不同。因此,由于沿着不同声音路径408C和410C行进的声音的不同声学属性,第一音频环境402C和第二音频环境404C的用户可以不同地体验声音。
如上文更详细描述的,图1的设备100可以确定用于第一音频环境402C和/或第二音频环境404C的虚拟的相互音频环境406C。在图4C的说明性示例中,在第一音频环境402C内的电子设备(例如,图1的用户设备152)可以将第一音频环境描述414C通信到图1的设备100,而第二音频环境404C可以将第二音频环境描述416C通信到图1的设备100。在一些实现方式中,设备100可以确定具有既不匹配第一音频环境402C或第二音频环境404C的真实世界维度也不在该真实世界维度内适合的任意维度的相互音频环境几何结构。例如,图4C将相互音频环境406C示出为具有位于第一音频环境402C和第二音频环境404C两者的物理维度之外的实质上矩形区域的维度。可以选择实质上矩形的区域以例如减少处理音频数据所需的处理资源的量。
因此,在特定配置中,设备100可以被配置为根据相互音频环境406C的几何结构处理音频,以在第一音频环境402C和和第二音频环境404C两者处输出。例如,设备100可以将处理后的第二音频数据418C通信到第一音频环境402C,并且将处理后的第一音频数据420C通信到第二音频环境404C。如上面参考图1更详细描述的,处理后的第一音频数据418C和处理后的第二音频数据420C可以具有这样的声学特性:允许第一音频环境402C和第二音频环境404C的用户听到音频,就好像用户位于相互音频环境406C内而不是用户相应的实际音频环境内一样。因此,第一音频环境402C和第二音频环境404C的用户可以体验行进示例性声音路径412C的声音。因此,第一音频环境402C和第二音频环境404C两者的用户都可以体验具有实质上相似的声学特性的声音,从而改进了在示例性音频环境之间的通信的自然体验。
图4D示出了根据本公开的一些示例的包括第一音频环境402D、第二音频环境404D和虚拟的相互音频环境406D的第四示例性音频环境配置400D。通常,第一音频环境402D对应于图1的第一音频环境124,并且第二音频环境404D对应于图1的第二音频环境126。
虽然图4A示出了使用第二音频环境404A的实际维度作为相互音频环境406A的维度,但图4D示出了使用具有任意维度的相互音频环境406D来解决用户分别相对于第一音频环境402D和第二音频环境404D的不同定向。在图4D中,声音可以沿其行进到第一音频环境402D的用户的示例性声音路径408D和声音可以沿其行进到第二音频环境404D的用户的示例性声音路径410D可以不同。因此,由于沿着不同声音路径408D和410D行进的声音的不同声学属性,第一音频环境402D和第二音频环境404D的用户可以不同地体验声音。
如上文更详细描述的,图1的设备100可以确定用于第一音频环境402C和/或第二音频环境404C的虚拟的相互音频环境406C。在图4D的说明性示例中,在第一音频环境402D内的电子设备(例如,图1的用户设备152)可以将第一音频环境描述414D通信到图1的设备100,而第二音频环境404D可以将第二音频环境描述416D通信到图1的设备100。在一些实现方式中,设备100可以确定具有既不匹配第一音频环境402D或第二音频环境404D的真实世界维度也不在该真实世界维度内适合的任意维度的相互音频环境几何结构。例如,图4D将相互音频环境406D示出为具有位于第一音频环境402D和第二音频环境404D两者的物理维度之外的实质上矩形区域的维度。可以选择实质上矩形的区域以例如减少处理音频数据所需的处理资源的量。
因此,在特定配置中,设备100可以被配置为根据相互音频环境406D的几何结构处理音频,以在第一音频环境402D和和第二音频环境404D两者处输出。例如,设备100可以将处理后的第二音频数据418D通信到第一音频环境402D,并且将处理后的第一音频数据420D通信到第二音频环境404D。如上面参考图1更详细描述的,处理后的第一音频数据418D和处理后的第二音频数据420D可以具有这样的声学特性:允许第一音频环境402D和第二音频环境404D的用户听到音频,就好像用户位于相互音频环境406D内而不是用户相应的实际音频环境内一样。因此,第一音频环境402D和第二音频环境404D的用户可以体验行进示例性声音路径412D的声音。因此,第一音频环境402D和第二音频环境404D两者的用户都可以体验具有实质上相似的声学特性的声音,从而改进了在示例性音频环境之间的通信的自然体验。
图4A-4D示出了各种示例性音频环境配置,每一个都包括第一音频环境、第二音频环境和虚拟的相互音频环境。虽然图4A-4D示出了某些示例性配置,但在不脱离本公开的范围的情况下其他配置也是可能的。例如,相互音频环境可以对应于表示两个或更多个音频环境的交集的体积。作为附加示例,相互音频环境可以对应于与两个或更多个音频环境中的每一个音频环境不同的虚拟空间。
此外,确定相互音频环境的几何结构可以包括基于描述两个或更多个音频环境的数据来确定相互坐标系。在一些实现方式中,图1的处理器102可以将相互坐标系中的第一位置与第一音频环境124的第一声源相关联,并且将相互坐标系中的第二位置与第二音频环境126中的第二声源相关联。在特定实现方式中,图1的处理器102还可以被配置为将用户在特定音频环境中的注视方向映射到相互坐标系。用户(例如,第一音频环境124的用户132)的注视方向可以由用户设备152确定或根据另一合适的源来确定。处理器102然后可以基于注视方向生成相互音频环境的视觉呈现。通过生成相互音频环境的视觉呈现,图1的设备100可以通过允许用户132“看到”相互音频环境以及处理音频数据以使用户132觉得声音起源于相互音频环境,来进一步增强用户132的体验。
使用基于描述第一音频环境124和第二音频环境126的数据的相互坐标系,处理器102可以确定可以促进增强在第一音频环境124和第二音频环境126两者中的通信的相互音频环境的几何结构。
如上面参考图1-3更详细地描述的,图1的设备100可以被配置为基于相互音频环境的几何结构来处理音频数据,以在被设置在音频环境中的一个或多个音频环境中的音频设备处输出。通过以这种方式增强音频以用于通信,在一个或多个音频环境内的用户可以以更自然的方式体验音频。
图5是根据本公开的一些示例的用于增强音频以用于通信的方法500的示例的流程图。方法500可以由执行指令的一个或多个处理器(例如,由图1的执行来自存储器104的指令的处理器102)发起、执行或控制。
在一些实现方式中,方法500包括在502处,基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构。例如,图1的处理器102可以基于第一音频环境描述114和第二音频环境描述116来选择相互音频环境几何结构118,如上面参考图1-4D更详细描述的。
在图5的示例中,方法500还包括在504处,基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。例如,图1的处理器可以根据相互音频环境几何结构118处理来自第二音频环境126的第二音频数据130,以变成处理后的第二音频数据168,用于输出到被设置在第一音频环境124中的用户设备152。在特定示例中,图1的处理器可以基于示例性相互音频环境140来处理第二音频数据130。
在图5的示例中,方法500还包括在506处,获得指示用户在两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,音频数据是基于运动数据被修改的。例如,图1的处理器102可以获得指示用户132在第一音频环境124内的移动的运动数据。处理器102还可以被配置为修改第一音频数据128以考虑用户132在第一音频环境124内的移动。在特定示例中,如上面参考图1和图3更详细描述的,处理器102可以修改第一音频数据以考虑携带图3的无线设备302的用户132在第一音频环境124内的移动。
在图5的示例中,方法500还包括在508处,基于与两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改相互音频环境。例如,图1的处理器102可以基于与第一音频环境124的用户132相关联的运动数据来修改示例性相互音频环境140。在特定示例中,图1的处理器102可以修改示例性相互音频环境140以考虑用户相对于音频环境在位置和/或定向方面的改变,如上面参考图4C-4D更详细描述的。
虽然方法500被示为包括一定数量的操作,但是在不脱离本公开的范围的情况下,更多、更少和/或不同的操作可以包含于方法500中。例如,方法500可以不包括获得指示用户的移动的运动数据,如上面参考图1-4D更详细描述的。作为附加示例,方法500可以取决于参与特定通信的音频环境的数量而变化。
在一些实现方式中,方法500可以周期性地和/或连续地重复502-508中的一个或多个。例如,方法500可以在经过时间(例如,五秒)之后确定相互音频环境的几何结构,以考虑用户的位置、定向、注视角度的改变,和/或用户体验在用户音频环境内的声音信号的声学属性的其他改变。在一些实现方式中,图1的处理器102可以被配置为基于用户的音频环境内的运动数据来修改相互音频环境。修改相互音频环境可以包括例如相对于相互音频环境的一个或多个声源移动相互音频环境的边界、改变相互音频环境的几何结构的形状、改变相互音频环境的大小和/或其某种组合。
此外,虽然上面在说明方法500时提供的示例包括图1的执行方法500的操作的处理器102,但方法500的操作中的一些或所有可以由任何合适的计算设备执行。例如,如上面参考504所描述的,方法500可以包括基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。在一些配置中,设备100可以处理音频数据,然后将处理后的音频数据通信到音频设备以供输出。在相同或替代配置中,音频设备可以在从设备100接收到音频数据之后处理音频数据以供输出。作为附加示例,确定相互音频环境几何结构(例如,如上文参考502所描述的)可以由与图1的处理器102通信的一个或多个服务器执行。
图6是用于增强音频以用于通信的方法600的另一示例的流程图。方法600可以由执行指令的一个或多个处理器(例如,由图1的执行来自存储器104的指令的处理器102)发起、执行或控制。
在图6的示例中,方法600包括在602处,分析音频环境几何结构。在一些实现方式中,分析音频环境几何结构可以包括确定虚拟的相互音频环境。例如,如上面参考图1-5更详细描述的,图1的处理器102可以分别分析来自第一音频环境124的第一音频环境描述114和来自第二音频环境126的第二音频环境描述116,以确定与第一音频环境124和第二音频环境126中的每一个相关联的几何结构。处理器102还可以被配置为选择相互音频环境几何结构118,该相互音频环境几何结构118可以用于增强音频以在第一音频环境124和第二音频环境126中的一个或多个音频环境中进行通信。
在图6的示例中,方法600还包括在604处,确定相互音频环境几何结构是否与任何音频环境的几何结构(例如,第一音频环境124的几何结构和/或第二音频环境126的几何结构)相同或实质上相似(例如,基于一个或多个阈值)。在图6的示例中,如果相互音频环境与音频环境的几何结构相同或实质上相似,则方法600可以进行到606处,在606处,选择与相互音频环境几何结构相同或实质上相似的音频环境几何结构。
在某些配置中,方法600可以可选地包括进一步处理,如图6的虚线所示。例如,在图6的示例中,如果相互音频环境几何结构与相互音频环境几何结构不相同或不实质上相似,则方法600还可以进行到608处,在608处,估计与相互音频环境(“MAE”)相关联的一个或多个声学属性,如上面所描述的。
在图6的示例中,方法600还可以可选地包括在608处,估计与相互音频环境(“MAE”)相关联的一个或多个声学属性。在一些实现方式中,声学属性可以包括与相互音频环境内的特定声源相关联的混响。例如,图1的处理器102可以分析生成音频数据(例如,第一音频数据128和/或第二音频数据130)的一个或多个声音源,并确定音频数据在相互音频环境内将具有什么混响特性。在一些配置中,处理器102可以被配置为通过使用图像源模型来计算与相互音频环境内的音频数据相关联的房间脉冲响应,以估计混响。
在图6的示例中,方法600还可以可选地包括在610处,估计与不具有与相互音频环境的几何结构相同或实质上相似的几何结构的音频环境相关联的某些声学属性。例如,如果第一音频环境124的几何结构与相互音频环境的几何结构不相同或不实质上相似,则图1的处理器102可以估计与来自第一音频环境124的第一音频数据128相关联的混响。处理器102可以被配置为通过使用图像源模型来计算与相互音频环境内的音频数据相关联的房间脉冲响应,以估计混响。
在图6的示例中,方法600还可以可选地包括在612处,处理来自不具有与相互音频环境的几何结构相同或实质上相似的几何结构的音频环境的音频数据,以修改音频数据的一个或多个声学属性(例如,以去除混响特性)。例如,如果第一音频环境124的几何结构与相互音频环境的几何结构不相同或不实质上类似,则图1的处理器102可以被配置为处理第一音频数据128以去除与在第一音频环境124内的第一音频数据128相关联的任何混响。在一些配置中,这可以包括使用上面参考610描述的估计混响。
在图6的示例中,方法600还可以可选地包括在614处,将与相互音频环境相关联的混响添加到与不具有与相互音频环境的几何结构相同或实质上相似的几何结构的音频环境相关联的音频数据。例如,图1的处理器102可以被配置为将一个或多个音频改变信号(例如,与相互音频环境相关联的混响)与来自音频环境的处理后的音频数据(例如,当第一音频环境124不具有与相互音频环境的几何结构相同或实质上相似的几何结构时的处理后的第一音频数据170)进行卷积。作为附加示例,图1的处理器102可以被配置为减少与音频环境中的一个或多个音频环境相关联的混响。
在图6的示例中,方法600还可以可选地包括在616处,将处理后的音频数据输出到一个或多个用户。例如,图1的处理器102可以被配置为将处理后的第一音频数据170通信到第一音频环境124和/或第二音频环境126。在一些配置中,处理器102可以被配置为将处理后的第一音频数据170通信到一个或多个输出组件160和/或输出组件166(例如,一个或多个扬声器)。
虽然方法600被示为包括一定数量的操作,但是在不脱离本公开的范围的情况下,更多、更少和/或不同的操作可以包含于方法600。例如,方法600可以包括确定是否进一步改变处理后的音频数据,如下面参考图18更详细描述的。作为附加示例,方法600可以取决于参与特定通信的音频环境的数量而变化。作为另一示例,方法600可以将处理后的音频数据的子集通信到所有用户。
此外,虽然上面在说明方法600时提供的示例描述了图1的执行方法600的操作的处理器102,但方法600的操作中的一些或所有可以由任何合适的计算设备执行。例如,方法600可以包括确定在将处理后的音频数据通信到一个或多个用户之前是否进一步修改处理后的音频数据。在一些配置中,设备100可以将模拟混响108与处理后的音频数据分开发送,并且在单独音频环境内的计算设备可以进一步处理通信的音频数据(例如,通过将处理后的音频数据与模拟混响进行卷积)。作为附加示例,可以由与图1的处理器102通信的一个或多个服务器来执行对相互音频环境几何结构的确定(例如,如上文参考602-606所描述的)。
图7是示出根据本公开的一些示例的图1的设备100的特定示例的框图。在各种实现方式中,设备100可以具有比图7所示更多或更少的组件。
在特定实现方式中,设备100包括处理器704(例如,中央处理单元(CPU))。设备100可以包括一个或多个附加处理器706(例如,一个或多个数字信号处理器(DSP))。处理器704、处理器706或两者可以对应于图1的一个或多个处理器102。例如,在图7中,处理器706包括相互音频环境选择器110和音频处理器112。
在图7中,设备100还包括存储器104和编解码器724。存储器104存储指令760,该指令760可由处理器704和/或处理器706执行,以实现参考图1-6描述的一个或多个操作。在示例中,存储器104对应于存储可由一个或多个处理器102执行的指令760的非暂时性计算机可读介质,并且指令760包括或对应于相互音频环境选择器110、音频处理器112或其组合(例如,指令760可由处理器执行以执行归因于相互音频环境选择器110、音频处理器112或其组合的操作)。存储器104还可以存储音频数据106(和/或图1的模拟混响108)。
在图7中,输入组件162和/或输出组件160可以耦合到编解码器724。在图7所示的示例中,编解码器724包括数模转换器(DAC 726)和模数转换器(ADC 728)。在特定实现方式中,编解码器724从输入组件162接收模拟信号(例如,图1的第一音频数据128)、使用ADC728将模拟信号转换为数字信号、并且向处理器706提供数字信号。在特定实现方式中,处理器706向编解码器724提供数字信号,并且编解码器724使用DAC 726将数字信号转换为模拟信号,并且将模拟信号(例如,图1的处理后的第二音频数据168)提供给输出组件160。
在图7中,设备100还包括耦合到显示控制器710的显示器720。在一些实现方式中,设备100还包括耦合到收发机714的调制解调器712。在图7中,收发机714耦合到天线716以实现与其他设备(例如,远程计算设备718(例如,存储相互音频环境几何结构118的至少一部分的服务器或网络存储器))的无线通信。例如,调制解调器712可以被配置为经由无线传输从远程计算设备718接收音频数据106(例如,第二音频数据130)的一部分。在其他示例中,收发机714也或替代地耦合到通信端口(例如,以太网端口)以实现与其他设备(例如,远程计算设备718)的有线通信。
在特定实现方式中,设备100包含于系统级封装或片上系统设备702中。在特定实现方式中,存储器104、处理器704、处理器706、显示控制器710、编解码器724、调制解调器712和收发机714包含于系统级封装或片上系统设备702中。在特定实现方式中,电源730耦合到系统级封装或片上系统设备702。此外,在特定实现方式中,如图7所示,显示器720、输入组件162、输出组件160、天线716和电源730在系统级封装或片上系统设备702的外部。在特定实现方式中,显示器720、输入组件162、输出组件160、天线716和电源730中的每一个可以耦合到系统级封装或片上系统设备702的组件,例如,接口或控制器。
设备100可以包括、对应于或包含于语音激活设备、音频设备、无线扬声器和语音激活设备、便携式电子设备、汽车、交通工具、计算设备、通信设备、物联网(IoT)设备、虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备、智能扬声器、移动计算设备、移动通信设备、智能电话、蜂窝电话、膝上型计算机、计算机、平板计算机、个人数字助理、显示设备、电视、游戏机、电器、音乐播放器、收音机、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航设备或其任何组合。在特定方面,处理器704、处理器706或其组合包含于集成电路中。
图8示出了并入图1的设备100的方面的交通工具800的示例。根据一种实现方式,交通工具800是自动驾驶汽车。根据其他实现方式,交通工具800是汽车、卡车、摩托车、飞机、水上交通工具等。在图8中,交通工具800包括显示器720、设备100、一个或多个输入组件164、一个或多个输出组件166或其某种组合。一个或多个输入组件164和/或一个或多个输出组件166以虚线示出,因为它们可能对交通工具800的用户可见或不可见。设备100可以集成到交通工具800中或耦合到交通工具800。在一些实现方式中,交通工具800的内部通常对应于第一音频环境124。
在特定方面,设备100耦合到显示器720,并且响应于在交通工具800的用户与另一音频环境的另一用户之间的通信(例如,向用户指示通信中的其他用户的数量和身份)来向显示器720提供输出。
在特定实现方式中,输入组件164可以包括一个或多个麦克风,如以上参考图1更详细描述的。在相同或替代的特定实现方式中,输出组件166可以包括一个或多个扬声器,如上面参考图1更详细描述的。
因此,关于图1-6所描述的技术使得交通工具800的设备100能够增强音频以用于交通工具800的用户和与交通工具800的用户进行通信的其他用户之间的通信。
图9示出了并入图1的设备的方面的头戴式耳机。图9描绘了耦合到头戴式耳机902或集成在头戴式耳机902内的设备100的示例,该头戴式耳机902例如虚拟现实头戴式耳机、增强现实头戴式耳机、混合现实头戴式耳机、扩展现实头戴式耳机、头戴式显示器或其组合。视觉接口设备位于用户眼前,以使得能够在佩戴头戴式耳机902时向用户显示增强现实、混合现实或虚拟现实图像或场景。在一些实现方式中,头戴式耳机902包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。一个或多个输入组件164和/或一个或多个输出组件166以虚线示出,因为它们可能对头戴式耳机902的用户可见或不可见。设备100可以集成在头戴式耳机902中或耦合到头戴式耳机902。在一些实现方式中,头戴式耳机902的用户操作头戴式耳机902的区域通常对应于第一音频环境124。
在特定实现方式中,输入组件164可以包括一个或多个麦克风,如上面参考图1更详细描述的。在相同或替代的特定实现方式中,输出组件166可以包括一个或多个扬声器,如上面参考图1更详细描述的。因此,关于图1-6描述的技术使得头戴式耳机902的设备100能够增强音频以用于头戴式耳机902的用户和与头戴式耳机902的用户进行通信的其他用户之间的通信。
图10示出了并入图1的设备100的方面的可穿戴电子设备1002。图10将可穿戴电子设备1002示出为“智能手表”,其包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。一个或多个输入组件164和/或一个或多个输出组件166以虚线示出,因为它们可能对可穿戴电子设备1002的用户可见或不可见。设备100可以集成到可穿戴电子设备1002中或耦合到可穿戴电子设备1002。在一些实现方式中,可穿戴电子设备1002的用户操作可穿戴电子设备1002的区域通常对应于第一音频环境124。
在特定实现方式中,输入组件164可以包括一个或多个麦克风,如上面参考图1更详细描述的。在相同或替代的特定实现方式中,输出组件166可以包括一个或多个扬声器,如上面参考图1更详细描述的。因此,关于图1-6描述的技术使得可穿戴电子设备1002的设备100能够增强音频以用于可穿戴电子设备1002的用户和与可穿戴电子设备1002的用户进行通信的其他用户之间的通信。
图11是并入了图1的设备的方面的语音控制的扬声器系统1100的说明性示例。语音控制的扬声器系统1100可以具有无线网络连接,并且被配置为执行辅助操作。在图11中,设备100包含于语音控制的扬声器系统1100中。语音控制的扬声器系统1100还包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。一个或多个输入组件164和/或一个或多个输出组件166以虚线示出,因为它们可能对语音控制的扬声器系统1100的用户可见或不可见。设备100可以集成在语音控扬声器系统1100中或耦合到语音控制的扬声器系统1100。在一些实现方式中,语音控制的扬声器系统1100的用户操作语音控制的扬声器系统1100的区域通常对应于第一音频环境124。
在特定实现方式中,输入组件164可以包括一个或多个麦克风,如上面参考图1更详细描述的。在相同或替代的特定实现方式中,输出组件166可以包括一个或多个扬声器,如上面参考图1更详细描述的。因此,关于图1-6描述的技术使得语音控制的扬声器系统1100的设备100能够增强音频以用于语音控制的扬声器系统1100的用户和与语音控制的扬声器系统1100的用户进行通信的其他用户之间的通信。
图12示出了并入图1的设备100的方面的相机1200。在图12中,设备100被并入或耦合到相机1200。相机1200包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。此外,相机1200包括设备100,该设备100被配置为增强音频以用于在用户之间的通信。在特定实现方式中,相机1200是被配置为在虚拟电信会话中增强音频的摄像机。
图13示出了并入图1的设备100的方面的移动设备1300。在图13中,设备100被并入或耦合到移动设备1300。移动设备1300包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。另外,移动设备1300包括设备100,该设备100被配置为增强音频以用于用户之间的通信。在特定实现方式中,移动设备1300包括被配置为操作虚拟电信会话的软件。
图14示出了并入图1的设备100的方面的助听器设备1400。在图14中,助听器设备1400包括或耦合到图1的设备100。助听器设备1400包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。在操作期间,助听器设备1400可以处理从输入组件164接收到的音频,以为助听器设备1400的用户增强音频。
图15示出了并入图1的设备100的方面的航空设备1500。在图15中,航空设备1500包括或耦合到图1的设备100。航空设备1500是有人驾驶、无人驾驶或遥控的航空设备(例如,包裹递送无人机)。在操作期间,航空设备1500可以被配置为提供用于处理从多个音频环境接收到的音频的移动集中式计算平台,以便增强音频用于在多个音频环境的用户之间的通信。
图16示出了并入图1的设备100的方面的头戴式耳机1600。在图16中,头戴式耳机1600包括或耦合到图1的设备100。头戴式耳机1600包括被定位以主要捕获用户的语音的图1的输入组件164中的一个或多个。头戴式耳机1600还可以包括被定位以主要捕获环境声音(例如,用于噪声消除操作)的一个或多个附加麦克风以及图1的输出组件166中的一个或多个。在特定方面,头戴式耳机1600可以处理从头戴式耳机1600的用户传入的音频,以增强在头戴式耳机1600的用户与其他音频环境中的其他用户之间的通信。
图17示出了并入图1的设备100的方面的家电1700。在图17中,家电1700是灯具;然而,在其他实现方式中,家电1700包括另一物联网家电,例如,冰箱、咖啡机、烤箱、另一家用电器等。家电1700包括或耦合到图1的设备100。家电1700包括一个或多个输入组件164、一个或多个输出组件166或其某种组合。在特定方面,家电1700可以处理经由一个或多个输入组件接收到的音频,以在家电1700附近的用户与通信中的其他用户之间的通信中增强音频。
图18是用于增强音频以用于通信的方法1800的另一示例的流程图。方法1800可以由执行指令的一个或多个处理器(例如,由图1的执行来自存储器104的指令的处理器102)发起、执行或控制。
在图18的示例中,方法1800包括在1806处分析音频环境几何结构。在一些实现方式中,分析音频环境几何结构可以包括确定虚拟的相互音频环境。例如,如上面参考图1-6更详细描述的,图1的处理器102可以分别分析来自第一音频环境124的第一音频环境描述114和来自第二音频环境126的第二音频环境描述1118,以确定与第一音频环境124和第二音频环境126中的每一个相关联的几何结构。处理器102还可以被配置为选择相互音频环境几何结构118,该相互音频环境几何结构118可以用于增强音频以在第一音频环境124和第二音频环境126中的一个或多个音频环境中进行通信。
在图18的示例中,方法1800还包括在1808处,确定相互音频环境几何结构是否与第一音频环境(“1AE”)的几何结构相同或实质上相似(例如,基于一个或多个阈值)。例如,图1的处理器102可以确定相互音频环境几何结构118是否与第一音频环境124的几何结构相同或实质上相似。在图18的示例中,如果相互音频环境与第一音频环境的几何结构相同或实质上相似,则方法1800可以进行到1816处,在1816处,选择第一音频环境几何结构作为相互音频环境几何结构。
在图18的示例中,如果第一音频环境几何结构与相互音频环境几何结构不相同或不实质上相似,则方法1800还可以包括在1810处确定相互音频环境几何结构是否与第二音频环境(“2AE”)的几何结构相同或实质上相似。例如,图1的处理器102可以确定相互音频环境几何结构118是否与第二音频环境126的几何结构相同或实质上相似(例如,基于一个或多个阈值)。在图18的示例中,如果相互音频环境与第二音频环境的几何结构相同或实质上相似,则方法1800可以进行到1818处,在1818处,选择第二音频环境几何结构作为相互音频环境几何结构。
在某些配置中,方法1800可以可选地包括进一步处理,如图18的虚线所示。例如,在图18的示例中,方法1800还可以可选地包括在1832处估计与相互音频环境(“MAE”)相关联的一个或多个声学属性。在一些实现方式中,声学属性可以包括与相互音频环境内的特定声源相关联的混响。例如,图1的处理器102可以分析生成音频数据(例如,第一音频数据128和/或第二音频数据130)的一个或多个声音源,并确定音频数据在相互音频环境内将具有什么混响特性。在一些配置中,处理器102可以被配置为通过使用图像源模型来计算与相互音频环境内的音频数据相关联的房间脉冲响应,以估计混响。
在图18的示例中,方法1800还可以可选地包括在1824处估计与第一音频环境内的一个或多个声源相关联的某些声学属性。例如,图1的处理器102可以估计与来自第一音频环境124的第一音频数据128相关联的混响。在一些配置中,处理器102可以被配置为通过使用图像源模型来计算与相互音频环境内的音频数据相关联的房间脉冲响应,以估计混响。
在图18的示例中,方法1800还可选地包括在1828处处理来自第一音频环境的音频数据,以修改音频数据的一个或多个声学属性。例如,图1的处理器102可以被配置为处理第一音频数据128以去除与第一音频环境124内的第一音频数据128相关联的任何混响。在一些配置中,这可以包括使用与上面参考1824描述的第一音频环境124相关联的估计混响。
在图18的示例中,方法1800还可选地包括在1834处确定是否在将处理后的音频数据通信到另一音频环境之前进一步改变传入的音频数据。例如,图1的处理器102可以被配置为确定是否将一个或多个音频改变信号与处理后的音频数据进行卷积。在一些配置中,处理器102可以被配置为确定是否将上面参考1828描述的处理后的第一音频数据和与相互音频环境相关联的混响信号(上面参考1832描述的)进行卷积。如上面参考图1更详细描述的,设备100可以被配置为通信处理后的第一音频数据170,在一些实现方式中,该处理后的第一音频数据170包括与相互音频环境相关联的模拟混响108。在相同或替代实现方式中,处理后的第一音频数据170可以不包括可以被单独通信的模拟混响108。
在图18的示例中,如果方法1800确定进一步改变传入的音频数据,则方法1800还可以可选地包括在1836处,在将处理后的音频数据通信到另一音频环境之前进一步改变传入的音频数据。例如,图1的处理器102可以被配置为将一个或多个音频改变信号(例如,与相互音频环境相关联的混响)与处理后的音频数据进行卷积。作为附加示例,图1的处理器102可以被配置为减少与音频环境中的一个或多个音频环境相关联的混响。
在图18的示例中,方法1800还可以可选地包括在1842处,确定哪些用户应该在哪些音频环境中接收处理后的音频数据。例如,图1的处理器102可以确定第一音频环境124的用户132和/或第二音频环境126的用户134是否应该接收处理后的第一音频数据170。在一些实现方式中,处理器102可以被配置为确定在处理后的音频数据已经被进一步改变以包括新的声学属性之前或之后,哪些用户应该在哪个音频环境中接收处理后的音频数据(如上面参考1834和1836所描述的)。
在图18的示例中,方法1800还可以可选地包括在1826处估计与在第二音频环境内的一个或多个声源相关联的某些声学属性。例如,图1的处理器102可以估计与来自第二音频环境126的第二音频数据130相关联的混响。在一些配置中,处理器102可以被配置为通过使用图像源模型来计算与相互音频环境内的音频数据相关联的房间脉冲响应,以估计混响。
在图18的示例中,方法1800还可选地包括在1830处处理来自第一音频环境的音频数据,以修改音频数据的一个或多个声学属性。例如,图1的处理器102可以被配置为处理第二音频数据130以去除与第二音频环境126内的第二音频数据130相关联的任何混响。在一些配置中,这可以包括使用与上面参考1826描述的第二音频环境126相关联的估计混响。
在图18的示例中,方法1800还可选地包括在1838处确定是否在将处理后的音频数据通信到另一音频环境之前进一步改变传入的音频数据。例如,图1的处理器102可以被配置为确定是否将一个或多个音频改变信号与处理后的音频数据进行卷积。在一些配置中,处理器102可以被配置为确定是否将上面参考1830描述的处理后的第二音频数据和与相互音频环境相关联的混响信号(上面参考1832描述的)进行卷积。如上面参考图1更详细描述的,设备100可以被配置为通信处理后的第二音频数据1188,在一些实现方式中,该处理后的第二音频数据1188包括与相互音频环境相关联的模拟混响108。在相同或替代实现方式中,处理后的第二音频数据1188可以不包括可以被单独通信的模拟混响108。
在图18的示例中,如果方法1800确定进一步改变传入的音频数据,则方法1800还可以可选地包括在1840处,在将处理后的音频数据通信到另一音频环境之前进一步改变传入的音频数据。例如,图1的处理器102可以被配置为将一个或多个音频改变信号(例如,与相互音频环境相关联的混响)与处理后的音频数据进行卷积。作为附加示例,图1的处理器102可以被配置为减少与音频环境中的一个或多个音频环境相关联的混响。
方法1800还可以可选地包括在1842处,确定哪些用户应该在哪些音频环境中接收处理后的音频数据。例如,图1的处理器102可以确定第一音频环境124的用户132和/或第二音频环境126的用户134是否应该接收处理后的第一音频数据170。在一些实现方式中,处理器102可以被配置为确定在处理后的音频数据已经被进一步改变以包括新的声学属性之前或之后,哪些用户应该在哪个音频环境中接收处理后的音频数据(如上面参考1838和1840所描述的)。
在图18的示例中,方法1800还可以可选地包括在1844处,将处理后的音频数据输出到一个或多个用户。例如,图1的处理器102可以被配置为将处理后的第一音频数据170通信到第一音频环境124和/或第二音频环境126。在一些配置中,处理器102可以被配置为将处理后的第一音频数据170通信到一个或多个输出组件160和/或输出组件166(例如,一个或多个扬声器)。
虽然方法1800被示为包括一定数量的操作,但是在不脱离本公开的范围的情况下,更多、更少和/或不同的操作可以包含于方法1800。例如,方法1800可以不包括确定是否进一步改变处理后的音频数据,如上面参考1834和1838描述的。作为附加示例,方法1800可以取决于参与特定通信的音频环境的数量而变化。作为另一示例,方法1800可以将所有处理后的音频数据通信到所有用户。
此外,尽管上面在说明方法1800时提供的示例描述了图1的执行方法1800的操作的处理器102,但是方法1800的操作中的一些或所有操作可以由任何合适的计算设备执行。例如,如上面参考1834和1838所描述的,方法1800可以包括在将处理后的音频数据通信到一个或多个用户之前确定是否进一步修改处理后的音频数据。在一些配置中,设备100可以将模拟混响108与处理后的音频数据分开发送,并且在单独的音频环境内的计算设备还可以处理通信的音频数据(例如,通过将处理后的音频数据与模拟混响进行卷积)。作为附加示例,可以由与图1的处理器102通信的一个或多个服务器来执行对相互音频环境几何结构的确定(例如,如上文参考1806所描述的)。作为另一示例,可以由在单独的音频环境内的输出设备执行对是否将特定的处理后的音频信号输出到特定音频环境内的用户的确定(例如,如上文参考1842所描述的)。
在一些实现方式中,参考图5-6和/或图18描述的操作可以在图1的设备100处执行(例如,在一个或多个处理器102处)。设备100可以包括、对应于或包含于语音激活设备、音频设备、无线扬声器和语音激活设备、便携式电子设备、汽车、交通工具、计算设备、通信设备、物联网(IoT)设备、虚拟现实(VR)设备、增强现实(AR)设备、混合现实(MR)设备、助听器设备、智能扬声器、移动计算设备、移动通信设备、智能电话、蜂窝电话、膝上型计算机、计算机、平板计算机、个人数字助理、显示设备、电视、游戏机、电器、音乐播放器、收音机、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航设备或其任何组合。在特定方面,一个或多个处理器102、存储器104或其组合包含于集成电路中。包括设备100的方面的各种实现方式参考图7-17进一步描述。
设备(例如,先前提到的那些)可以具有蓝牙和Wi-Fi功能两者,或者用于相互通信的其他无线单元。联网设备可以具有用于相互通信的无线单元,也可以基于不同的蜂窝通信系统(例如,长期演进(LTE)系统、码分多址(CDMA)系统、全球移动通信(GSM)系统、无线局域网(WLAN)系统或某种其他无线系统)进行连接。CDMA系统可以实现宽带CDMA(WCDMA)、CDMA 1X、演进数据优化(EVDO)、时分同步CDMA(TD-SCDMA)或CDMA的某种其他版本。如本文所使用的,“无线”指代以上列出的技术中的一种或多种、使得能够经由除了电线以外的方式传送信息的一种或多种其他技术、或其组合。
如本文所使用的,“下载”和“上传”模型包括通过有线链路、无线链路或其组合传送与模型相对应的数据(例如,压缩数据)。例如,可以使用无线局域网(“WLAN”)来代替或补充有线网络。无线技术(例如,(“蓝牙”)和无线保真“Wi-Fi”或Wi-Fi的变型(例如,Wi-Fi Direct))使得能够在彼此距离相对较短(例如,100米到200米或更短,这取决于特定的无线技术)的移动电子设备(例如,蜂窝电话、手表、头戴式耳机、遥控器等)之间实现高速通信。Wi-Fi通常用于在具有接入点的设备(例如,路由器)与支持Wi-Fi的设备之间连接和交换信息。此类设备的示例是智能电视、膝上型计算机、恒温器、个人助理设备、家庭自动化设备、无线扬声器和其他类似设备。类似地,蓝牙也用于将设备耦合在一起。此类设备的示例是移动电话、计算机、数码相机、无线头戴式耳机、键盘、鼠标或其他输入外围设备以及类似设备。
结合所描述的实现方式,一种装置包括用于基于描述两个或更多个音频环境的数据来确定相互音频环境的几何结构的单元。例如,用于确定相互音频环境的几何结构的单元包括设备100、处理器102、相互音频环境选择器110、无线设备200、无线设备224、无线设备302、AP 304、被配置为基于描述两个或更多个音频环境的数据来确定相互音频环境的几何结构的一个或多个其他电路或组件,或其任何组合。
该装置还包括用于基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出的单元。例如,用于处理音频数据的单元包括设备100、处理器102、音频处理器112、无线设备200、无线设备224、无线设备302、AP 304、被配置为基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出的一个或多个其他电路或组件,或其任何组合。
本领域技术人员将进一步认识到的是,结合本文公开的实现方式描述的各种说明性逻辑块、配置、模块、电路和算法步骤可以实现为电子硬件、由处理器执行的计算机软件或两者的组合。各种说明性组件、块、配置、模块、电路和步骤已经在上文总体上关于它们的功能进行了描述。这种功能是被实现为硬件还是被实现为处理器可执行指令取决于特定应用和施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定应用以不同的方式实现所描述的功能,这样的实现决策不应被解释为导致脱离本公开的范围。
结合本文公开的实现方式描述的方法或算法的步骤可以直接体现在硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移除磁盘、压缩盘只读存储器(CD-ROM)或本领域已知的任何其他形式的非暂时性存储介质。示例性存储介质耦合到处理器,使得处理器可以从存储介质读取信息以及将信息写入存储介质。在替代方案中,存储介质可以集成到处理器中。处理器和存储介质可以驻留在专用集成电路(ASIC)中。ASIC可以驻留在计算设备或用户终端中。在替代方案中,处理器和存储介质可以作为离散组件驻留在计算设备或用户终端中。
以下在第一组相互关联的条款中描述了本公开的特定方面:
条款1包括一种设备,包括:存储器,其存储指令;以及一个或多个处理器,其耦合到存储器,并且被配置为执行指令用于:基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
条款2包括条款1的设备,其中,一个或多个处理器还被配置为执行指令用于:从被设置在两个或更多个音频环境中的第二音频环境中的第二音频设备获得音频数据。
条款3包括条款1-2中任一项的设备,其中,音频数据表示在两个或更多个用户之间的通话的音频,并且第一音频环境包括两个或更多个用户中的至少一个用户所在的房间。
条款4包括条款1-3中任一项的设备,其中,相互音频环境对应于两个或更多个音频环境中的一个音频环境。
条款5包括条款1-4中任一项的设备,其中,相互音频环境对应于表示两个或更多个音频环境的交集的体积。
条款6包括条款1-4中任一项的设备,其中,相互音频环境对应于与两个或更多个音频环境中的每一个音频环境不同的虚拟空间。
条款7包括条款1-4中任一项的设备,其中,相互音频环境对应于具有基于相互音频环境的几何结构的混响特性的虚拟房间。
条款8包括条款1-7中任一项的设备,其中,处理音频数据包括:过滤音频数据,以减少与两个或更多个音频环境中的第二音频环境相关联的混响。
条款9包括条款1-8中任一项的设备,其中,处理音频数据包括:将音频数据与关联于相互音频环境的模拟混响组合。
条款10包括条款1-9中任一项的设备,其中,处理音频数据包括:抑制与两个或更多个音频环境中的第二音频环境相关联的背景噪声。
条款11包括条款1-10中任一项的设备,其中,处理音频数据包括:向音频数据添加与声源相关联的方向性信息。
条款12包括条款1-10中任一项的设备,其中,处理音频数据包括:从音频数据中去除与声源相关联的方向性信息。
条款13包括条款1-10中任一项的设备,其中,处理音频数据包括:修改指示与声源相关联的方向性信息的音频数据的一部分。
条款14包括条款1-13中任一项的设备,其中,一个或多个处理器还被配置为执行指令用于:获得指示用户在两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,音频数据是基于运动数据被修改的。
条款15包括条款14的设备,其中,运动数据是基于用户的注视方向的改变的。
条款16包括条款1-15中任一项的设备,其中,一个或多个处理器还被配置为执行指令用于:基于与两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改相互音频环境。
条款17包括条款16的设备,其中,修改相互音频环境包括:相对于相互音频环境的一个或多个声源移动相互音频环境的边界。
条款18包括条款16的设备,其中,修改相互音频环境包括:改变相互音频环境的几何结构的形状。
条款19包括条款16的设备,其中,修改相互音频环境包括:改变相互音频环境的大小。
条款20包括条款1-19中任一项的设备,其中,处理音频数据包括:从音频数据中去除一个或多个音频分量。
条款21包括条款1-19中任一项的设备,其中,处理音频数据包括:将一个或多个音频分量添加到音频数据。
条款22包括条款1-19中任一项的设备,其中,处理音频数据包括:修改音频数据的一个或多个音频分量。
条款23包括条款1-19中任一项的设备,其中,处理音频数据包括:在音频数据中增强与特定声源相关联的一个或多个音频分量。
条款24包括条款1-23中任一项的设备,其中,处理音频数据包括:改变与音频数据的一个或多个音频分量相关联的频率范围。
条款25包括条款1-24中任一项的设备,其中,一个或多个处理器还被配置为执行指令用于:确定用户相对于相互音频环境中的声源的定向,其中,该音频数据是基于定向被处理的。
条款26包括条款25的设备,其中,一个或多个处理器还被配置为执行指令用于:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改相互音频环境以维持定向。
条款27包括条款25的设备,其中,一个或多个处理器还被配置为执行指令用于:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改定向。
条款28包括条款1-27中任一项的设备,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的几何结构数据。
条款29包括条款28的设备,其中,与两个或更多个音频环境中的特定音频环境相关联的几何结构数据是基于特定音频环境的无线范围测量被确定的。
条款30包括条款1-29中任一项的设备,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的混响特性数据。
条款31包括条款1-30中任一项的设备,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,声源在特定音频环境内的位置的指示。
条款32包括条款1-31中任一项的设备,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,用户在特定音频环境内的位置的指示。
条款33包括条款1-32中任一项的设备,其中,音频数据还是基于以下各项被处理的:虚拟现实对象、增强现实对象、混合现实对象或扩展现实对象在相互音频环境内的位置。
条款34包括条款1-33中任一项的设备,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且指令还被配置为使一个或多个处理器将相互坐标系中的第一位置与第一音频环境的第一声源相关联,并且将相互坐标系中的第二位置与两个或更多个音频环境中的第二音频环境的第二声源相关联。
条款35包括条款1-34中任一项的设备,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且指令还被配置为将在两个或更多个音频环境中的特定音频环境中的用户的注视方向映射到相互坐标系,并且基于注视方向来生成相互音频环境的视觉呈现。
条款36包括一种方法,包括:基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
条款37包括条款36的方法,还包括:从被设置在两个或更多个音频环境中的第二音频环境中的第二音频设备获得音频数据。
条款38包括条款36-37中任一项的方法,其中,音频数据表示在两个或更多个用户之间的通话的音频,并且第一音频环境包括两个或更多个用户中的至少一个用户所在的房间。
条款39包括条款36-38中任一项的方法,其中,相互音频环境对应于两个或更多个音频环境中的一个音频环境。
条款40包括条款36-39中任一项的方法,其中,相互音频环境对应于表示两个或更多个音频环境的交集的体积。
条款41包括条款36-39中任一项的方法,其中,相互音频环境对应于与两个或更多个音频环境中的每一个音频环境不同的虚拟空间。
条款42包括条款36-39中任一项的方法,其中,相互音频环境对应于具有基于相互音频环境的几何结构的混响特性的虚拟房间。
条款43包括条款36-42中任一项的方法,其中,处理音频数据包括:过滤音频数据,以减少与两个或更多个音频环境中的第二音频环境相关联的混响。
条款44包括条款36-43中任一项的方法,其中,处理音频数据包括:将音频数据与关联于相互音频环境的模拟混响组合。
条款45包括条款36-44中任一项的方法,其中,处理音频数据包括:抑制与两个或更多个音频环境中的第二音频环境相关联的背景噪声。
条款46包括条款36-45中任一项的方法,其中,处理音频数据包括:向音频数据添加与声源相关联的方向性信息。
条款47包括条款36-45中任一项的方法,其中,处理音频数据包括:从音频数据中去除与声源相关联的方向性信息。
条款48包括条款36-45中任一项的方法,其中,处理音频数据包括:修改指示与声源相关联的方向性信息的音频数据的一部分。
条款49包括条款36-48中任一项的方法,还包括:获得指示用户在两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,音频数据是基于运动数据被修改的。
条款50包括条款49的方法,其中,运动数据是基于用户的注视方向的改变的。
条款51包括条款36-50中任一项的方法,还包括:基于与两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改相互音频环境。
条款52包括条款51的方法,其中,修改相互音频环境包括:相对于相互音频环境的一个或多个声源移动相互音频环境的边界。
条款53包括条款51的方法,其中,修改相互音频环境包括:改变相互音频环境的几何结构的形状。
条款54包括条款51的方法,其中,修改相互音频环境包括:改变相互音频环境的大小。
条款55包括条款36-54中任一项的方法,其中,处理音频数据包括:从音频数据中去除一个或多个音频分量。
条款56包括条款36-54中任一项的方法,其中,处理音频数据包括:将一个或多个音频分量添加到音频数据。
条款57包括条款36-54中任一项的方法,其中,处理音频数据包括:修改音频数据的一个或多个音频分量。
条款58包括条款36-54中任一项的方法,其中,处理音频数据包括:在音频数据中增强与特定声源相关联的一个或多个音频分量。
条款59包括条款36-58中任一项的方法,其中,处理音频数据包括:改变与音频数据的一个或多个音频分量相关联的频率范围。
条款60包括条款36-59中任一项的方法,还包括:确定用户相对于相互音频环境中的声源的定向,其中,该音频数据是基于定向被处理的。
条款61包括条款61的方法,还包括:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改相互音频环境以维持定向。
条款62包括条款61的方法,还包括:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改定向。
条款63包括条款36-62中任一项的方法,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的几何结构数据。
条款64包括条款63的方法,其中,与两个或更多个音频环境中的特定音频环境相关联的几何结构数据是基于特定音频环境的无线范围测量被确定的。
条款65包括条款36-64中任一项的方法,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的混响特性数据。
条款66包括条款36-65中任一项的方法,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,声源在特定音频环境内的位置的指示。
条款67包括条款36-66中任一项的方法,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,用户在特定音频环境内的位置的指示。
条款68包括条款36-67中任一项的方法,其中,音频数据还是基于以下各项被处理的:虚拟现实对象、增强现实对象、混合现实对象或扩展现实对象在相互音频环境内的位置。
条款69包括条款36-68中任一项的方法,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且方法还包括将相互坐标系中的第一位置与第一音频环境的第一声源相关联,并且将相互坐标系中的第二位置与两个或更多个音频环境中的第二音频环境的第二声源相关联。
条款70包括条款36-69中任一项的方法,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且方法还包括将在两个或更多个音频环境中的特定音频环境中的用户的注视方向映射到相互坐标系,并且基于注视方向来生成相互音频环境的视觉呈现。
条款71包括一种存储指令的非暂时性计算机可读介质,该指令在由处理器执行时,使处理器进行以下操作:基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出。
条款72包括条款71的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:从被设置在两个或更多个音频环境中的第二音频环境中的第二音频设备获得音频数据。
条款73包括条款71-72中任一项的非暂时性计算机可读介质,其中,音频数据表示在两个或更多个用户之间的通话的音频,并且第一音频环境包括两个或更多个用户中的至少一个用户所在的房间。
条款74包括条款71-73中任一项的非暂时性计算机可读介质,其中,相互音频环境对应于两个或更多个音频环境中的一个音频环境。
条款75包括条款71-74中任一项的非暂时性计算机可读介质,其中,相互音频环境对应于表示两个或更多个音频环境的交集的体积。
条款76包括条款71-74中任一项的非暂时性计算机可读介质,其中,相互音频环境对应于与两个或更多个音频环境中的每一个音频环境不同的虚拟空间。
条款77包括条款71-74中任一项的非暂时性计算机可读介质,其中,相互音频环境对应于具有基于相互音频环境的几何结构的混响特性的虚拟房间。
条款78包括条款71-77中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:过滤音频数据,以减少与两个或更多个音频环境中的第二音频环境相关联的混响。
条款79包括条款71-78中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:将音频数据与关联于相互音频环境的模拟混响组合。
条款80包括条款71-79中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:抑制与两个或更多个音频环境中的第二音频环境相关联的背景噪声。
条款81包括条款71-80中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:向音频数据添加与声源相关联的方向性信息。
条款82包括条款71-80中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:从音频数据中去除与声源相关联的方向性信息。
条款83包括条款71-80中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:修改指示与声源相关联的方向性信息的音频数据的一部分。
条款84包括条款71-83中任一项的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:获得指示用户在两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,音频数据是基于运动数据被修改的。
条款85包括条款84的非暂时性计算机可读介质,其中,运动数据是基于用户的注视方向的改变的。
条款86包括条款71-85中任一项的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:基于与两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改相互音频环境。
条款87包括条款86的非暂时性计算机可读介质,其中,修改相互音频环境包括:相对于相互音频环境的一个或多个声源移动相互音频环境的边界。
条款88包括条款86的非暂时性计算机可读介质,其中,修改相互音频环境包括:改变相互音频环境的几何结构的形状。
条款89包括条款86的非暂时性计算机可读介质,其中,修改相互音频环境包括:改变相互音频环境的大小。
条款90包括条款71-89中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:从音频数据中去除一个或多个音频分量。
条款91包括条款71-89中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:将一个或多个音频分量添加到音频数据。
条款92包括条款71-89中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:修改音频数据的一个或多个音频分量。
条款93包括条款71-89中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:在音频数据中增强与特定声源相关联的一个或多个音频分量。
条款94包括条款71-93中任一项的非暂时性计算机可读介质,其中,处理音频数据包括:改变与音频数据的一个或多个音频分量相关联的频率范围。
条款95包括条款71-94中任一项的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:确定用户相对于相互音频环境中的声源的定向,其中,该音频数据是基于定向被处理的。
条款96包括条款95的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改相互音频环境以维持定向。
条款97包括条款95的非暂时性计算机可读介质,其中,该指令在由处理器执行时,还使处理器进行以下操作:获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于运动数据来修改定向。
条款98包括条款71-97中任一项的非暂时性计算机可读介质,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的几何结构数据。
条款99包括条款98的非暂时性计算机可读介质,其中,与两个或更多个音频环境中的特定音频环境相关联的几何结构数据是基于特定音频环境的无线范围测量被确定的。
条款100包括条款71-99中任一项的非暂时性计算机可读介质,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的混响特性数据。
条款101包括条款71-100中任一项的非暂时性计算机可读介质,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,声源在特定音频环境内的位置的指示。
条款102包括条款71-101中任一项的非暂时性计算机可读介质,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,用户在特定音频环境内的位置的指示。
条款103包括条款71-102中任一项的非暂时性计算机可读介质,其中,音频数据还是基于以下各项被处理的:虚拟现实对象、增强现实对象、混合现实对象或扩展现实对象在相互音频环境内的位置。
条款104包括条款71-103中任一项的非暂时性计算机可读介质,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且该非暂时性计算机可读介质还包括将相互坐标系中的第一位置与第一音频环境的第一声源相关联,并且将相互坐标系中的第二位置与两个或更多个音频环境中的第二音频环境的第二声源相关联。
条款105包括条款71-104中任一项的非暂时性计算机可读介质,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且该非暂时性计算机可读介质还包括将在两个或更多个音频环境中的特定音频环境中的用户的注视方向映射到相互坐标系,并且基于注视方向来生成相互音频环境的视觉呈现。
条款105包括一种设备,包括:用于基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构的单元;以及用于基于相互音频环境的几何结构来处理音频数据,以在被设置在两个或更多个音频环境中的第一音频环境中的音频设备处输出的单元。
条款106包括条款105的设备,还包括:用于从被设置在两个或更多个音频环境中的第二音频环境中的第二音频设备获得音频数据的单元。
条款107包括条款105-106中任一项的设备,其中,音频数据表示在两个或更多个用户之间的通话的音频,并且第一音频环境包括两个或更多个用户中的至少一个用户所在的房间。
条款108包括条款105-107中任一项的设备,其中,相互音频环境对应于两个或更多个音频环境中的一个音频环境。
条款109包括条款105-108中任一项的设备,其中,相互音频环境对应于表示两个或更多个音频环境的交集的体积。
条款110包括条款105-108中任一项的设备,其中,相互音频环境对应于与两个或更多个音频环境中的每一个音频环境不同的虚拟空间。
条款111包括条款105-108中任一项的设备,其中,相互音频环境对应于具有基于相互音频环境的几何结构的混响特性的虚拟房间。
条款112包括条款105-111中任一项的设备,其中,处理音频数据包括:过滤音频数据,以减少与两个或更多个音频环境中的第二音频环境相关联的混响。
条款113包括条款105-112中任一项的设备,其中,处理音频数据包括:将音频数据与关联于相互音频环境的模拟混响组合。
条款114包括条款105-113中任一项的设备,其中,处理音频数据包括:抑制与两个或更多个音频环境中的第二音频环境相关联的背景噪声。
条款115包括条款105-114中任一项的设备,其中,处理音频数据包括:向音频数据添加与声源相关联的方向性信息。
条款116包括条款105-114中任一项的设备,其中,处理音频数据包括:从音频数据中去除与声源相关联的方向性信息。
条款117包括条款105-114中任一项的设备,其中,处理音频数据包括:修改指示与声源相关联的方向性信息的音频数据的一部分。
条款118包括条款105-117中任一项的设备,还包括:用于获得指示用户在两个或更多个音频环境中的第二音频环境内的移动的运动数据的单元,其中,音频数据是基于运动数据被修改的。
条款119包括条款118的设备,其中,运动数据是基于用户的注视方向的改变的。
条款120包括条款105-119中任一项的设备,还包括:用于基于与两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改相互音频环境的单元。
条款121包括条款120的设备,其中,修改相互音频环境包括:相对于相互音频环境的一个或多个声源移动相互音频环境的边界。
条款122包括条款120的设备,其中,修改相互音频环境包括:改变相互音频环境的几何结构的形状。
条款123包括条款120的设备,其中,修改相互音频环境包括:改变相互音频环境的大小。
条款124包括条款105-123中任一项的设备,其中,处理音频数据包括:从音频数据中去除一个或多个音频分量。
条款125包括条款105-123中任一项的设备,其中,处理音频数据包括:将一个或多个音频分量添加到音频数据。
条款126包括条款105-123中任一项的设备,其中,处理音频数据包括:修改音频数据的一个或多个音频分量。
条款127包括条款105-123中任一项的设备,其中,处理音频数据包括:在音频数据中增强与特定声源相关联的一个或多个音频分量。
条款128包括条款105-127中任一项的设备,其中,处理音频数据包括:改变与音频数据的一个或多个音频分量相关联的频率范围。
条款129包括条款105-128中任一项的设备,还包括用于确定用户相对于相互音频环境中的声源的定向的单元,其中,该音频数据是基于定向被处理的。
条款130包括条款129的设备,还包括:用于获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据的单元,以及用于基于运动数据来修改相互音频环境以维持定向的单元。
条款131包括条款130的设备,还包括:用于获得与两个或更多个音频环境中的至少一个音频环境相关联的运动数据的单元,以及用于基于运动数据来修改定向的单元。
条款132包括条款105-131中任一项的设备,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的几何结构数据。
条款133包括条款132的设备,其中,与两个或更多个音频环境中的特定音频环境相关联的几何结构数据是基于特定音频环境的无线范围测量被确定的。
条款134包括条款105-133中任一项的设备,其中,描述两个或更多个音频环境的数据包括:两个或更多个音频环境中的每一个音频环境的混响特性数据。
条款135包括条款105-134中任一项的设备,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,声源在特定音频环境内的位置的指示。
条款136包括条款105-135中任一项的设备,其中,描述两个或更多个音频环境的数据包括:对于两个或更多个音频环境中的特定音频环境,用户在特定音频环境内的位置的指示。
条款137包括条款105-136中任一项的设备,其中,音频数据还是基于以下各项被处理的:虚拟现实对象、增强现实对象、混合现实对象或扩展现实对象在相互音频环境内的位置。
条款138包括条款105-137中任一项的设备,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且该设备还包括用于将相互坐标系中的第一位置与第一音频环境的第一声源相关联,并且将相互坐标系中的第二位置与两个或更多个音频环境中的第二音频环境的第二声源相关联的单元。
条款139包括条款105-139中任一项的设备,其中,确定相互音频环境的几何结构包括基于描述两个或更多个音频环境的数据来确定相互坐标系,并且该设备还包括用于将在两个或更多个音频环境中的特定音频环境中的用户的注视方向映射到相互坐标系,并且基于注视方向来生成相互音频环境的视觉呈现的单元。
条款140包括条款1-35中任一项的设备,还包括:调制解调器,其耦合到一个或多个处理器并且被配置为将处理后的音频数据发送到音频设备。
Claims (30)
1.一种设备,包括:
存储器,其存储指令;以及
一个或多个处理器,其耦合到所述存储器,并且被配置为执行所述指令用于:
基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及
基于所述相互音频环境的几何结构来处理音频数据,以在被设置在所述两个或更多个音频环境中的第一音频环境中的音频设备处输出。
2.根据权利要求1所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:从被设置在所述两个或更多个音频环境中的第二音频环境中的第二音频设备获得所述音频数据。
3.根据权利要求1所述的设备,其中,所述音频数据表示在两个或更多个用户之间的通话的音频,并且所述第一音频环境包括所述两个或更多个用户中的至少一个用户所在的房间。
4.根据权利要求1所述的设备,其中,所述相互音频环境对应于以下各项:所述两个或更多个音频环境中的一个音频环境;表示所述两个或更多个音频环境的交集的体积;与所述两个或更多个音频环境中的每一个音频环境不同的虚拟空间;或者具有基于所述相互音频环境的几何结构的混响特性的虚拟房间。
5.根据权利要求1所述的设备,其中,处理所述音频数据包括:过滤所述音频数据,以减少与所述两个或更多个音频环境中的第二音频环境相关联的混响。
6.根据权利要求1所述的设备,其中,处理所述音频数据包括:将所述音频数据与关联于所述相互音频环境的模拟混响组合;抑制与所述两个或更多个音频环境中的第二音频环境相关联的背景噪声;向所述音频数据添加与声源相关联的方向性信息;从所述音频数据中去除与声源相关联的方向性信息;或者修改指示与声源相关联的方向性信息的所述音频数据的一部分。
7.根据权利要求1所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:获得指示用户在所述两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,所述音频数据是基于所述运动数据被修改的。
8.根据权利要求7所述的设备,其中,所述运动数据是基于所述用户的注视方向的改变的。
9.根据权利要求7所述的设备,其中,用于获得运动数据的所述指令包括:用于经由双基地射频(“RF”)感测操作获得运动数据的指令。
10.根据权利要求7所述的设备,其中,用于获得运动数据的所述指令包括:用于经由单基地射频(“RF”)感测操作获得运动数据的指令。
11.根据权利要求1所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:基于与所述两个或更多个音频环境中的至少一个音频环境相关联的运动数据来修改所述相互音频环境。
12.根据权利要求11所述的设备,其中,修改所述相互音频环境包括:相对于所述相互音频环境的一个或多个声源移动所述相互音频环境的边界;改变所述相互音频环境的几何结构的形状;或者改变所述相互音频环境的大小。
13.根据权利要求1所述的设备,其中,处理所述音频数据包括:从所述音频数据中去除一个或多个音频分量;将一个或多个音频分量添加到所述音频数据;或者修改所述音频数据的一个或多个音频分量。
14.根据权利要求1所述的设备,其中,处理所述音频数据包括:在所述音频数据中增强与特定声源相关联的一个或多个音频分量。
15.根据权利要求1所述的设备,其中,处理所述音频数据包括:改变与所述音频数据的一个或多个音频分量相关联的频率范围。
16.根据权利要求1所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:确定用户相对于所述相互音频环境中的声源的定向,其中,所述音频数据是基于所述定向被处理的。
17.根据权利要求16所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:获得与所述两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于所述运动数据来修改所述相互音频环境以维持所述定向。
18.根据权利要求16所述的设备,其中,所述一个或多个处理器还被配置为执行所述指令用于:获得与所述两个或更多个音频环境中的至少一个音频环境相关联的运动数据,并且基于所述运动数据来修改所述定向。
19.根据权利要求1所述的设备,其中,描述所述两个或更多个音频环境的所述数据包括:所述两个或更多个音频环境中的每一个音频环境的几何结构数据。
20.根据权利要求19所述的设备,其中,与所述两个或更多个音频环境中的特定音频环境相关联的所述几何结构数据是基于所述特定音频环境的无线范围测量被确定的。
21.根据权利要求1所述的设备,其中,描述所述两个或更多个音频环境的所述数据包括:所述两个或更多个音频环境中的每一个音频环境的混响特性数据。
22.根据权利要求1所述的设备,其中,描述所述两个或更多个音频环境的所述数据包括:对于所述两个或更多个音频环境中的特定音频环境,声源在所述特定音频环境内的位置的指示。
23.根据权利要求1所述的设备,还包括:调制解调器,其耦合到所述一个或多个处理器并且被配置为将处理后的音频数据发送到所述音频设备。
24.根据权利要求1所述的设备,其中,所述音频数据还是基于以下各项被处理的:虚拟现实对象、增强现实对象、混合现实对象或扩展现实对象在所述相互音频环境内的位置。
25.根据权利要求1所述的设备,其中,确定所述相互音频环境的几何结构包括基于描述所述两个或更多个音频环境的所述数据来确定相互坐标系,并且所述指令还被配置为使所述一个或多个处理器将所述相互坐标系中的第一位置与所述第一音频环境的第一声源相关联,并且将所述相互坐标系中的第二位置与所述两个或更多个音频环境中的第二音频环境的第二声源相关联。
26.根据权利要求1所述的设备,其中,确定所述相互音频环境的几何结构包括基于描述所述两个或更多个音频环境的所述数据来确定相互坐标系,并且所述指令还被配置为将在所述两个或更多个音频环境中的特定音频环境中的用户的注视方向映射到所述相互坐标系,并且基于所述注视方向来生成所述相互音频环境的视觉呈现。
27.一种方法,包括:
基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及
基于所述相互音频环境的几何结构来处理音频数据,以在被设置在所述两个或更多个音频环境中的第一音频环境中的音频设备处输出。
28.根据权利要求27所述的方法,还包括:获得指示用户在所述两个或更多个音频环境中的第二音频环境内的移动的运动数据,其中,所述音频数据是基于所述运动数据被修改的。
29.一种存储指令的非暂时性计算机可读介质,所述指令在由处理器执行时,使所述处理器进行以下操作:
基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构;以及
基于所述相互音频环境的几何结构来处理音频数据,以在被设置在所述两个或更多个音频环境中的第一音频环境中的音频设备处输出。
30.一种设备,包括:
用于基于描述两个或更多个音频环境的数据,来确定相互音频环境的几何结构的单元;以及
用于基于所述相互音频环境的几何结构来处理音频数据,以在被设置在所述两个或更多个音频环境中的第一音频环境中的音频设备处输出的单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/446,498 | 2021-08-31 | ||
US17/446,498 US11805380B2 (en) | 2021-08-31 | 2021-08-31 | Augmented audio for communications |
PCT/US2022/075724 WO2023034843A1 (en) | 2021-08-31 | 2022-08-31 | Augmented audio for communications |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117897970A true CN117897970A (zh) | 2024-04-16 |
Family
ID=83457493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280057271.3A Pending CN117897970A (zh) | 2021-08-31 | 2022-08-31 | 用于通信的增强音频 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11805380B2 (zh) |
EP (1) | EP4397054A1 (zh) |
KR (1) | KR20240033277A (zh) |
CN (1) | CN117897970A (zh) |
TW (1) | TW202318185A (zh) |
WO (1) | WO2023034843A1 (zh) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2349055B (en) * | 1999-04-16 | 2004-03-24 | Mitel Corp | Virtual meeting rooms with spatial audio |
US20140100839A1 (en) * | 2012-09-13 | 2014-04-10 | David Joseph Arendash | Method for controlling properties of simulated environments |
US10827292B2 (en) * | 2013-03-15 | 2020-11-03 | Jawb Acquisition Llc | Spatial audio aggregation for multiple sources of spatial audio |
US20160080874A1 (en) * | 2014-09-16 | 2016-03-17 | Scott Fullam | Gaze-based audio direction |
US9922463B2 (en) * | 2015-08-07 | 2018-03-20 | Microsoft Technology Licensing, Llc | Virtually visualizing energy |
EP3313101B1 (en) * | 2016-10-21 | 2020-07-22 | Nokia Technologies Oy | Distributed spatial audio mixing |
US10251011B2 (en) | 2017-04-24 | 2019-04-02 | Intel Corporation | Augmented reality virtual reality ray tracing sensory enhancement system, apparatus and method |
US11170139B1 (en) * | 2017-05-31 | 2021-11-09 | Apple Inc. | Real-time acoustical ray tracing |
CN115175064A (zh) | 2017-10-17 | 2022-10-11 | 奇跃公司 | 混合现实空间音频 |
US11240623B2 (en) * | 2018-08-08 | 2022-02-01 | Qualcomm Incorporated | Rendering audio data from independently controlled audio zones |
US11190871B2 (en) * | 2019-01-29 | 2021-11-30 | Nureva, Inc. | Method, apparatus and computer-readable media to create audio focus regions dissociated from the microphone system for the purpose of optimizing audio processing at precise spatial locations in a 3D space |
DE112020002355T5 (de) | 2019-05-15 | 2022-01-27 | Apple Inc. | Audioverarbeitung |
JP7292437B2 (ja) | 2019-07-26 | 2023-06-16 | グーグル エルエルシー | Imuおよびレーダーに基づいて状態を下げること |
US10932081B1 (en) * | 2019-08-22 | 2021-02-23 | Microsoft Technology Licensing, Llc | Bidirectional propagation of sound |
US20230188920A1 (en) * | 2020-04-03 | 2023-06-15 | Dolby International Ab | Methods, apparatus and systems for diffraction modelling based on grid pathfinding |
-
2021
- 2021-08-31 US US17/446,498 patent/US11805380B2/en active Active
-
2022
- 2022-08-31 TW TW111132914A patent/TW202318185A/zh unknown
- 2022-08-31 EP EP22777904.8A patent/EP4397054A1/en active Pending
- 2022-08-31 KR KR1020247005932A patent/KR20240033277A/ko not_active Application Discontinuation
- 2022-08-31 CN CN202280057271.3A patent/CN117897970A/zh active Pending
- 2022-08-31 WO PCT/US2022/075724 patent/WO2023034843A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4397054A1 (en) | 2024-07-10 |
KR20240033277A (ko) | 2024-03-12 |
US11805380B2 (en) | 2023-10-31 |
WO2023034843A1 (en) | 2023-03-09 |
TW202318185A (zh) | 2023-05-01 |
US20230060774A1 (en) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11632645B2 (en) | Improving computer performance of executing binaural sound | |
US20180376273A1 (en) | System and method for determining audio context in augmented-reality applications | |
CN107003378B (zh) | 便携式电子装置和确定便携式电子装置的地理位置的方法 | |
JP2022062282A (ja) | 空間オーディオシステムにおける利得制御 | |
CN110677802B (zh) | 用于处理音频的方法和装置 | |
US11047965B2 (en) | Portable communication device with user-initiated polling of positional information of nodes in a group | |
WO2016165863A1 (en) | Speaker location determining system | |
CN109429166B (zh) | 用于联网的扬声器系统的测量和校准的网络及方法 | |
US11871210B2 (en) | Sharing locations where binaural sound externally localizes | |
EP4220637A1 (en) | Multi-channel audio signal acquisition method and apparatus, and system | |
US11805380B2 (en) | Augmented audio for communications | |
CN111277352A (zh) | 通过时间同步的联网扬声器发现环境 | |
CN114220454B (zh) | 一种音频降噪方法、介质和电子设备 | |
JP6650245B2 (ja) | インパルス応答生成装置及びプログラム | |
WO2023197646A1 (zh) | 一种音频信号处理方法及电子设备 | |
Hill et al. | Live event performer tracking for digital console automation using industry-standard wireless microphone systems | |
CN118092652A (zh) | 一种基于声学可穿戴设备的人机交互控制方法 | |
Maddumabandara | Performance evaluation of localization techniques for wireless sensor networks | |
CN115250412A (zh) | 音频处理方法、装置、无线耳机及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |