CN105432097A - 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 - Google Patents
伴有内容分析和加权的具有立体声房间脉冲响应的滤波 Download PDFInfo
- Publication number
- CN105432097A CN105432097A CN201480042431.2A CN201480042431A CN105432097A CN 105432097 A CN105432097 A CN 105432097A CN 201480042431 A CN201480042431 A CN 201480042431A CN 105432097 A CN105432097 A CN 105432097A
- Authority
- CN
- China
- Prior art keywords
- impulse response
- stereo
- room impulse
- audio signal
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
一种包括一或多个处理器的装置经配置以将适应性地确定的权数应用到音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道。所述处理器经进一步配置以组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号。所述处理器经进一步配置以将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
Description
优先权主张
本申请案主张2013年5月29日申请的美国临时专利申请案第61/828,620号、2013年7月17日申请的美国临时专利申请案第61/847,543号、2013年10月3日申请的美国临时申请案第61/886,593号和2013年10月3日申请的美国临时申请案第61/886,620号的权益。
技术领域
本发明涉及音频呈现,且更具体地说,涉及音频数据的立体声呈现。
发明内容
一般来说,描述用于通过将立体声房间脉冲响应(BRIR)滤波器应用于源音频流而进行立体声音频呈现的技术。
作为一个实例,一种立体声化音频信号的方法包括将适应性地确定的权数应用到所述音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
作为另一实例,一种装置包括一或多个处理器,其经配置以将适应性地确定的权数应用到所述音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
作为另一实例,一种设备包括用于将适应性地确定的权数应用到所述音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道的装置;用于组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号的装置;以及用于将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号的装置。
作为另一实例,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在经执行时使一或多个处理器:将适应性地确定的权数应用到所述音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
技术的一或多个方面的细节阐述于随附图式和以下描述中。这些技术的其它特征、目标和优势将从描述和图式以及从权利要求书而显而易见。
附图说明
图1和2为说明各种阶次和次阶的球面谐波基底函数的图。
图3为说明可执行本发明中所描述的技术以更有效率地呈现音频信号信息的系统的图。
图4为说明实例立体声房间脉冲响应(BRIR)的框图。
图5为说明用于产生房间中的BRIR的实例系统模型的框图。
图6为说明用于产生房间中的BRIR的更深层系统模型的框图。
图7为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图8为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图9为说明根据本发明中所描述的技术的各种方面的用于立体声呈现装置呈现球面谐波系数的实例操作模式的流程图。
图10A、10B描绘说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的替代操作模式的流程图。
图11为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图12为说明根据本发明中所描述的技术的各种方面的可由图11的音频回放装置执行的过程的流程图。
图13为实例立体声房间脉冲响应滤波器的图。
图14为说明用于通过将立体声房间脉冲回应应用到多信道音频信号产生的立体声输出信号的标准计算的系统的框图。
图15为说明根据本文中描述的技术的用于计算通过将立体声房间脉冲回应应用到多信道音频信号产生的立体声输出信号的系统的功能组件的框图。
图16为展示对多个立体声房间脉冲响应滤波器的反射片段的阶层式聚类分析的实例曲线。
图17为说明根据本发明中描述的技术的音频回放装置的实例操作模式的流程图。
相似参考字符贯穿诸图和文本表示相似元件。
具体实施方式
环绕声的演化现今已使得许多输出格式可用于娱乐。这些环绕声格式的实例包含流行5.1格式(其包含以下六个信道:左前(FL)、右前(FR)、中心或前心、左后或左环绕、右后或右环绕,和低频效应(LFE))、发展中的7.1格式,和即将到来的22.2格式(例如,供超高清晰度电视标准使用)。空间音频格式的另一实例为球面谐波系数(也被称为较高阶环境立体混合声)。
到未来标准化音频编码器(将PCM音频表示转换成位流的装置——节省每时间样本所需的位的数目)的输入可任选地为三种可能格式中的一者:(i)基于传统信道的音频,其意味着通过预先指定位置处的扩音器进行播放;(ii)基于物件的音频,其涉及用于单一音频物件的离散脉码调制(PCM)数据与含有其位置坐标(以及其它信息)的相关联的元数据;和(iii)基于场景的音频,其涉及使用球面谐波系数(SHC)表示声场-其中系数表示球面谐波基底函数的线性加总的“权重”。关于这点,SHC可包含根据较高阶环境立体混合声(HoA)模型的HoA信号。球面谐波系数可替代地或另外包含平面模型和球面模型。
市场中存在各种“环绕声”格式。举例来说,其范围为从5.1家庭影院系统(其为除了立体声系统以外在严重消耗起居室方面最成功的)到由NHK(日本广播协会或日本广播公司)开发的22.2系统。内容创建者(例如,好莱坞影城)将愿意产生用于电影的声道一次,但并不花费精力来针对每一扬声器配置进行重新混合。近来,标准委员会已在考虑提供编码成标准化位流和提供对于呈现器的位置处的扬声器几何形状和声学条件可适应和不可知的后续解码的方式。
为了为内容创建者提供此灵活性,可使用元素的阶层集合来表示声场。元素的阶层集合可指元素经排序以使得较低阶元素的基本集合提供对模型化声场的完全表示的元素集合。当扩展集合以包含较高阶元素时,表示变得更详细。
元素的阶层集合的一个实例为球面谐波系数(SHC)的集合。以下表达式表明使用SHC进行的声场的描述或表示:
此表达式展示了声场的任何点(在此实例中,其以相对于俘获声场的麦克风的球面坐标来表达)处的压力pi可通过SHC唯一地表示。此处,c为声速(约343m/s),为参考点(或观测点),jn(·)为n阶球面贝塞耳函数,且为n阶和m次阶球面谐波基底函数。可认识到,方括号中的项为信号的频域表示(即,其可通过例如离散傅立叶变换(DFT)、离散余弦变换(DCT)或小波变换的各种时间频率变换来趋近。阶层集合的其它实例包含小波变换系数的集合和多重分辨率基底函数系数的其它集合。
图1为说明从零阶(n=0)到第四阶(n=4)的球面谐波基底函数的图。如可见的,对于每一阶,存在m次阶的展开,为了便于说明的目的,在图1的实例中展示但未明确注释所述展开。
图2为说明从零阶(n=0)到第四阶(n=4)的球面谐波基底函数的另一图。在图2中,在三维坐标空间中展示球面谐波基底函数,其中展示了阶次和次阶两者。
在任何情况下,SHC可通过各种麦克风阵列配置来物理地获取(例如,记录),或替代地,其可从声场的基于信道或基于物件的描述而导出。SHC表示基于场景的音频。举例来说,第四阶SHC表示涉及每一时间样本(1+4)2=25个系数。
为了说明可如何从基于物件的描述导出这些SHC,考虑以下等式。对应于个别音频物件的声场的系数可表达为:
其中i为为n阶球面汉克尔函数(第二种),且为物件的位置。知晓依据频率的源能量g(ω)(例如,使用时间频率分析技术,例如,对PCM流式传输执行快速傅立叶变换)允许将每一PCM物件和其位置转换成SHC此外,可展示(因为上述等式为线性和正交分解)每一物件的系数为加成性的。以此方式,大量PCM物件可由系数来表示(例如,作为个别物件的系数向量的总和)。基本上,这些系数含有关于声场的信息(依据3D坐标的压力),且上述等式表示在观测点附近从个别物件到整个声场的表示的变换。
也可从麦克风阵列记录导出SHC如下:
其中,为的时域等效于(SHC),*表示卷积运算,<,>表示内积,bn(ri,t)表示相依于ri的时域滤波函数,mi(t)为第i个麦克风信号,其中第i个麦克风换能器位于半径ri、仰角θi和方位角处。因此,如果麦克风阵列中存在32个换能器且每一麦克风定位于球体上以使得ri=a为常数(例如,来自mhAcoustics的EigenmikeEM32装置上的麦克风),那么可使用矩阵运算导出25个SHC如下:
上述等式中的矩阵可更一般地被称作其中下标s可指示矩阵是针对某一换能器几何形状集合s。上述等式中的卷积(通过*指示)是基于逐列的,使得(例如)输出为由矩阵的第一列与麦克风信号的行的向量乘法产生的b0(a,t)与时间序列之间的卷积的结果(其依据时间而变化——考虑向量乘法的结果为时间序列的事实)。当麦克风阵列的换能器位置在所谓的T-设计几何形状(其极接近于Eigenmike换能器几何形状)中时,计算可为最准确的。T-设计几何形状的一个特性可为:由几何形状产生的矩阵具有表现极好的逆(或伪逆),且另外,所述逆常常可通过矩阵的转置来极好地趋近。如果将忽略bn(a,t)的滤波运算,那么此性质将允许从SHC恢复麦克风信号(即,在此实例中,下文在基于物件和基于SHC的音频译码的情境中描述剩余图。
图3为说明可执行本发明中所描述的技术以更有效率地呈现音频信号信息的系统20的图。如图3的实例中所示,系统20包含内容创建者22和内容消费者24。虽然在内容创建者22和内容消费者24的情境中加以描述,但可在利用SHC或界定声场的阶层表示的任何其它阶层元素的任何情境中实施所述技术。
内容创建者22可表示可产生用于供例如内容消费者24的内容消费者消费的多信道音频内容的电影工作室或其它物理。此内容创建者常常结合视频内容产生音频内容。内容消费者24可表示拥有或能够存取音频回放系统的个体,所述音频回放系统可指能够回放多信道音频内容的任何形式的音频回放系统。在图3的实例中,内容消费者24拥有或能够存取音频回放系统32以用于呈现界定声场的阶层表示的阶层元素。
内容创建者22包含音频呈现器28和音频编辑系统30。音频呈现器28可表示呈现或以其它方式产生扬声器馈入(其也可被称作“扩音器馈入”、“扬声器信号”或“扩音器信号”)的音频处理单元。每一扬声器馈入可对应于再现多信道音频系统的特定信道的声音的扬声器馈入或对应于希望与匹配扬声器位置的头部相关转移函数(HRTF)滤波器进行卷积的虚拟扩音器馈入。每一扬声器馈入可对应于球面谐波系数信道(其中信道可通过球面谐波系数所对应于的相关联的球面基底函数的阶次和/或次阶表示),其使用SHC的多个信道来表示定向声场。
在图3的实例中,音频呈现器28可呈现用于常规5.1、7.1或22.2环绕声格式的扬声器馈入,产生用于5.1、7.1或22.2环绕声扬声器系统中的5个、7个或22个扬声器中的每一者的扬声器馈入。替代地,在给定上文所论述的源球面谐波系数的性质的情况下,音频呈现器28可经配置以呈现具有任何数目个扬声器的任何扬声器配置的来自源球面谐波系数的扬声器馈入。音频呈现器28可以此方式产生数个扬声器馈入,所述扬声器馈入在图3中经表示为扬声器馈入29。
内容创建者可在编辑过程期间呈现球面谐波系数27(“SHC27”),从而在识别声场的不具有高保真度或不提供令人信服的环绕声体验的方面的尝试中收听所呈现的扬声器馈入。内容创建者22接着可编辑源球面谐波系数(常常间接地通过操纵可以上文所描述的方式导出源球面谐波系数所自的不同物件)。内容创建者22可使用音频编辑系统30来编辑球面谐波系数27。音频编辑系统30表示能够编辑音频数据和输出此音频数据作为一或多个源球面谐波系数的任何系统。
当编辑过程完成时,内容创建者22可基于球面谐波系数27产生位流31。即,内容创建者22包含位流产生装置36,所述位流产生装置可表示能够产生位流31的任何装置。在一些例子中,位流产生装置36可表示编码器,所述编码器频宽压缩(作为一个实例,通过熵编码)球面谐波系数27且将球面谐波系数27的经熵编码版本布置成接受的格式以形成位流31。在其它例子中,位流产生装置36可表示音频编码器(可能为遵照例如MPEG环绕或其导出形式的已知音频译码标准的音频编码器),所述音频编码器使用(作为一个实例)类似于用以压缩多信道音频内容或其导出形式的常规音频环绕声编码过程的过程的过程来编码多信道音频内容29。接着可以某种其它方式熵编码或译码经压缩的多信道音频内容29以频宽压缩内容29,且将内容根据商定的格式进行布置以形成位流31。不管是直接经压缩以形成位流31抑或经呈现且接着经压缩以形成位流31,内容创建者22均可将位流31传输到内容消费者24。
虽然图3中经展示为直接传输到内容消费者24,但内容创建者22可将位流31输出到定位于内容创建者22与内容消费者24之间的中间装置。此中间装置可存储位流31以供稍后递送到可请求此位流的内容消费者24。所述中间装置可包括文件服务器、web服务器、台式计算机、膝上型计算机、平板计算机、移动电话、智能电话或能够存储位流31以供稍后由音频解码器检索的任何其它装置。此中间装置可驻留于能够将位流31流式传输传输(和可能结合传输对应视频数据位流)到请求位流31的用户(例如,内容消费者24)的内容递送网络中。替代地,内容创建者22可将位流31存储到存储媒体(例如,紧密光盘、数字视频光盘、高清晰度视频光盘或其它存储媒体),大部分存储媒体能够由计算机读取且因此可被称作计算机可读存储媒体或非暂时性计算机可读存储媒体。关于这点,传输信道可指藉以传输存储到这些媒体的内容的那些信道(且可包含零售店和其它基于店铺的递送机构)。在任何情况下,本发明的技术因此不应在此方面限于图3的实例。
如图3的实例中进一步展示,内容消费者24拥有或能够以另外方式存取音频回放系统32。音频回放系统32可表示能够回放多信道音频数据的任何音频回放系统。音频回放系统32包含立体声音频呈现器34,其呈现SHC27'以供输出作为立体声扬声器馈入35A到35B(统称为“扬声器馈入35”)。立体声音频呈现器34可提供不同形式的呈现,例如执行向量基振幅水平移动(VBAP)的各种方式中的一或多者,和/或执行声场合成的各种方式中的一或多者。如本文中所使用,A“和/或”B可指A、B或A与B的组合。
音频回放系统32可进一步包含提取装置38。提取装置38可表示能够通过大体上可与位流产生装置36的过程互逆的过程提取球面谐波系数27'(“SHC27'”,其可表示球面谐波系数27的经修改形式或副本)的任何装置。在任何情况下,音频回放系统32可接收球面谐波系数27'且使用立体声音频呈现器34来呈现球面谐波系数27'且由此产生扬声器馈入35(对应于电耦合或可能无线耦合到音频回放系统32的扩音器的数目,为了便于说明的目的,在图3的实例中并未加以展示)。扬声器馈入35的数目可为二,且音频回放系统可无线耦合到包含两个对应扩音器的一对头戴式耳机。然而,在各种例子中,立体声音频呈现器34可输出比所说明的且主要关于图3描述的扬声器馈入多或少的扬声器馈入。
音频回放系统的二进制房间脉冲响应(BRIR)滤波器37各自表示在一位置处的对在脉冲位置处产生的脉冲的响应。BRIR滤波器37为“立体声”,这是因为其各自经产生以表示如人耳在所述位置处将会体验到的脉冲响应。因此,常常产生脉冲的BRIR滤波器,且将其用于成对地声音呈现,其中所述对中的一个元素是针对左耳,且另一元素是针对右耳。在所说明实例中,立体声音频呈现器34使用左BRIR滤波器33A和右BRIR滤波器33B来呈现相应立体声音频输出35A和35B。
举例来说,可通过对声源信号与经测量为脉冲响应(IR)的头部相关转移函数(HRTF)进行卷积来产生BRIR滤波器37。对应于BRIR滤波器37中的每一者的脉冲位置可表示虚拟空间中的虚拟扩音器的位置。在一些实例中,立体声音频呈现器34对SHC27'与对应于虚拟扩音器的BRIR滤波器37进行卷积,接着将所得卷积累加(即,加总)以呈现由SHC27'界定的声场以供输出作为扬声器馈入35。如本文中所描述,立体声音频呈现器34可应用用于通过操纵BRIR滤波器37同时呈现SHC27'作为扬声器馈入35来缩减呈现计算的技术。
在一些例子中,所述技术包含将BRIR滤波器37分段成表示房间内的一位置处的脉冲响应的不同阶段的数个片段。这些片段对应于在声场上的任何点处产生压力(或缺少压力)的不同物理现象。举例来说,因为BRIR滤波器37中的每一者与脉冲一致地进行计时,所以第一或“初始”片段可表示直到来自脉冲位置的压力波到达测量脉冲响应所在的位置为止的时间。除了时序信息以外,相应初始片段的BRIR滤波器37值可能为无关紧要的,且可被排除与描述声场的阶层元素进行卷积。类似地,例如,BRIR滤波器37中的每一者可包含最后或“尾部”片段,所述片段包含衰减到低于人类听觉的动态范围或衰减到低于指明阈值的脉冲响应信号。相应尾部片段的BRIR滤波器37值也可能为无关紧要的,且可被排除与描述声场的阶层元素进行卷积。在一些实例中,技术可包含通过执行与指明阈值的施罗德反向积分确定尾部片段,和舍弃来自反向积分超过指明阈值的尾部片段的元素。在一些实例中,混响时间RT60的指明阈值为-60dB。
BRIR滤波器37中的每一者的额外片段可表示在不包含来自房间的回波效应的情况下由脉冲产生的压力波引起的脉冲响应。这些片段可经表示和描述为BRIR滤波器37的头部相关转移函数(HRTF),其中HRTF俘获在压力波朝向鼓膜行进时归因于压力波围绕头部、肩膀/躯干和外耳的绕射和反射产生的脉冲响应。HRTF脉冲响应为线性和非时变系统(LTI)的结果且可经模型化为最小相位滤波器。在一些实例中,用以缩减在呈现期间的HRTF片段计算的技术可包含最小相位重构建和使用无限脉冲响应(IIR)滤波器来缩减原始有限脉冲响应(FIR)滤波器(例如,HRTF滤波器片段)的阶次。
实施为IIR滤波器的最小相位滤波器可用以趋近具有缩减的滤波器阶次的BRIR滤波器37的HRTF滤波器。缩减阶次导致频域中的时间步长的计算的数目的伴随缩减。另外,由最小相位滤波器的构造产生的残余/过量滤波器可用以估计表示由声音压力波从源行进到每一耳朵的距离引起的时间或相位距离的耳间时间差(ITD)。在计算一或多个BRIR滤波器37与描述声场的阶层元素的卷积(即,确定双耳立体声)之后,接着可使用ITD将一或两个耳朵的声音局部化模型化。
BRIR滤波器37中的每一者的又一片段是在HRTF片段之后且可考虑到房间对脉冲响应的影响。此房间片段可进一步分解成早期回波(或“早期反射”)片段和晚期混响片段(即,早期回波和晚期混响可各自由BRIR滤波器37中的每一者的单独片段表示)。在HRTF数据可用于BRIR滤波器37的情况下,可通过BRIR滤波器37与HRTF的解卷积识别早期回波片段的开始,以识别HRTF片段。在HRTF片段之后为早期回波片段。不同于残余房间响应,HRTF和早期回波片段为方向相依的,这是因为对应虚拟扬声器的位置在显著方面确定信号。
在一些实例中,立体声音频呈现器34使用准备用于球面谐波域或描述声场的阶层元素的其它域的BRIR滤波器37。即,可在球面谐波域(SHD)中将BRIR滤波器37界定为经变换的BRIR滤波器37,以允许立体声音频呈现器34执行快速卷积,同时利用数据集的某些性质,包含BRIR滤波器37(例如,左/右)和SHC27'的对称性。在这些实例中,可通过将SHC呈现矩阵与原始BRIR滤波器相乘(或在时域中进行卷积)而产生经变换的BRIR滤波器37。在数学上,可根据以下等式(1)到(5)来表达此情形:
或
此处,(3)以四阶球面谐波系数的矩阵形式描绘(1)或(2)(其可为提及与四阶或更低阶的球面基底函数相关联的球面谐波系数的系数的替代方式)。当然,可修改等式(3)以用于较高阶或较低阶球面谐波系数。等式(4)到(5)描绘扩音器维度L范围内的经变换的左和右BRIR滤波器37的加总,以产生经加总的SHC立体声呈现矩阵(BRIR”)。组合来说,经加载的SHC立体声呈现矩阵具有维数[(N+1)2,Length,2],其中Length为可应用等式(1)到(5)的任何组合的脉冲响应向量的长度。在等式(1)和(2)的一些例子中,可将呈现矩阵SHC立体声化以使得可将等式(1)修改成且可将等式(2)修改成
上述等式(1)到(3)中所提出的SHC呈现矩阵SHC包含用于SHC27'的每一阶/次阶组合的元素,其有效地界定单独SHC信道,其中在球面谐波域中设定针对扬声器的位置L的元素值。BRIRL,left表示在左耳或在扬声器的位置L处产生的脉冲的位置处的BRIR响应,且在(3)中使用脉冲响应向量Bi来描绘,其中{i|i∈[0,L]}。表示“SHC立体声呈现矩阵”的一半,即,经变换成球面谐波域的在左耳或在扬声器的位置L处产生的脉冲的位置处的SHC立体声呈现矩阵。表示SHC立体声呈现矩阵的另一半。
在一些实例中,技术可包含将SHC呈现矩阵仅应用于HRTF和相应原始BRIR滤波器37的早期反射片段以产生经变换的BRIR滤波器37和SHC立体声呈现矩阵。此情形可缩减与SHC27'的卷积的长度。
在一些实例中,如等式(4)到(5)中所描绘,可将具有将各种扩音器并入于球面谐波域中的维数的SHC立体声呈现矩阵加总以产生组合SHC呈现与BRIR呈现/混合的(N+1)2*Length*2滤波器矩阵。即,可通过(例如)将L维度范围内的系数加总来组合L个扩音器中的每一者的SHC立体声呈现矩阵。对于长度为Length的SHC立体声呈现矩阵,此情形产生(N+1)2*Length*2加总的SHC立体声呈现矩阵,可将所述矩阵应用于球面谐波系数的音频信号以将信号立体声化。Length可为根据本文中所描述的技术分段的BRIR滤波器的片段的长度。
用于模型缩减的技术也可应用于经变更的呈现滤波器,其允许直接用新滤波器矩阵(经加总的SHC立体声呈现矩阵)来对SHC27'(例如,SHC内容)进行滤波。立体声音频呈现器34接着可通过将经滤波的阵列加总以获得立体声输出信号35A、35B来转换成立体声音频。
在一些实例中,音频回放系统32的BRIR滤波器37表示先前根据上文所描述的技术中的任何一或多者计算的球面谐波域中的经变换的BRIR滤波器。在一些实例中,可在执行时间执行原始BRIR滤波器37的变换。
在一些实例中,因为BRIR滤波器37通常为对称的,所以技术可通过仅使用用于左耳或右耳的SHC立体声呈现矩阵来促成立体声输出35A、35B的计算的进一步缩减。当将由滤波器矩阵进行滤波的SHC27'加总时,立体声音频呈现器34可作出关于在呈现最终输出时输出信号35A或35B作为第二信道的条件决策。如本文中所描述,对处理内容或修改关于左耳或右耳所描述的呈现矩阵的参考应被理解为可类似地应用于另一耳朵。
以此方式,技术可提供多种途径来缩减BRIR滤波器37的长度以便可能地避免被排除的BRIR滤波器样本与多个信道的直接卷积。因此,立体声音频呈现器34可提供来自SHC27'的立体声输出信号35A、35B的有效率的呈现。
图4为说明实例立体声房间脉冲响应(BRIR)的框图。BRIR40说明五个片段42A到42E。初始片段42A和尾部片段42E两者包含可能为无关紧要的且被排除进行呈现计算的静寂样本。头部相关转移函数(HRTF)片段42B包含归因于头部相关转移产生的脉冲响应且可使用本文中所描述的技术来识别。早期回波(替代地,“早期反射”)片段42C和晚期房间混响片段42D组合HRTF与房间效应,即,早期回波片段42C的脉冲响应匹配通过房间的早期回波和晚期混响进行滤波的BRIR40的HRTF的脉冲响应。然而,早期回波片段42C可包含与晚期房间混响片段42D相比较来说更离散的回波。混合时间为早期回波片段42C与晚期房间混响片段42D之间的时间,且指示早期回波变为密集混响的时间。混合时间经说明为出现在到HRTF中的大约1.5×104个样本或从HRTF片段42B的开始的大约7.0×104个样本处。在一些实例中,技术包含使用来自房间音量的统计数据和估计计算混合时间。在一些实例中,具有50%信赖区间tmp50的感知混合时间大约为36毫秒(ms),且具有95%信赖区间tmp95的感知混合时间大约为80ms。在一些实例中,可使用相干性匹配噪声尾部来合成对应于BRIR40的滤波器的晚期房间混响片段42D。
图5为说明用于产生房间中的BRIR(例如,图4的BRIR40)的实例系统模型50的框图。模型包含串接系统,此处为房间52A和HRTF52B。在将HRTF52B应用于脉冲之后,脉冲响应匹配通过房间52A的早期回波进行滤波的HRTF的脉冲响应。
图6为说明用于产生房间中的BRIR(例如,图4的BRIR40)的更深层系统模型60的框图。此模型60也包含串接系统,此处为HRTF62A、早期回波62B和残余房间62C(其组合HRTF与房间回波)。模型60描绘将房间52A分解成早期回波62B和残余房间62C且将每一系统62A、62B、62C视为线性非时变的。
早期回波62B包含比残余房间62C更离散的回波。因此,早期回波62B可依据虚拟扬声器信道而变化,而具有较长尾部的残余房间62C可经合成为单一立体声复本。对于用以获得BRIR的一些测量人体模型,HRTF数据可为可用的,如在消声腔室中所测量。可通过将BRIR与HRTF数据解卷积以识别早期回波(其可被称作“反射”)的位置来确定早期回波62B。在一些实例中,HRTF数据并非容易得到的,且用于识别早期回波62B的技术包含盲估计。然而,简单明了的途径可包含将前几毫秒(例如,前5、10、15或20ms)视为通过HRTF进行滤波的直接脉冲。如上文所注明,技术可包含使用来自房间音量的统计数据和估计计算混合时间。
在一些实例中,技术可包含合成残余房间62C的一或多个BRIR滤波器。在混合时间之后,在一些例子中,可互换BRIR混响尾部(表示为图6中的系统残余房间62C)而无感知惩罚。另外,可将BRIR混响尾部与匹配能量衰变减缓(EDR)和频率相依耳间相干性(FDIC)的高斯白噪声合成。在一些实例中,可产生BRIR滤波器的共同合成BRIR混响尾部。在一些实例中,共同EDR可为所有扬声器的EDR的平均值,或可为能量匹配平均能量的前零度EDR。在一些实例中,FDIC可为横跨所有扬声器的平均FDIC,或可为针对宽敞度的最大去相关测量的横跨所有扬声器的最小值。在一些实例中,也可通过反馈延迟网络(FDN)使用伪音混响来模拟混响尾部。
在共同混响尾部的情况下,对应BRIR滤波器的晚期部分可被排除与每一扬声器馈入进行单独卷积,而是可一次应用于所有扬声器馈入的混合上。如上文所描述和下文更详细描述,可用球面谐波系数信号呈现进一步简化所有扬声器馈入的混合。
图7为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。虽然经说明为单一装置(即,图7的实例中的音频回放装置100),但技术可由一或多个装置来执行。因此,技术在此方面应不受限制。
如图7的实例中所示,音频回放装置100可包含提取单元104和立体声呈现单元102。提取单元104可表示经配置以从位流120中提取经编码音频数据的单元。提取单元104可将呈球面谐波系数(SHC)122(其也可被称作较高阶环境立体混合声(HOA),这是因为SHC122可包含与大于一的阶次相关联的至少一个系数)形式的经提取的经编码音频数据转递到立体声呈现单元146。
在一些实例中,音频回放装置100包含经配置以解码经编码音频数据以便产生SHC122的音频解码单元。音频解码单元可执行在一些方面中与用以编码SHC122的音频编码过程互逆的音频解码过程。音频解码单元可包含经配置以将经编码音频数据的SHC从时域变换到频域由此产生SHC122的时间频率分析单元。即,当经编码音频数据表示未被从时域转换到频域的SHC122的经压缩形式时,音频解码单元可调用时间频率分析单元将SHC从时域转换到频域以便产生SHC122(在频域中指定)。时间频率分析单元可应用任何形式的基于傅立叶的变换(包含快速傅立叶变换(FFT)、离散余弦变换(DCT)、经修改的离散余弦变换(MDCT)和离散正弦变换(DST))以提供将SHC从时域变换到频域中的SHC122的几个实例。在一些例子中,SHC122可能已在频域中在位流120中指定。在这些例子中,时间频率分析单元可将SHC122传递到立体声呈现单元102而不应用变换或以其它方式变换所接收的SHC122。虽然关于频域中指定的SHC122加以描述,但可关于时域中指定的SHC122执行技术。
立体声呈现单元102表示经配置以将SHC122立体声化的单元。换句话说,立体声呈现单元102可表示经配置以将SHC122呈现到左和右信道的单元,其可以空间化为特征,从而将记录SHC122的房间中的收听者将听到左和右信道的方式模型化。立体声呈现单元102可呈现SHC122以产生适于经由例如头戴式耳机的耳机回放的左信道136A和右信道136B(其可被统称作“信道136”)。如图7的实例中所示,立体声呈现单元102包含BRIR滤波器108、BRIR调节单元106、残余房间响应单元110、BRIRSHC域转换单元112、卷积单元114和组合单元116。
BRIR滤波器108包含一或多个BRIR滤波器且可表示图3的BRIR滤波器37的实例。BRIR滤波器108可包含表示左和右HRTF对相应BRIR的效应的单独BRIR滤波器126A、126B。
BRIR调节单元106接收BRIR滤波器126A、126B的L个执行个体,每一虚拟扩音器L一个执行个体且其中每一BRIR滤波器具有长度N。BRIR滤波器126A、126B可能已经经调节以去除静寂样本。BRIR调节单元106可将上文所描述的技术应用于片段BRIR滤波器126A、126B以识别相应HRTF、早期反射和残余房间片段。BRIR调节单元106将HRTF和早期反射片段提供到BRIRSHC域转换单元112作为表示大小为[a,L]的左和右矩阵的矩阵129A、129B,其中a为HRTF和早期反射片段的串接的长度,且L为扩音器(虚拟的或真实的)的数目。BRIR调节单元106将BRIR滤波器126A、126B的残余房间片段提供到残余房间响应单元110作为大小为[b,L]的左和右残余房间矩阵128A、128B,其中b为残余房间片段的长度且L为扩音器(虚拟的或真实的)的数目。
残余房间响应单元110可应用上文所描述的技术以计算或以其它方式确定用于与描述声场的阶层元素(例如,球面谐波系数)的至少某一部分进行卷积的左和右共同残余房间响应片段,如图7中通过SHC122表示。即,残余房间响应单元110可接收左和右残余房间矩阵128A、128B且组合L范围内的相应左和右残余房间矩阵128A、128B以产生左和右共同残余房间响应片段。在一些例子中,残余房间响应单元110可通过对L范围内的左和右残余房间矩阵128A、128B求平均值来执行组合。
残余房间响应单元110接着可计算左和右共同残余房间响应片段与SHC122的至少一个信道(在图7中说明为信道124B)的快速卷积。在一些实例中,因为左和右共同残余房间响应片段表示环境的无方向性声音,所以信道124B为SHC122信道中的W信道(即,第0阶),其编码声场的无方向性部分。在这些实例中,对于长度为Length的W信道样本,由残余房间响应单元110进行的与左和右共同残余房间响应片段的快速卷积产生长度为Length的左和右输出信号134A、134B。
如本文中所使用,术语“快速卷积”和“卷积”可指时域中的卷积运算以及频域中的逐点乘法运算。换句话说,且如熟习信号处理的技术者众所周知,时域中的卷积等效于频域中的逐点乘法,其中时域和频域为彼此的变换。输出变换为输入变换与转移函数的逐点乘积。因此,卷积和逐点乘法(或简称为“乘法”)可指关于相应域(本文中为时域和频域)作出的概念上类似的运算。卷积单元114、214、230;残余房间响应单元210、354;滤波器384和混响386可替代地应用频域中的乘法,其中在频域中而非在时域中提供到这些组件的输入。本文中描述为“快速卷积”或“卷积”的其它运算类似地也可指频域中的乘法,其中在频域中而非在时域中提供到这些运算的输入。
在一些实例中,残余房间响应单元110可从BRIR调节单元106接收共同残余房间响应片段的开始时间的值。残余房间响应单元110可零填补或以其它方式延迟输出信号134A、134B,以预期与BRIR滤波器108的较早期片段组合。
BRIRSHC域转换单元112(下文中为“域转换单元112”)将SHC呈现矩阵应用于BRIR矩阵以可能地将左和右BRIR滤波器126A、126B转换成球面谐波域且接着可能地将L范围内的滤波器加总。域转换单元112输出转换结果分别作为左和右SHC立体声呈现矩阵130A、130B。在矩阵129A、129B的大小为[a,L]的情况下,在对L范围内的滤波器加总之后,SHC立体声呈现矩阵130A、130B中的每一者的大小为[(N+1)2,a](参见(例如)等式(4)到(5))。在一些实例中,SHC立体声呈现矩阵130A、130B是在音频回放装置100中加以配置而不是在执行时间或设定时间加以计算。在一些实例中,SHC立体声呈现矩阵130A、130B的多个执行个体是在音频回放装置100中加以配置,且音频回放装置100选择多个执行个体的左/右对来应用于SHC124A。
卷积单元114将左和右立体声呈现矩阵130A、130B与SHC124A进行卷积,所述SHC在一些实例中可按阶次从SHC122的阶次缩减。对于频域(例如,SHC)中的SHC124A,卷积单元114可计算SHC124A与左和右立体声呈现矩阵130A、130B的相应逐点乘法。对于长度为Length的SHC信号,卷积产生大小为[Length,(N+1)2]的左和右经滤波的SHC信道132A、132B,对于球面谐波域的每一阶/次阶组合通常存在每一输出信号矩阵的列。
组合单元116可组合左和右经滤波的SHC信道132A、132B与输出信号134A、134B以产生立体声输出信号136A、136B。组合单元116接着可单独地对L范围内的每一左和右经滤波的SHC信道132A、132B加总以在组合左和右立体声输出信号与左和右输出信号134A、134B以产生立体声输出信号136A、136B之前产生HRTF和早期回波(反射)片段的左和右立体声输出信号。
图8为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。音频回放装置200可进一步详细地表示图7的音频回放装置100的实例执行个体。
音频回放装置200可包含可选SHC阶次缩减单元204,其处理来自位流240的入端口SHC242以缩减SHC242的阶次。可选SHC阶次缩减将SHC242的最高阶(例如,第0阶)信道262(例如,W信道)提供到残余房间响应单元210,且将阶数缩减的SHC242提供到卷积单元230。在SHC阶次缩减单元204不缩减SHC242的阶次的例子中,卷积单元230接收与SHC242相同的SHC272。在任一状况下,SHC272具有维度[Length,(N+1)2],其中N为SHC272的阶次。
BRIR调节单元206和BRIR滤波器208可表示图7的BRIR调节单元106和BRIR滤波器108的实例执行个体。残余响应单元214的卷积单元214接收由BRIR调节单元206使用上文所描述的技术调节的共同左和右残余房间片段244A、244B,且卷积单元214将共同左和右残余房间片段244A、244B与最高阶信道262进行卷积以产生左和右残余房间信号262A、262B。延迟单元216可用到共同左和右残余房间片段244A、244B的样本的开始数目零填补左和右残余房间信号262A、262B以产生左和右残余房间输出信号268A、268B。
BRIRSHC域转换单元220(下文中为域转换单元220)可表示图7的域转换单元112的实例执行个体。在所说明实例中,变换单元222将具有(N+1)2维数的SHC呈现矩阵224应用于表示大小为[a,L]的左和右矩阵的矩阵248A、248B,其中a为HRTF和早期反射片段的串接的长度,且L为扩音器(例如,虚拟扩音器)的数目。变换单元222输出SHC域中维度为[(N+1)2,a,L]的左和右矩阵252A、252B。加总单元226可将L范围内的左和右矩阵252A、252B中的每一者加总以产生维度为[(N+1)2,a]的左和右中间SHC呈现矩阵254A、254B。缩减单元228可应用上文所描述的技术以进一步缩减将SHC呈现矩阵应用于SHC272的计算复杂性,例如最小相位缩减,和使用平衡模型截断方法来设计IIR滤波器以趋近已应用最小相位缩减的中间SHC呈现矩阵254A、254B的相应最小相位部分的频率响应。缩减单元228输出左和右SHC呈现矩阵256A、256B。
卷积单元230对呈SHC272的形式的SHC内容进行滤波以产生中间信号258A、258B,加总单元232将所述中间信号加总以产生左和右信号260A、260B。组合单元234组合左和右残余房间输出信号268A、268B以及左和右信号260A、260B以产生左和右立体声输出信号270A、270B。
在一些实例中,立体声呈现单元202可通过仅使用由变换单元222产生的SHC立体声呈现矩阵252A、252B中的一者实施对计算的进一步缩减。因此,卷积单元230可对左或右信号中的仅一者进行运算,从而将卷积运算缩减一半。在这些实例中,加总单元232作出在呈现输出260A、260B时关于第二信道的条件决策。
图9为说明根据本发明中所描述的技术的用于立体声呈现装置呈现球面谐波系数的实例操作模式的流程图。为了说明的目的,关于图7的音频回放装置200描述实例操作模式。立体声房间脉冲响应(BRIR)调节单元206通过从BRIR滤波器246A、246B中提取方向相依分量/片段(具体地说,头部相关转移函数和早期回波片段)分别调节左和右BRIR滤波器246A、246B(300)。左和右BRIR滤波器126A、126B中的每一者可包含用于一或多个对应扩音器的BRIR滤波器。BRIR调节单元106将经提取的头部相关转移函数和早期回波片段的串接提供到BRIRSHC域转换单元220作为左和右矩阵248A、248B。
BRIRSHC域转换单元220应用HOA呈现矩阵224以变换包含经提取的头部相关转移函数和早期回波片段的左和右滤波器矩阵248A、248B以产生在球面谐波(例如,HOA)域中的左和右滤波器矩阵252A、252B(302)。在一些实例中,音频回放装置200可经配置而具有左和右滤波器矩阵252A、252B。在一些实例中,音频回放装置200接收位流240的频带外或频带内信号中的BRIR滤波器208,在所述状况下,音频回放装置200产生左和右滤波器矩阵252A、252B。加总单元226将扩音器维度范围内的相应左和右滤波器矩阵252A、252B加总以产生在SHC域中的立体声呈现矩阵,所述立体声呈现矩阵包含左和右中间SHC呈现矩阵254A、254B(304)。缩减单元228可进一步缩减中间SHC呈现矩阵254A、254B以产生左和右SHC呈现矩阵256A、256B。
立体声呈现单元202的卷积单元230将左和右中间SHC呈现矩阵256A、256B应用于SHC内容(例如,球面谐波系数272)以产生左和右经滤波的SHC(例如,HOA)信道258A、258B(306)。
加总单元232将SHC维度(N+1)2范围内的左和右经滤波的SHC信道258A、258B中的每一者加总以产生方向相依片段的左和右信号260A、260B(308)。组合单元116接着可组合左和右信号260A、260B与左和右残余房间输出信号268A、268B以产生包含左和右立体声输出信号270A、270B的立体声输出信号。
图10A为说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的实例操作模式310的图。下文中关于图8的音频回放装置200描述操作模式310。音频回放装置200的立体声呈现单元202可经配置而具有可为BRIR滤波器208的实例执行个体的BRIR数据312,和可为HOA呈现矩阵224的实例执行个体的HOA呈现矩阵314。音频回放装置200可接收在关于位流240的频带内或频带外传讯信道中的BRIR数据312和HOA呈现矩阵314。BRIR数据312在此实例中具有表示例如L个真实或虚拟扩音器的L个滤波器,L个滤波器中的每一者具有长度K。L个滤波器中的每一者可包含左和右分量(“x2”)。在一些状况下,L个滤波器中的每一者可包含用于左或右的单一分量,左或右与其对应物对称:右或左。此情形可缩减快速卷积的成本。
音频回放装置200的BRIR调节单元206可通过应用分段和组合运算来调节BRIR数据312。具体地说,在实例操作模式310中,BRIR调节单元206根据本文中所描述的技术将L个滤波器中的每一者分段成HRTF加上具有组合长度a的早期回波片段以产生矩阵315(维数[a,2,L])和分段成残余房间响应片段以产生残余矩阵339(维数[b,2,L])(324)。BRIR数据312的L个滤波器的长度K大约为a和b的总和。变换单元222可将维数为(N+1)2的HOA/SHC呈现矩阵314应用于矩阵315的L个滤波器以产生维数为[(N+1)2,a,2,L]的矩阵317(其可为左和右矩阵252A、252B的组合的实例执行个体)。加总单元226可将L范围内的左和右矩阵252A、252B中的每一者加总以产生维数为[(N+1)2,a,2]的中间SHC呈现矩阵335(第三维度具有表示左和右分量的值2;中间SHC呈现矩阵335可表示为左和右中间SHC呈现矩阵254A、254两者的实例执行个体)(326)。在一些实例中,音频回放装置200可经配置而具有用于应用于HOA内容316(或其经缩减的版本,例如HOA内容321)的中间SHC呈现矩阵335。在一些实例中,缩减单元228可通过仅使用矩阵317的左或右分量中的一者而应用对计算的进一步缩减(328)。
音频回放装置200接收NI阶和长度为Length的HOA内容316,且在一些方面中,应用阶次缩减运算以将其中的球面谐波系数(SHC)的阶次缩减到N(330)。NI指示输入HOA内容321的阶次。阶次缩减运算(330)的HOA内容321如同SHC域中的HOA内容316。可选阶次缩减运算也产生最高阶(例如,第0阶)信号319并将其提供到残余响应单元210以用于进行快速卷积运算(338)。在HOA阶次缩减单元204不缩减HOA内容316的阶次的例子中,应用快速卷积运算(332)对并不具有缩减的阶次的输入进行运算。在任一状况下,到快速卷积运算(332)的HOA内容321输入具有维度[Length,(N+1)2],其中N为阶次。
音频回放装置200可应用HOA内容321与矩阵335的快速卷积以产生具有左和右分量且因此具有维度[Length,(N+1)2,2]的HOA信号323(332)。此外,快速卷积可指频域中的HOA内容321与矩阵335的逐点乘法或时域中的卷积。音频回放装置200可进一步将(N+1)2范围内的HOA信号323加总以产生维度为[Length,2]的经加总的信号325(334)。
现返回到残余矩阵339,音频回放装置200可根据本文中所描述的技术组合L个残余房间响应片段,以产生维度为[b,2]的共同残余房间响应矩阵327(336)。音频回放装置200可应用第0阶HOA信号319与共同残余房间响应矩阵327的快速卷积以产生维度为[Length,2]的房间响应信号329(338)。因为为了产生残余矩阵339的L个残余响应房间响应片段,音频回放装置200获得在BRIR数据312的L个滤波器的第(a+1)个样本处开始的残余响应房间响应片段,所以音频回放装置200通过延迟(例如,填补)a个样本以产生维度为[Length,2]的房间响应信号311而考虑到初始a个样本(340)。
音频回放装置200通过将元素相加以产生维度为[Length,2]的输出信号318来组合经加总的信号325与房间响应信号311(342)。以此方式,音频回放装置可避免应用L个残余房间响应片段中的每一者的快速卷积。对于用于转换到立体声音频输出信号的22信道输入,此情形可将用于产生残余房间响应的快速卷积的数目从22缩减到2。
图10B为说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的实例操作模式350的图。下文中关于图8的音频回放装置200描述操作模式350,且所述操作模式类似于操作模式310。然而,根据本文中所描述的技术,操作模式350包含首先将HOA内容呈现到L个真实或虚拟扩音器的时域中的多信道扬声器信号中,且接着将有效率的BRIR滤波应用于扬声器馈入中的每一者。为此,音频回放装置200将HOA内容321变换到维度为[Length,L]的多信道音频信号333(344)。另外,音频回放装置不会将BRIR数据312变换到SHC域。因此,通过音频回放装置200对信号314应用缩减产生维度为[a,2,L]的矩阵337(328)。
音频回放装置200接着应用多信道音频信号333与矩阵337的快速卷积332以产生维度为[Length,L,2](具有左和右分量)的多信道音频信号341(348)。音频回放装置200接着可通过L个信道/扬声器将多信道音频信号341加总以产生维度为[Length,2]的信号325(346)。
图11为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置350的实例的框图。虽然经说明为单一装置(即,图11的实例中的音频回放装置350),但所述技术可由一或多个装置来执行。因此,技术在此方面应不受限制。
此外,虽然上文关于图1到10B的实例大体上描述为在球面谐波域中加以应用,但也可关于任何形式的音频信号实施技术,所述音频信号包含遵照上文所注明的环绕声格式(例如,5.1环绕声格式、7.1环绕声格式,和/或22.2环绕声格式)的基于信道的信号。因此,技术也不应限于球面谐波域中所指定的音频信号,而是可关于任何形式的音频信号来应用。
如图11的实例中所示,音频回放装置350可类似于图7的实例中所示的音频回放装置100。然而,音频回放装置350可操作或以其它方式执行关于一般基于信道的音频信号的技术,作为一个实例,所述信号遵照22.2环绕声格式。提取单元104可提取音频信道352,其中音频信道352大体上可包含“n”个信道,且假定在此实例中包含遵照22.2环绕声格式的22个信道。将这些信道352提供到立体声呈现单元351的残余房间响应单元354和按信道截断的滤波器单元356两者。
如上文所描述,BRIR滤波器108包含一或多个BRIR滤波器且可表示图3的BRIR滤波器37的实例。BRIR滤波器108可包含表示左和右HRTF对相应BRIR的效应的单独BRIR滤波器126A、126B。
BRIR调节单元106接收BRIR滤波器126A、126B的n个执行个体,每一信道n一个执行个体,且其中每一BRIR滤波器具有长度N。BRIR滤波器126A、126B可能已经经调节以去除静寂样本。BRIR调节单元106可应用上文所描述的技术以将BRIR滤波器126A、126B分段以识别相应HRTF、早期反射和残余房间片段。BRIR调节单元106将HRTF和早期反射片段提供到按信道截断的滤波器单元356作为表示大小为[a,L]的左和右矩阵的矩阵129A、129B,其中a为HRTF和早期反射片段的串接的长度,且n为扩音器(虚拟的或真实的)的数目。BRIR调节单元106将BRIR滤波器126A、126B的残余房间片段提供到残余房间响应单元354作为大小为[b,L]的左和右残余房间矩阵128A、128B,其中b为残余房间片段的长度且n为扩音器(虚拟的或真实的)的数目。
残余房间响应单元354可应用上文所描述的技术以计算或以其它方式确定用于与音频信道352进行卷积的左和右共同残余房间响应片段。即,残余房间响应单元110可接收左和右残余房间矩阵128A、128B且组合n范围内的相应左和右残余房间矩阵128A、128B以产生左和右共同残余房间响应片段。在一些例子中,残余房间响应单元354可通过对n范围内的左和右残余房间矩阵128A、128B求平均值来执行组合。
残余房间响应单元354接着可计算左和右共同残余房间响应片段与音频信道352中的至少一者的快速卷积。在一些实例中,残余房间响应单元352可从BRIR调节单元106接收共同残余房间响应片段的开始时间的值。残余房间响应单元354可零填补或以其它方式延迟输出信号134A、134B,以预期与BRIR滤波器108的较早期片段组合。输出信号134A可表示左音频信号,而输出信号134B可表示右音频信号。
按信道截断的滤波器单元356(在下文中为“经截断的滤波器单元356”)可将BRIR滤波器的HRTF和早期反射片段应用于信道352。更具体地说,按信道截断的滤波器单元356可将表示BRIR滤波器的HRTF和早期反射片段的矩阵129A和129B应用于信道352中的每一者。在一些例子中,可将矩阵129A和129B组合以形成单一矩阵129。此外,通常存在HRTF和早期反射矩阵129A和129B中的每一者中的左者以及HRTF和早期反射矩阵129A和129B中的每一者中的右者。即,通常存在用于左耳和右耳的HRTF和早期反射矩阵。按信道方向单元356可应用左和右矩阵129A、129B中的每一者以输出左和右经滤波的信道358A和358B。组合单元116可组合(或换句话说,混合)左经滤波的信道358A与输出信号134A,同时组合(或换句话说,混合)右经滤波的信道358B与输出信号134B,以产生立体声输出信号136A、136B。立体声输出信号136A可对应于左音频信道,且立体声输出信号136B可对应于右音频信道。
在一些实例中,立体声呈现单元351可彼此同时发生地调用残余房间响应单元354和按信道截断的滤波器单元356,以使得残余房间响应单元354与按信道截断的滤波器单元356的操作同时发生地操作。即,在一些实例中,残余房间响应单元354可与按信道截断的滤波器单元356并行地(但经常并非同时地)操作,常常改善可产生立体声输出信号136A、136B的速度。虽然在上文的各图中经展示为可能地以串接方式操作,但除非以其它方式特别地指示,否则技术可提供本发明中所描述的单元或模块中的任一者的同时发生的或并行操作。
图12为说明根据本发明中所描述的技术的各种方面的可由图11的音频回放装置350执行的过程380的图。过程380达成将每一BRIR分解成两个部分:(a)并有由左滤波器384AL到384NL和由右滤波器384AR到384NR(统称为“滤波器384”)表示的HRTF和早期反射的效应的较小分量和(b)从原始BRIR的所有尾部的性质产生和由左混响滤波器386L和右混响滤波器386R(统称为“共同滤波器386”)表示的共同“混响尾部”。在过程380中展示的按信道滤波器384可表示上文所注明的部分(a),而过程380中所展示的共同滤波器386可表示上文所注明的部分(b)。
过程380通过分析BRIR以消除听不见的分量和确定包括HRTF/早期反射的分量和归因于晚期反射/漫射产生的分量来执行此分解。对于部分(a),此情形导致长度(作为一个实例)为2704个分接头的FIR滤波器,和对于部分(b),此情形导致长度(作为另一实例)为15232个分接头的FIR滤波器。根据过程380,在操作396中,音频回放装置350可仅将较短FIR滤波器应用于个别n个信道中的每一者,出于说明的目的,假定其为22。此运算的复数可表示于下文再现的等式(8)中的计算的第一部分中(使用4096点FFT)。在过程380中,音频回放装置350可能不将共同“混响尾部”应用于22个信道中的每一者,而是在操作398中将其全部应用于其加成性混合。此复数表示于等式(8)中的复数计算的后一半中,其再次展示于随附附录中。
在此方面,过程380可表示基于来自N个信道中的多个的混合音频内容产生复合音频信号的立体声音频呈现方法。另外,过程380可进一步通过延迟将复合音频信号与N个信道滤波器的输出对准,其中每一信道滤波器包含经截断的BRIR滤波器。此外,在过程380中,音频回放装置350接着可在操作398中用共同合成残余房间脉冲响应对经对准的复合音频信号进行滤波,且在立体声音频输出388L、388R的左和右分量的操作390L和390R中将每一信道滤波器的输出与经滤波的经对准的复合音频信号混合。
在一些实例中,经截断的BRIR滤波器和共同合成残余脉冲响应经预先载入于存储器中。
在一些实例中,在时间频域中执行经对准的复合音频信号的滤波。
在一些实例中,在时域中通过卷积执行经对准的复合音频信号的滤波。
在一些实例中,经截断的BRIR滤波器和共同合成残余脉冲响应是基于分解分析。
在一些实例中,对N个房间脉冲响应中的每一者执行分解分析,且其导致N个经截断的房间脉冲响应和N个残余脉冲响应(其中N可在上文中表示为n或n)。
在一些实例中,经截断的脉冲响应表示每一房间脉冲响应的总长度的小于百分的四十。
在一些实例中,经截断的脉冲响应包含在111与17,830之间的分接头范围。
在一些实例中,N个残余脉冲响应中的每一者组合成缩减复杂性的共同合成残余房间响应。
在一些实例中,将每一信道滤波器的输出与经滤波的经对准的复合音频信号混合包含用于左扬声器输出的混合的第一集合和用于右扬声器输出的混合的第二集合。
在各种实例中,上文所描述的过程380的各种实例或其任何组合的方法可由以下各者来执行:包括存储器和一或多个处理器的装置、包括用于执行方法的每一步骤的装置的设备,和通过执行存储于非暂时性计算机可读存储媒体上的指令执行所述方法的每一步骤的一或多个处理器。
此外,上文所描述的实例中的任一者中所阐述的特定特征中的任一者可组合成所描述的技术的有益实例。即,特定特征中的任一者大体上适用于技术的所有实例。已描述技术的各种实例。
在一些状况下,本发明中所描述的技术可仅识别横跨BRIR集合的可听见的样本111到17830。从实例房间的体积计算混合时间Tmp95,技术接着可使所有BRIR在53.6ms之后共享共同混响尾部,从而导致15232样本长的共同混响尾部和剩余2704样本HRTF+反射脉冲,其间具有3ms淡入淡出。在计算成本减轻方面,可出现以下情况:
(a)共同混响尾部:10*6*log2(2*15232/10)。
(b)剩余脉冲:22*6*log2(2*4096),使用4096FFT来在一个帧中进行。
(c)额外22个添加。
因此,最终优值因此可大致等于Cmod=max(100*(Cconv-C)/Cconv,0)=88.0,其中:
Cmod=max(100*(Cconv-C)/Cconv,0),(6)
其中Cconv为对未经优化的实施方案的估计:
Cconv=(22+2)*(10)*(6*log2(2*48000/10)),(7)
在一些方面中,C可由两个加成性因子确定:
因此,在一些方面中,优值Cmod=87.35。
可将表示为Bn(z)的BRIR滤波器分解成两个函数BTn(z)和BRn(z),其分别表示经截断的BRIR滤波器和混响BRIR滤波器。上文所注明的部分(a)可指此经截断的BRIR滤波器,而上文的部分(b)可指混响BRIR滤波器。Bn(z)接着可等于BTn(z)+(z-m*BRn(z)),其中m表示延迟。输出信号Y(z)因此可计算为:
过程380可分析BRn(z)以导出共同合成混响尾部片段,其中可应用此共同BR(z)而不是信道特定BRn(z)。当使用此共同(或信道通用)合成BR(z)时,Y(z)可计算为:
图13为实例立体声房间脉冲响应滤波器(BRIR)400的图。BRIR400说明五个片段402A到402C。头部相关转移函数(HRTF)片段402A包含归因于头部相关转移的脉冲响应且可使用本文中描述的技术识别。HRTF等效于测量消声室中的脉冲响应。由于房间的第一反射通常具有比HRTF长的延迟,所以假定BRIR的第一部分为HRTF脉冲响应。反射片段402B组合HRTF与房间效应,即,与混响片段402C相比,对于通过早期离散回波滤波的BRIR400,反射片段402B的脉冲响应匹配HRTF片段402A的脉冲响应。混合时间为反射片段402B与混响片段402C之间的时间,且指示早期回波变得密集混响的时间。混响片段402C表现得如同高斯噪声,且离散回波可不再被分离。
在即将到来的MPEG-H标准化中,考虑具有高分辨率和高信道计数的多信道音频。为了使呈现便携,需要头戴式耳机表示。此涉及虚拟化到立体声耳机内的所有扬声器馈送/信道。为了对头戴式耳机表示呈现,可将一或多对脉冲响应的集合应用到多信道音频。BRIR400可表示一对此脉冲响应。使用标准块快速傅立叶变换(FFT)将BRIR400滤波器应用到多信道音频的信道可为计算密集型。将数对脉冲响应的全部集合应用到多信道音频的对应的信道甚至更加如此。下文描述的技术提供高效率的立体声滤波,而无来自标准滤波(例如,块FFT)的结果的质量的显著牺牲。
图14为说明用于通过将立体声房间脉冲回应应用到多信道音频信号产生的立体声输出信号的计算的系统410的框图。输入412A到412N中的每一者表示总多信道音频信号的单一信道。BRIR414A到414N中的每一者表示具有左和右分量的一对立体声脉冲房间响应滤波器。在操作中,计算程序将BRIR414A到414N中的与单信道(单)输入对应的BRIR应用到输入412A到412N中的每一者以产生用于如在由应用的BRIR表示的位置处呈现的单信道输入的立体声音频信号。接着N个立体声音频信号由累加器416累加以产生立体头戴式耳机信号或总立体声音频信号,其由系统410作为输出418输出。
图15为说明根据本文中描述的技术的用于计算通过将立体声房间脉冲响应应用到多信道音频信号产生的立体声输出信号的音频回放装置500的组件的框图。音频回放装置500包含用于组合地实施本发明的各种计算缩减方法的多个组件。音频回放装置500的一些方面可包含任何数目个各种计算缩减方法的任何组合。音频回放装置500可表示音频回放系统32、音频回放装置100、音频回放装置200和音频回放装置350中的任一者的实例,且包含类似于以上列出的用于实施本发明的各种计算缩减方法的装置中的任一者的组件。
计算缩减方法可包含以下的任何组合:
部分a(对应于HRTF片段402A和HRTF单元504):通常数毫秒,用于局部化,且可通过转换成耳间延迟(ITD)和最小相位滤波器来在计算上缩减,作为一个实例,最小相位滤波器可进一步使用IIR滤波器来缩减。
部分b(对应于反射片段402B和反射单元502):长度可按房间变化且将通常持续几十毫秒。虽然如果针对每一信道分开来进行,那么计算密集,但本文中描述的技术可应用针对这些信道的子群组产生的相应共同滤波器。
部分c(对应于混响片段402C和混响单元506):针对所有信道(例如,对于22.2格式,22个信道)计算共同滤波器。替代基于在频域能量衰减(EDR)曲线上的直接平均值重新合成新混响尾部,混响单元506将不同加权方案应用于通过随输入信号内容而改变的校正权数任选增强的平均值。
以类似于图14的系统410的方式,音频回放装置500接收多信道音频信号的N个单信道输入412A到412N(统称为“输入412”),且应用立体声房间脉冲响应(BRIR)滤波器的片段以产生且输出立体头戴式耳机信号或总立体声音频信号。如图15中所说明,反射单元使用加权的和(使用(例如)适应性加权因数520A1-K到520M1-J加权,522A到522N)将离散输入412组合到不同的群组。对于共同混响(例如,由图13的混响段402C说明),混响单元506将输入412与相应的适应性加权因数(522A到522N,例如,立体,每个输入的左/右有不同权数)组合在一起,且接着使用使用滤波应用(在应用延迟526后)的共同混响滤波器524(立体脉冲响应滤波器)处理组合的输入。
反射单元502将类似于共同混响滤波器524的平均反射滤波器512A到512M应用到与适应性加权因数(520A1-K到520M1-J)一起组合到子群组的输入412的不同子群组。HRTF单元504应用在此实例装置中已转换到耳间时间延迟(ITD)530A到530N的头部相关转移函数(HRTF)滤波器414A到414N(统称为“HRTF滤波器414”)和最小相位滤波器(这些可进一步通过多状态无限脉冲响应(IIR)滤波器来估算)。如本文中所使用,“适应性”指根据适应性加权因数应用于的输入信号的质量对加权因数的调整。在一些方面,各种适应性加权因数可不为适应性的。
为了计算针对输入412中的每一者的BRIR的混合时间,计算在1024滑动窗上的测量在窗口标准差外的脉冲响应线的分率的回波密度分布。当值首次达到1时,此指示脉冲响应开始类似高斯噪声且标记混响的开头。对于个别HRTF滤波器414中的每一者,可存在不同计算,测量的最终值(以毫秒计)是通过在N个信道上平均来确定:
●Tmp50=36.1(50意味着关于回归分析的平均感知混合时间)
●Tmp95=80.7(95意味着对95%专业收听者透明,更严格)。
还存在用于基于房间容积的混合时间计算的理论公式。对于300立方米大的房间,例如,根据来自容积的公式:
●Tv50=31.2
●Tv95=53.6
如上所指出,HRTF单元504应用已转换为耳间时间延迟(ITD)530A到530N的头部相关转移函数(HRTF)滤波器414和最小相位滤波器。可通过对原始滤波器的倒谱开窗来获得最小相位滤波器;可通过在相位的500~4000Hz频率区域上的线性回归来估计延迟;对于IIR估算,可使用平稳模型截断(BMT)方法来提取对频率变形滤波器的振幅响应的最重要分量。
关于混响单元506,在混合时间后,脉冲响应尾部(例如,混响片段402C)理论上可更换,而无许多感知差异。混响单元506因此应用共同混响滤波器524以取代对应于输入412的相应的BRIR的每一响应尾部。存在获得共同混响滤波器524用于在音频回放装置500的混响单元506中应用的实例方式:
(1)将每一滤波器用其能量(例如,脉冲响应中的所有样本的平方值的加总)归一化,且接着对所有归一化的滤波器平均。
(2)直接平均所有滤波器,例如,计算简单平均数。
(3)用由能量包络和相干控制控制的白噪声重新合成平均滤波器。
第一方法(1)同等地采取每一原始滤波器的特性/形状。一些滤波器可具有非常低的能量(例如,22.2设置中的顶部中央信道),且在共同滤波器524中仍具有相等的“投票”。
第二方法(2)根据其能级自然地加权每一滤波器,因此更有能量或“较响”的滤波器在共同滤波器524得到更多投票。此直接平均也可假定滤波器之间不存在许多相关性,至少对于良好收听房间中个别地获得的BRIR,情况可为真。
第三方法(3)是基于使用频率相依耳间相干性(FDIC)重新合成BRIR的混响尾部所借的技术。每一BRIR首先经过短期傅立叶变换(STFT),且将其FDIC计算为:
其中i为频率索引,且k为时间索引。R(.)表示实部分。HL和HR为左和右脉冲响应的短期傅立叶变换(STFT)。
用某一FDIC和EDR,可使用高斯噪声来合成脉冲响应,如
其中
此处,H~L和H~R为滤波的经合成STFT,N1和N2为独立产生的高斯噪声的STFT;c和d为通过频率和时间索引的EDR,且Ps为噪声信号的时间平滑短期功率频率估计。
为了获得平均FDIC,技术可包含:
●使用原始滤波器的FDIC中的一者,例如,前方中央信道
●在所有FDIC上的直接平均
●使用所有FDIC中的最小者:此将产生最大面积的平均滤波器,但未必靠近原始滤波器混合。
●将FDIC与EDR的其相对能量加权,且接着加总在一起。
通过后者方法(加权的FDIC),每一滤波器在共同FDIC中具有与其能量相称的“投票”。较响滤波器因此在共同滤波器524中得到其FDIC影像中的多数。
此外,通过检验输入信号的清单,可发现额外图案,从而导致来自内容能量配送的额外权数。举例来说,22.2设置中的顶部信道通常具有低能量BRIR,且内容产生者可很少在那个位置中创作内容(例如,偶尔的飞机飞过)。因此,当合成共同滤波器524时,共同混响滤波器524产生技术可折损顶部信道的准确性,而主要的前方中央、左和右信道可得到许多加强。以通式表达,用多个权数计算的共同或平均FDIC被计算为:
其中FDICi为第i个BRIR信道的FDIC,且wji(>0)为BRIR信道i的准则j的加权因数。此处提到的第j个准则中的一者可为BRIR能量,而另一者可为信号内容能量。分母总和归一化,使得组合的权数最终总计为1。当权数都等于1时,等式缩减到简单平均值。类似地,共同EDR(先前等式中的c和d)可计算为:
且此处的权数可未必与FDIC的权数相同。
关于产生共同混响滤波器524描述的以上方法中的任一者也可用以合成反射滤波器512A到512M。即,可类似地合成信道的反射的子群组,但误差将通常较大,因为由反射产生的信号为较少噪声状。然而,所有中央信道反射将共享类似相干性评估和能量衰减;可通过恰当的加权组合所有左侧信道反射;替代地,根据信道格式(例如,22.2),左前方信道可形成一个群组,左后方和高度信道可形成另一群组等等。此可将每一者具有反射片段(例如,反射片段402B)的N个信道缩减到M个子群组以缩减计算。也可将基于类似内容的加权应用到反射组合的滤波器512A到512M,如上关于合成混响滤波器524所描述。可按任何组合将反射信道分群。通过检验脉冲响应的反射片段之间的相关性,可将相对高相关的信道分群在一起以用于子群组共同反射滤波器512合成。
在所说明的实例中,反射单元502将至少输入412A和输入412N分群在子群组中。反射滤波器512A表示为此子群组产生的共同滤波器,且反射单元502将反射滤波器512A应用到子群组的输入的组合,再次,在所说明的实例中,所述输入包含至少输入412A和输入412N。
作为一个实例,检验用于一组BRIR滤波器的相应的反射部分的相关性矩阵。所述组BRIR滤波器可表示一组当前的BRIR滤波器。通过(1-corr)/2来调整相关性矩阵以获得不相似矩阵,其用以进行用于聚类分析的完整连结。
如图16中所展示,阶层式聚类分析可在根据关于其时间包络的相关性设定的22.2信道BRIR的反射部分上运行。如可看出,通过设定0.6的截止分数,可将左信道分群到4个子群组,且将右信道分群到具有有说服力的类似性的3个子群组。通过检验22.2设置中的扬声器位置,聚类分析结果与22.2信道设置的共同感测功能性和几何形状符合。
现返回到图15,用于共同滤波器中的任何者(例如,反射滤波器512A到512M和共同混响滤波器524)的脉冲响应可为两列向量:
一旦在联机处理时计算了共同滤波器,反射单元502和/或混响单元506首先将输入412混合到用于滤波器的特定群组内,且接着应用共同滤波器。举例来说,混响单元506可混合所有412到共同混响滤波器524且接着应用共同混响滤波器。由于在共同滤波器合成前原始滤波器具有变化的能量,因此同等混合的输入412可不匹配原始条件。如果滤波器脉冲响应h的能量被计算为:
其中n为样本索引;每一h[n]为左/右脉冲响应的立体样本,那么可将用于输入信号的初始权数计算为:
其中hi为共同滤波器合成前的信道i的原始滤波器。
通过使用共同滤波器,的原始滤波过程变为其中ini为输入信号的输入样本。此处,表示卷积,且每一h滤波器为立体脉冲响应;因此,左和右信道个别地承载这些过程。为了稍微更有效率的处理,可通过平均化左/右权数将立体权数中的任一者转换到单一值权数,且接着在应用共同滤波器后的立体输入混合替代地变为单混合。用于反射单元502的适应性加权因数520A1-K到520M1-J和用于混响单元506的适应性加权因数522A到522N可表示权数中的任一者。
通过使用关于输入信号的背后的假定为,输入信道不相关,因此,每一输入经过具有与先前相同的能量的滤波器,且加总的信号的能量大致与所有加权的信号的能量的总和相同。实践中,常察觉到更“混响”的声音,且观测到重新合成型式的高得多的能级。这是归因于输入通道常相关的事实。举例来说,对于通过水平移动单源且将其移来移去产生的多信道混合,水平移动算法通常产生跨不同信道的高度相关的分量。且对于相关的信道,使用初始权数能量将更高。
因此,替代将混合的输入信号计算为可应用时间变化的能量归一化,且因此应将新输入信号计算为:
其中n为离散时间索引,且归一化wnorm是根据在信号帧的片段上的加权的信号的加总的能量与加权的加总的信号的能量之间的能量比:
在所述等式中,信号索引未写在右侧。在右侧的此平均能量估计可通过关于加总的能量的能量和加总的信号的能量的一阶平滑化滤波器在时域中达成。因此,可获得平滑能量曲线,用于划分。或者,由于音频回放装置500可已对滤波应用FFT重叠-附加,因此用于每一FFT帧,音频回放装置500可估计一个归一化权数且重叠-添加方案将注意已随着时间过去的平滑效应。
在HRTF、反射和混响尾部(或混响)片段之间,应用余弦曲线交叉衰减(具有例如0.2ms的持续时间或10个样本)以在其间平滑地转变。举例来说,如果HRTF为256个样本长,反射为2048个样本长,且混响为4096个样本长,那么呈现器的总等效滤波器长度将为256+2048+4096-2*10=6380个样本。
组合步骤510组合由反射单元502、HRTF单元504和混响单元506产生的所有经滤波信号。在一些实例中,反射单元502和混响单元506中的至少一者不包含应用适应性加权因数。在音频回放装置500的一些实例中,HRTF单元504应用用于输入412的BRIR滤波器的HRTF部分和反射部分两者,即,在此等实例中的音频回放装置500不将输入412N分群到共同反射滤波器512A到512M应用于M个子群组内。
图17为说明根据本发明中描述的技术的音频回放装置的实例操作模式的流程图。关于图15的音频回放装置500来描述实例操作模式。
音频回放装置500接收单一输入信道且将适应性地确定的权数应用于信道(600)。音频回放装置500组合这些适应性地加权的信道以产生组合的音频信号(602)。音频回放装置500将立体声房间脉冲响应滤波器进一步应用到组合的音频信号以产生立体声音频信号(604)。立体声房间脉冲响应滤波器可为(例如)根据以上描述的技术中的任何者产生的组合的反射或混响滤波器。音频回放装置500输出至少部分从在步骤604产生的立体声音频信号产生的输出/总音频信号(606)。总音频信号可为用于经组合和滤波的一或多个反射子群组、经组合和滤波的混响群组的多个立体声音频信号与针对音频信号的信道中的每一者滤波的相应HRTF信号的组合。音频回放装置500按需要将延迟应用于经滤波信号以对准用于组合的信号以产生总输出立体声音频信号。
除了以上之外或作为对以上的替代,还描述以下实例。在以下实例中的任一者中描述的特征可与本文中描述的其它实例中的任一者一起利用。
一个实例是针对一种立体声化音频信号的方法,包括:获得用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器;以及将所述共同滤波器应用到从所述音频信号的多个信道确定的加总音频信号以产生经变换加总音频信号。
在一些实例中,加总音频信号包括对应于所述多个立体声房间脉冲响应滤波器的子群组的音频信号的所述多个信道的子群组的组合。
在一些实例中,所述方法进一步包括将所述多个立体声房间脉冲响应滤波器的相应的头部相关转移函数片段应用到所述音频信号的所述多个信道中的对应者以产生所述音频信号的多个经变换信道;以及组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出立体声音频信号。
在一些实例中,获得所述共同滤波器包括计算作为共同滤波器的所述多个立体声房间脉冲响应滤波器的所述子群组的平均值。
在一些实例中,所述方法进一步包括组合对应于所述多个立体声房间脉冲响应滤波器的所述子群组的所述音频信号的信道的子群组以产生所述加总音频信号。
在一些实例中,共同滤波器为第一共同滤波器,子群组为第一子群组,加总音频信号一第一加总音频信号,且其中经变换加总音频信号为第一经变换加总音频信号,且所述方法进一步包括通过计算所述多个立体声房间脉冲响应滤波器的第二不同子群组的平均值来产生用于所述多个立体声房间脉冲响应滤波器的所述第二子群组的第二共同滤波器;组合对应于所述多个立体声房间脉冲响应滤波器的所述第二子群组的所述音频信号的信道的第二子群组以产生第二加总音频信号;以及将所述第二共同滤波器应用到所述第二加总音频信号以产生第二经变换加总音频信号,其中组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出音频信号包括组合所述第一经变换加总音频信号、所述第二经变换加总音频信号与所述音频信号的所述经变换信道以产生所述输出音频信号。
在一些实例中,获得所述共同滤波器包括计算根据所述立体声房间脉冲响应滤波器的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的加权平均值。
在一些实例中,获得所述共同滤波器包括在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述平均值。
在一些实例中,获得所述共同滤波器包括计算所述多个立体声房间脉冲响应滤波器的所述子群组的直接平均值。
在一些实例中,获得所述共同滤波器包括使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,其中获得所述共同滤波器包括计算用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算直接平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,计算所述平均频率相依耳间相干性值包括用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,使用平均频率相依耳间相干性值合成共同滤波器包括计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种方法包括产生用于根据多个立体声房间脉冲响应滤波器的相应的能量加权的所述立体声房间脉冲响应滤波器的混响片段的共同滤波器。
在一些实例中,产生所述共同滤波器包括计算根据所述立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述混响片段的加权平均值。
在一些实例中,产生所述共同滤波器包括在不归一化所述多个立体声房间脉冲响应滤波器的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述混响片段的平均值。
在一些实例中,产生所述共同滤波器包括计算所述多个立体声房间脉冲响应滤波器的所述混响片段的直接平均值。
在一些实例中,产生所述共同滤波器包括使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,产生所述共同滤波器包括:计算用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算直接平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,计算所述平均频率相依耳间相干性值包括用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道中的第i个信道的信号内容能量中的一者。
在一些实例中,使用平均频率相依耳间相干性值合成共同滤波器包括计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道,其中EDRi表示用于音频信号的第i个信道的能量衰减值,且其中wij表示用于音频信号的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的第i个信道的信号内容能量中的一者。
在另一实例中,一种方法包括产生用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器。
在一些实例中,产生所述共同滤波器包括计算根据所述立体声房间脉冲响应滤波器的子群组的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的加权平均值。
在一些实例中,产生所述共同滤波器包括在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的所述平均值。
在一些实例中,产生所述共同滤波器包括计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的直接平均值。
在一些实例中,产生所述共同滤波器包括使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,产生所述共同滤波器包括:计算用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算直接平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,计算所述平均频率相依耳间相干性值包括用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,计算所述平均频率相依耳间相干性值包括计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,使用平均频率相依耳间相干性值合成共同滤波器包括计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在另一实例中,一种立体声化音频信号的方法包括在应用多个立体声房间脉冲响应滤波器的一或多个片段前,将适应性地确定的权数应用到所述音频信号的多个信道;以及将所述一或多个片段应用到所述多个立体声房间脉冲响应滤波器。
在一些实例中,根据所述多个立体声房间脉冲响应滤波器的对应的立体声房间脉冲响应滤波器的能量计算用于所述音频信号的所述信道的所述初始适应性地确定的权数。
在一些实例中,所述方法进一步包括获得用于多个立体声房间脉冲响应滤波器的共同滤波器,其中根据以下来计算用于第i个信道的第i个初始适应性地确定的权数
其中hi为第i个立体声房间脉冲响应滤波器,其中为共同滤波器,且其中其中n为样本索引且每一h[n]为在n处的立体样本。
在一些实例中,所述方法进一步包括将共同滤波器应用到加总音频信号以通过计算产生经变换加总音频信号,其中表示卷积运算且ini表示音频信号的第i个信道。
在一些实例中,组合所述音频信号的所述信道以通过将相应的自适应加权因数应用到所述信道来产生加总音频信号包括计算:
其中inmix(n)表示加总音频信号,其中n为样本索引,且
其中
且其中ini表示音频信号的第i个信道。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种方法包括将多个立体声房间脉冲响应滤波器的相应的头部相关转移函数片段应用到音频信号的对应的信道以产生所述音频信号的多个经变换信道;通过计算根据所述多个立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的加权平均值来产生共同滤波器;组合所述音频信号的所述信道以产生加总音频信号;将所述共同滤波器应用到所述加总音频信号以产生经变换加总音频信号;组合所述经变换加总音频信号与所述音频信号的所述经变换信道以产生输出音频信号。
在一些实例中,通过计算根据所述多个立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的加权平均值来产生共同滤波器包括在不归一化所述多个立体声房间脉冲响应滤波器中的任一者的情况下计算所述多个立体声房间脉冲响应滤波器的平均值。
在一些实例中,通过计算根据所述多个立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的加权平均值来产生共同滤波器包括计算所述多个立体声房间脉冲响应滤波器的直接平均值。
在一些实例中,通过计算根据所述多个立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的加权平均值来产生共同滤波器包括使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,通过计算根据所述多个立体声房间脉冲响应滤波器的所述相应的能量加权的所述多个立体声房间脉冲响应滤波器的加权平均值来产生共同滤波器包括:计算用于所述多个立体声房间脉冲响应滤波器中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,使用用于所述多个立体声房间脉冲响应滤波器中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值包括计算直接平均频率相依耳间相干性值。
在一些实例中,使用用于所述多个立体声房间脉冲响应滤波器的子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值包括将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,使用用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值包括用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,使用用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值包括计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的第i个信道的信号内容能量中的一者。
在一些实例中,使用平均频率相依耳间相干性值合成共同滤波器包括计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道,其中EDRi表示用于音频信号的第i个信道的能量衰减值,且其中wij表示用于音频信号的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的第i个信道的信号内容能量中的一者。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种方法包括将多个立体声房间脉冲响应滤波器的相应的头部相关转移函数片段应用到音频信号的对应的信道以产生所述音频信号的多个经变换信道;通过计算所述多个立体声房间脉冲响应滤波器的平均值来产生共同滤波器;组合所述音频信号的所述信道以通过将相应的自适应加权因数应用到所述信道来产生加总音频信号;将所述共同滤波器应用到所述加总音频信号以产生经变换加总音频信号;以及组合所述经变换加总音频信号与所述音频信号的所述经变换信道以产生输出音频信号。
在一些实例中,根据所述多个立体声房间脉冲响应滤波器的对应的立体声房间脉冲响应滤波器的能量计算用于所述音频信号的所述信道的初始自适应加权因数。
在一些实例中,根据以下计算用于第i个信道的第i个初始自适应加权因数
其中hi为第i个立体声房间脉冲响应滤波器,其中为共同滤波器,且其中其中n为样本索引且每一h[n]为在n处的立体样本。
在一些实例中,将所述共同滤波器应用到所述加总音频信号以产生经变换加总音频信号包括计算:
其中表示卷积运算且ini表示音频信号的第i个信道。
在一些实例中,组合所述音频信号的所述信道以通过将相应的自适应加权因数应用到所述信道来产生加总音频信号包括计算:
其中inmix(n)表示加总音频信号,其中n为样本索引,且
其中
其中ini表示音频信号的第i个信道。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在一些实例中,一种装置包括:存储器,其经配置以存储用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器;以及处理器,其经配置以将所述共同滤波器应用到从所述音频信号的多个信道确定的加总音频信号以产生经变换加总音频信号。
在一些实例中,加总音频信号包括对应于所述多个立体声房间脉冲响应滤波器的子群组的音频信号的所述多个信道的子群组的组合。
在一些实例中,所述处理器经进一步配置以将所述多个立体声房间脉冲响应滤波器的相应的头部相关转移函数片段应用到所述音频信号的所述多个信道中的对应者以产生所述音频信号的多个经变换信道;以及组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出立体声音频信号。
在一些实例中,所述共同滤波器包括所述多个立体声房间脉冲响应滤波器的所述子群组的平均值。
在一些实例中,所述处理器经进一步配置以组合对应于所述多个立体声房间脉冲响应滤波器的所述子群组的所述音频信号的信道的子群组以产生所述加总音频信号。
在一些实例中,所述共同滤波器为第一共同滤波器,其中所述子群组为第一子群组,其中所述加总音频信号为第一加总音频信号,且其中所述经变换加总音频信号为第一经变换加总音频信号,其中所述处理器经进一步配置以通过计算所述多个立体声房间脉冲响应滤波器的第二不同子群组的平均值来产生用于所述第二子群组的第二共同滤波器;组合对应于所述多个立体声房间脉冲响应滤波器的所述第二子群组的所述音频信号的信道的第二子群组以产生第二加总音频信号;以及将所述第二共同滤波器应用到所述第二加总音频信号以产生第二经变换加总音频信号,其中为了组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出音频信号,其中所述处理器经进一步配置以组合所述第一经变换加总音频信号、所述第二经变换加总音频信号与所述音频信号的所述经变换信道以产生所述输出音频信号。
在一些实例中,所述共同滤波器包括根据所述立体声房间脉冲响应滤波器的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的加权平均值。
在一些实例中,所述共同滤波器包括在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下的所述多个立体声房间脉冲响应滤波器的所述子群组的平均值。
在一些实例中,所述共同滤波器包括所述多个立体声房间脉冲响应滤波器的所述子群组的直接平均值。
在一些实例中,所述共同滤波器包括使用由能量包络和相干性控制控制的白噪声产生的重新合成的共同滤波器。
在一些实例中,所述处理器经进一步配置以:计算用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,为了计算所述平均频率相依耳间相干性值,其中所述处理器经进一步配置以计算直接平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,其中所述处理器经进一步配置以计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,为了使用所述平均频率相依耳间相干性值合成所述共同滤波器,所述处理器经进一步配置以计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种装置包括处理器,其经配置以产生用于根据多个立体声房间脉冲响应滤波器的相应的能量加权的所述立体声房间脉冲响应滤波器的混响片段的共同滤波器。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以计算根据所述立体声房间脉冲响应滤波器的所述相应的能量加权的的所述多个立体声房间脉冲响应滤波器的所述混响片段的加权平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以在不归一化所述多个立体声房间脉冲响应滤波器的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述混响片段的所述平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以计算所述多个立体声房间脉冲响应滤波器的所述混响片段的直接平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以:计算用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以计算直接平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道中的第i个信道的信号内容能量中的一者。
在一些实例中,为了使用所述平均频率相依耳间相干性值合成所述共同滤波器,所述处理器经进一步配置以计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道,其中EDRi表示用于音频信号的第i个信道的能量衰减值,且其中wij表示用于音频信号的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的第i个信道的信号内容能量中的一者。
在另一实例中,一种装置包括处理器,其经配置以产生用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以计算根据所述立体声房间脉冲响应滤波器的子群组的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的加权平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的所述平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的直接平均值。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器。
在一些实例中,为了产生所述共同滤波器,所述处理器经进一步配置以:计算用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的相应的频率相依耳间相干性值;使用用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值;以及使用所述平均频率相依耳间相干性值合成所述共同滤波器。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以计算直接平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的每一者,和累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值。
在一些实例中,为了计算所述平均频率相依耳间相干性值,所述处理器经进一步配置以计算:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,为了使用所述平均频率相依耳间相干性值合成所述共同滤波器,所述处理器经进一步配置以计算:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,一种装置包括处理器,其经配置以在应用多个立体声房间脉冲响应滤波器的一或多个片段前,将适应性地确定的权数应用到所述音频信号的多个信道;以及将所述一或多个片段应用到所述多个立体声房间脉冲响应滤波器。
在一些实例中,所述处理器根据所述多个立体声房间脉冲响应滤波器的对应的立体声房间脉冲响应滤波器的能量计算用于所述音频信号的所述信道的初始适应性地确定的权数。
在一些实例中,所述处理器经进一步配置以获得用于多个立体声房间脉冲响应滤波器的共同滤波器,其中用于第i个信道的第i个初始适应性地确定的权数是根据 计算,
其中hi为第i个立体声房间脉冲响应滤波器,其中为共同滤波器,且其中其中n为样本索引且每一h[n]为在n处的立体样本。
在一些实例中,所述处理器经进一步配置以:通过以下计算将共同滤波器所述到加总音频信号以产生经变换加总音频信号:
其中表示卷积运算且ini表示音频信号的第i个信道。
在一些实例中,所述处理器经进一步配置以:通过以下计算组合所述音频信号的所述信道以通过将相应的自适应加权因数应用到所述信道来产生加总音频信号:
其中inmix(n)表示加总音频信号,其中n为样本索引,且
其中其中ini表示音频信号的第i个信道。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种装置包括:用于获得用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器的装置;以及用于将所述共同滤波器应用到从所述音频信号的多个信道确定的加总音频信号以产生经变换加总音频信号的装置。
在一些实例中,加总音频信号包括对应于所述多个立体声房间脉冲响应滤波器的子群组的音频信号的所述多个信道的子群组的组合。
在一些实例中,所述装置进一步包括用于将所述多个立体声房间脉冲响应滤波器的相应的头部相关转移函数片段应用到所述音频信号的所述多个信道中的对应者以产生所述音频信号的多个经变换信道的装置;以及用于组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出立体声音频信号的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括用于计算作为共同滤波器的所述多个立体声房间脉冲响应滤波器的所述子群组的平均值的装置。
在一些实例中,所述装置进一步包括用于组合对应于所述多个立体声房间脉冲响应滤波器的所述子群组的所述音频信号的信道的子群组以产生所述加总音频信号的装置。
在一些实例中,所述共同滤波器为第一共同滤波器,其中所述子群组为第一子群组,其中所述加总音频信号为第一加总音频信号,且其中所述经变换加总音频信号为第一经变换加总音频信号,其中所述装置进一步包括用于通过计算所述多个立体声房间脉冲响应滤波器的第二不同子群组的平均值来产生用于所述第二子群组的第二共同滤波器的装置;用于组合对应于所述多个立体声房间脉冲响应滤波器的所述第二子群组的所述音频信号的信道的第二子群组以产生第二加总音频信号的装置;以及用于将所述第二共同滤波器应用到所述第二加总音频信号以产生第二经变换加总音频信号的装置,其中所述用于组合所述第一经变换加总音频信号与所述音频信号的所述经变换信道以产生输出音频信号的装置包括用于组合所述第一经变换加总音频信号、所述第二经变换加总音频信号与所述音频信号的所述经变换信道以产生所述输出音频信号的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括用于计算根据所述立体声房间脉冲响应滤波器的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的加权平均值的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括用于在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述平均值的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括用于计算所述多个立体声房间脉冲响应滤波器的所述子群组的直接平均值的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括用于使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器的装置。
在一些实例中,所述用于获得所述共同滤波器的装置包括:用于计算用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的相应的频率相依耳间相干性值的装置;用于使用用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值的装置;以及用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于计算直接平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组中的每一者的所述相应的频率相依耳间相干性值中的每一者的装置,和用于累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于进行以下计算的装置:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,所述用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置包括用于进行以下计算的装置:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种装置包括用于产生用于根据多个立体声房间脉冲响应滤波器的相应的能量加权的所述立体声房间脉冲响应滤波器的混响片段的共同滤波器的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于计算根据所述立体声房间脉冲响应滤波器的所述相应的能量加权的的所述多个立体声房间脉冲响应滤波器的所述混响片段的加权平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于在不归一化所述多个立体声房间脉冲响应滤波器的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述混响片段的平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于计算所述多个立体声房间脉冲响应滤波器的所述混响片段的直接平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括:用于计算用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的相应的频率相依耳间相干性值的装置;用于使用用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值的装置;以及用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于计算直接平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述混响片段中的每一者的所述相应的频率相依耳间相干性值中的每一者的装置,和用于累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于进行以下计算的装置:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道中的第i个信道的信号内容能量中的一者。
在一些实例中,所述用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置包括用于进行以下计算的装置:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道,其中EDRi表示用于音频信号的第i个信道的能量衰减值,且其中wij表示用于音频信号的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的第i个信道的信号内容能量中的一者。
在另一实例中,一种装置包括用于产生用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于计算根据所述立体声房间脉冲响应滤波器的子群组的相应的能量加权的所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的加权平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于在不归一化所述多个立体声房间脉冲响应滤波器的所述子群组的所述立体声房间脉冲响应滤波器的情况下计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的所述平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于计算所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段的直接平均值的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括用于使用由能量包络和相干性控制控制的白噪声重新合成所述共同滤波器的装置。
在一些实例中,所述用于产生所述共同滤波器的装置包括:用于计算用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的相应的频率相依耳间相干性值的装置;用于使用用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值计算平均频率相依耳间相干性值的装置;以及用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于计算直接平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于将所述平均频率相依耳间相干性值作为用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的最小频率相依耳间相干性值来计算的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于用能量衰减的相应的相对能量加权用于所述多个立体声房间脉冲响应滤波器的所述子群组的所述反射片段中的每一者的所述相应的频率相依耳间相干性值中的每一者的装置,和用于累加所述经加权的频率相依耳间相干性值以产生所述平均频率相依耳间相干性值的装置。
在一些实例中,所述用于计算所述平均频率相依耳间相干性值的装置包括用于进行以下计算的装置:
其中FDICaverage为平均频率相依耳间相干性值,其中i表示所述多个立体声房间脉冲响应滤波器的所述子群组中的立体声房间脉冲响应滤波器,其中FDICi表示用于第i个立体声房间脉冲响应滤波器的频率相依耳间相干性值,且其中wij表示用于第i个立体声房间脉冲响应滤波器的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在一些实例中,所述用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置包括用于进行以下计算的装置:
其中EDRaverage为平均能量衰减值,其中i表示音频信号的信道的子群组中的信道,其中EDRi表示用于音频信号的信道的子群组中的第i个信道的能量衰减值,且其中wij表示用于音频信号的信道的子群组中的第i个信道的准则j的权数。
在一些实例中,准则j为用于第i个立体声房间脉冲响应滤波器的能量或用于音频信号的信道的子群组中的第i个信道的信号内容能量中的一者。
在另一实例中,一种装置包括用于在应用多个立体声房间脉冲响应滤波器的一或多个片段前将适应性地确定的权数应用到所述音频信号的多个信道的装置;以及用于将所述一或多个片段应用到所述多个立体声房间脉冲响应滤波器的装置。
在一些实例中,根据所述多个立体声房间脉冲响应滤波器的对应的立体声房间脉冲响应滤波器的能量计算用于所述音频信号的所述信道的所述初始适应性地确定的权数。
在一些实例中,所述装置进一步包括用于获得用于多个立体声房间脉冲响应滤波器的共同滤波器的装置,其中根据以下来计算用于第i个信道的第i个初始适应性地确定的权数
其中hi为第i个立体声房间脉冲响应滤波器,其中为共同滤波器,且其中其中n为样本索引且每一h[n]为在n处的立体样本。
在一些实例中,所述装置进一步包括用于通过以下计算将所述共同滤波器应用到所述加总音频信号以产生经变换加总音频信号的装置:
其中表示卷积运算且ini表示音频信号的第i个信道。
在一些实例中,所述装置进一步包括用于组合所述音频信号的所述信道以通过将相应的自适应加权因数应用到所述信道来产生加总音频信号的装置,包含计算:
其中inmix(n)表示加总音频信号,其中n为样本索引,且
其中
其中ini表示音频信号的第i个信道。
在一些实例中,音频信号的信道包括多个阶层元素。
在一些实例中,所述多个阶层元素包括球面谐波系数。
在一些实例中,所述多个阶层元素包括较高阶环境立体混合声。
在另一实例中,一种非暂时性计算机可读存储媒体具有储存于其上的指令,所述指令在经执行时使一或多个处理器获得用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器;以及将所述共同滤波器应用到从所述音频信号的多个信道确定的加总音频信号以产生经变换加总音频信号。
在另一实例中,一种非暂时性计算机可读存储媒体具有储存于其上的指令,所述指令在经执行时使一或多个处理器产生用于根据多个立体声房间脉冲响应滤波器的相应的能量加权的所述立体声房间脉冲响应滤波器的混响片段的共同滤波器。
在另一实例中,一种非暂时性计算机可读存储媒体具有储存于其上的指令,所述指令在经执行时使一或多个处理器产生用于多个立体声房间脉冲响应滤波器的子群组的反射片段的共同滤波器。
在另一实例中,一种非暂时性计算机可读存储媒体具有储存于其上的指令,所述指令在经执行时使一或多个处理器在应用多个立体声房间脉冲响应滤波器的一或多个片段前,将适应性地确定的权数应用到所述音频信号的多个信道;以及将所述一或多个片段应用到所述多个立体声房间脉冲响应滤波器。
在另一实例中,一种装置包括处理器,其经配置以执行以上描述的实例的任何组合的方法的任何组合。
在另一实例中,一种装置包括用于执行以上描述的实例的任何组合的方法的每一步骤的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有储存于其上的指令,所述指令在经执行时使一或多个处理器执行以上描述的实例的任何组合的方法。
应理解,取决于实例,本文中所描述的方法中的任一者的某些动作或事件可按不同序列来执行,可经添加、合并或一起省去(例如,并非所有所描述的动作或事件为达成方法的实践所必要的)。此外,在某些实例中,动作或事件可(例如)通过多线程处理、中断处理或多个处理器而同时执行而非顺序执行。另外,虽然出于清晰的目的,本发明的某些方面经描述为由单一装置、模块或单元执行,但应理解,本发明的技术可由装置、单元或模块的组合执行。
在一或多个实例中,可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件来实施,那么功能可作为一或多个指令或代码而存储于计算机可读媒体上或通过计算机可读媒体予以传输且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体或通信媒体,计算机可读存储媒体对应于例如数据存储媒体的有形媒体,通信媒体包含促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体。
以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例且非限制,这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置,或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构的形式且可由计算机存取的所要程序代码的任何其它媒体。又,将任何连接恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。
然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是针对非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此,如本文中所使用,术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,可将本文所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入于组合式编码解码器中。又,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中,包含无线手机、集成电路(IC)或IC的集合(例如,芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元来实现。相反地,如上文所描述,各种单元可组合于编码解码器硬件单元中或由互操作硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适的软件和/或固件来提供。
已描述技术的各种实施例。这些和其它实施例在以下权利要求书的范围内。
Claims (30)
1.一种立体声化音频信号的方法,所述方法包括:
将适应性地确定的权数应用到所述音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;
组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及
将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
2.根据权利要求1所述的方法,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的混响片段的共同滤波器。
3.根据权利要求2所述的方法,其中所述至少两个立体声房间脉冲响应滤波器的反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的相应的能量加权。
4.根据权利要求1所述的方法,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的反射片段的共同滤波器。
5.根据权利要求4所述的方法,其中所述至少两个立体声房间脉冲响应滤波器的所述反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的所述相应的能量加权。
6.根据权利要求1所述的方法,
其中所述音频信号的所述多个适应性地加权的信道中的所述至少两个包括第一子群组,
其中所述组合信号包括第一组合信号,
其中所述立体声房间脉冲响应滤波器包括第一立体声房间脉冲响应滤波器,且
其中所述立体声音频信号包括第一立体声音频信号,所述方法进一步包括:
组合第二子群组以产生第二组合信号,所述第二子群组包括所述音频信号的所述多个适应性地加权的信道中的至少两个;
将第二立体声房间脉冲响应滤波器应用到所述第二组合信号以产生第二立体声音频信号;以及
组合所述第一立体声音频信号与所述第二立体声音频信号以产生第三立体声音频信号。
7.根据权利要求1所述的方法,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述方法进一步包括:
在不归一化所述至少两个立体声房间脉冲响应滤波器的情况下计算所述至少两个立体声房间脉冲响应滤波器的平均值以产生所述共同滤波器。
8.根据权利要求1所述的方法,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述方法进一步包括:
计算用于所述至少两个立体声房间脉冲响应滤波器中的每一者的相应的频率相依耳间相干性值;
计算用于所述至少两个立体声房间脉冲响应滤波器的所述相应的频率相依耳间相干性值的平均频率相依耳间相干性值;以及
使用所述平均频率相依耳间相干性值合成所述共同滤波器。
9.根据权利要求1所述的方法,其中用于所述音频信号的多个信道的所述初始适应性地确定的权数是根据分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的相应的能量确定。
10.根据权利要求1所述的方法,其中所述音频信号的所述多个信道各包括球面谐波系数。
11.一种装置,其包括经配置以进行以下操作的一或多个处理器:
将适应性地确定的权数应用到音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;
组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及
将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
12.根据权利要求11所述的装置,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的混响片段的共同滤波器。
13.根据权利要求12所述的装置,其中所述至少两个立体声房间脉冲响应滤波器的反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的相应的能量加权。
14.根据权利要求11所述的装置,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的反射片段的共同滤波器。
15.根据权利要求14所述的装置,其中所述至少两个立体声房间脉冲响应滤波器的所述反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的所述相应的能量加权。
16.根据权利要求11所述的装置,
其中所述音频信号的所述多个适应性地加权的信道中的所述至少两个包括第一子群组,
其中所述组合信号包括第一组合信号,
其中所述立体声房间脉冲响应滤波器包括第一立体声房间脉冲响应滤波器,且
其中所述立体声音频信号包括第一立体声音频信号,所述一或多个处理器经进一步配置以:
组合第二子群组以产生第二组合信号,所述第二子群组包括所述音频信号的所述多个适应性地加权的信道中的至少两个;
将第二立体声房间脉冲响应滤波器应用到所述第二组合信号以产生第二立体声音频信号;以及
组合所述第一立体声音频信号与所述第二立体声音频信号以产生第三立体声音频信号。
17.根据权利要求11所述的装置,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述一或多个处理器经进一步配置以:
在不归一化所述至少两个立体声房间脉冲响应滤波器的情况下计算所述至少两个立体声房间脉冲响应滤波器的平均值以产生所述共同滤波器。
18.根据权利要求11所述的装置,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述一或多个处理器经进一步配置以:
计算用于所述至少两个立体声房间脉冲响应滤波器中的每一者的相应的频率相依耳间相干性值;
计算用于所述至少两个立体声房间脉冲响应滤波器的所述相应的频率相依耳间相干性值的平均频率相依耳间相干性值;以及
使用所述平均频率相依耳间相干性值合成所述共同滤波器。
19.根据权利要求11所述的装置,其中用于所述音频信号的多个信道的所述初始适应性地确定的权数是根据分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的相应的能量确定。
20.根据权利要求11所述的装置,其中所述音频信号的所述多个信道各包括球面谐波系数。
21.一种设备,其包括:
用于将适应性地确定的权数应用到音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道的装置;
用于组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号的装置;以及
用于将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号的装置。
22.根据权利要求21所述的设备,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的混响片段的共同滤波器。
23.根据权利要求22所述的设备,其中所述至少两个立体声房间脉冲响应滤波器的反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的相应的能量加权。
24.根据权利要求21所述的设备,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的反射片段的共同滤波器。
25.根据权利要求24所述的设备,其中所述至少两个立体声房间脉冲响应滤波器的所述反射片段是根据所述至少两个立体声房间脉冲响应滤波器的至少一部分的所述相应的能量加权。
26.根据权利要求21所述的设备,
其中所述音频信号的所述多个适应性地加权的信道中的所述至少两个包括第一子群组,
其中所述组合信号包括第一组合信号,
其中所述立体声房间脉冲响应滤波器包括第一立体声房间脉冲响应滤波器,且
其中所述立体声音频信号包括第一立体声音频信号,所述设备进一步包括:
用于组合第二子群组以产生第二组合信号的装置,所述第二子群组包括所述音频信号的所述多个适应性地加权的信道中的至少两个;
用于将第二立体声房间脉冲响应滤波器应用到所述第二组合信号以产生第二立体声音频信号的装置;以及
用于组合所述第一立体声音频信号与所述第二立体声音频信号以产生第三立体声音频信号的装置。
27.根据权利要求21所述的设备,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述设备进一步包括:
用于在不归一化所述至少两个立体声房间脉冲响应滤波器的情况下计算所述至少两个立体声房间脉冲响应滤波器的平均值以产生所述共同滤波器的装置。
28.根据权利要求21所述的设备,其中所述立体声房间脉冲响应滤波器包括用于分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的共同滤波器,所述设备进一步包括:
用于计算用于所述至少两个立体声房间脉冲响应滤波器中的每一者的相应的频率相依耳间相干性值的装置;
用于计算用于所述至少两个立体声房间脉冲响应滤波器的所述相应的频率相依耳间相干性值的平均频率相依耳间相干性值的装置;以及
用于使用所述平均频率相依耳间相干性值合成所述共同滤波器的装置。
29.根据权利要求21所述的设备,其中用于所述音频信号的多个信道的所述初始适应性地确定的权数是根据分别对应于所述多个适应性地加权的信道中的所述至少两个的至少两个立体声房间脉冲响应滤波器的相应的能量确定。
30.一种非暂时性计算机可读存储媒体,其具有存储于其上的指令,所述指令在经执行时使一或多个处理器进行以下操作:
将适应性地确定的权数应用到音频信号的多个信道以产生所述音频信号的多个适应性地加权的信道;
组合所述音频信号的所述多个适应性地加权的信道中的至少两个以产生组合信号;以及
将立体声房间脉冲响应滤波器应用到所述组合信号以产生立体声音频信号。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361828620P | 2013-05-29 | 2013-05-29 | |
US61/828,620 | 2013-05-29 | ||
US201361847543P | 2013-07-17 | 2013-07-17 | |
US61/847,543 | 2013-07-17 | ||
US201361886593P | 2013-10-03 | 2013-10-03 | |
US201361886620P | 2013-10-03 | 2013-10-03 | |
US61/886,620 | 2013-10-03 | ||
US61/886,593 | 2013-10-03 | ||
US14/288,277 | 2014-05-27 | ||
US14/288,277 US9369818B2 (en) | 2013-05-29 | 2014-05-27 | Filtering with binaural room impulse responses with content analysis and weighting |
PCT/US2014/039864 WO2014194005A1 (en) | 2013-05-29 | 2014-05-28 | Filtering with binaural room impulse responses with content analysis and weighting |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105432097A true CN105432097A (zh) | 2016-03-23 |
CN105432097B CN105432097B (zh) | 2017-04-26 |
Family
ID=51985133
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480042431.2A Active CN105432097B (zh) | 2013-05-29 | 2014-05-28 | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 |
CN201480035798.1A Active CN105325013B (zh) | 2013-05-29 | 2014-05-28 | 具有立体声房间脉冲响应的滤波 |
CN201480035597.1A Active CN105340298B (zh) | 2013-05-29 | 2014-05-28 | 球面谐波系数的立体声呈现 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480035798.1A Active CN105325013B (zh) | 2013-05-29 | 2014-05-28 | 具有立体声房间脉冲响应的滤波 |
CN201480035597.1A Active CN105340298B (zh) | 2013-05-29 | 2014-05-28 | 球面谐波系数的立体声呈现 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9420393B2 (zh) |
EP (3) | EP3005733B1 (zh) |
JP (3) | JP6067934B2 (zh) |
KR (3) | KR101788954B1 (zh) |
CN (3) | CN105432097B (zh) |
TW (1) | TWI615042B (zh) |
WO (3) | WO2014194005A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017185663A1 (zh) * | 2016-04-27 | 2017-11-02 | 华为技术有限公司 | 一种增加混响的方法与装置 |
CN109155895A (zh) * | 2016-04-20 | 2019-01-04 | 珍尼雷克公司 | 有源监听耳机及用于正则化其反演的方法 |
CN109801643A (zh) * | 2019-01-30 | 2019-05-24 | 龙马智芯(珠海横琴)科技有限公司 | 混响抑制的处理方法和装置 |
CN112578434A (zh) * | 2019-09-27 | 2021-03-30 | 中国石油化工股份有限公司 | 一种最小相位无限脉冲响应滤波方法及滤波系统 |
Families Citing this family (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9131305B2 (en) * | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
KR102150955B1 (ko) | 2013-04-19 | 2020-09-02 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
CN108806704B (zh) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
US9384741B2 (en) * | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
US9420393B2 (en) | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
EP2840811A1 (en) * | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder |
EP2830043A3 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
EP3806498B1 (en) | 2013-09-17 | 2023-08-30 | Wilus Institute of Standards and Technology Inc. | Method and apparatus for processing audio signal |
CN105874819B (zh) | 2013-10-22 | 2018-04-10 | 韩国电子通信研究院 | 生成用于音频信号的滤波器的方法及其参数化装置 |
DE102013223201B3 (de) * | 2013-11-14 | 2015-05-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes |
KR101627661B1 (ko) | 2013-12-23 | 2016-06-07 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치 |
CN105900457B (zh) | 2014-01-03 | 2017-08-15 | 杜比实验室特许公司 | 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统 |
US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
CN106105269B (zh) | 2014-03-19 | 2018-06-19 | 韦勒斯标准与技术协会公司 | 音频信号处理方法和设备 |
BR112016021565B1 (pt) * | 2014-03-21 | 2021-11-30 | Huawei Technologies Co., Ltd | Aparelho e método para estimar um tempo de mistura geral com base em uma pluralidade de pares de respostas impulsivas de sala, e decodificador de áudio |
CN108307272B (zh) | 2014-04-02 | 2021-02-02 | 韦勒斯标准与技术协会公司 | 音频信号处理方法和设备 |
US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
EP3197182B1 (en) | 2014-08-13 | 2020-09-30 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
DK3550859T3 (da) * | 2015-02-12 | 2021-11-01 | Dolby Laboratories Licensing Corp | Hovedtelefonsvirtualisering |
WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
US10932078B2 (en) | 2015-07-29 | 2021-02-23 | Dolby Laboratories Licensing Corporation | System and method for spatial processing of soundfield signals |
US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
US10978079B2 (en) * | 2015-08-25 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Audio encoding and decoding using presentation transform parameters |
KR102517867B1 (ko) * | 2015-08-25 | 2023-04-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 디코더 및 디코딩 방법 |
US10262677B2 (en) * | 2015-09-02 | 2019-04-16 | The University Of Rochester | Systems and methods for removing reverberation from audio signals |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
EP3531714B1 (en) | 2015-09-17 | 2022-02-23 | Sonos Inc. | Facilitating calibration of an audio playback device |
BR112018013526A2 (pt) * | 2016-01-08 | 2018-12-04 | Sony Corporation | aparelho e método para processamento de áudio, e, programa |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
US9881619B2 (en) | 2016-03-25 | 2018-01-30 | Qualcomm Incorporated | Audio processing for an acoustical environment |
WO2017165968A1 (en) * | 2016-03-29 | 2017-10-05 | Rising Sun Productions Limited | A system and method for creating three-dimensional binaural audio from stereo, mono and multichannel sound sources |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
EP3472832A4 (en) * | 2016-06-17 | 2020-03-11 | DTS, Inc. | DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
CN106412793B (zh) * | 2016-09-05 | 2018-06-12 | 中国科学院自动化研究所 | 基于球谐函数的头相关传输函数的稀疏建模方法和系统 |
EP3293987B1 (en) | 2016-09-13 | 2020-10-21 | Nokia Technologies Oy | Audio processing |
US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
US10492018B1 (en) | 2016-10-11 | 2019-11-26 | Google Llc | Symmetric binaural rendering for high-order ambisonics |
US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
KR20190091445A (ko) * | 2016-10-19 | 2019-08-06 | 오더블 리얼리티 아이엔씨. | 오디오 이미지를 생성하는 시스템 및 방법 |
EP3312833A1 (en) * | 2016-10-19 | 2018-04-25 | Holosbase GmbH | Decoding and encoding apparatus and corresponding methods |
US9992602B1 (en) | 2017-01-12 | 2018-06-05 | Google Llc | Decoupled binaural rendering |
US10158963B2 (en) | 2017-01-30 | 2018-12-18 | Google Llc | Ambisonic audio with non-head tracked stereo based on head position and time |
US10009704B1 (en) * | 2017-01-30 | 2018-06-26 | Google Llc | Symmetric spherical harmonic HRTF rendering |
JP7038725B2 (ja) * | 2017-02-10 | 2022-03-18 | ガウディオ・ラボ・インコーポレイテッド | オーディオ信号処理方法及び装置 |
DE102017102988B4 (de) | 2017-02-15 | 2018-12-20 | Sennheiser Electronic Gmbh & Co. Kg | Verfahren und Vorrichtung zur Verarbeitung eines digitalen Audiosignals für binaurale Wiedergabe |
WO2019054559A1 (ko) * | 2017-09-15 | 2019-03-21 | 엘지전자 주식회사 | Brir/rir 파라미터화(parameterization)를 적용한 오디오 인코딩 방법 및 파라미터화된 brir/rir 정보를 이용한 오디오 재생 방법 및 장치 |
US10388268B2 (en) * | 2017-12-08 | 2019-08-20 | Nokia Technologies Oy | Apparatus and method for processing volumetric audio |
US10652686B2 (en) | 2018-02-06 | 2020-05-12 | Sony Interactive Entertainment Inc. | Method of improving localization of surround sound |
US10523171B2 (en) | 2018-02-06 | 2019-12-31 | Sony Interactive Entertainment Inc. | Method for dynamic sound equalization |
US11929091B2 (en) | 2018-04-27 | 2024-03-12 | Dolby Laboratories Licensing Corporation | Blind detection of binauralized stereo content |
JP7279080B2 (ja) | 2018-04-27 | 2023-05-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | バイノーラル化ステレオ・コンテンツのブラインド検出 |
US10872602B2 (en) | 2018-05-24 | 2020-12-22 | Dolby Laboratories Licensing Corporation | Training of acoustic models for far-field vocalization processing systems |
WO2020014506A1 (en) * | 2018-07-12 | 2020-01-16 | Sony Interactive Entertainment Inc. | Method for acoustically rendering the size of a sound source |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
EP3618466B1 (en) * | 2018-08-29 | 2024-02-21 | Dolby Laboratories Licensing Corporation | Scalable binaural audio stream generation |
WO2020044244A1 (en) | 2018-08-29 | 2020-03-05 | Audible Reality Inc. | System for and method of controlling a three-dimensional audio engine |
US11503423B2 (en) * | 2018-10-25 | 2022-11-15 | Creative Technology Ltd | Systems and methods for modifying room characteristics for spatial audio rendering over headphones |
US11304021B2 (en) | 2018-11-29 | 2022-04-12 | Sony Interactive Entertainment Inc. | Deferred audio rendering |
US11076257B1 (en) * | 2019-06-14 | 2021-07-27 | EmbodyVR, Inc. | Converting ambisonic audio to binaural audio |
US11341952B2 (en) * | 2019-08-06 | 2022-05-24 | Insoundz, Ltd. | System and method for generating audio featuring spatial representations of sound sources |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
US11967329B2 (en) * | 2020-02-20 | 2024-04-23 | Qualcomm Incorporated | Signaling for rendering tools |
JP7147804B2 (ja) * | 2020-03-25 | 2022-10-05 | カシオ計算機株式会社 | 効果付与装置、方法、およびプログラム |
FR3113993B1 (fr) * | 2020-09-09 | 2023-02-24 | Arkamys | Procédé de spatialisation sonore |
WO2022108494A1 (en) * | 2020-11-17 | 2022-05-27 | Dirac Research Ab | Improved modeling and/or determination of binaural room impulse responses for audio applications |
WO2023085186A1 (ja) * | 2021-11-09 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN116189698A (zh) * | 2021-11-25 | 2023-05-30 | 广州视源电子科技股份有限公司 | 语音增强模型的训练方法及装置、存储介质及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1735922A (zh) * | 2002-11-19 | 2006-02-15 | 法国电信局 | 处理音频数据的方法和实行这个方法的声音获取设备 |
WO2008003881A1 (fr) * | 2006-07-07 | 2008-01-10 | France Telecom | Spatialisation binaurale de donnees sonores encodees en compression |
US20080273708A1 (en) * | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
DE4328620C1 (de) * | 1993-08-26 | 1995-01-19 | Akg Akustische Kino Geraete | Verfahren zur Simulation eines Raum- und/oder Klangeindrucks |
US5955992A (en) * | 1998-02-12 | 1999-09-21 | Shattil; Steve J. | Frequency-shifted feedback cavity used as a phased array antenna controller and carrier interference multiple access spread-spectrum transmitter |
EP1072089B1 (en) | 1998-03-25 | 2011-03-09 | Dolby Laboratories Licensing Corp. | Audio signal processing method and apparatus |
FR2836571B1 (fr) * | 2002-02-28 | 2004-07-09 | Remy Henri Denis Bruno | Procede et dispositif de pilotage d'un ensemble de restitution d'un champ acoustique |
FI118247B (fi) * | 2003-02-26 | 2007-08-31 | Fraunhofer Ges Forschung | Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa |
US8027479B2 (en) | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
EP2115739A4 (en) | 2007-02-14 | 2010-01-20 | Lg Electronics Inc | METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS |
WO2008106680A2 (en) * | 2007-03-01 | 2008-09-04 | Jerry Mahabub | Audio spatialization and environment simulation |
GB2467668B (en) | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
JP5524237B2 (ja) | 2008-12-19 | 2014-06-18 | ドルビー インターナショナル アーベー | 空間キューパラメータを用いてマルチチャンネルオーディオ信号に反響を適用する方法と装置 |
GB2467534B (en) * | 2009-02-04 | 2014-12-24 | Richard Furse | Sound system |
JP2011066868A (ja) | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
NZ587483A (en) * | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
EP2423702A1 (en) | 2010-08-27 | 2012-02-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for resolving ambiguity from a direction of arrival estimate |
US9641951B2 (en) | 2011-08-10 | 2017-05-02 | The Johns Hopkins University | System and method for fast binaural rendering of complex acoustic scenes |
US9420393B2 (en) | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
KR102257695B1 (ko) | 2013-11-19 | 2021-05-31 | 소니그룹주식회사 | 음장 재현 장치 및 방법, 그리고 프로그램 |
WO2015076419A1 (ja) | 2013-11-22 | 2015-05-28 | 株式会社ジェイテクト | 円すいころ軸受及び動力伝達装置 |
-
2014
- 2014-05-27 US US14/288,276 patent/US9420393B2/en active Active
- 2014-05-27 US US14/288,293 patent/US9674632B2/en active Active
- 2014-05-27 US US14/288,277 patent/US9369818B2/en active Active
- 2014-05-28 EP EP14733454.4A patent/EP3005733B1/en active Active
- 2014-05-28 JP JP2016516798A patent/JP6067934B2/ja not_active Expired - Fee Related
- 2014-05-28 KR KR1020157036321A patent/KR101788954B1/ko active IP Right Grant
- 2014-05-28 WO PCT/US2014/039864 patent/WO2014194005A1/en active Application Filing
- 2014-05-28 JP JP2016516795A patent/JP6227764B2/ja not_active Expired - Fee Related
- 2014-05-28 WO PCT/US2014/039863 patent/WO2014194004A1/en active Application Filing
- 2014-05-28 KR KR1020157036270A patent/KR101719094B1/ko active IP Right Grant
- 2014-05-28 KR KR1020157036325A patent/KR101728274B1/ko active IP Right Grant
- 2014-05-28 EP EP14733457.7A patent/EP3005734B1/en active Active
- 2014-05-28 JP JP2016516799A patent/JP6100441B2/ja not_active Expired - Fee Related
- 2014-05-28 CN CN201480042431.2A patent/CN105432097B/zh active Active
- 2014-05-28 EP EP14733859.4A patent/EP3005735B1/en active Active
- 2014-05-28 CN CN201480035798.1A patent/CN105325013B/zh active Active
- 2014-05-28 CN CN201480035597.1A patent/CN105340298B/zh active Active
- 2014-05-28 WO PCT/US2014/039848 patent/WO2014193993A1/en active Application Filing
- 2014-05-29 TW TW103118865A patent/TWI615042B/zh not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1735922A (zh) * | 2002-11-19 | 2006-02-15 | 法国电信局 | 处理音频数据的方法和实行这个方法的声音获取设备 |
WO2008003881A1 (fr) * | 2006-07-07 | 2008-01-10 | France Telecom | Spatialisation binaurale de donnees sonores encodees en compression |
US20080273708A1 (en) * | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109155895A (zh) * | 2016-04-20 | 2019-01-04 | 珍尼雷克公司 | 有源监听耳机及用于正则化其反演的方法 |
CN109155895B (zh) * | 2016-04-20 | 2021-03-16 | 珍尼雷克公司 | 有源监听耳机及用于正则化其反演的方法 |
WO2017185663A1 (zh) * | 2016-04-27 | 2017-11-02 | 华为技术有限公司 | 一种增加混响的方法与装置 |
CN109801643A (zh) * | 2019-01-30 | 2019-05-24 | 龙马智芯(珠海横琴)科技有限公司 | 混响抑制的处理方法和装置 |
CN112578434A (zh) * | 2019-09-27 | 2021-03-30 | 中国石油化工股份有限公司 | 一种最小相位无限脉冲响应滤波方法及滤波系统 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105432097B (zh) | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 | |
EP3005738B1 (en) | Binauralization of rotated higher order ambisonics | |
KR102149216B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
EP3165001B1 (en) | Reducing correlation between higher order ambisonic (hoa) background channels | |
EP3204941B1 (en) | Signaling layers for scalable coding of higher order ambisonic audio data | |
EP3204942B1 (en) | Signaling channels for scalable coding of higher order ambisonic audio data | |
CN112771892B (zh) | 音频数据的灵活渲染 | |
KR102195976B1 (ko) | 오디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |