CN105325013A - 具有立体声房间脉冲响应的滤波 - Google Patents
具有立体声房间脉冲响应的滤波 Download PDFInfo
- Publication number
- CN105325013A CN105325013A CN201480035798.1A CN201480035798A CN105325013A CN 105325013 A CN105325013 A CN 105325013A CN 201480035798 A CN201480035798 A CN 201480035798A CN 105325013 A CN105325013 A CN 105325013A
- Authority
- CN
- China
- Prior art keywords
- impulse response
- room impulse
- fragment
- response filter
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 317
- 238000001914 filtration Methods 0.000 title description 25
- 239000012634 fragment Substances 0.000 claims description 198
- 239000011159 matrix material Substances 0.000 claims description 109
- 238000006243 chemical reaction Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 71
- 238000012546 transfer Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 52
- 238000009877 rendering Methods 0.000 claims description 26
- 230000003111 delayed effect Effects 0.000 claims 6
- 230000001419 dependent effect Effects 0.000 abstract description 3
- 108091006146 Channels Proteins 0.000 description 77
- 238000005516 engineering process Methods 0.000 description 63
- 230000009467 reduction Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000010348 incorporation Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 206010027336 Menstruation delayed Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 240000006409 Acacia auriculiformis Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
一种包括一或多个处理器的装置经配置以:确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器中的每一者包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述声场;和执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
Description
优先权主张
本申请案主张2013年5月29日申请的美国临时专利申请案第61/828,620号、2013年7月17日申请的美国临时专利申请案第61/847,543号、2013年10月3日申请的美国临时申请案第61/886,593号和2013年10月3日申请的美国临时申请案第61/886,620号的权益。
技术领域
本发明涉及音频呈现,且更具体地说,涉及音频数据的立体声呈现。
发明内容
一般来说,描述用于通过将立体声房间脉冲响应(BRIR)滤波器应用于源音频流而进行立体声音频呈现的技术。
作为一个实例,一种立体声音频呈现方法包括:确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述声场;和执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
在另一实例中,一种装置包括一或多个处理器,所述一或多个处理器经配置以:确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述声场;和执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
在另一实例中,一种设备包括:用于确定多个立体声房间脉冲响应滤波器中的每一者的多个片段的装置,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;用于将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域以产生多个经变换的立体声房间脉冲响应滤波器的装置,其中所述多个阶层元素描述声场;和用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场的装置。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的指令,所述指令在经执行时使一或多个处理器进行以下操作:确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述声场;和执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
技术的一或多个方面的细节阐述于随附图式和以下描述中。这些技术的其它特征、目标和优势将从描述和图式以及从权利要求书而显而易见。
附图说明
图1和2为说明各种阶次和次阶的球面谐波基底函数的图。
图3为说明可执行本发明中所描述的技术以更有效率地呈现音频信号信息的系统的图。
图4为说明实例立体声房间脉冲响应(BRIR)的框图。
图5为说明用于产生房间中的BRIR的实例系统模型的框图。
图6为说明用于产生房间中的BRIR的更深层系统模型的框图。
图7为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图8为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图9为说明根据本发明中所描述的技术的各种方面的用于立体声呈现装置呈现球面谐波系数的实例操作模式的流程图。
图10A、10B描绘说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的替代操作模式的流程图。
图11为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。
图12为说明根据本发明中所描述的技术的各种方面的可由图11的音频回放装置执行的过程的流程图。
相似参考字符贯穿诸图和文本表示相似元件。
具体实施方式
环绕声的演化现今已使得许多输出格式可用于娱乐。这些环绕声格式的实例包含流行5.1格式(其包含以下六个信道:左前(FL)、右前(FR)、中心或前心、左后或左环绕、右后或右环绕,和低频效应(LFE))、发展中的7.1格式,和即将到来的22.2格式(例如,供超高清晰度电视标准使用)。空间音频格式的另一实例为球面谐波系数(也被称为较高阶环境立体混合声)。
到未来标准化音频编码器(将PCM音频表示转换成位流的装置-节省每时间样本所需的位的数目)的输入可任选地为三种可能格式中的一者:(i)基于传统信道的音频,其意味着通过预先指定位置处的扩音器进行播放;(ii)基于物件的音频,其涉及用于单一音频物件的离散脉码调制(PCM)数据与含有其位置坐标(以及其它信息)的相关联的元数据;和(iii)基于场景的音频,其涉及使用球面谐波系数(SHC)表示声场-其中系数表示球面谐波基底函数的线性加总的“权重”。关于这点,SHC可包含根据较高阶环境立体混合声(HoA)模型的HoA信号。球面谐波系数可替代地或另外包含平面模型和球面模型。
市场中存在各种“环绕声”格式。举例来说,其范围为从5.1家庭影院系统(其为除了立体声系统以外在严重消耗起居室方面最成功的)到由NHK(日本广播协会或日本广播公司)开发的22.2系统。内容创建者(例如,好莱坞影城)将愿意产生用于电影的声道一次,但并不花费精力来针对每一扬声器配置进行重新混合。近来,标准委员会已在考虑提供编码成标准化位流和提供对于呈现器的位置处的扬声器几何形状和声学条件可适应和不可知的后续解码的方式。
为了为内容创建者提供此灵活性,可使用元素的阶层集合来表示声场。元素的阶层集合可指元素经排序以使得较低阶元素的基本集合提供对模型化声场的完全表示的元素集合。当扩展集合以包含较高阶元素时,表示变得更详细。
元素的阶层集合的一个实例为球面谐波系数(SHC)的集合。以下表达式表明使用SHC进行的声场的描述或表示:
此表达式展示了声场的任何点(在此实例中,其以相对于俘获声场的麦克风的球面坐标来表达)处的压力pi可通过SHC唯一地表示。此处,c为声速(约343m/s),为参考点(或观测点),jn(·)为n阶球面贝塞耳函数,且为n阶和m次阶球面谐波基底函数。可认识到,方括号中的项为信号的频域表示(即,其可通过例如离散傅立叶变换(DFT)、离散余弦变换(DCT)或小波变换的各种时间频率变换来趋近。阶层集合的其它实例包含小波变换系数的集合和多重分辨率基底函数系数的其它集合。
图1为说明从零阶(n=0)到第四阶(n=4)的球面谐波基底函数的图。如可见的,对于每一阶,存在m次阶的展开,为了便于说明的目的,在图1的实例中展示但未明确注释所述展开。
图2为说明从零阶(n=0)到第四阶(n=4)的球面谐波基底函数的另一图。在图2中,在三维坐标空间中展示球面谐波基底函数,其中展示了阶次和次阶两者。
在任何情况下,SHC可通过各种麦克风阵列配置来物理地获取(例如,记录),或替代地,其可从声场的基于信道或基于物件的描述而导出。SHC表示基于场景的音频。举例来说,第四阶SHC表示涉及每一时间样本(1+4)2=25个系数。
为了说明可如何从基于物件的描述导出这些SHC,考虑以下等式。对应于个别音频物件的声场的系数可表达为:
其中i为为n阶球面汉克尔函数(第二种),且为物件的位置。知晓依据频率的源能量g(ω)(例如,使用时间频率分析技术,例如,对PCM流式传输执行快速傅立叶变换)允许将每一PCM物件和其位置转换成SHC此外,可展示(因为上述等式为线性和正交分解)每一物件的系数为加成性的。以此方式,大量PCM物件可由系数来表示(例如,作为个别物件的系数向量的总和)。基本上,这些系数含有关于声场的信息(依据3D坐标的压力),且上述等式表示在观测点附近从个别物件到整个声场的表示的变换。
也可从麦克风阵列记录导出SHC如下:
其中,为的时域等效于(SHC),*表示卷积运算,<,>表示内积,bn(ri,t)表示相依于ri的时域滤波函数,mi(t)为第i个麦克风信号,其中第i个麦克风换能器位于半径ri、仰角θi和方位角处。因此,如果麦克风阵列中存在32个换能器且每一麦克风定位于球体上以使得ri=a为常数(例如,来自mhAcoustics的EigenmikeEM32装置上的麦克风),那么可使用矩阵运算导出25个SHC如下:
上述等式中的矩阵可更一般地被称作其中下标s可指示矩阵是针对某一换能器几何形状集合s。上述等式中的卷积(通过*指示)是基于逐列的,使得(例如)输出为由矩阵的第一列与麦克风信号的行的向量乘法产生的b0(a,t)与时间序列之间的卷积的结果(其依据时间而变化-考虑向量乘法的结果为时间序列的事实)。当麦克风阵列的换能器位置在所谓的T-设计几何形状(其极接近于Eigenmike换能器几何形状)中时,计算可为最准确的。T-设计几何形状的一个特性可为:由几何形状产生的矩阵具有表现极好的逆(或伪逆),且另外,所述逆常常可通过矩阵的转置来极好地趋近。如果将忽略bn(a,t)的滤波运算,那么此性质将允许从SHC恢复麦克风信号(即,在此实例中,下文在基于物件和基于SHC的音频译码的情境中描述剩余图。
图3为说明可执行本发明中所描述的技术以更有效率地呈现音频信号信息的系统20的图。如图3的实例中所示,系统20包含内容创建者22和内容消费者24。虽然在内容创建者22和内容消费者24的情境中加以描述,但可在利用SHC或界定声场的阶层表示的任何其它阶层元素的任何情境中实施所述技术。
内容创建者22可表示可产生用于供例如内容消费者24的内容消费者消费的多信道音频内容的电影工作室或其它物理。此内容创建者常常结合视频内容产生音频内容。内容消费者24可表示拥有或能够存取音频回放系统的个体,所述音频回放系统可指能够回放多信道音频内容的任何形式的音频回放系统。在图3的实例中,内容消费者24拥有或能够存取音频回放系统32以用于呈现界定声场的阶层表示的阶层元素。
内容创建者22包含音频呈现器28和音频编辑系统30。音频呈现器28可表示呈现或以其它方式产生扬声器馈入(其也可被称作“扩音器馈入”、“扬声器信号”或“扩音器信号”)的音频处理单元。每一扬声器馈入可对应于再现多信道音频系统的特定信道的声音的扬声器馈入或对应于希望与匹配扬声器位置的头部相关转移函数(HRTF)滤波器进行卷积的虚拟扩音器馈入。每一扬声器馈入可对应于球面谐波系数信道(其中信道可通过球面谐波系数所对应于的相关联的球面基底函数的阶次和/或次阶表示),其使用SHC的多个信道来表示定向声场。
在图3的实例中,音频呈现器28可呈现用于常规5.1、7.1或22.2环绕声格式的扬声器馈入,产生用于5.1、7.1或22.2环绕声扬声器系统中的5个、7个或22个扬声器中的每一者的扬声器馈入。替代地,在给定上文所论述的源球面谐波系数的性质的情况下,音频呈现器28可经配置以呈现具有任何数目个扬声器的任何扬声器配置的来自源球面谐波系数的扬声器馈入。音频呈现器28可以此方式产生数个扬声器馈入,所述扬声器馈入在图3中经表示为扬声器馈入29。
内容创建者可在编辑过程期间呈现球面谐波系数27(“SHC27”),从而在识别声场的不具有高保真度或不提供令人信服的环绕声体验的方面的尝试中收听所呈现的扬声器馈入。内容创建者22接着可编辑源球面谐波系数(常常间接地通过操纵可以上文所描述的方式导出源球面谐波系数所自的不同物件)。内容创建者22可使用音频编辑系统30来编辑球面谐波系数27。音频编辑系统30表示能够编辑音频数据和输出此音频数据作为一或多个源球面谐波系数的任何系统。
当编辑过程完成时,内容创建者22可基于球面谐波系数27产生位流31。即,内容创建者22包含位流产生装置36,所述位流产生装置可表示能够产生位流31的任何装置。在一些例子中,位流产生装置36可表示编码器,所述编码器频宽压缩(作为一个实例,通过熵编码)球面谐波系数27且将球面谐波系数27的经熵编码版本布置成接受的格式以形成位流31。在其它例子中,位流产生装置36可表示音频编码器(可能为遵照例如MPEG环绕或其导出形式的已知音频译码标准的音频编码器),所述音频编码器使用(作为一个实例)类似于用以压缩多信道音频内容或其导出形式的常规音频环绕声编码过程的过程的过程来编码多信道音频内容29。接着可以某种其它方式熵编码或译码经压缩的多信道音频内容29以频宽压缩内容29,且将内容根据商定的格式进行布置以形成位流31。不管是直接经压缩以形成位流31抑或经呈现且接着经压缩以形成位流31,内容创建者22均可将位流31传输到内容消费者24。
虽然图3中经展示为直接传输到内容消费者24,但内容创建者22可将位流31输出到定位于内容创建者22与内容消费者24之间的中间装置。此中间装置可存储位流31以供稍后递送到可请求此位流的内容消费者24。所述中间装置可包括文件服务器、web服务器、台式计算机、膝上型计算机、平板计算机、移动电话、智能电话或能够存储位流31以供稍后由音频解码器检索的任何其它装置。此中间装置可驻留于能够将位流31流式传输传输(和可能结合传输对应视频数据位流)到请求位流31的用户(例如,内容消费者24)的内容递送网络中。替代地,内容创建者22可将位流31存储到存储媒体(例如,紧密光盘、数字视频光盘、高清晰度视频光盘或其它存储媒体),大部分存储媒体能够由计算机读取且因此可被称作计算机可读存储媒体或非暂时性计算机可读存储媒体。关于这点,传输信道可指藉以传输存储到这些媒体的内容的那些信道(且可包含零售店和其它基于店铺的递送机构)。在任何情况下,本发明的技术因此不应在此方面限于图3的实例。
如图3的实例中进一步展示,内容消费者24拥有或能够以另外方式存取音频回放系统32。音频回放系统32可表示能够回放多信道音频数据的任何音频回放系统。音频回放系统32包含立体声音频呈现器34,其呈现SHC27'以供输出作为立体声扬声器馈入35A到35B(统称为“扬声器馈入35”)。立体声音频呈现器34可提供不同形式的呈现,例如执行向量基振幅水平移动(VBAP)的各种方式中的一或多者,和/或执行声场合成的各种方式中的一或多者。
音频回放系统32可进一步包含提取装置38。提取装置38可表示能够通过大体上可与位流产生装置36的过程互逆的过程提取球面谐波系数27'(“SHC27'”,其可表示球面谐波系数27的经修改形式或副本)的任何装置。在任何情况下,音频回放系统32可接收球面谐波系数27'且使用立体声音频呈现器34来呈现球面谐波系数27'且由此产生扬声器馈入35(对应于电耦合或可能无线耦合到音频回放系统32的扩音器的数目,为了便于说明的目的,在图3的实例中并未加以展示)。扬声器馈入35的数目可为二,且音频回放系统可无线耦合到包含两个对应扩音器的一对头戴式耳机。然而,在各种例子中,立体声音频呈现器34可输出比所说明的且主要关于图3描述的扬声器馈入多或少的扬声器馈入。
音频回放系统的二进制房间脉冲响应(BRIR)滤波器37各自表示在一位置处的对在脉冲位置处产生的脉冲的响应。BRIR滤波器37为“立体声”,这是因为其各自经产生以表示如人耳在所述位置处将会体验到的脉冲响应。因此,常常产生脉冲的BRIR滤波器,且将其用于成对地声音呈现,其中所述对中的一个元素是针对左耳,且另一元素是针对右耳。在所说明实例中,立体声音频呈现器34使用左BRIR滤波器33A和右BRIR滤波器33B来呈现相应立体声音频输出35A和35B。
举例来说,可通过对声源信号与经测量为脉冲响应(IR)的头部相关转移函数(HRTF)进行卷积来产生BRIR滤波器37。对应于BRIR滤波器37中的每一者的脉冲位置可表示虚拟空间中的虚拟扩音器的位置。在一些实例中,立体声音频呈现器34对SHC27'与对应于虚拟扩音器的BRIR滤波器37进行卷积,接着将所得卷积累加(即,加总)以呈现由SHC27'界定的声场以供输出作为扬声器馈入35。如本文中所描述,立体声音频呈现器34可应用用于通过操纵BRIR滤波器37同时呈现SHC27'作为扬声器馈入35来缩减呈现计算的技术。
在一些例子中,所述技术包含将BRIR滤波器37分段成表示房间内的一位置处的脉冲响应的不同阶段的数个片段。这些片段对应于在声场上的任何点处产生压力(或缺少压力)的不同物理现象。举例来说,因为BRIR滤波器37中的每一者与脉冲一致地进行计时,所以第一或“初始”片段可表示直到来自脉冲位置的压力波到达测量脉冲响应所在的位置为止的时间。除了时序信息以外,相应初始片段的BRIR滤波器37值可能为无关紧要的,且可被排除与描述声场的阶层元素进行卷积。类似地,例如,BRIR滤波器37中的每一者可包含最后或“尾部”片段,所述片段包含衰减到低于人类听觉的动态范围或衰减到低于指明阈值的脉冲响应信号。相应尾部片段的BRIR滤波器37值也可能为无关紧要的,且可被排除与描述声场的阶层元素进行卷积。在一些实例中,技术可包含通过执行与指明阈值的施罗德反向积分确定尾部片段,和舍弃来自反向积分超过指明阈值的尾部片段的元素。在一些实例中,混响时间RT60的指明阈值为-60dB。
BRIR滤波器37中的每一者的额外片段可表示在不包含来自房间的回波效应的情况下由脉冲产生的压力波引起的脉冲响应。这些片段可经表示和描述为BRIR滤波器37的头部相关转移函数(HRTF),其中HRTF俘获在压力波朝向鼓膜行进时归因于压力波围绕头部、肩膀/躯干和外耳的绕射和反射产生的脉冲响应。HRTF脉冲响应为线性和非时变系统(LTI)的结果且可经模型化为最小相位滤波器。在一些实例中,用以缩减在呈现期间的HRTF片段计算的技术可包含最小相位重构建和使用无限脉冲响应(IIR)滤波器来缩减原始有限脉冲响应(FIR)滤波器(例如,HRTF滤波器片段)的阶次。
实施为IIR滤波器的最小相位滤波器可用以趋近具有缩减的滤波器阶次的BRIR滤波器37的HRTF滤波器。缩减阶次导致频域中的时间步长的计算的数目的伴随缩减。另外,由最小相位滤波器的构造产生的残余/过量滤波器可用以估计表示由声音压力波从源行进到每一耳朵的距离引起的时间或相位距离的耳间时间差(ITD)。在计算一或多个BRIR滤波器37与描述声场的阶层元素的卷积(即,确定双耳立体声)之后,接着可使用ITD将一或两个耳朵的声音局部化模型化。
BRIR滤波器37中的每一者的又一片段是在HRTF片段之后且可考虑到房间对脉冲响应的影响。此房间片段可进一步分解成早期回波(或“早期反射”)片段和晚期混响片段(即,早期回波和晚期混响可各自由BRIR滤波器37中的每一者的单独片段表示)。在HRTF数据可用于BRIR滤波器37的情况下,可通过BRIR滤波器37与HRTF的解卷积识别早期回波片段的开始,以识别HRTF片段。在HRTF片段之后为早期回波片段。不同于残余房间响应,HRTF和早期回波片段为方向相依的,这是因为对应虚拟扬声器的位置在显著方面确定信号。
在一些实例中,立体声音频呈现器34使用准备用于球面谐波域(θ,φ)或描述声场的阶层元素的其它域的BRIR滤波器37。即,可在球面谐波域(SHD)中将BRIR滤波器37界定为经变换的BRIR滤波器37,以允许立体声音频呈现器34执行快速卷积,同时利用数据集的某些性质,包含BRIR滤波器37(例如,左/右)和SHC27'的对称性。在这些实例中,可通过将SHC呈现矩阵与原始BRIR滤波器相乘(或在时域中进行卷积)而产生经变换的BRIR滤波器37。在数学上,可根据以下等式(1)到(5)来表达此情形:
或
此处,(3)以四阶球面谐波系数的矩阵形式描绘(1)或(2)(其可为提及与四阶或更低阶的球面基底函数相关联的球面谐波系数的系数的替代方式)。当然,可修改等式(3)以用于较高阶或较低阶球面谐波系数。等式(4)到(5)描绘扩音器维度L范围内的经变换的左和右BRIR滤波器37的加总,以产生经加总的SHC立体声呈现矩阵(BRIR”)。组合来说,经加载的SHC立体声呈现矩阵具有维数[(N+1)2,Length,2],其中Length为可应用等式(1)到(5)的任何组合的脉冲响应向量的长度。在等式(1)和(2)的一些例子中,可将呈现矩阵SHC立体声化以使得可将等式(1)修改成且可将等式(2)修改成
上述等式(1)到(3)中所提出的SHC呈现矩阵SHC包含用于SHC27'的每一阶/次阶组合的元素,其有效地界定单独SHC信道,其中在球面谐波域中设定针对扬声器的位置L的元素值。BRIRL,left表示在左耳或在扬声器的位置L处产生的脉冲的位置处的BRIR响应,且在(3)中使用脉冲响应向量Bi来描绘,其中{i|i∈[0,L]}。BRIR'(N+1) 2 ,L,left表示“SHC立体声呈现矩阵”的一半,即,经变换成球面谐波域的在左耳或在扬声器的位置L处产生的脉冲的位置处的SHC立体声呈现矩阵。BRIR'(N+1) 2 ,L,right表示SHC立体声呈现矩阵的另一半。
在一些实例中,技术可包含将SHC呈现矩阵仅应用于HRTF和相应原始BRIR滤波器37的早期反射片段以产生经变换的BRIR滤波器37和SHC立体声呈现矩阵。此情形可缩减与SHC27'的卷积的长度。
在一些实例中,如等式(4)到(5)中所描绘,可将具有将各种扩音器并入于球面谐波域中的维数的SHC立体声呈现矩阵加总以产生组合SHC呈现与BRIR呈现/混合的(N+1)2*Length*2滤波器矩阵。即,可通过(例如)将L维度范围内的系数加总来组合L个扩音器中的每一者的SHC立体声呈现矩阵。对于长度为Length的SHC立体声呈现矩阵,此情形产生(N+1)2*Length*2加总的SHC立体声呈现矩阵,可将所述矩阵应用于球面谐波系数的音频信号以将信号立体声化。Length可为根据本文中所描述的技术分段的BRIR滤波器的片段的长度。
用于模型缩减的技术也可应用于经变更的呈现滤波器,其允许直接用新滤波器矩阵(经加总的SHC立体声呈现矩阵)来对SHC27'(例如,SHC内容)进行滤波。立体声音频呈现器34接着可通过将经滤波的阵列加总以获得立体声输出信号35A、35B来转换成立体声音频。
在一些实例中,音频回放系统32的BRIR滤波器37表示先前根据上文所描述的技术中的任何一或多者计算的球面谐波域中的经变换的BRIR滤波器。在一些实例中,可在执行时间执行原始BRIR滤波器37的变换。
在一些实例中,因为BRIR滤波器37通常为对称的,所以技术可通过仅使用用于左耳或右耳的SHC立体声呈现矩阵来促成立体声输出35A、35B的计算的进一步缩减。当将由滤波器矩阵进行滤波的SHC27'加总时,立体声音频呈现器34可作出关于在呈现最终输出时输出信号35A或35B作为第二信道的条件决策。如本文中所描述,对处理内容或修改关于左耳或右耳所描述的呈现矩阵的参考应被理解为可类似地应用于另一耳朵。
以此方式,技术可提供多种途径来缩减BRIR滤波器37的长度以便可能地避免被排除的BRIR滤波器样本与多个信道的直接卷积。因此,立体声音频呈现器34可提供来自SHC27'的立体声输出信号35A、35B的有效率的呈现。
图4为说明实例立体声房间脉冲响应(BRIR)的框图。BRIR40说明五个片段42A到42E。初始片段42A和尾部片段42E两者包含可能为无关紧要的且被排除进行呈现计算的静寂样本。头部相关转移函数(HRTF)片段42B包含归因于头部相关转移产生的脉冲响应且可使用本文中所描述的技术来识别。早期回波(替代地,“早期反射”)片段42C和晚期房间混响片段42D组合HRTF与房间效应,即,早期回波片段42C的脉冲响应匹配通过房间的早期回波和晚期混响进行滤波的BRIR40的HRTF的脉冲响应。然而,早期回波片段42C可包含与晚期房间混响片段42D相比较来说更离散的回波。混合时间为早期回波片段42C与晚期房间混响片段42D之间的时间,且指示早期回波变为密集混响的时间。混合时间经说明为出现在到HRTF中的大约1.5×104个样本或从HRTF片段42B的开始的大约7.0×104个样本处。在一些实例中,技术包含使用来自房间音量的统计数据和估计计算混合时间。在一些实例中,具有50%信赖区间tmp50的感知混合时间大约为36毫秒(ms),且具有95%信赖区间tmp95的感知混合时间大约为80ms。在一些实例中,可使用相干性匹配噪声尾部来合成对应于BRIR40的滤波器的晚期房间混响片段42D。
图5为说明用于产生房间中的BRIR(例如,图4的BRIR40)的实例系统模型50的框图。模型包含串接系统,此处为房间52A和HRTF52B。在将HRTF52B应用于脉冲之后,脉冲响应匹配通过房间52A的早期回波进行滤波的HRTF的脉冲响应。
图6为说明用于产生房间中的BRIR(例如,图4的BRIR40)的更深层系统模型60的框图。此模型60也包含串接系统,此处为HRTF62A、早期回波62B和残余房间62C(其组合HRTF与房间回波)。模型60描绘将房间52A分解成早期回波62B和残余房间62C且将每一系统62A、62B、62C视为线性非时变的。
早期回波62B包含比残余房间62C更离散的回波。因此,早期回波62B可依据虚拟扬声器信道而变化,而具有较长尾部的残余房间62C可经合成为单一立体声复本。对于用以获得BRIR的一些测量人体模型,HRTF数据可为可用的,如在消声腔室中所测量。可通过将BRIR与HRTF数据解卷积以识别早期回波(其可被称作“反射”)的位置来确定早期回波62B。在一些实例中,HRTF数据并非容易得到的,且用于识别早期回波62B的技术包含盲估计。然而,简单明了的途径可包含将前几毫秒(例如,前5、10、15或20ms)视为通过HRTF进行滤波的直接脉冲。如上文所注明,技术可包含使用来自房间音量的统计数据和估计计算混合时间。
在一些实例中,技术可包含合成残余房间62C的一或多个BRIR滤波器。在混合时间之后,在一些例子中,可互换BRIR混响尾部(表示为图6中的系统残余房间62C)而无感知惩罚。另外,可将BRIR混响尾部与匹配能量衰变减缓(EDR)和频率相依耳间相干性(FDIC)的高斯白噪声合成。在一些实例中,可产生BRIR滤波器的共同合成BRIR混响尾部。在一些实例中,共同EDR可为所有扬声器的EDR的平均值,或可为能量匹配平均能量的前零度EDR。在一些实例中,FDIC可为横跨所有扬声器的平均FDIC,或可为针对宽敞度的最大去相关测量的横跨所有扬声器的最小值。在一些实例中,也可通过反馈延迟网络(FDN)使用伪音混响来模拟混响尾部。
在共同混响尾部的情况下,对应BRIR滤波器的晚期部分可被排除与每一扬声器馈入进行单独卷积,而是可一次应用于所有扬声器馈入的混合上。如上文所描述和下文更详细描述,可用球面谐波系数信号呈现进一步简化所有扬声器馈入的混合。
图7为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。虽然经说明为单一装置(即,图7的实例中的音频回放装置100),但技术可由一或多个装置来执行。因此,技术在此方面应不受限制。
如图7的实例中所示,音频回放装置100可包含提取单元104和立体声呈现单元102。提取单元104可表示经配置以从位流120中提取经编码音频数据的单元。提取单元104可将呈球面谐波系数(SHC)122(其也可被称作较高阶环境立体混合声(HOA),这是因为SHC122可包含与大于一的阶次相关联的至少一个系数)形式的经提取的经编码音频数据转递到立体声呈现单元146。
在一些实例中,音频回放装置100包含经配置以解码经编码音频数据以便产生SHC122的音频解码单元。音频解码单元可执行在一些方面中与用以编码SHC122的音频编码过程互逆的音频解码过程。音频解码单元可包含经配置以将经编码音频数据的SHC从时域变换到频域由此产生SHC122的时间频率分析单元。即,当经编码音频数据表示未被从时域转换到频域的SHC122的经压缩形式时,音频解码单元可调用时间频率分析单元将SHC从时域转换到频域以便产生SHC122(在频域中指定)。时间频率分析单元可应用任何形式的基于傅立叶的变换(包含快速傅立叶变换(FFT)、离散余弦变换(DCT)、经修改的离散余弦变换(MDCT)和离散正弦变换(DST))以提供将SHC从时域变换到频域中的SHC122的几个实例。在一些例子中,SHC122可能已在频域中在位流120中指定。在这些例子中,时间频率分析单元可将SHC122传递到立体声呈现单元102而不应用变换或以其它方式变换所接收的SHC122。虽然关于频域中指定的SHC122加以描述,但可关于时域中指定的SHC122执行技术。
立体声呈现单元102表示经配置以将SHC122立体声化的单元。换句话说,立体声呈现单元102可表示经配置以将SHC122呈现到左和右信道的单元,其可以空间化为特征,从而将记录SHC122的房间中的收听者将听到左和右信道的方式模型化。立体声呈现单元102可呈现SHC122以产生适于经由例如头戴式耳机的耳机回放的左信道136A和右信道136B(其可被统称作“信道136”)。如图7的实例中所示,立体声呈现单元102包含BRIR滤波器108、BRIR调节单元106、残余房间响应单元110、BRIRSHC域转换单元112、卷积单元114和组合单元116。
BRIR滤波器108包含一或多个BRIR滤波器且可表示图3的BRIR滤波器37的实例。BRIR滤波器108可包含表示左和右HRTF对相应BRIR的效应的单独BRIR滤波器126A、126B。
BRIR调节单元106接收BRIR滤波器126A、126B的L个执行个体,每一虚拟扩音器L一个执行个体且其中每一BRIR滤波器具有长度N。BRIR滤波器126A、126B可能已经经调节以去除静寂样本。BRIR调节单元106可将上文所描述的技术应用于片段BRIR滤波器126A、126B以识别相应HRTF、早期反射和残余房间片段。BRIR调节单元106将HRTF和早期反射片段提供到BRIRSHC域转换单元112作为表示大小为[a,L]的左和右矩阵的矩阵129A、129B,其中a为HRTF和早期反射片段的串接的长度,且L为扩音器(虚拟的或真实的)的数目。BRIR调节单元106将BRIR滤波器126A、126B的残余房间片段提供到残余房间响应单元110作为大小为[b,L]的左和右残余房间矩阵128A、128B,其中b为残余房间片段的长度且L为扩音器(虚拟的或真实的)的数目。
残余房间响应单元110可应用上文所描述的技术以计算或以其它方式确定用于与描述声场的阶层元素(例如,球面谐波系数)的至少某一部分进行卷积的左和右共同残余房间响应片段,如图7中通过SHC122表示。即,残余房间响应单元110可接收左和右残余房间矩阵128A、128B且组合L范围内的相应左和右残余房间矩阵128A、128B以产生左和右共同残余房间响应片段。在一些例子中,残余房间响应单元110可通过对L范围内的左和右残余房间矩阵128A、128B求平均值来执行组合。
残余房间响应单元110接着可计算左和右共同残余房间响应片段与SHC122的至少一个信道(在图7中说明为信道124B)的快速卷积。在一些实例中,因为左和右共同残余房间响应片段表示环境的无方向性声音,所以信道124B为SHC122信道中的W信道(即,第0阶),其编码声场的无方向性部分。在这些实例中,对于长度为Length的W信道样本,由残余房间响应单元110进行的与左和右共同残余房间响应片段的快速卷积产生长度为Length的左和右输出信号134A、134B。
如本文中所使用,术语“快速卷积”和“卷积”可指时域中的卷积运算以及频域中的逐点乘法运算。换句话说,且如熟习信号处理的技术者众所周知,时域中的卷积等效于频域中的逐点乘法,其中时域和频域为彼此的变换。输出变换为输入变换与转移函数的逐点乘积。因此,卷积和逐点乘法(或简称为“乘法”)可指关于相应域(本文中为时域和频域)作出的概念上类似的运算。卷积单元114、214、230;残余房间响应单元210、354;滤波器384和混响386可替代地应用频域中的乘法,其中在频域中而非在时域中提供到这些组件的输入。本文中描述为“快速卷积”或“卷积”的其它运算类似地也可指频域中的乘法,其中在频域中而非在时域中提供到这些运算的输入。
在一些实例中,残余房间响应单元110可从BRIR调节单元106接收共同残余房间响应片段的开始时间的值。残余房间响应单元110可零填补或以其它方式延迟输出信号134A、134B,以预期与BRIR滤波器108的较早期片段组合。
BRIRSHC域转换单元112(下文中为“域转换单元112”)将SHC呈现矩阵应用于BRIR矩阵以可能地将左和右BRIR滤波器126A、126B转换成球面谐波域且接着可能地将L范围内的滤波器加总。域转换单元112输出转换结果分别作为左和右SHC立体声呈现矩阵130A、130B。在矩阵129A、129B的大小为[a,L]的情况下,在对L范围内的滤波器加总之后,SHC立体声呈现矩阵130A、130B中的每一者的大小为[(N+1)2,a](参见(例如)等式(4)到(5))。在一些实例中,SHC立体声呈现矩阵130A、130B是在音频回放装置100中加以配置而不是在执行时间或设定时间加以计算。在一些实例中,SHC立体声呈现矩阵130A、130B的多个执行个体是在音频回放装置100中加以配置,且音频回放装置100选择多个执行个体的左/右对来应用于SHC124A。
卷积单元114将左和右立体声呈现矩阵130A、130B与SHC124A进行卷积,所述SHC在一些实例中可按阶次从SHC122的阶次缩减。对于频域(例如,SHC)中的SHC124A,卷积单元114可计算SHC124A与左和右立体声呈现矩阵130A、130B的相应逐点乘法。对于长度为Length的SHC信号,卷积产生大小为[Length,(N+1)2]的左和右经滤波的SHC信道132A、132B,对于球面谐波域的每一阶/次阶组合通常存在每一输出信号矩阵的列。
组合单元116可组合左和右经滤波的SHC信道132A、132B与输出信号134A、134B以产生立体声输出信号136A、136B。组合单元116接着可单独地对L范围内的每一左和右经滤波的SHC信道132A、132B加总以在组合左和右立体声输出信号与左和右输出信号134A、134B以产生立体声输出信号136A、136B之前产生HRTF和早期回波(反射)片段的左和右立体声输出信号。
图8为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置的实例的框图。音频回放装置200可进一步详细地表示图7的音频回放装置100的实例执行个体。
音频回放装置200可包含可选SHC阶次缩减单元204,其处理来自位流240的入端口SHC242以缩减SHC242的阶次。可选SHC阶次缩减将SHC242的最高阶(例如,第0阶)信道262(例如,W信道)提供到残余房间响应单元210,且将阶数缩减的SHC242提供到卷积单元230。在SHC阶次缩减单元204不缩减SHC242的阶次的例子中,卷积单元230接收与SHC242相同的SHC272。在任一状况下,SHC272具有维度[Length,(N+1)2],其中N为SHC272的阶次。
BRIR调节单元206和BRIR滤波器208可表示图7的BRIR调节单元106和BRIR滤波器108的实例执行个体。残余响应单元214的卷积单元214接收由BRIR调节单元206使用上文所描述的技术调节的共同左和右残余房间片段244A、244B,且卷积单元214将共同左和右残余房间片段244A、244B与最高阶信道262进行卷积以产生左和右残余房间信号262A、262B。延迟单元216可用到共同左和右残余房间片段244A、244B的样本的开始数目零填补左和右残余房间信号262A、262B以产生左和右残余房间输出信号268A、268B。
BRIRSHC域转换单元220(下文中为域转换单元220)可表示图7的域转换单元112的实例执行个体。在所说明实例中,变换单元222将具有(N+1)2维数的SHC呈现矩阵224应用于表示大小为[a,L]的左和右矩阵的矩阵248A、248B,其中a为HRTF和早期反射片段的串接的长度,且L为扩音器(例如,虚拟扩音器)的数目。变换单元222输出SHC域中维度为[(N+1)2,a,L]的左和右矩阵252A、252B。加总单元226可将L范围内的左和右矩阵252A、252B中的每一者加总以产生维度为[(N+1)2,a]的左和右中间SHC呈现矩阵254A、254B。缩减单元228可应用上文所描述的技术以进一步缩减将SHC呈现矩阵应用于SHC272的计算复杂性,例如最小相位缩减,和使用平衡模型截断方法来设计IIR滤波器以趋近已应用最小相位缩减的中间SHC呈现矩阵254A、254B的相应最小相位部分的频率响应。缩减单元228输出左和右SHC呈现矩阵256A、256B。
卷积单元230对呈SHC272的形式的SHC内容进行滤波以产生中间信号258A、258B,加总单元232将所述中间信号加总以产生左和右信号260A、260B。组合单元234组合左和右残余房间输出信号268A、268B以及左和右信号260A、260B以产生左和右立体声输出信号270A、270B。
在一些实例中,立体声呈现单元202可通过仅使用由变换单元222产生的SHC立体声呈现矩阵252A、252B中的一者实施对计算的进一步缩减。因此,卷积单元230可对左或右信号中的仅一者进行运算,从而将卷积运算缩减一半。在这些实例中,加总单元232作出在呈现输出260A、260B时关于第二信道的条件决策。
图9为说明根据本发明中所描述的技术的用于立体声呈现装置呈现球面谐波系数的实例操作模式的流程图。为了说明的目的,关于图7的音频回放装置200描述实例操作模式。立体声房间脉冲响应(BRIR)调节单元206通过从BRIR滤波器246A、246B中提取方向相依分量/片段(具体地说,头部相关转移函数和早期回波片段)分别调节左和右BRIR滤波器246A、246B(300)。左和右BRIR滤波器126A、126B中的每一者可包含用于一或多个对应扩音器的BRIR滤波器。BRIR调节单元106将经提取的头部相关转移函数和早期回波片段的串接提供到BRIRSHC域转换单元220作为左和右矩阵248A、248B。
BRIRSHC域转换单元220应用HOA呈现矩阵224以变换包含经提取的头部相关转移函数和早期回波片段的左和右滤波器矩阵248A、248B以产生在球面谐波(例如,HOA)域中的左和右滤波器矩阵252A、252B(302)。在一些实例中,音频回放装置200可经配置而具有左和右滤波器矩阵252A、252B。在一些实例中,音频回放装置200接收位流240的频带外或频带内信号中的BRIR滤波器208,在所述状况下,音频回放装置200产生左和右滤波器矩阵252A、252B。加总单元226将扩音器维度范围内的相应左和右滤波器矩阵252A、252B加总以产生在SHC域中的立体声呈现矩阵,所述立体声呈现矩阵包含左和右中间SHC呈现矩阵254A、254B(304)。缩减单元228可进一步缩减中间SHC呈现矩阵254A、254B以产生左和右SHC呈现矩阵256A、256B。
立体声呈现单元202的卷积单元230将左和右中间SHC呈现矩阵256A、256B应用于SHC内容(例如,球面谐波系数272)以产生左和右经滤波的SHC(例如,HOA)信道258A、258B(306)。
加总单元232将SHC维度(N+1)2范围内的左和右经滤波的SHC信道258A、258B中的每一者加总以产生方向相依片段的左和右信号260A、260B(308)。组合单元116接着可组合左和右信号260A、260B与左和右残余房间输出信号268A、268B以产生包含左和右立体声输出信号270A、270B的立体声输出信号。
图10A为说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的实例操作模式310的图。下文中关于图8的音频回放装置200描述操作模式310。音频回放装置200的立体声呈现单元202可经配置而具有可为BRIR滤波器208的实例执行个体的BRIR数据312,和可为HOA呈现矩阵224的实例执行个体的HOA呈现矩阵314。音频回放装置200可接收在关于位流240的频带内或频带外传讯信道中的BRIR数据312和HOA呈现矩阵314。BRIR数据312在此实例中具有表示例如L个真实或虚拟扩音器的L个滤波器,L个滤波器中的每一者具有长度K。L个滤波器中的每一者可包含左和右分量(“x2”)。在一些状况下,L个滤波器中的每一者可包含用于左或右的单一分量,左或右与其对应物对称:右或左。此情形可缩减快速卷积的成本。
音频回放装置200的BRIR调节单元206可通过应用分段和组合运算来调节BRIR数据312。具体地说,在实例操作模式310中,BRIR调节单元206根据本文中所描述的技术将L个滤波器中的每一者分段成HRTF加上具有组合长度a的早期回波片段以产生矩阵315(维数[a,2,L])和分段成残余房间响应片段以产生残余矩阵339(维数[b,2,L])(324)。BRIR数据312的L个滤波器的长度K大约为a和b的总和。变换单元222可将维数为(N+1)2的HOA/SHC呈现矩阵314应用于矩阵315的L个滤波器以产生维数为[(N+1)2,a,2,L]的矩阵317(其可为左和右矩阵252A、252B的组合的实例执行个体)。加总单元226可将L范围内的左和右矩阵252A、252B中的每一者加总以产生维数为[(N+1)2,a,2]的中间SHC呈现矩阵335(第三维度具有表示左和右分量的值2;中间SHC呈现矩阵335可表示为左和右中间SHC呈现矩阵254A、254两者的实例执行个体)(326)。在一些实例中,音频回放装置200可经配置而具有用于应用于HOA内容316(或其经缩减的版本,例如HOA内容321)的中间SHC呈现矩阵335。在一些实例中,缩减单元228可通过仅使用矩阵317的左或右分量中的一者而应用对计算的进一步缩减(328)。
音频回放装置200接收NI阶和长度为Length的HOA内容316,且在一些方面中,应用阶次缩减运算以将其中的球面谐波系数(SHC)的阶次缩减到N(330)。NI指示输入HOA内容321的阶次。阶次缩减运算(330)的HOA内容321如同SHC域中的HOA内容316。可选阶次缩减运算也产生最高阶(例如,第0阶)信号319并将其提供到残余响应单元210以用于进行快速卷积运算(338)。在HOA阶次缩减单元204不缩减HOA内容316的阶次的例子中,应用快速卷积运算(332)对并不具有缩减的阶次的输入进行运算。在任一状况下,到快速卷积运算(332)的HOA内容321输入具有维度[Length,(N+1)2],其中N为阶次。
音频回放装置200可应用HOA内容321与矩阵335的快速卷积以产生具有左和右分量且因此具有维度[Length,(N+1)2,2]的HOA信号323(332)。此外,快速卷积可指频域中的HOA内容321与矩阵335的逐点乘法或时域中的卷积。音频回放装置200可进一步将(N+1)2范围内的HOA信号323加总以产生维度为[Length,2]的经加总的信号325(334)。
现返回到残余矩阵339,音频回放装置200可根据本文中所描述的技术组合L个残余房间响应片段,以产生维度为[b,2]的共同残余房间响应矩阵327(336)。音频回放装置200可应用第0阶HOA信号319与共同残余房间响应矩阵327的快速卷积以产生维度为[Length,2]的房间响应信号329(338)。因为为了产生残余矩阵339的L个残余响应房间响应片段,音频回放装置200获得在BRIR数据312的L个滤波器的第(a+1)个样本处开始的残余响应房间响应片段,所以音频回放装置200通过延迟(例如,填补)a个样本以产生维度为[Length,2]的房间响应信号311而考虑到初始a个样本(340)。
音频回放装置200通过将元素相加以产生维度为[Length,2]的输出信号318来组合经加总的信号325与房间响应信号311(342)。以此方式,音频回放装置可避免应用L个残余房间响应片段中的每一者的快速卷积。对于用于转换到立体声音频输出信号的22信道输入,此情形可将用于产生残余房间响应的快速卷积的数目从22缩减到2。
图10B为说明根据本发明中所描述的技术的各种方面的可由图7和8的音频回放装置执行的实例操作模式350的图。下文中关于图8的音频回放装置200描述操作模式350,且所述操作模式类似于操作模式310。然而,根据本文中所描述的技术,操作模式350包含首先将HOA内容呈现到L个真实或虚拟扩音器的时域中的多信道扬声器信号中,且接着将有效率的BRIR滤波应用于扬声器馈入中的每一者。为此,音频回放装置200将HOA内容321变换到维度为[Length,L]的多信道音频信号333(344)。另外,音频回放装置不会将BRIR数据312变换到SHC域。因此,通过音频回放装置200对信号314应用缩减产生维度为[a,2,L]的矩阵337(328)。
音频回放装置200接着应用多信道音频信号333与矩阵337的快速卷积332以产生维度为[Length,L,2](具有左和右分量)的多信道音频信号341(348)。音频回放装置200接着可通过L个信道/扬声器将多信道音频信号341加总以产生维度为[Length,2]的信号325(346)。
图11为说明可执行本发明中所描述的立体声音频呈现技术的各种方面的音频回放装置350的实例的框图。虽然经说明为单一装置(即,图11的实例中的音频回放装置350),但所述技术可由一或多个装置来执行。因此,技术在此方面应不受限制。
此外,虽然上文关于图1到10B的实例大体上描述为在球面谐波域中加以应用,但也可关于任何形式的音频信号实施技术,所述音频信号包含遵照上文所注明的环绕声格式(例如,5.1环绕声格式、7.1环绕声格式,和/或22.2环绕声格式)的基于信道的信号。因此,技术也不应限于球面谐波域中所指定的音频信号,而是可关于任何形式的音频信号来应用。如本文中所使用,A“和/或”B可指A、B或A和B的组合。
如图11的实例中所示,音频回放装置350可类似于图7的实例中所示的音频回放装置100。然而,音频回放装置350可操作或以其它方式执行关于一般基于信道的音频信号的技术,作为一个实例,所述信号遵照22.2环绕声格式。提取单元104可提取音频信道352,其中音频信道352大体上可包含“n”个信道,且假定在此实例中包含遵照22.2环绕声格式的22个信道。将这些信道352提供到立体声呈现单元351的残余房间响应单元354和按信道截断的滤波器单元356两者。
如上文所描述,BRIR滤波器108包含一或多个BRIR滤波器且可表示图3的BRIR滤波器37的实例。BRIR滤波器108可包含表示左和右HRTF对相应BRIR的效应的单独BRIR滤波器126A、126B。
BRIR调节单元106接收BRIR滤波器126A、126B的n个执行个体,每一信道n一个执行个体,且其中每一BRIR滤波器具有长度N。BRIR滤波器126A、126B可能已经经调节以去除静寂样本。BRIR调节单元106可应用上文所描述的技术以将BRIR滤波器126A、126B分段以识别相应HRTF、早期反射和残余房间片段。BRIR调节单元106将HRTF和早期反射片段提供到按信道截断的滤波器单元356作为表示大小为[a,L]的左和右矩阵的矩阵129A、129B,其中a为HRTF和早期反射片段的串接的长度,且n为扩音器(虚拟的或真实的)的数目。BRIR调节单元106将BRIR滤波器126A、126B的残余房间片段提供到残余房间响应单元354作为大小为[b,L]的左和右残余房间矩阵128A、128B,其中b为残余房间片段的长度且n为扩音器(虚拟的或真实的)的数目。
残余房间响应单元354可应用上文所描述的技术以计算或以其它方式确定用于与音频信道352进行卷积的左和右共同残余房间响应片段。即,残余房间响应单元110可接收左和右残余房间矩阵128A、128B且组合n范围内的相应左和右残余房间矩阵128A、128B以产生左和右共同残余房间响应片段。在一些例子中,残余房间响应单元354可通过对n范围内的左和右残余房间矩阵128A、128B求平均值来执行组合。
残余房间响应单元354接着可计算左和右共同残余房间响应片段与音频信道352中的至少一者的快速卷积。在一些实例中,残余房间响应单元352可从BRIR调节单元106接收共同残余房间响应片段的开始时间的值。残余房间响应单元354可零填补或以其它方式延迟输出信号134A、134B,以预期与BRIR滤波器108的较早期片段组合。输出信号134A可表示左音频信号,而输出信号134B可表示右音频信号。
按信道截断的滤波器单元356(在下文中为“经截断的滤波器单元356”)可将BRIR滤波器的HRTF和早期反射片段应用于信道352。更具体地说,按信道截断的滤波器单元356可将表示BRIR滤波器的HRTF和早期反射片段的矩阵129A和129B应用于信道352中的每一者。在一些例子中,可将矩阵129A和129B组合以形成单一矩阵129。此外,通常存在HRTF和早期反射矩阵129A和129B中的每一者中的左者以及HRTF和早期反射矩阵129A和129B中的每一者中的右者。即,通常存在用于左耳和右耳的HRTF和早期反射矩阵。按信道方向单元356可应用左和右矩阵129A、129B中的每一者以输出左和右经滤波的信道358A和358B。组合单元116可组合(或换句话说,混合)左经滤波的信道358A与输出信号134A,同时组合(或换句话说,混合)右经滤波的信道358B与输出信号134B,以产生立体声输出信号136A、136B。立体声输出信号136A可对应于左音频信道,且立体声输出信号136B可对应于右音频信道。
在一些实例中,立体声呈现单元351可彼此同时发生地调用残余房间响应单元354和按信道截断的滤波器单元356,以使得残余房间响应单元354与按信道截断的滤波器单元356的操作同时发生地操作。即,在一些实例中,残余房间响应单元354可与按信道截断的滤波器单元356并行地(但经常并非同时地)操作,常常改善可产生立体声输出信号136A、136B的速度。虽然在上文的各图中经展示为可能地以串接方式操作,但除非以其它方式特别地指示,否则技术可提供本发明中所描述的单元或模块中的任一者的同时发生的或并行操作。
图12为说明根据本发明中所描述的技术的各种方面的可由图11的音频回放装置350执行的过程380的图。过程380达成将每一BRIR分解成两个部分:(a)并有由左滤波器384AL到384NL和由右滤波器384AR到384NR(统称为“滤波器384”)表示的HRTF和早期反射的效应的较小分量和(b)从原始BRIR的所有尾部的性质产生和由左混响滤波器386L和右混响滤波器386R(统称为“共同滤波器386”)表示的共同“混响尾部”。在过程380中展示的按信道滤波器384可表示上文所注明的部分(a),而过程380中所展示的共同滤波器386可表示上文所注明的部分(b)。
过程380通过分析BRIR以消除听不见的分量和确定包括HRTF/早期反射的分量和归因于晚期反射/漫射产生的分量来执行此分解。对于部分(a),此情形导致长度(作为一个实例)为2704个分接头的FIR滤波器,和对于部分(b),此情形导致长度(作为另一实例)为15232个分接头的FIR滤波器。根据过程380,在操作396中,音频回放装置350可仅将较短FIR滤波器应用于个别n个信道中的每一者,出于说明的目的,假定其为22。此运算的复数可表示于下文再现的等式(8)中的计算的第一部分中(使用4096点FFT)。在过程380中,音频回放装置350可能不将共同“混响尾部”应用于22个信道中的每一者,而是在操作398中将其全部应用于其加成性混合。此复数表示于等式(8)中的复数计算的后一半中。
在此方面,过程380可表示基于来自N个信道中的多个的混合音频内容产生复合音频信号的立体声音频呈现方法。另外,过程380可进一步通过延迟将复合音频信号与N个信道滤波器的输出对准,其中每一信道滤波器包含经截断的BRIR滤波器。此外,在过程380中,音频回放装置350接着可在操作398中用共同合成残余房间脉冲响应对经对准的复合音频信号进行滤波,且在立体声音频输出388L、388R的左和右分量的操作390L和390R中将每一信道滤波器的输出与经滤波的经对准的复合音频信号混合。
在一些实例中,经截断的BRIR滤波器和共同合成残余脉冲响应经预先载入于存储器中。
在一些实例中,在时间频域中执行经对准的复合音频信号的滤波。
在一些实例中,在时域中通过卷积执行经对准的复合音频信号的滤波。
在一些实例中,经截断的BRIR滤波器和共同合成残余脉冲响应是基于分解分析。
在一些实例中,对N个房间脉冲响应中的每一者执行分解分析,且其导致N个经截断的房间脉冲响应和N个残余脉冲响应(其中N可在上文中表示为n或n)。
在一些实例中,经截断的脉冲响应表示每一房间脉冲响应的总长度的小于百分的四十。
在一些实例中,经截断的脉冲响应包含在111与17,830之间的分接头范围。
在一些实例中,N个残余脉冲响应中的每一者组合成缩减复杂性的共同合成残余房间响应。
在一些实例中,将每一信道滤波器的输出与经滤波的经对准的复合音频信号混合包含用于左扬声器输出的混合的第一集合和用于右扬声器输出的混合的第二集合。
在各种实例中,上文所描述的过程380的各种实例或其任何组合的方法可由以下各者来执行:包括存储器和一或多个处理器的装置、包括用于执行方法的每一步骤的装置的设备,和通过执行存储于非暂时性计算机可读存储媒体上的指令执行所述方法的每一步骤的一或多个处理器。
此外,上文所描述的实例中的任一者中所阐述的特定特征中的任一者可组合成所描述的技术的有益实例。即,特定特征中的任一者大体上适用于技术的所有实例。已描述技术的各种实例。
在一些状况下,本发明中所描述的技术可仅识别横跨BRIR集合的可听见的样本111到17830。从实例房间的体积计算混合时间Tmp95,技术接着可使所有BRIR在53.6ms之后共享共同混响尾部,从而导致15232样本长的共同混响尾部和剩余2704样本HRTF+反射脉冲,其间具有3ms淡入淡出。在计算成本减轻方面,可出现以下情况:
共同混响尾部:10*6*log2(2*15232/10)。
剩余脉冲:22*6*log2(2*4096),使用4096FFT来在一个帧中进行。
额外22个添加。
因此,最终优值因此可大致等于Cmod=max(100*(Cconv-C)/Cconv,0)=88.0,其中:
Cmod=max(100*(Cconv-C)/Cconv,0),(6)
其中Cconv为对未经优化的实施方案的估计:
Cconv=(22+2)*(10)*(6*log2(2*48000/10)),(7)
在一些方面中,C可由两个加成性因子确定:
因此,在一些方面中,优值Cmod=87.35。
可将表示为Bn(z)的BRIR滤波器分解成两个函数BTn(z)和BRn(z),其分别表示经截断的BRIR滤波器和混响BRIR滤波器。上文所注明的部分(a)可指此经截断的BRIR滤波器,而上文的部分(b)可指混响BRIR滤波器。Bn(z)接着可等于BTn(z)+(z-m*BRn(z)),其中m表示延迟。输出信号Y(z)因此可计算为:
过程380可分析BRn(z)以导出共同合成混响尾部片段,其中可应用此共同BR(z)而不是信道特定BRn(z)。当使用此共同(或信道通用)合成BR(z)时,Y(z)可计算为:
应理解,取决于实例,本文中所描述的方法中的任一者的某些动作或事件可按不同序列来执行,可经添加、合并或一起省去(例如,并非所有所描述的动作或事件为达成方法的实践所必要的)。此外,在某些实例中,动作或事件可(例如)通过多线程处理、中断处理或多个处理器而同时执行而非顺序执行。另外,虽然出于清晰的目的,本发明的某些方面经描述为由单一装置、模块或单元执行,但应理解,本发明的技术可由装置、单元或模块的组合执行。
在一或多个实例中,可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件来实施,那么功能可作为一或多个指令或代码而存储于计算机可读媒体上或通过计算机可读媒体予以传输且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体或通信媒体,计算机可读存储媒体对应于例如数据存储媒体的有形媒体,通信媒体包含促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体。
以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例且非限制,这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置,或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构的形式且可由计算机存取的所要程序代码的任何其它媒体。又,将任何连接恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。
然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是针对非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此,如本文中所使用,术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,可将本文所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入于组合式编码解码器中。又,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中,包含无线手机、集成电路(IC)或IC的集合(例如,芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元来实现。相反地,如上文所描述,各种单元可组合于编码解码器硬件单元中或由互操作硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适的软件和/或固件来提供。
已描述技术的各种实施例。这些和其它实施例在以下权利要求书的范围内。
Claims (40)
1.一种立体声音频呈现方法,其包括:
确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;
将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述所述声场;以及
执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
2.根据权利要求1所述的方法,
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行所述立体声房间脉冲响应滤波器的所述残余房间响应片段的组合与所述多个阶层元素的快速卷积。
3.根据权利要求1所述的方法,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,且
其中所述多个经变换的立体声房间脉冲响应滤波器各自包括头部相关转移函数片段,所述头部相关转移函数片段表示对直接从声源发出的压力波的脉冲响应,所述方法进一步包括:
将所述左经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段组合以产生所述多个立体声房间脉冲响应滤波器中的一者的组合头部相关转移函数片段,
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行所述组合头部相关转移函数片段与所述多个阶层元素中的阶层元素的快速卷积以呈现所述声场。
4.根据权利要求3所述的方法,
其中将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合包括对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右立体声房间脉冲响应经变换的滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建,以产生趋近所述多个立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器,且
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的快速卷积以呈现所述声场。
5.根据权利要求3所述的方法,
其中将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合包括对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建,以产生趋近所述多个经变换的立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器,和产生残余相位滤波器,所述方法进一步包括:
从所述残余相位滤波器估计耳间时间差,
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的所述快速卷积以产生卷积和应用所述耳间时间差以立体声地呈现所述声场。
6.根据权利要求1所述的方法,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行仅所述左立体声房间脉冲响应滤波器或所述右立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积。
7.根据权利要求1所述的方法,其中所述多个立体声房间脉冲响应滤波器各自包括初始静寂相位,所述初始静寂相位不包含由脉冲产生的响应样本,所述方法进一步包括:
确定所述多个立体声房间脉冲响应滤波器中的任一者的响应样本的最早开始,其中所述最早开始确定所述多个立体声房间脉冲响应滤波器的共同初始静寂相位,
其中确定所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段包括确定所述多个立体声房间脉冲响应滤波器的所述至少一个方向相依片段不包含为所述共同初始静寂相位的部分的所述多个立体声房间脉冲响应滤波器的样本。
8.根据权利要求1所述的方法,其进一步包括:
其中所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段包括残余房间响应片段,所述方法进一步包括:
组合所述多个立体声房间脉冲响应滤波器中的每一者的所述残余房间响应片段以产生共同残余房间响应片段;以及
执行所述共同残余房间响应片段与所述多个阶层元素的快速卷积以呈现声场的房间响应,而不执行所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段的所述残余房间响应片段与所述多个阶层元素的快速卷积。
9.根据权利要求8所述的方法,其中执行所述共同残余房间响应片段与所述多个阶层元素的所述快速卷积包括执行所述共同残余房间响应片段仅与所述多个阶层元素中的最高阶元素的快速卷积以呈现所述声场的所述残余房间响应。
10.根据权利要求8所述的方法,其中用以呈现所述声场的所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积产生信号,所述方法进一步包括:
零填补声场的所述房间响应以产生所述声场的经延迟的残余房间响应;以及
组合所述声场的所述经延迟的房间响应与所述信号以呈现所述声场。
11.根据权利要求1所述的方法,其进一步包括:
将所述多个经变换的立体声房间脉冲响应滤波器加总以产生滤波器矩阵,
其中执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积包括执行所述滤波器矩阵与所述多个阶层元素的快速卷积以呈现所述声场。
12.根据权利要求1所述的方法,其中所述多个阶层元素包括球面谐波系数。
13.根据权利要求1所述的方法,其中所述多个阶层元素包括较高阶环境立体混合声。
14.一种装置,其包括经配置以进行以下操作的一或多个处理器:
确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;
将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述所述声场;以及
执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
15.根据权利要求14所述的装置,其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述立体声房间脉冲响应滤波器的所述残余房间响应片段的组合与所述多个阶层元素的快速卷积。
16.根据权利要求14所述的装置,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,且
其中所述多个经变换的立体声房间脉冲响应滤波器各自包括头部相关转移函数片段,所述头部相关转移函数片段表示对直接从声源发出的压力波的脉冲响应,
其中所述一或多个处理器经进一步配置以将所述左经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段组合以产生所述多个立体声房间脉冲响应滤波器中的一者的组合头部相关转移函数片段,
其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述组合头部相关转移函数片段与所述多个阶层元素中的阶层元素的快速卷积以呈现所述声场。
17.根据权利要求16所述的装置,
其中为了将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合,所述一或多个处理器经进一步配置以对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右立体声房间脉冲响应经变换的滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建,以产生趋近所述多个立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器,且
其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的快速卷积以呈现所述声场。
18.根据权利要求16所述的装置,
其中为了将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合,所述一或多个处理器经进一步配置以对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建,以产生趋近所述多个经变换的立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器,和产生残余相位滤波器,
其中所述一或多个处理器经进一步配置以从所述残余相位滤波器估计耳间时间差,
其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的所述快速卷积以产生卷积和应用所述耳间时间差以立体声地呈现所述声场。
19.根据权利要求14所述的装置,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,
其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行仅所述左立体声房间脉冲响应滤波器或所述右立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积。
20.根据权利要求14所述的装置,
其中所述多个立体声房间脉冲响应滤波器各自包括初始静寂相位,所述初始静寂相位不包含由脉冲产生的响应样本,
其中所述一或多个处理器经进一步配置以确定所述多个立体声房间脉冲响应滤波器中的任一者的响应样本的最早开始,其中所述最早开始确定所述多个立体声房间脉冲响应滤波器的共同初始静寂相位,
其中为了确定所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段,所述一或多个处理器经进一步配置以确定所述多个立体声房间脉冲响应滤波器的所述至少一个方向相依片段不包含为所述共同初始静寂相位的部分的所述多个立体声房间脉冲响应滤波器的样本。
21.根据权利要求14所述的装置,
其中所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段包括残余房间响应片段,
其中所述一或多个处理器经进一步配置以组合所述多个立体声房间脉冲响应滤波器中的每一者的所述残余房间响应片段以产生共同残余房间响应片段,且
其中所述一或多个处理器经进一步配置以执行所述共同残余房间响应片段与所述多个阶层元素的快速卷积以呈现声场的房间响应,而不执行所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段的所述残余房间响应片段与所述多个阶层元素的快速卷积。
22.根据权利要求21所述的装置,其中为了执行所述共同残余房间响应片段与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述共同残余房间响应片段仅与所述多个阶层元素中的最高阶元素的快速卷积以呈现所述声场的所述残余房间响应。
23.根据权利要求21所述的装置,
其中用以呈现所述声场的所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积产生信号,
其中所述一或多个处理器经进一步配置以:
零填补声场的所述房间响应以产生所述声场的经延迟的残余房间响应,以及
组合所述声场的所述经延迟的房间响应与所述信号以呈现所述声场。
24.根据权利要求14所述的装置,
其中所述一或多个处理器经进一步配置以将所述多个经变换的立体声房间脉冲响应滤波器加总以产生滤波器矩阵,
其中为了执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积,所述一或多个处理器经进一步配置以执行所述滤波器矩阵与所述多个阶层元素的快速卷积以呈现所述声场。
25.根据权利要求14所述的装置,其中所述多个阶层元素包括球面谐波系数。
26.根据权利要求14所述的装置,其中所述多个阶层元素包括较高阶环境立体混合声。
27.一种设备,其包括:
用于确定多个立体声房间脉冲响应滤波器中的每一者的多个片段的装置,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;
用于将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域以产生多个经变换的立体声房间脉冲响应滤波器的装置,其中所述多个阶层元素描述所述声场;以及
用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场的装置。
28.根据权利要求27所述的设备,
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行所述立体声房间脉冲响应滤波器的所述残余房间响应片段的组合与所述多个阶层元素的快速卷积的装置。
29.根据权利要求27所述的设备,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,且
其中所述多个经变换的立体声房间脉冲响应滤波器各自包括头部相关转移函数片段,所述头部相关转移函数片段表示对直接从声源发出的压力波的脉冲响应,所述设备进一步包括:
用于将所述左经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的头部相关转移函数片段组合以产生所述多个立体声房间脉冲响应滤波器中的一者的组合头部相关转移函数片段的装置,
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行所述组合头部相关转移函数片段与所述多个阶层元素中的阶层元素的快速卷积以呈现所述声场的装置。
30.根据权利要求29所述的设备,
其中所述用于将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合的装置包括用于对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右立体声房间脉冲响应经变换的滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建以产生趋近所述多个立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器的装置,且
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的快速卷积以呈现所述声场的装置。
31.根据权利要求29所述的设备,
其中所述用于将所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段组合的装置包括用于对所述左经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段与所述右经变换的立体声房间脉冲响应滤波器的所述头部相关转移函数片段中的至少一者应用最小相位重构建以产生趋近所述多个经变换的立体声房间脉冲响应滤波器中的所述一者的头部相关转移函数片段的最小相位滤波器和产生残余相位滤波器的装置,所述设备进一步包括:
用于从所述残余相位滤波器估计耳间时间差的装置,
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行所述最小相位滤波器与所述多个阶层元素中的所述阶层元素的所述快速卷积以产生卷积和应用所述耳间时间差以立体声地呈现所述声场的装置。
32.根据权利要求27所述的设备,
其中所述多个经变换的立体声房间脉冲响应滤波器包括左经变换的立体声房间脉冲响应滤波器和右经变换的立体声房间脉冲响应滤波器,
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行仅所述左立体声房间脉冲响应滤波器或所述右立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积的装置。
33.根据权利要求27所述的设备,其中所述多个立体声房间脉冲响应滤波器各自包括初始静寂相位,所述初始静寂相位不包含由脉冲产生的响应样本,所述设备进一步包括:
用于确定所述多个立体声房间脉冲响应滤波器中的任一者的响应样本的最早开始的装置,其中所述最早开始确定所述多个立体声房间脉冲响应滤波器的共同初始静寂相位,
其中所述用于确定所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段的装置包括用于确定所述多个立体声房间脉冲响应滤波器的所述至少一个方向相依片段不包含为所述共同初始静寂相位的部分的所述多个立体声房间脉冲响应滤波器的样本的装置。
34.根据权利要求27所述的设备,其进一步包括:
其中所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段包括残余房间响应片段,所述设备进一步包括:
用于组合所述多个立体声房间脉冲响应滤波器中的每一者的所述残余房间响应片段以产生共同残余房间响应片段的装置;以及
用于执行所述共同残余房间响应片段与所述多个阶层元素的快速卷积以呈现声场的房间响应而不执行所述多个立体声房间脉冲响应滤波器中的每一者的所述多个片段的所述残余房间响应片段与所述多个阶层元素的快速卷积的装置。
35.根据权利要求34所述的设备,其中所述用于执行所述共同残余房间响应片段与所述多个阶层元素的所述快速卷积的装置包括用于执行所述共同残余房间响应片段仅与所述多个阶层元素中的最高阶元素的快速卷积以呈现所述声场的所述残余房间响应的装置。
36.根据权利要求34所述的设备,其中用以呈现所述声场的所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积产生信号,所述设备进一步包括:
用于零填补声场的所述房间响应以产生所述声场的经延迟的残余房间响应的装置;以及
用于组合所述声场的所述经延迟的房间响应与所述信号以呈现所述声场的装置。
37.根据权利要求27所述的设备,其进一步包括:
用于将所述多个经变换的立体声房间脉冲响应滤波器加总以产生滤波器矩阵的装置,
其中所述用于执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的所述快速卷积的装置包括用于执行所述滤波器矩阵与所述多个阶层元素的快速卷积以呈现所述声场的装置。
38.根据权利要求27所述的设备,其中所述多个阶层元素包括球面谐波系数。
39.根据权利要求27所述的设备,其中所述多个阶层元素包括较高阶环境立体混合声。
40.一种非暂时性计算机可读存储媒体,其具有存储于其上的指令,所述指令在经执行时使一或多个处理器进行以下操作:
确定多个立体声房间脉冲响应滤波器中的每一者的多个片段,其中所述多个立体声房间脉冲响应滤波器各自包括残余房间响应片段和至少一个方向相依片段,所述至少一个方向相依片段的滤波器响应取决于声场内的位置;
将所述多个立体声房间脉冲响应滤波器的至少一个方向相依片段中的每一者变换成对应于多个阶层元素的域的域,以产生多个经变换的立体声房间脉冲响应滤波器,其中所述多个阶层元素描述所述声场;以及
执行所述多个经变换的立体声房间脉冲响应滤波器与所述多个阶层元素的快速卷积以呈现所述声场。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361828620P | 2013-05-29 | 2013-05-29 | |
US61/828,620 | 2013-05-29 | ||
US201361847543P | 2013-07-17 | 2013-07-17 | |
US61/847,543 | 2013-07-17 | ||
US201361886593P | 2013-10-03 | 2013-10-03 | |
US201361886620P | 2013-10-03 | 2013-10-03 | |
US61/886,620 | 2013-10-03 | ||
US61/886,593 | 2013-10-03 | ||
US14/288,293 US9674632B2 (en) | 2013-05-29 | 2014-05-27 | Filtering with binaural room impulse responses |
US14/288,293 | 2014-05-27 | ||
PCT/US2014/039848 WO2014193993A1 (en) | 2013-05-29 | 2014-05-28 | Filtering with binaural room impulse responses |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105325013A true CN105325013A (zh) | 2016-02-10 |
CN105325013B CN105325013B (zh) | 2017-11-21 |
Family
ID=51985133
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480035597.1A Active CN105340298B (zh) | 2013-05-29 | 2014-05-28 | 球面谐波系数的立体声呈现 |
CN201480035798.1A Active CN105325013B (zh) | 2013-05-29 | 2014-05-28 | 具有立体声房间脉冲响应的滤波 |
CN201480042431.2A Active CN105432097B (zh) | 2013-05-29 | 2014-05-28 | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480035597.1A Active CN105340298B (zh) | 2013-05-29 | 2014-05-28 | 球面谐波系数的立体声呈现 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480042431.2A Active CN105432097B (zh) | 2013-05-29 | 2014-05-28 | 伴有内容分析和加权的具有立体声房间脉冲响应的滤波 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9420393B2 (zh) |
EP (3) | EP3005733B1 (zh) |
JP (3) | JP6227764B2 (zh) |
KR (3) | KR101719094B1 (zh) |
CN (3) | CN105340298B (zh) |
TW (1) | TWI615042B (zh) |
WO (3) | WO2014194005A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113453120A (zh) * | 2020-03-25 | 2021-09-28 | 卡西欧计算机株式会社 | 效果赋予装置、方法及存储介质 |
WO2023093477A1 (zh) * | 2021-11-25 | 2023-06-01 | 广州视源电子科技股份有限公司 | 语音增强模型的训练方法及装置、存储介质及设备 |
Families Citing this family (127)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9131305B2 (en) * | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
KR102150955B1 (ko) | 2013-04-19 | 2020-09-02 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
US9384741B2 (en) * | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
US9420393B2 (en) | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
EP2840811A1 (en) | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder |
EP2830043A3 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
EP3048814B1 (en) | 2013-09-17 | 2019-10-23 | Wilus Institute of Standards and Technology Inc. | Method and device for audio signal processing |
EP3062535B1 (en) | 2013-10-22 | 2019-07-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for processing audio signal |
DE102013223201B3 (de) * | 2013-11-14 | 2015-05-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Komprimieren und Dekomprimieren von Schallfelddaten eines Gebietes |
KR101627657B1 (ko) | 2013-12-23 | 2016-06-07 | 주식회사 윌러스표준기술연구소 | 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치 |
WO2015103024A1 (en) | 2014-01-03 | 2015-07-09 | Dolby Laboratories Licensing Corporation | Methods and systems for designing and applying numerically optimized binaural room impulse responses |
US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
KR101782917B1 (ko) | 2014-03-19 | 2017-09-28 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
KR101882423B1 (ko) * | 2014-03-21 | 2018-08-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 적어도 제1 쌍의 룸 임펄스 응답에 기초하여, 믹싱 시간 전체를 추정하는 장치 및 방법, 대응하는 컴퓨터 프로그램 |
EP3399776B1 (en) | 2014-04-02 | 2024-01-31 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and device |
US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
KR20160020377A (ko) | 2014-08-13 | 2016-02-23 | 삼성전자주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
EP4002888A1 (en) | 2015-02-12 | 2022-05-25 | Dolby Laboratories Licensing Corporation | Headphone virtualization |
US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
US10932078B2 (en) | 2015-07-29 | 2021-02-23 | Dolby Laboratories Licensing Corporation | System and method for spatial processing of soundfield signals |
US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
EA034371B1 (ru) * | 2015-08-25 | 2020-01-31 | Долби Лэборетериз Лайсенсинг Корпорейшн | Аудиодекодер и способ декодирования |
CA3219512A1 (en) | 2015-08-25 | 2017-03-02 | Dolby International Ab | Audio encoding and decoding using presentation transform parameters |
US10262677B2 (en) * | 2015-09-02 | 2019-04-16 | The University Of Rochester | Systems and methods for removing reverberation from audio signals |
WO2017049169A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
EP3402221B1 (en) * | 2016-01-08 | 2020-04-08 | Sony Corporation | Audio processing device and method, and program |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
US9881619B2 (en) | 2016-03-25 | 2018-01-30 | Qualcomm Incorporated | Audio processing for an acoustical environment |
WO2017165968A1 (en) * | 2016-03-29 | 2017-10-05 | Rising Sun Productions Limited | A system and method for creating three-dimensional binaural audio from stereo, mono and multichannel sound sources |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
WO2017182707A1 (en) * | 2016-04-20 | 2017-10-26 | Genelec Oy | An active monitoring headphone and a method for regularizing the inversion of the same |
CN105792090B (zh) * | 2016-04-27 | 2018-06-26 | 华为技术有限公司 | 一种增加混响的方法与装置 |
US10200806B2 (en) * | 2016-06-17 | 2019-02-05 | Dts, Inc. | Near-field binaural rendering |
US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
CN106412793B (zh) * | 2016-09-05 | 2018-06-12 | 中国科学院自动化研究所 | 基于球谐函数的头相关传输函数的稀疏建模方法和系统 |
EP3293987B1 (en) | 2016-09-13 | 2020-10-21 | Nokia Technologies Oy | Audio processing |
USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
US10492018B1 (en) | 2016-10-11 | 2019-11-26 | Google Llc | Symmetric binaural rendering for high-order ambisonics |
US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
EP3312833A1 (en) * | 2016-10-19 | 2018-04-25 | Holosbase GmbH | Decoding and encoding apparatus and corresponding methods |
KR20190091445A (ko) * | 2016-10-19 | 2019-08-06 | 오더블 리얼리티 아이엔씨. | 오디오 이미지를 생성하는 시스템 및 방법 |
US9992602B1 (en) | 2017-01-12 | 2018-06-05 | Google Llc | Decoupled binaural rendering |
US10009704B1 (en) * | 2017-01-30 | 2018-06-26 | Google Llc | Symmetric spherical harmonic HRTF rendering |
US10158963B2 (en) * | 2017-01-30 | 2018-12-18 | Google Llc | Ambisonic audio with non-head tracked stereo based on head position and time |
JP7038725B2 (ja) * | 2017-02-10 | 2022-03-18 | ガウディオ・ラボ・インコーポレイテッド | オーディオ信号処理方法及び装置 |
DE102017102988B4 (de) | 2017-02-15 | 2018-12-20 | Sennheiser Electronic Gmbh & Co. Kg | Verfahren und Vorrichtung zur Verarbeitung eines digitalen Audiosignals für binaurale Wiedergabe |
WO2019054559A1 (ko) * | 2017-09-15 | 2019-03-21 | 엘지전자 주식회사 | Brir/rir 파라미터화(parameterization)를 적용한 오디오 인코딩 방법 및 파라미터화된 brir/rir 정보를 이용한 오디오 재생 방법 및 장치 |
US10388268B2 (en) * | 2017-12-08 | 2019-08-20 | Nokia Technologies Oy | Apparatus and method for processing volumetric audio |
US10523171B2 (en) | 2018-02-06 | 2019-12-31 | Sony Interactive Entertainment Inc. | Method for dynamic sound equalization |
US10652686B2 (en) | 2018-02-06 | 2020-05-12 | Sony Interactive Entertainment Inc. | Method of improving localization of surround sound |
EP4093057A1 (en) | 2018-04-27 | 2022-11-23 | Dolby Laboratories Licensing Corp. | Blind detection of binauralized stereo content |
US11929091B2 (en) | 2018-04-27 | 2024-03-12 | Dolby Laboratories Licensing Corporation | Blind detection of binauralized stereo content |
US10872602B2 (en) | 2018-05-24 | 2020-12-22 | Dolby Laboratories Licensing Corporation | Training of acoustic models for far-field vocalization processing systems |
US10887717B2 (en) * | 2018-07-12 | 2021-01-05 | Sony Interactive Entertainment Inc. | Method for acoustically rendering the size of sound a source |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
WO2020044244A1 (en) | 2018-08-29 | 2020-03-05 | Audible Reality Inc. | System for and method of controlling a three-dimensional audio engine |
US11272310B2 (en) * | 2018-08-29 | 2022-03-08 | Dolby Laboratories Licensing Corporation | Scalable binaural audio stream generation |
US11503423B2 (en) * | 2018-10-25 | 2022-11-15 | Creative Technology Ltd | Systems and methods for modifying room characteristics for spatial audio rendering over headphones |
US11304021B2 (en) | 2018-11-29 | 2022-04-12 | Sony Interactive Entertainment Inc. | Deferred audio rendering |
CN109801643B (zh) * | 2019-01-30 | 2020-12-04 | 龙马智芯(珠海横琴)科技有限公司 | 混响抑制的处理方法和装置 |
US11076257B1 (en) * | 2019-06-14 | 2021-07-27 | EmbodyVR, Inc. | Converting ambisonic audio to binaural audio |
US11341952B2 (en) * | 2019-08-06 | 2022-05-24 | Insoundz, Ltd. | System and method for generating audio featuring spatial representations of sound sources |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
CN112578434A (zh) * | 2019-09-27 | 2021-03-30 | 中国石油化工股份有限公司 | 一种最小相位无限脉冲响应滤波方法及滤波系统 |
US11967329B2 (en) * | 2020-02-20 | 2024-04-23 | Qualcomm Incorporated | Signaling for rendering tools |
FR3113993B1 (fr) * | 2020-09-09 | 2023-02-24 | Arkamys | Procédé de spatialisation sonore |
WO2022108494A1 (en) * | 2020-11-17 | 2022-05-27 | Dirac Research Ab | Improved modeling and/or determination of binaural room impulse responses for audio applications |
WO2023085186A1 (ja) * | 2021-11-09 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) * | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
CN101884065A (zh) * | 2007-10-03 | 2010-11-10 | 创新科技有限公司 | 用于双耳再现和格式转换的空间音频分析和合成 |
CN102257562A (zh) * | 2008-12-19 | 2011-11-23 | 杜比国际公司 | 用空间线索参数对多通道音频信号应用混响的方法和装置 |
WO2012023864A1 (en) * | 2010-08-20 | 2012-02-23 | Industrial Research Limited | Surround sound system |
US20130064375A1 (en) * | 2011-08-10 | 2013-03-14 | The Johns Hopkins University | System and Method for Fast Binaural Rendering of Complex Acoustic Scenes |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4328620C1 (de) | 1993-08-26 | 1995-01-19 | Akg Akustische Kino Geraete | Verfahren zur Simulation eines Raum- und/oder Klangeindrucks |
US5955992A (en) * | 1998-02-12 | 1999-09-21 | Shattil; Steve J. | Frequency-shifted feedback cavity used as a phased array antenna controller and carrier interference multiple access spread-spectrum transmitter |
DK1072089T3 (da) | 1998-03-25 | 2011-06-27 | Dolby Lab Licensing Corp | Fremgangsmåde og apparat til bearbejdning af audiosignaler |
FR2836571B1 (fr) * | 2002-02-28 | 2004-07-09 | Remy Henri Denis Bruno | Procede et dispositif de pilotage d'un ensemble de restitution d'un champ acoustique |
FR2847376B1 (fr) | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
FI118247B (fi) * | 2003-02-26 | 2007-08-31 | Fraunhofer Ges Forschung | Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa |
US8027479B2 (en) | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
FR2903562A1 (fr) * | 2006-07-07 | 2008-01-11 | France Telecom | Spatialisation binaurale de donnees sonores encodees en compression. |
US8271289B2 (en) | 2007-02-14 | 2012-09-18 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
CN103716748A (zh) * | 2007-03-01 | 2014-04-09 | 杰里·马哈布比 | 音频空间化及环境模拟 |
US20080273708A1 (en) * | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
GB2476747B (en) * | 2009-02-04 | 2011-12-21 | Richard Furse | Sound system |
JP2011066868A (ja) | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
EP2423702A1 (en) | 2010-08-27 | 2012-02-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for resolving ambiguity from a direction of arrival estimate |
US9420393B2 (en) | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
KR102257695B1 (ko) | 2013-11-19 | 2021-05-31 | 소니그룹주식회사 | 음장 재현 장치 및 방법, 그리고 프로그램 |
US9897139B2 (en) | 2013-11-22 | 2018-02-20 | Jtekt Corporation | Tapered roller bearing and power transmission apparatus |
-
2014
- 2014-05-27 US US14/288,276 patent/US9420393B2/en active Active
- 2014-05-27 US US14/288,277 patent/US9369818B2/en active Active
- 2014-05-27 US US14/288,293 patent/US9674632B2/en active Active
- 2014-05-28 WO PCT/US2014/039864 patent/WO2014194005A1/en active Application Filing
- 2014-05-28 JP JP2016516795A patent/JP6227764B2/ja not_active Expired - Fee Related
- 2014-05-28 WO PCT/US2014/039863 patent/WO2014194004A1/en active Application Filing
- 2014-05-28 EP EP14733454.4A patent/EP3005733B1/en active Active
- 2014-05-28 WO PCT/US2014/039848 patent/WO2014193993A1/en active Application Filing
- 2014-05-28 EP EP14733457.7A patent/EP3005734B1/en active Active
- 2014-05-28 CN CN201480035597.1A patent/CN105340298B/zh active Active
- 2014-05-28 CN CN201480035798.1A patent/CN105325013B/zh active Active
- 2014-05-28 JP JP2016516799A patent/JP6100441B2/ja not_active Expired - Fee Related
- 2014-05-28 KR KR1020157036270A patent/KR101719094B1/ko active IP Right Grant
- 2014-05-28 KR KR1020157036321A patent/KR101788954B1/ko active IP Right Grant
- 2014-05-28 JP JP2016516798A patent/JP6067934B2/ja not_active Expired - Fee Related
- 2014-05-28 EP EP14733859.4A patent/EP3005735B1/en active Active
- 2014-05-28 CN CN201480042431.2A patent/CN105432097B/zh active Active
- 2014-05-28 KR KR1020157036325A patent/KR101728274B1/ko active IP Right Grant
- 2014-05-29 TW TW103118865A patent/TWI615042B/zh not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) * | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
CN101884065A (zh) * | 2007-10-03 | 2010-11-10 | 创新科技有限公司 | 用于双耳再现和格式转换的空间音频分析和合成 |
CN102257562A (zh) * | 2008-12-19 | 2011-11-23 | 杜比国际公司 | 用空间线索参数对多通道音频信号应用混响的方法和装置 |
WO2012023864A1 (en) * | 2010-08-20 | 2012-02-23 | Industrial Research Limited | Surround sound system |
US20130064375A1 (en) * | 2011-08-10 | 2013-03-14 | The Johns Hopkins University | System and Method for Fast Binaural Rendering of Complex Acoustic Scenes |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113453120A (zh) * | 2020-03-25 | 2021-09-28 | 卡西欧计算机株式会社 | 效果赋予装置、方法及存储介质 |
WO2023093477A1 (zh) * | 2021-11-25 | 2023-06-01 | 广州视源电子科技股份有限公司 | 语音增强模型的训练方法及装置、存储介质及设备 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105325013B (zh) | 具有立体声房间脉冲响应的滤波 | |
US10555104B2 (en) | Binaural decoder to output spatial stereo sound and a decoding method thereof | |
EP3005738B1 (en) | Binauralization of rotated higher order ambisonics | |
TWI415111B (zh) | 空間解碼器單元、空間解碼器裝置、音訊系統、消費型電子裝置、產生一對雙耳輸出聲道之方法及電腦可讀媒體 | |
AU2015330758A1 (en) | Signaling layers for scalable coding of higher order ambisonic audio data | |
AU2015330759A1 (en) | Signaling channels for scalable coding of higher order ambisonic audio data | |
CN105075294A (zh) | 音频信号处理装置 | |
JP7447798B2 (ja) | 信号処理装置および方法、並びにプログラム | |
Alinaghi et al. | Analysis and Synthesis of Spatial Audio for VR Applications: Comparing SIRR and RSAO as Two Main Parametric Approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |