CN102804814B - 多通道声音重放方法和设备 - Google Patents
多通道声音重放方法和设备 Download PDFInfo
- Publication number
- CN102804814B CN102804814B CN201080065614.8A CN201080065614A CN102804814B CN 102804814 B CN102804814 B CN 102804814B CN 201080065614 A CN201080065614 A CN 201080065614A CN 102804814 B CN102804814 B CN 102804814B
- Authority
- CN
- China
- Prior art keywords
- transducer
- signal
- supplementary
- sound reproduction
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本发明涉及用于选择通过一个或多个补充声音重放换能器进行重放的听觉信号分量的方法,所述一个或多个补充声音重放换能器,例如扬声器,被放置在一对主要声音重放换能器之间,例如在立体声扬声器装备中的左扬声器和右扬声器之间或在环绕声扬声器装备中的毗邻的扬声器之间,所述方法包括以下步骤:(i)指定所述补充声音重放换能器中的一个被定位在其内或待被定位在其内的方位角范围,以及收听方向;(Ii)基于所述方位角范围和所述收听方向,分别确定左右两耳间声强差极限和左右两耳间时间差极限;(iii)将一对输入信号提供至所述一对主要声音重放换能器;(iv)预处理所述输入信号中的每个,由此提供一对已预处理的输入信号;(v)确定在所述已预处理的信号之间的随频率而变的两耳间声强差和两耳间时间差;以及(vi)将所述输入信号的分别具有在所述左右两耳间声强差极限之间的区间内的两耳间声强差和在所述左右两耳间时间差极限之间的区间内的两耳间时间差的那些信号分量提供至相应的补充声音重放换能器。本发明还涉及用于实施以上方法的设备以及这些设备的系统。
Description
技术领域
本发明大体上涉及通过扬声器装备进行声音重放的领域,并且更具体地涉及用于获得在宽的收听区域上被重放的声音的稳定的听觉空间知觉的方法和系统。又更具体地,本发明涉及在受限的环境(例如汽车座舱)中使用的这样的方法和系统。
发明背景
立体声是流行的空间音频重放形式。立体声信号可以通过原位的立体声话筒录音或通过混合多个单声道信号来产生,这在现代流行音乐中是典型的。这种类型的材料通常意图使用对称地布置的匹配的扬声器对进行重放,如在ITU-R BS.1116[1997]和ITU-R BS.775-1[1994]中提出的。
如果满足上文的推荐,那么收听者将感知至少在扬声器之间扩展的听觉场景,如在Bregman[1994]中描述的,包括各种虚拟源、幻像。如果ITU推荐中的一个或多个不被满足,那么后果可能是听觉场景的劣化,见例如Bech[1998]。
非常典型的是,在汽车中收听立体声的材料。最现代化的汽车在交付时就配备有出厂时已安装好的由立体声声源例如CD播放器和2个或更多个扬声器组成的音响系统。
然而,当将汽车收听环境与ITU推荐比较时,与理想条件之间通常将存在以下偏离:
(i)收听位置是错误的;
(ii)扬声器位置是错误的;
(iii)具有接近扬声器的大的反射表面。
至少由于这些原因,听觉场景的保真度在汽车中典型地被劣化。
将理解,虽然在本说明书中反复地参考在汽车中的音频重放,但是在下文中描述的本发明的原理的使用和本发明的系统和方法的具体的实施环境不限于汽车音频重放,而是还可以在多种其他的收听情况中获得应用。
将是有利的是,尽管具有上文提到的距理想的收听条件的偏离,但是该重放系统和方法将能够获得具有高保真度的音频重放。
听觉重放基本包括两个知觉方面:(i)声音环境中的声源的音色的重放,以及(ii)声音环境的空间属性的重放,例如获得声音环境中的声源的稳定的定位的能力以及获得对环境中的单个声源的空间延伸或宽度的正确的感知的能力。这些方面以及表征这些的具体的感知属性二者可能通过在封闭空间(例如汽车的座舱)中的音频重放遭受劣化。
发明概述
本部分将初步比较和对比在汽车收听环境与在自由场中的轴上和离轴环境中的立体声重放。在该比较之后,根据人耳的耳间传递函数,对汽车收听环境中的听觉场景的劣化进行分析。在该介绍之后,将给出本发明的主要原理的概述,根据该原理提供方法和相应的立体向多-单通道转换器(stereo to multi-mono converter)设备,借助于该方法和设备,听觉场景的听觉部件的定位可以独立于收听位置进行。
本发明的实施环境将在本发明的详细描述中描述,该部分将还包括通过在Matlab软件的辅助下对模拟的其输出的分析,对根据本发明的立体向多-单通道转换器的实施环境的性能进行评价。
理想的立体声收听环境
双通道立体声(将在下文被称为立体声(stereo))是一种通过两个声源重放空间听觉场景的方式。Blauert[1997]作出了在术语声音和听觉之间的以下的区分:
声音是指作为事件的特征的物理现象(例如声波、声源或声信号)。
听觉是指被收听者感知的(例如听觉图像或场景)。
这种区分也将在本说明书中应用。
Blauert[1997]将空间听觉定义为听觉事件的地点和声音事件的物理特性之间的关系。
对于立体声信号的扬声器重放来说,收听者和声源的在水平面中的理想的相对位置在ITU-R BS.1116[1997]和ITU-R BS.775-1[1994]中描述,并且在图1中图形地示出,图1图示了扬声器和收听者的对于立体声信号的重放的理想的布置。
收听者应当位于具有最小值dl=dr=dlr=2米的等边三角形的顶点处。扬声器应当被分别地放置在其他的两个顶点处。这些扬声器应当在频率响应和功率响应的方面匹配。距墙壁的最小距离应当是1米。距天花板的最小距离应当是1.2米。
在本说明书中,小写字母变量将被用于时间域信号,例如x[n],并且大写字母变量将被用于频率域表示,例如X[k]。
声音信号l耳[n](lear[n])和r耳[n](rear[n])涉及两耳并且将在本说明书全文中被采用以意指在收听者的耳道的入口处测量的那些信号。和显示,所有的定位所需要的方向信息在这些信号中可获得。两耳的信号之间的差异的属性被称为两耳间。参照图1,考虑其中仅具有由信号l源[n](lsource[n])馈送的一个声源的情况。在这种情况下,左耳被称为和声源在身体的同侧,因为其和声源在相对于0°方位或正中线的同一个半球中,hLL[n]是lsource[n]和lear[n]之间的传输路径的脉冲响应。相似地,右耳被称为在身体的对侧的,并且hRL[n]是lsource[n]和rear[n]之间的传输路径的脉冲响应。在理想的情况下ΘL=ΘR=30°。
如果本环境是用于自由场中的点源,那么这些脉冲响应、或频率域中的头部相关的传递函数(HRTF),将含有关于由躯干、头部和耳廓(外耳)导致的衍射、散射、干涉和共振效应的信息并且在表征源和收听者的相对位置的方式上有差异。在本发明中使用的HRTF是来自CIPIC InterfaceLaboratory[2004]数据库,并且具体地用于具有小的耳廓的头部和躯干模拟器。然而,将理解,头部相关的传递函数的其他的实例也可以根据本发明被使用,例如来自真实的人耳的、来自人造的人耳(人造的头部)的,以及甚至模拟的HRTF的头部相关的传递函数。
这些信号的频率域表示使用离散傅里叶变换DFT来计算,如在以下的六个等式中以公式表示的,这些等式在Oppenheim和Schafer[1999,页561]中共同被称为傅里叶分析等式。
左耳和右耳之间的差异通过以下的等式中定义的耳间传递函数HIA[k]描述:
两耳听觉系统是指在两耳的信号上操作以产生被感知的空间感的过程的集合。所评价的基本的指标是两耳间的声强差ILD和两耳间的时间差ITD。这些量在下文定义。
ILD是指与平均声压级相关的L耳[k](Lear[k])和R耳[k](Rear[k])之间的相异度。ILD由HIA[k]的幅度定量地描述。
ITD是指与它们的时间关系相关的Lear[k]和Rear[k]之间的相异度。ITD由HIA[k]的相位延迟定量地描述。在具体的频率处的相位延迟是除以频率后的负的展开的相位。
对于其中Lsource[k]和Rsource[k]二者都存在的情况,耳间传递函数由以下的等式给出:
如果传输路径是线性的和时不变的,即LTI,那么它们的脉冲响应可以被独立地确定,并且HIA[k]可以通过上文的等式中的叠加确定。
信号的功率谱密度是其自相关的傅里叶变换。lsource[n]和rsource[n]的功率谱密度在频率域内可以计算为谱与其复共轭的乘积,如在以下的等式中示出的:
PL[k]=Lsource[k]·Lsource[k]*
PR[k]=Rsource[k]·Rsource[k]*
交功率谱密度是两个信号之间的互相关的傅里叶变换。lsource[n]和rsource[n]的交功率谱密度在频率域内可以计算为L源[k](Lsource[k])与R源[k](Rsource[k])的复共轭的乘积,如在以下的等式中示出的:
PLR[k]=Lsource[k]·Rsource[k]*
lsource[n]和rsource[n]之间的相干性是两个信号之间的相似性的表示并且取在0至1之间的值。其通过两个信号的功率谱密度和它们的交功率谱密度计算。相干性可以在频率域内使用以下的等式(6)被计算。容易示出,如果单一的数据块被使用,那么CLR=1,并且因此在多个正在被分析的信号块上计算CLR。
要求的是,lsource[n]和rsource[n]共同是平稳的随机过程。根据Shanmugan和Breipohl[1988],这意指,自相关和联合分布应当是随时间迁移不变的。
当lsource[n]和rsource[n]是相干的并且不具有ILD或ITD时,并且假设自由场条件以及头部和躯干对称,那么HIA[k]的幅度和相位=0,如图2中所示的。在某个频率的正的ILD将意指在该频率的lsource[n]的较高的水平。相似地,在某个频率的正的ITD将意指该频率在lsource[n]中较早发生。
正常并且健康的听觉系统在这样的条件下的输出是单一的听觉图像,也被称为幻像,其以两个源之间的弧形段上的0度方位线为中心。诸如到达每个耳的声音是相同的环境也被称为影响双耳的(diotic)。相似地,如果具有小的ILD和/或ITD差异,那么单一的听觉图像将仍然被感知。该图像的在两个源之间的位置通过ITD和ILD被确定。这种现象被称为相加定位(Blauert[1997,页209]),ILD和ITD指标被“相加”,导致单一的知觉事件。这形成作为产生空间听觉场景的方式的立体声的基础。
如果ITD超出约1ms,相应于约0.34m的距离,那么听觉事件将被定位在最早的源处。这被称为第一声波靠前定律。因此,在初始的声音中,仅是在1ms内到达人耳的声音对于在立体声中的定位是关健的。这是关于源和室边界之间的距离的ITU推荐的一个原因。如果延迟被进一步增加,那么第二听觉事件将作为第一听觉事件的回声被感知。
真实的立体声音乐信号可以具有任何数量的分量,其CLR[k]范围作为时间的函数在0至1之间。当Lsource[n]和Rsource[n]被立体声音乐信号驱动时,两耳听觉系统的输出是发生在两个源之间的听觉场景,其范围和本质取决于立体声音乐信号之间的关系。
离轴收听环境
在前述的关于理想的立体声收听环境的段落中,已经考虑了相对于立体声声源对称地定位的收听位置。即,收听者位于所谓的“最有效点”的中心处,其是收听室中的将发生最优的空间声音重放的区域。取决于源、收听位置和室边界之间的距离,“最有效点”的有效区域将变化,但是其将是有限的。由于该原因,典型的是,某些收听者在离轴位置。离轴收听位置的一个实例在图3中示出。
在以下的分析中,再次地假设在自由场中的点源和对称的HRTF。
参照图3,明显的是,从两个声源到每个相应的耳的传播路径具有不同的长度,dl<dr。汽车收听环境中的典型的距离约是dl=1m,dr=1.45m并且dlr=1.2m。因为dr-dl=0.45m,所以使用第一声波靠前定律具有直接的问题,后果是听觉场景的大部分向左声源坍塌(collapse)。除这之外,角度ΘL和ΘR不再是相等的并且因此两耳的脉冲响应将不再是相等的,即hLL[n]≠hRR[n]并且hLR[n]≠hRL[n]。如果角度被估计为ΘL=25°并且ΘR=35°并且两耳的脉冲响应被修改以模拟近似的路径长度差的延迟和衰减,那么HIA[k]的幅度和相位是如图4中所示的。
与在轴上收听位置不同,当lsource[n]和rsource[n]被相同的信号驱动时,在这种情况下,听觉图像不可能位于收听者的正前方,而是将很有可能向左“倾斜”,或甚至完全地坍塌至左源的位置。音色将也被影响,因为ITD偏移将创建梳状滤波器,如可以在图4中示出的ILD图的较大的峰值中看到的。对于真实的立体声音乐信号,听觉场景将很有可能不被精确地重放,因为相加定位不再基于意图的两耳间指标。如果仅具有一个收听者,那么这些效应可以通过使用例如由Tokuno,Kirkeby,Nelson和Hamada[1997]描述的方法去卷积进行校正。
大多数真实的立体声收听环境不同于上文描述的理想的情况。真实的扬声器由于制造公差不可能具有完全匹配的频率响应和功率响应。此外,扬声器在真实的收听室中的位置可能接近障碍物和反射表面,其可能引入影响HIA的幅度和相位的依赖于频率的传播路径。如提到的,ITU推荐意图减少这样的效应。
虽然本发明可以在许多不同的环境中应用,但是特别地,在汽车座舱中的立体声重放将在以下的段落中被详细地描述。
汽车中的收听环境
汽车的立体声环境和“理想的”立体声环境之间的差异中的某些将在下文简要地描述。
当电动的活塞扬声器被使用时,也典型的是,多个换能器被用于重放音频频谱(20Hz至20kHz)。这样做的一个原因是作为频率的函数的由活塞辐射的声压的增加的方向性。其对于离轴收听有重大意义,如上文提到的。当波的传播在活塞(扬声器膜)上发生时,在高频率处,这种类型的扬声器的锥体也停止像活塞一样运动,从而产生失真。这种现象被称为圆锥体分裂。
扬声器典型地被安装在铁格(grill)后方,在车身中的各种空腔内部。据此,声音可以运动经过多个谐振系统。扬声器也将可能激励辐射另外的声音的其他的振动系统,例如门饰板。源可以接近座舱的边界并且其他的较大的反射表面可以在距源0.34m内。这将导致反射在直达声的1ms内到达,从而影响定位。与右信号相比,在左信号的源的路径中可以具有不同的障碍物(例如由于仪表组和方向盘,仪表板不是对称的)。座椅中的声音吸收材料例如罩和泡棉在空间上不均匀地分布。在近似65至400Hz之间的低频率,交通装置座舱中的声场包括或多或少将被阻尼的各种模式。
结果是,lear[n]和rear[n]分别将是从换能器经过座舱至相应的耳的多个传输路径的叠加。
这种情况由于以下事实进一步复杂化,即对于所有的驾驶者和乘客而言不具有固定的收听位置,并且代替地,收听区域的概念被使用。收听区域坐标系在图5中示出。
“收听区域”是收听者的耳朵最可能在其中并且因此回放系统的行为在其中是最关键的空间区域。在汽车中就座的驾驶者的位置被很好地在文献中记载,见例如Parkin,Mackay和Cooper[1995]。通过将由Parkin等人提出的对于95%的观测数据与在ITU-T P.58[1996]中推荐的头部几何构型组合,以下的收听窗应当包括大多数驾驶者的耳。参照图6中示出的汽车收听的实施例。
驾驶者的收听区域(在图6中被表示为围绕收听者的头部的矩形)距原点的近似的距离是dl=1m,dr=1.45m并且dlr=1.2m。在驾驶者的收听区域和乘客的收听区域的中心之间的近似的距离是dlisteners=0.8m。
在汽车的“收听区域”中的四个位置的耳间传递函数已经根据使用人造头部进行的测量被计算。图7示出了在位置1(在驾驶者的收听窗口的后方)和在位置2(在驾驶者的收听窗口的前方)的HIA。图8示出了在位置3(在乘客的收听窗口的后方)和在位置4(在乘客的收听窗口的前方)的HIA。
这些图揭示了在四个不同的收听位置之间的大的幅度差和相位差。在多于一个位置处修正这些差异是不可能的,并且在其他的位置处,去卷积可能甚至增加差异并且引入其他的可听到的人为因素,例如预振铃。要点是,在本环境中,去卷积不是用于定位的劣化的符合实际的解决方案。
立体向多-单通道转换
前述的分析表明了离轴收听位置在立体声重放下如何改变耳间传递函数。听觉场景将在其上如意图地被感知的较小的收听区域是作为空间声音重放的方式的立体声的限制。对于该问题的解决方案由Pedersen在EP1260119B1中提出。
在以上的文献中提出的解决方案由以下组成:多个声音信号从立体声信号中获取,使得这些信号中的每个可以通过放置在立体声信号由上文描述的理想的立体声装备重放时所产生的那些幻像源位置处的一个或多个扬声器进行重放。这种立体向多-单通道转换意图将幻像源转变为实声源,由此使它们的地点独立于收听位置。分析立体声信号,并且它们的各个频率分量的方位地点根据通道间幅度和相位差以及通道间相干性估计。
在以上的背景下,本发明的一个目的是提供一种不仅在所选择的优选的收听位置处而且更一般地在收听室的较大部分,特别地但是不排他地,在汽车的座舱内创建所给出的听觉场景的令人满意的重放的方法和相应的系统或设备。
以上的和其他的目的和优点根据本发明通过提供立体向多-单通道转换方法和相应的设备或系统来获得,根据这些,分布在听觉场景上并且构成听觉场景的幻像源的地点从两耳信号lear[n]和rear[n]被估计。为了确定哪个扬声器应当重放立体声信号的每个单独的分量,每个扬声器被分配待覆盖的方位角的一个范围,该范围可以与重放系统中的扬声器的数量成反比。根据在方位角的同一个范围上的头部相关的传输函数计算的ILD和ITD极限被分配给每个扬声器。立体声信号的每个分量被扬声器重放,其ILD和ITD极限与特定的信号分量的ILD和ITD一致。如上文提到的,立体声信号之间的较高的通道间相干性对于幻像源的发生是必需的,并且因此整个过程仍然根据这种相干性进行调整。
与在上文提到的EP1260119B1中描述的最初的立体声向多-单通道系统和方法相比,本发明获得对幻像源的位置的更好的预测,普通的收听者将通过从经过HRTF处理之后的左信号和右信号而不是从用于在一般的立体声装备中的扬声器重放的左信号和右信号获取ITD、ELD和相干性来感知该位置,即幻像源的预测是基于两耳信号。在本发明中使用的基于两耳信号对幻像源的最可能的位置的预测具有非常重要的结果,即幻像源的在空间中任何地点的定位(即不仅被约束于在一般的立体声的装备中的在收听者的前方且在左扬声器和右扬声器之间的部分)可以发生,在该预测之后具体的信号分量可以被引导至放置在收听区域周围的任何地点处的扬声器。
在根据本发明的系统和方法的具体的实施环境中,结合有头部跟踪设备,使得头部跟踪设备可以传感收听者的头部的取向并且以使得收听者的头部的正面方向相应于由多个扬声器重放的听觉场景的正面方向的方式改变用于每个单独的扬声器的各自的信号的处理。这种效果根据本发明由头部跟踪装置提供,所述头部跟踪装置与提供用于设置左角度限制装置和右角度限制装置的控制信号的收听者相关联,例如在本发明的详细描述中示出的。
虽然本发明的说明书将着重于应用三个扬声器(左、中央和右扬声器)的立体声向多-单通道系统和方法的实施环境,但是根据本发明的原理可以将系统和方法调整为其他数量的扬声器,例如调整为放置为围绕收听者的在经过他的耳朵的水平面中的五个扬声器,如从家庭使用的环绕声系统或汽车中的扬声器装备已知的。一个这种类型的实施环境将在本发明的详细描述中描述。
根据本发明的第一方面,因此提供了一种用于选择用于重放的听觉信号分量的方法,所述方法借助于放置在一对主要声音重放换能器(例如在立体声扬声器装备中的左扬声器和右扬声器或在环绕声扬声器装备中的毗邻的扬声器)之间的一个或多个补充的声音重放换能器,例如扬声器,所述方法包括以下步骤:
(i)指定方位角范围和收听方向,在所述方位角范围内,所述补充声音重放换能器中的一个被定位或待被定位在其中;
(ii)基于所述方位角范围和所述收听方向,分别确定左右两耳间声强差极限和左右两耳间时间差极限;
(iii)将一对输入信号提供至所述一对主要声音重放换能器;
(iv)预处理所述输入信号中的每个,由此提供一对已预处理的输入信号;
(v)确定在所述已预处理的信号之间的随频率而变的两耳间声强差和两耳间时间差;以及
(vi)将所述输入信号的具有在所述左右两耳间声强差极限之间的区间内的两耳间声强差和在所述左右两耳间时间差极限之间的区间内的两耳间时间差的那些信号分量提供至相应的补充声音重放换能器。
根据本发明的方法的具体的实施环境,具有在所述极限外部的两耳间声强差和两耳间时间差的那些信号分量被分别提供至所述左主要声音重放换能器和所述右主要声音重放换能器。
根据本发明的方法的另一个具体的实施环境,具有在所述极限外部的两耳间的差值的那些信号分量被作为输入信号提供至用于实施上述方法的装置。
根据本发明的方法的一个具体的实施环境,所述预处理装置是头部相关的传递函数装置,即预处理装置的输入通过相应于真实的人的头部相关函数(HRTF)、人造头部的头部相关传递函数或模拟的头部相关函数的函数被处理。
根据本发明的方法的目前优选的具体的实施环境,所述方法还包括确定所述一对输入信号之间的相干性,并且其中所述信号分量在提供至所述一个或多个补充声音重放换能器之前按所述相干性加权。
根据本发明的方法的又一具体的实施环境,相对于收听者的正面方向以及因此通过所述预处理装置(例如头部相关传递函数)的分别的处理由所述收听者选择。
根据本发明的方法的一个具体的实施环境,相对于收听者的正面方向以及因此通过所述预处理装置(例如头部相关传递函数)的分别的处理借助于附接于收听者的头部跟踪装置进行控制。
根据本发明的第二方面,还提供用于选择用于重放的听觉信号分量的设备,所述设备借助于放置在一对主要声音重放换能器(例如在立体声扬声器装备中的左扬声器和右扬声器或在环绕声扬声器装备中的毗邻的扬声器)之间的一个或多个补充声音重放换能器,例如扬声器,其中所述设备包括:
(i)指定装置,例如键盘或触摸屏,其用于指定所述补充声音重放换能器中的一个被定位在其中或待被定位在其中的方位角范围,并且用于指定收听方向;
(ii)确定装置,其基于所述方位角范围和所述收听方向分别确定左右两耳间声强差极限和左右两耳间时间差极限;
(iii)左和右输入终端,其将一对输入信号提供至所述一对主要声音重放换能器;
(iv)预处理装置,其用于预处理分别提供在所述左和右输入终端上的所述输入信号中的每个,由此提供一对已预处理的输入信号;
(v)确定装置,其用于确定在所述已预处理的输入信号之间的随频率而变的两耳间声强差和两耳间时间差;以及
(vi)信号处理装置,其用于将所述输入信号的具有在所述左右两耳间声强差极限之间的区间内的两耳间声强差和在所述左右两耳间时间差极限之间的区间内的两耳间时间差的那些信号分量提供至补充输出终端以提供至相应的补充声音重放换能器。
根据本发明的设备的一个实施环境,具有在所述极限外部的两耳间声强差和两耳间时间差的那些信号分量被分别提供至所述左主要声音重放换能器和所述右主要声音重放换能器。
根据本发明的另一个实施环境,具有在所述极限外部的两耳间的差值的那些信号分量被作为输入信号提供至上文指定的设备,由此将可能的是,装备包括放置在围绕收听者的地点处的多个补充换能器的较大的系统。例如,在包括前左、前中、前右、后左和后右的主要扬声器的环绕声扬声器装备中,根据本发明的系统可以例如分别向放置在前左和后左的主要扬声器之间和放置在前右和后右的主要扬声器之间的扬声器提供信号。多种其他的扬声器布置可以利用本发明的原理进行装备,并且这样的装备将全部落入本发明的范围内。
根据本发明的优选的实施环境,所述预处理装置是头部相关传递函数装置。
根据本发明的又一并且目前也优选的实施环境,所述设备包括确定所述一对输入信号之间的相干性的相干性确定装置,并且所述输入信号的信号分量在通过所述输出终端提供至所述一个或多个补充声音重放换能器之前按所述输入信号之间的通道间相干性加权。
根据本发明的设备的又一实施环境,相对于收听者的正面方向以及因此通过所述预处理装置(例如头部相关传递函数)的分别的处理由所述收听者选择,例如使用合适的接口,例如键盘或触摸屏。
根据本发明的设备的可选择的实施环境,相对于收听者的正面方向以及因此通过所述预处理装置(例如头部相关传递函数)的分别的处理借助于附接于收听者的头部跟踪装置或其他的用于确定所述收听者相对于声音重放换能器的装备的取向的装置进行控制。
根据本发明的第三方面,提供用于选择用于重放的听觉信号分量的系统,所述系统借助于放置在一对主要声音重放换能器(例如在立体声扬声器装备中的左扬声器和右扬声器或在环绕声扬声器装备中的毗邻的扬声器)之间的一个或多个补充声音重放换能器,所述系统包括根据本发明的所述设备中的至少两个,其中所述设备中的第一个被提供有第一左和右输入信号,并且其中所述第一设备提供在左输出终端、右输出终端和补充输出终端上的输出信号,在所述补充输出终端上的输出信号被提供至补充声音重放换能器,并且在所述左输出终端和右输出终端上的输出信号被分别提供至随后的根据本发明的设备的各自的输入信号,由此输出信号被提供至多个补充声音重放换能器中的分别的换能器。这样的系统的非限制性的实施例已经在上文描述。
附图简述
通过参照附图阅读本发明的实施环境的以下的详细描述,本发明将被更好地理解,在附图中:
图1图示了用于立体声信号的重放的扬声器和收听者的理想的布置;
图2示出了用于理想的立体声重放的作为频率的函数的(a)两耳间声强差(ILD)和(b)两耳间时间差。
图3图示了相对于立体声扬声器对的离轴收听位置的情况;
图4示出了用于离轴收听的作为频率的函数的(a)两耳间声强差(ILD)和(b)两耳间时间差;
图5示出了收听区域坐标系和收听者的头部取向;
图6图示了汽车收听环境;
图7示出了(a)作为频率的函数的位置1ILD,(b)作为频率的函数的位置1ITD,(c)作为频率的函数的位置2ILD和(d)作为频率的函数的位置2ITD;
图8示出了对于汽车中收听的(a)作为频率的函数的位置3ILD,(b)作为频率的函数的位置3ITD,(c)作为频率的函数的位置4ILD和(d)作为频率的函数的位置4ITD;
图9示出了根据本发明的实施环境的立体向多-单通道转换器的框图,所述转换器包括分别用于左扬声器、中央扬声器和右扬声器的三个输出通道;
图10示出了中央扬声器的地点和角度极限的实施例;
图11示出了在收听方向旋转之后的中央扬声器的地点和角度极限;
图12示出了(a)HIA音乐(f)的幅度、(b)HIA音乐(f)的相位延迟。
图13示出了(a)IDL左极限、(b)ILD右极限、(c)ITD左极限、和(d)ITD右极限;
图14示出了对于《Bird on a Wire》的512个样本的块的左通道和右通道之间的相干性;
图15示出了在-10°和+10°的源的ILD阈值以及HIAmusic(f)的幅度。
图16示出了ILD音乐到滤波器的映射;
图17示出了ILD音乐到滤波器的映射;
图18示出了在-10°和+10°的源的ITD阈值以及HIA音乐(f)的相位延迟。
图19示出了ITD音乐到滤波器的映射;
图20示出了ITD音乐到滤波器的映射;
图21示出了H中央(f)的幅度;
图22示出了50Hz正弦波的具有由随时间变化的滤波导致的不连续部的部分;
图23示出了H中央(f)的1/3八音度平滑的幅度;
图24示出了对于两个毗邻的分析块的H中央(f)的幅度;
图25示出了在转换速率极限之后的对于两个毗邻的分析块的H中央(f)的幅度;
图26示出了50Hz正弦波的具有由转换速率极限导致的减少的不连续部的部分;
图27示出了H中央(k)的脉冲响应;
图28示出了(a)线性卷积的输出,以及(b)循环卷积的输出;
图29示出了具有零填充的(a)线性卷积的输出,以及(b)循环卷积的输出;
图30示出了中央扬声器的地点和角度极限,其中收听方向在一对主要扬声器之间的角度范围的外部。
发明的详细描述
在下文,描述了根据本发明的设备,也称为立体向多-单通道转换器的具体的实施环境。结合本实施环境的详细描述,具体的数值,例如与扬声器装备中的各个角度相关的数值,在文字和图中使用,并且偶尔在各种数学表达式中使用,但是将理解,这样的具体的值将仅被理解为构成实施例,并且其他的参数值也将被本发明覆盖。这种转换器的基本的功能性原理将参照图9中示出的示意性的框图被描述。虽然图9中示出的实施环境可扩展至n个扬声器,并且可以被应用于以多于两个通道编码的听觉场景,但是在下文中描述的实施环境提供了提取用于除了一般的立体声重放系统的左扬声器和右扬声器(“主要”扬声器)之外的一个补充扬声器的信号。如图11中所示的,在下文的详细描述中,一个补充扬声器56通常被放置为相对于0°方位方向被旋转并且在收听者的正中平面。图10中示出的环境构成一个具体的实施例,其中v收听(vlisten)等于零度方位角。
再次参照图9,根据本发明的该实施环境的立体向多-单通道转换器(和相应的方法)包括五个主要功能,在框图中被标记为A至E。
在功能块A中,对两耳信号执行计算和分析,以确定在到来的立体声信号Lsource[n]和Rsource[n](参考数字分别为14和15)中的特定的信号分量是否可归于包括用于重放音频信号的补充扬声器56的给定的方位区间。这样的区间在图10和11中图示,相应于中央扬声器56。
在本实施环境中,输入信号14、15在HRTF立体声源块24中被转换为相应的两耳信号,并且基于该两耳信号,立体声输入信号14、15中的每个信号分量的两耳间声强差(ILD)和两耳间时间差(ITD)在被称为ILD音乐29和ITD音乐30的块中确定。在块25和26中,左角度极限和右角度极限分别基于在终端54(左范围)、53(收听方向)和55(右范围)的相应的输入信号被设置(例如10和11图中所示的)。HRTF的相应的值在27和28中确定。这些HRTF极限在块31、32、33和34中被转换为相应的两耳间声强差和两耳间时间差的极限。功能块A(参考数字19)的输出是立体声信号14、15的每个信号分量的ILD和ITD29、30以及右和左ILD和ITD极限31、32、33、34。这些来自功能块A的输出信号被提供至功能块C(参考数字21)中的映射函数,如在下文中描述的。
输入的立体声信号14、15另外被提供至功能块B(参考数字20),功能块B计算输入的立体声信号14、15的左信号14和右信号15之间的通道间相干性。所得到的相干性被提供至块C中的映射函数。
功能块C(21)将在功能A(19)和B(20)中计算出的两耳间差值和相干性映射到滤波器D(22)中,该两耳间差值和通道间相干性将被用于提取将由中央扬声器重放的输入信号lsource[n]和rsource[n](14、15)的那些分量。因此,抽取的基本概念是,将以高概率度导致幻像源在补充扬声器56被定位的位置处或附近被感知的立体声信号分量将被引导至补充扬声器56。“附近”的意思实际上通过块A(19)中限定的角度极限确定,并且形成幻像源的可能性通过块20中确定的左右通道间相干性确定。
图9中示出的本发明的实施环境的基本功能在下文更详细地描述。特定的计算和图涉及其中信号被针对另外的一个扬声器提取的实施例,所述另外的一个扬声器放置在分别以+/-30度方位放置的左扬声器和右扬声器之间的零度方位,相应于传统的立体声扬声器装备的这种装备如在图10中示意性地示出的。左范围、收听位置和右范围输入信号54、53、55的相应的值在此选择为-10度、0度、+10度方位,相应于图10中示出的情况。
功能A:两耳信号的计算和分析
第一步骤由通过将来自立体声信号源的输入的立体声信号lsource[n]和rsource[n]与在-30°的源的自由场两耳脉冲响应(h-30°L[n]和h-30°R[n])和+30°的源的自由场两耳脉冲响应(h+30。r[n]h+30。L[n])卷积来计算耳的输入信号lear[n]和rear[n]组成。时域卷积典型地以公式表达为第一序列的每个样本与另一个第二序列的时间反向形式(time reversed version)的乘积的总和,如在以下的表达式中示出的:
这些信号相应于在上文描述的理想的立体声的情况下的耳输入信号。
中央扬声器意图重放听觉场景的被定位在根据角度变量左范围、右范围和收听方向(也被称为vL范围(vLrange)、vL范围(vRrange)和vListen)计算的左角度极限vLlimit和右角度极限vRlimit之间的部分,如在以下等式中:
vLlimit=vLrange-vLlisten
vRlimit=vRrange-vLlisten
在本具体的实施例中,vLrange、vRrange分别是-/+10度,并且vListen是0度。
如果回放系统含有多个扬声器,那么角度变量左范围、右范围和收听方向允许获得的听觉场景的取向和宽度被操纵。图11示出了其中收听方向不是零度方位,结果导致听觉场景向左旋转(当与图10中的环境比较时)的实施例。对这些变量的改变可以由收听者明确地作出,或可以是收听者位置跟踪器(例如由收听者佩戴的头部跟踪器)的结果。
此外,在图30中示出了更普遍的情况,其中收听方向在包括补充扬声器56的角度范围的外部。虽然没有详细地描述,但是这种情况也被本发明覆盖。
根据在vLlimit度的源的自由场两耳脉冲响应hvLlimitdegL[n]和hvLlimitdegR[n]以及在vRlimit度的源的自由场两耳脉冲响应hvRlimitdegL[n]和hvRlimitdegR[n]计算在每种情况下的ILD极限和ITD极限。
在本实施环境中,在功能A至D中的信号分析的其余部分在上文描述的信号的N个样本的块的频率域表示上操作。使用矩形窗口。在下文描述的实施例中N=512。
耳输入信号、音乐信号和两耳脉冲响应(对于在自由场中的0°的源;这种处理是针对中央扬声器)的块的频率域表示使用DFT计算,如在以下的等式中以公式表达的:
然后,三个耳间传递函数如以下示出的被计算:
如上文提到的,ILDleftlimit、ILDrightlimit和ILD音乐根据合适的传递函数的幅度计算。相似地,ITDleftlimit、ITDrightlimit、和ITD音乐根据合适的传递函数的相位计算。
每个FFT仓k的中心频率f根据FFT采样数和采样率计算。用于以下的实施例的音乐信号是《Bird on a Wire》的在该音乐开始之后的样本n=2049:2560。参照图12,示出了ILD音乐和ITD音乐。
参照图13(左图),示出了ILDleftlimit和ILDrightlimit。
这些ILD和ITD函数是图9中的功能块C(参考数字21)的映射步骤的输入的一部分。
功能B:信号之间的相干性的计算
lsource[n]和rsource[n]之间的相干性,如上文提到的,取在0至1之间的值,根据两个信号的功率谱密度和它们的交功率谱密度计算。
lsource[n]和rsource[n]的功率谱密度在频率域内可以作为谱与其复共轭的乘积计算,如以下示出的:
PLL[k]=Lsource[k]·Lsource[k]*
PRR[k]=Rsource[k]·Rsource[k]*
lsource[n]和rsource[n]的交功率谱密度在频率域内可以作为Lsource[k]与Rsource[k]的复共轭的乘积计算,如以下示出的:
PLR[k]=Lsource[k]·Rsource[k]*
相干性在频率域内可以借助于以下等式计算:
CLR在此示出的实施例中在8个块上计算。
如果lsource[n]=rsource[n],那么CLR将在所有的频率都等于1。如果lsource[n]和rsource[n]是两个独立的随机信号,那么CLR将在所有的频率都接近0。对于音乐的块的lsource[n]和rsource[n]之间的相干性在图14中示出。
功能C:将两耳间差和相干性映射至滤波器
本功能块将在功能A和B中计算的两耳间差和相干性映射到滤波器,所述滤波器将用于提取lsource[n]和rsource[n]的将由中央扬声器重放的分量。基本思想是,ILD、ITD和通道间相干性函数对总体滤波器的贡献关于某些阈值被确定,所述阈值根据意图被扬声器覆盖的角度范围来确定。在下文中,中央扬声器被分配-10至+10度的角度范围。
将ILD映射至滤波器幅度
ILD阈值根据在-10和+10度的源的自由场的耳间传递函数确定。两种不同的计算ILD对最终的滤波器的贡献的方式在下文简要地描述。
在第一映射途径中,任何具有在极限外部的幅度的频率仓都被衰减,如可以在图15中看到的。理想地,衰减应当是无限的。实际上,衰减被限于A dB,在本实施例中为30dB,以避免人为因素被过滤,例如点击。这些人为因素将在下文被进一步讨论。ILD到滤波器的这种类型的映射在图16中示出。
一个可选择的方法是简单地使用在0度的源的HIAff[f]和作为滤波器幅度的HIA音乐[f]之间的幅度差异的负的绝对值,如图17中所示的。以这种方式,如果HIA音乐[f]和HIAff[f]之间的差越大,那么HIA音乐[f]被衰减得越多。不具有在以上的方法中的硬阈值,并且因此某些分量将流入毗邻的扬声器中。
将ITD映射至滤波器幅度
如在之前的段落中描述的,ITD阈值根据分别在-10和+10度的源的自由场的耳间传递函数来确定。再次地,两种用于包括ITD对最终的滤波器的贡献的方法在下文描述。
将在0度的源的HIAff[f]和HIA音乐[f]之间的相位差使用中央扬声器的ITD阈值作图,如图18所示。
第一“硬阈值”映射途径的结果是图19中示出的滤波器幅度。其中ITD在由分别在-10和+10度的自由场源装备的阈值的外部的所有的频率仓在本实施例中被衰减30dB。
另一个途径是基于每个频率仓的与分别在-30和+30度的自由场源比较的延迟百分比计算在每个频率仓的衰减。例如,如果在某个频率的最大延迟是16个样本,并且音乐块的ITD是4个样本,那么其总延迟的百分比将是25%。然后衰减可以是总数的25%。即,如果被允许的总衰减是30dB,那么相关的频率仓将被衰减18dB。
以这种方式设计的滤波器幅度的实施例在图20中示出。
将相干性映射至滤波器幅度
因为强度和时间平移对于相干信号最好地起作用,所以立体向多-单通道转换的操作应当优选地将lsource[n]和rsource[n]之间的相干性考虑在内。当这些信号完全不相干时,没有信号应当被发送至中央通道。如果信号是完全地相干的并且不具有ILD和ITD,那么理想地,lsource[n]和rsource[n]的整个内容应当被发送至中央扬声器,并且没有任何内容应当被发送至左扬声器和右扬声器。
相干性在本实施中被用作比例因子并且在以下的段落中描述。
功能D:滤波器设计
用于中央扬声器的基本的滤波器H中央(f)作为ILD滤波器、ITD滤波器和相干性的乘积被计算,如在下文的等式中以公式表达的。重要的是注意,这是线性相位滤波器,每个频率仓的虚部被设置为0,因为其不期望将相移引入音乐中。
Hcenter[f]=ILDMAPcentre[f]·ITDMAPcentre[f]·CLR[f]
结果是具有如图21中示出的幅度的滤波器。
Hcentre[f]对于每个块被更新,即其是时变滤波器。这种类型的滤波器引入了失真,如果块之间的不连续部过于大的话,该失真可以被听到。图22示出了这种情况的一个实施例,其中在样本400至900之间的50Hz正弦波的部分中的不连续部可以被观察到。
两种用于减少失真的方式在本实现中应用。
首先,交叉频率平滑被应用于Hcentre[f]。这减少了在毗邻的频率仓的滤波器幅度中的急剧的改变。这种平滑通过用任一侧的1/3倍频程的幅度的平均值代替每个频率仓的幅度而实现,导致图23中示出的滤波器。注意,y轴的比例与图21相比发生了改变。
转换速率极限从一个块至下一个也被应用于每个频率仓的幅度。图24示出了本块和前一个块的Hcentre[f]。约15dB的幅度差可以在约1kHz和10kHz看到。
这些差的幅度将导致听上去像鼠标点击的可听到的失真。转换速率极限使用条件逻辑语句被实施,其一个实施例在以下的伪代码中给出。
算法1(用于限制滤波器的转换速率的伪代码):
if new value>(old value+maximum positive change)then
new value=(old value+maximium positive change)
else
if new value<(old value-maximum negative change)then
new value=(old value-maximum negative change)
end if
end if
选择最大的正的和负的变化值是在失真和具有滤波器之间的一种权衡,所述滤波器足够迅速地反应以表示lsource[n]和rsource[n]之间的关系的最重要的随时间变化的性质。在本实施例中根据经验确定值并且1.2dB被发现是可接受的。图25示出了使用该1.2dB转换速率极限的在本块和前一个块的Hcentre[f]之间的变化。
再次地考虑在约1kHz和10kHz的区域。清楚的是,仅高至转换速率极限的差被维持。图26示出了50Hz正弦波的相同部分,其中交叉频率平滑和转换速率极限被应用于时变滤波器。在图22中清楚地可见的不连续部被很大地减少。滤波器的增益在该频率也发生变化的事实也从正弦波的水平已经变化的事实可以看出。如上文提到的,在表示源材料中的通道间关系的精确度和避免来自时变滤波器的人为因素之间存在权衡。
如果等效于循环卷积的快速卷积将被使用,那么滤波器必须被转换为它们的时域形式,使得时域混叠可以被合适地控制(这将在下文更彻底地描述)。
离散傅里叶逆变换被简写为IDFT,并且由以下的等式给出,并且被称为Hcentre[k]的傅里叶综合等式,获得其脉冲响应。
因为Hcentre[f]是线性相位,所以H中央[n]是N个样本长度的非因果有限脉冲响应(FIR)滤波器,这意味着其超前第一样本。这种类型的滤波器可以通过应用N/2个样本的延迟变为因果的,如图27中所示的。注意,滤波器是关于样本N/2+1对称的。相位点值(tap value)已经被归一化,仅为了作图的目的。
功能E:计算用于每个扬声器的信号
使用重叠保留(overlap-save)法的快速卷积
在时间域中用于卷积两个序列的时间与N2成比例,其中N是最长的序列的长度。而在频率域中,用于卷积两个序列(它们的频率响应的乘积)的时间与N log N成比例。这意味着,对于比约64个样本长的序列来说,频率域卷积在计算上更高效并且因此有短语快速卷积。在两个方法的输出中具有重要的差异,即频率域卷积是循环的。在图28的粗实线中示出的曲线是图27中的长度N=512的滤波器与长度M=512的500Hz正弦波的时间域卷积的输出序列。注意,256个样本预振铃是使线性相位滤波器有因果关系的原因。在这种情况下,输出序列是(N+M)-1=1023个样本长。图28中示出的淡曲线是同一个滤波器和正弦波的快速卷积的输出序列并且仅512个样本长。应当在样本512之后到来的样本已经被循环地移位和添加到样本1至511中,这种现象被称为时域混叠。
时域混叠可以通过在傅里叶变换之前零填充序列而避免,并且这是返回至在上文的关于功能块D的段落中提到的滤波器的时间域表示的原因。图29中的粗曲线是图27中的长度N=512的滤波器与长度M=1024的500Hz正弦波的时间域卷积的输出序列。在这种情况下,输出序列是(N+M)-1=1535个样本长。图29中的细曲线是零填充到长度N=1024个样本的同一滤波器和仍然具有长度M=1024的正弦波的快速卷积的输出序列。在此输出序列是1024个样本长,然而,与上文的情况形成对比,输出序列的在与零填充相同位置的部分,即样本512至1024,与时间域卷积的输出是相同的。
保存该部分并且通过将512个样本沿着正弦波向前移位来重复该过程被称为快速卷积的重叠保留法,并且等效于时间域卷积,除了另外的256个样本延迟产生了与过滤过程相关联的总延迟Filter_delay=512个样本之外。为了对这种技术进行充分的解释,参考Oppenheim和Schafer[1999,587页]。
输出信号的计算
待被中央扬声器重放的信号Coutput[n]使用以下等式计算:
coutput[n]=lfiltered[n]+rfiltered[n]
待分别被左扬声器和右扬声器重放的信号然后通过分别从lsource[n]和rsource[n]减去Coutput[n]被计算,如在以下的等式中示出的。注意,lsource[n]和rsource[n]被延迟以将滤波器延迟计算在内。
loutput[n]=Z-filter_delay·lsource[n]-lfiltered[n]
routput[n]=Z-filter_delay·rsource[n]-rfiltered[n]
在其中rsource[n]=-lsource[n]的具体的情况下,信号是负相关的,并且容易表明,所有的输出信号都将是零。在这种情况下,交功率谱密度的相位的绝对值PLR[k]将等于并且相干性CLR[k]将等于在以下的伪代码中的条件语句被应用以确保loutput[n]=lsource[n],routput[n]=-lsource[n]并且Coutput[n]=0。
算法2(用于处理负相关的信号的伪代码):
CLR[k]=0
end if
此外在lsource[n]或rsource[n]任一个无声的情况下,那么CLR[k]应当是零。然而,可以具有防止这发生的数值问题。在本实现中,如果PLL[k]或PRR[k]中任一个的值下降到低于-140dB,那么CLR[k]被设置为零。
参考文献
[1]Albert S.Bregman.Auditory Scene Analysis(听觉场景分析).TheMIT Press,Cambridge,Massachusetts,1994.
[2]Bech.Spatial aspects of reproduced sound in small rooms(在小房间中的再现声音的空间方面).J.Acoust.Soc.Am.,103:434-445,1998.
[3]Jens Blauert.Spatial Hearing(空间听觉).MIT Press,Cambridge,Massachusetts,1994.
[4]D.and H.Sound transmission to and within thehuman ear canal(人类耳道内的声音传输).J.Acoust.Soc.Am.,100(1);408-427,1996.
[5]CIPIC Interface Laboratory.The cipic hrtf database(CIPIC头部反应传送函数数据库),2004.
[6]Allan V.Oppenheim and Ronald W.Schafer.Discrete-Time SignalProcessing(离散时间信号处理).Prentice-Hall,Upper Sadd1e River,199.
[7]H.Tokuno,O.Kirkeby,P.A.Nelson and H.Hamada.Inverse filter ofsound reproduction systems using regularization(使用正则化的声音再现系统的逆滤波器).IEICE Trans.Fundamentals,E80-A(5):809-829,May1997.
[8]S.Perkin,G.M.Mackay,and A.Cooper.How drivers sitin cars(司机如何在车里就坐).Accid.Anal.And Prev.,27(6):777-783,1995.
Claims (23)
1.一种用于选择在具有一个或多个补充声音重放换能器的扬声器装备中进行重放的听觉信号分量的方法,所述一个或多个补充声音重放换能器被放置在一对主要声音重放换能器之间,所述方法包括以下步骤:
(i)指定所述补充声音重放换能器中的一个被定位在其内或待被定位在其内的方位角范围;
(ii)基于所述方位角范围,根据在所述方位角范围的每个极限角度的源的自由场两耳脉冲响应分别确定左右两耳间声强差极限和左右两耳间时间差极限;
(iii)将一对输入信号提供至所述一对主要声音重放换能器;
(iv)预处理相应于理想的立体声收听的两耳脉冲响应与用于所述一对主要声音重放换能器的所述输入信号中的每个,由此提供一对已预处理的信号;
(v)确定所述已预处理的信号之间的、随频率而变的两耳间声强差和两耳间时间差;以及
(vi)将所述输入信号的分别具有在所述左右两耳间声强差极限之间的区间内的两耳间声强差和在所述左右两耳间时间差极限之间的区间内的两耳间时间差的那些信号分量提供至相应的补充声音重放换能器。
2.根据权利要求1所述的方法,其中收听方向被指定为所述扬声器装备的听觉旋转。
3.根据权利要求1所述的方法,其中具有在所述极限外部的两耳间声强差和两耳间时间差的那些信号分量被提供至所述主要声音重放换能器。
4.根据权利要求1所述的方法,其中具有在所述极限外部的两耳间差的那些信号分量被作为输入信号提供至用于实施根据权利要求1所述的方法的装置。
5.根据权利要求1所述的方法,其中所述两耳脉冲响应包括头部相关的传递函数。
6.根据权利要求1所述的方法,还包括确定所述一对输入信号之间的相干性,并且其中所述信号分量在被提供至所述一个或多个补充声音重放换能器之前按所述相干性加权。
7.根据权利要求4所述的方法,其中相对于收听者的正面方向以及因此由预处理装置进行的分别的处理由所述收听者选择。
8.根据权利要求4所述的方法,其中相对于收听者的正面方向以及因此由预处理装置进行的分别的处理借助于被附接于收听者的头部跟踪装置进行控制。
9.一种用于选择在具有一个或多个补充声音重放换能器(56)的扬声器装备中进行重放的听觉信号分量的设备,所述一个或多个补充声音重放换能器(56)被放置在一对主要声音重放换能器(2、3)之间,所述设备包括:
(i)指定装置(53、54、55),其用于指定所述补充声音重放换能器(56)中的一个被定位在其内或待被定位在其内的方位角范围;
(ii)确定装置(25、26、27、28、31、32、33、34),其基于所述方位角范围根据在所述方位角范围的每个极限角度的源的自由场两耳脉冲响应分别确定左右两耳间声强差极限和左右两耳间时间差极限;
(iii)左和右输入终端(14、15),其将一对输入信号提供至所述一对主要声音重放换能器(2、3);
(iv)预处理装置(24),其用于预处理相应于理想的立体声收听的两耳脉冲响应与被提供在所述左和右输入终端(14、15)上用于所述一对主要声音重放换能器的所述输入信号中的每个,由此提供一对已预处理的信号;
(v)确定装置(24),其用于确定所述已预处理的信号之间的随频率而变的两耳间声强差和两耳间时间差;以及
(vi)信号处理装置(22、23),其用于将所述输入信号的分别具有在所述左右两耳间声强差极限之间的区间内的两耳间声强差和在所述左右两耳间时间差极限之间的区间内的两耳间时间差的那些信号分量提供至补充输出终端(18)以提供至相应的补充声音重放换能器(56)。
10.根据权利要求9所述的设备,其中具有在所述极限外部的两耳间声强差和两耳间时间差的那些信号分量被提供至所述主要声音重放换能器(2、3)。
11.根据权利要求9所述的设备,其中具有在所述极限外部的两耳间差的那些信号分量被作为输入信号提供至另一根据权利要求9或10所述的设备。
12.根据权利要求9所述的设备,其中所述预处理装置(24)是头部相关的传递函数装置。
13.根据权利要求9所述的设备,还包括确定所述一对输入信号(14、15)之间的相干性的相干性确定装置(35),并且其中所述输入信号(14、15)的所述信号分量在通过所述补充输出终端(18)提供至所述一个或多个补充声音重放换能器(56)之前按所述输入信号(14、15)之间的通道间相干性加权。
14.根据权利要求9所述的设备,其中相对于收听者的正面方向以及因此由所述预处理装置(24)进行的分别的处理由所述收听者选择。
15.根据权利要求9所述的设备,其中相对于收听者的正面方向以及因此由所述预处理装置(24)进行的分别的处理借助于被附接于收听者的头部跟踪装置或其他的用于确定所述收听者相对于声音重放换能器的装备的取向的装置进行控制。
16.根据权利要求9-15中任一项所述的设备,其中所述补充声音重放换能器是扬声器。
17.根据权利要求9-15中任一项所述的设备,其中所述主要声音重放换能器是在立体声扬声器装备中的左扬声器和右扬声器。
18.根据权利要求16所述的设备,其中所述主要声音重放换能器是在立体声扬声器装备中的左扬声器和右扬声器。
19.根据权利要求9-15中任一项所述的设备,其中所述主要声音重放换能器是在环绕声扬声器装备中的毗邻的扬声器。
20.根据权利要求16所述的设备,其中所述主要声音重放换能器是在环绕声扬声器装备中的毗邻的扬声器。
21.根据权利要求9-15中任一项所述的设备,其中所述指定装置是键盘或触摸屏。
22.根据权利要求16所述的设备,其中所述指定装置是键盘或触摸屏。
23.一种用于选择在具有一个或多个补充声音重放换能器(56)的扬声器装备中进行重放的听觉信号分量的系统,所述一个或多个补充声音重放换能器(56)被放置在一对主要声音重放换能器(2、3)之间,所述系统包括根据前述权利要求9至15中任一项所述的设备中的至少两个,其中所述设备中的第一个被提供有第一左和右输入信号(14、15),并且其中所述设备中的所述第一个在左输出终端(16)、右输出终端(17)和补充输出终端(18)上提供输出信号,在所述补充输出终端(18)上的输出信号被提供至补充声音重放换能器,并且在所述左输出终端和所述右输出终端上的输出信号被分别提供至随后的根据前述权利要求9至15中任一项所述的设备的各自的输入信号,由此输出信号被提供至多个补充声音重放换能器(56)中的相应的补充声音重放换能器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA201000251 | 2010-03-26 | ||
DKPA201000251 | 2010-03-26 | ||
PCT/EP2010/064369 WO2011116839A1 (en) | 2010-03-26 | 2010-09-28 | Multichannel sound reproduction method and device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102804814A CN102804814A (zh) | 2012-11-28 |
CN102804814B true CN102804814B (zh) | 2015-09-23 |
Family
ID=43243205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080065614.8A Active CN102804814B (zh) | 2010-03-26 | 2010-09-28 | 多通道声音重放方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9674629B2 (zh) |
EP (1) | EP2550813B1 (zh) |
JP (1) | JP2013524562A (zh) |
KR (1) | KR20130010893A (zh) |
CN (1) | CN102804814B (zh) |
WO (1) | WO2011116839A1 (zh) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
WO2011039413A1 (en) * | 2009-09-30 | 2011-04-07 | Nokia Corporation | An apparatus |
JP2013524562A (ja) | 2010-03-26 | 2013-06-17 | バン アンド オルフセン アクティー ゼルスカブ | マルチチャンネル音響再生方法及び装置 |
US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
US20130089220A1 (en) * | 2011-10-10 | 2013-04-11 | Korea Advanced Institute Of Science And Technology | Sound reproducing appartus |
US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
US10606546B2 (en) | 2012-12-05 | 2020-03-31 | Nokia Technologies Oy | Orientation based microphone selection apparatus |
USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
US9215545B2 (en) | 2013-05-31 | 2015-12-15 | Bose Corporation | Sound stage controller for a near-field speaker-based audio system |
US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9913012B2 (en) * | 2014-09-12 | 2018-03-06 | Bose Corporation | Acoustic device with curved passive radiators |
CN104284271B (zh) * | 2014-09-18 | 2018-05-15 | 国光电器股份有限公司 | 一种用于扬声器阵列的环绕声增强方法 |
US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
EP3229498B1 (en) * | 2014-12-04 | 2023-01-04 | Gaudi Audio Lab, Inc. | Audio signal processing apparatus and method for binaural rendering |
US9602947B2 (en) | 2015-01-30 | 2017-03-21 | Gaudi Audio Lab, Inc. | Apparatus and a method for processing audio signal to perform binaural rendering |
GB2535990A (en) * | 2015-02-26 | 2016-09-07 | Univ Antwerpen | Computer program and method of determining a personalized head-related transfer function and interaural time difference function |
US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
CN108028985B (zh) | 2015-09-17 | 2020-03-13 | 搜诺思公司 | 用于计算设备的方法 |
USD1043613S1 (en) | 2015-09-17 | 2024-09-24 | Sonos, Inc. | Media player |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
CN109691139B (zh) * | 2016-09-01 | 2020-12-18 | 安特卫普大学 | 确定个性化头部相关传递函数和耳间时间差函数的方法和设备 |
US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
CN110771181B (zh) | 2017-05-15 | 2021-09-28 | 杜比实验室特许公司 | 用于将空间音频格式转换为扬声器信号的方法、系统和设备 |
WO2019066348A1 (ko) * | 2017-09-28 | 2019-04-04 | 가우디오디오랩 주식회사 | 오디오 신호 처리 방법 및 장치 |
CN108737896B (zh) * | 2018-05-10 | 2020-11-03 | 深圳创维-Rgb电子有限公司 | 一种基于电视机的自动调节喇叭朝向的方法及电视机 |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
CN113035164B (zh) * | 2021-02-24 | 2024-07-12 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌声生成方法和装置、电子设备及存储介质 |
GB2627479A (en) * | 2023-02-23 | 2024-08-28 | Meridian Audio Ltd | Generating audio driving signals for the production of simultaneous stereo sound stages |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001062045A1 (en) * | 2000-02-18 | 2001-08-23 | Bang & Olufsen A/S | Multi-channel sound reproduction system for stereophonic signals |
CN101401456A (zh) * | 2006-03-13 | 2009-04-01 | 杜比实验室特许公司 | 呈现中央声道音频 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2708105B2 (ja) | 1989-04-26 | 1998-02-04 | 富士通テン 株式会社 | 車載用音響再生装置 |
US6243476B1 (en) * | 1997-06-18 | 2001-06-05 | Massachusetts Institute Of Technology | Method and apparatus for producing binaural audio for a moving listener |
GB2374506B (en) * | 2001-01-29 | 2004-11-17 | Hewlett Packard Co | Audio user interface with cylindrical audio field organisation |
US8054980B2 (en) * | 2003-09-05 | 2011-11-08 | Stmicroelectronics Asia Pacific Pte, Ltd. | Apparatus and method for rendering audio information to virtualize speakers in an audio system |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
JP4835298B2 (ja) | 2006-07-21 | 2011-12-14 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法およびプログラム |
US8180062B2 (en) * | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
JP2013524562A (ja) | 2010-03-26 | 2013-06-17 | バン アンド オルフセン アクティー ゼルスカブ | マルチチャンネル音響再生方法及び装置 |
-
2010
- 2010-09-28 JP JP2013500345A patent/JP2013524562A/ja active Pending
- 2010-09-28 CN CN201080065614.8A patent/CN102804814B/zh active Active
- 2010-09-28 EP EP10765607.6A patent/EP2550813B1/en active Active
- 2010-09-28 KR KR1020127024636A patent/KR20130010893A/ko not_active Application Discontinuation
- 2010-09-28 US US13/581,629 patent/US9674629B2/en active Active
- 2010-09-28 WO PCT/EP2010/064369 patent/WO2011116839A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001062045A1 (en) * | 2000-02-18 | 2001-08-23 | Bang & Olufsen A/S | Multi-channel sound reproduction system for stereophonic signals |
CN101401456A (zh) * | 2006-03-13 | 2009-04-01 | 杜比实验室特许公司 | 呈现中央声道音频 |
Also Published As
Publication number | Publication date |
---|---|
CN102804814A (zh) | 2012-11-28 |
KR20130010893A (ko) | 2013-01-29 |
EP2550813B1 (en) | 2016-11-09 |
EP2550813A1 (en) | 2013-01-30 |
JP2013524562A (ja) | 2013-06-17 |
WO2011116839A1 (en) | 2011-09-29 |
US20130010970A1 (en) | 2013-01-10 |
US9674629B2 (en) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102804814B (zh) | 多通道声音重放方法和设备 | |
Favrot et al. | LoRA: A loudspeaker-based room auralization system | |
CN107835483B (zh) | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 | |
CN114401481B (zh) | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 | |
US8270616B2 (en) | Virtual surround for headphones and earbuds headphone externalization system | |
EP3364669B1 (en) | Apparatus and method for generating an audio output signal having at least two output channels | |
Wierstorf | Perceptual assessment of sound field synthesis | |
Zhong et al. | Head-related transfer functions and virtual auditory display | |
JP2013211906A (ja) | 音声空間化及び環境シミュレーション | |
EP3090573B1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
CN113170271A (zh) | 用于处理立体声信号的方法和装置 | |
Robinson et al. | The role of diffusive architectural surfaces on auditory spatial discrimination in performance venues | |
Xie | Spatial sound: Principles and applications | |
CN109923877B (zh) | 对立体声音频信号进行加权的装置和方法 | |
Jot et al. | Binaural concert hall simulation in real time | |
Komiyama et al. | A loudspeaker-array to control sound image distance | |
AU2015238777B2 (en) | Apparatus and Method for Generating an Output Signal having at least two Output Channels | |
Muhammad et al. | Virtual sound field immersions by beamforming and effective crosstalk cancellation using wavelet transform analysis | |
Vanhoecke | Active control of sound for improved music experience | |
KR20060026234A (ko) | 입체 음향 재생 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |