CN1282444A - 一种处理虚拟声音环境的方法和系统 - Google Patents

一种处理虚拟声音环境的方法和系统 Download PDF

Info

Publication number
CN1282444A
CN1282444A CN98812451A CN98812451A CN1282444A CN 1282444 A CN1282444 A CN 1282444A CN 98812451 A CN98812451 A CN 98812451A CN 98812451 A CN98812451 A CN 98812451A CN 1282444 A CN1282444 A CN 1282444A
Authority
CN
China
Prior art keywords
wave filter
sound
acoustic environment
parameter
transmitting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98812451A
Other languages
English (en)
Other versions
CN1122964C (zh
Inventor
J·霍帕尼米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1282444A publication Critical patent/CN1282444A/zh
Application granted granted Critical
Publication of CN1122964C publication Critical patent/CN1122964C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves

Abstract

一种虚拟声音环境包括反射,吸收和传输声音的表面,参数化滤波器被用于代表表面,规定滤波器传递函数的参数被提出以便代表参数化滤波器。

Description

一种处理虚拟声音环境的方法和系统
本发明涉及一种可以对听众创造相应于某种场所的人工听觉感受的方法和系统。具体地本发明涉及在一种以数字形式对要提交给用户的信息进行传递、处理和/或压缩的系统中对这样一种听觉感受的传递。
虚拟声音环境归属于一种听觉感受,由此一个收听电气复现声音的人可以想象自己处于某种场所中。一种创造虚拟声音环境的简单装置是将混响相加,由此收听者得到某种场所的感受。复杂的虚拟声音环境通常试图模仿某种真实的场所,由此通常被称为所述场所的伴音。这种概念描述在,例如,下文中:M.Kleiner,B.-I.Dalenback,P.Svensson,“Auralization-An Overview”,1993,J.Audio Eng.SocVo1.41,No.11,pp.861-875。利用自然的方法,将伴音可与创造虚拟可视环境组合起来,由此有适当的显示设备和扬声器或耳机的用户可以观察到一种所希望的真实的或想象的场所,甚至在所述的场所中“移动”,这样他的视听感受是不同的,这要取决于他选择所述的环境中哪一点作为他的观察点。
将虚拟声音环境的创造分成三个因素,它们是声源模拟,场所模拟,收听者模拟。本发明具体涉及场所模拟,因此目的就是创立一种关于声音如何传播,如何在所述的场所中反射和衰减的思路,并把这种思路以电的形式传送供收听者使用。模拟一个场所的音质的已知方法是所谓的射线追踪及映象源方法。在前一种方法中,将由声源产生的声音分成包括实质上以直线方式传播的“声波射线”的三维波束,然后计算每条射线在所处理的场所中是如何传播的。收听者所获得的听觉感受是在一定的周期内,通过某个最大的反射数目,到达由听收者选取的观察点的那些射线代表的声音相加产生的。在映象源方法中,为原来的声源产生多个虚拟映象源,因此这些虚拟源是关于所查看的反射表面的声源的镜象映象:在每个所查看的反射表面后面安放一个映象源,到达观察点的直接距离等于通过反射测量到的原来的声源和观察点之间的距离。而且,来自映象源的声音从与真实的反射声音相同的方向到达观察点。通过将由映象源产生的声音相加来获得该听觉感受。
现有技术的方法提出非常繁重的计算负担。如果我们假定虚拟环境是通过,例如无线电广播或通过数据网络传送给用户,那末用户的接收机应该连续跟踪多达万条声波射线或者将成千个映象源产生的声音相加。而且,当用户决定改变观察点位置时计算的基础一直在改变。利用目前的设备和现有技术的方法实际上不可能传送伴音的声音环境。
本发明的目的是提供一种以合理的计算负荷传送虚拟声音环境给用户的方法和系统。
通过将要模拟的环境划分成几个部分,对这些部分建立参数化的反射和/或吸收模型以及传输模型,并在数据传输中通过主要处理模型的参数来达到本发明的目的。
依据本发明的方法的特征在于,由参数化的滤波器来表示各个表面。
本发明还涉及一种系统,其特征在于包括用于组成滤波器组的装置,该滤波器组包括用于模拟表面的参数化滤波器。
依据本发明一种场所的音质特征在于用这样的方式模拟,其原理如同从表面的可见模型所知。在此一个表面通常意味着一个所查看的场所的对象,因此对象的特征相对于为该场所建立的模型是比较单一的,对于每个所查看的表面,规定了多个系数(如果模型包含可视特性,其可视特性除外),这些系数代表该表面的声学特征,因此这样一些系数是,例如,反射系数,吸收系数和传输系数。更一般些,我们可以说为该表面规定某种参数化的传递函数。在为该场所建立的模型中,所述的表面由实现所述的传递函数的滤波器来表示。当来自声源的声音被用作系统的输入时,由传递函数产生的响应代表碰撞所述的表面后的声音。该场所的声学模型由多个滤波器组成,其中每个滤波器代表在此场所中的某个表面。
如果代表此表面的声学特征的滤波器设计,和由此滤波器实现的参数化传递函数是已知的,那末为了表示某个表面,给出表征所述的表面的传递函数参数是足够的。在打算作为数据流传送虚拟环境的系统中有一台接收机和/或一台重现设备,在它的存贮器中存贮着此系统所采用的滤波器和传递函数的一种或多种类型。此设备得到作为其输入数据的数据流,例如,通过无线电或电视接收机接收,通过从数据网,如互联网下载,或从记录装置本地读出。在操作开始,该设备在数据流中得到用于在要建立的虚拟环境内模拟各个表面的那些参数。藉助于这些数据以及所存贮的滤波器类型和传递函数类型,该设备建立相应于要建立的虚拟环境的声学特征的滤波器组。在操作期间该设备在数据流内得到必须复现给用户的声音,因此将声音供给已经建立的滤波器组,并作为一个结果,得到已处理的声音,收听此声音的用户觉察到所希望的虚拟环境的感受。
所需的发送数据量可通过组成数据库进一步减少,数据库包括一定的标准表面并存贮在接收机/复现设备的存贮器中。该数据库含有参数,利用这些参数能够描述由数据库规定的标准表面。如果要建立的虚拟环境只包括标准表面,那末只有数据库中的标准表面的标识符必须在数据流中被传送,因此对应于这些标识符的传递函数的参数可从数据库中读出,不需要将它们分开传送到接收机/复现设备。数据库也可包含有关这样的复滤波器类型和/或传递函数的信息,它们与通常在系统中使用的那些滤波器类型和传递函数并不相似,如果需要它们用数据流发送的话,将不合理的消耗许多系统的数据传输容量。
以下将参考作为例子提出的最佳实施方案和附图作更详细的描述,其中:
图1示出要模拟的声音环境;
图2示出参数化滤波器;
图3a示出由参数化滤波器组成的滤波器组;
图3b示出图3a方案的修改;
图4示出应用本发明的系统;
图5a更详细地示出图4的一部分;
图5b更详细地示出图5a的一部分;和
图6示出应用本发明的另一个系统。
对于相应的部分使用相同的参考号码。
图1示出一个声音环境,包含声源100,反射表面101和102,和观察点103。而且,干扰声源104属于声音环境。从声源传播到观察点的声音由箭头表示。声音105直接从声源100传播到观察点103。声音106从墙面101反射出,声音107从窗户102反射出。声音108是由干扰声源104产生的声音,这种声音通过窗户102到达观察点103。除了在反射瞬间及通过窗玻璃时以外,所有的声音在由被查看的声音环境占据的空气中传播。
考虑到场所的模拟,在图中所示的所有声音表现不同,直接传播的声音105受由声源和观察点之间的距离与空气中声音的速度引起的延时,以及由空气引起的衰减的影响。从墙面反射的声音106除了由延时与空气衰减引起的影响以外,也受声音衰减和碰撞障碍物时可能的相移的影响。同样的因素影响到从窗户反射的声音107,但是由于墙面和窗玻璃的材料在声学上讲是不同的,在这些反射中以不同的方式反射,衰减和相移。来自干扰声源的声音108穿过窗玻璃,因此在观察点检测到它的可能性除了空气引起的延时和衰减的影响以外,还受窗玻璃传输特性的影响。在本例中可以假定墙面具有良好的隔音特性,由干扰声源104产生的声音并不穿过墙到观察点。
图2示出一个滤波器,也就是带有某个传递函数H并打算用于处理时间有关信号的设备200。时间有关的脉冲函数X(t)在滤波器200中被变换成时间有关的响应函数Y(t)。如果时间有关函数由称为它们的Z变换来表示,则传递函数的Z变换H(z)可表达为比值 H ( z ) = Y ( z ) X ( z ) = Σ k = 0 M b k z - k 1 + Σ k = 1 N a k z - k · · · · · · · · · · ( 1 )
因此,为了传送一个随意的参数形式的传递函数,传送在它的Z变换表达式中使用的系数[b0b1a1b2a2…]就足够了。
在应用数字信号处理的系统中,滤波器200可以是,例如,一个IIR滤波器(无限脉冲响应),或者是一个FIR滤波器(有限脉冲响应)。关于本发明,滤波器200可被规定为一个参数化滤波器是必要的。一种比以上提出的传递函数的定义简单的替代方案是规定为在滤波器200中脉冲信号乘以一组代表所希望的表面的特性的系数,因此滤波器参数是,例如,信号的反射和/或吸收系数,信号通过期间的信号衰减系数,信号延时,和信号的相移。参数化滤波器可以实现始终是相同类型的传递函数,但是传递函数不同部分的相对份额在响应中是不同的,取决于给滤波器的参数。如果只用参数定义的一个滤波器200的用途是代表特别良好反射声音的一个表面,并且如果脉冲X(t)是某个声音信号,则滤波器作为参数被给出,反射系数接近1,吸收系数接近零。滤波器的传递函数的参数可以是频率有关的,因为高音和低音常常以不同方式被反射与吸收。
依据本发明的最佳实施方案,一个被模拟的场所的表面被分成许多节点,一个自身的滤波器模型由所有必要的节点组成,其中滤波器的传递函数取决于给于滤波器的参数,以不同的比例表示被反射,吸收和传输的声音。图1所示被模拟的场所可由只有几个节点的简单模型来表示。图3a示出包括三个滤波器的滤波器组;其中每个滤波器代表被模拟的场所的一个表面。第一滤波器301的传递函数可以代表反射,在图2中未分开示出,第二滤波器302的传递函数可以代表声音从墙面反射,第三滤波器303的传递函数既可代表声音从窗玻璃反射,也可代表声音穿过窗玻璃。当来自声源100的声音作为脉冲函数X(t)时,则滤波器301,302和303的参数r(反射系数),a(吸收系数)和t(传输系数)被设置,使得由滤波器301提供的响应代表由图2未示出的表面反射的声音,由滤波器302提供的响应代表从墙面反射的声音,滤波器303的响应代表从窗玻璃反射的声音。如果,例如,我们假定墙是高吸收材料,窗玻璃是高反射材料,那末在该图的实施方案中,反射系数r2接近零,窗玻璃的反射系数r3相应地接近1。通常可以指出,某个表面的吸收系数和反射系数互相关连:吸收越低,反射越高,反过来也一样(在数学上这种关连的形式为 r = 1 - a )。由滤波器给出的响应在相加器304中相加。
当希望用图3a的滤波器组模拟图1所示的干扰声音108时,滤波器301和302的吸收系数a1和a2被设置为1,因此没有形成干扰声音的任何反射分量。在滤波器303中,传输系数t3被设置为一个值,以此滤波器303可被构成代表通过窗玻璃传输的声音。
图3a也示出延时部件305,产生沿不同路径传播到吸收点的声音分量的相互时差。直接传播的声音将以最短时间到达吸收点,只在延时部件的第一级305a中被延时。通过墙面反射的声音在延时部件的头两级305a和305b中被延时,通过窗户反射的声音在延时部件的全部级305a,305b和305c中被延时。因为在图1中由声音覆盖的距离通过墙与通过窗是几乎相同的,在延时装置305中不同级代表不同大小的延时是可导出的:第三级305c不可能非常多地延时声音,作为一种替代的实施方案,我们可以按照图3b设想解答,其中延时装置的所有级是相同大小的,但从延时装置到滤波器的输出可在不同点得到,取决于各自所希望的延时。
图4示出具有发送设备401和接收设备402的一个系统。发送设备401组成含有至少一个声源和至少一个场所的音质特征的某种虚拟声音环境,并将它以某种形式传送到接收设备402。这种传送可以数字形式完成例如作为无线电或电视广播或通过数据网络。这种传送也可意味着在由发送设备401产生的虚拟声音环境的基础上产生记录,例如DVD盘(数字多功能盘),由接收设备的用户完成。作为记录被传送的一种典型应用是音乐会,其中声源是包括虚拟乐器的管弦乐队,场所是电模拟的想象的或真实的音乐厅,由此接收设备的用户可用他的设备收听在大厅的不同点上表演听起来怎样,如果这样的一种虚拟环境是视听型式的,那末,也包含由计算机图形实现的可视部分。本发明并不需要发送与接收设备是分离的设备,但用户可在一个设备中创造某种虚拟声音环境,使用相同的设备查看他的创造结果。
在图4所示的实施方案中,发送设备的用户用计算机图形工具403创造像音乐厅那样的某种可视环境,并用相应的工具404创造出像音乐家和虚拟管弦乐队的乐器那样的视频动画片。进一步,他用键盘405输入用于他所创造的环境表面的声学特性,例如反射系数r,吸收系数a和传输系数t,或者更一般性地,代表表面的传递函数,从数据库406加载虚拟乐器的声音。发送设备将由用户给出的信息处理或在块407、408,409和410中的位流,并在多路转换器411中将位流组合成一个数据流。数据流以某种形式传送到接收设备402,其中逆多路转换器412从数据流中插出并提供代表环境的视频部分到块413中,时间有关的视频部分或动画到块414中,时间有关的声音到块415中,代表表面的系统到块416中。视频部分被组合到显示驱动器块417中并供给显示器418。代表由声源发生的声音的信号由块415引向滤波器组419,其中滤波器已被给于从块416获得的参数,代表表面的特征。滤波器组419提供包括不同反射和衰减并被引向耳机420的声音。
图5a和5b更详细地示出接收设备的滤波器方案,可以按照本发明的方式实现一种虚拟声音环境。延时装置305相应于图3a和3b所示的延时装置,产生不同声音分量(例如沿不同路径反射的声音)的相互时差,滤波器301,302和303是参数化滤波器,按本发明的方式给于某些参数,因此滤波器301,302和303以及图中仅用点表示的其它相应滤波器中每一个提供虚拟环境某个表面的一个模型。由所述的滤波器提供的信号被分支,一方面到滤波器501,502和503,另一方面通过相加器和放大器504到相加器505,它们和回声分支506,507,508和509和相加器510以及和放大器511,512,513和514一起组成称为原本(per se)的电路,因此可在某个信号中产生混响,滤波器501,502和503是称为原本(per se)的方向滤波器,用以考虑,例如依据HRTF模型(Head-Related Transfer Function),在不同方向中收听者听觉感受的差别。最优先的做法是,滤波器501,502和503也包含所谓的ITD延时(Interaural Time Difference),代表从不同方向到达的声音分量的相互时差。
在滤波器501,502和503中,每个信号分量被分成左和右通道,或者在多通道系统中更一般而言分成N个通道。属于某个通道的所有信号在相加器515或516中被组装并供给相加器517或518,其中各自的混响被加到每个通道的信号上,线路519和520引到扬声器或耳机。在图5a中在滤波器302和303之间以及滤波器502和503之间的点意味着本发明对于在接收机设备的滤波器组中有多少滤波器并未施加限制,可以有甚至几百或几千个滤波器,这取决于被模拟的虚拟声音环境的复杂性。
图5b更详细地示出实现这样一种代表反射表面的参数化滤波器的可能性。在图5b中滤波器301包括三个相继的滤波器级530,531和532,其中第一级530代表在介质(通常是空气)中的传播衰减,第二级531代表在反射材料中产生的吸收,第三级532考虑声源的方向性。在第一级530中,既考虑声音在介质中从声源通过反射表面到达观察点经过的距离,又考虑介质的特性如空气的湿度,压力和温度是可能的。为了计算距离,级530从发送设备获得关于在要模拟的场所的座标系中声源的位置的信息和从接收设备获得关于用户已选作观察点的座标信息。描述介质特性的信息由第一级530或者从发送设备或者从接收设备获得(接收设备的用户可能有能力设置所希望的介质特性)。作为一种常设方案,第二级531从发送设备获得代表反射表面吸收的系数,虽然在这种情况下,接收设备的用户也有可能改变被模拟场所的特性。第三级532考虑由声源发送的声音在要模拟的场所中是如何从声源指向不同方向的,由滤波器301模拟的反射表面被定位在某个方向。
以上我们已一般性地讨论了可如何处理一个虚拟声音环境并利用参数从一个设备传送到另一个。接着我们讨论本发明对一种特定的数据传输形式的应用。“多媒体”意味着对用户同步表演视听目标。互作用多媒体表演被认为在将来有广阔的用途,例如作为一种娱乐和远距离会议的形式。在先前技术中已知有许多标准,规定以电的形式传送多媒体节目的不同方法。在本专利申请中,我们特别论述所谓的MPEG标准(Motion Picture Experts Group),其中尤其是MPEG-4标准,当这份专利申请被递交时该标准还在准备中,作为一个目标是被传送的多媒体表演可以包含真实的和虚拟的对象,它们一起组成某种视听环境。本发明可进一步用于,例如依据VRML标准(Virtual RealityModelling Language)的场合。
依据MPEG-4标准的数据流包括多路复用的视听对象,两者可包含时间上连续的部分(例如某个合成的声音),和参数(例如在要模拟的场所中声源的位置)。对象可被规定为等级型的,因此所谓的原始对象位于等级的较低层。除了对象以外,依据MPEG-4标准的多媒体节目包含所谓的情景描述,包含涉及对象相互关系的信息和涉及节目一般合成方案的信息,最优先的做法是与真实的对象分开编码与解码,情景描述也称为BIFS部分(BInary Format for Scenedescription)。依据本发明的虚拟声音环境的传送是便于实现的,这样和它有关的一部分信息是在BIFS部分中传送,一部分是用由MPEG-4标准规定的Structured Audio Orchestra Language/Structured AudioScore Language(SAOL/SASL)传送的。
在已知的方法中,BIFS部分包含规定的表面描述(材料节点),包含用于可视地传送代表表面的参数的区,例如SFFloat ambientIntensity,SFColor diffuse Color,SFColor emissive Color,SFFloatshininess,SFColor SpeanlarColor和SFFloat transparency。本发明通过加上这种描述可应用于以下的用于传送声学参数的区。
SFFloat diffuseSound
在本区中传送的值是一个系数,规定从表面声音反射的扩散率,系数的值在0到1的范围内。
MFFloat reffuncSound
本区传送一个或多个参数,规定从所谈及的表面模拟声音反射的传递函数。如果采用一种简单的系数模型,那末为了清楚起见,可以传送名字不同的refcoeffSound区来代替本区,其中被传送的参数,最优先的做法,是与上面提到的反射系数r,或者一组系数是相同的,一组系数中每个代表在某个预先规定的频段中的反射。如果采用一种比较复杂的传递函数,那末我们在此有一套规定传递函数的参数,例如以上与公式(1)连同提出的方法相同。
MFFloat transfunc Sound
本区传送一个或多个参数,规定以与以上参数(一个系数或每个频段一个系数,因此,为了清楚起见,区的名字可以是transCoeffSound;或者确定传递函数的系数)可比较的方式模拟通过所述的表面的声音传输的传递函数。
SFInt MaterialIDSound
本区传送一个标识符,识别在数据库中某个标准的材料,数据库的使用在上面描述过。如果由本区描述的表面不是一种标准材料,那末在本区中传送的参数值可以是,例如,-1,或者另一个商定好的值。
本区以上作为对已知材料节点的潜在补充作了描述。一种替代的实施方案是规定一个新节点,为了举例的目的我们可以称它为声学材料节点,利用以上描述过的区或某个类似的且功能相等的区作为声学材料(A Coustic Material)节点的部分,这样的一种实施方案将已知的材料节点留作只用于图形目的。
以上提到的参数总是与某个表面有关的。因为考虑一种场所的声学模拟。给出关于整个场所的某些参数也是有利的,将ACoustic Scene节点加到已知的BIFS部分是可能的,因此,A Coustic Scene节点是参数目录的形式,并可包含传送,例如,以下参数的区:
MFAudioNode
本区是一个表,它的内容告诉那些其它节点受由ACoustic Scene节点中给出的定义的影响。
MFFloat reverbtime
本区传送一个或一组参数以便指明混响时间。
SFBool useairabs
一种是/否型的区,告知在虚拟声音环境的模拟中由空气引起的衰减是否被应用。
SFBool usematerial
一种是/否型的区,告知在虚拟声音环境的模拟中由BIFS部分中给出的表面特性是否被应用。
指明混响时间的区MFFloat reverbtime,可以,例如,用以下方法规定:如果在此区中只给出一个值,代表在所有频率上使用的混响时间。如果有2n个值,那末相继的值(第一和第二值,第三和第四值,等)组成对,其中第一值指明频段,第二值指明在所述频段上的混响时间。
从MPEG-4标准草案中我们知道Listening Point节点一般代表声音处理并代表在要模拟的场所中收听者的位置。当本发明被应用于此节点时,我们可以补充以下的区:
SFInt spatialize ID
在本区中给出的参数指明标识符,利用它我们识别一种连到与特定的应用或用户有关的功能,例如HRTF模型。
SFInt dirsoundrender
在本区中传送的值指明对于直接从声源到收听点没有任何反射的声音应用哪一级声音处理。作为一个例子,我们可以设想三个可能的等级,因此在最低等级上应用一种所谓的幅度扫视技术,在中等级上进一步观察ITD延时,在最高等级上应用最复杂的计算(如HRTF模型)。
SFInt reflsoundrender
本区传送代表等级选择的参数,对应于以上提到的区,但涉及通过反射来到的声音。
当在依据MPEG-4或VRML标准的数据流中或用依据本发明的方法在其它连接中传送虚拟声音环境时,定标仍然是一个可被考虑的特点。所有的接收设备不可能必定使用由发送设备产生的整个虚拟声音环境,因为它可以包含如此多已规定的表面,以致接收设备不可能组成相同数量的滤波器或者在接收设备中的模型处理在计算方面将太繁重。为了考虑这点,代表表面的参数可被安排成这样,使得接收设备可以分离出声学上最重要的表面(例如这些表面被规定在目录中,其中表面的次序对应于声学上的重要性),因此具有有限容量的接收设备可以处理按其重要性的次序尽可能多的表面。
以上提出的区和参数的标记当然只是示范性的,并不打算将它们限于本发明的规定。
作为结束,我们将描述本发明对电话连接的应用,或者更准确地说,对于在公共远程通信网络上的电视电话连接的应用。参考图6,其中有一个发送电话设备601,一个接收电话设备602和在它们之间通过公共远程通信网络603的通信连接。为了举例的目的,我们将假定两个电话设备均装备成用于电视电话,意思是,它们包括一个话筒604,一个声音复现系统605,一个摄象机606和显示器607。另外,两个电话设备包括一个键盘608,用于输入命令和消息。声音复现系统可以是一个扬声器,一组扬声器,耳机(如图6)或者它们的组合。术语“发送电话设备”和“接收电话设备”是在以下的在一个方向中视听传输的简化描述;典型的电视电话连接自然是双向的,公共远程通信网603可以是数字蜂窝网,公共交换电话网,集成服务数字网(ISDN),互联网,局域网(LAN),广域网(WAN)或者它们的某种组合。
将本发明应用于图6系统的目的是给接收电话设备602的用户一种发送电话设备601的用户的视听感受,使得这种视听感受尽可能接近自然,或尽可能接近某种虚构的目标感受。应用本发明意味着发送电话设备601构成一个当前所在的声音环境的模型,或者发送电话设备的用户想象的声音环境的模型,所述的模型由许多被模拟为参数化传递函数的反射表面组成,在组成模型中,发送电话设备可以通过发出许多测试信号和测量当前的工作环境对它们的响应使用它自己的话筒和声音复现系统。在建立通信连接期间,发送电话设备发送描述所组成的模型的参数到接收电话设备。作为对接收这些参数的响应,接收电话设备构成由带有各自的参数化传递函数的滤波器组成的滤波器组。然后来自发送电话设备的所有声频信号在接收电话设备的声音复现系数中复现相应的声音信号以前被指向通过所构成的滤波器组,这样产生所需要的视听感受的声音部分。
在构成声音环境的模型中,可做若干基本的假定。参与个人对个人电视电话连接的用户通常在他的面孔和显示器之间有大约40-80cm的距离。因此,在打算描述面对面谈话的用户的虚拟声音环境中。在声源和收听点之间的自然距离是80和160cm之间。也可以做若干有关用户和他的电视电话设备所在的房间大小的基本假定,这样可以计算来自房间墙面的反射。自然也可以人工编排对发送和/或接收电话设备所希望的声音环境的参数。

Claims (8)

1.一种用于处理包括表面的虚拟声音环境的方法,其特征在于在虚拟声音环境中包含的表面由滤波器进行处理,滤波器对声音信号的影响取决于与每个滤波器有关的参数。
2.依据权利要求1的方法,其特征在于所述的与每个滤波器有关的参数是代表表面的声音反射和/或吸收和/或传输特性的系数。
3.依据权利要求1的方法,其特征在于所述的与每个滤波器有关的参数是表示为比值 H ( z ) = Y ( z ) X ( z ) = Σ k = 0 M b k z - k 1 + Σ k = 1 N a k z - k 的滤波器传递函数Z变换的系数[b0b1a1b2a2…]。
4.依据权利要求1的方法,其特征在于包括以下步骤:
-发送设备利用由滤波器代表的表面产生某种虚拟声音环境,滤波器对声音信号的影响取决于与每个滤波器有关的参数,
-发送设备将关于所述的与每个滤波器有关的参数的信息传送到接收设备,
-为了重建虚拟声音环境接收设备建立滤波器组,包括对声音信号的影响取决于与每个滤波器有关的参数的滤波器,并根据由发送设备传送的信息产生与每个滤波器有关的参数。
5.依据权利要求4的方法,其特征在于发送设备将关于与每个滤波器有关的参数的信息作为依据MPEG-4标准的数据流的一部分传送到接收设备。
6.一种用于处理包括表面的虚拟声音环境的系统,其特征在于包括用于建立滤波器组的装置,包括用于模拟在虚拟声音环境中所包含的表面的参数化滤波器。
7.依据权利要求6的系统,其特征在于包括发送设备和接收设备以及用于实现在发送设备与接收设备之间电数据传输的装置。
8.依据权利要求7的系统,其特征在于包括发送设备中的多路转换装置,以便把代表参数化滤波器特性的参数放在依据MPEG-4标准的数据流中,和接收设备中的逆多路转换装置,以便从依据MPEG-4标准的数据流中找出代表参数化滤波器特性的参数。
CN98812451A 1997-10-20 1998-10-19 一种处理虚拟声音环境的方法和系统 Expired - Fee Related CN1122964C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI974006A FI116990B (fi) 1997-10-20 1997-10-20 Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
FI974006 1997-10-20

Publications (2)

Publication Number Publication Date
CN1282444A true CN1282444A (zh) 2001-01-31
CN1122964C CN1122964C (zh) 2003-10-01

Family

ID=8549762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98812451A Expired - Fee Related CN1122964C (zh) 1997-10-20 1998-10-19 一种处理虚拟声音环境的方法和系统

Country Status (12)

Country Link
US (1) US6343131B1 (zh)
EP (1) EP1023716B1 (zh)
JP (1) JP4684415B2 (zh)
KR (1) KR100440454B1 (zh)
CN (1) CN1122964C (zh)
AT (1) ATE443315T1 (zh)
AU (1) AU9543598A (zh)
BR (1) BR9815208B1 (zh)
DE (1) DE69841162D1 (zh)
FI (1) FI116990B (zh)
RU (1) RU2234819C2 (zh)
WO (1) WO1999021164A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883228B (zh) * 2003-11-21 2011-11-23 雅马哈株式会社 阵列扬声器设备
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
WO2024067543A1 (zh) * 2022-09-30 2024-04-04 抖音视界有限公司 混响的处理方法、装置和非易失性计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
US7146296B1 (en) * 1999-08-06 2006-12-05 Agere Systems Inc. Acoustic modeling apparatus and method using accelerated beam tracing techniques
US20010028716A1 (en) * 2000-02-18 2001-10-11 Hill Nicholas P. R. Loudspeaker design method
JP2002095100A (ja) * 2000-09-19 2002-03-29 Victor Co Of Japan Ltd 制御データの書換/追加装置及び方法並びにこれに用いる伝送方法及び記録媒体
WO2002052895A1 (de) * 2000-12-22 2002-07-04 Harman Audio Electronic Systems Gmbh Anordnung zur auralisation eines lautsprechers in einem abhörraum bei beliebigen eingangssignalen
US6668177B2 (en) 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
US7032188B2 (en) 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
US6996777B2 (en) 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
US6934911B2 (en) 2002-01-25 2005-08-23 Nokia Corporation Grouping and displaying of contextual objects
US7526790B1 (en) 2002-03-28 2009-04-28 Nokia Corporation Virtual audio arena effect for live TV presentations: system, methods and program products
FR2839176A1 (fr) * 2002-04-30 2003-10-31 Koninkl Philips Electronics Nv Systeme d'animation pour robot comprenant un ensemble de pieces mobiles
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
JP4813365B2 (ja) 2003-12-02 2011-11-09 トムソン ライセンシング オーディオ信号のインパルス応答を符号化及び復号化する方法
ATE539431T1 (de) * 2004-06-08 2012-01-15 Koninkl Philips Electronics Nv Kodierung von tonsignalen mit hall
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
US7184557B2 (en) * 2005-03-03 2007-02-27 William Berson Methods and apparatuses for recording and playing back audio signals
JP2007280485A (ja) 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
US20080240448A1 (en) * 2006-10-05 2008-10-02 Telefonaktiebolaget L M Ericsson (Publ) Simulation of Acoustic Obstruction and Occlusion
US9015051B2 (en) 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US8908873B2 (en) 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
ES2358786T3 (es) 2007-06-08 2011-05-13 Dolby Laboratories Licensing Corporation Derivación híbrida de canales de audio de sonido envolvente combinando de manera controlable componentes de señal de sonido ambiente y con decodificación matricial.
EP2416314A4 (en) * 2009-04-01 2013-05-22 Azat Fuatovich Zakirov AUDIO RECORDING REPRODUCTION METHOD WITH MODELING ACOUSTICAL CHARACTERISTICS OF THE RECORDING CONDITIONS
CN102804808B (zh) * 2009-06-30 2015-05-27 诺基亚公司 用于呈现空间音频的方法及装置
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN104956689B (zh) 2012-11-30 2017-07-04 Dts(英属维尔京群岛)有限公司 用于个性化音频虚拟化的方法和装置
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
EP3044258B1 (en) 2013-09-13 2017-09-06 Dow Global Technologies LLC Peroxide-crosslinkable compositions and processes for their manufacture
EP3018918A1 (en) * 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
GB2541912A (en) * 2015-09-03 2017-03-08 Nokia Technologies Oy A method and system for communicating with a user immersed in a virtual reality environment
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
KR102540160B1 (ko) * 2022-07-21 2023-06-07 삼성엔지니어링 주식회사 3차원음향스터디 자동출력장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3970787A (en) 1974-02-11 1976-07-20 Massachusetts Institute Of Technology Auditorium simulator and the like employing different pinna filters for headphone listening
US4237343A (en) * 1978-02-09 1980-12-02 Kurtin Stephen L Digital delay/ambience processor
NL190797C (nl) 1980-03-11 1994-08-16 Hok Lioe Han Geluidveldsimulatiestelsel en werkwijze voor het ijken daarvan.
US4338581A (en) * 1980-05-05 1982-07-06 The Regents Of The University Of California Room acoustics simulator
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
JP2569872B2 (ja) * 1990-03-02 1997-01-08 ヤマハ株式会社 音場制御装置
GB9107011D0 (en) * 1991-04-04 1991-05-22 Gerzon Michael A Illusory sound distance control method
US5317104A (en) * 1991-11-16 1994-05-31 E-Musystems, Inc. Multi-timbral percussion instrument having spatial convolution
DE69327501D1 (de) 1992-10-13 2000-02-10 Matsushita Electric Ind Co Ltd Schallumgebungsimulator und Verfahren zur Schallfeldanalyse
US5485514A (en) 1994-03-31 1996-01-16 Northern Telecom Limited Telephone instrument and method for altering audible characteristics
JP2988289B2 (ja) * 1994-11-15 1999-12-13 ヤマハ株式会社 音像音場制御装置
JPH08272380A (ja) 1995-03-30 1996-10-18 Taimuuea:Kk 仮想3次元空間音響の再生方法および装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883228B (zh) * 2003-11-21 2011-11-23 雅马哈株式会社 阵列扬声器设备
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN102665156B (zh) * 2012-03-27 2014-07-02 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
WO2024067543A1 (zh) * 2022-09-30 2024-04-04 抖音视界有限公司 混响的处理方法、装置和非易失性计算机可读存储介质

Also Published As

Publication number Publication date
JP2001521191A (ja) 2001-11-06
ATE443315T1 (de) 2009-10-15
FI974006A (fi) 1999-07-13
CN1122964C (zh) 2003-10-01
FI974006A0 (fi) 1997-10-20
EP1023716A1 (en) 2000-08-02
BR9815208A (pt) 2001-01-30
FI116990B (fi) 2006-04-28
US6343131B1 (en) 2002-01-29
WO1999021164A1 (en) 1999-04-29
BR9815208B1 (pt) 2011-11-29
RU2234819C2 (ru) 2004-08-20
KR20010031248A (ko) 2001-04-16
JP4684415B2 (ja) 2011-05-18
KR100440454B1 (ko) 2004-07-14
AU9543598A (en) 1999-05-10
EP1023716B1 (en) 2009-09-16
DE69841162D1 (de) 2009-10-29

Similar Documents

Publication Publication Date Title
CN1122964C (zh) 一种处理虚拟声音环境的方法和系统
CN1132145C (zh) 用于处理声学虚拟环境中的定向声的方法和系统
Kleiner et al. Auralization-an overview
CN102395098B (zh) 生成3d声音的方法和设备
Savioja Modeling techniques for virtual acoustics
CN102334348B (zh) 转换器及转换音频信号的方法
De Sena et al. Scattering delay network: An interactive reverberator for computer games
Lokki Physically-based auralization: Design, implementation, and evaluation
Das et al. Grouped feedback delay networks for modeling of coupled spaces
Braasch A loudspeaker-based 3D sound projection using Virtual Microphone Control (ViMiC)
Horbach et al. Practical implementation of a data-based wave field reproduction system
Kleiner et al. Auralization: Experiments in acoustical CAD
Scerbo et al. Higher-order scattering delay networks for artificial reverberation
Fontana Physics-based models for the acoustic representation of space in virtual environments
Pellegrini Comparison of data-and model-based simulation algorithms for auditory virtual environments
Lokki Physically-based auralization
Walker A simple acoustic room model for virtual production
Maté-Cid et al. Stereophonic rendering of source distance using dwm-fdn artificial reverberators
Blauert et al. Application of modeling tools in the process of planning electronic room acoustics
Beeson et al. RenderAIR–Room Acoustics Simulation Using a Hybrid Digital Waveguide Mesh Approach
Stewart et al. Real-time panning convolution reverberation
Ono et al. A Method of Reproducing Concert Hall Sounds by'Loudspeaker Walls'
Rimell et al. From the cone to the cochlea: Modelling the complete acoustical path
Lokki Auralization of simulated impulse responses in slow motion
Choqueuse et al. A spatialised sound environment synthesizer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160120

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20031001

Termination date: 20161019

CF01 Termination of patent right due to non-payment of annual fee