CN1172320A - 模拟虚拟空间的声音使听者欣赏虚拟仿真声音感受的方法和设备 - Google Patents

模拟虚拟空间的声音使听者欣赏虚拟仿真声音感受的方法和设备 Download PDF

Info

Publication number
CN1172320A
CN1172320A CN 97100813 CN97100813A CN1172320A CN 1172320 A CN1172320 A CN 1172320A CN 97100813 CN97100813 CN 97100813 CN 97100813 A CN97100813 A CN 97100813A CN 1172320 A CN1172320 A CN 1172320A
Authority
CN
China
Prior art keywords
sound
transient response
response signals
signal
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 97100813
Other languages
English (en)
Inventor
浅山宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
K K TIMEWARE
Timeware KK
Original Assignee
K K TIMEWARE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP8046109A external-priority patent/JPH09244663A/ja
Priority claimed from JP8236481A external-priority patent/JPH1083190A/ja
Application filed by K K TIMEWARE filed Critical K K TIMEWARE
Publication of CN1172320A publication Critical patent/CN1172320A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明声音模拟能使听者在现实空间欣赏任意设定的虚拟空间的声音。按本模拟,瞬时信号由多个声辐射线向量代表;每当声辐射线向量从边界反射并继续传播时,确定与声辐射线向量相关的势能;以及通过对势能求和确定瞬时响应信号。再有按本模拟:虚拟空间中的观测点叠置在现实空间中的监听点上;在经过对应于瞬时信号的延迟时间后确定作用于观测点的势能;把朝向观测点的势能分割成分配给单个扬声器的多个部分;以及对各势能求和确定用于每个扬声器的瞬时响应信号。

Description

模拟虚拟空间声音使听者欣赏 仿真声音感受的方法和设备
本发明涉及一种用于确定任意空间中声音的声学特性,以使处于现实空间中的听者能够感受到在其他任意空间中声音的声学效果的方法和设备。
更具体地讲,本发明涉及一种根据声音的声学特性在现实空间中再现任意空间中声音的方法和设备。
过去已经有一些计算现实空间及虚拟空间中的声音的声学特性的方法。例如,许多传统的被广泛应用的计算方法,诸如声辐射线法、虚象法以及基于正则几何声学的类似方法。然而,这些计算方法是有缺陷的,在计算结果中都忽略声音和相位信息的波特性,导致相当大的计算误差。另一方面,还有一些计算方法,如有限元法、边界元法以及类似计算方法,这些方法考虑到了声音的波特性,因而在确定声音的实际声学特性方面,其精确度是很好的。然而,这些计算方法如有限元法及边界元法也有不足之处,对所谓的高频的如16HKz和类似频率的声频带,需要很大的计算量,才能获得计算结果。这些事实使得即使用目前正在开发的高级计算机来得到计算结果也是很困难的。
于是,显然需要有一种能在比较短的时间内高精度地确定声音的声学特性、并且与声音的现实声学特性相比,所确定的声学特性具有很小的误差的方法和设备。
待测的声学特性被定义为一到达预定观测点,例如听众席的一簇声波,这簇声波由体现为具有尖锐前沿的单脉冲瞬时信号如Δ近似函数的基本声波构成,瞬时信号作为在预定位置例如舞台上产生的,并在空间进行三维传播,被限定空间的墙壁反射,到达预定观测点如听众席的基本声波。一般,这簇中的声波被称为瞬时响应信号。所以,瞬时响应信号代表从瞬时信号得到的并在空间从不同方向经不同延时到达相同观测点的声波叠加之结果。通过应用此种瞬时响应信号,可以再现语音和如音乐之类的声音,以及类似的一般声音。所以,能使一个听者感到仿佛他就坐在听众席上欣赏舞台上演奏的音乐。
根据本发明的第一基本方法确定的并在下文详细描述的声音的声学特性是能够实现高度现实性的瞬时响应信号。因而,这些瞬时响应信号形成一簇高精度地代表频率调整、相位延迟等的无数个脉冲。所以,如下文所述,当利用瞬时响应信号精确再现一种声音时,则需要一种能高速处理数据声音再现设备。
换言之,为了按数字模式存贮这种精确的瞬时响应信号,需要按信号幅度用数字表示在每一所谓的取样时间间隔内的瞬时响应信号的响应脉冲,这种脉冲随时间而变化,并在从瞬时信号发出至瞬时响应信号消失的时期内用很短的时间间隔(例如取样时间间隔,即取样频率的倒数)将其划分。然后,利用这些瞬时响应信号再现在实际的音乐演奏或类似场合中产生的声音。在声音的再现过程中,如图9所示,采用了用于产生分立的数字信号的中央处理76(下文称CPU76)。该CPU76包括:设定和存贮瞬时响应信号83的存储器,在存储器中将多个响应脉冲以数字形式沿时间轴排列;及乘积之和计算器84,其中,在实际音乐演奏中产生的并沿用离散信号80数字化表示的声音与其瞬时信号83一起进行实时卷积变换,由此产生数字信号86。
根据这样存贮的瞬时响应信号,再现显现音乐性能的声音。为此目的,CPU76必须连续不停地在每个取样时间间隔内实时地将所有瞬时响应信号数据加在一起。例如为了再现20KHz的频率,必须进行48KHz的数字取样。在混响时间,即瞬时响应信号渐渐消亡到基本上可被忽略不计的点所花费的时间为1.3秒的情况下,所需取样次数为65,536次。所以,为了再现声音,每20.8毫秒(48KHz的倒数)必须将65,536个脉冲数据相加,并将其加算结果输出。这种高速卷积变换函数仅由很昂贵的CPU76提供。由于其价格高,使用这种昂贵的CPU76是不实际的。
因此,需要有一种不减弱其现实性的再现声音的简单方法和设备。
另一方面,目前,广泛使用视频设备使我们在自己家中或在自己的个人房间内通过视频盒式播放机欣赏各种电影和类似画面,为了丰富我们的欣赏,再现这些画面的伴音是极为重要的。为此目的,电视机设有用于环绕语音声音系统的常规扬声器输出终端。某些电视机还设有模拟声音再现系统,如Dolby环绕系统等等。然而,在实际的影剧院里,为使听众欣赏到二维或三维声场,在影院的侧面墙壁或在影院的电影银幕附近的适当位置设置大量扬声器,例如10个或更多扬声器。所以,当通过我们家中的电视机的环绕语音声音系统的扬声器终端再现该画面的伴音时,不可能欣赏到我们可在影院中体验到的三维声场的感受。
另一方面,近来,对诸如虚拟画面等所谓虚拟现实性的要求增加。因为虚拟现实性能使我体验到实际环境的感觉,仿佛我们就在现实环境中,人们期望将虚拟现实性应用于各种场合。然而,时至今日,基本上仅考虑了画面图像的虚拟现实性,而很少对画面图像的伴音再现加以考虑。因而,在开发虚拟现实性时,显然需要有一种能使我们有种仿佛我们就在随时间变化的虚拟环境中的感觉的声音再现方法。
由于画面场面随时间变化,因此往往需要其声音也随时间变化。例如,先是一个房间的场面,跟着是大草原的后续场面。或者是情形逐渐变得更加突出的一系列场面。在此情况下,至今,根据每种场面的场景,按操作者的人为感觉增添或去掉混响。所以,实际再现的声音不一定适合该场面,因而常常给听众一种毫无自然规律的感觉,或往往损害虚拟现实性的效果。目前,对现实性的需求比以往更强烈。所以,需要适合于每一电影场面的空间的声音再现以给该空间最大的现实性。如上所述,根据在每一电影场面所用的空间,自动处理并精确地再现声音,以便配合出现在空间内的场面。这可改善娱乐节目的声音,从而能使我们欣赏到不同于影剧院中使用Dolby环绕语音声音系统所得到的现实性得到改善的声场。
如上所述,显然需要有:一种用于确定声音的实际和有效声学特性的声音模拟方法和设备;以及一种实际利用上述模拟结果来产生更逼真的声音的方法和设备。
本发明之目的在于提供一种在任意设定的三维空间(下文称作虚拟空间)中在相对短时间用相对低速的处理单元高精度地产生声音的声学特性的声音模拟方法和设备。
本发明的另一目的在于提供用上述虚拟空间中显现的声音的声学特性产生使听者具有仿佛他就在虚拟空间的现实感觉的声音的方法和设备。
本发明的再一个目的在于提供一种用瞬时响应信号(上述虚拟空间中显现的声音的准确声学特性的信号)简单地产生声音同时在空间中保持该声音的基本声学特性的方法和设备。
本发明的又一个目的在于提供一种用于产生能使使用者在其家中或在其自己个人房间中欣赏电影和类似图像而使其具有仿佛他就是处在诸如影剧院和类似音乐厅之类的大厅中的听者的现实感觉的声音的方法和设备。
本发明的另一目的在于提供一种用来产生能使使用者有当场面随时间变化时仿佛他就在每一电影和类似图像场面的空间中的现实感觉的声音的方法和设备。
本发明的再一个目的在于提供一种产生适合于通过电缆、光缆或无线通信传至用户家中或其个人房间的图像场面的声音的方法和设备。
根据本发明的第一方面,本发明的上述各项目的是由下述措施实现的:
在从任意设定的虚拟空间中的任意位置分布的声源发出的瞬时信号通过该虚拟空间进行波动传播时,确定作用于预定观测点的瞬时响应信号的声音模拟方法中,其改进在于:
用从虚拟空间中的声源辐射的多个声辐射线向量代表瞬时信号;以及
该声音模拟方法还包括至少一确定从限定虚拟空间边界的每一部分到达观测点的势能的步骤,在每一部分反射多个声辐射线向量的每一个。
通过使用本发明的声音模拟方法,可以按简单方式在相对短时间内确定声音的声学特性,而不必进行象在常规方法中以无限序列方式增加的大量计算,其中:声波从声源发出并被边界反射,以使其声学特性进行波动,在空间的所有方向上辐射;然后测定所有这些声学特性,如此测定的所有声学特性的每一特性后面还有被下一边界进一步反射的下一个声学特性;然后测定下一个声学特性;如此等等。
以其如下处理效果改进本发明的上述方法。
在本发明的上述方法中:
就多个声辐射线的每一个而言,每当声辐射线向量入射到限定虚拟空间的边界的一部分并被其反射时,存贮包括正入射到边界的该部分并被其反射的声辐射线向量数据和边界的该部分的位置数据的传播沿革数据;以及
基于传播沿革数据和被在声辐射线向量入射到并被其反射的边界的该部分的位置的入射/反射声辐射向量所占据的边界的面积数据,确定从限定虚拟空间的边界的该部分到达观测点的势能。
再有,在本发明的上述方法中:
按时阵列数排列多个存储部分;
在这些存储器部中,对应于直至势能到达观测点所产生的时间延迟的一个部分相加,并存贮势能值,以测定时序瞬时响应信号,每当进行取样操作时就可以用计数法表示瞬时响应信号(包括随时间变化的响应信号)。
为使现实空间中的扬声器再现具有如此现实性的声音,以致听者感觉仿佛他就在虚拟空间中,当按本发明的方法产生瞬时响应信号时必须实施下列各步骤。
即,这些步骤是:
(a)设定作为虚拟空间的任意空间的步骤;
(b)设定放置多个扬声器的预定现实空间的步骤;
(c)将现实空间内设置的监听点叠加在虚拟空间内设置的观测点上的步骤;
(d)在从虚拟空间内的声源发出并在虚拟空间内传播而产生其时间延迟的瞬时信号的时间延迟过后确定作用于观测点的势能的步骤;
(e)将势能分割为分配给安排在叠置的现实空间内的多个扬声器的多个部分的步骤;以及
(f)通过根据其时间延迟将分配给每个扬声器的势能的每一部分相加来确定每个扬声器的瞬时响应信号的步骤。
如上所述,按本发明的上述方法,通过将势能(从限定虚拟空间的墙壁表面的边界反射到达观测点的势能)分割为多个部分,每个部分分配给安排在现实空间内的每个扬声器,可以再现方向性和纵深度非常优秀的声音。
在大多数情况下,在本发明的上述方法中所用的声源一般由多个声源构成。所以,在本发明的方法使用多个声源的情况下,对多个声源的每一个而言必须进行产生瞬时响应信号的上述步骤。例如,在将安放在大厅内的多个扬声器用作这些声源,而大厅构成虚拟空间构成的情况下,就每个声源而言,通过确定瞬时响应信号可以实现优质声音模拟,能使听者欣赏到仿佛他就在现实大厅中的声音。这对听者想要欣赏到仿佛他就在设有多个扬声器的影院中的声音的情况特别有效。
在本发明的上述方法中,为了使听者享受到仿佛他就在电影场景和类似画面中的感受,虚拟空间根据场景变化。而且,对应于作为声源的人和动物位置的声源位置也根据场景变化。
由于上述瞬时响应信号的精确性是优异的并通过进行大量的数字取样操作确定,为了现实再现基于这种瞬时响信号的声音,一般必须使用高速乘积之和计算器。所以,为了减少数据处理操作量,同时保持再现声音的高度现实性,必须从代表该空间的声学特性的瞬时响应信号中仅提取预定特性信号脉冲来确定一新的瞬时响应信号。在这种提取中,特别是在延迟时基上变化的瞬时响应信号的脉冲中,按其幅度峰值的绝对值递增的顺序选择他们。还有,从在延迟时基上变化的瞬时响应信号脉冲中,按其幅度峰值的正值选取正脉冲,同时按相同方式也选取跟在上述正脉冲之后的其它负脉冲。通过提取伴随正脉冲的这种负脉冲,可以再现有相当纵深度的声音。另外,还可以利用预定阈值提取瞬时响应信号;或者将瞬时响应信号分为多个组,在每个组中,在时基上对多个信号打包并从中提取信号。
另一方面,本发明通过使用如此确定的瞬时响应信号实现真实声音的再现。更具体地讲,就如此提取的瞬时响应信号而言,按其延时和相对幅值设定其每个脉冲。然后在每一延迟时间,根据每个上述相对幅值输出连续输入的每个声音信号,以便将同时如此输出的这些信号加起来,以产生待输出的新声音信号。并且,从如此输出的声音信号的频率中,可以去掉预定频率,以便去掉声音信号脉冲中的高频分量。还可以将混响施加在如此提取的脉冲的间隙中,以便以连续方式再现声音。
本发明的方法包括以下各步骤:
根据待再现的声音产生多个互不相同的瞬间响应信号;以及
当再现声音时在乘积之和计算器内设定瞬时响应信号,该瞬时响应信号已被根据声音存贮;
因而,再现一新声音,该新声音具有根据产生待再现原始声音的空间而适当变化的声学分量。
多个瞬时响应信号可以事先存贮,并用伴随声音信号的同步信号来同步。如此得到的相应的瞬时响应信号可以在乘积之和计算器中设定,或也可以在如此发射的声音信号被接收之前接收该瞬时响应信号,从而基于这种瞬时响应信号再现声音。
图1是表明用于确定瞬时响应信号的处理程序的流程图;
图2是表示用于确定和存贮传播沿革的处理程序流程图;
图3是表明利用所谓的近似边界积分根据每个声辐射线向量传播沿革计算瞬时响应的处理程序流程图;
图4是采用近似边界积分用于计算、相加和存贮瞬时响应的处理程序的流程图。
图5(a)是边界的透视图,表明微面积元及其被声辐射向线量限定的面积大小。
图5(b)是边界的平面图,表明微面积元及其被声辐射线向量限定的面积大小。
图6是表明一系列声辐射线向量和待确定的直接和反射声音的瞬时响应在观测点的总势能对时间的曲线图;
图7(a)是采用被称为虚像方法的常规正则计算得到的响应的曲线图;
图7(b)是采用本发明的计算程序在虚拟空间得到的脉冲响应的曲线图;
图8是采用瞬时响应信号再现声音的设备的方框图;
图9是采用瞬时响应信号再现声音的原理示意图;
图10(a)是按与图7(b)所示的产生瞬时响应信号相同的方法所得到的瞬时响应信号的曲线图,表明瞬时响应信号的幅度在对数标度中随时间变化;
图10(b)是按与图7(b)所示的产生瞬时响应信号相同的方法所得到的瞬时响应信号的曲线图,表明瞬时响应信号的幅度在对数标度中随时间变化;
图11(a)是图10(a)所示的瞬时响应信号波形的放大视图,该波形是在0~4,096范围取样得到的并在时基轴上被放大;
图11(b)是另一个新的或从图10(a)所示信号取样的特征瞬时响应信号波形的放大视图,该波形在时基轴上被放大;
图12(a)是瞬时响应信号的信号组的曲线图,特别表明不同于其它瞬时响应信号的信号组90;
图12(b)是图12(a)所示曲线的放大部分,表明在时基轴上被放大了的信号组90;
图12(c)是图12(a)所示曲线的放大部分,仅表明在时基轴上被放大了的信号组90的取样脉冲;
图13是采用瞬时响应信号的取样信号再现声音的简单设备的原理方框图;
图14是表明作用于空间内观测点的势能的示意图;
图15是影院的平面图,表明一个声辐射线向量及其相对听众的势能。
图16(a)是一个在现实空间上叠加图15所示的虚拟空间的空间平面图,表明分割成各分配给每个扬声器的四个部分的声辐射线向量的势能;
图16(b)是表明在图16(a)所示的空间内分割声辐射线向量势能的方法的示意图;
图17是用于在图15所示的影院内再现声音的设备的方框图;
图18(a)是在设有作为声源的扬声器的虚拟空间上叠置的现实空间的平面图,示出用于声音再现的扬声器和听音;
图18(b)是在设有作为声源的扬声器的虚拟空间上叠置的现实空间的平面图,示出用于声音再现的扬声器和听者,虚拟空间包含几个诸如人和动物之类的可动声源。
图19是表明在随时间变化的虚拟空间上叠置现实空间的原理示意图;
图20是在虚拟空间随时间变化的条件下,在现实空间里再现声音的第一设备的方框图;
图21是在虚拟空间随时间变化的条件下,在现实空间里再现声音的第二设备的方框图;以及
图22是表明符合MPEG标准的图面/伴音信号传输原理的示意图。
下面,参照附图详细描述本发明
首先,为了便于描述本发明,将参照图14描述用来确定作为本发明根本部分的声音的波动特性的Kirchhoff积分和所谓的近似边界积分。然后阐明本发明。
Kirohhoff积分方程(即等式2)是从Kirchhoff三维波动方程(即等式1)推导出来的。把方程2的变形称作近似边界积分方程(即等式3)。
Kirchhoff三维波边方程(即等式1)表示如下: ▿ 2 φ - 1 C 2 ∂ 2 φ ∂ t 2 = - F ( x , y , z , t ) 其中的“Φ”是速度势能;C是声速;t是时间;F是波源;以及x,y和z三维坐标。还有,在图14中:S2是限定任意空间的表面;Q是在S2上的任意点;P是确定瞬时响应的观测点;V是除观测点P附近的面积V1的面积;以及dS2是S2上的微面积矢量。
等式2是Kirchoff三维波动方程(即等式1)的积分,表示观测点P的速度势能,表达如下: φ P = 1 4 π ∫ v 1 r [ F ] td dv + 1 4 π ∫ s 1 { 1 r [ ▿ Q φ ] td - [ φ ] td ▿ Q ( 1 r ) + 1 cr [ ∂ φ ∂ t ] td ▿ r } · d s ‾ 2 其中:ΦP观测点P的速度势能;Otd是延时t-r/c;V是环绕观测点P的任意空间;S2是V的表面;Q是S2上的任意点;以及r0是Q与观测点P间的距离。
Kirchoff方程积分的变形(即近似边界积分方程3)表达如下: φ P = 1 d f ( t - d c ) + 1 4 π ∫ s 1 [ 1 cr r o ∂ ∂ t f ( t - r o c ) { cos ( r ‾ , n ‾ ) - cos ( r ‾ o , n ‾ ) } + 1 rr o f ( t - r o c ) { 1 r cos ( r ‾ , n ‾ ) - 1 r o cos ( r ‾ o , n ‾ ) } ] ds 2 其中:ΦP观测点P的速度势能;Otd是延时t-r/c;V是环绕观测点P的任意空间;S2是V的表面;Q是S2上的任意点;以及r是Q与观测点P间的距离;以及r0是波源与Q之间的总距离。
另外,f(t)表示由波源产生的声音的瞬时信号。
现在基于上述近似边界是积分方程3来描述产生瞬时响应信号的措施。虽然通过采用近似边界积分方程3来描述上述措施,但也可采用任何其他合适的方程来描述,只要其它方程能象Kirchhoff积分方程和类似方程一样确定声音的波特性即可。
图1~4表示本发明用于确定瞬时响应信号即脉动响应信号的处理程序的流程图。
图1表示从程序开始至停止的全处理过程,并分为两个基本部分:“处理程序A”和“处理程序B”。
步骤7,即图1所示的“处理程序C”对应于图2所示的处理程序。另一方面,步骤10,即图1所示的“处理程序D”对应于图3所示的处理程序。还有,图3所示的“处理程序E”对应于图4所示的处理程序。
如图1所示,在第一步骤1“初始化”,执行作为完成处理程序的先决条件是“设定计算条件”、“设定波源条件”、“设定边界”以及“设定辐射声辐射线向量的波源”。
在“设定计算条件”中的集合是:波源的三维坐标;观测点的数目;每个观测点的三维坐标;空间内的空气的温度和湿度;分析频率(即待计算的瞬时响应中的最高频率);待计算的瞬时响应的持续时间T以及类似参数。这种设定是借助输入单元或外存储单元实现,用户通过输入单元输入必须的数据,或从外存储单元取回必须的数据。
在“设定波源条件”中,从声源发出的声音的初始值被采用Δ近似函数及其形状类似于脉动的导数表达成瞬时信号。如果应用上需要,该初始值可以变换。
此外,根据在步骤1中所设定的空气的温度和湿度来计算声音的传播速度。根据Shanon取样定理,基于分析频率,设定与等于或超过分析频率两倍之高的频率对应的离散时间间隔。在“处理程序B”中所用的用于存贮待计算的瞬时响应的存储区域的大小根据瞬时响应的持续时间和离散时间间隔来确定。
在“设定边界”中,设定关于限定声场边界的信息。这代表一个模拟声音在其中的波动传播并由平面中的多个多边形构成的数字空间。在此“设定边界”中,每个多边形都被称为边界。在“设定边界”中的集合是:边界的数目;每个边界的法线,即垂直线;每个边界中每个顶点的坐标;边界的反射和吸收;以及类似参数。顺便提一句,在本发明实施例的以下说明中,为了便于说明,假定每个边界在整个频带只进行声音的总反射和总吸收。
在“设定辐射声辐射线向量的波源”中,计算从波源辐射的声辐射线向量的数目N。在此设定中,模拟从波源传播的声音的波动,以计算在边界反射波动的位置和时间,以便计算声学特性(即在观测点的声音的速度势能“Φp”)。这种声音的波动传播模拟是采用数个向量实现的,每个向量具有相同的立体角并从空间内的波源辐射。这种向量被定义为本发明中的声辐射线向量。设定辐射声辐射线向量的数目N以使相邻声辐射线向量间的距离等于或小于分析频率的波长“λ”的1/2,最好是1/4。相邻声辐射线向量间的长度取决于处理单元的容量和声音再现中的近似程度,所以在某些情况下可以大于“λ”的1/2。
附带说明,代表声音在空间内传播的声音的波面的向量一般被称作声辐射线向量。在这些声辐射线向量中,从波源辐射的向量特别被称为辐射声辐射线向量。
在步骤3中,采用声辐射线向量来模拟从波源传播的波动。即,首先,计算第n个辐射声辐射线向量的方向向量Dn以使N部分的辐射声辐射线向量相对于波源在其之间形成相同的立体角。
在紧跟步骤3后的步骤4中选择具有与由声源传播的声辐射线向量相交的交点的边界B。在紧跟步骤4的步骤5中,当没有与声辐射线向量相交的边界时,对后一个辐射声辐射向量进行计算。
另一方面,当存在具有交点的某些边界时,在边界B反射声辐射线向量。在此情况下,必须判断是边界的前面还是后面朝向声辐射线向量。
这种判断可通过确定边界的法线即垂直线与声辐射线向量间所形成的夹角是否在0~180°角度范围内来完成。换言之,在定义边界的法线向量以使其在虚拟空间内朝外延伸的情况下,当边界法线与辐射声辐射线向量间所形成的角在0~180°角度范围之内(即当其内积为正)时,定义边界为前。否则(即当角度在180~360°角度范围之内时),定义边界为后。之所以按上述方式定义角度,其原因在于,在操作中必须由计算机来判断:声辐射线向量是否从对着其前面的边界内侧发出的(即声辐射线向量是否在边界发生反射),或者,声辐射线向量是否从对着其后面的边界的外侧发出的(即声辐射线向量是否仅仅穿过边界因而不发生反射)。
根据以上定义,在紧跟步骤5后的步骤6中,当边界B对着声辐射线向量的背面时,必须选择任何另外的具有上述交点的边界。另一方面,当边界B在声辐射线向量之前时,紧跟步骤6之后是步骤7,即处理程序“C”。
在步骤7,即处理程序“C”中,当设定边界B以使其在步骤11完全吸收声音波动时,处理程序进行到“结束”,如图2所示。否则,紧跟步骤11之后是步骤12,在步骤12计算波源与边界B的交点Q间的总传播距离d。步骤12之后继之以步骤13。在步骤13,当所计算的传播距离d是使得波动到达点Q所经过的时间有可能超过瞬时响的持续时间的距离时,紧跟步骤13之后是“结束”,如图2所示。虽然,步骤11、12和13的处理次序可以互换,但图2所示的处理次序对使处理时间缩至最短是行之有效的。
另一方面,即在步骤13中,当传播距离不是如此情况时,紧跟步骤13后是步骤14,在步骤14,计算入射到边界B上的声辐射线向量的入射角“α”,以便按上述方程3确定入射声辐射线向量与边界面平的法线(即垂线)间所形成的入射角。入射声辐射线向量被定义为到达边界B的第n个声辐射线向量。另一方面,把入射到边界“r”次的入射声辐射线向量定义为“En,r”。所以“En,r”是从波源发出第r次到达边界B的辐射声辐射线向量。
然后,紧跟步骤14的是后续的步骤15。在步骤15中计算入射声辐射线向量的反射向量的方向向量,反射向量在交点Q被反射。反射声辐射线向量被定义为在边界B处见到并被边界B反射的第n个辐射声辐射线向量Dn。在反射声辐射线向量中被边界反射“r”次的向量被定义“Fn,r”。所以“Fn,1”是首次被边界反射的第n个声辐射线向量。
紧跟步骤15的是后续步骤16。在步骤16中在主存储器或外存储单元中存贮的是:边界的排列编号B;波源与交点Q间的总传播距离“d”;交点Q的三维坐标;入射声辐射线向量的方向向量“En,r”;以及反射声辐射线向量的方向向量“Fn,r”。将每当边界反射辐射声辐射线向量Dn时计算的一组数据定义为辐射声辐射线向量的传播沿革。之所以将传播沿革存贮于存储器,其原因在于在声辐射线向量每次被边界表面S2的任意点反射时,必须计算其势能作用于观测点P的声辐射线向量的速度势能(上述方程3中表示)。上述总传播距离“d”对应于方程3的“ro”。
紧跟步骤16的是后续步骤17。在步骤17所选择的是另一个或下一个具有新的交点Q的边界B,在交点Q,另一个边界与具有方向“Fn,r”的反射声辐射线向量相交。紧跟着步骤17的是后续步骤18。当不存在具有交点Q的边界B时,处理程序进行到“结束”,如图2所示。当存在具有交点Q的任何其他边界时,紧跟步骤18的是后续步骤19。在步骤19,当具有交点Q的入射声辐射线向量入射到边界B的背面时,必须找到另一个具有交点Q的边界B。当具有交点Q的入射声辐射线向量入射到所找到的另一边界B的前面时,紧跟步骤19之后的是步骤11,重复上述处理程序。
在对第n个辐射声辐射线向量完成处理程序“C”之后,从图1可见,对每个随后的辐射声辐射线向量重复相同的处理程序。即,在对所有的辐射声辐射线向量完成处理程序之后,跟在处理程序“C”之后是随后的处理程序“B”。
总之,实行由一系列的步骤1~9组成的处理程序“A”,以计算和存贮所有的声辐射线向量的传播沿革。
由上述说明可见,实现处理程序“A”的设备包括:一存贮初始数据的装置;一计算和确定传播记录数据的装置;以及存贮传播记录数据的装置。
另一方面,由图3可见,在随后的处理程序“D”是基于n部分辐射声辐射线向量的传播沿革实行计算的,过程如下:
即,处理程序“D”从步骤21开始。在步骤21,从存储器和类似单元取回计算瞬时响应的第一观测点P的坐标。首先,有关“n=0”的辐射声辐射线向量的传播沿革的数据是在步骤21之后的步骤22取回的。就所取回的传播沿革中的第一个边界B而言,当它的背面朝向观测点P时,在步骤32取回后续传播沿革继续该处理程序。另一方面,当边界B的前面朝向观测点P时,处理程序进展至步骤25,计算从观测点P向记录在传播沿革中的交点Q延伸的方向向量R。跟着步骤25的是步骤26,计算观测点P与交点Q之间的距离RD。跟着步骤265的是步骤27,当连接观测点P至交点Q的直线与余下的一个边界相交时,判断来自交点Q的速度势能不作用于观测点P。其结果是,处理程序进展至步骤32。另一方面,在步骤27,当连接观测点P与交点Q的直线不与任何其它边界相交时,跟着步骤27之后的是步骤28,在此步骤判断,在时间周期T内波动是否到达观测点P。当判断在时间周期T内波动到达观测点P时,则边界B上的速度势能作用于该观测点P,因而跟着步骤28之后的是处理程序“E”。附带说明,上述判断是依赖于在初始化的瞬时响应的持续时间T内波动是否传播了一预定距离作出的,该预定距离是总传播距离d(即声源和交点Q间的距离)和距离RD之和。
如图4所示,在处理程序“E”:由以交点Q代表的边界的所谓微面积元形成的并作用于观测点P的速度势能是采用方程3计算的;并基于速度势能作用于观测点P的时间,将瞬时响应存贮于阵列中。当某些数据早已存贮在阵列的相同位置中时,使瞬时响应与该数据相加。更具体地说,该微面积元被定义为在交点Q内被用来限定声辐射线向量的立体角所形成的面积。在图5(A)中,多个声辐射线向量朝向边界发出,这些声辐射线向量之一(实线所示)在边界上形成微面积元。图5(B)是在边界上所形成的微面积元的平面图。从这些附图中可见,边界上的微面积元的大小可变,并由声辐射线向量与边界平面间所形成的角度确定。具体地讲,在数据处理中,边界上的微面积元的面积大小可以等于自波源至交点Q的总距离和上述立体角两者限定的锥体的底面积。在此情况下,其近似精度虽然稍微变差,但在实际中是足够的。还有,在此情况下,由于仅基于距离d和立体角就可确定微面积元的面积大小,故此可以加速数据处理的操作速度。附带说一下,微面积元的面积大小对应于方程3的“dS2”项。
由图4可见,处理程序从步骤41开始,计算方程3的积分项的第一项。紧跟步骤41的是后续步骤42,计算方程3的积分项的第2项。在本发明实施例的计算中,因为在边界上声的反射和吸收仅定义为总反射和总吸收,则计算中所用的函数f(t)可以定义为等于波源的初始化瞬变函数。当反射和吸收各是一部分时,对应于边界特性的函数f(t)可以被确定为每次声辐射线向量被边界反射时的传播沿革“Fn,r”。
紧跟步骤42的是后续步骤43,其中,计算边界上微面积元的面积大小,以确定积分近似值。
紧跟着步骤43的是后续步骤44,其中:确定在步骤41所得到的计算结果和在步骤43所得到的边界上微面积元的面积大小之积;再用卷积变换计算法处理确定的乘积和声源的初始值。
紧跟步骤44的是后续步骤45,其中:确定在步骤42所得到的计算结果与在步骤43所得到的边界上的微面积元的面积大小之乘积;并采用卷积变换计算法处理所确定的乘积和波源初始值微分值。
在步骤45之后的步骤46~48中,将基于近似边界的积分结果的瞬时响应存贮于存储器或类似单元中。为了在观测点P再现声音的声学特性,提供在其中存贮待计算的瞬时响应的数字阵列。该阵列可以在处理程序“A”进行的初始化中提供。在该阵列中,依据波动到达观测点P的时间Dt在存储待计算的瞬时响应的阵列中确定单元j。所以,将在观测点P对应于时间Dt的瞬时响应结果加到并存贮于数字阵列的对应单元j中。更具体地讲,在步骤46,基于波源和声辐射线向量的交点Q间的总距离d和距离RD之和来确定波动到达观测点P的时间Dt。
紧跟步骤46的是步骤47,其中,确定在数字阵列中对应于时间Dt的单元j。紧跟步骤47的是步骤48,其中,将在步骤44、45所得到的时序中的数据加到并存贮于数字阵列对应单元j中。在上述相加和存贮中,当某些其它数据早已存贮在单元j中时,将数据加到这些其它数据中,将结果存贮在单元j中,从而获得了与近似积分相同的效果。另外,通过按时序方式排列阵列单元,可以按时序(即按阵列单元的顺序)在观测点P取回能再现声音的声场特性,因而,实现了有效地再现声音的方法和设备。
在完成处理程序“E”之后,继续对后续辐射声辐射线向量传播沿革的数据处理。当第n个辐射声辐射线向量的传播沿革所有的数据被计算后,对第n+1个辐射声辐射线向量进行相同操作。在对所有的辐射声辐射线向量的计算完成之后,按图3所示的方式,进行对后续观测点P的数据处理。
总之,在处理程序“D”中:利用积分根据每个在边界被反射的声辐射线向量的传播沿革来计算声辐射线向量作用于观测点P的速度势能;以及确定并存贮观测点P的瞬时响应。
由上可见,完成处理程序“D”的装置可以是任何装置,只要该装置能利用近似积分来处理所存贮的传播沿革。换言之,该装置可以是:通过包括一系列步骤的软件操作的处理单元;或是计算机,或是装备有利用近似边界积分执行合适处理程序的硬件的某些其它单元。
在完成处理程序“D”之后,按着是图1所示的步骤49。在步骤49中,为了确定从声源发出的并作用于观测点P的直达声的声学特性,将瞬时特性加到并存贮在阵列的单元j中,单元j对应于直达声到达观测点P的时间。
图6表示一系列声辐射线向量和待确定的直达和反射声的瞬时响应,表明在观测点P的总势能对时间的曲线。更具体地讲,在处理程序“D”中,每当每个声放射线向量在边界反射时,计算并按时序存贮作用于观测点P的势能,以便将观测点P的瞬时响应作为整体确定下来。参照图6所示的曲线则容易理解处理程序“D”及直达声的相加。
现在将参照图7(a)和图7(b)来描述产生瞬时响应信号的方法。图7(a)表示采用称作虚象法的常规正则计算法所得到的响应信号。另一方面,图7(b)表示通过上述处理程序实际得到的瞬时响应信号的幅度波形。与图7(a)所示的常规波形相比,很明显,图7(b)所示的幅度波形除正波形之外还包括负波形。由这一事实可知,本发明实现了瞬时响应的幅度波形的再现,而迄今为止很难对其进行确定或在其确定过程中需要大量的操作时间。
现在,将描述根据上述波形的真实声音再现。
如图8所示,通过诸如CD播放机、唱片播放机、盒带播放机以及类似设备之类的声音再现设备70再现模拟声音信号,并通过线71输入给乘积之和计算器72。然后将经过计算器72如此处理的声音信号以模拟模式经线79发送给放大器80,并在此被放大。最后将所放大的声音信号通过线81提供给扬声器82,以便再现声音。乘积之和计算器包括:一用于实际执行卷积计算法的中央处理单元(下文称作CPU)76;一通过线75与CPU76的输入端连接的A/D转换器73;以及通过线77与CPU的输出端连接的D/A转换器78。然而,在声音再现设备70发送其数字模式的输出信号的情况下,自然要去掉A/D转换器。以乘积之和计算器72为例,是由被称为Lake DSP Pty.Ltd的公司提供的产品——“数字音频卷积处理器FDP1加”。
现在参照图9,将描述乘积之和计算器72内所进行的信号处理的原理,把从A/D转换器73发送的数字信号输入到CPU76,并在此进行处理,再将如此处理后的信号发送给线77。
如图9所示,离散信号85是模拟信号在时基上的离散表示法,并在线71上显现。将关于该离散信号85的波形中定时和幅度的数据作为数字信号输入给CPU76,在其内所存储的是通过上述用于产生瞬时响应信号的处理程序,或通过任何其它合适的处理程序所确定的瞬时响应信号。为了确定实际离散数字信号86,在CPU76卷积计算部分84中针对其每个分割的离散时间处理离散信号85(实时输入给CPU76)的所有数据以便由卷积计算部84产生一对应于瞬时响应信号83的响应信号。由于必须再现所有的带着由瞬时响应信号引起的其延迟时间的声音,对其每个离散的时间间隔,在卷积计算部84将离散信号85的所有上述数据作对应于瞬时响应信号83中时间分割部分数量的多次加算。例如,为了再现其频率高至20KHz的声音,当使用持续时间为1.3秒的瞬时响应信号(将信号分割为每秒48000部分)时,必须使用65,536个分支部分。所以,为了再现声音,必须在每20.8微秒(即1/48,000秒)对65,536个分支部分的数据进行加算,以便产生模拟输出。
在上述处理中,最好使用上述由称作Lake DSP Pty.Ltd.的公司提供的产品——“数字音频卷积处理器FDP1加”。
另一方面,也需要有一种再现声音的简单而便宜的方法和设备,现在对其加以描述。
图10(a)是瞬时响应信号的幅度在时基上的对数表示,该信号是通过与产生如图7(b)所示的瞬时响应信号相同的方法产生的。图10(b)是瞬时响应信号的能量在时基上的对数表示,该信号是通过与产生如图7(b)所示的瞬时响应信号相同的方法产生的。在以下的描述中,瞬时响应信号的离散时间间隔被设定为20.8微秒,对应于48KHz的取样次数,而再现中的持续时间设定为1.3秒,以使瞬时响应信号取样次数的总数在时基上设定为65,536次。这里,65,536个取样次数的每一次均被其取样号码(即取样编号)识别。
在图10(a)中,在声源产生瞬时信号时的时间被定义为取样No.0,表明取样No.0之后的瞬时响应信号的波形。从图10(a)可见,主要脉冲都集中在曲线的前半部直至接近取样No.4000。另一方面,从图10(b)可见,在取样No.65,536曲线在时基上的瞬时响应中的衰减标明在60dB左右。所以,虽然瞬时响应中的衰减取决于空间的大小、限定空间墙壁的材料和类似因素,显而易见,持续时间为1.3秒已充分满足本发明的目的。
图11(a)表示图10(a)所示的从取样No.0至No.4096范围内波形的放大视图。由图11(a)可见,直至4,000左右的取样号仍有主要脉冲。在这些主要脉冲中,幅度特别大的脉冲存在于更有限的范围内。所以,仅取出图10(a)所示特性的那些脉冲,以便产生另一个新的瞬时响应信号,如图11(b)所示。然后,用如此取出的瞬时响应信号声音再现中作为图9所示的瞬时响应信号83,证实合成或再现的声音为三维声音。
由以上事实,显然带有足够大的的幅度的脉冲能到达听者耳朵,在经过预定时间后,能刺激听者的听觉。与诸如仅按指数模式衰减并广泛用于产生三维混响效果的回声之类的混响相反,上述脉冲能使听者欣赏三维的空间特性和在其内固有的空间感。所以,通过再现这样的特性部分,可以再现在再现空间内预定观测点(即听音点)检测到的声音特性,被检测的声音仿佛就是在该空间产生的。另一方面,除上述特性脉冲外的其余脉冲用作对听者的听觉中特性脉冲的补充要素,因而不必以与特性脉冲相比的高精度再现。
再有,通过采用包括正脉冲和负脉冲(负脉冲跟在正脉冲之后)的瞬时响应信号可以辨认真实的空间图象。实际上,由于负脉冲代表边界的间断部分,通过采用负脉冲,可以去掉瞬时响应频率中的分量,也可以使听者辨认空间的三维形状,特别是其断断续续的边界,如从上述方程2和3所见。换言之,这些负脉冲是由边界的预定部分,或限定三维空间的墙壁表面(该部分包括边界间所形成的凹形交叉区)和边界的材料有变化的某些边界区产生的。认为这些负脉冲在听觉上给出空间的实象。所以,在三维声音的再现中让负脉冲与对应的正脉冲一起再现是至关重要的。
如上所述,借助于:提取瞬时响应信号的特性脉冲;以及使用如此提取的瞬时响应信号的特性脉冲再现声音的特征部分,可以辨认空间内声音的声学特性的实质部分。另外,借助于:从大量的瞬时响应信号数据中提取用于制备新的瞬时响应信号的数据,可以显著减少数据处理中的负载(即待相加的瞬时响应信号数据的数目)。
对于在瞬时响应信号的这些部分,最好通过以下程序(1)~(6)去除或取样特征部分:
过程(1):
按脉冲幅度最大值(即绝对值)的顺序来取样瞬时响应信号的特征部分。此过程(1)容易完成。在过程(1)中,送到听众听觉的声学模拟量由脉冲幅度大小代表。在此取样中,为防止待取样的脉冲数量无限增加,可以将待取样的脉冲数量限制在预定数量。另一方面,也可以设定预定的阈值,仅让幅度超过阈值的脉冲被取样。
过程(2):
在图11(b)所示的曲线中,预先设定一预定阈值。然后,按时间顺序,在对应于曲线时基原点的时间产生声音的条件下,仅取样其幅度的绝对值超过阈值的脉冲。过程(2)可以有效地应用于声音出现的开始区特别重要的那些情况,即不使用达不到阈值的脉冲。
过程(3):
在过程(3),当过程(2)实施的取样数量到达预定数量时,该脉冲的取样操作结束。所以,过程(3)对中央处理单元(即CPU)加算数量的容量有限的情况特别有用。
过程(4):
对每个信号组的脉冲,选择幅度最大的脉冲,并定义为第一脉冲。在图12(a)所示的实例中,不同于其余信号的信号90,形成信号组90。图12(b)表示在时基上放大的瞬时响应信号曲线图。从图12(b)可见,在范围从取样No.1024-2000左右的区域内存在离散的脉冲峰点。根据取样定时,这些脉冲间的时间间隔可经常低于听者听觉不能觉察的预定值。所以不必再现或取样所有的脉冲峰点。换言之,取样这些脉冲峰点之一已经足够,该峰点足以能使听者的听觉觉察到。例如,从熟知的“Haas”效应可见,当这些信号以10微秒和类似的在时基曲线上的很短的时间间隔相互分开时,听者不可能区分出单个的信号。在此情况下,一个选中的脉冲可以是各脉冲串中的第一个峰值脉冲,或其中的最大脉冲。在图12(c)的情况下,仅取样各脉冲串中的第一个脉冲。
过程(5):
可将上述过程(1)-(4)的每个过程的持续时间限定在一预定时间长度。至于在空间内的瞬时响应信号,根据从声源沿各方向发送的直达波在反射波上的叠加,确定作用于观测点的声音的幅度。在此情况下,在经历预定时间周期后,使波源的能量衰减,以致不可能获得足够的脉冲峰值。例如,从图10(a)和10(b)可见,对取样No.65,530,在观测点的能量衰减到达近似60dB.所以不必把脉冲取样延续到取样No.65,530。在上面,基于能量衰减确定过程(1)-(4)中每个过程的持续时间。也可以根据脉冲幅度的大小确定过程(1)-(4)中每个过程的持续时间。如图10(a)和10(b)所示,幅度等于或大于0.005的脉冲的第一范围在时基上基本延伸到取样No.4.096。换言之,在超出取样No.4,096的第二范围内没有幅度等于或超过0.005的脉冲。因此,可仅在上面第一范围内对峰值脉冲取样。
过程(6):
在各用于取样脉冲的上述过程(1)-(5)中,实际上最好将负峰值脉冲跟所对应的正峰值脉冲一起取样。如上所述,负峰值脉冲与所对应的正峰值脉冲配合,可以再现其频率分量还能使听者欣赏到三维的空间实象。
如上所述,有各式各样的取样脉冲过程。
现在,参照图13,描述不用高性能的乘积之和计算器在上述脉冲取样完成后,基于瞬时响应信号,简单再现声音的本发明的设备。
如图3所示,在本发明使用一简单型的乘积之和计算器100替代图8所示的乘积之和计算器72的CPU76。简单型乘积之和计算器100包括多抽头的延迟电路110、混响部120和均衡器130。
多抽头延迟电路110包括一延迟线112、多个加权部114和多个加算部118。多个抽头信号的多个输出线115设在加算部118。该信号由延迟线112经过加权部114传送至加算部118的输出线115。
多抽头延迟电路110从输入线75接收声音信号,并基于预定延迟时间和幅度处理该信号,以便发送输出信号。现在使用经对图11(a)和11(b)所示的瞬时响应信号取样后制备的新的瞬时响应信号描述多抽头延迟电路110的功能。
待取样的信号用参考标号P1-P30(下文称作脉冲P1-P30)表示。所以脉冲总数是30。
在延迟线112中的设定对应于由多个输出线(即抽头)115第一抽头发送的脉冲P1位置的延迟时间。脉冲P1代表到达观测点的直达声,并对应于取样No.793。因而,脉冲P1的持续时间是793×1/48,000=16.52毫秒。所设定的延迟线112接收来自输入线75的信号,并在经过所设定延迟时间后将信号发送至第一加权部114。
再有,设定待再现的信号幅度,并在加权部114受控。在此情况下,待再现的瞬时响应信号中的脉冲幅度是这样设定的,使其大小相互成比例。更具体地讲,在图11(b)的情况下,脉冲P29的幅度最大。所以,脉冲P1是这样设定的,使其接近脉冲P29的70%。其结果,在对应于脉冲P1的第一加权部114中,对由延迟线112供给的信号按70%的加权比在其幅度中加权,并发送至第一输出线115。
作为上述设定的结果,由输入线75供给的输入信号经16.52毫秒之后从第一输出线115发送。如此输出的信号的幅度被加权为输入信号幅度的70%,并用于脉冲P1的再现,这就使听者在声音出现的16.52毫秒内听到一种恰如来自其声源的直达声。
然后,对第二输出线115进行脉冲P2的设定。待设定的延迟时间是22.16(即1,064/48,000)毫秒。在此情况下,加权比是63%。由于这种设定,在自其声源发出声音的22.16微秒内可使听者听到第一特性声音。
按着与上述相同的方式,对每个余下的脉冲P3至P30进行设定。至于对负脉冲,在上述幅度设定中,必须对这些负脉冲附加设定负指示。在完成这些设定后,在多抽头延迟线110中,对应于已针对单独输出线115设定的单独延迟时间的信号被连续地从输出线115发送。
通常,线75上的输入信号是连续的声音信号,如音乐等。所以,多抽头延迟电路110设有加算部118,将从输出线115在同一时间发送的所有信号全部相加,这是由于,例如:当经过第二延迟时间后,从第二输出线115发送跟在第一信号后的第二输入声音信号的同时,从第一传输出线115发送(经第一延迟时间后)第一输入声音信号。所以,当输入信号的取样频率是48KHz时在每个取样间隔,比如为1/48,000秒,将同时存在的脉冲P1-P30的信号全加起来。
另一方面,为使用线116上的输出信号,使听者欣赏到更真实的声场,最好使用混响部120以便把混响加到声音中去。混响部120可以是市售产品。在混响部120,以多抽头延迟电路110中的每个取样频率处理过的信号随时间指数衰减的方式将混响加到声音中去。在此情况下,混响时间和混响的衰减特性根据实际所用的混响部120变化。所加的混响可以轻易地平滑被取样的新的瞬时响应信号脉冲之间的间隙。再有,不必担心取样的特征脉冲会损害影像的声音。混响的加入对上述从信号组中选取一个脉冲的过程(5)特别有效。
带有混响的信号通过线117输入到均衡器130。出现在线116、117上的信号仅包括取样的类脉冲特性信号,所以包括极其多的高频分量。均衡器130用作低通滤波器,以去掉这些高频分量,并控制发送到线77的输出信号的频率特性。
如上所述,在瞬时响应信号中的大量脉冲中,仅选择和取样特征脉冲,以通过瞬时响应信号中有限数量脉冲的卷积计算,制备新的在空间中实现所谓的三维声音再现的简单的瞬时响应信号。所以,在本发明中,在三维虚拟空间的声音再现中,可以使用一很简单的乘积之和计算器或普通的抽头数量有限的抽头/延迟系统。
现在,描述利用在现实空间设置的多个扬声器,在虚拟空间内再现声音中所用的产生瞬时响应信号的方法。产生瞬时响应信号的方法适合再现声音的现实空间,并能使处在现实空间的听者欣赏到在虚拟空间再现的声音。
图15表示影剧院的平面图,表明多个听众席和按所谓Dolby环绕系统模式再现声音所安排的多个扬声器。安排在图15所示剧院中的扬声器数量是14个。这些扬声器由参考标号SP1-SP14代表,并环绕听众配置,如图15所示。由扬声器SP1-SP14发送的声音形成直达声和来自墙壁反射声。这些直达和反射声到达听众,能使听众欣赏到影剧院原有的声音。
为了真实再现这种听众可欣赏的声音,必须产生用作瞬时响应信号分量的势能,该势能在声音再现中到达听众。产生这种势能的方法之一与参照图7(a)和7(b)所描述的产生瞬时响应信号的方法相同。在此方法中,将影剧院中环绕听众的墙壁定义为边界。被这种边界限定的空间形成虚拟空间。扬声器形成多个声源,以便从这些扬声器来的声音在所限定的虚拟空间中传播作用于听众。所以,通过计算上述势能,确定作用于听众的瞬时响应信号,可以得到与实际作用于影剧院中听众的瞬时响应信号相同的势能。
例如,在图15中:来自扬声器SP1作用于听者P的直达声的声辐射线向量用参考标号D0代表;入射到对应于墙壁W的边界的入射声辐射线向量用参考标号D1代表;以及入射到听者P的速度势能用参考标号Φ代表。该速度势能Φ形成全部瞬时响应信号分量,这是从被边界上如图5(b)所示的微面积反射的入射声辐射线向量D1得到的。
现在,描述在现实空间中的影剧院的声音再现。通过在现实空间中形成的声场中合成产生影剧院的三维虚拟声场,可以实现这种声音再现。附带说明,将在现实空间如此合成产生的声场在下文称作合成声场。
虚拟空间是这样叠置在现实空间上的,使现实空间内的听者的位置与虚拟空间内的听众位置一致。图16(a)所示的是一现实空间144。将现实空间144内的听者142的位置叠置在图15所示的听众P的位置上。在现实空间144内配置的是由参考标号140a、140b、140c和140d代表的四部扬声器。如图16(a)所示,听者142被这些扬声器环绕。假定,基于作用于图15所示的听众的势能的声音可以借助这四部扬声器140a、140b、140c、140d再现。则听者能欣赏到虚拟空间的声音。附带说明,听者142的相对位置和扬声器140a、140b、140c、140d相互间的相对位置仅是在现实空间的设定中需要的。基于这些相对位置信息,产生与虚拟空间相关的合成声场。
在图16(a)和16(b)中,详细地表明了图15所示的势能“Φ(1,1)”。该势能“Φ(1,1)”被分为分配给单个扬声器140a、140b、140c、140d的多个部分。如图16(a)所示,由于势能“Φ(1,1)”通过扬声器140a和140b间的空间到达听者142,该势能“Φ(1,1)”被分为分配给扬声器140a、140b的两部分。
现在,参照图16(b),描述分割势能“Φ(1,1)”的方法。
在图16(b)中:直线a-a′通过扬声器140a的中心和听者142的中心,而直线b-b′通过扬声器140b的中心和听者142的中心。直线a-a′与直线b-b′在势能“Φ(1,1)”的端点“Φe”相交。势能的起始点为“Φb”。让直线a-a′、b-b′之一平行于原始位置移动,形成直线c-c′,与直线a-a′、b-b′中的另一直线相交于点G。在此情况下,直线“Φb”-G形成其势能平行于直线a-a′的向量,该势能被用于扬声器140a。另一方面,直线G-“Φe”形成其势能平行于直线b-b′的向量,该势能被用于扬声器140b。
对所有的势能进行上述的这种分割操作,能把作用于听众的瞬时响应信号分成分配给四部扬声器140a、140b、140c、140d的多个部分。附带说明,这里所用的势能虽然是通过近似声音积分确定的,但也可使用通过另一种合适的计算法确定的势能。另外,上述分割操作是一种常规的对向量的数学分割操作。所以,即使在现实空间内的扬声器是三维配置的情况下,当每一势能通过由三部扬声器限定的空间时,通过对向量进行三维数学分割操作,可以确定单个扬声器的势能。
然后,参照图17描述采用将分配单个扬声器的势能相加所制备的瞬时响应信号来再现真实声音的方法。
图17所示的是:带有14个Dolby环绕输出声道SP1~SP14的声音输出单元150;带有卷积计算功能包括A/D变换器和D/A变换器的56个乘积之和计算器152;将来自乘积之和计算器的输出混合,以制备供给单个扬声器的信号的混合器154;用于各个扬声器的四个放大器156;以及四个扬声器140a、140b、140c、140d。附带说明,在现实空间144,在听者前方还设有一部用来再现电影画面的电视机142。
从图15所示用于声音输出单元150的声道SP1的扬声器发送的声音以各种模式在虚拟空间内传播,通过其各种速度势能作用于听众P。在此情况下,每种势能均分配给四部扬声器中的每一个,如参照图16(a)所描述的。所以,就每个扬声器而论将分配给四个扬声器的这种势能相加,以便制备用于单个扬声器的四部分瞬时响应信号并分别存贮于第1~第4乘积之和计算器152。如在上述声道SP1中那样,在声音输出单元150的每个其余的声道SP2~SP14中,设置用于单个扬声器的四部乘积之和计算器152。所以,用于再现所有瞬时响应信号的乘积之和计算器的必要数量是56,因为14×4=56,其中的14是虚拟空间中声源即扬声器的数目;而4用于声音再现的实际扬声器的数目。
根据先前参照图8和9所描述的过程,在这些计算器152中处理由声音输出单元150发送到乘积之和计算器152的输出信号,并作为虚拟声音信号由此发出。然后使从乘积之和计算器152发出的虚拟声音信号输入到混合器154,并在此经受用于单个扬声器的混合操作。之后,将经过混合操作的声音信号由混合器154发送到放大器156,并在此被放大。将如此放大的声音信号从放大器156供给单个扬声器140a、140b、140c、140d,如图17所示,以便由这些扬声器再现声音。
如上所述,根据本发明,听者142可以欣赏到Dolby环绕模式的声音,仿佛他就在影剧院。在本发明的上述实施方案中,使用四部再现声音的扬声器。然而,本发明也可以使用任何其它所希望数目,如2、8声道或更多声道的扬声器。还有,在本发明的上述实施方案中,虽然扬声器是按平面配置的,即二维布置,本发明也可以三维配置扬声器,分配到按三维配置的每个扬声器的是作用于观测点的速度势能的一部分,各部分是通过分割速度势能制备的。如上所述,可通过对向量进行众所周知的数学分割完成速度势能的分割。
附带说明,实际执行在乘积之和计算器152中进行的卷积计算的中央处理单元可以使用图13所示的更便宜的多抽头延迟电路110替代。借助使用这种便宜的多抽头延迟电路110,使听者在家中即可欣赏到影剧院中Dolby环绕模式的声音。
如上所述,为借助于现实空间的扬声器(下文称作再现扬声器)再现影剧院或类似大厅中的声音,必须:把所希望的影剧院和类似大厅定义为虚拟空间;为每个现实空间的再现扬声器确定瞬时响应信号,该瞬时响应信号是从由影剧院的扬声器(下文称作装配扬声器,以区别再现扬声器)在声源产生的瞬时信号得到的,使听者感受到瞬时响应信号;以及对分配给单个系统扬声器的立体声或Dolby环绕声信号执行卷积计算。以上适用于借助现实空间的再现扬声器的声音再现,以便使听者在家中能欣赏到在虚拟空间的影剧院和类似大厅中的声音。
另外,本发明在制备新的声源方面也是有效的。例如,在电影场景中,为了再现作用于在其声音是由人、动物和其它作用于听者的对象引起的声学环境中欣赏电影的听者的声音,必须:将这种电影场景定义为虚拟空间;将在声学环境中的人、动物和其它对象的位置定义为声源在虚拟空间的位置;以及将与上面描述的相同的合成过程施加于与现实空间相关的虚拟空间。图18(a)表示当用配置在上述的影剧院和类似大厅的虚拟空间中的扬声器作声源时,再现扬声器140a~140d和现实空间内的听者间的位置关系。图18(b)表示当电影场景在以人和动物作声源的声学环境的虚拟空间中形成时,再现扬声器140a~140d和现实空间内的听者间的位置关系。
图18(a)和图18(b)间的不同之处在于,图18(a)中的虚拟空间的声源是固定装配的扬声器,而图18(b)中的虚拟空间的声源是可移动的人和动物。然而,由于任何一个固定装配的扬声器和可移动的人和动物都可形成虚拟空间的声源,可以按图18(a)和18(b)所示的情况实现本发明。至于每个可移动的声源,诸如虚拟空间中的人和动物,必须在每个所希望的时间间隔计算每个这种可移动的声源在虚拟空间中的位置,以确定每个所希望时间间隔的瞬时响应信号,该瞬时呼应信号来源于计算的位置上所产生并作用于听者的声音。所以,在本发明中,在每个所希望的时间间隔确定其势能;然后基于如此确定的势能,根据上述处理,在每个所希望的时间间隔产生瞬时响应信号。这里至关重要的事项是在本发明中应用可移动的声源可实现已为人注目的计算机制图再现逼真声音的装置,在未来的电影生产过程中可以自动产生和编辑声音。
本发明还提供一动态声音,这对改变多个虚拟空间是更有效的。现在,将描述在根据电影场景改变多个虚拟空间中声音再现的方法,但也不限于影院的虚拟空间。
图19表示随时间变化的声学虚拟空间158和在该声学虚拟空间158内的现实空间144之间关系。更具体地讲,在时间T1,现实空间内的听者142将其自身基本上置于长方形的虚空间中部,在现实空间144按如下方式与虚拟空间158相结合的条件下,装配于听者142所在的现实空间144的四个扬声器140a、140b、140c、140d再现从环绕现实空间144的虚拟空间158发出的声音。另一方面,在时间T2,现实空间144与由墙壁环绕的假定平面视图基本上为方形的,虚拟空间的角部相结合。最后,在时间T3,现实空间与有相当高度的虚拟空间的上部相结合。上述虚拟空间是根据电影场景设定的。如上所述,当现实空间与虚拟空间所希望的部分相结合,所希望部分随时间变化时,可以让处在现实空间的听者欣赏到最适合于每个电影场景的最佳声音。所以,例如,在大草原和类似场景的广阔电影场景中,可以通过与广阔电影场景一起再现的声音,让听者欣赏到广阔的感觉。在另一情况下,例如,也可以按如下方式生产电影:电影场景变得越重要,虚拟空间被放得越大,产生其混响效果,以增加场景的重要性。
图20表示根据电影场景再现声音的设备的方框图。在图20所示的设备中,将包括声音信号和与声音信号同步的同步信号信息的输入信号72输入至设备的输入部160。使用有关同步信号的信息,使再现的声音与电影场景同步。在输入部160,将输入信号172解调或在预定频带内的频率中取样,以得到声音信号180和同步信号174,将二者分开并被输入到D/A变换器168和控制部162。在图20中用虚线表达D/A变换器168,是因为当输入信号172是数字数据时,需要表示不需要的D/A变换器168。另一方面,根据输入到控制部162的同步信号174,控制部162给存储器部164和中央处理单元部166发出控制信号176。预先存贮在存储器部164的是被中央处理单元部166使用的多个瞬时响应信号。在这些瞬时响应信号中,从存储器部164取回由控制部162发出的控制信号指定的那一个,以便实时地从存储器部164发出依赖于电影场景的一预定的瞬时响应信号178。附带说明,在上面指定一预定的瞬时响应信号的方法中,例如,也可以随着同步信号的出现连续取回瞬时响应信号。另一方式,也可以使用包括识别一预定瞬时响应信号的地址信息的同步信号,通过地址信息来指定预定的瞬时响应信号。在中央处理单元部166,根据控制部162发出的控制信号176,设定另外发出的一个瞬时响应信号178。该中央处理单元部166有两种功能:基本上与图8所示的中央处理单元部76相同的卷积计算功能和根据控制信号176设定存储器部164发出的任意一个瞬时响应信号178的设定功能。对本领域的技术人员用市售的DSP(即数字信号处理器)很容易实现设定功能和卷积计算功能。在中央处理单元部166中,其内早已设定了预定的瞬时响应信号,根据上面参照图8和9早已描述的过程,基于瞬时响应信号,对数字声音信号182进行卷积计算。然后将经过卷积计算得到的合成信号从中央处理单元部166发送到A/D变换器170,如图20所示。所以,由A/D变换器170发出的声音再现信号186代表根据每一电影场景设定的对应于虚拟空间的声音。然后将该声音再现信号186(下文也称作虚拟空间声音)通过放大器发送到扬声器,以便再现声音,使听者欣赏对应于单独的电影场景的声音。
虽然上面所描述的是对应于随时间变化的虚拟空间的瞬时响应信号的设定,很显然,本发明也适用于另一种瞬时响应信号自身能与虚拟空间一起变化的情况,如声源随时间移动的情况。
附带说明,在目前广泛使用的影视盘LD及类似带中,没有同步信号。所以,在此情况下的图象重现中,从图象重现开始时计时,以便由控制部162控制预先存贮的瞬时响应信号,使之根据随计时变化的电影场景,从存储器部164发送到中央处理单元部166。所以,在此情况下,输入部160可以被省去。换言之,将在图象重现开始时所产生的触发信号输入到控制部162,以使控制部162根据触发信号开始计时。在经过预定的时间周期后,控制部162将控制信号发送到存储器部164和中央处理单元部166。
至于上面的存贮在存储器部或装置164中的各种瞬时响应信号,在从远距离经信号传送再现视频信号的情况下,很显然,在频信传送之前已将瞬时响应信号传送给存储器部164。
根据未来多媒体的开发,数字电视广播的出现以及计算机间通过数据压缩/编码的视频/伴音信号传送和接收技术的开发,可以适当改善输入部160的设计。例如,可以相对于ISO标准中的MPEG2标准将输入部160作如下的改变。
现在将参照图22来描述使用MPEG2标准的信号传送原理。将视频信号和伴音信号分别输入到各自发送编码信号的不同编码器。将每个编码信号分组,以便于其分组传输到MPEG2的传送/流信号(TS)多路复用单元和MPEG2的程序/流信号(PS)多路复用单元,由每个单发送一实际的流信号(TS或PS)。TS分组的结构包括:分组标题;适配字段(adaptationfield)和/或分段负载(bayload)(即数据部分)。适配字段包括时间信息,即称作PCR(即程序时钟基准)的程序标准时间。另一方面,将分段负载用于发送各种数据。所以,借助使用适配字段和分段负载(即数据部分),可以使用同步信号,使之可以实现上述的同步控制。附带说明,在此情况下,由于输入信号是分组的流信号,当然需要使用解码实际视频信号的功能,也需将同步信号分开,这可根据传送协定通过适当改变解码/取样控制来实现。换言之,本发明之特征在于,通过依据电影每个场景随时间任意改变虚拟空间,本发明提供信息更生动的声学部分,因而不限于图20所示的方框图。
也可以使用图21所示的方框图,只要它能到达本发明的目的。图20和图21所示的方框图之间的不同点在于,后者无存储器部,以致瞬时响应信号178从控制部162直接发送到中央处理单元部166。在此情况下,通过由广播电台,卡拉OK控制台,图像CD等发送的包括视频信号和声音信号的输入信号192,经输入部160接收每一电影场景的瞬时响应信号。在输入部160,将所接收的输入信号192分为声音信号180和另一包括瞬时响应信号178的信号194,以便通过在由控制部162发送到中央处理单元部166的控制信号176执行的控制下的控制部162,将瞬时响应信号178供给中央处理单元部166并在其内设定。
附带说明,图20和21所示的中央处理单元166也可以用适当的与如图13所示的具有简化的功能的,可按简易方式廉价实现三维声音再现的中央处理单元部100具有相同卷积计算功能的装置替代。所以,本发明可以提供家用的消费品。特别是由于在家用视频设备和计算机中伴随移动画面的伴音输出,是双声道模式,用设有八部乘积之和计算器的中央处理单元部166由四支扬声器可再现伴音,计算器的数量明显少于图13所示的乘积之和计算器的数量(56部),所以,可将本发明应用到消费品中。

Claims (31)

1.一种声音模拟方法,用于当由位于任意设定的虚拟空间中的任意位置的声源所产生的瞬时信号以波动方式在所述虚拟空间传播时,确定作用于预定观测点的瞬时响应信号,其特征在于包括以下各步骤:
用多个在所述声源的所述位置产生的并由此在所述虚拟空间的所有方向辐射的声辐射线向量代表所述瞬时信号;以及
每当每个所述声辐射线向量被所述边界所述部分反射并继续前进时,确定从限定所述虚拟空间边界的一部分到达所述观测点的势能。
2.一种声音模拟方法,用于当由位于任意设定的虚拟空间中的任意位置的声源所产生的瞬时信号以波动方式在所述虚拟空间传播时,确定作用于预定观测点的瞬时响应信号,其特征在于包括以下各步骤:
用多个在所述声源的所述位置产生的并由此在所述虚拟空间的所有方向辐射的声辐射线向量代表所述瞬时信号;
每当所述声辐射线向量入射到限定所述虚拟空间的边界的一部分并由此反射时存贮传播沿革数据,所述传播沿革数据包括所述声辐射线的入射数据和反射数据以及所述边界的所述部分的数据;以及
基于所述传播沿革数据和所述边界的每块区域,确定从所述边界的每个所述部分到达所述观测点的势能,所述区域是被所述边界的所述部分的所述声辐射线向量每个入射和反射声辐射线向量占据。
3.如权利要求1或2记述的声音模拟方法,其特征在于:
提供一形成为时阵列数的存储器部;以及
在所述存储器部内的所述阵列的各个部分中,被分配给由所述到达所述观测点的势能引起的延时的单个部分通过一附加处理存贮所述势能,以便按时序模式确定瞬时响应信号。
4.一种声音模拟方法,包括以下各步骤:
(a)设定一任意虚拟空间;
(b)设定一预定的在其内设有多个扬声器的现实空间;
(c)在所述现实空间内的听音点上叠置所述虚拟空间内的观测点;
(d)在经历对应于在所述虚拟空间内的声源所产生并在其中传播的瞬时信号的延时后,确定作用于所述观测点的势能
(e)将所述朝向所述观测点的势能分割为分配给设置在如此叠置的现实空间中的所述各个扬声器的多个部分;以及
(f)通过对所述势能的所述部分求和来确定每个所述扬声器的瞬时响应信号,以便对应于所述延时。
5.如权利要求4所记述的声音模拟方法,其特征在于,所述步骤(d)是用于检测如权利要求1或2记载的所述势能的步骤。
6.如权利要求4所记述的声音模拟方法,其特征在于,所述步骤(f)是对每个所述扬声器按时序模式通过下列各步骤来确定所述瞬时响应信号的步骤:
相对于每个所述扬声器提供多个所述形成为时序阵列的存储器部;以及
当所述势能到达所述观测点时,对应于由所述势能所引起的所述延时,在所述时序阵列中的所述存储器部之一中相加并存贮分配给每个所述扬声器的所述势能的所述部分;以及
因而按时序模式确定每个所述扬声器的所述瞬时响应信号。
7.如权利要求4~6任意一项所记述的声音模拟方法,其特征在于:
所述声源包括多个声源;以及
对所述多个声源的每一个确定每个所述扬声器的所述瞬时响应信号。
8.如权利要求4~7任意一项所记述的声音模拟方法,其特征在于:
将所希望的现存的大厅之一设定为所述虚拟空间;以及
将所述声源设定在安装于所述大厅内的所述扬声器的位置。
9.如权利要求4~7任意一项所记述的声音模拟方法,其特征在于:
所述虚拟空间的大小是可变的;以及
对所述大小可变的虚拟空间的每个相位进行所述步骤(d)~(f)。
10.如权利要求4~7任意一项所记述的声音模拟方法,其特征在于:
所述声源的位置是可变的;以及
对在其位置是可变的所述声源的每个位置进行所述步骤(d)~(f)。
11.如权利要求4~7任意一项所记述的声音模拟方法,其特征在于:
所述虚拟空间的大小是可变的;
所述声源存在于所述虚拟空间的每一相位并且其位置是可变的;以及
对所述其位置是可变的并存在于所述大小可变的虚拟空间的每一相位中的所述声源的每一位置进行所述步骤(d)~(f)。
12.一种声音模拟方法,其特征在于包括以下各步骤:
从代表一空间的声学特性的瞬时响应信号中取样预定的信号脉冲;以及
基于如此取样的所述预定信号脉冲确定一新的瞬时响应信号。
13.如权利要求12所记述的声音模拟方法,其特征在于:
在所述取样步骤中,多个所述预定信号脉冲是按所述脉冲的幅度峰值的绝对值递增的顺序从所述瞬时响应信号中取样的。所述瞬时响应信号在延迟的时基上是变化的。
14.如权利要求12所记述的声音模拟方法,其特征在于:
在所述取样步骤中,多个所述预定信号脉冲是按所述脉冲的幅度峰值的绝对值递增的顺序从所述瞬时响应信号中取样的。所述瞬时响应信号在延迟的时基上是变化的;以及
对跟在正脉冲之后的负脉冲也进行取样的所述步骤。
15.如权利要求12所记述的声音模拟方法,其特征在于:
在所述取样步骤中,
设定对应于产生所述瞬时响应信号的每个脉冲的延时的阈值;以及
在所述瞬时响应信号的所述脉冲中,对其幅度峰值的绝对值超过所述阈值的脉冲取样。
16.如权利要求12所记述的声音模拟方法,其特征在于:
在所述取样步骤中,
所述瞬时响应信号的所述脉冲被分割为预定数目的脉冲组;以及
从每个所述脉冲组中至少取样一个脉冲。
17.如权利要求12所记述的声音模拟方法,其特征在于:
所述取样步骤中,
所述瞬时响应信号的所述脉冲被分割为预定数目的脉冲组;
从每个所述脉冲组中至少取样一个脉冲;以及
也对跟随如此取样的所述一个脉冲之后的负脉冲取样。
18.如权利要求12~17任意一项所记述的声音模拟方法,其特征在于:
仅对在预定时间周期之内的瞬时响应信号进行所述取样步骤。
19.如权利要求12~18任意一项所记述的声音模拟方法,其特征在于:
通过权利要求1~11的任意一项所记述的方法确定所述瞬时响应信号;以及
然后对经如此确定的瞬时响应信号进行所述取样步骤。
20.一种声音再现的方法,包括使用通过权利要求1~19任意一项所记述的方法确定的瞬时响应信号来产生声音的步骤。
21.一种声音再现方法,包括以下各步骤:
设定通过权利要求12-19任意一项所记述的方法所确定的瞬时响应信号的每个脉冲的延时和每个所述脉冲相对幅值;
在每一个所述延时根据所述相对幅值发送单独的声音信号,依次输入所述声音信号;以及
将所述单独的声音信号一个个地加起来,制备一新的声音信号,该信号被同时发送。
22.如权利要求21所记述的声音再现方法,其特征在于:
该方法还包括对所述新的声音信号的施加滤波步骤,以使所述新的声音信号的预定频率分量衰减。
23.如权利要求21所记述的声音模拟方法,其特征在于:该方法还包括将混响加进所述新的声音信号的步骤。
24.一种为再现声音在乘积之和计数器中设定一瞬时响应信号的声音再现的方法,其特征在于该法包括以下各步骤:
根据被再现的所述声音产生多个所述瞬时响应信号;
存贮所述多个瞬时响应信号;以及
当再现所述声音时,在所述乘积之和计算器中根据所述声音设定所存贮的所述瞬时响应信号。
25.一种为再现声音在乘积之和计数器中设定一瞬时响应信号的声音再现的方法,其特征在于该法包括以下各步骤:
根据被再现的所述声音产生多个所述瞬时响应信号;
存贮所述多个瞬时响应信号;
向被再现的所述声音的声音信号加入同步信号;以及
当再现所述声音信号时,在所述乘积之和计算器中,根据所加入的所述同步信号设定预定的所存贮的所述瞬时响应信号之一。
26.一种声音模拟设备,当由位于任意设定的一空间内的任意位置的声源所产生的瞬时信号以波动模式在所述空间传播时,用于确定作用于一预定观测点的瞬时响应信号,其特征在于该设备包括:
第一存储装置,用于存贮多个声辐射线向量和限定所述空间的假设为多边形的多个边界中每一个的坐标,所述声辐射线向量从所述声源位置辐射;以及
一处理装置,每当每个所述声辐射线向量被所述边界的一部分反射并继续前进时,用于对每个所述多个声辐射线向量确定势能,所述势能从限定所述空间的所述边界的所述部分到达所述观测点。
27.一种声音模拟设备,当由位于任意设定的一空间内的任意位置的声源所产生的瞬时信号以波动模式在所述空间传播时,用于确定作用于一预定观测点的瞬时响应信号,其特征在于该设备包括:
第一存储装置,用于存贮多个声辐射线向量和限定所述空间的假设为多边形的多个边界中每一个的坐标,所述声辐射线向量从所述声源位置辐射;以及
一处理装置,每当所述声辐射线向量的每个入射向量和反射向量入射到所述边界的一部分或从其反射并继续前进时,用于确定传播沿革数据,所述传播沿革数据包括所述声辐射线向量的所述入射向量和所述反射向量以及对所述声辐射线向量的所述入射向量和所述反射向量而言的所述边界的入射部分和反射部分;以及
第二存储装置,用于存贮所述传播沿革数据;
因而所述处理装置根据所述传播沿革数据和所述边界区域确定从所述边界的所述入射部分到达所述观测点的势能,该区域由所述边界的所述入射部分和所述反射部分中的所述声辐射线向量的入射向量和反射向量所占据。
28.如权利要求26或27所记述的声音模拟设备,其特征在于:
该设备还包括具有时序阵列的第三存储装置,当所述势能到达所述观测点时能对应于由所述势能引起的延时按时序模式相加和存贮势能。
29.一种声音再现装置,包括:
一具有至少一个声音输出的声音输出装置;
至少一个乘积之和计算器,用于根据被设定的瞬时响应信号进行卷积计算,由所述声音输出发送的所述声音信号,所述乘积之和计算器在数量上对应于所述声音输出和至少一个扬声器;以及
所述乘积之和计算器备有用于存贮多个所述瞬时响应信号的存储器部;
因而所述多个瞬时响应信号中的任意一个是从所述存储器部取回的,并设定为所述声音信号的所述卷积计算的操作中的一个参数。
30.一种声音再现设备,用于通过对外部设备提供的声音信号的处理,发送一种根据瞬时响应信号制备的新的声音信号,其特征在于包括:
一输入部,输入一与声音信号一起传送的同步信号;
一存储器部,用于存贮多个瞬时响应信号;
一乘积之和计算器,根据一组所述瞬时响应信号对由所述外部装置提供的所述声音信号进行卷积计算,以制备由所述乘积之和计算器发送的所述新的声音信号;以及
一控制部,用于从所述存储器部取回预定的所述多个瞬时响应信号之一,并根据所输入的所述同步信号在所述乘积之和计算器内设定所述预定信号;
因而发送根据所述同步信号变化的所述声音信号。
31.一种声音再现设备,用于通过对外部设备提供的声音信号的处理,发送一种根据瞬时响应信号制备的新的声音信号,其特征在于包括:
一输入部,输入一与声音信号一起传送的瞬时响应信号;
一存储器部,用于存贮多个瞬时响应信号;
一乘积之和计算器,根据已在所述乘积之和计算器内设定的所述瞬时响应信号对由所述外部装置提供的所述声音信号进行卷积计算,以制备由所述乘积之和计算器发送的所述新的声音信号;以及
一控制部,用于在所述乘积之和计算器内设定已输入的所述瞬时响应信号;
从而发送根据已输入的所述声音信号具有新的声学特性新的声音信号。
CN 97100813 1996-03-04 1997-03-04 模拟虚拟空间的声音使听者欣赏虚拟仿真声音感受的方法和设备 Pending CN1172320A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP46109/96 1996-03-04
JP8046109A JPH09244663A (ja) 1996-03-04 1996-03-04 過渡応答信号生成方法、音響再生方法及び装置
JP8236481A JPH1083190A (ja) 1996-09-06 1996-09-06 過渡応答信号生成と設定方法及びその装置
JP236481/96 1996-09-06

Publications (1)

Publication Number Publication Date
CN1172320A true CN1172320A (zh) 1998-02-04

Family

ID=26386232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 97100813 Pending CN1172320A (zh) 1996-03-04 1997-03-04 模拟虚拟空间的声音使听者欣赏虚拟仿真声音感受的方法和设备

Country Status (4)

Country Link
KR (1) KR970066970A (zh)
CN (1) CN1172320A (zh)
SG (2) SG99852A1 (zh)
TW (1) TW325636B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605226B (zh) * 2001-12-18 2010-12-01 杜比实验室特许公司 改善虚拟环绕中空间感的方法
CN1857031B (zh) * 2003-09-25 2011-12-14 雅马哈株式会社 音频特性校正系统
CN104835506A (zh) * 2014-02-10 2015-08-12 腾讯科技(深圳)有限公司 获取混响湿声的方法和装置
CN107281753A (zh) * 2017-06-21 2017-10-24 网易(杭州)网络有限公司 场景音效混响控制方法及装置、存储介质及电子设备
CN108376501A (zh) * 2018-04-27 2018-08-07 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN109564504A (zh) * 2016-08-10 2019-04-02 高通股份有限公司 用于基于移动处理空间化音频的多媒体装置
CN109642818A (zh) * 2016-08-29 2019-04-16 哈曼国际工业有限公司 用于为收听室生成虚拟场所的设备和方法
CN112106385A (zh) * 2018-05-15 2020-12-18 微软技术许可有限责任公司 定向传播
US11412340B2 (en) 2019-08-22 2022-08-09 Microsoft Technology Licensing, Llc Bidirectional propagation of sound
US11877143B2 (en) 2021-12-03 2024-01-16 Microsoft Technology Licensing, Llc Parameterized modeling of coherent and incoherent sound

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100429281B1 (ko) * 2002-02-04 2004-04-29 김정태 인터넷을 이용한 주거 소음 환경 시뮬레이터
KR101318857B1 (ko) * 2006-06-22 2013-10-17 한국항공우주산업 주식회사 비행 시뮬레이션 음향 처리 장치
KR101317202B1 (ko) * 2012-02-24 2013-10-10 고려대학교 산학협력단 물의 용존산소량을 고려한 얼음 생성 시뮬레이션 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5916500A (ja) * 1982-07-19 1984-01-27 Sanyo Electric Co Ltd デジタル録音再生方法
JPS60173423A (ja) * 1984-02-20 1985-09-06 Matsushita Electric Ind Co Ltd 音場解析法
NL8800745A (nl) * 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
JP2569872B2 (ja) * 1990-03-02 1997-01-08 ヤマハ株式会社 音場制御装置
JPH06101875B2 (ja) * 1990-06-19 1994-12-12 ヤマハ株式会社 音響空間再生方法及び音響記録装置並びに音響記録体
US5517570A (en) * 1993-12-14 1996-05-14 Taylor Group Of Companies, Inc. Sound reproducing array processor system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605226B (zh) * 2001-12-18 2010-12-01 杜比实验室特许公司 改善虚拟环绕中空间感的方法
CN1857031B (zh) * 2003-09-25 2011-12-14 雅马哈株式会社 音频特性校正系统
CN104835506A (zh) * 2014-02-10 2015-08-12 腾讯科技(深圳)有限公司 获取混响湿声的方法和装置
CN109564504B (zh) * 2016-08-10 2022-09-20 高通股份有限公司 用于基于移动处理空间化音频的多媒体装置
CN109564504A (zh) * 2016-08-10 2019-04-02 高通股份有限公司 用于基于移动处理空间化音频的多媒体装置
CN109642818B (zh) * 2016-08-29 2022-04-26 哈曼国际工业有限公司 用于为收听室生成虚拟场所的设备和方法
CN109642818A (zh) * 2016-08-29 2019-04-16 哈曼国际工业有限公司 用于为收听室生成虚拟场所的设备和方法
CN107281753A (zh) * 2017-06-21 2017-10-24 网易(杭州)网络有限公司 场景音效混响控制方法及装置、存储介质及电子设备
CN107281753B (zh) * 2017-06-21 2020-10-23 网易(杭州)网络有限公司 场景音效混响控制方法及装置、存储介质及电子设备
CN108376501A (zh) * 2018-04-27 2018-08-07 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN108376501B (zh) * 2018-04-27 2024-01-16 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN112106385A (zh) * 2018-05-15 2020-12-18 微软技术许可有限责任公司 定向传播
CN112106385B (zh) * 2018-05-15 2022-01-07 微软技术许可有限责任公司 一种用于声音建模和呈现的系统
US11412340B2 (en) 2019-08-22 2022-08-09 Microsoft Technology Licensing, Llc Bidirectional propagation of sound
US11877143B2 (en) 2021-12-03 2024-01-16 Microsoft Technology Licensing, Llc Parameterized modeling of coherent and incoherent sound

Also Published As

Publication number Publication date
SG68610A1 (en) 1999-11-16
KR970066970A (ko) 1997-10-13
TW325636B (en) 1998-01-21
SG99852A1 (en) 2003-11-27

Similar Documents

Publication Publication Date Title
CN105874820B (zh) 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
Coleman et al. Object-based reverberation for spatial audio
CN1735922B (zh) 处理音频数据的方法和实行这个方法的声音获取设备
TWI517028B (zh) 音訊空間定位和環境模擬
CN100588286C (zh) 产生低频声道的设备与方法
JP4620468B2 (ja) オーディオ信号を再生するためのオーディオ再生システムおよび方法
CN1172320A (zh) 模拟虚拟空间的声音使听者欣赏虚拟仿真声音感受的方法和设备
KR20200047414A (ko) 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법
JP2023517720A (ja) 残響のレンダリング
CN102440003A (zh) 音频空间化和环境仿真
JP6246922B2 (ja) 音響信号処理方法
CA2744429C (en) Converter and method for converting an audio signal
US6738479B1 (en) Method of audio signal processing for a loudspeaker located close to an ear
CN100553372C (zh) 用于计算扬声器信号中成分的离散值的装置和方法
Chabot et al. Walkable auralizations for experiential learning in an immersive classroom
Jot Synthesizing three-dimensional sound scenes in audio or multimedia production and interactive human-computer interfaces
CN1188586A (zh) 产生三维声象的声频系统
JP2005086537A (ja) 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
Adler Virtual audio-three-dimensional audio in virtual environments
JP2004509544A (ja) 耳に近接配置されるスピーカ用の音声信号処理方法
US11665498B2 (en) Object-based audio spatializer
US11924623B2 (en) Object-based audio spatializer
US20220007128A1 (en) Method, system and computer program product for recording and interpolation of ambisonic sound fields
Peters et al. Sound spatialization across disciplines using virtual microphone control (ViMiC)
Liu et al. Sound Rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication