JP2004317911A - Device and method for sound field simulation, computer program, and program recording medium - Google Patents

Device and method for sound field simulation, computer program, and program recording medium Download PDF

Info

Publication number
JP2004317911A
JP2004317911A JP2003113723A JP2003113723A JP2004317911A JP 2004317911 A JP2004317911 A JP 2004317911A JP 2003113723 A JP2003113723 A JP 2003113723A JP 2003113723 A JP2003113723 A JP 2003113723A JP 2004317911 A JP2004317911 A JP 2004317911A
Authority
JP
Japan
Prior art keywords
signal
time
sound field
sound
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003113723A
Other languages
Japanese (ja)
Other versions
JP4229435B2 (en
Inventor
Hirobumi Yanagawa
博文 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba Institute of Technology
Original Assignee
Chiba Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba Institute of Technology filed Critical Chiba Institute of Technology
Priority to JP2003113723A priority Critical patent/JP4229435B2/en
Publication of JP2004317911A publication Critical patent/JP2004317911A/en
Application granted granted Critical
Publication of JP4229435B2 publication Critical patent/JP4229435B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce a natural and smooth sound field signal while using impulse responses to discrete points of time when the transmission state of a sound from a sound source to an observation point changes with time. <P>SOLUTION: An impulse response storage part 14 stores impulse responses h<SB>i</SB>(t) at respective points of time from the sound source to a listening point, and a response calculation part 20 calculates a convolution signal y<SB>i</SB>(t) of a sound source signal u(t) that a signal acquisition part 12 acquires and an impulse response at each point of time. A correlation coefficient storage part 18 stores a correlation coefficient r<SB>i</SB>between transfer functions at two adjacent points of time. A cross-fading calculation part 22 determines window functions according to the correlation coefficient and multiplies response signals at the two points of time by those window functions respectively, and the respective results are summed up, and a sound field signal is calculated. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、音場をシミュレーションするための装置および方法に係り、特に、音源から受聴位置への音の伝達関数が時間的に変化する場合に受聴位置での音場をシミュレートするうえで好適な方法および装置に関する。また、本発明はその方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
従来より、例えば、非特許文献1に記載されるように、音の伝達関数を用いて、実際の受聴位置で観測される音場と等価な音場をシミュレートするシステムが知られている。このシステムでは、音源から特定の受聴位置までのインパルス応答を求め、このインパルス応答と音源信号との畳み込み計算を行うことで、当該受聴位置での音場を生成している。
【0003】
【非特許文献1】
大成建設株式会社技術研究所、”音場シミュレータ「リスン」”、
日本音響学会誌、1992年、48巻4号、P.266〜267
【0004】
【発明が解決しようとする課題】
ところで、例えば、受聴者が移動し、または、音源が移動する場合などのように、音源から受聴位置までの音の伝達関数が時間的に変化することがある。このような場合に受聴位置での音場をシミュレートする手法として、予め各時点での音源から受聴位置へのインパルス応答を求めておき、時間の経過に伴ってインパルス応答を切り替えながら、各時点でのインパルス応答と音源信号との畳み込みにより音場を生成することが考えられる。しかし、インパルス応答を単に切り替えながら畳み込みを計算するだけでは、生成される音場は切り替え時点で不連続的に変化して不自然なものになってしまう。
【0005】
本発明は上記の点に鑑みてなされたものであり、音源から受聴位置までの音の伝達状況が時間と共に変化する場合に、離散的な時点でのインパルス応答を用いながら、自然かつ滑らかな音場信号を生成できるようにすることを目的とする。
【0006】
【課題を解決するための手段】
上記の目的を達成するため、請求項1に記載された発明は、音源から受聴位置への音の伝達関数が時間的に変化する場合に、前記受聴位置での音場を再生するための音場シミュレーション装置であって、
音源信号u(t)を取得する取得手段と、
離散的な複数の時点P(i=1,・・・,N)における前記音源から前記受聴位置への音のインパルス応答h(t)が格納された記憶手段と、
前記音源信号u(t)と前記複数の時点におけるインパルス応答h(t)とに基づいて、各時点における前記音源信号u(t)に対する前記受聴位置での応答信号y(t)を計算する応答演算手段と、
隣接する2つの時点における前記応答信号y(t),yi+1(t)に、夫々、時間の経過と共に次第に減少する第1の窓関数f(t),および、時間の経過と共に次第に増加する第2の窓関数f(t)を掛けて、それらを足し合わせることにより当該2つの時点間における音場信号x(t)を計算するクロスフェード演算手段と、を備えることを特徴とする。
【0007】
本発明によれば、クロスフェード演算手段により、隣接する2つの時点における応答信号y(t),yi+1(t)に、夫々、時間の経過と共に次第に減少する第1の窓関数f(t),および、時間の経過と共に次第に増加する第2の窓関数f(t)を掛けて、それらを足し合わせることにより当該2つの時点間における音場信号x(t)を計算するので、生成された音場信号x(t)は、応答信号y(t)からyi+1(t)へ滑らかに推移する信号となる。したがって、本発明によれば、音源から観測点までの音の伝達状況が時間と共に変化する場合に、離散的な各時点でのインパルス応答を用いながら、自然かつ滑らかな音場信号を生成することができる。
【0008】
また、請求項2に記載された発明は、請求項1記載の音場シミュレーション装置において、前記クロスフェード演算手段は、隣接する2つの時点におけるインパルス応答h(t),hi+1(t)の間の相関係数rに基づいて前記第1および第2の窓関数f(t),f(t)を決定する手段を含むことを特徴とする。
【0009】
また、請求項3に記載された発明は、請求項1または2記載の音場シミュレーション装置において、前記応答演算手段は、前記音源信号u(t)と各時点のインパルス応答h(t)との畳み込みにより前記応答信号y(t)を計算することを特徴とする。
【0010】
また、請求項4に記載された発明は、請求項1〜3のうち何れか1項記載の音場シミュレーション装置において、前記クロスフェード演算手段は、前記第1および第2の窓関数f(t),f(t)の夫々について、前記相関係数rが小さい場合に対応した第1の基準窓関数fa1(t),fa2(t)と、前記相関係数が大きい場合に対応した第2の基準窓関数fb1(t),fb2(t)とを記憶しており、前記相関係数に応じて、第1の基準窓関数fa1(t),fa2(t)および第2の窓関数fb1(t),fb2(t)の夫々の重みk,kを決定し、それら重みを当該第1および第2の基準窓関数に夫々掛けた関数を足し合わせることにより前記第1および第2の窓関数f(t),f(t)を決定することを特徴とする。
【0011】
また、請求項5に記載された発明は、請求項4記載の音場シミュレーション装置において、前記第1の基準窓関数fa1(t),fa2(t)は、前記相関係数が0の場合に、それらの2乗和{fa1(t)}+{fa2(t)}の振幅の時間平均が1となるように設定されており、
前記第2の基準窓関数fb1(t),fb2(t)は、前記相関係数が1の場合に、それらの和fb1(t)+fb2(t)の2乗振幅の時間平均が1となるように設定されていることを特徴とする。
【0012】
また、請求項6に記載された発明は、請求項5記載の音場シミュレーション装置において、前記第1の基準窓関数fa1(t),fa2(t)および前記第2の基準窓関数fb1(t),fb2(t)は次式で表されることを特徴とする。ただし、Tは、前記隣接する2時点の間隔である。
a1(t)=cos(π・t/(2・T))
a2(t)=sin(π・t/(2・T))
b1(t)=1−t/T
b2(t)=t/T
【0013】
また、請求項7に記載された発明は、音源から受聴位置への音の伝達関数が時間的に変化する場合に、前記受聴位置での音場を再生するための音場シミュレーション方法であって、
音源信号u(t)を取得するステップと、
前記取得した音源信号u(t)と、離散的な複数の時点における前記音源から前記受聴位置への音のインパルス応答h(t)とに基づいて、各時点における前記音源信号u(t)に対する前記受聴位置での応答信号y(t)を計算するステップと、
隣接する2つの時点における前記応答信号y(t),yi+1(t)に、夫々、時間の経過と共に次第に減少する第1の窓関数f(t),および、時間の経過と共に次第に増加する第2の窓関数f(t)を掛けて、それらを足し合わせることにより当該2つの時点間における音場信号x(t)を計算するステップと、を備えることを特徴とする。
【0014】
また、請求項8に記載された発明は、請求項7記載の方法をコンピュータに実行させるためのプログラムに係るものであり、請求項9に記載された発明は、そのプログラムを記録した記録媒体に係るものである。
【0015】
【発明の実施の形態】
以下、本発明の一実施形態である音場シミュレーション装置について説明する。本実施形態の音場シミュレーション装置は、受聴者が移動し、または、音源が移動するなどにより、音源から受聴位置までの音の伝達関数が時間的に変化する場合に、そのような伝達関数の時間的変化を反映した音場のシミュレーションを行うものである。
【0016】
例えば図1に示すように、ある部屋R内に固定された音源Sに対して、受聴者Oが室外からドアDを開けて部屋Rの中に入り、音源Sに近づく場合を想定する。このような状況では、時間の経過とともに受聴者Oの位置が変化し、また、ドアDの開閉が行われるのに応じて、音源Sから受聴位置までの音の伝達関数が変化する。本実施形態では、予め、幾つかの離散的な時点P(i=1〜N)での固定音源Sから受聴者Oの位置への伝達関数を実験あるいは計算などによって求めておき、時間の経過に応じてそれら伝達関数を切り替えることにより、受聴位置での音場をシミュレートする。
【0017】
図1の例で説明すると、各時点P〜P(図1ではN=12)での状態(受聴者Oの位置やドアDの開閉状態)における音源Sから受聴者Oの位置までの伝達関数としてインパルス応答h(t)(i=0〜N)を予め求めておく。そして、各時点Pのインパルス応答h(t)と、音源Sの信号(以下、音源信号という)u(t)とを畳み込むことで、受聴者Oの位置での音場を計算する。なお、図1では、受聴者Oが移動するものとしているが、音源Sが移動する場合も全く同様である。
【0018】
ところで、各時点Pでの音場を正確に計算するうえでは、なるべく細かい間隔で時点Pを取ることが望ましいといえる。しかし、上述の通り、受聴位置での音場を計算するには畳み込み演算を行うことが必要であり、この演算には相当の計算量を要する。したがって、時点Pの間隔を細かく取り過ぎると、計算量が膨大となってしまい現実的ではない。そこで、伝達関数の変化が緩やかであると考えられる期間(例えば、受聴者Oが室内または室外を歩いている期間)では時点Pを比較的大きな間隔とし、伝達関数の変化が急であると考えられる期間(例えば、ドアDを開閉している期間)では、細かい間隔で時点Pを取るようにする。
【0019】
以上のように離散的な時点Pを取った場合、インパルス応答h(t)は各時点Pで不連続的に変化することになる。したがって、インパルス応答h(t)と音源信号u(t)との畳み込み演算結果をそのまま受聴位置での音場信号としたのでは、生成される音場は各時点Pで不連続的に変化する不自然なものとなってしまう。これに対して、本実施形態の音場シミュレーション装置は、各時点Pでのインパルス応答h(t)から求められる畳み込み信号を滑らかにつなげることで、自然な音場を生成できる点に特徴を有している。以下、本実施形態の音場シミュレーション装置の構成および動作について詳細に説明する。
【0020】
図2は、本実施形態の音場シミュレーション装置10のブロック構成図である。同図に示すように、音場シミュレーション装置10は、信号取得部12、インパルス応答記憶部14、相関係数演算部16、相関係数記憶部18、応答演算部20、クロスフェード演算部22、信号合成部24、および出力部26等を備えている。なお、音場シミュレーション装置10は例えばコンピュータシステムにより構成され、各演算部16,20,22および信号合成部24はコンピュータが所定の演算プログラムを実行することに実現される。ただし、処理負荷の大きい演算部16,20,22の一部または全部をDSP(Digital Signal Processor)等のハードウェア演算回路により構成してもよい。
【0021】
信号取得部12は、例えば、A/D変換器により構成され、外部から入力されたアナログの音源信号をデジタル信号に変換する。あるいは、予め音源信号をデジタル化して記憶装置に記憶しておき、信号取得部12が記憶された音源信号を読み出すこととしてもよい。
【0022】
インパルス応答記憶部14には、各時点Pでのインパルス応答h(t)が記憶される。利用者は、予め実験やシミュレーション計算などによってインパルス応答を求めてインパルス応答記憶部14に格納しておく。
【0023】
相関係数演算部16は、インパルス応答記憶部14に記憶されたインパルス応答h(t)に基づいて、隣接する時点のインパルス応答h(t),hi+1(t)の間の相関係数rを次式に従って計算し、相関係数記憶部18に格納する。
【数1】

Figure 2004317911
ただし、相関係数演算部16および相関係数記憶部18を音場シミュレーション装置10に設けるのではなく、音場シミュレーション装置10とは別個の演算装置により相関係数rを計算して記憶しておき、その相関係数を音場シミュレーション装置10が読み出す構成としてもよい。
【0024】
応答演算部20は、インパルス応答記憶部14に記憶されたインパルス応答h(t)と、音源信号取得部12により取得された音源信号u(t)との畳み込み信号y(t)を次式に従って計算する。
【数2】
Figure 2004317911
【0025】
クロスフェード演算部22は、以下に詳細に述べるように、畳み込み信号y(t)と、相関係数記憶部18に記憶された相関係数rとに基づいて、隣接する時点間の区間[P,Pi+1]での音場信号x(t)を計算する。そして、信号合成部24は各音場信号x(t)をつなぎ合わせて時点P〜Pに亘る最終的な音場信号x(t)を生成する。出力部26は、生成された音場信号x(t)をアナログ信号に変換し、適宜増幅器を介して外部のスピーカー等の音響装置へ出力する。
【0026】
以下、クロスフェード演算部22による演算処理について詳細に説明する。
【0027】
本実施形態では、図3および図4に示すように、区間[P,Pi+1]において、時点Pから時点Pi+1に向けて次第に小さくなる窓関数f(t)を時点Piでの畳み込み信号y(t)に掛け、また、時点Pから時点Pi+1に向けて次第に大きくなる窓関数f(t)を時点Pi+1での畳み込み関数yi+1(t)に掛けて、両者を足し合わせる。すなわち、区間[P,Pi+1]における音場信号x(t)を
(t)=f(t)・y(t)+f(t)・yi+1(t)
として計算する。
【0028】
これらの窓関数f(t)、f(t)は、以下のように、相関係数rの値に基づいて決定される。
【0029】
先ず、相関係数rが「0」の場合は、図3に示すように、窓関数f(t),f(t)を区間[P,Pi+1]で値が「0」と「1」との間を曲線状に変化する関数とする。具体的には、次式で表される基準窓関数fa1(t),fa2(t)を用いる。ただし、Tは、区間[P,Pi+1]の区間長、tは時点Pを基準とした時間であり0≦t≦Tとする。
(t)=fa1(t)=cos(π・t/(2・T))
(t)=fa2(t)=sin(π・t/(2・T))
【0030】
また、相関係数rが「1」の場合には、図4に示すように、窓関数f(t),f(t)を区間[P,Pi+1]で値が「0」と「1」との間を直線状に変化する関数とする。具体的には次式で表される基準窓関数fb1(t),fb2(t)を用いる。
(t)=fb1(t)=1−t/T
(t)=fb2(t)=t/T
【0031】
これらの基準窓関数fa1(t),fa2(t)およびfb1(t),fb2(t)は、区間[P,Pi+1]において計算される音場信号x(t)の二乗振幅の時間平均 (以下、二乗振幅平均という)が、時点P,Pi+1での畳み込み信号y(t),yi+1(t)の二乗振幅平均に等しいという条件を満たすように求められたものである。以下、このことを検証する。なお、以下の各式においては、記載を簡潔にするため関数のパラメータを省略することがある。
【0032】
先ず、相関係数rが「0」の場合については、区間[P,Pi+1]における音場信号
(t)=cos(π・t/(2・T))・y(t)+sin(π・t/(2・T))・yi+1(t)
の二乗振幅和は
【数3】
Figure 2004317911
(t)とhi+1(t)の相関係数rは「0」であるから、それらの畳み込みであるy(t),yi+1(t)について、
【数4】
Figure 2004317911
が成立する。
【0033】
したがって、
【数5】
Figure 2004317911
となる。
【0034】
ここで、隣接する時点間で音場のパワー変化はほとんど無いと考えられることから、畳み込み信号y(t),yi+1(t)は次式を満足するものとする。
【数6】
Figure 2004317911
したがって、
【数7】
Figure 2004317911
となり、音場信号x(t)の二乗振幅平均が畳み込み信号y(t),yi+1(t)の二乗振幅平均に一致することがわかる。
【0035】
すなわち、上記(1)式を前提として、相関係数が「0」の場合の基準窓関数fa1(t),fa2(t)は、それらの2乗和{fa1(t)}+{fa2(t)}の振幅の平均が「1」となるように設定される。
【0036】
また、相関係数rが「1」の場合について、区間[P,Pi+1]における音場信号
(t)=(1−t/T)・y(t)+(t/T)・yi+1(t)
の二乗振幅平均は
【数8】
Figure 2004317911
ここで、h(t),hi+1(t)の相関係数が1であるから、それらと音源信号u(t)との畳み込みであるy(t),y(t)は互いに等しい。したがって、y(t)=y(t)=y(t)とおくと、
【数9】
Figure 2004317911
となり、音場信号x(t)の二乗振幅平均が畳み込み信号y(t),yj+1(t)の二乗振幅平均に一致することがわかる。
【0037】
すなわち、相関係数が「1」の場合、y(t)=y(t)であることを前提として、基準窓関数fb1(t),fb2(t)は、それらの和fb1(t)+fb2(t)の二乗振幅平均が「1」となるように設定される。
【0038】
このように、区間[P,Pi+1]において、音場信号x(t)の二乗振幅平均が畳み込み信号y(t),yi+1(t)の二乗振幅平均に一致することにより、各区間[P,Pi+1]でy(t)とyi+1(t)とをつなぎ合わせに伴って音場信号x(t)のレベルに不連続的な変化が生ずることがなくなり、自然な音場を生成することができるのである。
【0039】
以上のことを実証するため、音源信号r(t)としてホワイトノイズを用い、相関の低い2つのインパルス応答hs1(t)、hs2(t)と、相関の高い2つのインパルス応答ht1(t)、ht2(t)について、各基準窓関数を用いて音場信号を計算した。なお、相関の低いインパルス応答hs1(t)、hs2(t)としては、ある建物内の環境が全く異なる2つの地点(実験室内とエントランスホール)での実測値を用いた。図5(a),(b)にインパルス応答hs1(t)、hs2(t)の波形を示す。また、相関の高いインパルス応答ht1(t)、ht2(t)として、同じ室内の位置だけ異なる2つの地点での実測値を用いた。図6(a),(b)にインパルス応答ht1(t)、ht2(t)の波形を示す。
【0040】
先ず、相関の低いインパルス応答hs1(t)、hs2(t)についてホワイトノイズとの畳み込み信号を計算し、それらに夫々、曲線状の窓関数fa1(t)=cos(π・t/(2・T)),fa2(t)=sin(π・t/(2・T))を掛けて、両者を足し合わせたところ、図7に示す波形の信号が得られた。ただし、Tは適宜な定数とした。図7に示すように、得られた信号波形は振幅がほぼ一定に保たれており、インパルス応答がhs1(t)からhs2(t)へ変化する際に、音場信号が滑らかに推移していることがわかる。
【0041】
一方、これらのインパルス応答hs1(t)、hs2(t)についてホワイトノイズとの畳み込み演算を行い、それらの演算結果に夫々直線状の窓関数fb1(t)=1−t/T,fb2(t)=t/Tをかけて、両者を足し合わせたところ、図8に示す波形の信号が得られた。同図に示すように、得られた信号波形にはレベルの低下(図中矢印Xで示す)が生じており、相関の低いインパルス応答hs1(t)、hs2(t)について直線状の窓関数fb1,fb2を用いると、インパルス応答がhs1(t)からhs2(t)へ変化する際に、音場信号は滑らかに推移しないことがわかる。
【0042】
次に、相関の高いインパルス応答ht1(t)、ht2(t)についてホワイトノイズとの畳み込み信号を計算し、それらに夫々、直線状の窓関数fb1(t)=1−t/T,fb2(t)=t/Tを掛けて、両者を足し合わせたところ、図9に示す波形の信号が得られた。同図に示すように、得られた信号波形は振幅がほぼ一定に保たれており、インパルス応答がht1(t)からht2(t)へ変化する際に、音場信号が滑らかに推移していることがわかる。
【0043】
一方、これらインパルス応答ht1(t)、ht2(t)についてホワイトノイズとの畳み込み信号を計算し、それらに夫々、曲線状の窓関数fa1(t)=cos(π・t/(2・T)),fa2(t)=sin(π・t/(2・T))をかけて、両者を足し合わせたところ、図10に示す波形の信号が得られた。同図に示すように、得られた信号波形にはレベルの上昇 (図中矢印Yで示す)が生じており、相関の高いインパルス応答ht1(t)、ht2(t)について曲線状の窓関数fa1,fa2を用いると、インパルス応答がht1(t)からht2(t)へ変化する際に、音場信号は滑らかに推移しないことがわかる。
【0044】
以上のように、インパルス応答の相関係数が低い場合には、曲線状の窓関数fa1(t),fa2(t)を用い、相関係数が高い場合には、直線状の窓関数fb1(t),fb2(t)を用いることで、インパルス応答h(t)が変化する区間[P,Pi+1]において滑らかで自然な音場信号を生成できることが実証された。
【0045】
ただし、実際にはインパルス応答の相関係数は「0」と「1」の中間の値を取る。そこで、本実施形態では、曲線状の基準窓関数fa1(t),fa2(t)と直線状の基準窓関数fb1(t),fb2(t)とを相関係数rの値に応じた重みで加え合わせたものを窓関数f(t),f(t)として用いることとしている。すなわち、重み係数をk、kとして、
(t)=k・(1−t/T)+k・cos(π・t/(2・T)) ・・・(A)
(t)=k・t/T +k・sin(π・t/(2・T)) ・・・(B)
なる窓関数を用い、k,kの値を相関係数に応じて設定する。ただし、k+k=1が満足されるものとする。
【0046】
図11は、相関係数から重み係数k,kを決定するためのグラフ(以下、重み決定グラフという)である。この重み決定グラフは、次のようにして実験的に求められたものである。すなわち、様々な相関係数を有するホワイトノイズの組を用意し、それらホワイトノイズの各組について、k,kの値を様々に変化させながら、上式(A),(B)で定められる窓関数f(t)、f(t)を掛けて足し合わせた信号を計算し、その信号波形のレベル変動が最も少なくなるようなk,kの値を求める。こうして求められたk,kとホワイトノイズの相関係数との関係をプロットすることで、図11に示す重み決定グラフが得られる。このような重み決定グラフを記憶しておき、このグラフを参照して相関係数rから重み係数k,kを決定する。
【0047】
図12は、本実施形態の音場シミュレーション装置10における処理手順を示すフローチャートである。本シミュレーションにあたっては、シミュレーションの対象となる状況について、時点Pを設定し、各時点Pでの音源から受聴位置までのインパルス応答h(t)を求めて、インパルス応答記憶部14に格納しておくものとする。
【0048】
同図に示すように、先ず、信号取得部12により音源信号u(t)が入力され、あるいは、予め記憶しておいた音源信号u(t)が読み出される(S100)。また、相関係数計算部16が、インパルス応答記憶部14に記憶されたインパルス応答h(t)に基づいて、隣接する時点間のインパルス応答の相関係数rを計算し、相関係数記憶部18に格納する(S102)。次に、応答演算部20が、音源信号u(t)とインパルス応答h(t)との畳み込み信号y(t)を計算する(S104)。また、クロスフェード計算部22が、各区間[P,Pi+1]について、インパルス応答h(t),hi+1(t)の相関係数rに基づき、上記図11に示す重み決定グラフを参照して、重み係数k,kを決定する(S106)。そして、その重み係数k,kを用いて上記式(A),(B)に従って窓関数f(t),f(t)を決定し、夫々を畳み込み信号y(t),yi+1(t)に乗じて足し合わせることにより、区間[P,Pi+1]での音場信号x(t)を計算する(S108)。信号合成部24はこの信号x(t)をi=1〜Nについてつなげることにより、音場信号x(t)生成する(S110)。こうして生成された音場信号x(t)は出力部26により外部へ出力される(S112)。
【0049】
本実施形態の音場シミュレーション装置10を用いて、図1に示す状況下での音場をシミュレーションし、実際に図1に示す受聴者Oの位置で集音した音と比べたところ、実際の音場とほぼ同じ音場を再生できることが確認できた。
【0050】
以上説明したように、本実施形態の音場シミュレーション装置10によれば、離散的な時点P(t)でのインパルス応答h(t)を用いて得られる畳み込み信号y(t)を、相関係数rに応じた窓関数f(t),f(t)を用いて接続することで、インパルス応答h(t)の変化に伴う不連続的なレベル変動のない滑らかで自然な音場信号を生成することができる。
【0051】
ところで、以上の説明では、音源信号u(t)に基づいて音場信号x(t)を生成したうえで、その音場信号x(t)を出力するものとしたが、演算部16,20,22等をDSPで構成した場合のように、十分に早い演算速度が得られる場合は、リアルタイムで入力される音源信号u(t)に対して音場信号x(t)を生成しながらリアルタイムで出力することも可能である。
【0052】
【発明の効果】
本発明によれば、音源から受聴位置までの音の伝達状況が時間と共に変化する場合に、離散的な時点でのインパルス応答を用いながら、自然かつ滑らかな音場信号を生成することができる。
【図面の簡単な説明】
【図1】音場のシミュレーション計算の対象となる状況の一例を示す図であり、受聴者が音源に向けて移動する場合を示す。
【図2】本発明の一実施形態である音場シミュレーション装置のブロック構成図である。
【図3】相関係数が「0」の場合の窓関数の波形を示す図である。
【図4】相関係数が「1」の場合の窓関数の波形を示す図である。
【図5】図5(a),(b)は、検証実験で用いた相関の低いインパルス応答を示す図である。
【図6】図6(a),(b)は、検証実験で用いた相関の高いインパルス応答を示す図である。
【図7】相関の低いインパルス応答についてのホワイトノイズとの畳み込み信号に、曲線状の窓関数を掛けて足し合わせた結果の波形を示す図である。
【図8】相関の低いインパルス応答についてのホワイトノイズとの畳み込み信号に、直線状の窓関数を掛けて足し合わせた結果の波形を示す図である。
【図9】相関の高いインパルス応答についてのホワイトノイズとの畳み込み信号に、直線状の窓関数を掛けて足し合わせた結果の波形を示す図である。
【図10】相関の高いインパルス応答についてのホワイトノイズとの畳み込み信号に、曲線状の窓関数を掛けて足し合わせた結果の波形を示す図である。
【図11】相関係数から重み係数を決定するためのグラフである。
【図12】本実施形態の音場シミュレーション装置における処理手順を示すフローチャートである。
【符号の説明】
10 音場シミュレーション装置
12 信号取得部
14 インパルス応答記憶部
16 相関係数計算部
18 相関係数記憶部
20 応答演算部
22 クロスフェード演算部
24 信号合成部
26 出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an apparatus and a method for simulating a sound field, and is particularly suitable for simulating a sound field at a listening position when a transfer function of sound from a sound source to a listening position changes with time. Method and apparatus. The present invention also relates to a program for causing a computer to execute the method and a recording medium on which the program is recorded.
[0002]
[Prior art]
Conventionally, as described in Non-Patent Document 1, for example, a system that simulates a sound field equivalent to a sound field observed at an actual listening position using a sound transfer function is known. In this system, an impulse response from a sound source to a specific listening position is obtained, and convolution calculation of the impulse response and the sound source signal is performed to generate a sound field at the listening position.
[0003]
[Non-patent document 1]
Taisei Corporation Technical Research Institute, “Sound field simulator“ Listen ””,
Journal of the Acoustical Society of Japan, 1992, 48, 4, p. 266-267
[0004]
[Problems to be solved by the invention]
By the way, the transfer function of the sound from the sound source to the listening position may change with time, for example, when the listener moves or the sound source moves. In such a case, as a method of simulating the sound field at the listening position, an impulse response from the sound source at each point in time to the listening position is obtained in advance, and the impulse response is switched over time, and It is conceivable that a sound field is generated by convolution of the impulse response and the sound source signal in. However, if the convolution is calculated simply by switching the impulse response, the generated sound field changes discontinuously at the time of the switching and becomes unnatural.
[0005]
The present invention has been made in view of the above points, and when the transmission state of sound from a sound source to a listening position changes with time, natural and smooth sound is generated while using impulse responses at discrete points in time. It is intended to be able to generate a field signal.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 provides a sound source for reproducing a sound field at the listening position when a transfer function of the sound from the sound source to the listening position changes with time. A field simulation device,
Acquiring means for acquiring a sound source signal u (t);
Discrete time points Pi(I = 1,..., N) the impulse response h of the sound from the sound source to the listening positioniStorage means for storing (t);
The sound source signal u (t) and the impulse responses h at the plurality of time pointsi(T), a response signal y at the listening position to the sound source signal u (t) at each time pointiResponse operation means for calculating (t);
The response signal y at two adjacent time pointsi(T), yi + 1(T) respectively shows a first window function f gradually decreasing with time.1(T) and a second window function f that gradually increases with time.2(T) and add them together to obtain the sound field signal x between the two points in time.iAnd (C) a cross-fade calculating means for calculating (t).
[0007]
According to the present invention, the response signal y at two adjacent time points is calculated by the cross-fade calculating means.i(T), yi + 1(T) respectively shows a first window function f gradually decreasing with time.1(T) and a second window function f that gradually increases with time.2(T) and add them together to obtain the sound field signal x between the two points in time.iSince (t) is calculated, the generated sound field signal xi(T) is the response signal yi(T) to yi + 1The signal smoothly transitions to (t). Therefore, according to the present invention, when the state of sound transmission from a sound source to an observation point changes with time, a natural and smooth sound field signal is generated using the impulse response at each discrete point in time. Can be.
[0008]
According to a second aspect of the present invention, in the sound field simulation apparatus according to the first aspect, the cross-fade calculating means includes an impulse response h at two adjacent time points.i(T), hi + 1Correlation coefficient r between (t)iThe first and second window functions f based on1(T), f2It is characterized by including means for determining (t).
[0009]
Further, according to a third aspect of the present invention, in the sound field simulation apparatus according to the first or second aspect, the response calculating means includes the sound source signal u (t) and the impulse response h at each time point.i(T) and the response signal yi(T) is calculated.
[0010]
According to a fourth aspect of the present invention, in the sound field simulation apparatus according to any one of the first to third aspects, the cross-fade calculating means includes a first window function f and a second window function f.1(T), f2For each of (t), the correlation coefficient riFirst reference window function f corresponding to the case wherea1(T), fa2(T) and a second reference window function f corresponding to the case where the correlation coefficient is large.b1(T), fb2(T) and a first reference window function f according to the correlation coefficient.a1(T), fa2(T) and the second window function fb1(T), fb2(T) each weight k1, K2Are determined by adding the functions obtained by multiplying the weights to the first and second reference window functions, respectively, to obtain the first and second window functions f.1(T), f2(T) is determined.
[0011]
According to a fifth aspect of the present invention, in the sound field simulation apparatus of the fourth aspect, the first reference window function fa1(T), fa2(T) is the sum of squares {f} when the correlation coefficient is 0.a1(T)}2+ {Fa2(T)}2Are set so that the time average of the amplitude of
The second reference window function fb1(T), fb2(T) is the sum f of the correlation coefficients when the correlation coefficient is 1.b1(T) + fb2It is characterized in that the time average of the square amplitude of (t) is set to 1.
[0012]
According to a sixth aspect of the present invention, in the sound field simulation apparatus according to the fifth aspect, the first reference window function fa1(T), fa2(T) and the second reference window function fb1(T), fb2(T) is characterized by being represented by the following equation. Here, T is the interval between the two adjacent points.
fa1(T) = cos (π · t / (2 · T))
fa2(T) = sin (π · t / (2 · T))
fb1(T) = 1−t / T
fb2(T) = t / T
[0013]
The invention described in claim 7 is a sound field simulation method for reproducing a sound field at the listening position when a transfer function of sound from a sound source to a listening position changes with time. ,
Obtaining a sound source signal u (t);
The acquired sound source signal u (t) and an impulse response h of a sound from the sound source to the listening position at a plurality of discrete points in time.i(T), a response signal y at the listening position to the sound source signal u (t) at each time pointiCalculating (t);
The response signal y at two adjacent time pointsi(T), yi + 1(T) respectively shows a first window function f gradually decreasing with time.1(T) and a second window function f that gradually increases with time.2(T) and add them together to obtain the sound field signal x between the two points in time.iCalculating (t).
[0014]
The invention according to claim 8 relates to a program for causing a computer to execute the method according to claim 7, and the invention described in claim 9 relates to a recording medium on which the program is recorded. It is related.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a sound field simulation apparatus according to an embodiment of the present invention will be described. The sound field simulation apparatus of the present embodiment is such that, when the listener moves, or the sound source moves, the transfer function of the sound from the sound source to the listening position changes with time. A simulation of a sound field reflecting a temporal change is performed.
[0016]
For example, as shown in FIG. 1, it is assumed that a listener O enters a room R by opening a door D from outside and approaches the sound source S with respect to a sound source S fixed in a certain room R. In such a situation, the position of the listener O changes over time, and the transfer function of the sound from the sound source S to the listening position changes as the door D is opened and closed. In the present embodiment, some discrete time points PiA transfer function from the fixed sound source S to the position of the listener O at (i = 1 to N) is obtained by an experiment or calculation, and the transfer function is switched over time to change the transfer function at the listening position. Simulate the sound field.
[0017]
To explain with reference to the example of FIG.0~ PNThe impulse response h as a transfer function from the sound source S to the position of the listener O in the state (N = 12 in FIG. 1) (the position of the listener O and the open / closed state of the door D) in the state (N = 12)i(T) (i = 0 to N) is obtained in advance. And each time point PiImpulse response hiThe sound field at the position of the listener O is calculated by convolving (t) with the signal of the sound source S (hereinafter referred to as a sound source signal) u (t). Although the listener O moves in FIG. 1, the same applies to the case where the sound source S moves.
[0018]
By the way, each time point PiTo accurately calculate the sound field at the point PiIt is desirable to take However, as described above, it is necessary to perform a convolution operation to calculate the sound field at the listening position, and this operation requires a considerable amount of calculation. Therefore, the time point PiIf the interval is too small, the amount of calculation becomes enormous, which is not realistic. Therefore, in a period in which the change of the transfer function is considered to be gradual (for example, a period in which the listener O is walking indoors or outdoors), the time point PiIs set to a relatively large interval, and during a period in which the change of the transfer function is considered to be abrupt (for example, a period when the door D is opened and closed), the time PiTo take.
[0019]
As described above, the discrete time point PiThe impulse response hi(T) is each time point PiWill change discontinuously. Therefore, the impulse response hiIf the result of the convolution operation of (t) and the sound source signal u (t) is directly used as the sound field signal at the listening position, the sound field generatediIn this case, it becomes unnatural that changes discontinuously. On the other hand, the sound field simulation device of the present embodimentiResponse h atiA characteristic feature is that a natural sound field can be generated by smoothly connecting the convolution signals obtained from (t). Hereinafter, the configuration and operation of the sound field simulation device of the present embodiment will be described in detail.
[0020]
FIG. 2 is a block diagram of the sound field simulation apparatus 10 of the present embodiment. As shown in FIG. 1, the sound field simulation apparatus 10 includes a signal acquisition unit 12, an impulse response storage unit 14, a correlation coefficient operation unit 16, a correlation coefficient storage unit 18, a response operation unit 20, a cross-fade operation unit 22, A signal combining unit 24, an output unit 26, and the like are provided. Note that the sound field simulation device 10 is configured by, for example, a computer system, and each of the arithmetic units 16, 20, and 22 and the signal synthesizing unit 24 are realized when a computer executes a predetermined arithmetic program. However, some or all of the operation units 16, 20, and 22 having a large processing load may be configured by a hardware operation circuit such as a DSP (Digital Signal Processor).
[0021]
The signal acquisition unit 12 is configured by, for example, an A / D converter, and converts an analog sound source signal input from the outside into a digital signal. Alternatively, the sound source signal may be digitized in advance and stored in the storage device, and the signal acquisition unit 12 may read out the stored sound source signal.
[0022]
Each time point P is stored in the impulse response storage unit 14.iResponse h ati(T) is stored. The user obtains an impulse response in advance by an experiment, a simulation calculation, or the like, and stores the impulse response in the impulse response storage unit 14.
[0023]
The correlation coefficient calculator 16 calculates the impulse response h stored in the impulse response storage 14.iBased on (t), the impulse response h at the adjacent timei(T), hi + 1Correlation coefficient r between (t)iIs calculated according to the following equation, and stored in the correlation coefficient storage unit 18.
(Equation 1)
Figure 2004317911
However, the correlation coefficient calculation unit 16 and the correlation coefficient storage unit 18 are not provided in the sound field simulation device 10, but the correlation coefficient r is calculated by a calculation device separate from the sound field simulation device 10.iMay be calculated and stored, and the correlation coefficient read out by the sound field simulation apparatus 10.
[0024]
The response calculation unit 20 calculates the impulse response h stored in the impulse response storage unit 14.i(T) and the convolution signal y of the sound source signal u (t) acquired by the sound source signal acquisition unit 12i(T) is calculated according to the following equation.
(Equation 2)
Figure 2004317911
[0025]
The cross-fade operation unit 22 converts the convolution signal y as described in detail below.i(T) and the correlation coefficient r stored in the correlation coefficient storage unit 18iAnd the interval [Pi, Pi + 1Sound field signal x atiCalculate (t). Then, the signal synthesizing section 24 outputs each sound field signal xi(T) is connected and the time point P0~ PNTo generate a final sound field signal x (t). The output unit 26 converts the generated sound field signal x (t) into an analog signal, and outputs the analog signal to an external audio device such as a speaker via an amplifier.
[0026]
Hereinafter, the calculation process by the crossfade calculation unit 22 will be described in detail.
[0027]
In the present embodiment, as shown in FIG. 3 and FIG.i, Pi + 1At time PiFrom time point Pi + 1Window function f gradually decreases toward1(T) is the convolution signal y at time Pii(T) and the time point PiFrom time point Pi + 1Window function f gradually increasing toward2(T) at time Pi + 1Convolution function yi + 1(T) and add both. That is, the section [Pi, Pi + 1] The sound field signal xi(T)
xi(T) = f1(T) · yi(T) + f2(T) · yi + 1(T)
Is calculated as
[0028]
These window functions f1(T), f2(T) is the correlation coefficient r as follows:jIs determined based on the value of.
[0029]
First, the correlation coefficient rjIs "0", as shown in FIG.1(T), f2(T) in the section [Pi, Pi + 1] Is a function whose value changes between “0” and “1” in a curved manner. Specifically, a reference window function f expressed by the following equationa1(T), fa2(T) is used. Where TiIs the interval [Pi, Pi + 1], And t is the time point Pi0 ≦ t ≦ TiAnd
f1(T) = fa1(T) = cos (π · t / (2 · Ti))
f2(T) = fa2(T) = sin (π · t / (2 · Ti))
[0030]
Also, the correlation coefficient rjIs "1", as shown in FIG.1(T), f2(T) in the section [Pi, Pi + 1] Is a function whose value changes linearly between “0” and “1”. Specifically, a reference window function f represented by the following equationb1(T), fb2(T) is used.
f1(T) = fb1(T) = 1−t / Ti
f2(T) = fb2(T) = t / Ti
[0031]
These reference window functions fa1(T), fa2(T) and fb1(T), fb2(T) corresponds to the section [Pi, Pi + 1], The sound field signal x calculated iniThe time average of the square amplitude of (t) (hereinafter referred to as the square amplitude average)i, Pi + 1Convolution signal y ati(T), yi + 1It is obtained so as to satisfy the condition that it is equal to the square amplitude average of (t). Hereinafter, this will be verified. In the following equations, function parameters may be omitted for simplicity.
[0032]
First, the correlation coefficient riIs “0”, the interval [Pi, Pi + 1Sound field signal at
xi(T) = cos (π · t / (2 · T)) · yi(T) + sin (π · t / (2 · T)) · yi + 1(T)
Is the sum of the squared amplitudes of
(Equation 3)
Figure 2004317911
hi(T) and hi + 1(T) correlation coefficient riIs "0", so their convolution, yi(T), yi + 1About (t),
(Equation 4)
Figure 2004317911
Holds.
[0033]
Therefore,
(Equation 5)
Figure 2004317911
Becomes
[0034]
Here, since it is considered that there is almost no change in the power of the sound field between adjacent time points, the convolution signal yi(T), yi + 1(T) shall satisfy the following equation.
(Equation 6)
Figure 2004317911
Therefore,
(Equation 7)
Figure 2004317911
And the sound field signal xiThe mean square amplitude of (t) is the convolution signal yi(T), yi + 1It can be seen that it is equal to the square amplitude average of (t).
[0035]
That is, based on the above equation (1), the reference window function f when the correlation coefficient is “0”a1(T), fa2(T) is their sum of squares {fa1(T)}2+ {Fa2(T)}2Are set so that the average of the amplitudes of “1” is “1”.
[0036]
Also, the correlation coefficient rjIs [1], the interval [Pi, Pi + 1Sound field signal at
xi(T) = (1-t / Ti) ・ Yi(T) + (t / Ti) ・ Yi + 1(T)
The mean squared amplitude of
(Equation 8)
Figure 2004317911
Where hi(T), hi + 1Since the correlation coefficient of (t) is 1, y, which is a convolution of them with the sound source signal u (t),1(T), y2(T) is equal to each other. Therefore, y1(T) = y2If (t) = y (t),
(Equation 9)
Figure 2004317911
And the mean square amplitude of the sound field signal x (t) is the convolution signal yj(T), yj + 1It can be seen that it is equal to the square amplitude average of (t).
[0037]
That is, when the correlation coefficient is “1”, y1(T) = y2(T), the reference window function fb1(T), fb2(T) is their sum fb1(T) + fb2The mean square amplitude of (t) is set to be “1”.
[0038]
Thus, the interval [Pi, Pi + 1], The sound field signal xiThe mean square amplitude of (t) is the convolution signal yi(T), yi + 1(T), each interval [Pi, Pi + 1] And yi(T) and yi + 1(T) does not cause a discontinuous change in the level of the sound field signal x (t), and a natural sound field can be generated.
[0039]
To prove the above, two impulse responses h with low correlation are used using white noise as the sound source signal r (t).s1(T), hs2(T) and two highly correlated impulse responses ht1(T), ht2For (t), a sound field signal was calculated using each reference window function. Note that the impulse response h having a low correlations1(T), hs2As (t), measured values at two points in a certain building where the environment is completely different (laboratory and entrance hall) were used. FIGS. 5A and 5B show the impulse response h.s1(T), hs2The waveform of (t) is shown. In addition, a highly correlated impulse response ht1(T), ht2As (t), measured values at two points that differ only in the same room position were used. FIGS. 6A and 6B show the impulse response h.t1(T), ht2The waveform of (t) is shown.
[0040]
First, the impulse response h with low correlations1(T), hs2Compute the convolution signal with white noise for (t) and add them respectively to the curved window function fa1(T) = cos (π · t / (2 · T)), fa2When (t) = sin (π · t / (2 · T)) was multiplied and both were added, a signal having a waveform shown in FIG. 7 was obtained. Here, T is an appropriate constant. As shown in FIG. 7, the amplitude of the obtained signal waveform is kept almost constant, and the impulse response is h.s1(T) to hs2It can be seen that when changing to (t), the sound field signal changes smoothly.
[0041]
On the other hand, these impulse responses hs1(T), hs2(T) is subjected to a convolution operation with white noise, and a linear window function fb1(T) = 1−t / T, fb2When (t) = t / T was applied and both were added, a signal having a waveform shown in FIG. 8 was obtained. As shown in the figure, the level of the obtained signal waveform is reduced (indicated by an arrow X in the figure), and the impulse response h having a low correlations1(T), hs2A linear window function f for (t)b1, Fb2, The impulse response is hs1(T) to hs2It can be seen that the sound field signal does not change smoothly when changing to (t).
[0042]
Next, a highly correlated impulse response ht1(T), ht2Compute the convolution signal with white noise for (t) and add them respectively to the linear window function fb1(T) = 1−t / T, fb2When (t) = t / T was multiplied and both were added, a signal having a waveform shown in FIG. 9 was obtained. As shown in the figure, the amplitude of the obtained signal waveform is kept almost constant, and the impulse response is h.t1(T) to ht2It can be seen that when changing to (t), the sound field signal changes smoothly.
[0043]
On the other hand, these impulse responses ht1(T), ht2Compute the convolution signal with white noise for (t) and add them respectively to the curved window function fa1(T) = cos (π · t / (2 · T)), fa2(T) = sin (π · t / (2 · T)), and when they were added together, a signal having the waveform shown in FIG. 10 was obtained. As shown in the figure, the level of the obtained signal waveform is increased (indicated by the arrow Y in the figure), and the impulse response h having a high correlation is shown.t1(T), ht2Curve window function f for (t)a1, Fa2, The impulse response is ht1(T) to ht2It can be seen that the sound field signal does not change smoothly when changing to (t).
[0044]
As described above, when the correlation coefficient of the impulse response is low, the curved window function fa1(T), fa2If (t) is used and the correlation coefficient is high, a linear window function fb1(T), fb2By using (t), the impulse response hiThe interval [P] where (t) changes [Pi, Pi + 1], It was demonstrated that a smooth and natural sound field signal can be generated.
[0045]
However, in practice, the correlation coefficient of the impulse response takes an intermediate value between “0” and “1”. Therefore, in the present embodiment, a curved reference window function fa1(T), fa2(T) and linear reference window function fb1(T), fb2(T) and the correlation coefficient riOf the window function f1(T), f2(T). That is, the weight coefficient is k1, K2As
f1(T) = k1・ (1-t / Ti) + K2・ Cos (π · t / (2 · Ti)) ・ ・ ・ (A)
f2(T) = k1・ T / Ti      + K2· Sin (π · t / (2 · Ti)) ・ ・ ・ (B)
Using a window function1, K2Is set according to the correlation coefficient. Where k1+ K2= 1 is satisfied.
[0046]
FIG. 11 shows that the weighting coefficient k1, K2(Hereinafter, referred to as a weight determination graph). This weight determination graph is obtained experimentally as follows. That is, a set of white noises having various correlation coefficients is prepared, and for each set of the white noises, k1, K2The window function f determined by the above equations (A) and (B) while changing the value of1(T), f2(T) is multiplied to calculate a sum signal, and k is such that the level fluctuation of the signal waveform is minimized.1, K2Find the value of. K obtained in this way1, K2By plotting the relationship between the correlation coefficient and the white noise correlation coefficient, a weight determination graph shown in FIG. 11 is obtained. Such a weight determination graph is stored, and by referring to this graph, the correlation coefficient riFrom the weighting factor k1, K2To determine.
[0047]
FIG. 12 is a flowchart illustrating a processing procedure in the sound field simulation device 10 of the present embodiment. In this simulation, the situation to be simulatediIs set at each time point PiResponse h from sound source to listening position ati(T) is obtained and stored in the impulse response storage unit 14.
[0048]
As shown in the figure, first, the sound source signal u (t) is input by the signal acquisition unit 12, or the sound source signal u (t) stored in advance is read out (S100). Further, the correlation coefficient calculator 16 calculates the impulse response h stored in the impulse response storage 14.iBased on (t), the correlation coefficient r of the impulse response between adjacent time pointsiIs calculated and stored in the correlation coefficient storage unit 18 (S102). Next, the response calculator 20 calculates the sound source signal u (t) and the impulse response hiConvolution signal y with (t)i(T) is calculated (S104). Further, the crossfade calculation unit 22 calculates each section [Pi, Pi + 1], The impulse response hi(T), hi + 1(T) correlation coefficient riAnd the weight coefficient k with reference to the weight determination graph shown in FIG.1, K2Is determined (S106). And the weight coefficient k1, K2And the window function f according to the above equations (A) and (B).1(T), f2(T) is determined and each is convolved signal yi(T), yi + 1(T) and adding them together, the section [Pi, Pi + 1Sound field signal x ati(T) is calculated (S108). The signal synthesizing unit 24 calculates the signal xiBy connecting (t) for i = 1 to N, a sound field signal x (t) is generated (S110). The sound field signal x (t) thus generated is output to the outside by the output unit 26 (S112).
[0049]
Using the sound field simulation apparatus 10 of the present embodiment, the sound field under the situation shown in FIG. 1 was simulated and compared with the sound actually collected at the position of the listener O shown in FIG. It was confirmed that the same sound field as the sound field could be reproduced.
[0050]
As described above, according to the sound field simulation apparatus 10 of the present embodiment, the discrete time points PiImpulse response h at (t)iConvolution signal y obtained using (t)i(T) is calculated by the correlation coefficient riWindow function f according to1(T), f2By connecting using (t), the impulse response hiIt is possible to generate a smooth and natural sound field signal without a discontinuous level change accompanying the change in (t).
[0051]
In the above description, the sound field signal x (t) is generated based on the sound source signal u (t), and then the sound field signal x (t) is output. , 22 and the like are constituted by a DSP, when a sufficiently high calculation speed can be obtained, the sound field signal x (t) is generated while generating the sound field signal x (t) for the sound source signal u (t) input in real time. It is also possible to output with.
[0052]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, when the transmission state of the sound from a sound source to a listening position changes with time, a natural and smooth sound field signal can be generated using the impulse response at discrete time points.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a situation to be subjected to a sound field simulation calculation, showing a case where a listener moves toward a sound source.
FIG. 2 is a block diagram of a sound field simulation apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram showing a waveform of a window function when a correlation coefficient is “0”.
FIG. 4 is a diagram showing a waveform of a window function when a correlation coefficient is “1”.
FIGS. 5A and 5B are diagrams showing impulse responses with low correlation used in a verification experiment. FIGS.
FIGS. 6A and 6B are diagrams showing highly correlated impulse responses used in a verification experiment. FIGS.
FIG. 7 is a diagram showing a waveform obtained as a result of multiplying a convolution signal with white noise for a low-correlation impulse response by a curved window function and adding the convolution signal.
FIG. 8 is a diagram showing a waveform obtained as a result of multiplying a convolution signal with white noise for a low-correlation impulse response by a linear window function and adding the convolution signal.
FIG. 9 is a diagram illustrating a waveform obtained by multiplying a convolution signal with white noise for a highly correlated impulse response by a linear window function and adding the result;
FIG. 10 is a diagram showing a waveform obtained as a result of multiplying a convolution signal with white noise for a highly correlated impulse response by a curved window function and adding the convolution signal.
FIG. 11 is a graph for determining a weight coefficient from a correlation coefficient.
FIG. 12 is a flowchart illustrating a processing procedure in the sound field simulation device of the present embodiment.
[Explanation of symbols]
10 Sound field simulation device
12 Signal acquisition unit
14 Impulse response storage
16 Correlation coefficient calculator
18 Correlation coefficient storage unit
20 Response calculation unit
22 Crossfade operation unit
24 signal synthesis unit
26 Output unit

Claims (9)

音源から受聴位置への音の伝達関数が時間的に変化する場合に、前記受聴位置での音場を再生するための音場シミュレーション装置であって、
音源信号u(t)を取得する取得手段と、
離散的な複数の時点P(i=1,・・・,N)における前記音源から前記受聴位置への音のインパルス応答h(t)が格納された記憶手段と、
前記音源信号u(t)と前記複数の時点におけるインパルス応答h(t)とに基づいて、各時点における前記音源信号u(t)に対する前記受聴位置での応答信号y(t)を計算する応答演算手段と、
隣接する2つの時点における前記応答信号y(t),yi+1(t)に、夫々、時間の経過と共に次第に減少する第1の窓関数f(t),および、時間の経過と共に次第に増加する第2の窓関数f(t)を掛けて、それらを足し合わせることにより当該2つの時点間における音場信号x(t)を計算するクロスフェード演算手段と、を備えることを特徴とする装置。
A sound field simulation device for reproducing a sound field at the listening position when a transfer function of sound from a sound source to a listening position changes with time,
Acquiring means for acquiring a sound source signal u (t);
Storage means for storing impulse responses h i (t) of sounds from the sound source to the listening position at a plurality of discrete time points P i (i = 1,..., N);
Based on the impulse response h i (t) in the plurality of time points and said sound source signal u (t), calculates the response signal y i (t) at the listening position relative to the sound source signal u (t) at each time point Response calculation means for performing
The response signals y i (t) and y i + 1 (t) at two adjacent time points respectively include a first window function f 1 (t) that gradually decreases over time, and a gradually increasing function over time. And a cross-fade calculating means for calculating a sound field signal x i (t) between the two points in time by multiplying by a second window function f 2 (t). Equipment to do.
前記クロスフェード演算手段は、隣接する2つの時点におけるインパルス応答h(t),hi+1(t)の間の相関係数rに基づいて前記第1および第2の窓関数f(t),f(t)を決定する手段を含むことを特徴とする請求項1記載の音場シミュレーション装置。The cross-fade calculating means calculates the first and second window functions f 1 (t based on a correlation coefficient r i between the impulse responses h i (t) and h i + 1 (t) at two adjacent times. 2. The sound field simulation apparatus according to claim 1, further comprising means for determining f 2 (t). 前記応答演算手段は、前記音源信号u(t)と各時点のインパルス応答h(t)との畳み込みにより前記応答信号y(t)を計算することを特徴とする請求項1または2記載の音場シミュレーション装置。The response calculating means, according to claim 1 or 2, wherein the calculating the response signal y i (t) by convolution of the said sound source signals u (t) and the impulse response h i (t) for each time point Sound field simulation device. 前記クロスフェード演算手段は、前記第1および第2の窓関数f(t),f(t)の夫々について、前記相関係数rが小さい場合に対応した第1の基準窓関数fa1(t),fa2(t)と、前記相関係数が大きい場合に対応した第2の基準窓関数fb1(t),fb2(t)とを記憶しており、前記相関係数に応じて、第1の基準窓関数fa1(t),fa2(t)および第2の窓関数fb1(t),fb2(t)の夫々の重みk,kを決定し、それら重みを当該第1および第2の基準窓関数に夫々掛けた関数を足し合わせることにより前記第1および第2の窓関数f(t),f(t)を決定することを特徴とする請求項1〜3のうち何れか1項記載の音場シミュレーション装置。The cross-fade calculation means, said first and second window function f 1 (t), for each of f 2 (t), a first reference window function f corresponding to the case where the correlation coefficient r i is smaller a1 (t), f a2 (t) and second reference window functions f b1 (t), f b2 (t) corresponding to the case where the correlation coefficient is large, and stores the correlation coefficient. , The weights k 1 and k 2 of the first reference window functions f a1 (t) and f a2 (t) and the second window functions f b1 (t) and f b2 (t) are determined. Determining the first and second window functions f 1 (t) and f 2 (t) by adding functions obtained by multiplying the weights by the first and second reference window functions, respectively. The sound field simulation device according to any one of claims 1 to 3. 前記第1の基準窓関数fa1(t),fa2(t)は、前記相関係数が0の場合に、それらの2乗和{fa1(t)}+{fa2(t)}の振幅の時間平均が1となるように設定されており、
前記第2の基準窓関数fb1(t),fb2(t)は、前記相関係数が1の場合に、それらの和fb1(t)+fb2(t)の2乗振幅の時間平均が1となるように設定されていることを特徴とする請求項4記載の音場シミュレーション装置。
When the correlation coefficient is 0, the first reference window functions f a1 (t) and f a2 (t) are sums of their squares {f a1 (t)} 2 + Δf a2 (t)時間 The time average of the amplitude of 2 is set to be 1,
When the correlation coefficient is 1, the second reference window functions f b1 (t) and f b2 (t) are the time average of the square amplitude of the sum f b1 (t) + f b2 (t). 5. The sound field simulation apparatus according to claim 4, wherein is set to 1.
前記第1の基準窓関数fa1(t),fa2(t)および前記第2の基準窓関数fb1(t),fb2(t)は次式で表されることを特徴とする請求項5記載の音場シミュレーション装置。ただし、Tは、前記隣接する2時点の間隔である。
a1(t)=cos(π・t/(2・T))
a2(t)=sin(π・t/(2・T))
b1(t)=1−t/T
b2(t)=t/T
The first reference window function f a1 (t), f a2 (t) and the second reference window function f b1 (t), f b2 (t) are represented by the following equations. Item 6. The sound field simulation device according to item 5. Here, T is the interval between the two adjacent points.
f a1 (t) = cos (π · t / (2 · T))
f a2 (t) = sin (π · t / (2 · T))
f b1 (t) = 1−t / T
f b2 (t) = t / T
音源から受聴位置への音の伝達関数が時間的に変化する場合に、前記受聴位置での音場を再生するための音場シミュレーション方法であって、
音源信号u(t)を取得するステップと、
前記取得した音源信号u(t)と、離散的な複数の時点における前記音源から前記受聴位置への音のインパルス応答h(t)とに基づいて、各時点における前記音源信号u(t)に対する前記受聴位置での応答信号y(t)を計算するステップと、
隣接する2つの時点における前記応答信号y(t),yi+1(t)に、夫々、時間の経過と共に次第に減少する第1の窓関数f(t),および、時間の経過と共に次第に増加する第2の窓関数f(t)を掛けて、それらを足し合わせることにより当該2つの時点間における音場信号x(t)を計算するステップと、を備えることを特徴とする方法。
A sound field simulation method for reproducing a sound field at the listening position when a transfer function of sound from the sound source to the listening position changes with time,
Obtaining a sound source signal u (t);
Wherein the acquired sound source signal u (t), on the basis of the sound source in a plurality of discrete time points to the impulse response h i sound to the listening position (t), the sound source signal u at each time point (t) Calculating a response signal y i (t) at the listening position for
The response signals y i (t) and y i + 1 (t) at two adjacent time points respectively include a first window function f 1 (t) that gradually decreases over time, and a gradually increasing function over time. Multiplying by a second window function f 2 (t) and adding them together to calculate the sound field signal x i (t) between the two points in time.
請求項7記載の方法をコンピュータに実行させるためのプログラム。A program for causing a computer to execute the method according to claim 7. 請求項8記載のプログラムを記録した記録媒体。A recording medium on which the program according to claim 8 is recorded.
JP2003113723A 2003-04-18 2003-04-18 Sound field simulation apparatus, sound field simulation method, computer program, program recording medium Expired - Fee Related JP4229435B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003113723A JP4229435B2 (en) 2003-04-18 2003-04-18 Sound field simulation apparatus, sound field simulation method, computer program, program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003113723A JP4229435B2 (en) 2003-04-18 2003-04-18 Sound field simulation apparatus, sound field simulation method, computer program, program recording medium

Publications (2)

Publication Number Publication Date
JP2004317911A true JP2004317911A (en) 2004-11-11
JP4229435B2 JP4229435B2 (en) 2009-02-25

Family

ID=33473538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003113723A Expired - Fee Related JP4229435B2 (en) 2003-04-18 2003-04-18 Sound field simulation apparatus, sound field simulation method, computer program, program recording medium

Country Status (1)

Country Link
JP (1) JP4229435B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102031A (en) * 2005-10-06 2007-04-19 Yamaha Corp Companding method for audio signal, and audio signal companding device
JP2020031303A (en) * 2018-08-21 2020-02-27 株式会社カプコン Voice generating program and voice generating apparatus in virtual space
JP2020038284A (en) * 2018-09-04 2020-03-12 本田技研工業株式会社 Acoustic processing device, acoustic processing method and program
JP2020118747A (en) * 2019-01-21 2020-08-06 株式会社Ihi Acoustic wave propagation simulation system and acoustic wave propagation simulation method
JP7463796B2 (en) 2020-03-25 2024-04-09 ヤマハ株式会社 DEVICE SYSTEM, SOUND QUALITY CONTROL METHOD AND SOUND QUALITY CONTROL PROGRAM

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102031A (en) * 2005-10-06 2007-04-19 Yamaha Corp Companding method for audio signal, and audio signal companding device
JP2020031303A (en) * 2018-08-21 2020-02-27 株式会社カプコン Voice generating program and voice generating apparatus in virtual space
JP2020038284A (en) * 2018-09-04 2020-03-12 本田技研工業株式会社 Acoustic processing device, acoustic processing method and program
JP7016307B2 (en) 2018-09-04 2022-02-04 本田技研工業株式会社 Sound processing equipment, sound processing methods and programs
JP2020118747A (en) * 2019-01-21 2020-08-06 株式会社Ihi Acoustic wave propagation simulation system and acoustic wave propagation simulation method
JP7318211B2 (en) 2019-01-21 2023-08-01 株式会社Ihi SOUND PROPAGATION SIMULATION SYSTEM AND SOUND PROPAGATION SIMULATION METHOD
JP7463796B2 (en) 2020-03-25 2024-04-09 ヤマハ株式会社 DEVICE SYSTEM, SOUND QUALITY CONTROL METHOD AND SOUND QUALITY CONTROL PROGRAM

Also Published As

Publication number Publication date
JP4229435B2 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
Harker et al. The HISSTools impulse response toolbox: Convolution for the masses
EP0593228B1 (en) Sound environment simulator and a method of analyzing a sound space
Tang et al. Scene-aware audio rendering via deep acoustic analysis
US20060147050A1 (en) System for simulating sound engineering effects
JP2008197284A (en) Filter coefficient calculation device, filter coefficient calculation method, control program, computer-readable recording medium, and audio signal processing apparatus
JPWO2019216414A1 (en) Audio equipment
JP4229435B2 (en) Sound field simulation apparatus, sound field simulation method, computer program, program recording medium
JP3979133B2 (en) Sound field reproduction apparatus, program and recording medium
JP2012168367A (en) Reproducer, method thereof, and program
JP5217875B2 (en) Sound field support device, sound field support method and program
Abel et al. A feedback canceling reverberator
CN102903367A (en) Method and device for balancing frequency response of off-line iterative sound playback system
Farina et al. Emulation of not-linear, time-variant devices by the convolution technique
Haeussler et al. Crispness, speech intelligibility, and coloration of reverberant recordings played back in another reverberant room (Room-In-Room)
JP5826712B2 (en) Multi-channel echo canceling apparatus, multi-channel echo canceling method, and program
Maestre et al. Creating virtual acoustic replicas of real violins
JP6790659B2 (en) Sound processing equipment and sound processing method
JP2009116169A (en) Simulation apparatus and program
Li et al. Spatial sound rendering using measured room impulse responses
JP3264141B2 (en) Sound environment simulator
JP5325134B2 (en) Echo canceling method, echo canceling apparatus, program thereof, and recording medium
Rumsey Digital audio effects and simulations
JP5463924B2 (en) Sound processor
JP3393738B2 (en) Adaptive signal processing method
JP2009139615A (en) Sound playback device, sound playback method, sound playback program, and sound playback system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

R150 Certificate of patent or registration of utility model

Ref document number: 4229435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees