JP2009048197A - 音場再現装置およびそれを用いた音場再現方法 - Google Patents
音場再現装置およびそれを用いた音場再現方法 Download PDFInfo
- Publication number
- JP2009048197A JP2009048197A JP2008212506A JP2008212506A JP2009048197A JP 2009048197 A JP2009048197 A JP 2009048197A JP 2008212506 A JP2008212506 A JP 2008212506A JP 2008212506 A JP2008212506 A JP 2008212506A JP 2009048197 A JP2009048197 A JP 2009048197A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- block
- sound field
- time
- masked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
【課題】コンボリューション時に必要な計算量を相当減らし、リアルタイムの音場再現システムを実現しつつ音質歪みを最小化することにより、正確な音場を再現できる音場再現装置およびそれを用いた音場再現方法を提供する。
【解決手段】マスキングする信号とマスキングされる信号との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力が閾値以下であれば、人間の聴覚で感知されないマスキング効果を考慮し、時間領域において各室内インパルス応答ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングする。
【選択図】図2
【解決手段】マスキングする信号とマスキングされる信号との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力が閾値以下であれば、人間の聴覚で感知されないマスキング効果を考慮し、時間領域において各室内インパルス応答ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングする。
【選択図】図2
Description
本発明は音場再現装置およびそれを用いた音場再現方法に関するものである。より詳しくは、室内インパルス応答(Room Impulse Response)に時間領域におけるマスキング効果(masking effect)を考慮したフィルタを適用し、室内インパルス応答と入力信号が周波数領域で乗じられた信号から周波数に応じて聴取不可能なデータを除去し、出力された信号ブロックのうちからバックグラウンド雑音ブロックのレベルより低いレベルの信号ブロックを除去することにより、コンボリューション時に必要な計算量を相当減らし、リアルタイムの音場再現システムを実現しつつ音質歪みを最小化することにより、正確な音場を再現できる音場再現装置およびそれを用いた音場再現方法に関するものである。
特殊な空間の音場効果(sound field effect)を再現する音響機器では、音場適用時、一般的に音響信号に有限インパルス応答(Finite Impulse Response;以下、「FIR」という)モデルに基づいた室内インパルス応答(Room Impulse Response;以下、「RIR」という)のコンボリューション(convolution)演算を行う。この方法は、入力信号とインパルス応答信号を直接コンボリューションすることにより、無限インパルス応答(Infinite Impulse Response)に基づいた方法に比べて音質の歪みを減らし、実際に近い音場効果を得ることができる長所がある。しかし、この方法は特定音響空間においてRIRの長さに応じて計算量が非常に多くなり、リアルタイム処理が必要な装置には適用できない限界がある。
FIRに基づく音場再現装置において、計算時間と線形コンボリューション演算の遅延を減少させるためにブロック(block)コンボリューションアルゴリズムが提案された。ブロックコンボリューションアルゴリズムでは、入力信号とインパルス応答信号をいくつかのブロックに区分することにより、RIRが長い場合の前記のような問題点を克服しようとした。ブロックコンボリューションアルゴリズムは、音響3Dレンダリングシステムとリアルタイムの音響再生装置のようにリアルタイムのコンボリューション演算が必要な装置に適用することができる。
図1は、一般的なFIRに基づく音場再現装置に適用されるブロックコンボリューションアルゴリズムのブロック図である。
入力信号はいくつかの入力信号ブロック10に分けられ、またRIR信号もいくつかのRIRブロック30に分けられる。この時、各信号ブロックは同一の長さを有する。入力信号ブロック10は各々高速フーリエ変換(FFT)20によって周波数領域に変換され、またRIRブロック30も各々高速フーリエ変換40によって周波数領域に変換される。周波数領域に変換された入力信号ブロックとRIRブロックは乗算器50で互いに乗じられた後に各信号ブロック60に出力され、逆高速フーリエ変換(IFFT)70によって時間領域に変換される。時間領域に変換された各ブロックを1つの信号に合わせると音場効果が含まれた音響信号80が作られる。
入力信号はいくつかの入力信号ブロック10に分けられ、またRIR信号もいくつかのRIRブロック30に分けられる。この時、各信号ブロックは同一の長さを有する。入力信号ブロック10は各々高速フーリエ変換(FFT)20によって周波数領域に変換され、またRIRブロック30も各々高速フーリエ変換40によって周波数領域に変換される。周波数領域に変換された入力信号ブロックとRIRブロックは乗算器50で互いに乗じられた後に各信号ブロック60に出力され、逆高速フーリエ変換(IFFT)70によって時間領域に変換される。時間領域に変換された各ブロックを1つの信号に合わせると音場効果が含まれた音響信号80が作られる。
このような一般的なFIRに基づく音場再現装置は、図1に示すように、複数のブロック単位で数回計算が繰り返されるが、各計算ステップで人間の聴覚特性を考慮したフィルタリング作業が行われないため、その計算量が非常に膨大である問題点を有する。計算量が多いために処理速度が遅れるしかなく、それを補うためには高価のプロセッサと高容量のメモリが必要であるために製造費用が上昇する問題点がある。
本発明は、上記のような問題点を解決するために導き出されたものであり、特に室内インパルス応答(Room Impulse Response)に時間領域におけるマスキング効果(masking effect)を考慮したフィルタを適用し、室内インパルス応答と入力信号が周波数領域で乗じられた信号から周波数に応じて聴取不可能なデータを除去し、出力された信号ブロックのうちのバックグラウンド雑音ブロックのレベルより低いレベルの信号ブロックを除去することにより、コンボリューション時に必要な計算量を相当減らし、リアルタイムの音場再現システムを実現しつつ音質歪みを最小化することにより、正確な音場を再現できる音場再現装置およびそれを用いた音場再現方法を提供することをその目的とする。
上記目的を達成するために導き出された本発明に係るブロックコンボリューション(block convolution)を用いた音場再現装置は、各入力信号ブロックを高速フーリエ変換(Fast Fourier Transform)する第1高速フーリエ変換器;マスキングする信号(masker)とマスキングされる信号(maskee)との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力(sound pressure)が閾値以下であれば、人間の聴覚で感知されないマスキング効果(masking effect)を考慮し、時間領域において各室内インパルス応答(Room Impulse Response)ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングする時間領域聴覚フィルタ;前記時間領域聴覚フィルタを通過した前記各室内インパルス応答ブロックを高速フーリエ変換する第2高速フーリエ変換器;および前記第1高速フーリエ変換器を経た前記各入力信号ブロックと、前記第2高速フーリエ変換器を経た前記各室内インパルス応答ブロックを互いに乗じる乗算器を含むことを特徴とする。
また、本発明に係るブロックコンボリューション(block convolution)を用いた音場再現方法は、(a)各入力信号ブロックを高速フーリエ変換(Fast Fourier Transform)するステップ;(b)マスキングする信号とマスキングされる信号との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力が閾値以下であれば人間の聴覚で感知されないマスキング効果を考慮し、時間領域において各室内インパルス応答ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングするステップ;(c)前記(b)ステップが行われた前記各室内インパルス応答ブロックを高速フーリエ変換するステップ;および(d)前記(a)段階を経た前記各入力信号ブロックと、前記(c)段階を経た前記各室内インパルス応答ブロックを互いに乗じるステップを含むことを特徴とする。
本発明によれば、計算量を減少させることによって処理速度を増加させ、低価のプロセッサと低容量のメモリで実現することができ、速い処理速度によってリアルタイムの音場制御システムを実現できつつ人間の聴覚特性を反映して音質の低下を防止できる効果がある。
以下、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。先ず、各図面の構成要素に参照符号を付加する際、同一構成要素については、他の図面上に示すときにもできるだけ同一符号を与えるようにしていることを留意しなければならない。また、本発明を説明するにおいて、関連する公知構成または機能に関する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。さらに、以下では本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定および制限されず、当業者によって変形され様々に実施できることは言うまでもない。
図2は、本発明の好ましい実施形態に係る音場再現装置のブロック図である。
本発明の好ましい実施形態に係る音場再現装置は、図2に示すように、第1高速フーリエ変換器110、時間領域聴覚フィルタ120、第2高速フーリエ変換器130、乗算器140、周波数領域聴覚フィルタ150、ブロック除去器160、および逆高速フーリエ変換器170を含んでなっている。
本発明の好ましい実施形態に係る音場再現装置は、図2に示すように、第1高速フーリエ変換器110、時間領域聴覚フィルタ120、第2高速フーリエ変換器130、乗算器140、周波数領域聴覚フィルタ150、ブロック除去器160、および逆高速フーリエ変換器170を含んでなっている。
第1高速フーリエ変換器110は、各入力信号ブロック105の入力を受けて周波数領域に変換する。各入力信号ブロック105は、音場効果が添加されない音源信号を同一長さを有するように複数に分割したブロックである。
時間領域聴覚フィルタ120は、各室内インパルス応答ブロック115(以下、「RIRブロック」という)の入力を受け、マスキング効果(masking effect)を考慮して不必要な信号を除去した後、これを第2高速フーリエ変換器130に入力する。時間領域において人間の聴覚特性はマスキング効果を示す。マスキング効果は、インパルス信号の場合、得ようとする特定インパルス信号(マスキングする信号、masker)の終了点(offset)と他のインパルス信号(マスキングされる信号、maskee)の開始点(onset)との間の間隔(時間遅延Δt)に応じてインパルス信号のサウンド圧力比が特定閾値として表され、このような閾値より小さいサウンド圧力を有するマスキングされる信号は人間の聴覚で感知されにくいものである。よって、このような信号は時間領域聴覚フィルタ120によってフィルタリングしても全体音場再現には影響を及ぼさない。
図3は、時間領域聴覚フィルタのフィルタリング特性を示すグラフである。
図3において、横軸は時間遅延Δt[msec]を示し、縦軸はマスキングされる信号のピークサウンド圧力P(Δt)とΔt=0における前記マスキングする信号のピークサウンド圧力P(0)との比P(Δt)/P(0)(以下、「ピーク圧力比」という)を示す。また、前記ピークサウンド圧力はマスキングする信号が白色雑音(white noise)、すなわちインパルス信号である場合に測定された値である。
図3において、横軸は時間遅延Δt[msec]を示し、縦軸はマスキングされる信号のピークサウンド圧力P(Δt)とΔt=0における前記マスキングする信号のピークサウンド圧力P(0)との比P(Δt)/P(0)(以下、「ピーク圧力比」という)を示す。また、前記ピークサウンド圧力はマスキングする信号が白色雑音(white noise)、すなわちインパルス信号である場合に測定された値である。
時間領域聴覚フィルタ120は大きく2つのメカニズムによって作動する。
第1に、ポストマスキング効果(post−masking effect)メカニズムである。ポストマスキング効果は、図3において丸印を含む曲線(以下、“線1”という)で示されている。マスキングする信号が周波数領域で白色雑音である場合、マスキングされる信号はベル模様の圧力インパルス(pressure impulse)で表される。このようなベル模様の圧力インパルスは、横軸に示される各時間遅延においてマスキング有無を決める「特定閾値」として作用する。すなわち、得ようとする信号であるマスキングする信号が終了した後、相次ぐ信号が開始するまで長い時間が経つほど閾値は小さくなり、その結果相次ぐ信号の大きさが小さくても人間の聴覚で鋭敏に感知される。その反面、時間遅延が短いほど相次ぐ信号の大きさが相当大きくてもマスキングする信号に埋もれ、閾値より大きさが小さい信号は無視しても良い。
第1に、ポストマスキング効果(post−masking effect)メカニズムである。ポストマスキング効果は、図3において丸印を含む曲線(以下、“線1”という)で示されている。マスキングする信号が周波数領域で白色雑音である場合、マスキングされる信号はベル模様の圧力インパルス(pressure impulse)で表される。このようなベル模様の圧力インパルスは、横軸に示される各時間遅延においてマスキング有無を決める「特定閾値」として作用する。すなわち、得ようとする信号であるマスキングする信号が終了した後、相次ぐ信号が開始するまで長い時間が経つほど閾値は小さくなり、その結果相次ぐ信号の大きさが小さくても人間の聴覚で鋭敏に感知される。その反面、時間遅延が短いほど相次ぐ信号の大きさが相当大きくてもマスキングする信号に埋もれ、閾値より大きさが小さい信号は無視しても良い。
例えば、時間遅延Δt=10msecである場合、縦軸の圧力比(特定閾値)は約0.28となる。これは、マスキングする信号が終了し、10msecの時間遅延後にマスキングされる信号が開始される場合、マスキングされる信号のピーク圧力比が0.28以下であれば人間の聴覚で感知されないことを意味する。相次ぐ信号のピーク圧力比が0.28を超過する場合であれば人間の聴覚で感知される。よって、ピーク圧力比が0.28以下である信号はポストマスキング効果によってマスキングされるため、時間領域聴覚フィルタ120によって除去されても全体音場再現には影響を及ぼさない。
図3の青色線のように、ベル模様の圧力インパルスを閾値にして時間領域聴覚フィルタを実現する場合、閾値を精密に調整することが容易ではなく、フィルタの製造が非常に複雑になる。よって、その代案として、このようなベル模様の圧力インパルスを時定数(τ)により下記の一般式1のように近似化することができる。
aaxp=exp(−t/τ) (一般式1)
(aaxpは近似値、τは時定数(time constant))
(aaxpは近似値、τは時定数(time constant))
時定数τは曲線部分のモデリングに関わる因子であり、時定数を調節することによってマスキング効果をいかに正確にあるいはいかに多くの余裕を持って時間領域聴覚フィルタ120を設計することができるかを決定する。図3に示すように、マスキング効果を最も近似的に反映する時定数は7.5msであり、これにより、最も近似的にマスキング効果を有する時間領域聴覚フィルタ120を設計することができる。一方、これより小さい時定数を定義すると、より余裕を持つフィルタを設計することができる。例えば、時定数τ=5msに設計する場合、7.5msに比べて多少計算量が増えるが、聴覚が極度に鋭敏な人にもマスキングされる信号を感知できないように設計することができる。
第2に、ギャップ検出閾値時間(Gap Detection Threshold;以下、「GDT」という)メカニズムである。GDTは図3において直線点線と曲線の一部(以下、“線2”という)で示されている。線2はΔtが4msec以下であるときには直線点線を従い、Δtが4msec以上であるときには線1を従う。これは白色雑音チャネルの帯域幅(band width)に係る関数で表され、前記ポストマスキング効果の延長線上で説明することができる。すなわち、時間遅延が短いほど相次ぐ信号が相当大きいサウンド圧力を有しているとしも、マスキングする信号に相次ぐ信号が埋もれ、人間の聴覚レベルでは区別できない。このような効果は遅延時間が短いほど顕著であり、遅延時間がGDTと等しくなる地点では相次ぐ信号の大きさに関係なく人間の聴覚で感知できない現象が生じる。すなわち、0msecからGDTまでは相次ぐ信号の大きさがマスキングする信号のサウンド圧力より大きくない限り、閾値を超過してもマスキングする信号によってマスキングされ、これを除去しても音場再現には影響を及ぼさない。
このようにGDTを基準にGDTメカニズム領域とポストマスキング効果メカニズムに明確に区分することは多少リスクが内在するため、その代案として、GDTメカニズム領域を減らし、ポストマスキング効果メカニズム領域を広げる方法を用いることができる。GDTメカニズム領域では閾値に関わらず全ての相次ぐ信号を除去するため、所定の時間マージン(margin)を置いてGDTメカニズム領域を多少縮小する妥協点を探すことがより安全でする。図3には時間マージンを1msecに設定した場合が示されている。すなわち、GDTは5msecであるが、時間マージンを1msec確保してGDTメカニズム領域を0〜4msecに設定し、ポストマスキング効果メカニズムを4msec以後に設定した。
要するに、時間領域聴覚フィルタ120はポストマスキング効果メカニズムだけで実現することもできる。但し、ポストマスキング効果メカニズムにおいて時間遅延が短い場合、閾値に関わらず相次ぐ信号全体がマスキングされる現象が発生するため、無視できる信号を最大限に除去して計算量を減少させるためにポストマスキング効果メカニズムにGDTメカニズムを加えて時間領域聴覚フィルタ120を実現することがより好ましい。このように実現された時間領域聴覚フィルタ120は次のように動作する。時間遅延が4msec以内である場合、時間領域聴覚フィルタ120は、相次ぐ信号のうち、マスキングする信号のサウンド圧力より小さいか等しい信号全てを除去する。時間遅延が4msecを越える場合、時間領域聴覚フィルタ120は、相次ぐ信号が該当時間遅延における特定閾値を超過する場合には通過させ、特定閾値以下である場合には除去する。これにより、時間領域聴覚フィルタ120はRIRの時間遅延に適応的に対応して人間の聴覚特性を反映することにより、音場再現装置の計算量を減少させる。
第2高速フーリエ変換器130は、時間領域聴覚フィルタ120を通過した各RIRブロックを高速フーリエ変換し、周波数領域に変換する。
乗算器140は、第1高速フーリエ変換器110によって周波数領域に変換された各入力信号ブロックと、第2高速フーリエ変換器130によって周波数領域に変換された各RIRブロックとを互いに乗じる機能をする。時間領域における入力信号とインパルス応答のコンボリューション演算は、周波数領域における入力信号と口パルス応答の積と等価であるため、乗算器140は、各対応するブロック同士の積であるという単純な演算を行うことにより、音源に該当する入力信号ブロックに実際の音響空間の特性を反映し、音場効果が加えられた各信号ブロック145を出力する。
乗算器140は、第1高速フーリエ変換器110によって周波数領域に変換された各入力信号ブロックと、第2高速フーリエ変換器130によって周波数領域に変換された各RIRブロックとを互いに乗じる機能をする。時間領域における入力信号とインパルス応答のコンボリューション演算は、周波数領域における入力信号と口パルス応答の積と等価であるため、乗算器140は、各対応するブロック同士の積であるという単純な演算を行うことにより、音源に該当する入力信号ブロックに実際の音響空間の特性を反映し、音場効果が加えられた各信号ブロック145を出力する。
周波数領域聴覚フィルタ150は、乗算器140を経た各信号ブロック145の入力を受け、周波数に応じて人間の聴覚による聴取が不可能なデータを除去した後、それをブロック除去器160に入力する。時間領域聴覚フィルタ120を介したフィルタリングはRIRブロック115を対象に直接行われる反面、周波数領域聴覚フィルタ150を介したフィルタリングはRIRブロックと入力信号ブロックが周波数領域で乗じられた信号ブロックを対象に行われる。周波数領域では各周波数に応じて人間の聴覚で感知できないサウンド圧力の閾値が存在し、このような閾値より小さいサウンド圧力を有する信号は聴取が不可能となる。よって、このような信号は周波数領域聴覚フィルタ150を介してフィルタリングしても全体音場再現には影響を及ぼさない。
図4は、本発明の好ましい実施形態に係る周波数領域聴覚フィルタを実現するための周波数領域における人間の聴覚特性を示すグラフである。
図4において、横軸は周波数[Hz]を示し、縦軸はバックグラウンド雑音がない状態におけるサウンド圧力レベル(sound pressure level)[dBL]を示す。また、図4において、曲線は閾値(threshold)を、曲線上部の丸印(以下、“丸印1”という)は聴取可能なデータを、曲線を含む曲線下部の丸印(以下、“丸印2”という)は聴取不可能なデータを各々示す。
図4において、横軸は周波数[Hz]を示し、縦軸はバックグラウンド雑音がない状態におけるサウンド圧力レベル(sound pressure level)[dBL]を示す。また、図4において、曲線は閾値(threshold)を、曲線上部の丸印(以下、“丸印1”という)は聴取可能なデータを、曲線を含む曲線下部の丸印(以下、“丸印2”という)は聴取不可能なデータを各々示す。
周波数領域においても、各信号ブロック145は人間の聴覚基準から無視できるデータが潜在している。よって、図4に示すように、バックグラウンド雑音がない状態における聴覚閾値特性(hearing threshold in quiet)を反映して周波数領域聴覚フィルタ150を実現する。周波数領域において、信号の聴取可能性は「バックグラウンド雑音がない状態における閾値」(以下、「閾値」という)Tq(f)[dB]に対する関数で決めることができる。逆高速フーリエ変換器170によって逆高速フーリエ変換を行う前に、各サンプルは周波数領域聴覚フィルタ150において閾値Tq(f)と比較し、閾値よりサウンド圧力レベルが大きいデータ(図4において丸印2)は通過させ、閾値よりサウンド圧力レベルが小さいデータ(図4において丸印1)はフィルタリングする。これは、下記の一般式2のように表すことができる。
YP aud[k]=YP[k] (YP[k]>Tq[k]である場合)
YP aud[k]=0 (YP[k]<Tq[k]である場合)
(一般式2)
YP aud[k]=0 (YP[k]<Tq[k]である場合)
(一般式2)
ここで、YP aud[k]はk番目サンプルにおいて聴取可能なデータを有するブロックPのサウンド圧力レベルを、YP[k]はk番目サンプルにおいてブロックPのサウンド圧力レベルを意味する。YP[k]>Tq[k]である場合、すなわち閾値よりサウンド圧力レベルが大きいデータは聴取可能なデータとしてそのまま維持し、YP[k]<Tq[k]である場合、すなわち閾値よりサウンド圧力レベルが小さいデータは聴取可能なデータがないものとして取り扱う。
例えば、図4において、4000〜6000Hzではサンプリングされた10個のデータ全てが閾値よりサウンド圧力レベルが大きいために聴取可能なデータであり、周波数領域聴覚フィルタ150を全て通過する。しかし、8000〜10000Hzでは、サンプリングされた10個のデータのうちの5個のデータだけが閾値よりサウンド圧力レベルが大きいため、残りの5個のデータは周波数領域聴覚フィルタ150でフィルタリングされる。
ブロック除去器160は、周波数領域聴覚フィルタ150から出力された各信号ブロックのうち、それと同一の長さを有するバックグラウンド雑音(background noise)ブロックの平均サウンド圧力レベルより低い値を有する信号ブロックを除去する。時間領域聴覚フィルタ120と周波数領域聴覚フィルタ150ではデータ単位で信号をフィルタリングしたが、ブロック除去器160ではブロック単位で信号をフィルタリングするという違いがある。ブロック除去器160における動作は下記の一般式3のように表すことができる。
ここで、Yout P[k]はk番目サンプルにおける出力ブロックPのサウンド圧力レベル、BNはブロックPと同一の長さを有するバックグラウンド雑音、Nは周波数領域における出力ブロック(output block)の長さを意味する。
一般式3において、与えられた出力信号ブロックを維持するか否かは、同一のブロック長さを有するバックグラウンド雑音の平均サウンド圧力レベルと比較することによって決められる。すなわち、該当信号ブロックの平均サウンド圧力レベルがバックグラウンド雑音の平均サウンド圧力レベルより大きい場合には該当ブロックを聴取可能なブロックとしてそのまま維持し、その逆の場合には該当ブロックを除去する。すなわち、出力された信号ブロックのうちのバックグラウンド雑音ブロックのレベルより低いレベルの信号ブロックは、バックグラウンド雑音に埋もれて人間の聴覚基準から聴取不可能であるため、このようなブロックそのものをブロック除去器160で除去することにより、計算量を減らしつつ音質の歪みを防止することができる。
要するに、周波数領域において計算量を減らすためのメカニズムは2つに要約される。
第1に、RIRと入力信号が周波数領域で乗じられた信号から周波数に応じて聴取不可能なデータを周波数領域聴覚フィルタ150によって除去する。
第2に、周波数領域聴覚フィルタ150から出力された信号ブロックのうち、バックグラウンド雑音ブロックのレベルより低いレベルの信号ブロックをブロック除去器160によって除去する。
第1に、RIRと入力信号が周波数領域で乗じられた信号から周波数に応じて聴取不可能なデータを周波数領域聴覚フィルタ150によって除去する。
第2に、周波数領域聴覚フィルタ150から出力された信号ブロックのうち、バックグラウンド雑音ブロックのレベルより低いレベルの信号ブロックをブロック除去器160によって除去する。
一方、前記2つのメカニズムは全て周波数領域聴覚フィルタ150で実現できることは言うまでもない。
本発明の好ましい実施形態に係る音場再現装置の性能をいくつかの実験によって他の場合との比較を行った。実験結果は下記の表1に示す。
本発明の好ましい実施形態に係る音場再現装置の性能をいくつかの実験によって他の場合との比較を行った。実験結果は下記の表1に示す。
B:ブロックコンボリューション
C:時間領域聴覚フィルタを備えたブロックコンボリューション
D:周波数領域聴覚フィルタを備えたブロックコンボリューション
E:本発明の好ましい実施形態に係るブロックコンボリューション
表1において、音場再現装置の性能は計算量で決定され、計算量はデジタル信号処理器において処理に必要となる電力消費に影響を及ぼす乗算演算の数を尺度にした。表1に示すように、システムの種類に関わらず(浴室と大部屋)、また音源信号(犬がほえる声、肉声、音楽)に関わらず、時間領域聴覚フィルタと周波数領域聴覚フィルタを適用した本発明の好ましい実施形態に係るブロックコンボリューションの場合が計算量が顕著に減少する結果を示す。計算量の減少は、処理速度の増加と、低価のプロセッサおよび低容量のメモリの適用が可能であることを意味し、リアルタイムの音場再現システムを実現するのに適していることを意味する。
次に、本発明の好ましい実施形態に係る音場再現方法について説明する。
図5は、本発明の好ましい実施形態に係る音場再現方法のフローチャートである。
本発明の好ましい実施形態に係る音場再現方法は、図5に示すように、各入力信号ブロックを高速フーリエ変換して周波数領域に変換するステップ(S10)、各RIRブロックを時間領域において聴覚フィルタリングするステップ(S20)、時間領域聴覚フィルタリングされた各RIRブロックを高速フーリエ変換して周波数領域に変換するステップ(S30)、周波数領域に変換された各入力信号ブロックと各RIRブロックを互いに乗じる乗算ステップ(S40)、乗算された各信号ブロックを周波数領域において聴覚フィルタリングするステップ(S50)、周波数領域聴覚フィルタリングされた各信号ブロックのうち、それと同一の長さを有するバックグラウンド雑音ブロックの平均サウンド圧力レベルより低い平均サウンド圧力レベルを有する信号ブロックを除去するブロック除去ステップ(S60)、ブロック除去ステップで除去されすに通過した各信号ブロックを逆高速フーリエ変換して時間領域に変換するステップ(S70)、および時間領域に変換された各信号ブロックを互いに連結して出力信号を生成するステップ(S80)を含んでなっている。
図5は、本発明の好ましい実施形態に係る音場再現方法のフローチャートである。
本発明の好ましい実施形態に係る音場再現方法は、図5に示すように、各入力信号ブロックを高速フーリエ変換して周波数領域に変換するステップ(S10)、各RIRブロックを時間領域において聴覚フィルタリングするステップ(S20)、時間領域聴覚フィルタリングされた各RIRブロックを高速フーリエ変換して周波数領域に変換するステップ(S30)、周波数領域に変換された各入力信号ブロックと各RIRブロックを互いに乗じる乗算ステップ(S40)、乗算された各信号ブロックを周波数領域において聴覚フィルタリングするステップ(S50)、周波数領域聴覚フィルタリングされた各信号ブロックのうち、それと同一の長さを有するバックグラウンド雑音ブロックの平均サウンド圧力レベルより低い平均サウンド圧力レベルを有する信号ブロックを除去するブロック除去ステップ(S60)、ブロック除去ステップで除去されすに通過した各信号ブロックを逆高速フーリエ変換して時間領域に変換するステップ(S70)、および時間領域に変換された各信号ブロックを互いに連結して出力信号を生成するステップ(S80)を含んでなっている。
S10ステップは第1高速フーリエ変換器110によって行われる。
S20ステップは時間領域聴覚フィルタ120によって行われ、時間領域において各RIRブロックの入力を受け、特定遅延時間Δtにおいてサウンド圧力が特定閾値以下であるために人間の聴覚で感知されない信号をフィルタリングし、時間遅延Δtが特定時間ギャップ以内である場合にマスキングする信号のサウンド圧力より大きくない限り、閾値を超過しても人間の聴覚で感知されない信号をフィルタリングする。
S20ステップは時間領域聴覚フィルタ120によって行われ、時間領域において各RIRブロックの入力を受け、特定遅延時間Δtにおいてサウンド圧力が特定閾値以下であるために人間の聴覚で感知されない信号をフィルタリングし、時間遅延Δtが特定時間ギャップ以内である場合にマスキングする信号のサウンド圧力より大きくない限り、閾値を超過しても人間の聴覚で感知されない信号をフィルタリングする。
S30ステップは第2高速フーリエ変換器130によって行われる。
S40ステップは乗算器140によって行われる。
S50ステップは周波数領域聴覚フィルタ150によって行われ、各信号ブロックに対し周波数に応じて人間の聴覚による聴取が不可能なデータを除去する。
S60ステップはブロック除去器160によって行われる。
S70ステップは逆高速フーリエ変換器170によって行われる。
S40ステップは乗算器140によって行われる。
S50ステップは周波数領域聴覚フィルタ150によって行われ、各信号ブロックに対し周波数に応じて人間の聴覚による聴取が不可能なデータを除去する。
S60ステップはブロック除去器160によって行われる。
S70ステップは逆高速フーリエ変換器170によって行われる。
本発明の好ましい実施形態に係る音場再現方法は前記音場再現装置で十分に説明したのでここでは詳細な説明を省略する。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内における様々な修正、変更および置き換えが可能である。よって、本発明で開示された実施形態および添付図面は本発明の技術思想を限定するためのものではなく説明するためのものであり、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等の範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内における様々な修正、変更および置き換えが可能である。よって、本発明で開示された実施形態および添付図面は本発明の技術思想を限定するためのものではなく説明するためのものであり、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等の範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。
本発明に係る音場再現装置は音響機器に搭載され、音響機器の価格を下げ、性能を向上させることができ、3次元仮想音響分野を含めて音響コンボリューションが用いられる応用分野に活用することができる。
105:入力信号ブロック
110:第1高速フーリエ変換器
115:RIRブロック
120:時間領域聴覚フィルタ
130:第2高速フーリエ変換器
140:乗算器
150:周波数領域聴覚フィルタ
160:ブロック除去器
170:逆高速フーリエ変換器
110:第1高速フーリエ変換器
115:RIRブロック
120:時間領域聴覚フィルタ
130:第2高速フーリエ変換器
140:乗算器
150:周波数領域聴覚フィルタ
160:ブロック除去器
170:逆高速フーリエ変換器
Claims (10)
- ブロックコンボリューションを用いた音場再現装置であって、
各入力信号ブロックを高速フーリエ変換する第1高速フーリエ変換器と、
マスキングする信号とマスキングされる信号との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力が閾値以下であれば、人間の聴覚で感知されないマスキング効果を考慮し、時間領域において各室内インパルス応答ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングする時間領域聴覚フィルタと、
前記時間領域聴覚フィルタを通過した前記各室内インパルス応答ブロックを高速フーリエ変換する第2高速フーリエ変換器と、
前記第1高速フーリエ変換器を経た前記各入力信号ブロックと、前記第2高速フーリエ変換器を経た前記各室内インパルス応答ブロックを互いに乗じる乗算器とを備えることを特徴とするブロックコンボリューションを用いた音場再現装置。 - 前記閾値は、下記の一般式1
aaxp=exp(−t/τ) (一般式1)
(但し、aaxpは近似値、τは時定数)
によって近似されたものが適用されることを特徴とする請求項1に記載のブロックコンボリューションを用いた音場再現装置。 - 前記時間遅延Δtが特定時間ギャップ以内である場合、前記マスキングされる信号のサウンド圧力が前記閾値を超過しても人間の聴覚で感知されないギャップ検出閾値時間を考慮し、前記時間領域聴覚フィルタは、前記ギャップ検出閾値時間以内の信号が前記マスキングする信号のサウンド圧力より大きくなければフィルタリングすることを特徴とする請求項1に記載のブロックコンボリューションを用いた音場再現装置。
- 前記時間領域聴覚フィルタは、前記ギャップ検出閾値時間より短い時間を基準時間にし、前記基準時間前のマスキングされる信号は全てフィルタリングし、前記基準時間後のマスキングされる信号は前記閾値以下のサウンド圧力を有する信号だけをフィルタリングすることを特徴とする請求項3に記載のブロックコンボリューションを用いた音場再現装置。
- 前記乗算器を経た各信号ブロックが入力され、周波数に応じて人間の聴覚による聴取が不可能なデータを除去する周波数領域聴覚フィルタをさらに含むことを特徴とする請求項1に記載のブロックコンボリューションを用いた音場再現装置。
- 前記周波数領域聴覚フィルタから出力された各信号ブロックのうち、それと同一の長さを有するバックグラウンド雑音ブロックの平均サウンド圧力レベルより低い平均サウンド圧力レベルを有する信号ブロックを除去するブロック除去器をさらに含むことを特徴とする請求項5に記載のブロックコンボリューションを用いた音場再現装置。
- ブロックコンボリューションを用いた音場再現方法であって、
(a)各入力信号ブロックを高速フーリエ変換するステップと、
(b)マスキングする信号とマスキングされる信号との間の時間遅延に応じて、前記マスキングされる信号のサウンド圧力が閾値以下であれば人間の聴覚で感知されないマスキング効果を考慮し、時間領域において各室内インパルス応答ブロックが入力されると、特定時間遅延Δtにおいて前記マスキングされる信号のサウンド圧力が特定閾値以下であればフィルタリングするステップと、
(c)前記(b)ステップが行われた前記各室内インパルス応答ブロックを高速フーリエ変換するステップと、
(d)前記(a)段階を経た前記各入力信号ブロックと、前記(c)段階を経た前記各室内インパルス応答ブロックを互いに乗じるステップとを含むことを特徴とするブロックコンボリューションを用いた音場再現方法。 - 前記時間遅延Δtが特定時間ギャップ以内である場合、前記マスキングされる信号のサウンド圧力が前記閾値を超過しても人間の聴覚で感知されないギャップ検出閾値時間を考慮し、前記(b)ステップでは、前記ギャップ検出閾値時間以内の信号が前記マスキングする信号のサウンド圧力より大きくなければフィルタリングすることを特徴とする請求項7に記載のブロックコンボリューションを用いた音場再現方法。
- 前記(d)段階を経た各信号ブロックに対し、周波数に応じて人間の聴覚による聴取が不可能なデータを除去する(e)ステップを更に含むことを特徴とする請求項7又は8に記載のブロックコンボリューションを用いた音場再現方法。
- 前記(e)ステップが行われた各信号ブロックのうち、それと同一の長さを有するバックグラウンド雑音ブロックの平均サウンド圧力レベルより低い平均サウンド圧力レベルを有する信号ブロックを除去する(f)ステップをさらに含むことを特徴とする、請求項9に記載のブロックコンボリューションを用いた音場再現方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070084521A KR100884312B1 (ko) | 2007-08-22 | 2007-08-22 | 음장 재현 장치 및 이를 이용한 음장 재현 방법 |
KR10-2007-0084521 | 2007-08-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009048197A true JP2009048197A (ja) | 2009-03-05 |
JP4709880B2 JP4709880B2 (ja) | 2011-06-29 |
Family
ID=40382183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008212506A Expired - Fee Related JP4709880B2 (ja) | 2007-08-22 | 2008-08-21 | 音場再現装置およびそれを用いた音場再現方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8098846B2 (ja) |
JP (1) | JP4709880B2 (ja) |
KR (1) | KR100884312B1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8230422B2 (en) * | 2005-01-13 | 2012-07-24 | International Business Machines Corporation | Assist thread for injecting cache memory in a microprocessor |
WO2014145893A2 (en) * | 2013-03-15 | 2014-09-18 | Beats Electronics, Llc | Impulse response approximation methods and related systems |
CA2996010C (en) | 2015-09-29 | 2023-09-26 | Abraham ESPINOZA | Warning system for animal farrowing operations |
US11705148B2 (en) * | 2021-06-11 | 2023-07-18 | Microsoft Technology Licensing, Llc | Adaptive coefficients and samples elimination for circular convolution |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04326399A (ja) * | 1991-04-26 | 1992-11-16 | Matsushita Electric Ind Co Ltd | 反射音圧縮装置 |
JPH09205345A (ja) * | 1995-12-07 | 1997-08-05 | Akg Akust & Kino Geraete Gmbh | オーディオ信号のフィルタリングのための方法及び装置 |
JP2000267682A (ja) * | 1999-03-19 | 2000-09-29 | Victor Co Of Japan Ltd | 畳み込み演算装置 |
JP2008512015A (ja) * | 2004-09-01 | 2008-04-17 | スミス リサーチ エルエルシー | 個人化されたヘッドフォン仮想化処理 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100355033B1 (ko) * | 2000-12-30 | 2002-10-19 | 주식회사 실트로닉 테크놀로지 | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 |
KR20020082643A (ko) * | 2001-04-25 | 2002-10-31 | 주식회사 호서텔넷 | 고속 푸우리에 변환(fft) 및 역고속 푸우리에변환(ifft)을 이용한 송,수신기의 동기검출장치 |
KR100571427B1 (ko) * | 2003-11-27 | 2006-04-17 | 한국전자통신연구원 | 잡음 환경에서의 음성 인식을 위한 특징 벡터 추출 장치및 역상관 필터링 방법 |
EP1619793B1 (en) * | 2004-07-20 | 2015-06-17 | Harman Becker Automotive Systems GmbH | Audio enhancement system and method |
KR20060098994A (ko) * | 2005-03-10 | 2006-09-19 | 엘지전자 주식회사 | 이동통신 단말기에서의 실시간 음장효과 제공 방법 |
KR101199374B1 (ko) * | 2005-12-20 | 2012-11-09 | 엘지전자 주식회사 | 디지털 방송 시스템 및 처리 방법 |
US20070239295A1 (en) * | 2006-02-24 | 2007-10-11 | Thompson Jeffrey K | Codec conditioning system and method |
-
2007
- 2007-08-22 KR KR1020070084521A patent/KR100884312B1/ko not_active IP Right Cessation
-
2008
- 2008-08-20 US US12/195,089 patent/US8098846B2/en not_active Expired - Fee Related
- 2008-08-21 JP JP2008212506A patent/JP4709880B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04326399A (ja) * | 1991-04-26 | 1992-11-16 | Matsushita Electric Ind Co Ltd | 反射音圧縮装置 |
JPH09205345A (ja) * | 1995-12-07 | 1997-08-05 | Akg Akust & Kino Geraete Gmbh | オーディオ信号のフィルタリングのための方法及び装置 |
JP2000267682A (ja) * | 1999-03-19 | 2000-09-29 | Victor Co Of Japan Ltd | 畳み込み演算装置 |
JP2008512015A (ja) * | 2004-09-01 | 2008-04-17 | スミス リサーチ エルエルシー | 個人化されたヘッドフォン仮想化処理 |
Also Published As
Publication number | Publication date |
---|---|
US20090052692A1 (en) | 2009-02-26 |
KR100884312B1 (ko) | 2009-02-18 |
US8098846B2 (en) | 2012-01-17 |
JP4709880B2 (ja) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | A two-stage algorithm for one-microphone reverberant speech enhancement | |
CA2903900C (en) | Apparatus and method for multichannel direct-ambient decomposition for audio signal processing | |
US9807502B1 (en) | Psychoacoustics for improved audio reproduction and speaker protection | |
KR101798120B1 (ko) | 능동 잡음 제거와 지각적 잡음 보상의 결합에 의해 음향 재생의 지각 품질을 향상시키기 위한 장치 및 방법 | |
JP3537674B2 (ja) | オーディオシステム | |
CN108886650B (zh) | 用于音频再现的子带空间和串扰消除 | |
JP2005530432A (ja) | 部屋における拡声器からの音声のデジタル等化方法、および、この方法の使用法 | |
JP5816072B2 (ja) | バーチャルサラウンドレンダリングのためのスピーカアレイ | |
JP2008191659A (ja) | 音声強調方法及び音声再生システム | |
KR20180075610A (ko) | 사운드 스테이지 향상을 위한 장치 및 방법 | |
CN110211602B (zh) | 智能语音增强通信方法及装置 | |
JP4709880B2 (ja) | 音場再現装置およびそれを用いた音場再現方法 | |
JP2014513320A (ja) | オーディオ信号におけるドミナント周波数を減衰する方法及び装置 | |
JP2024528596A (ja) | 発話向上 | |
WO2017222562A1 (en) | Psychoacoustics for improved audio reproduction and speaker protection | |
Tohyama | Waveform Analysis of Sound | |
CN110708651A (zh) | 一种基于分段陷波的助听器啸叫检测与抑制方法及装置 | |
JP5627241B2 (ja) | 音声信号処理装置および方法 | |
CN109076302A (zh) | 信号处理装置 | |
Zhuang et al. | A constrained optimal hear-through filter design approach for earphones | |
WO2014203496A1 (ja) | 音声信号処理装置、および音声信号処理方法 | |
EP4371311A1 (en) | Data augmentation for speech enhancement | |
EP2028883A2 (en) | Sound field generator and method of generating sound field using the same | |
JP2010217268A (ja) | 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置 | |
Guo et al. | An Improved Low-Complexity Echo Suppression Algorithm Based on the Acoustic Coloration Effect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110318 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |