JP2008512699A - 入力信号に残響を加える装置及び方法 - Google Patents

Abstract

入力信号s(n)に残響を加える装置１が、残響を発生させるために例えば前記信号のフーリエ変換などの、対応する変換入力信号S(n)を用いる。前記装置は、現在の変換出力信号Sr(n)を生成するために、前記変換入力信号S(n)を修正及び遅延された変換出力信号G(Sr(n-i))と合成する回路３，５，６を備える。前記現在の変換出力信号Sr(n)を逆変換するステップは、残響を有する出力信号sr(n)を生じさせる。

Description

本発明は、入力信号、特に音声信号に残響を加える装置及び方法に関する。

部屋の音響効果、又はコンサートホールの音響効果をほのめかすために音声信号に残響を加えることは周知である。残響は、信号サンプルを連続するメモリ要素に一時的に記憶することによって特定の時間にわたり音声信号を遅延させる要素である、いわゆる遅延ラインを用いて電子的に発生される。しかし、自然な音声効果を得るためには、非常に大きな遅延ラインが必要とされる。一般的な２秒の残響時間は、50,000から100,000のサンプル長である遅延要素を必要とし、斯様なサイズは、実施化するのに困難であり非経済的である。

この問題を克服するために様々な試みがなされてきた。例えば、米国特許第5,917,917号(Jenkins)は、信号を残響装置へ供給する前に音声信号を間引き、その後、生じる信号を補間しサンプリング周波数を復元することを提案する。このアプローチは、信号にアーチファクトを生じさせ得る一方で、なお大きな遅延ラインを必要とすることは明らかである。

代替的な解決法は、残響を得るために、音声信号と部屋又はコンサートホールのインパルス応答とのコンボリューションを計算することを提案する。しかし、斯様なインパルス応答は、通常長く、斯様な解決法に含まれる計算の労力は、非常に大きい一方で、大きなメモリがなお必要である。

本発明の目的は、従来技術のこれら及び他の問題を解決し、大幅に少ないメモリ及び少ない計算労力を必要とする、信号に残響を加える装置及び方法を提供することである。

したがって、本発明は、対応する変換入力信号によって表される入力信号に残響を加える装置であって、遅延変換出力信号を生成するために、当該変換出力信号を遅延させる遅延手段と、残響を有する出力信号を表す現在の変換出力信号を生成するために、前記変換入力信号を遅延変換出力信号と合成する合成手段と、を備える装置を提供する。

時間信号の代わりに変換された信号を用いることによって、非常に現実的な残響効果が獲得され得る一方で、コンボリューションを計算するのに含まれるメモリの要件及び計算コストも回避する。入力信号を変換するステップは、高速フーリエ変換(ＦＦＴ)などの標準的な最適化された変換手法を用いて実行され得る。

本発明において、変換出力信号は、変換入力信号、及び以前の出力信号の遅延されたものの両方に基づく。この以前の出力信号の遅延されたものは、好ましくは、所望の残響を提供することが可能であるように、振幅及び／又は位相が修正されている。

前記遅延手段は、以前の出力信号を供給するように、出力信号を一時的に記憶するように構成される。通常、当該遅延手段は、信号を１フレームの持続時間において記憶し、この場合、「以前」なる語句は、「直ぐに先行する」と意味することを理解される。しかし、本発明は、斯様に制限されず、前記遅延手段は、２以上のフレーム持続時間においても信号を記憶し得、この場合、「以前」なる語句は、「時間的に又は順序的に前に存在する」と意味することを理解される。前記遅延主段は、メモリユニット、適切なレジスタ、又は他の遅延ユニットを用いて構成され得る。

フレームは、高速フーリエ変換（ＦＦＴ）などの変換手法とともに従う、例えば256、512又は1024個のサンプルなどの一群の信号サンプルを含むように通常理解されることを特記される。サンプリング周波数に応じて、フレームは、特定の持続時間を表し得る。44.1kHzのサンプリング速度において、1024サンプルのフレームは、約23.2msの持続時間を有する。

好ましい実施例において、本発明の装置は、修正及び遅延された変換出力信号を生成するために、前記遅延変換出力信号の振幅及び／又は位相を修正する修正手段を備える。新たな出力信号を供給するのに用いられる、前記遅延変換出力信号は、好ましくは、前記（新たな）変換入力信号と合成される前に修正される。この修正は、ゲイン（又は減衰）を適用することによる振幅修正を含み得るが、より重要には、位相修正を含む。

特に、本発明は、変換された遅延出力信号の位相を、その位相がランダムに又は疑似的にランダムに変換するように修正することを提案する。この実質的にランダムな位相修正は、残響における反復パターンを回避する。斯様なパターンは、不所望な可聴アーチファクトを生じさせ得る。

更に有利な実施例において、前記ランダムな位相修正が、最大位相差によって制約され、前記最大位相差は、低周波数に関してｐより大幅に小さく、高周波数に関してｐに実質的に等しい。すなわち、不所望な効果を避けるために、周波数依存制限が、前記修正手段によって加えられる位相修正に課される。ランダムな位相が高周波数に関して（一般的であるが、非制限的な例において、約300Ｈｚより高い周波数に関して）-p及びp度の間において変動し得る一方で、元の位相に加えられ得るランダムな位相は、低周波数信号成分を歪ませないために、低周波数に関して（一般的であるが、非制限的な例において、約100Ｈｚより低い周波数に関して）非常に小さい。

上述されるように、前記修正ユニットは、残響の振幅、及びその結果として残響時間を制御するために、ゲイン（又は、ゲインが１より小さい場合は減衰）をも前記遅延変換出力信号に適用し得る。好ましい実施例において、前記修正手段が、低周波数に関して比較的小さい減衰を含み、高周波数に関して比較的大きい減衰を含む振幅修正に関して構成される。前記周波数依存減衰は、低周波数において長く、高周波数に関して徐々に減少する残響時間を可能にする。このことは、通常の部屋の残響の挙動と対応する。

「低」及び「高」周波数の間の区別が、位相に関して用いる区別と類似であることが更に好ましい。上記の例を用いると、減衰は、約100Hzまでの周波数に関して比較的小さく、約300Hzまでの周波数に関して比較的高くあり得る。これらの値は、ただの例となるものに過ぎず、本発明から逸脱することなく1000Hz及び3000Hzなどの他の値も用いられ得ることを理解され得る。

上述の説明において、本発明の装置は、１つの入力信号を受信することを仮定されている。しかし、本発明は、斯様には制限されず、複数の入力信号を受信することが可能である装置も提供する。特に有利な実施例において、本発明の装置は、現在の変換部分的出力信号を供給するために、部分的変換入力信号を修正及び遅延された変換部分的出力信号と合成する処理手段を具備される複数の並列な分岐を有し、前記装置は、更に、前記変換部分的出力信号を変換合成された出力信号へ合成する少なくとも１つの更なる合成ユニットを備える。前記部分的変換入力信号は、例えば、musical instrument digital interface（ＭＩＤＩ）音声バンクにおける個別の楽器を表し得るか、ＭＩＤＩ音声バンクにおける様々な楽器の合計をそれぞれ表し得る。前記部分的変換入力信号は、ＭＩＤＩ音声バンクに直接記憶され得るか、ＭＩＤＩ音声バンクにおける音声信号のパラメータ表現から周波数ドメインにおいて合成され得る。

有利には、少なくとも１つの分岐が、少なくとも１つのスケーリングユニットを備え得る。前記スケーリングユニットは、前記分岐からの配分が制御されるのを可能にする。ある実施例において、分岐は、１つは遅延変換出力信号をスケーリングし、１つは変換出力信号自身をスケーリングする、２つのスケーリングユニットを含み得る。有利には、スケーリングユニットは、各分岐の修正手段に組み込まれる。

前記処理手段が、前記変換信号をフレーム毎に処理するように構成されることが好ましい。このことは、前記処理手段が、複数のサンプルを実質的に同時に処理するのを可能にし、これにより、処理速度を増加させる。加えて、いかなる変換ユニットも、通常、同時に且つフレームを用いて一群のサンプルに作用し、したがって、この処理を促進する。２の累乗であるサイズ（512又は1024など）が当然デジタル信号処理において便利であるが、使用される実際のフレームサイズは、関連がないことを理解される。

前記少なくとも１つの入力信号は、外部変換ユニットによって又は変換信号が記憶される記憶装置によって供給される変換入力信号として受信され得る。しかし、入力信号が時間信号として受信される場合、本発明の装置は、入力信号を変換入力信号へ変換する変換ユニットを便利に更に備える。複数の時間信号が受信される場合、複数の変換ユニットが提供され得る。加えて、少なくとも１つのＡ／Ｄ（アナログ／デジタル）変換器が、入力信号がアナログ信号である場合に提供され得る。本発明の装置は、現在の変換出力信号を時間信号に変換する逆変換ユニットも有利に備え得る。

本発明の装置は、合成ユニット及び遅延（メモリ）ユニットなど別々のユニットから構成され得るが、前記装置は、適切なソフトウェア命令を実行するマイクロプロセッサ又はマイクロコンピュータによって構成されることも可能である。

本発明は、自身の周波数スペクトルによって表せられる音声信号に残響を加える装置を提供するようにも言及され得、前記装置は、遅延された周波数スペクトルを供給するために、周波数スペクトルを遅延させる遅延手段、位相調整周波数スペクトルを供給するために、前記遅延周波数スペクトルの位相を修正する修正手段、合成された周波数スペクトルを生成するために、前記位相調整周波数スペクトルを元の周波数スペクトルと合成する合成手段、及び、残響を有する音声信号を供給するために、前記合成された周波数スペクトルを逆変換する逆変換手段、を備え、前記修正手段は、実質的にランダムな位相を供給するように構成される。前記修正手段は、前記遅延周波数スペクトルの振幅を修正するようにも構成され得る。

本発明は、上記にて規定される装置を備える音声システムを更に提供する。前記音声システムは、上記の装置を備える電子オルガン、キーボード、又はシンセサイザなどの電子音楽楽器、及び本発明による装置を備える特に携帯電話又はゲーム装置で用いる着信音シンセサイザであり得る。

本発明は、対応する変換入力信号によって表される入力信号に残響を加える方法であって、遅延変換出力信号を生成するために、当該変換出力信号を遅延させるステップと、残響を有する出力信号を表す現在の変換出力信号を生成するために、前記変換入力信号を遅延変換出力信号と合成するステップと、を備える方法を、追加的に提供する。

本発明の上述の態様及び更なる態様は、以下で説明されるべき実施例の例から明らかであり、これらの実施例の例を参照にして説明される。

本発明は、添付の図面に例示される例証的な実施例を参照にして以下に説明されるが、本発明は、これらに制限されない。

図１において非制限的な例としてのみ示される残響装置１は、変換ユニット２、合成ユニット３、逆変換ユニット４、メモリユニット５、及びゲイン／位相修正ユニット６を備える。

本例において、変換ユニット２は、時間信号s(n)を受信する。この時間信号s(n)は、デジタルであり（又はデジタル化されており）、nは、フレーム番号を示し、各フレームは、ある数のサンプルを含む。当業者は、アナログ入力信号が受信される場合、Ａ／Ｄ（アナログ／デジタル）変換器が提供されるべきであることを理解する。時間信号s(n)は、通常、残響が加えられるべき音声信号である。

変換ユニット２は、時間信号s(n)を受信し、変換信号S(n)を出力する。通常、変換信号２は、高速フーリエ変換（ＦＦＴ）を適用し、この場合、変換信号S(n)は、時間信号s(n)の周波数スペクトルであり、nは同様にフレーム番号を示し、フレームは、この場合、ある数の周波数成分を含んでいる。

（高速）フーリエ変換の代わりに、（修正）コサイン変換などの他の変換も適用され得る。装置１が時間信号s(n)の代わりに周波数スペクトルS(n)を受信することか、又は信号s(n)のパラメータの表現から周波数ドメインにおける周波数スペクトルS(n)を合成することが更に可能であり、この場合、変換ユニット２は省略され得る。変換信号S(n)は、示される実施例において１つの加算回路によって構成される合成ユニット３へ供給される。

合成回路３において、変換信号S(n)は、新しい変換出力信号：

を生成するために、変換出力信号Sr(n)の遅延及び修正されたものと合成され（すなわち、加えられ）、ここで、iは、メモリ（M）５によって導入された遅延の量を示し、Gは、修正ユニット６によって提供されるゲイン及び／又は位相調整を示す。遅延の量は、本例において、フレームで表現される。通常の遅延は、１フレーム(i=1)に等しいが、各フレームの持続時間及び所望の残響及び残響時間に応じて、２、３、又はそれ以上のフレームの遅延も可能である。もしある場合は、ゲイン及び位相調整は時間で変化し得る。

遅延ユニットとして機能するメモリユニット５は、信号Sr(n-i)を生成するために、変換出力信号Sr(n)の１つ又は複数のフレームを一時的に記憶する。遅延フレームは、修正ユニット６に出力され、修正ユニット６は、上述の合成ユニット３へ供給される位相及び／又はゲイン調整された変換信号G(Sr(n-i))を提供するために、変換信号Sr(n-i)の位相と可能であればゲインを修正する。

本発明は、残響を提供するためのインパルス応答又はそのフーリエ変換の使用を必要としないことを特記される。代わりに、本発明は、信号自身の遅延変換（例えば、フーリエ変換）を用いて残響を提供する。

好ましい実施例において、修正ユニット６は、元の位相に対してランダムな又は疑似ランダムな位相シフトを適用する。このことは、合成ユニット３において合成される信号G(Sr(n-i))及びS(n)を非相関化するという有利な点を有する。これらの信号が相関化される場合、反復パターンが残響に発生し得る。

逆変換ユニット４は、残響を含む出力時間信号sr(n)を提供するために、通常逆高速フーリエ変換（ＩＦＦＴ）である逆変換を実行する。

したがって、装置１は、非常に簡単で効果的な手法で残響を提供することが確認され得る。時間ドメインの代わりに変換された（通常：周波数）ドメインにおいて残響を提供することによって、長い遅延ラインの使用が避けられる。

図１の装置１は、信号s(n)全体に関して均一な残響を提供する。別々の周波数帯又は楽器に関して個別の残響を提供することも可能である。ＭＩＤＩ技術を用いて、個別の楽器は、別々に処理され得る。斯様な別々の処理を可能にする本発明の装置１の例証的な実施例が、図２に概略的に例示される。

図２の実施例において、個別の変換信号（例えば周波数スペクトル）S1(n),S2(n),…,Sm(n)が受信され、それぞれの合成ユニット３へ供給される。これらの変換信号は、ＭＩＤＩデータ記憶装置から、又は元の（混合）変換信号S(n)又は時間信号s(n)が供給されるフィルタバンクから生じ得る。これらの変換入力信号は、ＭＩＤＩ音声バンクから取得され得るか、又はＭＩＤＩ音声バンクにおける音声信号のパラメータ表現から周波数ドメインにおいて合成される。

図２の装置は、m個の並列の分岐を有し、各分岐は、合成ユニット３、メモリユニット５、ゲイン／位相修正ユニット６、及びスケーリングユニット７をそれぞれ備える。各分岐（m番目のものを除く）は、当該分岐の出力信号を他の分岐の出力信号と合成する更なる合成ユニット９も備える。逆変換ユニット４は、図１の実施例のような、残響を含む時間（出力）信号sr(n)を提供する。

図２の実施例の有利な点は、残響が楽器毎又はチャネル毎に制御され得ることである。更に特には、好ましくは遅延変換出力信号の位相及び振幅の両方を修正するように構成される修正ユニット６を用いてスケーリングが提供され得る。各修正ユニット６は、個別のゲインG1,G2,…,Gm有し得、これら個別のゲインは、スケーリング係数として作用し、対応する分岐における残響を制御する。個別のゲインG1,G2,…,Gmは、プリセット、ユーザ制御、又はＭＩＤＩコンテンツから抽出され得る。

更なるスケーリングは、スケーリングユニット７を用いて提供され得る。前記スケーリングユニット７は、各分岐において又は(m-1)個の分岐に提供される。スケーリングユニット７は、スケーリング係数aj(j=1…m)をそれぞれ受信し、そして、対応する更なる合成ユニット９へ供給されるスケーリングされた信号aj.Sr(n)を提供するために、信号Sr(n)をこのスケーリング係数により乗算する。スケーリング係数ajは、合成変換出力信号Sr(n)に対する各分岐の相対的寄与を決定する。

スケーリングユニット７は、重み付けされた合成ユニットを形成するために、更なる合成ユニット９に統合され得る。追加的に又は代替的に、図２に示される個別の更なる合成ユニット９は、複数の入力を有する１つの更なる合成ユニットに組み合わせられ得る。

スケーリング係数ajは、プリセット、ユーザ制御、又はＭＩＤＩコンテンツから抽出され得る。スケーリングユニットが変換入力信号をスケーリングするために合成ユニット３の前に配置されるような実施例が想定され得る。

図２の実施例において、入力信号sj(n)が変換信号Sj(n)として利用可能であることを仮定されている。斯様な場合でない場合、適切な変換ユニット(図１における２)が提供され得る。

ゲイン／位相修正ユニット６の動作は、図４及び５を参照にして更に説明され得る。例証的なゲインA(G)は、図４に例示される。この特定の例において、ゲインA(G)は１より小さく、したがって、ヘルツ(Hz)で測定される周波数(f)の関数として、毎秒のデシベルで測定される減衰(Att)を構成する。図４の例において、0から約200Hzに分布する周波数に関しては約60dB/s、及び約300Hzより上の周波数に関しては約120dB/sであるように減衰が示される。したがって、周波数の関数として残響時間を制御する周波数依存ゲイン（すなわち減衰）が提供される。

図５のグラフは、ヘルツ(Hz)で測定される周波数(f)の関数として、radで表現される、例証的な最大位相差（最大差位相、ＭＤＰ）を示す。上述のように、ゲイン／位相修正ユニット６は、実質的にランダムな位相を提供する。しかし、信号歪みを避けるために、位相は、好ましくは、制約される。すなわち、ゲイン／位相修正ユニット６によって導入される位相差は、好ましくは、図５に示される値Φ(G)に制限される。示される例において、この値は、約100Hzまでの周波数に関して0に近く、そしてp(rad)のレベルにまで急勾配に上昇し、その後はこのレベルを維持する。ゲイン／位相修正ユニット６によって導入される位相差を制限することは、信号ひずみを回避する。

本発明の少なくとも１つの装置１、１’を備える音声システム１０は、図３に概略的に示される。音声システム１０は、更に、フレームからなる信号s(n)を得るために、時間窓をデジタル（又はデジタル化された）信号s(k)に適用する窓化（Ｗ）ユニット１１を備え、ここでnはフレーム番号を示し、kはサンプル番号を示す。同様に、更なる窓化（Ｗ）ユニット１１は、フレームを通常のデジタル信号に変換するために提供される。窓化ユニット１１及び１２は、部分的に重複するフレームを提供する重複／加算回路を備え得る。

前記音声システムは、更に、(図示されない)１つ又は複数の増幅器、フィルタ、及び／又は信号処理手段を備え得る。適切なＤ／Ａ（デジタル／アナログ）変換器は、デジタル出力信号をアナログ出力信号へ変換するために提供され得る。同様に、Ａ／Ｄ（アナログ／デジタル）変換器は、アナログ入力信号をデジタル入力信号に変換する（すなわち、デジタル化する）ために、入力部に提供され得る。音声システム１０は、更に、音声を提供するために、スピーカなどの１つ又は複数のトランデューサを更に備え得る。追加的に又は代替的に、音声システム１０は、ＤＶＤプレーヤ、ＣＤプレーヤ、ＭＩＤＩ記憶装置、及び／又はインテーネット端末などの１つ又は複数の音声信号源を備え得る。

本発明は、残響が遅延時間信号の代わりに遅延された変換信号を用いて効率的に生成され得るという洞察に基づく。本発明は、遅延された変換信号が実質的にランダムな位相を有するべきであるという更なる洞察に基づく。

本文書における如何なる用語も本発明の範囲を制限するように解釈されるべきではないことを特記される。特に、「有する」という動詞及びその活用形の使用は、具体的に記載されない如何なる要素を排除しない。単数（回路）要素は、複数個の（回路）要素、又はそれらの等価物と置換され得る。

図１は、本発明による装置の第１実施例を概略的に示す。 図２は、本発明による装置の第２実施例を概略的に示す。 図３は、本発明による装置を組み込む音声システムを概略的に示す。 図４は、本発明において用いられる例示的なゲイン調整を概略的に示す。 図５は、本発明において用いられる例示的な最大位相調整を概略的に示す。

Claims (11)

1. 入力信号に残響を加える装置であって、
   −現在の入力信号を時間ドメインから周波数ドメインに変換する変換手段であって、その変換結果が現在の変換入力信号であるような、変換手段と、
   −遅延変換出力信号を生成するために、現在の変換出力信号を遅延させる遅延手段と、
   −前記現在の変換出力信号を生成するために、前記現在の変換入力信号を前記遅延変換出力信号と合成する合成手段と、
   −前記現在の変換出力信号から残響を有する現在の出力信号を生成する逆変換手段と、
   を備える装置。
2. 修正及び遅延された変換出力信号を生成するために、前記遅延変換出力信号の振幅及び／又は位相を修正する修正手段を更に備える、請求項１に記載の装置。
3. 前記修正手段が、実質的にランダムな位相を提供するように構成される、請求項２に記載の装置。
4. 前記ランダムな位相が、最大位相差によって制約され、前記最大位相差は、低周波数に関してしきい値より大幅に小さく、高周波数に関して前記しきい値に実質的に等しい、請求項３に記載の装置。
5. 前記修正手段が、低周波数に関して比較的小さい減衰を含み、高周波数に関して比較的大きい減衰を含む振幅調整に関して構成される、請求項３に記載の装置。
6. 現在の変換部分的出力信号を供給するために、部分的変換入力信号を修正及び遅延された変換部分的出力信号と合成する処理手段を具備される複数の並列な分岐を有する装置であって、前記装置が、前記変換部分的出力信号を変換合成された出力信号へ合成する少なくとも１つの更なる合成ユニットを更に備える、請求項１に記載の装置。
7. 少なくとも１つの分岐が、少なくとも１つの部分的出力信号をスケーリングする少なくとも１つのスケーリングユニットを備える、請求項６に記載の装置。
8. 前記処理手段が、前記変換入力信号をフレーム毎に処理するように構成される、請求項１に記載の装置。
9. 請求項１乃至８のいずれか一項に記載の装置を備える音声システム。
10. 入力信号に残響を加える方法であって、
    −現在の入力信号を時間ドメインから周波数ドメインに変換するステップであって、その変換結果が現在の変換入力信号であるような、ステップと、
    −遅延変換出力信号を生成するために、現在の変換出力信号を遅延させるステップと、
    −前記現在の変換出力信号を生成するために、前記現在の変換入力信号を前記遅延変換出力信号と合成するステップと、
    −逆変換を用いて、前記現在の変換出力信号から残響を有する現在の出力信号を生成するステップと、
    を含む方法。
11. 請求項１０に記載の方法を実行する計算機プログラム。

Images