JP2010026044A - 残響付与装置およびプログラム - Google Patents

Abstract

【課題】音響信号に対する残響の付与中にインパルス応答を変更するときの演算量を軽減する。
【解決手段】演算部３１は、音響信号ＶINのうち区間Ｓ1と区間Ｓ1の開始前とを含む区間Ｔ1とインパルス応答Ｈ1との畳込み演算で残響信号Ｒ1を生成する。演算部３２は、音響信号ＶINのうち区間Ｓ1と区間Ｓ2とを含む区間Ｔ2とインパルス応答Ｈ1の部分ＰAとの畳込み演算で残響信号Ｒ2を生成する。演算部３３は、音響信号ＶINのうち区間Ｓ2と区間Ｓ3とを含む区間Ｔ3とインパルス応答Ｈ2の部分ＮAとの畳込み演算で残響信号Ｒ3を生成する。演算部３４は、音響信号ＶINのうち区間Ｓ3と区間Ｓ3の経過後とを含む区間Ｔ4とインパルス応答Ｈ2との畳込み演算で残響信号Ｒ4を生成する。波形合成部２４は、残響信号Ｒ（Ｒ1〜Ｒ4）のクロスフェードで残響信号ＶOUTを合成する。
【選択図】図３

Description

本発明は、音響信号に残響を付与する技術に関する。

音響信号とインパルス応答との畳込み演算で音響信号に残響を付与する技術が従来から提案されている。特許文献１には、音響信号に対する残響の付与に使用されるインパルス応答を残響の付与の途中で変更する技術が開示されている。特許文献１の技術では、図１０に示すように、変更前のインパルス応答Ｈ1を音響信号ＶINに畳込むことで残響信号Ｒ1を生成する処理と、変更後のインパルス応答Ｈ2を音響信号ＶINに畳込むことで残響信号Ｒ2を生成する処理とが並列に実行され、区間Ｃ内で残響信号Ｒ1と残響信号Ｒ2とをクロスフェードすることで残響信号ＶOUTが合成される。
米国特許第６４２１６９７号

しかし、特許文献１の技術においては、音響信号ＶINのうちクロスフェードの対象となる区間Ｃについて、インパルス応答Ｈ1の畳込み演算とインパルス応答Ｈ2の畳込み演算とが並列に実行されるから、音響信号ＶINの区間Ｃの処理時に演算量が増大するという問題がある。インパルス応答Ｈ1やインパルス応答Ｈ2の時間長（残響時間）が長い場合、区間Ｃに対する演算量の増大は特に深刻化する。以上の事情に鑑みて、本発明は、音響信号に対する残響の付与に使用されるインパルス応答を変更するときの演算量を軽減することを目的とする。

以上の課題を解決するために、本発明の第１の態様に係る残響付与装置は、音響信号のうち第１区間（例えば図３の区間Ｓ1）と当該第１区間の開始前とを含む区間（例えば図３の区間Ｔ1）に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、音響信号のうち第１区間の始点から当該第１区間の経過後の第２区間（例えば図３の区間Ｓ2）の終点までを含む区間（例えば図３の区間Ｔ2）に第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算手段と、音響信号のうち第２区間の始点から当該第２区間の経過後の第３区間（例えば図３の区間Ｓ3）の終点までを含む区間（例えば図３の区間Ｔ3）に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算手段と、音響信号のうち第３区間と当該第３区間の経過後とを含む区間（例えば図３の区間Ｔ4）に第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、第１残響信号から第２残響信号に遷移するように第１区間内で第１残響信号と第２残響信号とをクロスフェードする第１合成手段と、第２残響信号から第３残響信号に遷移するように第２区間内で第２残響信号と第３残響信号とをクロスフェードする第２合成手段と、第３残響信号から第４残響信号に遷移するように第３区間内で第３残響信号と第４残響信号とをクロスフェードする第３合成手段とを具備する。

第１の態様に係る残響付与装置においては、第１演算手段による第１インパルス応答の畳込み演算と第２演算手段による第１インパルス応答の第１部分の畳込み演算とが音響信号の第１区間について実行され、第３演算手段による第２インパルス応答の第１部分の畳込み演算と第４演算手段による第２インパルス応答の畳込み演算とが音響信号の第３区間について実行される。また、第２演算手段による第１インパルス応答の第１部分の畳込み演算と第３演算手段による第２インパルス応答の第１部分の畳込み演算とが音響信号の第２区間について実行される。以上の構成においては、第１インパルス応答の全部の畳込み演算と第２インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。

本発明の第２の態様に係る残響付与装置は、音響信号のうち第１区間（例えば図５の区間Ｓ1）と当該第１区間の開始前とを含む区間（例えば図５の区間Ｔ1）に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、音響信号のうち第１区間の始点から当該第１区間の経過後の第２区間（例えば図５の区間Ｓ2）の終点までを含む区間（例えば図５の区間Ｔ2）に第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算手段と、音響信号のうち第２区間と当該第２区間の経過後とを含む区間（例えば図５の区間Ｔ4）に第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、第１残響信号から第２残響信号に遷移するように第１区間内で第１残響信号と第２残響信号とをクロスフェードする第１合成手段と、第２残響信号から第４残響信号に遷移するように第２区間内で第２残響信号と第４残響信号とをクロスフェードする第２合成手段とを具備する。

第２の態様に係る残響付与装置においては、第１演算手段による第１インパルス応答の畳込み演算と第２演算手段による第１インパルス応答の第１部分の畳込み演算とが音響信号の第１区間について実行され、第２演算手段による第１インパルス応答の第１部分の畳込み演算と第４演算手段による第２インパルス応答の畳込み演算とが音響信号の第２区間について実行される。以上の構成においては、第１インパルス応答の全部の畳込み演算と第２インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。

本発明の第３の態様に係る残響付与装置は、音響信号のうち第１区間（例えば図７の区間Ｓ1）と当該第１区間の開始前とを含む区間（例えば図７の区間Ｔ1）に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、音響信号のうち第１区間の始点から当該第１区間の経過後の第３区間（例えば図７の区間Ｓ3）の終点までを含む区間（例えば図７の区間Ｔ3）に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算手段と、音響信号のうち第３区間と当該第３区間の経過後とを含む区間（例えば図７の区間Ｔ4）に第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、第１残響信号から第３残響信号に遷移するように第１区間内で第１残響信号と第３残響信号とをクロスフェードする第１合成手段と、第３残響信号から第４残響信号に遷移するように第３区間内で第３残響信号と第４残響信号とをクロスフェードする第２合成手段とを具備する。

第３の態様に係る残響付与装置においては、第１演算手段による第１インパルス応答の畳込み演算と第３演算手段による第２インパルス応答の第１部分の畳込み演算とが音響信号の第１区間について実行され、第３演算手段による第２インパルス応答の第１部分の畳込み演算と第４演算手段による第２インパルス応答の畳込み演算とが音響信号の第３区間について実行される。以上の構成においては、第１インパルス応答の全部の畳込み演算と第２インパルス応答の全部の畳込み演算とを音響信号の共通の区間について実行する必要がないから、インパルス応答を変更するときの演算量を軽減することが可能である。

なお、以上の各態様における第１インパルス応答の第１部分は、第１インパルス応答のなかの任意の一部分である。ただし、インパルス応答のうち初期反射音を含む区間が特に残響音の印象を特徴づけるという傾向を考慮すると、第１インパルス応答のうち始点を含む所定長の区間が第１部分（例えば部分ＰA）として好適に選定される。第２インパルス応答についても同様であり、第２インパルス応答のうち始点を含む所定長の区間が第２部分（例えば部分ＮB）として好適である。

第１の態様または第２の態様に係る残響付与装置の具体例において、第１演算手段は、第１インパルス応答のうち第１部分以外の第２部分（例えば部分ＰB）を音響信号に畳込むことで残響信号を生成する第１畳込手段（例えば図９の畳込部３１２）と、第１畳込手段が生成した残響信号と第２演算手段が生成した第２残響信号とを加算することで第１残響信号を生成する第１加算手段（例えば図９の加算部３１４）とを含む。以上の態様においては、第１演算手段が第１インパルス応答の第２部分から生成した残響信号と第２演算手段が第１インパルス応答の第１部分から生成した第２残響信号とを加算することで第１残響信号が生成されるから、第１演算手段が第１インパルス応答の全部の畳込み演算を実行する構成と比較して、第１演算手段による演算量が軽減される。

第１の態様または第３の態様に係る残響付与装置の具体例において、第４演算手段は、第２インパルス応答のうち第１部分以外の第２部分（例えば部分ＮB）を音響信号に畳込むことで残響信号を生成する第２畳込手段（例えば図９の畳込部３４２）と、第２畳込手段が生成した残響信号と第３演算手段が生成した第３残響信号とを加算することで第４残響信号を生成する第２加算手段（例えば図９の加算部３４４）とを含む。以上の構成においては、第４演算手段が第２インパルス応答の第２部分から生成した残響信号と第３演算手段が第２インパルス応答の第１部分から生成した第３残響信号とを加算することで第４残響信号が生成されるから、第４演算手段が第２インパルス応答の全部の畳込み演算を実行する構成と比較して、第４演算手段による演算量が軽減される。

第１の態様から第３の態様に係る残響付与装置において、第１演算手段が、音響信号のうち第１区間の終点以前の区間（例えば図８の区間Ｔ1）のみから第１残響信号を生成する構成や、第４演算手段が、音響信号のうち第３区間の始点以後の区間（例えば図８の区間Ｔ4）のみから第４残響信号を生成する構成を採用すれば、第１演算手段や第４演算手段による演算量が軽減される。また、第１の態様または第２の態様における第２演算手段が、音響信号のうち第１区間の始点から第２区間の終点までの区間（例えば図８の区間Ｔ2）のみから第２残響信号を生成する構成や、第１の態様または第３の態様における第３演算手段が、音響信号のうち第２区間の始点から第３区間の終点までの区間（例えば図８の区間Ｔ3）のみから第３残響信号を生成する構成を採用すれば、第２演算手段や第３演算手段による演算量が軽減される。

また、以上の各態様に係る残響付与装置は、残響の付与に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。例えば第１の態様に係る残響付与装置を実現するためのプログラムは、音響信号のうち第１区間と当該第１区間の開始前とを含む区間に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算処理と、音響信号のうち第１区間の始点から当該第１区間の経過後の第２区間の終点までを含む区間に第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算処理と、音響信号のうち第２区間の始点から当該第２区間の経過後の第３区間の終点までを含む区間に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算処理と、音響信号のうち第３区間と当該第３区間の経過後とを含む区間に第２インパルス応答を畳込んだ第４残響信号を生成する第４演算処理と、第１残響信号から第２残響信号に遷移するように第１区間内で第１残響信号と第２残響信号とをクロスフェードする第１合成処理と、第２残響信号から第３残響信号に遷移するように第２区間内で第２残響信号と第３残響信号とをクロスフェードする第２合成処理と、第３残響信号から第４残響信号に遷移するように第３区間内で第３残響信号と第４残響信号とをクロスフェードする第３合成処理とをコンピュータに実行させる。第２の態様や第３の態様に係る残響付与装置についても同様に、コンピュータを残響付与装置として機能させるためのプログラムが特定される。本発明のプログラムによれば、以上の各態様に係る残響付与装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る残響付与装置のブロック図である。残響付与装置１００には、音響（楽音や音声）の時間軸上の波形を表す音響信号ＶINが供給される。音響信号ＶINの供給元（図示略）は、例えば、周囲の音響に応じた音響信号ＶINを生成する収音機器や、記録媒体から音響信号ＶINを取得して出力する再生装置である。残響付与装置１００は、音響信号ＶINに残響を付加した残響信号ＶOUTを生成および出力する。残響信号ＶOUTは、スピーカやヘッドホンなどの放音機器（図示略）に供給されることで音波として再生される。

図１に示すように、残響付与装置１００は、演算処理装置１２と記憶装置１４と入力装置１６とで構成されるコンピュータシステムである。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用するデータを記憶する。半導体記憶装置や磁気記憶装置などの公知の記録媒体が記憶装置１４として任意に採用される。記憶装置１４は複数のインパルス応答Ｈ（Ｈ1，Ｈ2）を記憶する。各インパルス応答Ｈは、音響空間内でインパルス音を発生させたときの残響音の波形を表すサンプル系列（畳込み演算の係数列）である。音響的な特性（インパルス応答Ｈを採取した音響空間の特性）は各インパルス応答Ｈで相違する。

演算処理装置１２は、記憶装置１４に格納されたプログラムを実行することで各種の機能（畳込演算部２２，波形合成部２４）を実現する。本形態の演算処理装置１２は、音響信号ＶINとインパルス応答Ｈとの畳込み演算を実行することで残響信号ＶOUTを生成する。音響信号ＶINに対する残響の付与（畳込み演算）に使用されるインパルス応答Ｈは、残響信号ＶOUTの生成中にインパルス応答Ｈ1からインパルス応答Ｈ2に変更される。したがって、残響信号ＶOUTの再生音の音響的な特性（周波数特性）は、インパルス応答Ｈ1に応じた特性からインパルス応答Ｈ2に応じた特性に変化する。なお、演算処理装置１２の各要素を複数の集積回路に分散的に搭載した構成や、音響信号ＶINの処理に専用される電子回路（ＤＳＰ）が各要素を実現する構成も採用される。

入力装置１６は、残響付与装置１００に対する指示の入力のために利用者が操作する操作子で構成される。例えば、利用者は、入力装置１６を適宜に操作することで、記憶装置１４に格納された複数のインパルス応答Ｈのなかから変更前のインパルス応答Ｈ1と変更後のインパルス応答Ｈ2とを選択する。さらに、利用者は、インパルス応答Ｈの変更（Ｈ1→Ｈ2）の指示（以下「変更指示」という）を入力装置１６から入力する。

図１に示すように、演算処理装置１２は、畳込演算部２２および波形合成部２４として機能する。畳込演算部２２は、音響信号ＶINとインパルス応答Ｈとの畳込み演算を実行する。入力装置１６に変更指示が付与されると、畳込演算部２２は、変更前のインパルス応答Ｈ1と変更後のインパルス応答Ｈ2とを利用した畳込み演算で音響信号ＶINから複数の残響信号Ｒ（Ｒ1〜Ｒ4）を生成する。なお、変更指示が付与されない場合に演算処理装置１２（畳込演算部２２）が音響信号ＶINとインパルス応答Ｈとの畳込み演算で残響信号ＶOUTを生成する方法は公知の技術と同様であるから、以下の説明においては、変更指示が付与された場合の演算処理装置１２の具体的な機能や作用を重点的に説明する。

図１の波形合成部２４は、複数の残響信号Ｒ（Ｒ1〜Ｒ4）を時間軸に沿って連結することで残響信号ＶOUTを合成する。なお、畳込演算部２２や波形合成部２４による処理は周波数領域および時間領域の何れで実行されてもよい。畳込演算部２２や波形合成部２４による処理が周波数領域で実行される場合、音響信号ＶINやインパルス応答Ｈを周波数領域に変換する処理（例えばフーリエ変換）や時間領域の残響信号Ｒや残響信号ＶOUTを生成する処理（例えば逆フーリエ変換）が適切な時点で実行される。

図２は、畳込演算部２２および波形合成部２４の具体的な構成を示すブロック図である。図２に示すように、変更前のインパルス応答Ｈ1の始点から終点までの全区間Ｐ0は、時間軸に沿って部分ＰAと部分ＰBとに区分される。部分ＰAは、全区間Ｐ0の始点（インパルス応答Ｈ1の最初のサンプル）から所定の時間長にわたる区間であり、部分ＰBは、部分ＰAの終点から全区間Ｐ0の終点（インパルス応答Ｈ1の最後のサンプル）までの区間である。同様に、変更後のインパルス応答Ｈ2の始点から終点までの全区間Ｎ0は、始点を含む所定長の部分ＮAと部分ＮAに後続する部分ＮBとに区分される。例えば、初期反射音を豊富に含む区間が部分ＰAや部分ＮAとして選定され、後部残響音に相当する区間が部分ＰBや部分ＮBとして選定される。

図２に示すように、畳込演算部２２は、演算部３１と演算部３２と演算部３３と演算部３４とを含んで構成される。演算部３１は、音響信号ＶINにインパルス応答Ｈ1（部分ＰAと部分ＰBとで構成される全区間Ｐ0）を畳込むことで残響信号Ｒ1を生成する。一方、演算部３２は、音響信号ＶINにインパルス応答Ｈ1の部分ＰAのみを畳込むことで残響信号Ｒ2を生成する。すなわち、演算部３２による畳込み演算にインパルス応答Ｈ1の部分ＰBは使用されない。同様に、演算部３３は、音響信号ＶINにインパルス応答Ｈ2の部分ＮAのみ（部分ＮBは使用しない）を畳込むことで残響信号Ｒ3を生成し、演算部３４は、音響信号ＶINにインパルス応答Ｈ2（部分ＮAと部分ＮBとで構成される全区間Ｎ0）を畳込むことで残響信号Ｒ4を生成する。

図２に示すように、波形合成部２４は、合成部４１と合成部４２と合成部４３とを含んで構成される。合成部４１は、演算部３１が生成した残響信号Ｒ1と演算部３２が生成した残響信号Ｒ2とを時間軸上で連結する。同様に、合成部４２は残響信号Ｒ2と残響信号Ｒ3とを時間軸上で連結し、合成部４３は残響信号Ｒ3と残響信号Ｒ4とを時間軸上で連結する。波形合成部２４による連結後の信号が残響信号ＶOUTとして出力される。

図３は、畳込演算部２２および波形合成部２４の動作を説明するための概念図である。利用者が入力装置１６に変更指示を付与すると、区間Ｓ1と区間Ｓ2と区間Ｓ3とが、例えば変更指示の時点を基準として音響信号ＶINに設定される。区間Ｓ2は区間Ｓ1の経過後の区間であり、区間Ｓ3は区間Ｓ2の経過後の区間である。変更指示の時点から各区間Ｓ（Ｓ1，Ｓ2，Ｓ3）の始点までの時間長や各区間Ｓの始点から終点までの時間長は、所定値（例えば利用者が入力装置１６から指示した数値）に設定される。

最初に畳込演算部２２の具体的な動作を説明する。図３に示すように、演算部３１は、音響信号ＶINのうち区間Ｓ1と区間Ｓ1の開始前（区間Ｓ1の始点Ａ1の手前）とを含む区間Ｔ1に対してインパルス応答Ｈ1（全区間Ｐ0）を畳込むことで残響信号Ｒ1を生成する。区間Ｔ1は、変更指示の付与前（例えば畳込演算部２２の動作の開始時）から区間Ｓ1の経過後の時点ｔA2までの区間である。一方、演算部３２は、音響信号ＶINのうち区間Ｓ1の始点Ａ1から区間Ｓ2の終点Ｂ2までを含む区間Ｔ2に対してインパルス応答Ｈ1の部分ＰAを畳込むことで残響信号Ｒ2を生成する。区間Ｔ2は、区間Ｓ1の開始前の時点ｔA1から区間Ｓ2の経過後の時点ｔB2までの区間である。以上のように、演算部３１による残響信号Ｒ1の生成（インパルス応答Ｈ1の畳込み）と演算部３２による残響信号Ｒ2の生成（インパルス応答Ｈ1の部分ＰAの畳込み）とは、区間Ｓ1を含む時点ｔA1から時点ｔA2までの区間内で並列に実行される。したがって、残響信号Ｒ1と残響信号Ｒ2とは区間Ｓ1内で重複する。

また、図３に示すように、演算部３３は、音響信号ＶINのうち区間Ｓ2の始点Ｂ1から区間Ｓ3の終点Ｃ2までを含む区間Ｔ3に対してインパルス応答Ｈ2の部分ＮAを畳込むことで残響信号Ｒ3を生成する。区間Ｔ3は、区間Ｓ2の開始前の時点ｔB1から区間Ｓ3の経過後の時点ｔC2までの区間である。したがって、図３に示すように、演算部３２による残響信号Ｒ2の生成と演算部３３による残響信号Ｒ3の生成（インパルス応答Ｈ2の部分ＮAの畳込み）とは、区間Ｓ2を含む時点ｔB1から時点ｔB2までの区間内で並列に実行される。すなわち、残響信号Ｒ2と残響信号Ｒ3とは区間Ｓ2内で重複する。

さらに、演算部３４は、音響信号ＶINのうち区間Ｓ3と区間Ｓ3の経過後とを含む区間Ｔ4に対してインパルス応答Ｈ2（全区間Ｎ0）を畳込むことで残響信号Ｒ4を生成する。区間Ｔ4は、区間Ｔ3の開始前の時点ｔC1から区間Ｓ3の経過後にわたる区間である。したがって、図３に示すように、演算部３３による残響信号Ｒ3の生成と演算部３４による残響信号Ｒ4の生成（インパルス応答Ｈ2の畳込み）とは、区間Ｓ3を含む時点ｔC1から時点ｔC2までの区間内で並列に実行される。すなわち、残響信号Ｒ3と残響信号Ｒ4とは区間Ｓ3内で重複する。

次に、波形合成部２４の具体的な動作を説明する。合成部４１は、図３に示すように、残響信号Ｒ1から残響信号Ｒ2に円滑に遷移するように区間Ｓ1内で残響信号Ｒ1と残響信号Ｒ2とをクロスフェードする。すなわち、合成部４１は、区間Ｓ1の始点Ａ1から終点Ａ2にかけて、残響信号Ｒ1の振幅を連続的に減少させる（例えば「１」から「０」に減少する係数を乗算する）とともに残響信号Ｒ2の振幅を連続的に増加させながら（例えば「０」から「１」に増加する係数を乗算する）、残響信号Ｒ1と残響信号Ｒ2とを加算する。

合成部４１と同様に、合成部４２は、残響信号Ｒ2から残響信号Ｒ3に円滑に遷移するように区間Ｓ2内で残響信号Ｒ2と残響信号Ｒ3とをクロスフェードし、合成部４３は、残響信号Ｒ3から残響信号Ｒ4に円滑に遷移するように残響信号Ｒ3と残響信号Ｒ4とをクロスフェードする。以上のようにクロスフェードによって各残響信号Ｒを円滑に連結することで残響信号ＶOUTが生成されるから、残響信号ＶOUTの再生音は、区間Ｓ1や区間Ｓ2や区間Ｓ3における不連続感がない自然な印象の音響として受聴者に知覚される。

畳込演算部２２および波形合成部２４は以上のように動作するから、図３に示すように、残響信号ＶOUTは、区間Ｓ1の開始前の残響信号Ｒ1から、残響信号Ｒ2（時点Ａ2〜時点Ｂ1）および残響信号Ｒ3（時点Ｂ2〜時点Ｃ1）への変化を経たうえで、区間Ｓ3の終点Ｃ2にて残響信号Ｒ4に変化する。すなわち、残響信号ＶOUTの生成に使用されるインパルス応答Ｈは、区間Ｓ1の始点Ａ1から区間Ｓ3の終点Ｃ2にかけて、インパルス応答Ｈ1（全区間Ｐ0）からインパルス応答Ｈ1の部分ＰAとインパルス応答Ｈ2の部分ＮAとを経てインパルス応答Ｈ2（全区間Ｎ0）に段階的に変更される。図３に示すように、音響信号ＶINのうちインパルス応答Ｈ1の畳込みの対象となる区間Ｔ1とインパルス応答Ｈ2の畳込みの対象となる区間Ｔ4とは時間軸上で重複しない。

以上の形態においては、演算部３１がインパルス応答Ｈ1（全区間Ｐ0）の畳込み演算を実行する時点ｔA1から時点ｔA2までの区間内において、演算部３２はインパルス応答Ｈ1の部分ＰAのみを利用した畳込み演算を並列に実行する。同様に、演算部３４がインパルス応答Ｈ2（全区間Ｎ0）の畳込み演算を実行する時点ｔC1から時点ｔC2までの区間内において、演算部３３はインパルス応答Ｈ2の部分ＮAのみを利用した畳込み演算を並列に実行する。また、時点ｔB1から時点ｔB2までの区間においては、インパルス応答Ｈ1の部分ＰAの畳込み演算（演算部３２）とインパルス応答Ｈ2の部分ＮAの畳込み演算（演算部３３）とが並列に実行される。以上のように本形態においては、インパルス応答Ｈ1の全区間Ｐ0の畳込み演算とインパルス応答Ｈ2の全区間Ｎ0の畳込み演算とを音響信号ＶINの共通の区間に対して並列に実行する必要がないから、図１０に例示した特許文献１の技術と比較して、インパルス応答Ｈの変更時（特に区間Ｓ1，区間Ｓ2，区間Ｓ3）における演算処理装置１２の演算量が軽減されるという利点がある。

なお、区間Ｓ1の終点Ａ2から区間Ｓ3の始点Ｃ1までの区間においては、インパルス応答Ｈの一部（部分ＰAまたは部分ＮA）のみの畳込み演算で残響信号ＶOUTが生成される。すなわち、インパルス応答Ｈ1やインパルス応答Ｈ2の後部残響音（部分ＰBおよび部分ＮB）は使用されない。しかし、部分ＰAや部分ＮAのみが使用される区間の残響信号ＶOUTは音響的な特性が変化する過程にあるから、インパルス応答Ｈの後部残響音が残響信号ＶOUTに付加されないとは言っても、聴感上の違和感は受聴者に殆ど知覚されない。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態において第１実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図４は、畳込演算部２２および波形合成部２４のブロック図である。図４に示すように、本形態の畳込演算部２２においては第１実施形態の演算部３３が省略される。演算部３４は、インパルス応答Ｈ2（全区間Ｎ0）を音響信号ＶINに畳込むことで残響信号Ｒ4を生成する。したがって、インパルス応答Ｈ2は部分ＮAと部分ＮBとに区分されない。

波形合成部２４は合成部４１と合成部４２とで構成される。合成部４１は、第１実施形態と同様に残響信号Ｒ1と残響信号Ｒ2とを合成（連結）する。合成部４２は、演算部３２が生成した残響信号Ｒ2と演算部３４が生成した残響信号Ｒ4とを合成する。

図５は、畳込演算部２２および波形合成部２４の動作を説明するための概念図である。変更指示を契機として音響信号ＶINには区間Ｓ1と区間Ｓ2とが設定される。図５に示すように、演算部３１が音響信号ＶINの区間Ｔ1とインパルス応答Ｈ1（全区間Ｐ0）との畳込み演算で残響信号Ｒ1を生成する動作や、演算部３２が音響信号ＶINの区間Ｔ2とインパルス応答Ｈ1の部分ＰAとの畳込み演算で残響信号Ｒ2を生成する動作は第１実施形態と同様である。

一方、演算部３４は、音響信号ＶINのうち区間Ｓ2と区間Ｓ2の経過後とを含む区間Ｔ4にインパルス応答Ｈ2（全区間Ｎ0）を畳込むことで残響信号Ｒ4を生成する。区間Ｔ4は、区間Ｓ2の開始前の時点ｔB1から区間Ｓ2の経過後にわたる区間である。以上のように演算部３２による残響信号Ｒ2の生成と演算部３４による残響信号Ｒ4の生成とは、時点ｔB1から時点ｔB2までの区間内で並列に実行されるから、残響信号Ｒ2と残響信号Ｒ4とは区間Ｓ2内で重複する。

図５に示すように、合成部４１は、第１実施形態と同様に、区間Ｓ1内のクロスフェードで残響信号Ｒ1と残響信号Ｒ2とを連結する。一方、合成部４２は、残響信号Ｒ2から残響信号Ｒ4に円滑に遷移するように区間Ｓ2内で残響信号Ｒ2と残響信号Ｒ4とをクロスフェードする。したがって、残響信号ＶOUTの生成に使用されるインパルス応答Ｈは、区間Ｓ1の始点Ａ1から区間Ｓ2の終点Ｂ2にかけて、インパルス応答Ｈ1（全区間Ｐ0）からインパルス応答Ｈ1の部分ＰAを経てインパルス応答Ｈ2（全区間Ｎ0）に段階的に変更される。図５に示すように、音響信号ＶINのうちインパルス応答Ｈ1が畳込まれる区間Ｔ1とインパルス応答Ｈ2が畳込まれる区間Ｔ4とは時間軸上で重複しない。

以上の形態において、演算部３１によるインパルス応答Ｈ1（全区間Ｐ0）の畳込み演算や演算部３４によるインパルス応答Ｈ2（全区間Ｎ0）の畳込み演算と並列に実行されるのは、演算部３２によるインパルス応答Ｈ1の部分ＰAの畳込み演算であるから、インパルス応答Ｈ1の全区間Ｐ0の畳込み演算とインパルス応答Ｈ2の全区間Ｎ0の畳込み演算とを並列に実行する必要はない。したがって、第１実施形態と同様の効果が実現される。

＜Ｃ：第３実施形態＞
図６は、本発明の第３実施形態における畳込演算部２２および波形合成部２４のブロック図である。図６に示すように、本形態の畳込演算部２２においては第１実施形態の演算部３２が省略される。また、インパルス応答Ｈ1は部分ＰAと部分ＰBとに区分されない。一方、波形合成部２４は、残響信号Ｒ1に残響信号Ｒ3を連結する合成部４１と、残響信号Ｒ3に残響信号Ｒ4を連結する合成部４２とで構成される。

図７は、畳込演算部２２および波形合成部２４の動作を説明するための概念図である。変更指示を契機として音響信号ＶINには区間Ｓ1と区間Ｓ3とが設定される。図７に示すように、演算部３１が音響信号ＶINの区間Ｔ1とインパルス応答Ｈ1（全区間Ｐ0）とから残響信号Ｒ1を生成する動作や、演算部３４が音響信号ＶINの区間Ｔ4とインパルス応答Ｈ2（全区間Ｎ0）とから残響信号Ｒ4を生成する動作は第１実施形態と同様である。

演算部３３は、音響信号ＶINのうち区間Ｓ1と区間Ｓ3とを含む区間Ｔ3（区間Ｓ1の開始前の時点ｔA1から区間Ｓ3の経過後の時点ｔC2までの区間）にインパルス応答Ｈ2の部分ＮAを畳込むことで残響信号Ｒ3を生成する。以上のように、時点ｔA1から時点ｔC2までの区間（区間Ｓ1）内では、演算部３１による残響信号Ｒ1の生成と演算部３３による残響信号Ｒ3の生成とが並列に実行されるから、残響信号Ｒ1と残響信号Ｒ3とは区間Ｓ1内で重複する。

図７に示すように、合成部４１は、残響信号Ｒ1から残響信号Ｒ3に円滑に遷移するように区間Ｓ1内で残響信号Ｒ1と残響信号Ｒ3とをクロスフェードする。一方、合成部４２は、区間Ｓ3内のクロスフェードで残響信号Ｒ3と残響信号Ｒ4とを連結する。したがって、残響信号ＶOUTの生成に使用されるインパルス応答Ｈは、区間Ｓ1の始点Ａ1から区間Ｓ3の終点Ｃ2にかけて、インパルス応答Ｈ1（全区間Ｐ0）からインパルス応答Ｈ2の部分ＮAを経てインパルス応答Ｈ2（全区間Ｎ0）に段階的に変更される。図７に示すように、音響信号ＶINのうちインパルス応答Ｈ1が畳込まれる区間Ｔ1とインパルス応答Ｈ2が畳込まれる区間Ｔ4とは時間軸上で重複しない。

以上のように、インパルス応答Ｈ1（全区間Ｐ0）やインパルス応答Ｈ2（全区間Ｎ0）の畳込み演算と並列に実行されるのは、演算部３３によるインパルス応答Ｈ2の部分ＮAの畳込み演算であるから、インパルス応答Ｈ1の全区間Ｐ0の畳込み演算とインパルス応答Ｈ2の全区間Ｎ0の畳込み演算とを並列に実行する必要はない。したがって、第１実施形態と同様の効果が実現される。

＜Ｄ：第４実施形態＞
図８は、本発明の第４実施形態の動作を説明するための概念図である。図８に示すように、波形合成部２４によるクロスフェードの対象となる各区間Ｓ（Ｓ1〜Ｓ3）の始点や終点を端点として音響信号ＶINの各区間Ｔ（Ｔ1〜Ｔ4）が設定される。例えば、演算部３１は、音響信号ＶINのうち区間Ｓ1の終点Ａ2を終点（図３における時点ｔA2）とする区間Ｔ1のみを対象としたインパルス応答Ｈ1の畳込み演算で残響信号Ｒ1を生成する。すなわち、音響信号ＶINのうち区間Ｓ1（時点Ａ2）の経過後の区間についてはインパルス応答Ｈ1（全区間Ｐ0）の畳込み演算は実行されない。同様に、演算部３４は、音響信号ＶINのうち区間Ｓ3の始点Ｃ1から開始する区間Ｔ4のみを対象としたインパルス応答Ｈ2の畳込み演算で残響信号Ｒ4を生成する。

また、演算部３２は、音響信号ＶINのうち区間Ｓ1の始点Ａ1から区間Ｓ2の終点Ｂ2までの区間のみを対象としてインパルス応答Ｈ1の部分ＰAの畳込み演算を実行することで残響信号Ｒ2を生成する。すなわち、音響信号ＶINのうち区間Ｓ1（時点Ａ1）の開始前や区間Ｓ2（時点Ｂ2）の経過後の区間については部分ＰAの畳込み演算は実行されない。同様に、演算部３３は、音響信号ＶINのうち区間Ｓ2の始点Ｂ1から区間Ｓ3の終点Ｃ2までの区間のみを対象としてインパルス応答Ｈ2の部分ＮAの畳込み演算を実行することで残響信号Ｒ3を生成する。

以上の形態においては、音響信号ＶINのうち波形合成部２４による合成に必要な区間のみを対象として畳込演算部２２による畳込み演算が実行されるから、波形合成部２４によるフェードアウトの完了後の区間（例えば図３における時点Ａ2〜時点ｔA2，時点Ｂ2〜時点ｔB2，時点Ｃ2〜時点ｔC2）やフェードインの開始前の区間（例えば図３における時点ｔA1〜時点Ａ1，時点ｔB1〜時点Ｂ1，時点ｔC1〜時点Ｃ1）についても畳込み演算を実行する第１実施形態と比較して、畳込演算部２２による演算量が軽減されるという利点がある。

なお、以上においては第１実施形態を変形した態様を例示したが、音響信号ＶINのうち残響信号ＶOUTの生成に必要な区間のみを対象として畳込演算部２２による畳込み演算を実行する本形態の構成は、第２実施形態や第３実施形態にも同様に適用される。

＜Ｅ：第５実施形態＞
図９は、本発明の第５実施形態おける畳込演算部２２および波形合成部２４のブロック図である。図９に示すように、畳込演算部２２の演算部３１は、畳込部３１２と加算部３１４とで構成される。畳込部３１２は、インパルス応答Ｈ1の部分ＰBのみを音響信号ＶINに畳込むことで残響信号ｒ1を生成する。加算部３１４は、演算部３２が生成した残響信号Ｒ2と畳込部３１２が生成した残響信号ｒ1とを加算することで残響信号Ｒ1を生成する。残響信号Ｒ2は音響信号ＶINとインパルス応答Ｈ1の部分ＰAとの畳込み演算で生成されるから、残響信号Ｒ1は、第１実施形態と同様に、部分ＰAと部分ＰBとで構成されるインパルス応答Ｈ1（全区間Ｐ0）を音響信号ＶINに畳込んだ信号に相当する。

演算部３１と同様に、演算部３４は、畳込部３４２と加算部３４４とで構成される。畳込部３４２は、音響信号ＶINにインパルス応答Ｈ2の部分ＮBのみを畳込むことで残響信号ｒ4を生成する。加算部３４４は、演算部３３がインパルス応答Ｈ2の部分ＮAから生成した残響信号Ｒ3に残響信号ｒ4を加算することで残響信号Ｒ4を生成する。したがって、残響信号Ｒ4は、第１実施形態と同様に、インパルス応答Ｈ2の全区間Ｎ0を音響信号ＶINに畳込んだ信号に相当する。

以上の形態においては、演算部３１での畳込み演算の対象がインパルス応答Ｈ1の部分ＰBに縮小され、演算部３４での畳込み演算の対象がインパルス応答Ｈ2の部分ＮBに縮小される。したがって、演算部３１や演算部３４による畳込み演算にインパルス応答（Ｈ1，Ｈ2）の全部が使用される第１実施形態と比較して、演算部３１や演算部３４の演算量が軽減されるという利点がある。

なお、以上においては第１実施形態を変形した態様を例示したが、演算部３１が畳込部３１２と加算部３１４とを含む構成は第２実施形態にも同様に適用され、演算部３４が畳込部３４２と加算部３４４とを含む構成は第３実施形態にも同様に適用される。また、第４実施形態にも第５実施形態は適用される。

＜Ｆ：変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合せてもよい。

（１）変形例１
以上の各形態においては、フェードアウトやフェードインの対象となる残響信号Ｒ（Ｒ1〜Ｒ4）の振幅を直線的かつ連続的に増減させたが、各残響信号Ｒの振幅を曲線的（非線形）に増加または減少させるクロスフェードや、各残響信号Ｒの振幅を段階的に増加または減少させるクロスフェードも採用される。

（２）変形例２
以上の構成においては利用者による変更指示を契機としてインパルス応答Ｈの変更を実行したが、インパルス応答Ｈを変更するための契機は本発明において任意である。例えば、インパルス応答Ｈの変更の時点と変更後のインパルス応答Ｈ2とを時系列に指定するデータを記憶装置１４から順次に取得してインパルス応答Ｈの変更に利用する構成も好適である。

（３）変形例３
以上の各形態においては、インパルス応答Ｈ（Ｈ1，Ｈ2）の始点から所定長にわたる区間を部分ＰAや部分ＮAとしたが、部分ＰAや部分ＮAの選定の条件は適宜に変更される。例えば、インパルス応答Ｈ（Ｈ1，Ｈ2）の始点から遅延した時点を始点として部分ＰAや部分ＮAを抽出した構成も採用される。すなわち、演算部３２が使用する部分ＰAや演算部３３が使用する部分ＮAはインパルス応答Ｈ（Ｈ1，Ｈ2）の一部であれば足り、部分ＰAまたは部分ＮAの位置や時間長は本発明において任意である。

本発明の第１実施形態に係る残響付与装置のブロック図である。 第１実施形態における畳込演算部および波形合成部のブロック図である。 第１実施形態に係る残響付与装置の動作を説明するための概念図である。 本発明の第２実施形態における畳込演算部および波形合成部のブロック図である。 第２実施形態に係る残響付与装置の動作を説明するための概念図である。 本発明の第３実施形態における畳込演算部および波形合成部のブロック図である。 第３実施形態に係る残響付与装置の動作を説明するための概念図である。 本発明の第４実施形態に係る残響付与装置の動作を説明するための概念図である。 本発明の第５実施形態における畳込演算部のブロック図である。 インパルス応答を変更する従来の技術を説明するための概念図である。

符号の説明

１００……残響付与装置、１２……演算処理装置、１４……記憶装置、１６……入力装置、２２……畳込演算部、２４……波形合成部、３１，３２，３３，３４……演算部、４１，４２，４３……合成部、３１２，３４２……畳込部、３１４，３４４……加算部、ＶIN……音響信号、ＶOUT……残響信号、Ｒ（Ｒ1，Ｒ2，Ｒ3，Ｒ4）……残響信号、Ｈ……インパルス応答、Ｈ1……変更前のインパルス応答、Ｈ2……変更後のインパルス応答、ＰA，ＰB……変更前のインパルス応答の部分、ＮA，ＮB……変更後のインパルス応答の部分。

Claims (10)

1. 音響信号のうち第１区間と当該第１区間の開始前とを含む区間に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、
   前記音響信号のうち前記第１区間の始点から当該第１区間の経過後の第２区間の終点までを含む区間に前記第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算手段と、
   前記音響信号のうち前記第２区間の始点から当該第２区間の経過後の第３区間の終点までを含む区間に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算手段と、
   前記音響信号のうち前記第３区間と当該第３区間の経過後とを含む区間に前記第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、
   前記第１残響信号から前記第２残響信号に遷移するように前記第１区間内で前記第１残響信号と前記第２残響信号とをクロスフェードする第１合成手段と、
   前記第２残響信号から前記第３残響信号に遷移するように前記第２区間内で前記第２残響信号と前記第３残響信号とをクロスフェードする第２合成手段と、
   前記第３残響信号から前記第４残響信号に遷移するように前記第３区間内で前記第３残響信号と前記第４残響信号とをクロスフェードする第３合成手段と
   を具備する残響付与装置。
2. 音響信号のうち第１区間と当該第１区間の開始前とを含む区間に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、
   前記音響信号のうち前記第１区間の始点から当該第１区間の経過後の第２区間の終点までを含む区間に前記第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算手段と、
   前記音響信号のうち前記第２区間と当該第２区間の経過後とを含む区間に第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、
   前記第１残響信号から前記第２残響信号に遷移するように前記第１区間内で前記第１残響信号と前記第２残響信号とをクロスフェードする第１合成手段と、
   前記第２残響信号から前記第４残響信号に遷移するように前記第２区間内で前記第２残響信号と前記第４残響信号とをクロスフェードする第２合成手段と
   を具備する残響付与装置。
3. 音響信号のうち第１区間と当該第１区間の開始前とを含む区間に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算手段と、
   前記音響信号のうち前記第１区間の始点から当該第１区間の経過後の第３区間の終点までを含む区間に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算手段と、
   前記音響信号のうち前記第３区間と当該第３区間の経過後とを含む区間に前記第２インパルス応答を畳込んだ第４残響信号を生成する第４演算手段と、
   前記第１残響信号から前記第３残響信号に遷移するように前記第１区間内で前記第１残響信号と前記第３残響信号とをクロスフェードする第１合成手段と、
   前記第３残響信号から前記第４残響信号に遷移するように前記第３区間内で前記第３残響信号と前記第４残響信号とをクロスフェードする第２合成手段と
   を具備する残響付与装置。
4. 前記第１演算手段は、
   前記第１インパルス応答のうち前記第１部分以外の第２部分を前記音響信号に畳込むことで残響信号を生成する第１畳込手段と、
   前記第１畳込手段が生成した残響信号と前記第２演算手段が生成した前記第２残響信号とを加算することで前記第１残響信号を生成する第１加算手段とを含む
   請求項１または請求項２の残響付与装置。
5. 前記第４演算手段は、
   前記第２インパルス応答のうち前記第１部分以外の第２部分を前記音響信号に畳込むことで残響信号を生成する第２畳込手段と、
   前記第２畳込手段が生成した残響信号と前記第３演算手段が生成した前記第３残響信号とを加算することで前記第４残響信号を生成する第２加算手段とを含む
   請求項１または請求項３の残響付与装置。
6. 前記第１演算手段は、前記音響信号のうち前記第１区間の終点以前の区間のみから前記第１残響信号を生成する
   請求項１から請求項３の何れかの残響付与装置。
7. 前記第２演算手段は、前記音響信号のうち前記第１区間の始点から前記第２区間の終点までの区間のみから前記第２残響信号を生成する
   請求項１または請求項２の残響付与装置。
8. 前記第３演算手段は、前記音響信号のうち前記第２区間の始点から前記第３区間の終点までの区間のみから前記第３残響信号を生成する
   請求項１または請求項３の残響付与装置。
9. 前記第４演算手段は、前記音響信号のうち前記第３区間の始点以後の区間のみから前記第４残響信号を生成する
   請求項１から請求項３の何れかの残響付与装置。
10. 音響信号のうち第１区間と当該第１区間の開始前とを含む区間に第１インパルス応答を畳込んだ第１残響信号を生成する第１演算処理と、
    前記音響信号のうち前記第１区間の始点から当該第１区間の経過後の第２区間の終点までを含む区間に前記第１インパルス応答の第１部分を畳込んだ第２残響信号を生成する第２演算処理と、
    前記音響信号のうち前記第２区間の始点から当該第２区間の経過後の第３区間の終点までを含む区間に第２インパルス応答の第１部分を畳込んだ第３残響信号を生成する第３演算処理と、
    前記音響信号のうち前記第３区間と当該第３区間の経過後とを含む区間に前記第２インパルス応答を畳込んだ第４残響信号を生成する第４演算処理と、
    前記第１残響信号から前記第２残響信号に遷移するように前記第１区間内で前記第１残響信号と前記第２残響信号とをクロスフェードする第１合成処理と、
    前記第２残響信号から前記第３残響信号に遷移するように前記第２区間内で前記第２残響信号と前記第３残響信号とをクロスフェードする第２合成処理と、
    前記第３残響信号から前記第４残響信号に遷移するように前記第３区間内で前記第３残響信号と前記第４残響信号とをクロスフェードする第３合成処理と
    をコンピュータに実行させるプログラム。
    

Images