JP2015008395A - 空間音響生成装置およびそのプログラム - Google Patents

Abstract

【課題】音響制作において、実際の音場で受音する音空間印象の変化に対して、より自然な音響となるマルチチャンネル音響信号を生成する空間音響生成装置を提供する。【解決手段】空間音響生成装置１は、音源の位置を変えて測定した複数のインパルス応答を空間位置情報に対応付けて予め記憶した記憶手段３０と、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段２０と、音像の定位位置で特定される空間位置情報に対応して記憶手段３０に記憶されているインパルス応答を入力信号に対して畳み込み演算することで残響信号を生成する残響音生成手段４０と、生成された残響信号を音像パンニング手段２０でチャンネルごとに分配された信号に加算することでマルチチャンネル音響信号を生成する加算手段５０と、を備える。【選択図】図１

Description

本発明は、音響再生空間上の音像の定位位置に応じたマルチチャンネル音響信号を生成する空間音響生成装置およびそのプログラムに関する。

従来、放送番組、映画等の三次元音響コンテンツ（マルチチャンネル音響コンテンツ）を制作するシステムとして、図１１に示したような音響制作システムが知られている（例えば、特許文献１参照）。
この音響制作システムＳは、パンニング装置１０１（例えば、特許文献２、特許文献３参照）によって、モノラル音源の残響のない音である直接音を、音像を定位させたい位置に応じてスピーカのチャンネルごとに分配する。また、音響制作システムＳは、残響音生成装置１０２によって、直接音から、実際の残響空間で測定した室内音響特性（インパルス応答）を利用して残響音（間接音）を生成し、加算装置１０３によって、チャンネルごとに分配された直接音に加算する。
これによって、音響制作システムＳは、直接音から、音像を定位させたい位置における残響を付加した残響付加音を生成する。

ここで、インパルス応答は、図１２に示すようなコンサートホール等の実空間（残響空間）において、その空間を代表する音源位置（例えば、コンサートホールであればステージの中央）で測定用の音源を全指向性スピーカＳＰから再生し、その空間を代表する受音位置（例えば、コンサートホールであれば客席の中央位置）で、単一指向性マイクロホンＭＰを用いて測定した特性である。

図１１に示すように、従来の音響制作システムＳでは、音響制作者によって、レベル調節装置１００Ｃにおいて、残響音生成装置１０２で生成されたチャンネルごとの残響音のレベルが調節される。これによって、各チャンネルにおける残響を変化させることができる。なお、他のレベル調節装置１００Ａ，１００Ｂ，１００Ｄは、後段への出力に対するレベルの調節を行うものである。

特開２００１−２９６８６１号公報 特開２００７−３２９７４６号公報 特開２０１０−２５２２２０号公報

コンサートホール等に代表される残響空間では、受音位置が同じであっても音源の位置や残響によって、受音者が聴く音の明瞭性、拡がり感等の音空間印象が変化する。
従来の音響制作システムでは、放送番組等の三次元音響コンテンツ制作において、ある空間における音源位置の変化については、パンニング装置によって、音像（直接音）の定位位置を変化させることで再現することができる。
しかし、従来の音響制作システムでは、残響による音空間印象の変化は、残響音生成装置によって生成された残響音のレベル（大きさ）を変えることでしか対応することができない。すなわち、従来の音響制作システムは、空間上の残響をその大きさでしか制御していないため、十分な音空間印象の再現が困難であった。

本発明は、このような問題に鑑みてなされたものであり、音響制作において、実際の音場で受音する音空間印象の変化に対して、より自然な音響となるマルチチャンネル音響信号を生成する空間音響生成装置およびそのプログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の空間音響生成装置は、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、インパルス応答を記憶した記憶手段と、音像パンニング手段と、残響音生成手段と、加算手段と、を備え、残響音生成手段が、選択手段と、畳み込み手段と、残響分配手段と、を備える構成とした。

かかる構成において、空間音響生成装置は、予め記憶手段に、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を、音源の位置を示す空間位置情報に対応付けて記憶しておく。
そして、空間音響生成装置は、音像パンニング手段によって、指定された音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成装置は、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されているインパルス応答と入力信号とから、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。

すなわち、空間音響生成装置は、残響音生成手段の選択手段によって、記憶手段から、音像の定位位置で特定される空間位置情報に対応するインパルス応答を選択する。そして、空間音響生成装置は、残響音生成手段の畳み込み手段によって、選択手段で選択されたインパルス応答を入力信号に対して畳み込み演算することで残響信号を生成する。
さらに、空間音響生成装置は、残響音生成手段の残響分配手段によって、音像パンニング手段が入力信号を分配したチャンネルおよびその配分比率に基づいて、畳み込み手段で生成された残響信号を複数のチャンネルに分配する。これによって、音像の定位位置における残響となるマルチチャンネルの残響信号が生成されることになる。

そして、空間音響生成装置は、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算する。これによって、直接音のマルチチャンネル音響信号に、音像の位置に対応したマルチチャンネルの残響信号が加算され、残響付のマルチチャンネル音響信号が生成されることになる。

また、請求項２に記載の空間音響生成装置は、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、残響信号を記憶した記憶手段と、音像パンニング手段と、残響音生成手段と、加算手段と、を備え、残響音生成手段が、選択手段と、残響分配手段と、を備える構成とした。

かかる構成において、空間音響生成装置は、予め記憶手段に、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を直接音に畳み込み演算して生成した残響信号を、音源の位置を示す空間位置情報に対応付けて記憶しておく。
そして、空間音響生成装置は、音像パンニング手段によって、指定された音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成装置は、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されている残響信号から、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。

すなわち、空間音響生成装置は、残響音生成手段の選択手段によって、記憶手段から、音像の定位位置で特定される空間位置情報に対応する残響信号を選択する。そして、空間音響生成装置は、残響音生成手段の残響分配手段によって、音像パンニング手段が入力信号を分配したチャンネルおよびその配分比率に基づいて、選択手段で選択された残響信号を複数のチャンネルに分配する。これによって、音像の定位位置における残響となるマルチチャンネルの残響信号が生成されることになる。

そして、空間音響生成装置は、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算する。これによって、直接音のマルチチャンネル音響信号に、音像の位置に対応したマルチチャンネルの残響信号が加算され、残響付のマルチチャンネル音響信号が生成されることになる。

また、請求項３に記載の空間音響生成装置は、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、インパルス応答を記憶した記憶手段と、音像パンニング手段と、残響音生成手段と、加算手段と、を備え、残響音生成手段が、選択手段と、遅延手段と、畳み込み手段と、レベル変更手段と、合成手段と、残響分配手段と、を備える構成とした。

かかる構成において、空間音響生成装置は、予め記憶手段に、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を初期反射、中間残響および後部残響として直接音からの経過時間で区分して、音源の位置を示す空間位置情報に対応付けて記憶しておく。
そして、空間音響生成装置は、音像パンニング手段によって、指定された音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成装置は、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されているインパルス応答と入力信号とから、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。

すなわち、空間音響生成装置は、残響音生成手段の選択手段によって、記憶手段から、音像の定位位置を示す空間位置情報に対応するインパルス応答の初期反射、中間残響および後部残響を選択する。そして、空間音響生成装置は、残響音生成手段の遅延手段によって、選択手段で選択された初期反射、中間残響および後部残響をそれぞれの経過時間だけ遅延させる。

さらに、空間音響生成装置は、残響音生成手段の畳み込み手段によって、遅延手段で遅延された初期反射、中間残響および後部残響を入力信号に畳み込み演算することで、経過時間に対応した個別の残響信号を生成する。そして、空間音響生成装置は、残響音生成手段のレベル変更手段によって、畳み込み手段で生成された個別の残響信号のレベルを、外部からの指示によって調節する。これによって、インパルス応答の初期反射、中間残響および後部残響のそれぞれに対応する残響信号ごとに個別にレベル制御することができる。

そして、空間音響生成装置は、残響音生成手段の合成手段によって、レベル変更手段でレベルが調節された個別の残響信号を合成する。そして、空間音響生成装置は、残響音生成手段の残響分配手段によって、音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、合成手段で生成された残響信号を複数のチャンネルに分配する。これによって、音像の定位位置における残響となるマルチチャンネルの残響信号が生成されることになる。

そして、空間音響生成装置は、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算することで、残響を付加したマルチチャンネル音響信号を生成する。

また、請求項４に記載の空間音響生成装置は、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、残響信号を記憶した記憶手段と、音像パンニング手段と、残響音生成手段と、加算手段と、を備え、残響音生成手段が、選択手段と、遅延手段と、レベル変更手段と、合成手段と、残響分配手段と、を備える構成とした。

かかる構成において、空間音響生成装置は、予め記憶手段に、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を初期反射、中間残響および後部残響として直接音からの経過時間で区分して、直接音に畳み込み演算して生成した残響信号である初期反射残響音、中間残響音および後部残響音を、音源の位置を示す空間位置情報に対応付けて記憶しておく。
そして、空間音響生成装置は、音像パンニング手段によって、指定された音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成装置は、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されている初期反射残響音、中間残響音および後部残響音から、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。

すなわち、空間音響生成装置は、残響音生成手段の選択手段によって、記憶手段から、音像の定位位置を示す空間位置情報に対応する初期反射残響音、中間残響音および後部残響音を選択する。そして、空間音響生成装置は、残響音生成手段の遅延手段によって、選択手段で選択された初期反射残響音、中間残響音および後部残響音をそれぞれの経過時間だけ遅延させる。

さらに、空間音響生成装置は、残響音生成手段のレベル変更手段によって、遅延手段で遅延された個別の残響信号のレベルを、外部からの指示によって調節する。これによって、インパルス応答の初期反射、中間残響および後部残響のそれぞれに対応する残響信号ごとに個別にレベル制御することができる。
そして、空間音響生成装置は、残響音生成手段の合成手段によって、レベル変更手段でレベルが調節された個別の残響信号を合成する。そして、空間音響生成装置は、残響音生成手段の残響分配手段によって、音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、合成手段で生成された残響信号を複数の複数のチャンネルに分配する。これによって、音像の定位位置における残響となるマルチチャンネルの残響信号が生成されることになる。

そして、空間音響生成装置は、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算することで、残響を付加したマルチチャンネル音響信号を生成する。

さらに、請求項５に記載の空間音響生成プログラムは、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段を備え、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置のコンピュータを、音像パンニング手段、残響音生成手段、加算手段、として機能させる構成とした。

かかる構成において、空間音響生成プログラムは、音像パンニング手段によって、指定された音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成プログラムは、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されているインパルス応答と入力信号とから、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。
すなわち、残響音生成手段は、記憶手段から、音像の定位位置で特定される空間位置情報に対応するインパルス応答を選択して、入力信号に対して畳み込み演算することで残響信号を生成し、その残響信号を、音像パンニング手段が入力信号を分配したチャンネルおよびその配分比率に基づいて複数のチャンネルに分配する。

そして、空間音響生成プログラムは、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算する。これによって、直接音のマルチチャンネル音響信号に、音像の位置に対応したマルチチャンネルの残響信号が加算され、残響付のマルチチャンネル音響信号が生成されることになる。

また、請求項６に記載の空間音響生成プログラムは、実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を直接音に畳み込み演算して生成した残響信号を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段を備え、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置のコンピュータを、音像パンニング手段、残響音生成手段、加算手段、として機能させる構成とした。

かかる構成において、空間音響生成プログラムは、音像パンニング手段によって、指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を複数のスピーカに対応した複数のチャンネルに分配する。これによって、響きを持たない直接音についてのマルチチャンネル音響信号が生成されることになる。

そして、空間音響生成プログラムは、残響音生成手段によって、音像の定位位置で特定される空間位置情報に対応して記憶手段に記憶されている残響信号から、音像の定位位置に対応したマルチチャンネルの残響信号を生成する。
すなわち、残響音生成手段は、記憶手段から、音像の定位位置で特定される空間位置情報に対応する残響信号を選択し、その残響信号を、音像パンニング手段が入力信号を分配したチャンネルおよびその配分比率に基づいて複数のチャンネルに分配する。

そして、空間音響生成プログラムは、加算手段によって、残響音生成手段で生成されたマルチチャンネルの残響信号を、音像パンニング手段でチャンネルごとに分配された信号に加算する。これによって、直接音のマルチチャンネル音響信号に、音像の位置に対応したマルチチャンネルの残響信号が加算され、残響付のマルチチャンネル音響信号が生成されることになる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，５に記載の発明によれば、音像パンニング手段によってパンニングされた直接音に、音像の位置に対応した残響音（残響信号）を付加することができるため、より自然なマルチチャンネル音響信号を生成することができる。

請求項２，６に記載の発明によれば、音像の位置に対応した自然なマルチチャンネル音響信号を生成することができるとともに、空間位置における残響信号を予め記憶しているため、音像位置を変化させる場合であっても、高速に残響を付加したマルチチャンネル音響信号を生成することができる。

請求項３に記載の発明によれば、音像の位置に対応した自然なマルチチャンネル音響信号を生成することができるとともに、音響制作者の操作によって、自由に音の印象を変化させることができる。

請求項４に記載の発明によれば、音像の位置に対応した自然なマルチチャンネル音響信号を生成することができるとともに、音響制作者の操作によって、自由に音の印象を変化させることができる。さらに、請求項４に記載の発明によれば、空間位置における残響信号を予め記憶しているため、音像位置を変化させる場合であっても、高速に残響を付加したマルチチャンネル音響信号を生成することができる。

本発明の第１実施形態に係る空間音響生成装置の構成を示すブロック構成図である。 ２２．２マルチチャンネル音響方式におけるスピーカ配置の例を示す図である。 本発明の第１実施形態に係る空間音響生成装置の動作を示すフローチャートである。 本発明の第２実施形態に係る空間音響生成装置の構成を示すブロック構成図である。 本発明の第２実施形態に係る空間音響生成装置の動作を示すフローチャートである。 本発明の第３実施形態に係る空間音響生成装置の構成を示すブロック構成図である。 初期反射、中間残響、後部残響を説明するためのインパルス応答を示すグラフ図である。 本発明の第３実施形態に係る空間音響生成装置の動作を示すフローチャートである。 本発明の第４実施形態に係る空間音響生成装置の構成を示すブロック構成図である。 本発明の第４実施形態に係る空間音響生成装置の動作を示すフローチャートである。 従来の空間音響生成装置の構成を示すブロック構成図である。 インパルス応答を測定する実空間を説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
［空間音響生成装置の構成］
まず、図１を参照して、本発明の第１実施形態に係る空間音響生成装置１の構成について説明する。
図１に示した空間音響生成装置１は、モノラル音源から直接発せられる残響のない直接音（モノ音）に残響を付加して、音響再生空間の指定された位置に音像を定位させるマルチチャンネル音響信号（残響付加音）を生成するものである。ここでは、空間音響生成装置１は、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄと、音像パンニング手段２０と、記憶手段３０と、残響音生成手段４０と、加算手段５０と、を備える。

レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、それぞれ、入力された信号のレベルを後段の出力先の入力レベルに合わせて調整するものである。例えば、一般的な増幅器や減衰器を用いることができる。なお、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、音響制作者によって外部から操作されることで入力信号のレベルを調整する。

ここで、レベル調節手段１０Ａは、外部から入力される直接音（入力信号）を、後段の音像パンニング手段２０の入力レベルに調整するものである。このレベル調節手段１０Ａでレベル調節された直接音は、レベル調節手段１０Ｂおよび音像パンニング手段２０に出力される。

レベル調節手段１０Ｂは、レベル調節手段１０Ａでレベル調節された直接音を、後段の残響音生成手段４０の入力レベルに調整するものである。このレベル調節手段１０Ｂでレベル調節された直接音は、残響音生成手段４０に出力される。

レベル調節手段１０Ｃは、残響音生成手段４０で生成された残響音を、後段の加算手段５０の入力レベルに調整するものである。なお、このレベル調節手段１０Ｃに入力される残響音は、後記するが、空間上の位置に対応した三次元音響信号である。そこで、レベル調節手段１０Ｃは、三次元音響信号のチャンネルごとにレベルを調整する。このレベル調節手段１０Ｃでレベル調節された残響音は、加算手段５０に出力される。

レベル調節手段１０Ｄは、加算手段５０で生成された残響付加音を、外部の出力先の入力レベルに調整するものである。なお、このレベル調節手段１０Ｄに入力される残響付加音も三次元音響信号である。そこで、レベル調節手段１０Ｄは、三次元音響信号のチャンネルごとにレベルを調整する。このレベル調節手段１０Ｄでレベル調節された残響付加音は、空間音響生成装置１の出力として外部に出力される。

音像パンニング手段２０は、外部から設定される音像の定位位置を示す空間位置情報に基づいて、直接音から、三次元空間上に音像を定位させる三次元音響信号を生成するものである。
この音像パンニング手段２０は、各スピーカの設置位置（三次元空間座標）を予め記憶している図示を省略した記憶手段（記憶手段３０でもよい）から取得する。そして、音像パンニング手段２０は、スピーカ配置位置から、空間位置情報に対応する位置に音像を定位させるためのスピーカとその出力レベル（重み、配分比率）を特定し、その特定したスピーカに対応するチャンネルごとに、直接音を分配して三次元音響信号として加算手段５０に出力する。また、音像パンニング手段２０は、三次元音響信号を加算手段５０に出力するとともに、パンニング情報を残響音生成手段４０に出力する。

ここで、パンニング情報は、音像の定位位置を三次元空間上の座標で示す空間位置情報と、直接音を分配したチャンネルおよびその重み（配分比率）を示す配分情報とを含む。
例えば、空間位置情報は、図２に示した２２．２マルチチャンネル音響方式を用いる場合、各スピーカ位置（図２中、○印で記載されている位置：ＴｐＦＬ、ＴｐＦＣ等）で特定される立方体の中心（受音点）を座標軸の中心（０，０，０）とする座標（ｘ，ｙ，ｚ）の値を用いることができる。もちろん、この空間位置情報は、予め定めた中心（受音点）を基準とした、方位角、仰角および距離を用いてもよい。
なお、音像パンニング手段２０における音像をパンニングする手法は、一般的な手法を用いればよい。例えば、特開２００７−３２９７４６号公報や特開２０１０−２５２２２０号公報に記載されている既存の手法を用いることができる。

記憶手段３０は、予め測定したインパルス応答を、当該インパルス応答を測定した際の実空間（残響空間）の音源の位置である空間位置情報に対応付けて記憶するものである。この記憶手段３０は、ハードディスク等の一般的な記憶媒体で構成することができる。
なお、この記憶手段３０に記憶しておくインパルス応答は、例えば、図１２に示したような実空間（残響空間）において、予め定めた基準位置である受音位置に設置したマイクロホンＭＰで、音源となるスピーカＳＰの空間位置を変えて複数測定したものである。
すなわち、記憶手段３０は、実空間（残響空間）において、予め定めた空間座標系における音源位置を種々変化させた座標位置を空間位置情報とし、当該座標系の中心位置の受音位置において測定したインパルス応答に対応付けて予め記憶しておく。

この記憶手段３０における空間位置情報は、インパルス応答を同一とみなすことが可能な予め定めた大きさの空間領域とする。なお、この空間領域をより小さくして、インパルス応答と対応付ければ、音像位置における残響をより正確に再現することが可能になる。
このように、記憶手段３０には、空間座標系の音像を定位させたい位置を網羅するように、空間位置情報とインパルス応答とを対応付けて記憶しておく。

残響音生成手段４０は、直接音から、空間位置情報で特定される三次元空間座標における残響音を生成するものである。ここでは、残響音生成手段４０は、選択手段４１と、畳み込み手段４２と、残響分配手段４３と、を備える。

選択手段４１は、音像パンニング手段２０で生成される三次元音響信号に対応して、音像パンニング手段２０から出力されるパンニング情報に含まれる空間位置情報に対応するインパルス応答を、記憶手段３０に記憶されているインパルス応答から選択して読み出すものである。このように選択されたインパルス応答は、畳み込み手段４２に出力される。
ここでは、選択手段４１は、音像パンニング手段２０から出力される空間位置情報で示される空間位置を、領域内に含んだ記憶手段３０の空間位置情報に対応するインパルス応答を選択することとする。

畳み込み手段４２は、レベル調節手段１０Ａ，１０Ｂを介してレベル調節された直接音と、選択手段４１で選択されたインパルス応答との畳み込み演算を行うものである。すなわち、畳み込み手段４２は、直接音とインパルス応答とをそれぞれＦＦＴ（高速フーリエ変換）によって周波数領域の信号に変換して乗算し、その乗算結果を逆ＦＦＴによって時間領域の信号に戻すことで畳み込み演算を行う。
このように、直接音と空間位置情報に対応するインパルス応答との畳み込み演算を行うことで、空間位置情報で特定される空間位置に対応する残響音が生成されることになる。
この畳み込み手段４２で生成された残響音は、残響分配手段４３に出力される。

残響分配手段４３は、モノ信号である残響音を、音像パンニング手段２０から出力されるパンニング情報の配分情報に基づいて、対応するチャンネルに分配するものである。
ここでは、残響分配手段４３は、モノ信号である残響音に、配分情報で特定されるチャンネルの重み（配分比率）を乗算することで、各チャンネルに対する残響音を生成する。これによって、残響音は、モノ信号から三次元音響信号（マルチチャンネル残響信号）に変換されることになる。
このように生成された三次元音響信号である残響音は、レベル調節手段１０Ｃを介して、加算手段５０に出力される。

加算手段５０は、音像パンニング手段２０で生成された三次元音響信号である直接音と、残響音生成手段４０で生成された三次元音響信号である残響音とをチャンネルごとに加算するものである。このようにチャンネルごとに、三次元音響信号の直接音と、三次元音響信号の残響音とを加算することで、加算手段５０は、三次元空間において残響が付加された音響信号（残響付加音）を生成する。
この加算手段５０で生成された残響付加音は、レベル調節手段１０Ｄを介して、外部に出力される。

以上のように空間音響生成装置１を構成することで、空間音響生成装置１は、音像の位置に応じて変化する残響音を、その位置に応じて生成することができ、音像パンニング手段２０によってパンニングされた直接音と加算することで、実際の音場において受音する自然な音空間印象を再現した残響付加音を生成することができる。

なお、ここでは、空間音響生成装置１は、記憶手段３０に、空間座標系の音像を定位させたい位置を網羅するように、空間のある大きさを示す空間位置情報とインパルス応答とを複数対応付けておくこととしたが、空間の任意の点を示す空間位置情報とインパルス応答とを複数対応付けておくこととしてもよい。その場合、空間位置情報は離散的になるため、ある空間位置に対応するインパルス応答が存在しないことになる。

そこで、このように、空間座標位置とインパルス応答とを離散的に対応付ける形態とした場合、残響音生成手段４０は、畳み込み手段４２の後段に補正残響音生成手段（不図示）を備えることとする。その場合、残響音生成手段４０は、選択手段４１によって、音像パンニング手段２０から出力される空間位置情報（音像定位位置）で特定される位置に隣接するインパルス応答を記憶手段３０から複数（例えば、直近の位置から３個）選択し、畳み込み手段４２によってそれぞれの残響音を生成した後、補正残響音生成手段（不図示）によって、音像定位位置からの距離比に応じて合成することで、空間位置情報（音像定位位置）における残響音（補正残響音）を生成すればよい。

［空間音響生成装置の動作］
次に、図３を参照（構成については、適宜図１参照）して、本発明の第１実施形態に係る空間音響生成装置１の動作について説明する。なお、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、音響制作者によって適宜調整されるもので、ここでは、動作としての説明は省略する。

まず、空間音響生成装置１は、音像パンニング手段２０によって、直接音を外部から入力する（ステップＳ１）。そして、空間音響生成装置１は、音像パンニング手段２０によって、外部から設定される音像定位位置を示す空間位置情報と、予め設定されているスピーカの配置位置とに基づいて、各スピーカ（チャンネル）ごとの出力レベルを算出し、直接音から三次元音響信号を生成する（ステップＳ２）。

一方、空間音響生成装置１は、残響音生成手段４０の選択手段４１によって、予め空間位置情報とインパルス応答とを対応付けた記憶手段３０から、ステップＳ２で音像パンニング手段２０がパンニングを行った音像の空間位置情報に対応するインパルス応答を選択する（ステップＳ３）。

そして、空間音響生成装置１は、残響音生成手段４０の畳み込み手段４２によって、入力された直接音と、ステップＳ３で選択されたインパルス応答との畳み込み演算を行うことで、残響音を生成する（ステップＳ４）。
そして、空間音響生成装置１は、残響音生成手段４０の残響分配手段４３によって、ステップＳ２で音像パンニング手段２０がパンニングを行ったチャンネルおよびその重みを示す配分情報に基づいて、残響音を各チャンネルに分配することで、音像定位位置に対応した三次元音響信号を生成する（ステップＳ５）。

そして、空間音響生成装置１は、加算手段５０によって、音像パンニング手段２０で生成された三次元音響信号である直接音と、残響音生成手段４０で生成された三次元音響信号である残響音とをチャンネルごとに加算することで、残響付加音を生成する（ステップＳ６）。
そして、空間音響生成装置１は、ステップＳ５で生成された残響付加音を外部に出力する（ステップＳ７）。
以上の動作によって、空間音響生成装置１は、自然な音空間印象を再現した残響付加音を生成することができる。

≪第２実施形態≫
［空間音響生成装置の構成］
次に、図４を参照して、本発明の第２実施形態に係る空間音響生成装置１Ａの構成について説明する。図４に示した空間音響生成装置１Ａは、モノラル音源から直接発せられる残響のない直接音（モノ音）に残響を付加して、音響再生空間の指定された位置に音像を定位させるマルチチャンネル音響信号（残響付加音）を生成するものである。

図１で説明した空間音響生成装置１では、空間位置情報に対応するインパルス応答を記憶手段３０に記憶しておき、残響音生成手段４０で空間位置情報に対応する残響音を生成したが、空間音響生成装置１Ａは、空間位置情報に対応する残響音を予め記憶している点が異なっている。

ここでは、空間音響生成装置１Ａは、レベル調節手段１０Ａ，１０Ｃ，１０Ｄと、音像パンニング手段２０と、記憶手段３０Ａと、残響音生成手段４０Ａと、加算手段５０と、を備える。記憶手段３０Ａおよび残響音生成手段４０Ａ以外の構成は、図１で説明した空間音響生成装置１と同一の構成であるため、同一の符号を付して説明を省略する。

記憶手段３０Ａは、予め実空間（残響空間）において生成した残響音（残響信号）を、当該残響音を生成した音源の位置を示す空間位置情報に対応付けて記憶するものである。この記憶手段３０Ａは、ハードディスク等の一般的な記憶媒体で構成することができる。なお、この記憶手段３０Ａに記憶しておく残響音は、例えば、図１２に示した実空間（残響空間）において、受音位置であるマイクロホンＭＰで、音源となるスピーカＳＰの空間位置を変えて複数のインパルス応答を測定し、そのインパルス応答と音源が発する直接音とを畳み込み演算することで求めたものである。

すなわち、記憶手段３０Ａは、実空間（残響空間）において、予め定めた空間座標系における音源位置を種々変化させた座標位置を空間位置情報とし、当該座標系の中心位置の受音位置において測定したインパルス応答から演算された残響音に対応付けて予め記憶しておく。この記憶手段３０Ａにおける空間位置情報は、残響音を同一とみなすことが可能な予め定めた大きさの空間領域とする。
このように、記憶手段３０Ａには、空間座標系の音像を定位させたい位置を網羅するように、空間位置情報と残響音とを対応付けて記憶しておく。

残響音生成手段４０Ａは、直接音から、空間位置情報で特定される三次元空間座標における残響音を生成するものである。ここでは、残響音生成手段４０Ａは、選択手段４１Ａと、残響分配手段４３と、を備える。残響分配手段４３は、図１で説明した残響音生成手段４０と同一の構成であるため、説明を省略する。

選択手段４１Ａは、音像パンニング手段２０で生成される三次元音響信号に対応して、音像パンニング手段２０から出力されるパンニング情報に含まれる空間位置情報に対応する残響音を、記憶手段３０Ａに記憶されている残響音から選択して読み出すものである。このように選択された残響音は、残響分配手段４３に出力される。

以上のように空間音響生成装置１Ａを構成することで、空間音響生成装置１Ａは、音像の位置に応じて変化する残響音を、その位置に応じて生成することができ、音像パンニング手段２０によってパンニングされた直接音と加算することで、実際の音場において受音する自然な音空間印象を再現した残響付加音を生成することができる。

また、空間音響生成装置１Ａは、予め残響音を記憶しているため、空間音響生成装置１（図１参照）と比べて畳み込み演算を行う処理を省略することができ、高速に残響付加音を生成することができる。このため、空間音響生成装置１Ａは、音像を任意の位置の方向に変化させる場合であっても、音像の位置の変化に合わせて動的に残響を変化させることができる。

なお、音像の位置を任意の方向に変化させる場合、残響音生成手段４０Ａには、選択手段４１Ａと残響分配手段４３との間にクロスフェード手段（不図示）を備えることが好ましい。
すなわち、空間音響生成装置１Ａは、残響音生成手段４０Ａに入力される空間位置情報によって、選択手段４１Ａが選択する残響音が切り替わる場合、クロスフェード手段（不図示）によって、切り替わり前の残響音のレベルを徐々に小さくし（フェードアウト）、切り替わり後の残響音のレベルを徐々に大きくする（フェードイン）。これによって、音源位置を変化させる場合であっても、異常音の発生を抑えることができる。

また、ここでは、空間音響生成装置１Ａは、記憶手段３０Ａに、空間座標系の音像を定位させたい位置を網羅するように、空間のある大きさに示す空間位置情報と残響音とを複数対応付けておくこととしたが、空間の任意の点を示す空間位置情報と残響音とを複数対応付けておくこととしてもよい。

このように、空間座標位置と残響音とを離散的に対応付ける形態とした場合、残響音生成手段４０Ａは、選択手段４１Ａの後段（前記したクロスフェード手段（不図示）を備える場合は、選択手段４１Ａとクロスフェード手段との間）に補正残響音生成手段（不図示）を備えることとする。その場合、残響音生成手段４０Ａは、選択手段４１Ａによって、音像パンニング手段２０から出力される空間位置情報（音像定位位置）で特定される位置に隣接する残響音を記憶手段３０Ａから複数（例えば、直近の位置から３個）選択し、補正残響音生成手段（不図示）によって、音像定位位置からの距離比に応じて合成することで、空間位置情報（音像定位位置）における残響音（補正残響音）を生成すればよい。

［空間音響生成装置の動作］
次に、図５を参照（構成については、適宜図４参照）して、本発明の第２実施形態に係る空間音響生成装置１Ａの動作について説明する。なお、レベル調節手段１０Ａ，１０Ｃ，１０Ｄは、音響制作者によって適宜調整されるもので、ここでは、動作としての説明は省略する。
また、空間音響生成装置１Ａの動作は、図３で説明した空間音響生成装置１の動作において、ステップＳ３，Ｓ４を、ステップＳ３Ａに置き換えたものであり、ステップＳ１，Ｓ２，Ｓ５〜Ｓ７の各ステップの処理は同一である。

すなわち、空間音響生成装置１Ａは、ステップＳ２までの処理により、直接音から三次元音響信号を生成する一方で、残響音生成手段４０Ａの選択手段４１Ａによって、予め空間位置情報と残響音とを対応付けた記憶手段３０Ａから、ステップＳ２で外部から設定された空間位置情報に対応する残響音を選択する（ステップＳ３Ａ）。

その後、空間音響生成装置１Ａは、残響分配手段４３によって、残響音から三次元音響信号を生成し（ステップＳ５）、加算手段５０によって、三次元音響信号である直接音と、三次元音響信号である残響音とをチャンネルごとに加算することで、残響付加音を生成し（ステップＳ６）、外部に出力する（ステップＳ７）。
以上の動作によって、空間音響生成装置１Ａは、自然な音空間印象を再現した残響付加音を、空間音響生成装置１（図１参照）に比べて高速に生成することができる。

≪第３実施形態≫
［空間音響生成装置の構成］
次に、図６を参照して、本発明の第３実施形態に係る空間音響生成装置１Ｂの構成について説明する。図６に示した空間音響生成装置１Ｂは、モノラル音源から直接発せられる残響のない直接音（モノ音）に残響を付加して、音響再生空間の指定された位置に音像を定位させるマルチチャンネル音響信号（残響付加音）を生成するものである。さらに、空間音響生成装置１Ｂは、音響制作者の操作によって、音源定位位置における残響の自然さを保持したまま、音空間印象を変化させる機能を有する。

ここでは、空間音響生成装置１Ｂは、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄと、音像パンニング手段２０と、記憶手段３０Ｂと、残響音生成手段４０Ｂと、加算手段５０と、を備える。記憶手段３０Ｂおよび残響音生成手段４０Ｂ以外の構成は、図１で説明した空間音響生成装置１と同一の構成であるため、同一の符号を付して説明を省略する。

記憶手段３０Ｂは、予め測定したインパルス応答を、当該インパルス応答を測定した際の実空間（残響空間）の音源の位置である空間位置情報に対応付けて記憶するものである。この記憶手段３０Ｂは、ハードディスク等の一般的な記憶媒体で構成することができる。なお、記憶手段３０Ｂが記憶するインパルス応答は、基本的に図１で説明したインパルス応答と同じである。ただし、記憶手段３０Ｂに記憶するインパルス応答は、予め定めた特性ごとに時間的に分割（初期反射、中間残響、後部残響）しておく。

ここで、図７を参照して、記憶手段３０Ｂに記憶しておくインパルス応答を分割したそれぞれのインパルス応答（初期反射、中間残響、後部残響）について説明する。
図７に示すように、インパルス応答は、直接音に続く、初期反射と、それに続く残響で構成される。
ここで、直接音とは、音源から直接到達する音である。
また、初期反射とは、他の音と分離して認識可能な直接音の反射音であって、通常、直接音の発生後、数ミリ秒から１００ミリ秒程度の間に発生するものである。この初期反射は、時間的に直接音に近く、残響に比べてレベルが大きいため、受音者にとって、音色の印象に影響を与える。

また、残響とは、初期反射の後、他の音と分離して認識することができない響きである。一般的に、直接音に対して、６０ｄＢ減衰するまでの時間を残響時間という。なお、ここでは、残響をさらに中間残響と、後部残響とに分けることとする。
後部残響は、音響信号が単純に減衰していく区間の響きであって、その減衰の過程で、受音者に残響感を与える。

中間残響は、初期反射と後部残響との中間の響きであって、他の音と分離して認識することはできないが、反射に伴う音響信号のレベルの強弱の変化が発生している区間の響きをいう。この中間残響は、初期反射よりも時間が経過していることから、そのレベルの大きさは空間の拡がり感を受音者に与えることになる。すなわち、中間残響のレベルが大きければ、より空間が広い印象を受音者に与える。
図６に戻って、空間音響生成装置１Ｂの構成について説明を続ける。

図７で説明したように、記憶手段３０Ｂは、予め測定したインパルス応答をその信号の特徴に応じて、初期反射、中間残響、後部残響に区分し、音源位置を示す空間位置情報と対応付けて記憶しておく。なお、記憶手段３０Ｂには、初期反射、中間残響、後部残響のそれぞれについて、直接音の発生時刻に対する遅延時間（経過時間）も併せて記憶しておく。

残響音生成手段４０Ｂは、直接音から、空間位置情報で特定される三次元空間座標における残響音を生成するとともに、その残響音の受音者に与える印象を調節するものである。ここでは、残響音生成手段４０Ｂは、選択手段４１Ｂと、畳み込み手段４２Ｂと、残響分配手段４３と、遅延手段４４と、レベル変更手段４５と、を備える。残響分配手段４３は、図１で説明した残響音生成手段４０と同一の構成であるため、説明を省略する。
以下、選択手段４１Ｂ、遅延手段４４、畳み込み手段４２Ｂ、レベル変更手段４５、合成手段４６の順に説明を行う。

選択手段４１Ｂは、音像パンニング手段２０で生成される三次元音響信号に対応して、音像パンニング手段２０から出力されるパンニング情報に含まれる空間位置情報（音像定位位置）に対応するインパルス応答（初期反射、中間残響、後部残響）を、記憶手段３０Ｂに記憶されているインパルス応答（初期反射、中間残響、後部残響）から選択して読み出すものである。このように選択されたインパルス応答は、初期反射、中間残響および後部残響ごとに、直接音の発生時刻に対する遅延時間（経過時間）とともに、遅延手段４４に出力される。

遅延手段４４は、選択手段４１Ｂで選択された初期反射、中間残響および後部残響を直接音からの遅延時間に応じて遅延させるものである。ここでは、遅延手段４４は、初期反射遅延手段４４１と、中間残響遅延手段４４２と、後部残響遅延手段４４３と、を備える。

初期反射遅延手段４４１は、選択手段４１Ｂで選択されたインパルス応答のうちの初期反射について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この初期反射遅延手段４４１は、遅延した初期反射部分のインパルス応答を、畳み込み手段４２Ｂの個別畳み込み手段４２１に出力する。

中間残響遅延手段４４２は、選択手段４１Ｂで選択されたインパルス応答のうちの中間残響について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この中間残響遅延手段４４２は、遅延した中間残響部分のインパルス応答を、畳み込み手段４２Ｂの個別畳み込み手段４２２に出力する。

後部残響遅延手段４４３は、選択手段４１Ｂで選択されたインパルス応答のうちの後部残響について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この後部残響遅延手段４４３は、遅延した後部残響部分のインパルス応答を、畳み込み手段４２Ｂの個別畳み込み手段４２３に出力する。
なお、初期反射遅延手段４４１、中間残響遅延手段４４２および後部残響遅延手段４４３は、それぞれ、入力信号（初期反射、中間残響、後部残響）を一旦記憶した後、遅延時間後に読み出して出力する一般的なバッファで構成することができる。

畳み込み手段４２Ｂは、レベル調節手段１０Ａ，１０Ｂを介してレベル調節された直接音と、遅延手段４４で遅延されたインパルス応答（初期反射、中間残響、後部残響）との畳み込み演算を行うものである。ここでは、畳み込み手段４２Ｂは、各遅延手段４４１，４４２，４４３に対応した個別畳み込み手段４２１，４２２，４２３を備える。

個別畳み込み手段４２１は、直接音と、初期反射遅延手段４４１で遅延された初期反射との畳み込み演算を行うものである。この個別畳み込み手段４２１の畳み込み演算によって、初期反射の時間部分に相当する残響音（初期反射残響音）が生成される。
この個別畳み込み手段４２１は、生成した初期反射残響音を、レベル変更手段４５のレベル制御手段４５１に出力する。

個別畳み込み手段４２２は、直接音と、中間残響遅延手段４４２で遅延された中間残響との畳み込み演算を行うものである。この個別畳み込み手段４２２の畳み込み演算によって、中間残響の時間部分に相当する残響音（中間残響音）が生成される。
この個別畳み込み手段４２２は、生成した中間残響音を、レベル変更手段４５のレベル制御手段４５２に出力する。

個別畳み込み手段４２３は、直接音と、後部残響遅延手段４４３で遅延された後部残響との畳み込み演算を行うものである。この個別畳み込み手段４２３の畳み込み演算によって、後部残響の時間部分に相当する残響音（後部残響音）が生成される。
この個別畳み込み手段４２３は、生成した後部残響音を、レベル変更手段４５のレベル制御手段４５３に出力する。
これによって、畳み込み手段４２Ｂは、空間位置情報で特定される空間位置に対応する残響音を、初期反射残響音、中間残響音および後部残響音に時間的に分割して生成することができる。

レベル変更手段４５は、畳み込み手段４２Ｂで生成された残響音（初期反射残響音、中間残響音、後部残響音）のレベルを外部からの指示（制御パラメータ）によって変更するものである。ここでは、レベル変更手段４５は、各残響音に対応したレベル制御手段４５１，４５２，４５３と、を備える。

レベル制御手段４５１，４５２，４５３は、それぞれ、畳み込み手段４２Ｂの個別畳み込み手段４２１，４２２，４２３から入力された入力信号（初期反射残響音、中間残響音、後部残響音）に対して、外部から入力される指示（制御パラメータ）によってレベルを変更するものである。この制御パラメータは、外部に接続された図示を省略したレベル調整装置を音響制作者が操作することで、そのレベル調整装置から出力される初期反射残響音、中間残響音、後部残響音に対するそれぞれのレベル信号である。
このようにレベルが変更された初期反射残響音、中間残響音、後部残響音は、合成手段４６に出力される。もちろん、音響制作者がレベル調整を行わなければ、初期反射残響音、中間残響音、後部残響音は、レベル変更がなされないまま合成手段４６に出力されることはいうまでもない。

合成手段４６は、レベル変更手段４５から出力される初期反射残響音、中間残響音および後部残響音を入力し、時間方向に合成するものである。
なお、初期反射残響音、中間残響音および後部残響音は、それぞれ直接音の発生時刻に対する異なる遅延時間だけ遅延されているため、合成手段４６は、初期反射残響音、中間残響音、後部残響音の順に連結することで、残響音を生成することができる。
この合成手段４６で生成された残響音は、残響分配手段４３に出力される。

以上のように空間音響生成装置１Ｂを構成することで、空間音響生成装置１Ｂは、音像の位置に応じて変化する残響音を、その位置に応じて生成することができ、音像パンニング手段２０によってパンニングされた直接音と加算することで、実際の音場において受音する自然な音空間印象を再現した残響付加音を生成することができる。さらに、空間音響生成装置１Ｂは、音響制作者によって、初期反射、中間残響および後部残響をそれぞれ個別にレベル調整することができるため、残響音の印象を変化させた独自の音響空間を表現することが可能になる。

［空間音響生成装置の動作］
次に、図８を参照（構成については、適宜図６参照）して、本発明の第３実施形態に係る空間音響生成装置１Ｂの動作について説明する。なお、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、音響制作者によって適宜調整されるもので、ここでは、動作としての説明は省略する。
また、空間音響生成装置１Ｂの動作は、図３で説明した空間音響生成装置１の動作において、ステップＳ３をステップＳ３Ｂに置き換え、ステップＳ４をステップＳ４Ａ〜Ｓ４Ｄに置き換えたもので、ステップＳ１，Ｓ２，Ｓ５〜Ｓ７の各ステップの処理は同一である。

すなわち、空間音響生成装置１Ｂは、ステップＳ２までの処理により、直接音から三次元音響信号を生成する一方で、残響音生成手段４０Ｂの選択手段４１Ｂによって、予め空間位置情報とインパルス応答の初期反射、中間残響および後部残響の各部分とを対応付けた記憶手段３０Ｂから、ステップＳ２で外部から設定された空間位置情報に対応する初期反射、中間残響および後部残響を選択する（ステップＳ３Ｂ）。

そして、空間音響生成装置１Ｂは、残響音生成手段４０Ｂの遅延手段４４によって、ステップＳ３Ｂで選択されたインパルス応答の初期反射、中間残響および後部残響の各部分をそれぞれの直接音の発生時刻に対する遅延時間だけ遅延させる（ステップＳ４Ａ）。
すなわち、空間音響生成装置１Ｂは、初期反射遅延手段４４１で初期反射を遅延させ、中間残響遅延手段４４２で中間残響を遅延させ、後部残響遅延手段４４３で後部残響を遅延させる。

そして、空間音響生成装置１Ｂは、残響音生成手段４０Ｂの畳み込み手段４２Ｂによって、入力された直接音と、ステップＳ４Ａで遅延されたインパルス応答の初期反射、中間残響および後部残響の各部分との畳み込み演算を行う（ステップＳ４Ｂ）。これによって、インパルス応答の初期反射、中間残響および後部残響の各部分の時間長に相当する個別の残響音（初期反射残響音、中間残響音、後部残響音）が生成される。

そして、空間音響生成装置１Ｂは、残響音生成手段４０Ｂのレベル変更手段４５によって、ステップＳ４Ｂで生成された各残響音（初期反射残響音、中間残響音、後部残響音）を、外部から入力される指示（制御パラメータ）に応じて個別に変更する（ステップＳ４Ｃ）。
そして、空間音響生成装置１Ｂは、合成手段４６によって、ステップＳ４Ｃでレベル変更された各残響音（初期反射残響音、中間残響音、後部残響音）を、時間方向に連結（合成）する（ステップＳ４Ｄ）。これによって、音像定位位置に対応した残響音が生成されることになる。

その後、空間音響生成装置１Ｂは、残響分配手段４３によって、残響音から三次元音響信号を生成し（ステップＳ５）、加算手段５０によって、三次元音響信号である直接音と、三次元音響信号である残響音とをチャンネルごとに加算することで、残響付加音を生成し（ステップＳ６）、外部に出力する（ステップＳ７）。
以上の動作によって、空間音響生成装置１Ｂは、自然な音空間印象を再現した残響付加音を生成することができとともに、音響制作者の意図に応じて、残響音の印象を変化させた独自の音響空間を表現することができる。

≪第４実施形態≫
［空間音響生成装置の構成］
次に、図９を参照して、本発明の第４実施形態に係る空間音響生成装置１Ｃの構成について説明する。図９に示した空間音響生成装置１Ｃは、モノラル音源から直接発せられる残響のない直接音（モノ音）に残響を付加して、音響再生空間の指定された位置に音像を定位させるマルチチャンネル音響信号（残響付加音）を生成するものである。さらに、空間音響生成装置１Ｃは、音響制作者の操作によって、音源定位位置における残響の自然さを保持したまま、音空間印象を変化させる機能を有する。

図６で説明した空間音響生成装置１Ｂでは、空間位置情報に対応するインパルス応答を初期反射、中間残響および後部残響に分けてそれぞれ記憶手段３０Ｂに記憶しておき、残響音生成手段４０Ｂで、空間位置情報に対応する個別の残響音（初期反射残響音、中間残響音、後部残響音）を生成し、個別のレベル変更を可能にした。しかし、空間音響生成装置１Ｃは、空間位置情報に対応する個別の残響音（初期反射残響音、中間残響音、後部残響音）を予め記憶している点が異なっている。

ここでは、空間音響生成装置１Ｃは、レベル調節手段１０Ａ，１０Ｃ，１０Ｄと、音像パンニング手段２０と、記憶手段３０Ｃと、残響音生成手段４０Ｃと、加算手段５０と、を備える。記憶手段３０Ｃおよび残響音生成手段４０Ｃ以外の構成は、図１で説明した空間音響生成装置１と同一の構成であるため、同一の符号を付して説明を省略する。

記憶手段３０Ｃは、予め実空間（残響空間）において生成した残響音（初期反射残響音、中間残響音、後部残響音）を、当該残響音を生成した音源の位置を示す空間位置情報に対応付けて記憶するものである。この記憶手段３０Ｃは、ハードディスク等の一般的な記憶媒体で構成することができる。

なお、この記憶手段３０Ｃに記憶しておく残響音は、例えば、図１２に示した実空間（残響空間）において、受音位置であるマイクロホンＭＰで、音源となるスピーカＳＰの空間位置を変えて複数インパルス応答の初期反射、中間残響、後部残響を測定し、インパルス応答の各部分と音源が発する直接音とを畳み込み演算することで求めたものである。

すなわち、記憶手段３０Ｃは、実空間（残響空間）において、予め定めた空間座標系における音源位置を種々変化させた座標位置を空間位置情報とし、当該座標系の中心位置の受音位置において測定したインパルス応答の各部分（初期反射、中間残響、後部残響）から演算された残響音（初期反射残響音、中間残響音、後部残響音）に対応付けて予め記憶しておく。この記憶手段３０Ｃにおける空間位置情報は、残響音を同一とみなすことが可能な予め定めた大きさの空間領域とする。
このように、記憶手段３０Ｃには、空間座標系の音像を定位させたい位置を網羅するように、空間位置情報と残響音とを対応付けて記憶しておく。なお、記憶手段３０Ｃには、初期反射残響音、中間残響音、後部残響音のそれぞれについて、直接音の発生時刻に対する遅延時間（経過時間）も併せて記憶しておく。

残響音生成手段４０Ｃは、直接音から、空間位置情報で特定される三次元空間座標における残響音を生成するものである。ここでは、残響音生成手段４０Ｃは、選択手段４１Ｃと、残響分配手段４３と、遅延手段４４Ｃと、レベル変更手段４５と、合成手段４６と、を備える。残響分配手段４３は、図１で説明した残響音生成手段４０と同一の構成であり、レベル変更手段４５および合成手段４６は、図６で説明した残響音生成手段４０Ｂと同一の構成であるため、説明を省略する。

選択手段４１Ｃは、音像パンニング手段２０で生成される三次元音響信号に対応して、音像パンニング手段２０から出力されるパンニング情報に含まれる空間位置情報に対応する個別の残響音（初期反射残響音、中間残響音、後部残響音）を、記憶手段３０Ｃに記憶されている残響音から選択して読み出すものである。このように選択された残響音のうち、初期反射残響音は、遅延手段４４Ｃの初期反射遅延手段４４１Ｃに出力され、中間残響音は、中間残響遅延手段４４２Ｃに出力され、後部残響音は、後部残響遅延手段４４３Ｃに出力される。

遅延手段４４Ｃは、選択手段４１Ｃで選択された残響音である初期反射残響音、中間残響音および後部残響音を直接音からの遅延時間（経過時間）に応じて遅延させるものである。ここでは、遅延手段４４Ｃは、初期反射遅延手段４４１Ｃと、中間残響遅延手段４４２Ｃと、後部残響遅延手段４４３Ｃと、を備える。

初期反射遅延手段４４１Ｃは、選択手段４１Ｃで選択された残響音のうちの初期反射部分に相当する初期反射残響音について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この初期反射遅延手段４４１Ｃは、遅延した初期反射残響音を、レベル変更手段４５のレベル制御手段４５１に出力する。

中間残響遅延手段４４２Ｃは、選択手段４１Ｃで選択された残響音のうちの中間残響部分に相当する中間残響音について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この中間残響遅延手段４４２Ｃは、遅延した中間残響音を、レベル変更手段４５４のレベル制御手段４５２に出力する。

後部残響遅延手段４４３Ｃは、選択手段４１Ｃで選択された残響音のうちの後部残響部分に相当する後部残響音について、直接音の発生時刻に対する遅延時間だけ、遅延させるものである。この後部残響遅延手段４４３Ｃは、遅延した後部残響音を、レベル変更手段４５のレベル制御手段４５３に出力する。
なお、初期反射遅延手段４４１Ｃ、中間残響遅延手段４４２Ｃおよび後部残響遅延手段４４３Ｃは、それぞれ、残響音（初期反射残響音、中間残響音、後部残響音）を一旦記憶した後、遅延時間後に読み出して出力する一般的なバッファで構成することができる。

以上のように空間音響生成装置１Ｃを構成することで、空間音響生成装置１Ｃは、音像の位置に応じて変化する残響音を、その位置に応じて生成することができ、音像パンニング手段２０によってパンニングされた直接音と加算することで、実際の音場において受音する自然な音空間印象を再現した残響付加音を生成することができる。さらに、空間音響生成装置１Ｃは、音響制作者によって、初期反射、中間残響および後部残響をそれぞれ個別にレベル調整することができるため、残響音の印象を変化させた独自の音響空間を表現することが可能になる。

また、空間音響生成装置１Ｃは、予め残響音を記憶しているため、空間音響生成装置１Ｂ（図６参照）と比べて畳み込み演算を行う処理を省略することができ、高速に残響付加音を生成することができる。このため、空間音響生成装置１Ｃは、音像を任意の位置の方向に変化させる場合であっても、音像の位置の変化に合わせて動的に残響を変化させることができる。

なお、音像の位置を任意の方向に変化させる場合、残響音生成手段４０Ｃには、合成手段４６と残響分配手段４３との間にクロスフェード手段（不図示）を備えることが好ましい。
すなわち、空間音響生成装置１Ｃは、残響音生成手段４０Ｃに入力される空間位置情報によって、選択手段４１Ｃが選択する残響音が切り替わる場合、クロスフェード手段（不図示）によって、切り替わり前の残響音のレベルを徐々に小さくし（フェードアウト）、切り替わり後の残響音のレベルを徐々に大きくする（フェードイン）。これによって、音源位置を変化させる場合であっても、異常音の発生を抑えることができる。

［空間音響生成装置の動作］
次に、図１０を参照（構成については、適宜図９参照）して、本発明の第４実施形態に係る空間音響生成装置１Ｃの動作について説明する。なお、レベル調節手段１０Ａ，１０Ｃ，１０Ｄは、音響制作者によって適宜調整されるもので、ここでは、動作としての説明は省略する。
また、空間音響生成装置１Ｃの動作は、図８で説明した空間音響生成装置１Ｂの動作において、ステップＳ３ＢをステップＳ３Ｃに置き換え、ステップＳ４Ａ，Ｓ４ＢをステップＳ４１Ａに置き換えたものであり、ステップＳ１，Ｓ２，Ｓ４Ｃ，Ｓ４Ｄ，Ｓ５〜Ｓ７の各ステップの処理は同一である。

すなわち、空間音響生成装置１Ｃは、ステップＳ２までの処理により、直接音から三次元音響信号を生成する一方で、残響音生成手段４０Ｃの選択手段４１Ｃによって、記憶手段３０Ｃから、空間位置情報に対応した、インパルス応答の初期反射、中間残響、後部残響にそれぞれの残響音に相当する個別の残響音（初期反射残響音、中間残響音、後部残響音）を選択する（ステップＳ３Ｃ）。

そして、空間音響生成装置１Ｃは、残響音生成手段４０Ｃの遅延手段４４Ｃによって、ステップＳ３Ｃで選択されたインパルス応答の初期反射、中間残響および後部残響の各部分に相当する個別の残響音をそれぞれの直接音の発生時刻に対する遅延時間だけ遅延させる（ステップＳ４１Ａ）。
すなわち、空間音響生成装置１Ｃは、初期反射遅延手段４４１Ｃで初期反射残響音を遅延させ、中間残響遅延手段４４２Ｃで中間残響音を遅延させ、後部残響遅延手段４４３Ｃで後部残響音を遅延させる。
ステップＳ４Ｃ以降の動作は、図８で説明した空間音響生成装置１Ｂと同じであるため説明を省略する。
以上の動作によって、空間音響生成装置１Ｃは、自然な音空間印象を再現した残響付加音を、空間音響生成装置１Ｂ（図６参照）に比べて高速に生成することができる。

以上、本発明の実施形態について種々説明したが、本発明は、これらの実施形態に限定されるものではない。例えば、レベル調節手段１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、必須の構成ではなく、省略することも可能である。
また、ここでは、空間音響生成装置１，１Ａ，１Ｂ，１Ｃ内に、音像パンニング手段２０と、残響音生成手段４０，４０Ａ，４０Ｂ，４０Ｃとを備える構成としたが、各手段はそれぞれ独立した装置（音像パンニング装置、残響音生成装置）として構成してもよい。その場合、記憶手段３０，３０Ａ，３０Ｂ，３０Ｃは、残響音生成装置の内部に備えることとすればよい。

また、空間音響生成装置１，１Ａ，１Ｂ，１Ｃは、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた一般的なコンピュータを、前記した各手段として機能させるための空間音響制作プログラムで動作させることができる。すなわち、空間音響生成装置１，１Ａ，１Ｂ，１Ｃは、ＲＯＭあるいは外部記憶等の記憶媒体に記憶した空間音響制作プログラムを、ＲＡＭ上に展開し動作させることで、コンピュータを前記した各手段として機能させることができる。
また、残響音生成手段４０，４０Ａ，４０Ｂ，４０Ｃを独立した残響音生成装置として構成する場合、残響音生成装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた一般的なコンピュータを、残響音生成手段４０，４０Ａ，４０Ｂ，４０Ｃそれぞれの各手段として機能させるための残響音生成プログラムで動作させることができる。

１ 空間音響生成装置
１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ レベル調節手段
２０ 音像パンニング手段（音像パンニング装置）
３０ 記憶手段
４０ 残響音生成手段（残響音生成装置）
４１ 選択手段
４２ 畳み込み手段
４２１、４２２、４２３ 個別畳み込み手段
４３ 残響分配手段
４４ 遅延手段
４４１ 初期反射遅延手段
４４２ 中間残響遅延手段
４４３ 後部残響遅延手段
４５ レベル変更手段
４５１、４５２、４５３ レベル制御手段
４６ 合成手段
５０ 加算手段

Claims (6)

1. 音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、
   実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段と、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段と、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されているインパルス応答と前記入力信号とから、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段と、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段と、を備え、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応するインパルス応答を選択する選択手段と、
   この選択手段で選択されたインパルス応答を前記入力信号に対して畳み込み演算することで残響信号を生成する畳み込み手段と、
   前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、前記畳み込み手段で生成された残響信号を前記複数のチャンネルに分配する残響分配手段と、
   を備えることを特徴とする空間音響生成装置。
2. 音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、
   実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を直接音に畳み込み演算して生成した残響信号を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段と、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段と、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されている残響信号から、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段と、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段と、を備え、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応する残響信号を選択する選択手段と、
   前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、前記選択手段で選択された残響信号を前記複数のチャンネルに分配する残響分配手段と、
   を備えることを特徴とする空間音響生成装置。
3. 音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、
   実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を初期反射、中間残響および後部残響として直接音からの経過時間で区分して、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段と、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段と、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されているインパルス応答と前記入力信号とから、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段と、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段と、を備え、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応するインパルス応答の初期反射、中間残響および後部残響を選択する選択手段と、
   この選択手段で選択された初期反射、中間残響および後部残響をそれぞれの前記経過時間だけ遅延させる遅延手段と、
   この遅延手段で遅延された初期反射、中間残響および後部残響を前記入力信号に畳み込み演算することで、前記経過時間に対応した個別の残響信号を生成する畳み込み手段と、
   この畳み込み手段で生成された個別の残響信号のレベルを、外部からの指示によって調節するレベル変更手段と、
   このレベル変更手段でレベルが調節された個別の残響信号を合成することで、前記インパルス応答に対応する残響信号を生成する合成手段と、
   前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、前記合成手段で生成された残響信号を前記複数のチャンネルに分配する残響分配手段と、
   を備えることを特徴とする空間音響生成装置。
4. 音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置であって、
   実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を初期反射、中間残響および後部残響として直接音からの経過時間で区分して、直接音に畳み込み演算して生成した残響信号である初期反射残響音、中間残響音および後部残響音を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段と、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段と、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されている初期反射残響音、中間残響音および後部残響音から、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段と、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段と、を備え、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応する初期反射残響音、中間残響音および後部残響音を選択する選択手段と、
   この選択手段で選択された初期反射残響音、中間残響音および後部残響音をそれぞれの前記経過時間だけ遅延させる遅延手段と、
   この遅延手段で遅延された個別の残響信号のレベルを、外部からの指示によって調節するレベル変更手段と、
   このレベル変更手段でレベルが調節された個別の残響信号を合成することで、前記インパルス応答に対応する残響信号を生成する合成手段と、
   前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、前記合成手段で生成された残響信号を前記複数の複数のチャンネルに分配する残響分配手段と、
   を備えることを特徴とする空間音響生成装置。
5. 実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段を備え、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置のコンピュータを、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されているインパルス応答と前記入力信号とから、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段、として機能させ、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応するインパルス応答を選択して、前記入力信号に対して畳み込み演算することで残響信号を生成し、その残響信号を、前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて前記複数のチャンネルに分配することを特徴とする空間音響生成プログラム。
6. 実空間の予め定めた基準位置において、音源の位置を変えて測定した複数のインパルス応答を直接音に畳み込み演算して生成した残響信号を、前記音源の位置を示す空間位置情報に対応付けて予め記憶した記憶手段を備え、音響再生空間の指定された位置に音像を定位させる、残響付のマルチチャンネル音響信号を生成する空間音響生成装置のコンピュータを、
   指定された前記音像の定位位置と、予め定めた複数のスピーカの配置位置とに基づいて、直接音である入力信号を前記複数のスピーカに対応した複数のチャンネルに分配する音像パンニング手段、
   前記音像の定位位置で特定される空間位置情報に対応して前記記憶手段に記憶されている残響信号から、前記音像の定位位置に対応したマルチチャンネルの残響信号を生成する残響音生成手段、
   この残響音生成手段で生成されたマルチチャンネルの残響信号を、前記音像パンニング手段でチャンネルごとに分配された信号に加算することで前記残響付きのマルチチャンネル音響信号を生成する加算手段、として機能させ、
   前記残響音生成手段は、
   前記記憶手段から、前記音像の定位位置で特定される空間位置情報に対応する残響信号を選択し、その残響信号を、前記音像パンニング手段が前記入力信号を分配したチャンネルおよびその配分比率に基づいて、前記複数のチャンネルに分配することを特徴とする空間音響生成プログラム。

Images