JP2001134269A - 音響信号分析方法 - Google Patents

Abstract

(57)【要約】 【課題】 共鳴音成分などの特定の成分音を抽出する。 【解決手段】 共鳴音成分を含む第１の楽音波形データ
と含まない第２の楽音波形データをそれぞれ短時間フー
リエ分析し、それぞれ、決定論的波形と残余波形に分離
する。決定論的成分については、共鳴音成分を含む波形
の位相を含まない波形の位相に揃えて減算し、残余成分
については、両残余成分波形を帯域フィルタ群により帯
域分割し、各帯域のエンベロープの差を使って減算す
る。両減算結果を加算することにより共鳴音成分のみの
波形を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特定の成分音を含
む音響信号と前記特性の成分音を含まない音響信号とか
ら、前記特定の成分音を抽出することのできる音響信号
の分析方法に関する。

【０００２】

【従来の技術】ピアノの音は、主に鍵盤操作（タッチ）
でコントロールされるが、ダンパーペダル（サステイン
ペダル）の操作による音色制御（共鳴制御）も演奏表現
に重大な影響力を有している。電子ピアノなどの電子楽
器において、このようなピアノの音を再現しようとする
場合、ダンパーペダルＯＮ時、ＯＦＦ時それぞれの楽音
波形をサンプリングしておき、それらをペダル操作量に
応じて重み付け混合（クロスフェード）することが行わ
れている。しかしながら、この方法では、自然な音色変
化を得るのが難しいという問題点がある。そこで、通常
押鍵音にダンパーペダル操作量に応じて音量やその変化
態様（特に、リリースレート）が制御された共鳴音成分
を加える方法が知られている。この方法による電子楽器
においては、ノートオンが来るとノーマル音と共鳴音を
同時にスタートし、共鳴音の音量、リリースレートをダ
ンパーペダル（サステインペダル）の踏み込み量に応じ
て制御するようにしている。これによって、パー不良行
きの微妙なペダルのコントロールに応じて響き具合を変
化させたり、打鍵した後からペダルが踏まれた場合の共
鳴効果を再現することができ、より自然な音色変化を得
ることができる。

【０００３】

【発明が解決しようとする課題】そこで、残る問題は、
ダンパーペダルをＯＮとしたときの共鳴音成分をピアノ
のサンプリング音からどうやって抽出するかという点に
なる。単純には、ダンパーペダルＯＮ時、ＯＦＦ時それ
ぞれにおけるピアノの楽音をサンプリングし、両者の差
をとれば共鳴音成分が抽出されるはずであるが、両者の
倍音構造、位相関係の違いなどから、通常押鍵音にこの
単純差分による共鳴音成分を加算しても、自然な共鳴感
は得られず、本物のピアノらしい、うなり感、にごり感
を再現することができないというのが現状である。

【０００４】そこで、本発明は、共鳴音成分などの特定
の成分音を含まない音響信号に加算したときに、不自然
さがない前記特定の成分音を抽出することのできる音響
信号分析方法を提供することを目的としている。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の音響信号分析方法は、特定の成分音を含む
第１の音響信号と前記特定の成分音を含まない第２の音
響信号とから、前記特定の成分音を抽出する音響信号分
析方法であって、前記第１の音響信号波形をスペクトル
分析し、その振幅情報と位相情報とを得るステップと、
前記第２の音響信号波形をスペクトル分析し、その振幅
情報と位相情報とを得るステップと、前記第１の音響信
号の振幅情報と前記第２の音響信号の位相情報とによ
り、第３の音響信号波形を生成するステップと、該第３
の音響信号波形と前記第２の音響信号波形とから前記特
定の成分音波形の決定論的成分を求めるステップとを有
するものである。

【０００６】また、本発明の他の音響信号分析方法は、
特定の成分音を含む第１の音響信号と前記特定の成分音
を含まない第２の音響信号とから、前記特定の成分音を
抽出する音響信号分析方法であって、前記第１の音響信
号波形をスペクトル分析し、その振幅情報と位相情報と
を得るステップと、前記第２の音響信号波形をスペクト
ル分析し、その振幅情報と位相情報とを得るステップ
と、前記第１の音響信号の振幅情報と位相情報および前
記第２の音響信号の振幅情報と位相情報から、それぞ
れ、前記第１の音響信号波形と前記第２の音響信号波形
に共通して含まれている倍音成分を抜き出した結果に基
づいて、第３の音響信号波形を生成するステップと、前
記第３の音響信号波形と前記第２の音響信号波形とから
前記特定の成分音波形の決定論的成分を求めるステップ
とを有するものである。

【０００７】さらに、本発明のさらに他の音響信号分析
方法は、特定の成分音を含む第１の音響信号と前記特定
の成分音を含まない第２の音響信号とから、前記特定の
成分音を抽出する音響信号分析方法であって、前記第１
の音響信号波形をスペクトル分析し、その振幅情報と位
相情報とを得る第１のステップと、前記第２の音響信号
波形をスペクトル分析し、その振幅情報と位相情報とを
得る第２のステップと、前記第１の音響信号波形から、
前記第１の音響信号波形と前記第２の音響信号波形に共
通して含まれている倍音成分を抜き出した結果に基づい
て、前記特定の成分音を含む第３の音響信号波形を生成
する第３のステップと、前記第２の音響信号波形から、
前記第１の音響信号波形と前記第２の音響信号波形に共
通して含まれている倍音成分を抜きだした結果に基づい
て、前記特定の成分音を含まない第４の音響信号波形を
生成する第４のステップと、前記第３の音響信号波形の
うちの非決定論的成分波形の複数の帯域毎の成分を求め
る第５のステップと、前記第４の音響信号波形のうちの
非決定論的成分波形の複数の帯域毎の成分を求める第６
のステップと、前記第５のステップと前記第６のステッ
プにより求められた前記各帯域毎の成分から前記特定の
成分音の非決定論的成分波形を求めるステップとを有す
るものである。

【０００８】

【発明の実施の形態】図１は、本発明の音響信号分析方
法が実行される楽音分析合成装置のハードウエア構成の
一例を示すブロック図である。この図において、１はこ
の楽音分析合成装置全体の制御を行うＣＰＵ、２はＣＰ
Ｕ１が実行する各種制御プログラム、楽音分析プログラ
ムおよび楽音合成プログラムなどの各種プログラムを記
憶するプログラムメモリ、３は各種制御情報、後述する
各種のデータの記憶および一時記憶領域（バッファ）や
ワークエリアとして使用されるデータメモリ、４は表示
装置、５はキーボードおよびポインティングデバイスな
どの入力装置、６は鍵盤などの演奏操作子、７は楽音を
合成する楽音合成部（シンセサイズユニット）、８は楽
音波形サンプルをアナログ信号に変換し、図示しないサ
ウンドシステムに出力するデジタルアナログ変換器（Ｄ
ＡＣ）である。また、９は電話回線、インターネット、
ＬＡＮなどの通信ネットワーク１１と接続するためのネ
ットワークインターフェース回路、１０はシステムバス
である。なお、図示していないが、ＣＤ−ＲＯＭ、ＤＶ
Ｄ、ＭＯ、ＦＤなどの外部記憶媒体の駆動装置を接続し
てもよいことは当然である。

【０００９】前記楽音分析プログラムおよび楽音合成プ
ログラムは、いわゆる分析・再合成（Analysis & Resyn
thesis）方式の楽音合成を行なうものである。すなわ
ち、楽音波形をスペクトル解析してその楽音に含まれて
いる基音周波数およびその倍音周波数に対応する線スペ
クトル成分を抽出する。具体的には、分析対象となる音
響信号波形サンプルに時間窓を掛けてフーリエ分析を行
ない、振幅、位相、周波数のデータを得（短時間フーリ
エ分析（ＳＴＦ：Short Time Fourier analysis））、
該フーリエ分析出力の振幅データからピークを成す全て
の周波数位置を検出する処理を、前記時間窓を移動しな
がら行い、各フレームにおけるピークのうち軌跡をなす
ものを追跡する（以下、特に断りがない限り、この対象
音の短時間フーリエ分析からピーク追跡に至る処理をこ
こではＳＴＦ分析処理と呼ぶことにする）。そして、こ
のようにして得られた軌跡のうち、所望のデータを選択
し、それらを正弦波合成することにより、元の楽音波形
のうちの決定論的（確定的）成分（Deterministic成
分）波形を合成する。そして、前記元の楽音波形から、
このDeterministic成分波形を減算することにより、残
余（確率的、非決定論的）成分（Residual成分）波形を
得る。合成時には、前記軌跡のデータをモディファイし
て再合成することにより、Deterministic波形をモディ
ファイし、前記Residual波形については、イコライザな
どによる信号処理によりモディファイして、両者を加算
することにより所望の波形を得ることができる。

【００１０】次に、本発明の音響信号分析方法につい
て、図２〜５のフローチャートを参照して説明する。本
発明の音響信号分析方法は、共鳴音などの特定の成分音
を、該特定の成分音を含む音響信号波形データと含まな
い音響信号波形データから算出するものであり、その概
要は、まず、前記特定の成分音を含む音響信号波形デー
タと含まない音響信号波形データの両者を前述した短時
間フーリエ分析によりDeterministic成分とResidual成
分とに分離し、Deterministic成分については、特定の
成分音を含む波形の位相を特定の成分音を含まない波形
の位相に揃えて引き算し、Residual成分については、両
者のResidual成分を帯域フィルタ群により帯域分割し、
各帯域のエンベロープの差を使って引き算し、前記Dete
rministic成分の引き算結果と前記Residual成分の引き
算結果を加算することにより、前記特定の成分音のみの
音響信号波形を生成するものである。

【００１１】以下、特定の成分音としてピアノのダンパ
ーペダルをオンとしたときの共鳴音成分を含む楽音波形
サンプルデータ（P_kc_t_D.wave）とそのような共鳴音
成分を含まない通常押鍵時の楽音波形サンプルデータ
（P_KC_t_ND.wave）を入力として、前記ダンパーペダル
をオンとしたときの共鳴音成分波形を抽出する場合を例
にとって説明する。ここで、前記データの名称中の、Ｐ
は楽器名（ピアノ）を示し、ｋｃはキーコード（音
高）、ｔはタッチ、Ｄはダンパーペダルがオンであるこ
と、ＮＤはダンパーペダルがオフであることを示してい
る。図６は、このような入力データの一例を示す図であ
り、（ａ）はダンパーペダルをオンとしたときのピアノ
のＧ３音（P_3G_t_D.wave）、（ｂ）はダンパーペダル
が踏み込まれていないときのピアノのＧ３音（P_3G_t_N
D.wave）を示している。

【００１２】図２のステップＳ１において、まず、前記
両入力データの波形の頭出し処理、すなわち、両入力波
形データの時間軸を合わせる処理を行ない、両入力デー
タの不要区間を除いた波形データを生成する。この処理
は、例えば、入力データのうちの一方を基準とし、両者
の相関が最大となるように、他方の波形データのタイミ
ングを調節することにより行われる。ここでは、共鳴音
成分を含まない波形データ（P_KC_t_ND.wave）を基準に
共鳴音成分を含む波形データ（P_kc_t_D.wave）のタイ
ミングを調節するものとする。したがって、このステッ
プＳ１の時間軸合せ＆波形切り出し処理の結果、頭出し
された共鳴音成分を含む波形データ（P_kc_t_D_ASYNC.w
ave）が生成される。

【００１３】次に、ステップＳ２において、前記頭出し
された共鳴音成分を含む波形データ（P_kc_t_D_ASYNC.w
ave）と前記共鳴音成分を含まない波形データ（P_KC_t_
ND.wave）それぞれについて、先に述べた短時間フーリ
エ分析に基づくＳＴＦ分析処理が実行される。これによ
り、前述のように、前記共鳴音成分を含む波形データ
（P_kc_t_D_ASYNC.wave）をＳＴＦ分析したデータ（Ｓ
ＴＦデータ）（P_kc_t_D_ASYNC.stf）が生成され、その
軌跡をなすデータからDeterministic波形データ（P_kc_
t_D_ASYNC.det）が合成され、さらに、元の波形データ
から前記Deterministic波形データを減算することによ
りResidual波形データ（P_kc_t_D_ASYNC.res）が生成さ
れる。また、同様に、前記共鳴音成分を含まない波形デ
ータ（P_KC_t_ND.wave）から、ＳＴＦデータ（P_KC_t_N
D.stf）、Deterministic波形データ（P_KC_t_ND.de
t）、および、Residual波形データ（P_KC_t_ND.res）が
生成される。

【００１４】図７の（ａ）は前記図６の（ｂ）に示した
共鳴音成分を含まない楽音波形（P_3G_t_ND.wave）のＳ
ＴＦデータ（P_3G_t_ND.stf）を示し、図７の（ｂ）
は、前記図６の（ａ）に示した共鳴音成分を含む楽音波
形（P_3G_t_D.wave）を頭出しした楽音波形のＳＴＦデ
ータ（P_kc_t_D_ASYNC.stf）を示している。この図７の
（ａ）および（ｂ）に示すように、ＳＴＦ分析処理によ
り、各倍音成分ごとに、その振幅情報（すなわち、エン
ベロープの時間変化）およびその位相情報（すなわち、
ピッチの時間変動）を求めることができる。

【００１５】次に、このように生成された各データにも
とづいて、共鳴音成分のDeterministic波形およびResid
ual波形の抽出が行われる。まず、共鳴音成分のDetermi
nistic波形の抽出処理が行われる。共鳴音成分のDeterm
inistic波形を抽出するためには、共鳴音成分を含む波
形データのDeterministic波形から共鳴音成分を含まな
い波形データのDeterministic波形を減算すればよいの
であるが、前記図７の（ａ）および（ｂ）に示すよう
に、両波形の倍音成分は必ずしも一致していない。すな
わち、図７の（ａ）に示した共鳴音成分を含まない波形
においては、第１３倍音成分が含まれていないのに対
し、図７の（ｂ）に示した共鳴音成分を含む波形におい
ては、第１４倍音成分が含まれていない。したがって、
両波形のDeterministic波形成分同士の減算を行なうた
めには、両者に含まれている倍音成分を一致させること
が必要となる。

【００１６】そこで、図３のステップＳ３において、前
記各ＳＴＦデータ（P_kc_t_D_ASYNC.stfおよびP_kc_t_N
D.stf）からそれらに共通に含まれている倍音成分のみ
を抜き出して新たなＳＴＦデータ（P_kc_t_D_ASYNC_CO
M.stfおよびP_kc_t_ND_COM.stf）を作成する。このと
き、Deterministic波形データP_kc_t_D_ASYNC.det2およ
びP_kc_t_ND_.det2、ならびに、Residual波形データP_k
c_t_D_ASYNC.res2およびP_kc_t_ND.res2も作り直され
る。すなわち、Deterministic波形データは、それぞれ
第１２倍音までのデータを含むものとなり、残された倍
音成分（第１３倍音成分あるいは第１４倍音成分）は、
それぞれ、Residual波形に移行される。具体的には、そ
れぞれ、前記共通の倍音成分を有する新たなＳＴＦデー
タに基づいて、それぞれ、新たなDeterministic波形デ
ータを合成する。そして、この再合成された波形データ
をそれぞれの元波形データから減算してそれぞれ対応す
る新たなResidual波形データを求める。

【００１７】前記図７に示した例においては、各ＳＴＦ
データから第１２倍音までを含む新たなＳＴＦデータ
（P_3G_t_D_ASYNC_COM.stfおよびP_3G_t_ND_COM.st
f）、Deterministic波形データ（P_3G_t_D_ASYNC.det2
およびP_3G_t_ND.det2）、および、Residual波形データ
（P_3G_t_D_ASYNC.res2およびP_3G_t_ND.res2）を生成
する。このとき、新たなＳＴＦデータに含まれなかった
第１３倍音あるいは第１４倍音のDeterministic成分
は、それぞれResidual成分の中に移行されることとな
る。図８の（ａ）および（ｂ）は、このようにして生成
された新たなＳＴＦデータ（P_3G_t_D_ASYNC_COM.stfお
よびP_3G_t_ND_COM.stf）を示している。この図８の
（ａ）と（ｂ）とを比較すると明らかなように、新たに
生成されたＳＴＦデータは、ともに第１２倍音までのデ
ータとなっている。

【００１８】このように共通の倍音成分のみを含む新た
なＳＴＦデータを生成した後、ステップＳ４（図３）に
進み、共鳴音を含む楽音の振幅情報と共鳴音を含まない
楽音の位相情報を持つ波形データを生成する。すなわ
ち、前記P_kc_t_D_COM.stfの振幅情報と前記P_kc_t_ND_
COM.stfの位相情報（周波数情報）を用いて、再合成を
行ない、共鳴音を含む波形データP_kc_T_D.det#を生成
する。この処理により、得られた共鳴音を含む波形デー
タP_kc_T_D.det#から前記作り直した共鳴音を含まないD
eterministic波形データ（P_kc_t_ND_.det2）を減算し
て得られる波形データは、位相を揃えて減算しているた
め、前記元の共鳴音を含む波形データ（P_kc_t_D_ASYN
C.det2）から前記作り直した共鳴音を含まないDetermin
istic波形データ（P_kc_t_ND_.det2）を減算して得られ
たデータと比較して、振幅の差のみを含むものとなって
いる。

【００１９】このようにして求めた波形データは、これ
を前記共鳴音を含まないDeterministic波形データ（P_k
c_t_ND_.det2）に加算することにより、前記共鳴音を含
む波形データP_kc_T_D.det#となるのであるから、この
波形をそのまま共鳴音のDeterministic波形として使用
することもできる。しかしながら、この場合には、この
波形を前記元の共鳴音を含まない波形データ（P_kc_t_N
D.det2）に加算したときに、元の音のアタック部にも波
形データが加算されてしまうこととなるので、アタック
部分でフェードインするように変更する。図３のステッ
プＳ５において、このアタック部に含まれる成分音の処
理が行われる。

【００２０】図５は、このアタック部に含まれる成分音
の処理の内容を示すフローチャートである。図５のステ
ップＳ１１において、まず、前記共鳴音を含まないResi
dual波形（P_kc_t_ND.res2）を調べる。図９は、この例
における共鳴音を含まないResidual波形データP_3G_t_N
D.res2を示す図である。この例では、図９に示すよう
に、立上がりから約２００ｍｓの期間には、鍵盤を押し
たときに鍵盤下部が鍵盤を保持する棚板に当たり発生す
る震動音（棚板音）が含まれていることがわかる。周知
のように、ピアノでは、概略、押鍵操作開始→棚板音
（下死点到達）→共鳴音（上死点到達）→ハンマー打撃
（弦震動音）というシーケンスとなる。したがって、こ
の棚板音の部分については、共鳴音を含まないようにし
て、元の音を保持するようにしている。

【００２１】このステップＳ１１において、アタック部
分のチェックをした結果、棚板音などの重畳成分音が含
まれていないときには、ステップＳ１２の判断結果がＮ
Ｏとなり、ステップＳ１４に進む。一方、前記図９に示
した例のように、重畳成分音が含まれているときには、
ステップＳ１３に進み、その重畳成分音（棚板音）の含
まれている区間時間Ｔｎを計測する。図９に示した例で
は、この区間時間Ｔｎは２００ｍｓとなる。そして、ス
テップＳ１４に進み、前記区間時間Ｔｎ経過後の時刻か
ら所定時間区間Ｔｘ（例えば、１００ｍｓ）で、前記P_
kc_t_ND_COM.stfと前記P_kc_t_D_COM.stfとをクロスフ
ェード処理して、新たなＳＴＦデータP_kc_t_XF.stf2を
生成する。図示した例では、アタックの開始時点からＴ
ｎ（２００ｍｓ）までは、前記共鳴音を含まないＳＴＦ
データP_kc_t_ND_COM.stfとし、ＴｎからＴｘの時間、
すなわち、２００ｍｓから３００ｍｓまでの時間で、前
記共鳴音を含まないＳＴＦデータP_3G_t_ND_COM.stfか
ら前記共鳴音を含むＳＴＦデータP_3G_t_D_COM.stfにフ
ェードインを行ない、３００ｍｓ以降の区間では共鳴音
を含むＳＴＦデータP_3G_t_D_COM.stfとなるような、新
たなＳＴＦデータP_3G_t_XF.stf2を生成する。

【００２２】このようにして、このステップＳ５（図
３）において、棚板音の区間は共鳴音を含まず、その後
共鳴音を含む楽音のＳＴＦデータP_3G_t_XF.stf2が生成
される。そして、ステップＳ６に進み、共鳴音のDeterm
inistic波形データP_kc_t_DMP.detを生成する。この処
理は、前記ステップＳ５において生成したＳＴＦデータ
P_3G_t_XF.stf2からDeterministic波形データを再合成
し、この再合成したDeterministic波形データを前記共
鳴音を含まないDeterministic波形データP_kc_t_ND.det
2から減算することにより、共鳴音の倍音成分Determini
stic波形データP_kc_t_DMP.detを生成する処理である。
図１０は、このようにして生成されたピアノのＧ３音の
Deterministic波形データP_3G_t_DMP.detを示してい
る。以上により、共鳴音成分のDeterministic波形デー
タを得ることができた。

【００２３】次に、共鳴音成分のResidual波形データの
抽出について説明する。共鳴音（全弦開放状態での響
き）は、多数の異なる音高の弦の微妙な振動の重なりや
干渉に基づくものであり、共鳴音を含む楽音のResidual
波形と共鳴音を含まない楽音のResidual波形の差を単純
にとるだけでは、自然な共鳴感のある楽音を得ることが
できない。そこで、本発明においては、次に説明するよ
うに、帯域分割を行ない、Residual波形データを抽出す
るようにしている。Residual波形データを抽出するため
に、本発明では、共鳴音を含む楽音のResidual波形デー
タと共鳴音を含まない楽音のResidual波形データそれぞ
れについて帯域フィルタ群（帯域フィルタバンク）を用
いて各帯域毎のエンベロープを求め、該エンベロープ同
士の引き算を行ない、その結果を前記共鳴音を含む楽音
のResidual波形に乗算するという処理を行なう。

【００２４】図４のステップＳ７において、前記共鳴音
を含む楽音のResidual波形データ（P_kc_t_D_ASYNC.res
2）と前記共鳴音を含まない楽音のResidual波形データ
（P_kc_t_ND.res2）それぞれを帯域分割し、各帯域毎の
Residual成分波形データを求め、該各帯域毎のResidual
成分波形データからそれぞれ振幅エンベロープを生成す
る。図１１は、この帯域分割に用いられる帯域フィルタ
バンクの特性の一例を示す図であり、ここでは、この図
１１に示すような、対数間隔で設定された周波数間隔を
有する中心周波数の異なる複数個のバンドパスフィルタ
からなる帯域フィルタバンクを用いて、（ａ）〜（ｅ）
に５つの帯域に分割するものとして説明する。なお、分
割帯域数は、これに限らず、任意の数とすることができ
る。

【００２５】前記共鳴音を含む楽音のResidual波形デー
タ（P_kc_t_D_ASYNC.res2）を帯域フィルタバンクに通
すことにより、各帯域毎のResidual波形データ（P_kc_t
_D_res2_B1.res、…、P_kc_t_D_res2_Bn.res）が得られ
る。そして、該得られた各帯域毎のResidual波形データ
から、それぞれ、その振幅エンベロープ（P_kc_t_D_res
2_B1.env、…、P_kc_t_D_res2_Bn.env）を算出する。ま
た、前記共鳴音を含まない楽音のResidual波形データ
（P_kc_t_ND.res2）を前記帯域フィルタバンクに通すこ
とにより、各帯域毎のResidual波形データ（P_kc_t_ND_
res2_B1.res、…、P_kc_t_ND_res2_Bn.res）を求める。
そして、該各帯域毎のResidual波形データから、それぞ
れの振幅エンベロープ（P_kc_t_ND_res2_B1.env、…、P
_kc_t_ND_res2_Bn.env）を算出する。

【００２６】図１２の（ａ）〜（ｅ）は、共鳴音を含む
前記P_3G_t_D_ASYNC.res2を前記図１１に示した帯域フ
ィルタバンクに入力したときの各帯域毎の波形データ、
P_3G_t_D_res2_B1.res〜P_3G_t_D_res2_B5.resを示して
いる。また、図１３の（ａ）〜（ｅ）は、前記図１２に
示した各帯域毎のResidual波形データの振幅エンベロー
プP_3G_t_D_res2_B1.env〜P_3G_t_D_res2_B5.envを示し
ている。なお、この振幅エンベロープは、それぞれ、そ
の最大値を１００とするように正規化して示している。
さらに、図１４の（ａ）〜（ｅ）は、共鳴音を含まない
前記P_3G_t_ND.res2を前記図１１に示した帯域フィルタ
バンクに入力したときの各帯域毎のResidual波形データ
P_3G_t_ND_res2_B1.res〜P_3G_t_ND_res2_B5.resを示し
ており、図１５の（ａ）〜（ｅ）は、該各帯域毎のResi
dual波形データP_3G_t_ND_res2_B1.res〜P_3G_t_ND_res
2_B5.resからそれぞれ算出した各帯域毎の振幅エンベロ
ープP_3G_t_ND_res2_B1.env〜P_3G_t_ND_res2_B5.envを
示している。

【００２７】このようにして求めた共鳴音を含む楽音の
各帯域毎のResidual波形の振幅エンベロープ（図１３）
をターゲットとし、共鳴音を含まない楽音の各帯域毎の
振幅エンベロープ（図１５）をリファレンスとして、同
じ帯域同士の減算をすればよいのであるが、このまま減
算を行なった結果を用いると、この結果（ターゲット）
−（リファレンス）をリファレンスに加算したときに、
リファレンスのアタック部を劣化させてしまう可能性が
ある。また、響きの楽音の引き算を行なうという意味か
らも、ここでは、アタック部については引き算は行なわ
ず、そのまま保存することとしている。そのため、各エ
ンベロープの立上がりをマスクしたのち、引き算を行な
うようにしている。

【００２８】図４のステップＳ８は、このマスク処理を
行なうものであり、各エンベロープP_3G_t_D_res2_B1.e
nv〜P_3G_t_D_res2_B5.env、P_3G_t_ND_res2_B1.env〜P
_3G_t_ND_res2_B5.envそれぞれについて、時刻０〜最大
レベル到達時間までの区間（アタック区間）のエンベロ
ープを最大値（１００）に変更する処理を行なう。図１
６は、このステップＳ８によりマスク処理が行われた共
鳴音を含むResidual波形（ターゲット）の各帯域毎の振
幅エンベロープ（P_3G_t_D_res2_B1.env#〜P_3G_t_D_re
s2_B5.env#）を示す図であり、図１７は、同じくマスク
処理が行われた共鳴音を含まないResidual波形（リファ
レンス）の各帯域毎の振幅エンベロープP_3G_t_ND_res2
_B1.env#〜P_3G_t_ND_res2_B5.env#を示す図である。

【００２９】次に、ステップＳ９に進み、前記ステップ
Ｓ８においてマスク処理された各帯域毎の振幅エンベロ
ープから各帯域毎の共鳴音のエンベロープ（P_kc_t_RS_
B1.env〜P_kc_t_RS_B5.env）を算出する。この計算は、
次の式（１）に基づいて実行される。

【数１】 この式（１）により得られるエンベロープP_kc_t_RS_B
1.env〜P_kc_t_RS_B5.envは、各帯域における共鳴音の
差によるエンベロープであると考えられる。

【００３０】次に、ステップＳ１０に進み、前記ステッ
プＳ９において算出した各帯域毎の共鳴音のエンベロー
プを対応する各帯域毎のターゲットの波形データ、すな
わち、共鳴音を含む楽音の波形データP_kc_t_D_res2_B
x.res （x=1,2,...,n）と乗算して、各帯域毎の差の波
形データP_kc_t_RS_Bx.wave（x=1,2,...,n）を求める。

【数２】 図１８の（ａ）〜（ｅ）は、このようにして算出した、
前述した例における各帯域毎の共鳴音成分のResidual波
形データ（P_kc_t_RS_B1.wave〜P_kc_t_RS_B5.wave）を
示している。

【００３１】そして、このようにして算出した各帯域毎
の共鳴音成分のResidual波形データを加算した後、係数
Ｐsrを乗算して、共鳴音成分のResidual波形データ（P_
kc_t_DMP.res）を算出する。すなわち、

【数３】 ここで、係数Prsは、共鳴音を含む楽音のResidual波形
（ターゲット）と共鳴音を含まない楽音のResidual波形
（リファレンス）の差のパワーと、これまでのステップ
で算出した共鳴音のResidual波形のパワーとを一致させ
るために乗ぜられる係数である。図１９は、このように
して算出されたピアノのＧ３音の共鳴音成分のResidual
波形データ（P_3G_t_DMP.res）を示す図である。

【００３２】このようにして、共鳴音成分のResidual波
形データを得ることができた。次に、前記ステップＳ６
で求めた共鳴音成分のDeterministic波形データ（図１
０）と前記共鳴音成分のResidual波形データ（図１９）
とを加算して、共鳴音成分P_kc_t_DMP.waveを算出す
る。すなわち、

【数４】 図２０は、このようにして算出したピアノのＧ３音の共
鳴音成分（P_G3_t_DMP.wave）を示す図である。このよ
うにして、共鳴音成分を抽出することができた。

【００３３】図２１は、このようにして抽出した共鳴音
成分を楽音生成に使用する場合の例を示す概念図であ
る。この図において、２１は前述した共鳴音成分を含ま
ない楽音波形データ（P_kc_t_ND.wave）、２２は前述の
ようにして抽出した共鳴音成分の波形データ（P_kc_t_D
MP.wave）、２３は利得調節器であり、図示するよう
に、ダンパーペダルの踏み込み量によりゲインが制御さ
れるようになされている。また、２４は前記共鳴音成分
を含まない楽音波形データ（P_kc_t_ND.wave）２１と前
記共鳴音成分の波形データ（P_kc_t_DMP.wave）とを加
算して出力する加算器である。このように、ダンパーペ
ダルの踏み込み量に応じた重みを付けられた共鳴音成分
を共鳴音成分を含まない楽音波形に加算することによ
り、自然な共鳴音を有する楽音波形を生成することがで
きる。特に、微妙なペダルのコントロールに応じて音の
響き具合を変化させたり、打鍵した後からペダルが踏ま
れた場合の共鳴効果を再現することが可能となる。

【００３４】なお、以上においては、特定の成分音とし
て、共鳴音成分、特に、ダンパーペダルを操作したとき
の共鳴音成分を例にとって説明したが、本発明の楽音分
析方法は、これに限られることはなく、タッチの異なる
楽音、例えば、ｆｆ（フォルテッシモ）とｍｆ（メゾフ
ォルテ）の楽音とを分析対象として、ｆｆ−ｍｆの楽音
波形を作成して、タッチの違いによる成分音を抽出する
ようにするなど、各種の場合に適用することができる。
また、楽音に限らず、２つあるいは複数の音響信号を対
象として、一方には含まれず、他方には含まれているよ
うな特定の成分音を抽出する場合に同様に適用すること
ができる。さらに、上述においては、楽音分析合成装置
において実行するものとして説明したが、本発明の音響
信号分析方法は、汎用のコンピュータ上のソフトウエア
として実現することもでき、あるいは、専用のハードウ
エア構成として実現することも可能である。

【００３５】

【発明の効果】以上説明したように、本発明の音響信号
分析方法によれば、特定の成分音を含む音響信号と特定
の成分音を含まない音響信号とから、前記特定の成分音
を含まない音響信号と加算しても不自然さの無い特定の
成分音を抽出することが可能となる。

【図面の簡単な説明】

【図１】 本発明の音響信号分析方法が適用される装置
の構成例を示すブロック図である。

【図２】 本発明の音響信号分析方法を説明するための
フローチャートその１である。

【図３】 本発明の音響信号分析方法を説明するための
フローチャートその２である。

【図４】 本発明の音響信号分析方法を説明するための
フローチャートその３である。

【図５】 アタック部に含まれる成分音の処理を説明す
るための図である。

【図６】 処理対象となる楽音波形の例を示す図であ
り、（ａ）は共鳴音成分を含む楽音波形、（ｂ）は共鳴
音成分を含まない楽音波形である。

【図７】 処理対象となる楽音波形の短時間フーリエ分
析結果を示す図であり、（ａ）は共鳴音成分を含まない
楽音波形の分析結果、（ｂ）は共鳴音成分を含む楽音波
形の分析結果である。

【図８】 図７の結果から、共通の倍音成分を抜きだし
た結果を示す図であり、（ａ）は共鳴音成分を含まない
楽音、（ｂ）は共鳴音成分を含む楽音である。

【図９】 共鳴音を含まないResidual波形データを示す
図である。

【図１０】 共鳴音成分のDeterministic波形データを
示す図である。

【図１１】 帯域フィルタバンクの特性の例を示す図で
ある。

【図１２】 共鳴音成分を含む楽音のResidual成分を帯
域フィルタバンクに通したときの各帯域の出力波形を示
す図である。

【図１３】 図１２の出力の振幅エンベロープを示す図
である。

【図１４】 共鳴音成分を含まない楽音のResidual成分
を帯域フィルタバンクに通したときの各帯域の出力波形
を示す図である。

【図１５】 図１４の出力波形の振幅エンベロープを示
す図である。

【図１６】 図１３の振幅エンベロープにマスク処理を
施した結果を示す図である。

【図１７】 図１５の振幅エンベロープのマスク処理を
施した結果を示す図である。

【図１８】 共鳴音成分のResidual波形の各帯域毎の成
分を示す図である。

【図１９】 算出された共鳴音成分のResidual波形を示
す図である。

【図２０】 抽出された共鳴音成分の波形を示す図であ
る。

【図２１】 本発明の音響信号分析方法により抽出され
た共鳴音成分を使用するときの概念図である。

【符号の説明】

１ ＣＰＵ、２ プログラムメモリ、３ データメモ
リ、４ 表示装置、５入力装置、６ 演奏操作子、７
楽音合成部、８ ＤＡＣ、９ ネットワークインターフ
ェース、１０ システムバス、１１ 通信ネットワーク

Claims (3)

【特許請求の範囲】
1. 【請求項１】 特定の成分音を含む第１の音響信号と前
   記特定の成分音を含まない第２の音響信号とから、前記
   特定の成分音を抽出する音響信号分析方法であって、 前記第１の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得るステップと、 前記第２の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得るステップと、 前記第１の音響信号の振幅情報と前記第２の音響信号の
   位相情報とにより、第３の音響信号波形を生成するステ
   ップと、 該第３の音響信号波形と前記第２の音響信号波形とから
   前記特定の成分音波形の決定論的成分を求めるステップ
   とを有することを特徴とする音響信号分析方法。
2. 【請求項２】 特定の成分音を含む第１の音響信号と前
   記特定の成分音を含まない第２の音響信号とから、前記
   特定の成分音を抽出する音響信号分析方法であって、 前記第１の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得るステップと、 前記第２の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得るステップと、 前記第１の音響信号の振幅情報と位相情報および前記第
   ２の音響信号の振幅情報と位相情報から、それぞれ、前
   記第１の音響信号波形と前記第２の音響信号波形に共通
   して含まれている倍音成分を抜き出した結果に基づい
   て、第３の音響信号波形を生成するステップと、 前記第３の音響信号波形と前記第２の音響信号波形とか
   ら前記特定の成分音波形の決定論的成分を求めるステッ
   プとを有することを特徴とする音響信号分析方法。
3. 【請求項３】 特定の成分音を含む第１の音響信号と前
   記特定の成分音を含まない第２の音響信号とから、前記
   特定の成分音を抽出する音響信号分析方法であって、 前記第１の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得る第１のステップと、 前記第２の音響信号波形をスペクトル分析し、その振幅
   情報と位相情報とを得る第２のステップと、 前記第１の音響信号波形から、前記第１の音響信号波形
   と前記第２の音響信号波形に共通して含まれている倍音
   成分を抜き出した結果に基づいて、前記特定の成分音を
   含む第３の音響信号波形を生成する第３のステップと、 前記第２の音響信号波形から、前記第１の音響信号波形
   と前記第２の音響信号波形に共通して含まれている倍音
   成分を抜きだした結果に基づいて、前記特定の成分音を
   含まない第４の音響信号波形を生成する第４のステップ
   と、 前記第３の音響信号波形のうちの非決定論的成分波形の
   複数の帯域毎の成分を求める第５のステップと、 前記第４の音響信号波形のうちの非決定論的成分波形の
   複数の帯域毎の成分を求める第６のステップと、 前記第５のステップと前記第６のステップにより求めら
   れた前記各帯域毎の成分から前記特定の成分音の非決定
   論的成分波形を求めるステップとを有することを特徴と
   する音響信号分析方法。