JP2006005807A - 音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラム - Google Patents

Abstract

【課題】 音響信号に含まれる、非調波構造の所定の音成分を、他の音成分に影響を与えずに独立的に増減させることができる音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラムを提供する。
【解決手段】 音響信号に含まれる、非調波構造の所定の音成分を抽出し、抽出した前記所定の音成分を増減する。その際、周波数分析により音響信号のスペクトルを算出し、非調波構造の所定の音成分に対応するスペクトルを抽出及び増減する。また、非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分に基づいて行う。その際、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する。
【選択図】 図１

Description

本発明は、音響信号に含まれる、非調波構造の所定の音成分を増減させる音響信号処理方法、音響信号処理装置、音響信号処理システム、及び、音響信号に含まれる、非調波構造の所定の音成分をコンピュータに増減させるコンピュータプログラムに関する。

スピーカから出力される音楽などの音響信号を調整する手段として、グラフィックイコライザ（以下、イコライザという）が広く用いられている（例えば、特許文献１参照）。イコライザを用いることにより、例えばＣＤ（Compact Disk）から再生した音響信号を周波数分析し、特定周波数領域のスペクトルを増減させることができる。例えばスピーカから出力される音響信号に含まれるバスドラム音を強調する場合は、低周波数領域のスペクトルを増加させる。
特開平５−１７５７７３号公報

ただし、音楽演奏は複数楽器を用いて行われる場合が多く、音響信号は複数の楽器音を含む場合が多い。そのため、音響信号の特定周波数領域のスペクトルを増減した場合、前記特定周波数領域にスペクトルを有する複数の楽器音が増減することが多い。例えば、バスドラムを強調しようとして低周波数領域のスペクトルを増加させた場合、バスドラム音が増加するだけでなく、前記低周波数領域にスペクトルを有する例えばベースギター音などの他の楽器の音も増加することになる。

このように、イコライザは音響信号の特定周波数領域のスペクトルを増減しているため、前記特定周波数領域にスペクトルを有する全ての楽器音が増減されてしまう。そのため、例えばベースギター音に影響を与えずにバスドラム音を増減させるなど、他の楽器音に影響を与えずに特定の楽器音を増減させることはできないという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、音響信号に含まれる、非調波構造の所定の音成分を抽出して増減させることにより、音響信号に含まれる前記所定の音成分を、他の音成分に影響を与えずに独立的に増減させることができる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを目的とする。

また、本発明は、周波数分析により音響信号のスペクトルを算出させることにより、スペクトル分布に基づいて、音響信号からドラム音などの非調波構造の音を抽出することができる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを他の目的とする。

また、本発明は、抽出した音成分とテンプレートの音成分との差が所定値以下になるように前記テンプレートの音成分を補正させることにより、ドラム音などの非調波構造の音の抽出精度を向上させることができる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを他の目的とする。

また、本発明は、抽出した各音成分と前記テンプレートの音成分との差の小さい方から所定数の音成分を選択し、前記テンプレートの音成分を、選択した所定数の音成分の中央値に更新することにより、非調波構造でない音成分のスペクトルが抑制されたテンプレートを得ることができる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを他の目的とする。

また、本発明は、テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化することにより、両者が類似している場合に大きな差が算出されることを抑制できる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを他の目的とする。

また、本発明は、受付けた増減量に応じて、前記抽出した所定の音成分を増減することにより、音響信号の音量とは別に、前記抽出した所定の音成分の音量を独立的に調整することができる音響信号処理方法、音響信号処理装置及びコンピュータプログラムを提供することを他の目的とする。

また、本発明は、非調波構造の所定の音成分の抽出処理と増減処理とを異なる装置で行うことにより、負荷を効率的に分散することができる音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラムを提供することを他の目的とする。

第１発明に係る音響信号処理方法は、音響信号に含まれる、非調波構造の所定の音成分を抽出するステップと、抽出した所定の音成分を増減するステップとを有することを特徴とする。

第２発明に係る音響信号処理方法は、第１発明において、周波数分析により音響信号のスペクトルを算出するステップを有し、前記抽出するステップは、非調波構造の所定の音成分に対応するスペクトルを抽出することを特徴とする。

第３発明に係る音響信号処理方法は、第１又は第２発明において、非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分を参照して行われており、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正するステップを有することを特徴とする。

第４発明に係る音響信号処理方法は、予め記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出を行う音響信号処理方法において、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正するステップを有することを特徴とする。

第５発明に係る音響信号処理方法は、第３又は第４発明において、前記補正するステップは、抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を算出するステップと、算出した差の小さい方から所定数の音成分を選択するステップと、前記テンプレートの音成分を、選択した所定数の音成分の中央値に更新するステップとを有することを特徴とする。

第６発明に係る音響信号処理方法は、第５発明において、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化するステップを有し、前記差を算出するステップは、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差を算出することを特徴とする。

第７発明に係る音響信号処理方法は、第１〜第６発明の何れかにおいて、前記所定の音成分の増減量を受付けるステップを有し、前記増減するステップは、受付けた増減量に応じて、前記抽出した所定の音成分を増減することを特徴とする。

第８発明に係る音響信号処理方法は、音響信号に含まれる、非調波構造の所定の音成分を抽出するステップと、前記音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力するステップと、出力された時刻情報、前記所定の音成分、及び、前記音響信号を受付けるステップと、受付けた時刻情報に基づいて、前記受付けた音響信号に含まれる前記受付けた音成分を増減させるステップとを有することを特徴とする。

第９発明に係る音響信号処理装置は、音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、該抽出手段が抽出した所定の音成分を増減させる増減手段とを備えることを特徴とする。

第１０発明に係る音響信号処理装置は、第９発明において、周波数分析により音響信号のスペクトルを算出する算出手段を備え、前記抽出手段は非調波構造の所定の音成分に対応するスペクトルを抽出するように構成されていることを特徴とする。

第１１発明に係る音響信号処理装置は、第９又は第１０発明において、非調波構造の所定の音成分の抽出は、予め記憶部に記憶されているテンプレートの音成分を参照して行われており、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する補正手段を備えることを特徴とする。

第１２発明に係る音響信号処理装置は、予め記憶部に記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出を行う音響信号処理装置において、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する補正手段を備えることを特徴とする。

第１３発明に係る音響信号処理装置は、第１１又は第１２発明において、前記補正手段は、前記抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を求める減算手段と、該減算手段が求めた差の小さい方から所定数の音成分を選択する選択手段と前記テンプレートの音成分を、前記選択手段が選択した所定数の音成分の中央値に更新する更新手段とを備えることを特徴とする。

第１４発明に係る音響信号処理装置は、第１３発明において、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化する量子化手段を備え、前記減算手段は、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差を求めるように構成されていることを特徴とする。

第１５発明に係る音響信号処理装置は、第９〜第１４発明の何れかにおいて、前記所定の音成分の増減量を受付ける受付手段を備え、前記増減手段は、受付けた増減量に応じて、前記抽出した所定の音成分を増減するように構成されていることを特徴とする。

第１６発明に係る音響信号処理システムは、音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、該抽出手段が音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力する出力手段とを有する第１の音響信号処理装置と、第１の音響信号処理装置から出力された時刻情報、前記所定の音成分、及び、前記音響信号を受付ける受付手段と、該受付手段が受付けた時刻情報に基づいて、前記受付けた音響信号に含まれる前記受付けた音成分を増減させる増減手段とを有する第２の音響信号処理装置と備えることを特徴とする。

第１７発明に係る音響信号処理装置は、音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力する出力手段とを備えることを特徴とする。

第１８発明に係る音響信号処理装置は、音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号情報を受付ける受付手段と、該受付手段が受付けた時刻情報に基づいて、受付けた音響信号に含まれる前記受付けた音成分を増減させる増減手段とを備えることを特徴とする。

第１９発明に係るコンピュータプログラムは、コンピュータに、音響信号に含まれる、非調波構造の所定の音成分を抽出させる手順と、コンピュータに、抽出した所定の音成分を増減させる手順とを含むことを特徴とする。

第２０発明に係るコンピュータプログラムは、第１９発明において、コンピュータに、周波数分析により音響信号のスペクトルを算出させる手順を含み、前記抽出させる手順は、非調波構造の所定の音成分に対応するスペクトルをコンピュータに抽出させることを特徴とする。

第２１発明に係るコンピュータプログラムは、第１９又は第２０発明において、非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分を参照して行われており、コンピュータに、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正させる手順を含むことを特徴とする。

第２２発明に係るコンピュータプログラムは、予め記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出をコンピュータに行わせるコンピュータプログラムにおいて、コンピュータに、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正させる手順を含むことを特徴とする。

第２３発明に係るコンピュータプログラムは、第２１又は第２２発明において、前記補正させる手順は、コンピュータに、抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を算出させる手順と、コンピュータに、算出した差の小さい方から所定数の音成分を選択させる手順と、コンピュータに、前記テンプレートを、選択した所定数の音成分の中央値に更新させる手順とを含むことを特徴とする。

第２４発明に係るコンピュータプログラムは、第２３発明において、コンピュータに、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化させる手順を含み、前記差を算出させる手順は、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差をコンピュータに算出させることを特徴とする。

第２５発明に係るコンピュータプログラムは、第１９〜第２４発明の何れかにおいて、コンピュータに、前記所定の音成分の増減量を受付けさせる手順を含み、前記増減させる手順は、受付けた増減量に応じて、前記抽出した所定の音成分をコンピュータに増減させることを特徴とする。

第２６発明に係るコンピュータプログラムは、コンピュータに、音響信号に含まれる、非調波構造の所定の音成分を抽出させる手順と、コンピュータに、前記音響信号から前記非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力させる手順とを含むことを特徴とする。

第２７発明に係るコンピュータプログラムは、コンピュータに、音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号情報を受付けさせる手順と、コンピュータに、受付けた時刻情報に基づいて、受付けた音響信号に含まれる前記受付けた音成分を増減させる手順とを含むことを特徴とする。

第１、第９、第１９発明においては、音響信号に含まれる、非調波構造の所定の音成分を抽出させる。非調波構造の音としては、例えばドラムなどの打楽器の音がある。そして、音響信号に対し、抽出した前記所定の音成分を増減させる。例えば抽出したドラムの音成分を増加させた場合はドラム音を強調することができ、抽出したドラムの音成分を減少させた場合はドラム音をキャンセルすることができる。音響信号に含まれる前記所定の音成分を抽出し、他の音成分に影響を与えずに独立的に増減させることができる。

第２、第１０、第２０発明においては、周波数分析により音響信号のスペクトルを算出させる。ドラムなどの打楽器の音は、調波構造をほとんど有していない非調波構造であるが、他の楽器の音は調波構造である。そのため、ドラムなどの打楽器の非調波構造の音は、スペクトル分布に基づいて、他の楽器の調波構造の音と区別することが可能である。よって、スペクトル分布に基づいて、音響信号からドラムなどの打楽器の非調波構造の音を抽出することができる。

第３、第４、第１１、第１２、第２１、第２２発明においては、非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分に基づいて行う。例えばドラム音を抽出する場合はドラム音のテンプレートを予め記憶しておく。ただし、音響信号に含まれているドラム音と予め記憶したテンプレートのドラム音とは、全く同じである可能性は低く、僅かに異なっている場合が多い。そこで、抽出した音成分とテンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する。これにより、音響信号に含まれているドラム音と予め記憶したテンプレートのドラム音とがほぼ同じになり、ドラム音の抽出精度が向上すると共に、抽出したドラム音の増減を正確に行うことができる。また、１つのテンプレートに基づいて種々のドラム音の抽出を行うことが可能になる。

第５、第１３、第２３発明においては、抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を算出し、算出した差の小さい方から所定数の音成分を選択する。そして、前記テンプレートの音成分を、選択された所定数の音成分の中央値に更新して、前記テンプレートを補正する。非調波構造の音成分のスペクトル構造は、選択した音成分の同じ位置に現れる可能性が高い。一方、調波構造の音成分のスペクトル構造は、選択した音成分の同じ位置に現れる可能性は低い。よって、中央値を求めた場合、非調波構造のスペクトル構造は保持される可能性が高いが、例えばドラムなどの打楽器音以外の調波構造の楽器音は保持される可能性は低く、非調波構造でない音成分のスペクトルを抑制することができる。

第６、第１４、第２４発明においては、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化し、量子化後の前記抽出した各音成分と前記テンプレートの音成分との差を算出する。例えば音響信号に含まれているドラム音とテンプレートのドラム音とが全く同じ可能性は低く、テンプレートの補正を行っていない状態では、類似している場合であっても大きな差が生じ易い傾向にある。抽出した音成分と前記テンプレートの音成分とを量子化することにより、中央値などの代表値を用いて差を求めるため、類似している場合に大きな差が算出されることを抑制できる。

第７、第１５、第２５発明においては、所定の音成分の増減量を受付け、受付けた増減量に応じて、前記抽出した所定の音成分を増減する。例えば、音響信号の音量ボリュームと同様に、増減ボリュームで増減量を受付けることが可能である。ユーザは、増減ボリュームを調整して、音響信号の音量とは別に、前記抽出した所定の音成分の音量を独立的に調整することができる。

第８、第１６、第１７、第１８、第２６、第２７発明においては、第１の音響処理装置において、音響信号に含まれる、非調波構造の所定の音成分を抽出し、非調波構造の所定の音成分を音響信号から抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力する。出力は、記録媒体に記録したり、通信ネットワークに送信することが可能である。そして、第２の音声信号処理装置において、出力された時刻情報、前記所定の音成分、及び、前記音響信号を受付け、受付けた時刻情報に基づいて、前記受付けた音響信号に含まれる前記受付けた音成分を増減させる。前記受付は、記録媒体で受付けたり、通信ネットワークから受信することが可能である。非調波構造の所定の音成分の抽出は負荷が大きいため、高性能のコンピュータなどで処理することが好ましい。一方、所定の音成分の増減は負荷が小さいため、一般的なオーディオ装置などで処理することが可能である。このように、負荷を効率的に分散することができると共に、性能の低いオーディオ装置であっても非調波構造の所定の音成分の増減を行うことが可能になる。

第１、第９、第１９発明によれば、音響信号に含まれる、非調波構造の所定の音成分を、他の音成分に影響を与えずに独立的に増減させることができる。

第２、第１０、第２０発明によれば、スペクトル分布に基づいて、音響信号からドラム音などの非調波構造の音を抽出することができる。

第３、第４、第１１、第１２、第２１、第２２発明によれば、ドラム音などの非調波構造の音の抽出精度が向上すると共に、抽出したドラム音の増減を正確に行うことができる。また、１つのテンプレートで種々のドラム音などの非調波構造の音の抽出を行うことが可能になる。

第５、第１３、第２３発明によれば、非調波構造でない音成分のスペクトルが抑制されたテンプレートを得ることができる。

第６、第１４、第２４発明によれば、抽出した音成分と前記テンプレートの音成分とが類似している場合に大きな差が算出されることを抑制できる。

第７、第１５、第２５発明によれば、音響信号の音量とは別に、前記抽出した所定の音成分の音量を独立的に調整することができる。

第８、第１６、第１７、第１８、第２６、第２７発明によれば、非調波構造の所定の音成分の抽出処理と増減処理とを異なる装置で行うことにより、負荷を効率的に分散し、一般的なオーディオ装置などで非調波構造の所定の音成分の増減を行うことが可能になる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。図１は、本発明に係るコンピュータ（音響信号処理装置）の構成例を示すブロック図である。コンピュータ１０は、ＣＰＵ（Central Processing Unit）１１と、ＤＲＡＭ等のＲＡＭ（Random Access Memory）１２と、ハードディスクドライブ（以下、ハードディスクという）１３と、フレキシブルディスクドライブ又はＣＤ−ＲＯＭドライブ等の外部記憶部１４と、ＬＡＮ（Local Area Network）又はインターネットなどの通信ネットワーク２０との通信を行う通信部１７とを備える。また、コンピュータ１０は、キーボード又はマウス等の入力部１５と、ＣＲＴディスプレイ又は液晶ディスプレイなどの表示部１６とを備える。

ＣＰＵ１１は、上述した各部１２〜１７の制御を行う。また、ＣＰＵ１１は、入力部１５又は通信部１７から受付けたプログラム又はデータ、あるいはハードディスク１３又は外部記憶部１４から読出したプログラム又はデータ等をＲＡＭ１２に記憶し、ＲＡＭ１２に記憶したプログラムの実行又はデータの演算等の各種処理を行い、各種処理結果又は各種処理に用いる一時的なデータをＲＡＭ１２に記憶する。ＲＡＭ１２に記憶した演算結果等のデータは、ＣＰＵ１１により、ハードディスク１３に記憶されたり、表示部１６又は通信部１７から出力される。

ハードディスク１３には、コンピュータ１０が外部から受付けた音響信号（サウンドデータ）が記憶されており、コンピュータ１０は、音響信号に含まれるドラム音などの打楽器の音などの非調波構造の音（音成分）を抽出し、抽出した音の増減を行う。抽出した音の増減量は入力部（受付手段）１５で受付ける。非調波構造の音は、調波構造をほぼ有していない音であるが、調波構造を有している一般的な楽器音に比べて無視できる程度の調波構造を含んでいてもよい。

ＣＰＵ１１は、フレームｔ、周波数ｆにおける音響信号のパワースペクトルＰ（ｔ，ｆ）を算出する手段（算出手段）として動作する。音響信号は、例えば４４．１ｋＨｚでサンプリングされており、例えば窓幅４０９６点（周波数分解能１０．８［Ｈｚ］）、窓シフト長４４１点（時間分解能１０［ｍｓ］）のハニング窓を用いたＳＴＦＴ（Short Time Fourier Transformation）を計算することでＰ（ｔ，ｆ）を求める。

ＣＰＵ１１は、ドラムの発音時刻候補ｏ_i を検出する手段として動作する。ドラムの発音時刻候補ｏ_i は、例えばパワースペクトルの立ち上がりが大きい時刻（フレーム）を検出する。ＣＰＵ１１は、時間方向に連続する３フレーム（ｔ＝ａ−１，ａ，ａ＋１）において、Ｐ（ｔ，ｆ）の時刻（フレーム）に関する微分Ｑ（ｔ，ｆ）＝{∂Ｐ（ｔ，ｆ）／∂ｔ}＞０を満たしている場合、フレームａにおける微分Ｑ（ａ，ｆ）を算出する。一方、連続する３フレームにおいて、Ｑ（ｔ，ｆ）＞０が満たされていない場合、Ｑ（ａ，ｆ）＝０とする。次に、ＣＰＵ１１は、各フレームｔにおいて、Ｑ（ｔ，ｆ）にドラムの典型的な周波数特性に基づくローパスフィルタ関数Ｆ（ｆ）を乗じて周波数方向の和Ｓ（ｔ）

を算出する。図２はＦ（ｆ）の例を示す図であり、横軸は周波数ｆ、縦軸はＦ（ｆ）である。Ｆ（ｆ）は予めハードディスク１３に記憶されている。ＣＰＵ１１は、Ｓ（ｔ）が極大値をとる時刻を算出し、発生時刻候補ｏ_i とする。なお、極大値を検出する前に、ＣＰＵ１１でＳ（ｔ）に対しＳａｖｉｔｚｋｙとＧｏｌａｙの方法による１１フレーム平滑化を行うことが好ましい。

ハードディスク（記憶部）１３には、ドラムの単音信号に基づいて作成された種テンプレートＴ_S が記憶されている。Ｔ_S は発音時刻を開始時刻とするＳＴＦＴで求めた一定時間長のパワースペクトルである。Ｔ_S は行が時間、列が周波数に対応する行列であり、各要素はＴ_S （ｔ，ｆ）（ただし、１≦ｔ≦１５、１≦ｆ≦２０４８）で表せる。

ＣＰＵ１１は、種テンプレートＴ_S を解析対象の音響信号に適応させる手段（補正手段）として動作する。ＣＰＵ１１は種テンプレートＴ_S を後述するように更新し、その後もテンプレートの更新を繰返す。以下、ｇ回目の更新後のテンプレートをＴ_g で表す。Ｔ_S は最初（ｇ＝０）に入力されるテンプレートであるので、Ｔ₀ ＝Ｔ_S である。ＣＰＵ１１は、解析対象の音響信号から検出された発音時刻候補ｏ_i ［ｍｓ］を開始とする一定時間長のパワースペクトルであるスペクトル断片Ｐ_i （ｉ＝１，・・・，Ｎ、ただし、Ｎは検出された発音時刻候補の総数）を抽出する手段（算出手段）として動作する。スペクトル断片Ｐ_i はテンプレートＴ_g と同じ大きさの行列である。

このようにスペクトル断片の抽出を行うが、時間分解能１０［ｍｓ］では、テンプレートの適応を高精度に行うのに十分でないため、発音時刻候補ｏ_i の補正処理を行うことが好ましい。例えばＣＰＵ１１は、発音時刻候補ｏ_i ［ｍｓ］をｏ_i ’［ｍｓ］に補正する手段として動作し、スペクトル断片Ｐ_i を補正後の発音時刻候補ｏ_i ’［ｍｓ］から抽出する。例えば、ｏ_i ’＝ｏ_i −５［ｍｓ］又はｏ_i ＋５［ｍｓ］から抽出したスペクトル断片の方がｏ_i ［ｍｓ］から抽出したスペクトル断片よりも高品質の場合、ｏ_i ’［ｍｓ］を開始時刻として抽出したパワースペクトルをスペクトル断片Ｐ_i とする。

例えばＣＰＵ１１は、時刻（ｏ_i ＋ｊ）［ｍｓ］（ただし、ｊ＝−５，０，５［ｍｓ］）を開始時刻としたスペクトル断片Ｐ_i,j を抽出する。次に、ＣＰＵ１１は、テンプレートＴ_g ’とスペクトル断片Ｐ_i,j との相関値Ｃｏｒｒ（ｊ）

を算出する。次に、ＣＰＵ１１は、Ｃｏｒｒ（ｊ）を最大化するオフセット値Ｊを求め、求めたオフセット値ＪにおけるＰ_i,J をＰ_i とする。

また、ＣＰＵ１１は、ローパスフィルタ関数Ｆ（ｆ）をテンプレートＴ_g 及びスペクトル断片Ｐ_i に乗じたテンプレートＴ_g ’及びスペクトル断片Ｐ_i ’
Ｔ_g ’（ｔ，ｆ）＝Ｆ（ｆ）Ｔ_g （ｔ，ｆ）
Ｐ_i ’（ｔ，ｆ）＝Ｆ（ｆ）Ｐ_i （ｔ，ｆ）
を算出する。

ＣＰＵ１１は、適応途中のテンプレートＴ_g に類似した所定数Ｍのスペクトル断片を選択する手段（選択手段）として動作する。前記所定数Ｍは、スペクトル断片の総数（検出された発音時刻候補数）に対して一定の比率（本説明では０．１）である。ＣＰＵ（減算手段）１１は、テンプレートＴ_g とスペクトル断片Ｐ_i との距離（差）Ｄ_i を算出し、算出した距離の小さい方から前記所定数Ｍのスペクトル断片を選択する。距離Ｄ_i は、

より算出することが可能である。ただし、距離Ｄ_i を前記式で算出した場合、テンプレートＴ_g とスペクトル断片Ｐ_i のパワーピーク位置が少し異なるだけで、両者の距離が非常に大きく算出されるため、正確な距離の計算が行えない可能性がある。図３はテンプレートＴ_g とスペクトル断片Ｐ_i との距離の例を示す図であり、横軸は周波数ｆ、縦軸はパワーＰで、実線はＰ_i 、破線はＴ_g である。図３（ａ）に示すように、パワーピーク位置が少し異なるだけで、両者の距離が非常に大きく算出される。

そのため、本発明では、初回の適応においては、種テンプレートＴ₀ とスペクトル断片_i に対し、図３（ｂ）、（ｃ）に示すように、より低い時間−周波数分解能で量子化処理を行ってから距離Ｄ_i を計算する。例えば量子化後の時間分解能は２［ｆｒａｍｅｓ］（２０［ｍｓ］）、周波数分解能は５［ｂｉｎｓ］（５４［Ｈｚ］）とする。ＣＰＵ（量子化手段）１１は、種テンプレートＴ₀ 及びスペクトル断片_i に量子化処理を行い、量子化後のスペクトルＴ₀ ”（ｔ”，ｆ”）及びＰ_i ”（ｔ”，ｆ”）

を算出する。次に、ＣＰＵ１１は、種テンプレートＴ₀ （Ｔ_s ）とスペクトル断片Ｐ_i との間の距離Ｄ_i

を算出する。

ＣＰＵ１１は、選択した所定数Ｍのスペクトル断片Ｐ_s （ｓ＝１，・・・，Ｍ）に基づいて、テンプレートＴ_g を新たなテンプレートＴ_g+1 に更新する手段（更新手段）として動作する。ドラム音のスペクトル構造は、各スペクトル断片Ｐ_s 中の同じ位置に現れる可能性が高い。一方、ドラム以外の楽器音のスペクトル成分は、各スペクトル断片Ｐ_s 中の同じ位置に現れる可能性は低い。よって、ＣＰＵ１１は、選択されたスペクトル断片Ｐ_s の中央値を新たなテンプレートＴ_g+1
Ｔ_g+1 （ｔ，ｆ）＝ｍｅｄｉａｎＰ_s （ｔ，ｆ）
に決定する。中央値を求めた場合、ドラム音のスペクトル構造は保持される可能性が高いが、ドラム以外の楽器音は保持される可能性は低く、ドラム以外の楽器音のスペクトル成分は抑制される可能性が高い。よって、ドラム音の種テンプレートＴ₀ を、複数種類の楽器音を含む音響信号中のドラム音に適応させることができる。

新たなテンプレートＴ_g+1 の決定を繰返すことにより、テンプレートのドラム音は音響信号に含まれるドラム音に近づいていき、テンプレートの適応が行われる。ただし、前記決定を繰返すうちに、テンプレートの変化量は小さくなり、適応は収束する。ＣＰＵ１１は、テンプレートＴ_g と新たなテンプレートＴ_g+1 とを比較し、差が所定値以下の場合は、適応が収束したと判断する手段として動作し、新たなテンプレートＴ_g+1 を適応後テンプレートＴ_A とする。

ＣＰＵ１１は、適応後テンプレートＴ_A に基づくテンプレートマッチングを行い、発音時刻候補ｏ_i にドラムが発音しているか否かを判定する手段（抽出手段）として動作する。ＣＰＵ１１は、まず、上述したローパスフィルタ関数Ｆ（ｆ）を乗じて、適応後テンプレートＴ_A の各フレームｔ、各周波数ｆにおけるスペクトル上での特徴の大きさを表す重み関数ω
ω（ｔ，ｆ）＝Ｆ（ｆ）Ｔ_A （ｔ，ｆ）
を算出する。

ここで、各スペクトル断片の音量とテンプレートの音量とが異なる場合、テンプレートがスペクトル断片に含まれているか否かを正しく判断できないおそれがあり、テンプレートマッチングを正確に行うために、各スペクトル断片の音量をテンプレートの音量に合うように補正を行うことが好ましい。ＣＰＵ１１は、テンプレートＴ_A 中のフレームｔにおいてω（ｔ，ｆ_t,k ）の値がｋ番目に大きい特徴点の周波数ｆ_t,k （ｋ＝１，・・・，１５）を選択し、パワーの差η_i （ｔ，ｆ_t,k ）
η_i （ｔ，ｆ_t,k ）＝Ｐ_i （ｔ，ｆ_t,k ）−Ｔ_A （ｔ，ｆ_t,k ）
を算出する。その後、ＣＰＵ１１は、η_i （ｔ，ｆ_t,k ）の第一四分点（標本を小さいものから順に並べたときに、小さいものから数えて標本数の２５％の位置）の値を選択して、フレームｔにおけるパワーの差δ_i （ｔ）とする。ＣＰＵ１１は、δ_i （ｔ）≧Ψ（Ψは負の定数である）を満たさないフレーム数がある閾値Ｒよりも大きい場合、Ｔ_A はＰ_i には含まれていないと判定する。

ＣＰＵ１１は、最終的なパワー差Δ_i （スペクトル断片の補正値：−Δ_i ）

を算出する。ＣＰＵ１１は、Δ_i ≦Θ（Θは定数）を満す場合、Ｔ_A はＰ_i には含まれていないと判定し、Δ_i ≦Θを満たさない場合、Ｔ_A はＰ_i には含まれていると判定し、補正後のスペクトル断片Ｐ_i ’
Ｐ_i ’（ｔ，ｆ）＝Ｐ_i （ｔ，ｆ）−Δ_i
を算出する。

ＣＰＵ１１は、適応後テンプレートＴ_A と補正後のスペクトル断片Ｐ_i ’との距離を算出する手段として動作する。距離を算出する際、ＣＰＵ１１は、Ｐ_i ’のスペクトル中にＴ_A のスペクトルが含まれているか否かを判定する。図４は、スペクトルが含まれているか否かの判定の例を示す図であり、横軸は周波数ｆ、縦軸はパワーＰで、実線はＰ_i ’、破線はＴ_A である。例えば図４（ａ）に示すように、Ｐ_i ’（ｔ，ｆ）がＴ_A （ｔ，ｆ）よりも大きい場合は、Ｐ_i ’（ｔ，ｆ）はドラム音のスペクトル成分だけでなく、他の楽器のスペクトル成分も含んでおり、Ｔ_A （ｔ，ｆ）はＰ_i ’（ｔ，ｆ）に含まれていると判定する。また、その他の場合は、図４（ｂ）に示すように、Ｔ_A （ｔ，ｆ）はＰ_i ’（ｔ，ｆ）に含まれていないと判定する。ＣＰＵ１１は、Ｔ_A とＰ_i ’との間のフレームｔ、周波数ｆにおける局所的な距離尺度γ_i （ｔ，ｆ）

を算出する。ただし、Ψ’は負の定数であり、Ψ’をゼロではない負の数に用いることにより、スペクトル成分の小さな変動を吸収する。ＣＰＵ１１は、時間−周波数領域で距離尺度γ_i に重み関数ωを乗じて全体の距離Γ_i

を算出する。ＣＰＵ１１は、Ｐ_i ’の部分で目的のドラムが発音したか否かを判定する手段として動作し、Γ_i ＜θが満たされる場合は、目的のドラムが発音したと判定し、発音時刻候補ｏ_i を発音時刻に確定する。

ＣＰＵ１１は、発音時刻におけるドラム音を増減させる手段（増減手段）として動作する。図５は、発音時刻におけるドラム音の増減の例を示す図であり、横軸は周波数ｆ、縦軸はパワーＰであり、ｔは時刻（フレーム）を表す。ＣＰＵ１１は、図５（ｂ）に示すように適応後テンプレートＴ_A に対応するスペクトルＰ_x にｒ（０≦ｒ≦１）を乗じ（なお、図５（ｂ）の破線はｒを乗じる前、実線はｒを乗じた後を表す）、図５（ａ）に示す音響信号のスペクトルＰからｒ・Ｐ_x を減算して、ドラム音を減少させた図５（ｃ）に示す音響信号Ｐ’を算出する。なお、ドラム音を増加させる場合は、音響信号のスペクトルＰにｒ・Ｐ_x を加算する。

上述したようにＣＰＵ１１により、種々の数値の算出が行われるが、ＣＰＵ１１が算出した数値はＲＡＭ１２又はハードディスク１３に記憶される。また、前記算出した数値を用いて新たな数値を算出する場合、ＣＰＵ１１は、必要な数値をＲＡＭ１２に読み出して、新たな数値の算出を行う。

ＣＤ−ＲＯＭ等の記録媒体１９に記録されたコンピュータプログラムを外部記憶部１４で読出してハードディスク１３又はＲＡＭ１２に記憶してＣＰＵ１１に実行させることにより、ＣＰＵ１１を上述した各部として動作させることが可能である。また、通信部１７で通信ネットワーク２０に接続された他の装置からコンピュータプログラムを受付けてハードディスク１３又はＲＡＭ１２に記憶してＣＰＵ１１で実行することも可能である。

次に、本発明に係るコンピュータ（音響信号処理装置）を用いたドラム音の増減について説明する。図６はテンプレート適応を行った場合のドラム音の増減手順の例を示すフローチャートである。コンピュータ１０は、例えば外部記憶部１４で記録媒体１９から音響信号（サウンドデータ）を受付けてハードディスク１３に記憶したり、図示しないサウンドカードに音響信号を入力し、入力された音響信号をサウンドデータに変換し、変換したサウンドデータ（以下、音響信号という）をハードディスク１３に記憶する。また、コンピュータ１０は、ドラム音のテンプレート（種テンプレートＴ_s ）を、例えば外部記憶部１４により記録媒体１９から受付けてハードディスク１３に記憶する。

ＣＰＵ１１は、音響信号の周波数分析を行い、パワースペクトルＰを算出し、算出したパワースペクトルＰのデータをハードディスク１３に記憶する。次に、ＣＰＵ１１は、ハードディスク１３に記憶されている前記抽出したパワースペクトルＰを用いて、発音時刻候補ｏ_i を検出（Ｓ１０）し、検出した発音時刻候補ｏ_i をハードディスク１３に記憶する。ＣＰＵ１１は、発音時刻候補ｏ_i に基づいてスペクトル断片Ｐ_i を抽出（算出）し（Ｓ１２）、抽出したスペクトル断片Ｐ_i のデータをハードディスク１３に記憶する。その後、ＣＰＵ１１は、テンプレート適応（テンプレートの補正）を行い（Ｓ１４）、ハードディスク１３に記憶されているテンプレートＴ_g を更新して、適応後テンプレートＴ_A に収束させる。

その後、ＣＰＵ１１は、適応後テンプレートＴ_A を用いて、テンプレートマッチングを行って発音時刻を確定（ドラム音を抽出）し（Ｓ１６）、確定した発音時刻をハードディスク１３に記憶する。ＣＰＵ１１は、適応後テンプレートＴ_A を用いて、前記確定した発音時刻周辺のパワースペクトルの増減（Ｓ１８）を行い、出力用の音響信号を作成してハードディスク１３に記憶する。なお、前記増減は、入力部１５で受付けた増減量に応じた増減が行われる。出力用の音響信号は、例えば出力用の音響信号（サウンドデータ）を外部記憶部１４から記録媒体１９へ書き出したり、出力用の音響信号を図示しないサウンドカードから出力することが可能である。

図７は図６に示すテンプレート適応（Ｓ１４）の詳細手順の例を示すフローチャートである。ＣＰＵ１１は、スペクトル断片Ｐ_i とテンプレートＴ_g との距離Ｄ_i を算出し（Ｓ２０）、算出した距離Ｄ_i をハードディスク１３に記憶する。なお、初回時は量子化を行った後に距離Ｄ_i の算出を行う。ＣＰＵ１１は、算出した距離Ｄ_i が小さいスペクトル断片Ｐ_s を選択し（Ｓ２２）、選択したスペクトル断面の中央値によるテンプレート更新（Ｓ２４）を行う。ＣＰＵ１１は、更新前と更新後のテンプレートの変化量が所定値以下になった（適応が収束した）場合（Ｓ２６：ＹＥＳ）はテンプレート適応処理を終了し、適応が収束していない場合（Ｓ２６：ＮＯ）は同様の処理（Ｓ２０、Ｓ２２、Ｓ２４）を繰返す。

図８は図６に示すテンプレートマッチング（Ｓ１６）の詳細手順の例を示すフローチャートである。ＣＰＵ１１は、テンプレートに合うようにスペクトル断片Ｐ_i を補正し（Ｓ３０）、補正後のスペクトル断片Ｐ_i ’をハードディスク１３に記憶する。ＣＰＵ１１は、補正前と補正後のスペクトル断片の変化量（補正値Δ_i ）を求めてＲＡＭ１２に記憶し、予めハードディスク１３に記憶されている閾値Θと比較し、補正値Δ_i が閾値Θ以上の場合（Ｓ３２：ＹＥＳ）、テンプレートマッチング処理を終了する。補正値Δ_i が閾値Θより小さい場合（Ｓ３２：ＮＯ）、ＣＰＵ１１は、テンプレートと補正後のスペクトル断片との間の距離Γ_i を算出し（Ｓ３４）、算出した距離Γ_i をハードディスク１３に記憶する。ＣＰＵ１１は、算出した距離Γ_i と予めハードディスク１３に記憶されている閾値θとを比較し、距離Γ_i が閾値θ以上の場合（Ｓ３６：ＹＥＳ）、テンプレートマッチング処理を終了する。距離Γ_i が閾値θより小さい場合（Ｓ３６：ＮＯ）、ＣＰＵ１１は、発音時刻候補ｏ_i を発音時刻に確定し（Ｓ３８）、確定した発音時刻をハードディスク１３に記憶する。

図９は図８に示すスペクトル断片の補正（Ｓ３０）の詳細手順の例を示すフローチャートである。ＣＰＵ１１は、各時刻（フレーム）の特徴周波数におけるテンプレートＴ_A とスペクトル断片Ｐ_i とのパワー差η_i を算出（Ｓ４０）してＲＡＭ１２又はハードディスク１３に記憶し、前記算出した特徴周波数におけるパワー差η_i に基づいて、各時刻のパワー差δ_i を算出（Ｓ４２）してＲＡＭ１２又はハードディスク１３に記憶する。ＣＰＵ１１は、各時刻のパワー差δ_i と予めハードディスク１３に記憶されている閾値Ψとを比較し、パワー差δ_i が前記閾値Ψ以上のフレーム数を算出してＲＡＭ１２又はハードディスク１３に記憶し、パワー差δ_i が前記閾値Ψ以上のフレーム数と予めハードディスク１３に記憶されている閾値Ｒとを比較し（Ｓ４４）、前記フレーム数が閾値Ｒ以下の場合（Ｓ４４：ＹＥＳ）、スペクトル断片Ｐ_i の補正処理を終了する。前記フレーム数が閾値Ｒより大きい場合（Ｓ４４：ＮＯ）、ＣＰＵ１１は各時刻のパワー差δ_i を積分してパワー差（補正値Δ_i ）を算出（Ｓ４６）して、ハードディスク１３に記憶する。ＣＰＵ１１は、算出（Ｓ４６）したパワー差Δ_i と予めハードディスク１３に記憶されている閾値Θとを比較し、パワー差Δ_i が閾値Θ以下の場合（Ｓ４８：ＹＥＳ）、スペクトル断片Ｐ_i の補正処理を終了する。パワー差Δ_i が閾値Θより大きい場合（Ｓ４８：ＮＯ）、ＣＰＵ１１は、スペクトル断片Ｐ_i から前記パワー差Δ_i を減算（Ｓ５０）して補正後のスペクトル断片Ｐ_i ’を求め、求めた補正後のスペクトル断片Ｐ_i ’をハードディスク１３に記憶する。

上述した実施の形態においては、音響信号処理装置としてコンピュータを例にして説明したが、コンピュータに限定はされず、レコーディング機器、電子楽器、オーディオ機器、携帯型オーディオ機器、携帯電話などの音響信号の出力を行う任意の装置に本発明を適用することが可能である。

図１０は、本発明に係るオーディオ装置（音響信号処理装置）の構成例を示すブロック図である。オーディオ装置３０は、再生操作などの各種操作を受付ける操作部３５と、“再生中”などの動作状態を表示する液晶パネルなどの表示部３６と、ＭＤ（Mini Disc）などのディスク又はフラッシュメモリなどの記録媒体からデータを読出し、読出したデータから音響信号を再生する再生部３４と、再生部３４で再生された音響信号をヘッドホン又はスピーカへ出力する出力部３７と、前記操作部３５、表示部３６、再生部３４、出力部３７などの各構成部の制御を行う制御部（ＣＰＵ）３１と、制御部３１に接続されたＲＡＭ３２及びフラッシュメモリ３３とを備える。制御部３１は、操作部３５から受付けた操作に応じて、再生部３４、出力部３７などの各構成部を制御し、音響信号を出力部３７から出力させる。

制御部３１は、音響信号に含まれる、ドラム音などの非調波構造の所定の音成分を抽出する手段、抽出した所定の音成分を増減させる手段として動作する。また、制御部３１は、周波数分析により音響信号のスペクトルを算出する手段として動作し、非調波構造の所定の音成分に対応するスペクトルを抽出する。非調波構造の所定の音成分の抽出は、予めフラッシュメモリ３３（記憶部）に記憶されているテンプレートの音成分を参照して行われており、制御部３１は、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する手段として動作する。より詳しくは、制御部３１は、抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を求める手段、求めた差の小さい方から所定数の音成分を選択する手段、前記テンプレートの音成分を、選択した所定数の音成分の中央値に更新する手段として動作し、前記テンプレートの音成分を補正する。

また、制御部３１は、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化する手段として動作し、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差を求める。また、操作部３５は、前記所定の音成分の増減量を受付ける手段として動作し、制御部３１は、受付けた増減量に応じて、前記抽出した所定の音成分を増減させる。操作部３５は、例えば音響信号全体の音量ボリュームに加えて、例えばバスドラム用の音量ボリュームを備える。

図１０に示すオーディオ装置３０は、図１に示すコンピュータと同様に、本発明に係る、ドラム音などの非調波構造の所定の音成分の抽出及び増減を行う。例えばオーディオ装置３０の制御部３１、ＲＡＭ３２、フラッシュメモリ３３、再生部３４、操作部３５、表示部３６、出力部３７は、夫々コンピュータ１０のＣＰＵ１１、ＲＡＭ１２、ハードディスク１３、外部記憶部１４、入力部１５、表示部１６、図示しないサウンドカードと同様に、本発明に係る、ドラム音などの抽出及び増減を行う。

なお、図１０の例では制御部（ＣＰＵ）３１で本発明に係る、ドラム音などの抽出及び増減を行うが、ドラム音などの抽出及び増減を行う専用ＬＳＩを設け、本発明に係る、ドラム音などの非調波構造の所定の音成分の抽出及び増減を制御部３１で行わず、専用ＬＳＩで行うように構成することも可能である。また、オーディオ装置３０に外部と通信するための通信ポートを備えたり、再生部３４は、再生に加えて記録も可能にするなど、任意のオーディオ装置に本発明を適用することが可能である。また、携帯電話の場合は、携帯電話の音響信号処理部に本発明を適用するなど、音響信号を扱う任意の装置の音響信号処理部に本発明を適用することが可能である。

上述した実施の形態においては、非調波構造の音として、ドラム音の抽出及び増減を例にして説明したが、ドラム音に限定はされず、シンバルなどの他の打楽器から出力される非調波構造の音の抽出及び増減を行ったり、他の音源から出力される非調波構造の音の抽出及び増減を行うことが可能である。また、ドラム音のうち、バスドラム音又はスネアドラム音の抽出及び増減を行うことも可能である。

また、本発明の処理対象の音響信号は音声信号を含んでいてもよく、例えばボーカルを含む音楽の音響信号から、非調波構造の所定の音成分を抽出し、抽出した音成分を増減することはもちろん、音声認識を行う声を含む音響信号から、非調波構造の所定の音成分を抽出し、抽出した音成分を増減することが可能である。よって、音声認識処理において、音声データに含まれる非調波構造の所定の音成分を抽出及び減少することも可能である。音声信号に含まれる非調波構造の音成分はノイズ成分である場合が多く、ノイズ成分を抽出及び減少してキャンセルすることができる。これにより、音声認識の精度を向上させることができる。

また、上述した説明においては発音時刻の確定に続けて、発音時刻周辺のパワースペクトルの増減（図６のＳ１６、Ｓ１８）を行ったが、発音時刻の確定と、発音時刻周辺のパワースペクトル増減とを個別に処理することも可能である。例えば、音響信号のドラムの発音時刻を確定した後、音響信号（サウンドデータ）と発音時刻（発音位置データ）と適応後テンプレートとを、記録媒体又はネットワークを介して、他のコンピュータに送り、他のコンピュータ又はオーディオ装置側で発音時刻周辺のパワースペクトル増減を行うことも可能である。例えば、図１に示すコンピュータ（第１の音響信号処理装置）の通信部（出力手段）１７から、音響信号と発音時刻と適応後テンプレートとを送信したり、外部記憶部（出力手段）１４から記録媒体へ書込むことが可能である。また、例えば、図１０に示すオーディオ装置（第２の音響信号処理装置）の再生部（受付手段）３４で、前記記録媒体から前記音響信号と発音時刻と適応後テンプレートとを読出して、例えば制御部３１により、音響信号に対し、発音時刻における適応後テンプレートに対応するパワースペクトルの増減を行うことが可能である。同様に、図１に示すコンピュータ（第２の音響信号処理装置）の通信部（受付手段）１７で前記音響信号と発音時刻と適応後テンプレートとを受信したり、外部記憶部（受付手段）１４で前記記録媒体から前記音響信号と発音時刻と適応後テンプレートとを読出し、ＣＰＵ１１により、音響信号に対し、発音時刻における適応後テンプレートに対応するパワースペクトルの増減を行うことが可能である。また、テンプレート適用（テンプレートの補正）を別のコンピュータなどの音響信号処理装置で個別に行うことも可能である。

本発明に係るコンピュータ（音響信号処理装置）の構成例を示すブロック図である。 Ｆ（ｆ）の例を示す図である。 テンプレートＴ_g とスペクトル断片Ｐ_i との距離の例を示す図である。 スペクトルが含まれているか否かの判定の例を示す図である。 発音時刻におけるドラム音の増減の例を示す図である。 テンプレート適応を行った場合のドラム音の増減手順の例を示すフローチャートである。 図６に示すテンプレート適応（Ｓ１４）の詳細手順の例を示すフローチャートである。 図６に示すテンプレートマッチング（Ｓ１６）の詳細手順の例を示すフローチャートである。 図８に示すスペクトル断片の補正（Ｓ３０）の詳細手順の例を示すフローチャートである。 本発明に係るオーディオ装置（音響信号処理装置）の構成例を示すブロック図である。

符号の説明

１０ コンピュータ
１１ ＣＰＵ
１２、３２ ＲＡＭ
１３ ハードディスク
１４ 外部記憶部
１５ 入力部
１６ 表示部
１７ 通信部
１９ 記録媒体
２０ 通信ネットワーク
３０ オーディオ装置
３１ 制御部（ＣＰＵ）
３３ フラッシュメモリ
３４ 再生部
３５ 操作部
３６ 表示部
３７ 出力部

Claims (27)

1. 音響信号に含まれる、非調波構造の所定の音成分を抽出するステップと、
   抽出した所定の音成分を増減するステップと
   を有することを特徴とする音響信号処理方法。
2. 周波数分析により音響信号のスペクトルを算出するステップを有し、
   前記抽出するステップは、非調波構造の所定の音成分に対応するスペクトルを抽出することを特徴とする請求項１記載の音響信号処理方法。
3. 非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分を参照して行われており、
   抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正するステップを有することを特徴とする請求項１又は２記載の音響信号処理方法。
4. 予め記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出を行う音響信号処理方法において、
   抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正するステップを有することを特徴とする音響信号処理方法。
5. 前記補正するステップは、
   抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を算出するステップと、
   算出した差の小さい方から所定数の音成分を選択するステップと、
   前記テンプレートの音成分を、選択した所定数の音成分の中央値に更新するステップと
   を有することを特徴とする請求項３又は４記載の音響信号処理方法。
6. 前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化するステップを有し、
   前記差を算出するステップは、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差を算出することを特徴とする請求項５記載の音響信号処理方法。
7. 前記所定の音成分の増減量を受付けるステップを有し、
   前記増減するステップは、受付けた増減量に応じて、前記抽出した所定の音成分を増減することを特徴とする請求項１乃至６の何れかに記載の音響信号処理方法。
8. 音響信号に含まれる、非調波構造の所定の音成分を抽出するステップと、
   前記音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力するステップと、
   出力された時刻情報、前記所定の音成分、及び、前記音響信号を受付けるステップと、
   受付けた時刻情報に基づいて、前記受付けた音響信号に含まれる前記受付けた音成分を増減させるステップと
   を有することを特徴とする音響信号処理方法。
9. 音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、
   該抽出手段が抽出した所定の音成分を増減させる増減手段と
   を備えることを特徴とする音響信号処理装置。
10. 周波数分析により音響信号のスペクトルを算出する算出手段を備え、
    前記抽出手段は非調波構造の所定の音成分に対応するスペクトルを抽出するように構成されていることを特徴とする請求項９記載の音響信号処理装置。
11. 非調波構造の所定の音成分の抽出は、予め記憶部に記憶されているテンプレートの音成分を参照して行われており、
    抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する補正手段を備えることを特徴とする請求項９又は１０記載の音響信号処理装置。
12. 予め記憶部に記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出を行う音響信号処理装置において、
    抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正する補正手段を備えることを特徴とする音響信号処理装置。
13. 前記補正手段は、
    前記抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を求める減算手段と、
    該減算手段が求めた差の小さい方から所定数の音成分を選択する選択手段と
    前記テンプレートの音成分を、前記選択手段が選択した所定数の音成分の中央値に更新する更新手段と
    を備えることを特徴とする請求項１１又は１２記載の音響信号処理装置。
14. 前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化する量子化手段を備え、
    前記減算手段は、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差を求めるように構成されていることを特徴とする請求項１３記載の音響信号処理装置。
15. 前記所定の音成分の増減量を受付ける受付手段を備え、
    前記増減手段は、受付けた増減量に応じて、前記抽出した所定の音成分を増減するように構成されていることを特徴とする請求項９乃至１４の何れかに記載の音響信号処理装置。
16. 音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、該抽出手段が音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力する出力手段とを有する第１の音響信号処理装置と、
    第１の音響信号処理装置から出力された時刻情報、前記所定の音成分、及び、前記音響信号を受付ける受付手段と、該受付手段が受付けた時刻情報に基づいて、前記受付けた音響信号に含まれる前記受付けた音成分を増減させる増減手段とを有する第２の音響信号処理装置と
    を備えることを特徴とする音響信号処理システム。
17. 音響信号に含まれる、非調波構造の所定の音成分を抽出する抽出手段と、
    音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力する出力手段と
    を備えることを特徴とする音響信号処理装置。
18. 音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号情報を受付ける受付手段と、
    該受付手段が受付けた時刻情報に基づいて、受付けた音響信号に含まれる前記受付けた音成分を増減させる増減手段と
    を備えることを特徴とする音響信号処理装置。
19. コンピュータに、音響信号に含まれる、非調波構造の所定の音成分を抽出させる手順と、
    コンピュータに、抽出した所定の音成分を増減させる手順と
    を含むことを特徴とするコンピュータプログラム。
20. コンピュータに、周波数分析により音響信号のスペクトルを算出させる手順を含み、
    前記抽出させる手順は、非調波構造の所定の音成分に対応するスペクトルをコンピュータに抽出させることを特徴とする請求項１９記載のコンピュータプログラム。
21. 非調波構造の所定の音成分の抽出は、予め記憶されているテンプレートの音成分を参照して行われており、
    コンピュータに、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正させる手順を含むことを特徴とする請求項１９又は２０記載のコンピュータプログラム。
22. 予め記憶されているテンプレートの音成分を参照して、音響信号に含まれる、非調波構造の所定の音成分の抽出をコンピュータに行わせるコンピュータプログラムにおいて、
    コンピュータに、抽出した音成分と前記テンプレートの音成分との差が所定値以下になるように、前記テンプレートの音成分を補正させる手順を含むことを特徴とするコンピュータプログラム。
23. 前記補正させる手順は、
    コンピュータに、抽出した音成分が複数の場合、抽出した各音成分と前記テンプレートの音成分との差を算出させる手順と、
    コンピュータに、算出した差の小さい方から所定数の音成分を選択させる手順と、
    コンピュータに、前記テンプレートを、選択した所定数の音成分の中央値に更新させる手順と
    を含むことを特徴とする請求項２１又は２２記載のコンピュータプログラム。
24. コンピュータに、前記テンプレートの音成分の初回補正時は、抽出した音成分と前記テンプレートの音成分とを量子化させる手順を含み、
    前記差を算出させる手順は、量子化されている前記抽出した各音成分と前記テンプレートの音成分との差をコンピュータに算出させることを特徴とする請求項２３記載のコンピュータプログラム。
25. コンピュータに、前記所定の音成分の増減量を受付けさせる手順を含み、
    前記増減させる手順は、受付けた増減量に応じて、前記抽出した所定の音成分をコンピュータに増減させることを特徴とする請求項１９乃至２４記載の何れかに記載のコンピュータプログラム。
26. コンピュータに、音響信号に含まれる、非調波構造の所定の音成分を抽出させる手順と、
    コンピュータに、前記音響信号から前記非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号を出力させる手順と
    を含むことを特徴とするコンピュータプログラム。
27. コンピュータに、音響信号から非調波構造の所定の音成分を抽出した時刻情報、前記所定の音成分、及び、前記音響信号情報を受付けさせる手順と、
    コンピュータに、受付けた時刻情報に基づいて、受付けた音響信号に含まれる前記受付けた音成分を増減させる手順と
    を含むことを特徴とするコンピュータプログラム。
    
    
    
    

Images