JP2005309464A - 雑音除去方法、雑音除去装置およびプログラム - Google Patents

Abstract

【課題】 楽音信号に含まれるパルシブなノイズを除去する。
【解決手段】 原波形αには、時刻ｔ1〜ｔ2にパルシブなノイズが混入している。この原波形αに対して、カット時間Ｔsだけ時間軸上でシフトしたシフト波形βを生成する。そして、このカット時間Ｔs内においてはシフト波形βを、それ以外の区間については原波形αを選択し、選択した波形を合成した結果を合成波形γとして出力する。この合成波形γが、パルシブなノイズを除去した楽音信号になる。
【選択図】 図９

Description

本発明は、楽音信号その他音声信号の雑音除去に用いて好適な雑音除去方法、雑音除去装置およびプログラムに関する。

楽音合成の一つの方法として、楽音波形を分析し、該分析することにより得られたもとの楽音波形に含まれている周波数成分の信号を発生させてこれらを加算することにより、楽音波形を合成する分析・（再）合成（Analysis &amp (Re)Synthesis）方式が知られている。この楽音波形分析合成方式においては、まず、楽音波形をスペクトル解析してその楽音に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。通常、このスペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。

すなわち、分析対象となる楽音をサンプリングし、該楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Fast Fourier Transform）を行い、該フーリエ変換出力の振幅データからピークを成す全ての周波数位置を検出する。以上の処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Short-time Fast Fourier Transform））、各フレームにおけるピークを検出し、得られたピークのうち、軌跡を成すものを追跡する。以上のようにスペクトルの軌跡を求める処理をここではＳＴＦ(Spectrum Trajetory Finder)処理と呼ぶ。また、各窓関数を施した時刻（フレームタイム）と、各フレームタイムにおいて検出されたピーク位置とを合わせたデータをＳＴＦデータと呼ぶ。

次に、ＳＴＦ処理によって得られた軌跡の中から所望のデータを選択し、その個々の軌跡に基づいて正弦波を合成し、加算することによりもとの楽音波形のうち決定論的に得られる波形を合成することができる。そして、前記もとの楽音波形から前記決定論的に得られる波形（Deterministic Wave）を減算することにより残差波形（Residual Wave）が得られる。

前記決定論的に得られた波形は、前記軌跡のデータをモディファイすることにより自在に変形することができ、前記残差波形はＥＱ（イコライザ）やＦＦＴ他の信号処理によりモディファイすることができる。このようにしてモディファイされた決定論的に得られる波形と前記残差波形とを加算することにより、所望の楽音波形を得ることができる。なお、上記楽音波形の分析は、上述したような楽音波形の合成のためだけではなく、楽器音の特徴と楽器の物理的性質との関連を明らかにするため、あるいは、楽器音の機械認識などのためにも用いられている。なお、上述した技術は、例えば特許文献１等に開示されている。

上述した技術によって音源を構成するにあたっては、自然楽器を実際に演奏し、発生される楽音の録音波形を決定論的成分と残差成分とに分割することになる。そして、前者についてはフーリエ変換結果を記憶し、後者については残差波形そのものを音源内に記憶することになる。

ところで、このような音源に用いる波形データの録音処理にあたっては、通常の音楽コンテンツのために演奏を録音する場合と比較して、楽音の発生する部分（例えばピアノであれば弦）にマイクを近接させる傾向が強い。また、音源においては、様々なベロシティに対応付けて楽音信号を発生する必要がある。このため、例えばフォルテシモ、ノーマル、ピアニシモの３段階のベロシティに対して決定論的成分と残差波形とを記憶しておき、これらの中間の強さのベロシティが指示された場合には、これら３段階のデータを適宜混合することにより、指示されたベロシティの楽音信号を合成することができる。

特開平１２−１０５６７号公報'.開示' =~ /$tag/ &amp&amp ($kaiji_org .= <<'__EOS__');

しかし、上述した方法によりアコースティックピアノ音を録音し電子ピアノ用の音源を構成しようとすると、得られた楽音信号の中に雑音が混じるという問題が生じた。
まず、アタック時の楽音信号に「パチッ」というパルシブなノイズが発生することが判明した。このノイズが生じる原因は定かではないが、一つの可能性として、ピアノの弦の間近に録音用のマイクを設けたことにより、メカニカルノイズが混入したことが考えられる。

また、他の種類のノイズとして、「ひなり音(Inharmonic Tone)」が挙げられる。すなわち、ピアノをきわめて強く押鍵した時、弦に縦振動が生じ、これによって「シーン」あるいは「ヒャン」というノイズが生じるのである。ひなり音は雑音とはいえ、そもそもアコースティックピアノの楽音に含まれていたものである。従って、フォルテシモのように高いベロシティが与えられた時、ひなり音を含む楽音信号が音源から出力されることはさほど問題ではなく、むしろ好ましいとも考えられる。

しかし、フォルテシモとノーマルの決定論的成分および残差波形を混合して中間の強さの楽音信号を得ようとする時に問題が生ずる。すなわち、かかる手法では、「やや強い」程度のベロシティに対してもひなり音を含む楽音信号が生成されることになり、聴感上不自然である。このように、混合により楽音信号を生成することを前提とするならば、やはりフォルテシモの録音波形からひなり音成分を除去しておき、必要に応じてひなり音を追加する事が好適である。
この発明は上述した事情に鑑みてなされたものであり、雑音成分を的確に除去することができる雑音除去方法、雑音除去装置およびプログラムを提供することを目的としている。

上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載の雑音除去方法にあっては、音声信号（元波形または残差波形）のサンプリングデータに対し、該音声信号の周波数成分が時間の経過に伴って辿る複数の軌跡を分析する軌跡分析過程（ピーク検出部１４０）と、これら分析された軌跡の中から除去対象となる除去軌跡を指定する軌跡指定過程（ノイズ軌跡指定部１４２）と、前記除去軌跡に沿った周波数成分を前記音声信号から除去する除去過程（マスク部１４６，ＢＥＦフィルタバンク１５１，加算器１５８）とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載の雑音除去方法において、前記除去過程は、前記音声信号に対してフーリエ変換処理を施し、パワー成分および位相成分を求める過程（ＦＦＴ処理部１４４）と、前記除去軌跡に対応する周波数のパワー成分に対して、レベルを低下させた修正パワー成分（マスク部１４６の出力）を求める過程と、前記修正パワー成分と前記位相成分とに対して逆フーリエ変換処理を施す過程（ＩＦＦＴ処理部１４８）とを有することを特徴とする。
さらに、請求項３記載の構成にあっては、請求項１記載の雑音除去方法において、前記除去過程は、前記除去軌跡に対応する周波数を除去周波数とするフィルタ処理を施す過程であることを特徴とする。
さらに、請求項４記載の構成にあっては、請求項１記載の雑音除去方法において、前記除去過程は、前記除去軌跡に基づいて疑似雑音信号を生成する過程（正弦波合成部１５４）と、該疑似雑音信号を前記音声信号から減算する過程（加算器１５８）とを有することを特徴とする。
さらに、請求項５記載の構成にあっては、請求項１記載の雑音除去方法において、第１のベロシティ（ノーマル）に対応する第１の波形データ（ノーマルの波形データ）を記憶する過程と、第２のベロシティ（フォルテシモ）に対応する第２の波形データ（フォルテシモの元波形の波形データ）を記憶する過程と、少なくともベロシティを含む演奏情報を入力する過程と、前記演奏情報に係るベロシティが所定の雑音混入ベロシティ（ＶP）未満であることを条件として、前記第１および第２の波形データを混合して楽音信号を生成する過程と、前記演奏情報に係るベロシティが該雑音混入ベロシティ（ＶP）以上であることを条件として、第３の波形データを用いて楽音信号を生成する過程とをさらに有し、前記軌跡分析過程（ピーク検出部１４０）と、前記軌跡指定過程（ノイズ軌跡指定部１４２）と、前記除去過程（マスク部１４６，ＢＥＦフィルタバンク１５１，加算器１５８）とは、前記第２の波形データから特定の雑音成分（ひなり音成分）を除去して前記第３の波形データを生成する過程であり、これによって前記演奏情報に係るベロシティが前記雑音混入ベロシティ（ＶP）未満である場合に前記楽音信号から前記特定の雑音成分（ひなり音成分）を除去することを特徴とする。
さらに、請求項６記載の構成にあっては、請求項１記載の雑音除去方法において、音声信号を周波数帯域毎に分割し、複数の帯域分割波形（Ｓ１〜Ｓ１５）を得る過程（帯域分割部１２０）と、第１の帯域分割波形（Ｓ１）においてピーク値が発生する第１のピーク発生タイミング（図８における破線のタイミング）を検出する過程（判定部１２４）と、前記第１の帯域分割波形（Ｓ１）よりも高い周波数帯域に属する第２の帯域分割波形（Ｓ９〜Ｓ１４）について、前記第１のピーク発生タイミングよりも後のタイミングであって、前記第１のピーク発生タイミングにおけるレベルよりも高いレベルを有する第２のピーク値が存在するか否かを判定する過程（判定部１２４）と、前記第２のピーク値が発生するタイミングを含む範囲において、前記第２の帯域分割波形のレベルを低下させる過程（フェード処理部１２８）とをさらに有することを特徴とする。
また、請求項７記載の雑音除去方法にあっては、第１のベロシティ（ノーマル）に対応する第１の波形データ（ノーマルの波形データ）を記憶する過程と、第２のベロシティ（フォルテシモ）に対応する第２の波形データ（フォルテシモの元波形の波形データ）を記憶する過程と、前記第２の波形データから特定の雑音成分（ひなり音成分）を除去して成る第３の波形データを記憶する過程と、少なくともベロシティを含む演奏情報を入力する過程と、前記演奏情報に係るベロシティが所定の雑音混入ベロシティ（ＶP）未満であることを条件として、前記第１および第２の波形データを混合して楽音信号を生成する過程と、前記演奏情報に係るベロシティが該雑音混入ベロシティ（ＶP）以上であることを条件として、前記第３の波形データを用いて楽音信号を生成する過程とを有し、これによって前記演奏情報に係るベロシティが前記雑音混入ベロシティ（ＶP）未満である場合に前記楽音信号から前記特定の雑音成分（ひなり音成分）を除去することを特徴とする。
また、請求項８記載の雑音除去方法にあっては、音声信号を周波数帯域毎に分割し、複数の帯域分割波形（Ｓ１〜Ｓ１５）を得る過程（帯域分割部１２０）と、第１の帯域分割波形（Ｓ１）においてピーク値が発生する第１のピーク発生タイミング（図８における破線のタイミング）を検出する過程（判定部１２４）と、前記第１の帯域分割波形（Ｓ１）よりも高い周波数帯域に属する第２の帯域分割波形（Ｓ９〜Ｓ１４）について、前記第１のピーク発生タイミングよりも後のタイミングであって、前記第１のピーク発生タイミングにおけるレベルよりも高いレベルを有する第２のピーク値が存在するか否かを判定する過程（判定部１２４）と、前記第２のピーク値が発生するタイミングを含む範囲において、前記第２の帯域分割波形のレベルを低下させる過程（フェード処理部１２８）とを有することを特徴とする。
また、請求項９記載の雑音除去装置にあっては、請求項１ないし８の何れかに記載の雑音除去方法を実行することを特徴とする。
また、請求項１０記載のプログラムにあっては、請求項１ないし８の何れかに記載の雑音除去方法を処理装置に実行させることを特徴とする。

このように、本発明によれば、楽音信号等の音声信号から雑音成分を的確に除去することができる。

1．実施例の構成
1．1．全体構成
次に、本発明の一実施例の楽音分析合成装置のハードウエア構成を図１を参照し説明する。この図において、１はこの楽音分析合成装置全体の制御を行うＣＰＵ、２はＣＰＵ１が実行する各種制御プログラム、楽音分析プログラムおよび楽音合成プログラムなどの各種プログラムを記憶するプログラムメモリ、３は各種制御情報、後述する各種のデータの記憶および一時記憶領域（バッファ）やワークエリアとして使用されるデータメモリ、４は表示装置、５はキーボードおよびポインティングデバイスなどの入力装置、６は鍵盤などの演奏操作子、７は楽音を合成する楽音合成部（シンセサイズユニット）、８は楽音波形サンプルをアナログ信号に変換し、図示しないサウンドシステムに出力するデジタルアナログ変換器（ＤＡＣ）である。

また、９は電話回線、インターネット、ＬＡＮなどの通信ネットワーク１１と接続するためのネットワークインターフェース回路、１０はシステムバスである。なお、この図１に示したハードウエア構成においては、楽音合成部７および演奏操作子６が設けられているが、これらは必ずしも設けることが必要ではない。また、図示していないが、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、ＦＤなどの外部記憶媒体の駆動装置を接続してもよいことは当然である。さらにまた、図１に示したハードウエア構成は、パーソナルコンピュータやワークステーションなどの汎用コンピュータによって実現してもよい。

本実施例の楽音分析合成装置においては、演奏情報が供給されると、この演奏情報に基づいて楽音信号が合成される。ここで、演奏情報は、演奏操作子６あるいはネットワークインターフェース回路９等を介して供給されることもあり、あるいはデータメモリ３等に予め記憶される場合もある。ここで、楽音信号を合成する態様としては、以下の２態様が可能である。

(１)まず、演奏情報に基づいて、ＣＰＵ１内においてサンプリングデータが直接生成される場合がある。かかる場合は、このサンプリングデータは、システムバス１０を介してＤＡＣ８に供給され、アナログ信号に変換される。
(２)また、演奏情報に基づいて、上記ＳＴＦデータが生成される場合がある。このＳＴＦデータは、楽音合成部７に供給され、ここでサンプリングデータに変換される。変換されたサンプリングデータはＤＡＣ８に供給され、アナログ信号に変換された後、出力される。

また、楽音合成部７において生成されたハードディスクは、ＤＭＡ転送によってデータメモリ３に転送させることもできる。このように、発音すべき情報は、ＳＴＦデータあるいはサンプリングデータの何れの形式であってもよい。サンプリングデータを採用すると、発音処理時におけるＣＰＵ１あるいは楽音合成部７における負荷を小さくすることができるが、データを記憶するためのメモリ容量を大きくせざるを得ない。従って、何れのデータ形式を採用するかは、楽音分析合成装置の処理能力やメモリ量に応じて決定するとよい。

1．2．楽音合成部７の内部構成
次に、楽音合成部７の構成を図２を参照し説明する。同図(a)は、前述したＳＴＦデータ内の各軌跡に対応する周波数成分の波形を発生する複数個の正弦波波形発生部を有する場合の一構成例を示す図である。同図(a)において、７１および７３は前記システムバス１０を介して前記ＣＰＵ１に接続するためのインターフェース回路、７２は正弦波波形演算部であり、図示するように複数の正弦波波形発生器ＳＷＧ１〜ＳＷＧｎが設けられている。この複数の正弦波波形発生器ＳＷＧ１〜ＳＷＧｎは、前記楽音波形を分析して検出された各ピーク点の軌跡の各々に対応した正弦波波形を生成するものである。また、７４は残差波形演算部であり、前述した残差波形（Residual Wave）を生成する。さらに、７５はミキサであり、前記正弦波波形演算部７２の出力と前記残差波形演算部７４の出力とを合成して、合成楽音を前記ＤＡＣ８に出力する。

図２(b)は楽音合成部７の他の構成例を示す図である。この図において、７６は前記ＣＰＵ１とのインターフェース回路、７７は波形メモリ、７８は波形メモリ７７から波形データの読出を制御する位相発生部、７９は前記読み出された波形サンプルに対して所望の加工を行う波形加工部である。この例においては、ＳＴＦデータの各軌跡に対応する正弦波波形の合成波形および前記残差波形の合成波形が前記ＣＰＵ１によりソフトウエアにより演算生成され、前記波形メモリ７７に格納されるようになされている。そして、当該楽音発生制御信号に応じて、前記位相発生部７８により前記波形メモリ７７から当該合成楽音信号波形が読み出され、波形加工部７９を介して、前記ＤＡＣ８に出力されることなる。

2．実施例の動作
2．1．パルシブなノイズの除去
2．1．1．ノイズ除去の原理
上記構成において、録音等によって得られた波形データ（サンプリングデータ）は、通信ネットワーク１１等を介してデータメモリ３に記憶される。ここで、入力装置５において所定の操作を行うと、図３に示すようなウィンドウ１００，１０２または１０４が表示装置４に表示される。ウィンドウ１００は、アタック部に「パチッ」というパルシブなノイズが含まれている録音波形を比較的長期間に渡って表示している。

ウィンドウ１０４は、そのアタック部を選択状態にした（反転表示されている部分が選択部分である）ウィンドウであり、ウィンドウ１０２は該選択部分の時間軸を引き伸ばして表示したウィンドウである。ウィンドウ１０２においては、どの部分にノイズが生じているのか判然としないことが解る。

次に、録音波形を、決定論的成分と残差成分とに分離し、それぞれの波形を表示装置４に表示したウィンドウ１０６，１０８を図４に示す。また、ウィンドウ１１０は、ウィンドウ１０８の振幅を拡大した結果である。パルシブなノイズは、残差成分の中に含まれている筈であるが、ウィンドウ１１０内のどの部分がこのノイズに該当するのか、やはり判然としない。

本実施例においては、残差成分を複数の帯域に分割し、その帯域毎に残差波形を解析することとしている。ここで、帯域分割を行うアルゴリズムを図５に示す。なお、同図は、ＣＰＵ１内において実行される処理をブロック図によって示したものである。図５において１２０−１〜１２０−ＮはＮ個のバンドパスフィルタであり、残差成分をそれぞれフィルタ処理した結果である帯域分割波形Ｓ１〜ＳＮを出力する。バンドパスフィルタ１２０−１〜１２０−Ｎの各通過帯域Ｂ１〜ＢＮの設定例を図６に示す。ここで、通過帯域Ｂ１〜ＢＮは等間隔に設けられるのではなく、ノイズの特性を加味し、パルシブなノイズが含まれていると予測される帯域については細かく分割されるように設定されている。

ここで、各通過帯域Ｂ１〜ＢＮの具体例として、残差成分を「Ｎ＝１５」に分割する場合の帯域設定例を以下に示す。
Ｂ１:10〜269Hz、 Ｂ２:320〜1522Hz、
Ｂ３:1810Hz(中心周波数)、 Ｂ４:2153Hz(中心周波数)、
Ｂ５:2650Hz(中心周波数)、 Ｂ６:3044Hz(中心周波数)、
Ｂ７:3620Hz(中心周波数)、 Ｂ８:4305Hz(中心周波数)、
Ｂ９:5120Hz(中心周波数)、 Ｂ１０:6089Hz(中心周波数)、
Ｂ１１:7241Hz(中心周波数)、 Ｂ１２:8612Hz(中心周波数)、
Ｂ１３:10.24kHz(中心周波数)、Ｂ１４:12.18kHz(中心周波数)、
Ｂ１５:14.48kHz以上。

次に、上記設定により得られた帯域分割波形Ｓ１〜Ｓ１５の具体例を図７に、これら帯域分割波形のエンベロープ波形ＳＥ１〜ＳＥ１５を図８に示す。これらの図において、長円形で囲った領域は、その前後のレベルと比較して異常にパルシブになっている。このため、これらの部分がパルシブなノイズの原因となっていることが解る。従って、これらの部分をカットすることにより、パルシブなノイズを低減することができる。

但し、単にこれらの部分の振幅を「０」にすると、それによって新たなノイズが発生する。そこで、かかる不具合を防止しつつパルシブなノイズを除去する方法を図９を参照し説明する。図９(a)は、何れかの帯域分割波形の原波形αの波形図であり、図において時刻ｔ1〜ｔ2の範囲（カット時間Ｔs）においてパルシブなノイズが発生している。ここで、時刻ｔ1，ｔ2が自動的に指定され、あるいはユーザの操作によって指定されると、同図(b)に示すシフト波形βが生成される。このシフト波形βは、原波形αの時刻ｔ2以降の部分を、カット時間Ｔsだけ時間を進めた波形である。

そして、原波形αおよびシフト波形βに基づいて生成される合成波形γを同図(c)に示す。ここで、合成波形γの合成方法を図１０を参照し説明する。図において、所定のクロスフェード時間Δｔが予め定められていることとする。ＣＰＵ１においては、時刻ｔ1−Δｔ以前においては原波形αが合成波形γとして選択される。そして、時刻ｔ1−Δｔ〜ｔ1の期間においては、原波形αからシフト波形βに徐々に遷移するように両者をクロスフェードした結果が合成波形γに設定される。

次に、時刻ｔ1〜ｔ2の期間においては、シフト波形βが合成波形γに設定される。次に、時刻ｔ2〜ｔ2＋Δｔの期間においては、シフト波形βから原波形αに徐々に遷移するように両者をクロスフェードした結果が合成波形γに設定される。そして、時刻ｔ2＋Δｔ以降においては、原波形αが再び合成波形γとして出力される。このように、本実施例においては、パルシブなノイズが生ずる期間を単に削除するのではなく、原波形αをシフトした結果であるシフト波形βを用いてこの期間の波形が生成されるから、カット時間Ｔsにおける楽音信号にほとんど違和感を生じさせることなくパルシブなノイズを除去することができる。

2．1．2．具体的アルゴリズム
次に、パルシブなノイズを自動的に除去するアルゴリズムを図１１を参照し説明する。なお、同図はＣＰＵ１内において実行される処理をブロック図によって示したものである。図において１２２はＳＴＦ分離部であり、元波形のサンプリングデータに対してＳＴＦ処理を施すことによって、決定論的成分のＳＴＦデータ（スペクトル軌跡追跡データ）を生成する。そして、生成されたスペクトル軌跡追跡データに基づいて正弦波合成を行うことにより、決定論的波形（サンプリングデータ）が出力される。

さらに、ＳＴＦ分離部１２２においては、元波形のサンプリングデータから該決定論的波形が減算され、その結果が残差波形（サンプリングデータ）として出力される。なお、ＳＴＦ分離部１２２に入力される元波形の一例を図１５(a)に、ＳＴＦ分離部１２２から出力される決定論的波形および残差波形の例をそれぞれ図１５(b)および(c)に示す。

１２０は帯域分割部であり、図５に示したバンドパスフィルタ１２０−１〜１２０−Ｎによって残差波形をＮ個（ここではＮ＝１５）の帯域分割波形Ｓ１〜Ｓ１５を出力する。１２４は判定部であり、各帯域分割波形Ｓ１〜Ｓ１５においてパルシブなノイズを構成する成分が顕著に混入しているか否かを判定する。具体的には、この判定は以下のように実行される。まず、判定部１２４においては、帯域分割波形Ｓ１〜Ｓ１５に基づいて、図８に示すエンベロープ波形ＳＥ１〜ＳＥ１５が求められる。

次に、最も低い周波数帯域に係るエンベロープ波形ＳＥ１のピーク位置が求められる。このピーク位置を図８のエンベロープ波形ＳＥ１，ＳＥ５，ＳＥ９，ＳＥ１３において破線で示しておく。次に、このエンベロープ波形ＳＥ１のピーク位置における各エンベロープ波形ＳＥ１〜ＳＥ１５のレベル、すなわち第１のピークエンベロープレベルＰ１〜Ｐ１５が測定される。

次に、各エンベロープ波形ＳＥ１〜ＳＥ１５の上記ピーク位置以降のレベルがトレースされ、各々のエンベロープ波形ＳＥ１〜ＳＥ１５における第１のピークエンベロープレベルＰ１〜Ｐ１５を超えるピークが存在するか否かが判定される。図７，図８の例によれば、エンベロープ波形ＳＥ９〜ＳＥ１４において、第１のピークエンベロープレベルを超える第２のピークが存在する。図７，図８においてはこれら第２のピーク位置を長円形の線で囲って示しておく。すなわち、これら帯域分割波形Ｓ９〜Ｓ１４は、パルシブなノイズ成分が「顕著に混入している」波形であると看做される。

１２６は分岐部であり、判定部１２４の判定結果に基づいて、パルシブなノイズが顕著に混入していないＭ個の帯域分割波形と、顕著に混入しているＮ−Ｍ個の帯域分割波形とに分岐する。１２８はフェード処理部であり、先に図９および図１０に示した方法により、後者の各帯域分割波形から、パルシブなノイズを除去する。１３０は加算器であり、パルシブなノイズが元々顕著に混入していないＭ個の帯域分割波形と、パルシブなノイズが除去されたＮ−Ｍ個の帯域分割波形とを加算する。

これにより、加算器１３０の出力波形は、残差波形からパルシブなノイズを除去した波形になる。次に、１３２は加算器であり、ＳＴＦ分離部１２２から出力された決定論的波形と、加算器１３０の出力波形とを加算し、その結果を最終的な出力波形として出力する。これにより、加算器１３２の出力波形は、元波形からパルシブなノイズを除去した波形になる。このように、図１１に示すアルゴリズムに基づいて、ＣＰＵ１において生成された波形データはデータメモリ３に記憶され、必要に応じてＤＡＣ８を介してアナログ信号に変換され、図示せぬサウンドシステムを介して発音される。

2．2．ひなり音の除去
「従来の技術」において述べたように、ピアノ音の波形データ記録においては、ピアニシモ、ノーマルおよびフォルテシモの３段階のベロシティに対して波形データが記録される。そして、フォルテシモの波形データについては、元波形に加えて、後述するアルゴリズムによってひなり音が除去されたものが記録される。従って、データメモリ３には、１音域に対して合計４種類の波形データが記録されることになる。

ここで、演奏操作子６あるいはネットワークインターフェース回路９等を介してＣＰＵ１に演奏情報が供給されると、当該演奏情報に含まれるベロシティに応じて、上記４種類の波形データのうち何れか、あるいはこれらを混合して成る波形データがＤＡＣ８に供給される。これによって、ベロシティに応じた特徴を有するピアノ音の楽音信号がＤＡＣ８を介して出力される。ここで、上記４種類の波形データの混合比は例えば、図２０(a)〜(d)に示すように設定される。

これらの図において、横軸は演奏情報に含まれるベロシティ（入力ベロシティ）の値であり、縦軸は全音量中に占める当該波形データの混合比（０〜１）を示す。各波形データの混合比の合計は常に「１」である。さて、入力ベロシティがピアニシモ付近の低い値である時、ピアニシモの波形データのみが使用される。そして、入力ベロシティが高くなるにつれてピアニシモの混合比が低下し、ノーマルの混合比が徐々に高くなる。そして、ノーマル付近の入力ベロシティに対しては、ノーマルの波形データのみが使用される。

そして、入力ベロシティがノーマルからフォルテシモに向かって高くなるにつれてノーマルの波形データの混合比が徐々に低下し、これに代えてひなり音を除去したフォルテシモの波形データの混合比が徐々に増加する。但し、ひなり音を除去した波形データの混合比は、フォルテシモよりも低い入力ベロシティＶPにおいてピークに達し、入力ベロシティがＶPないしフォルテシモの間である場合には、入力ベロシティが増加するにつれて急激に減少する。

一方、フォルテシモの元波形の混合比は、入力ベロシティがＶPないしフォルテシモの間である場合には、入力ベロシティが増加するにつれて急激に増加し、入力ベロシティがフォルテシモ以上である場合には混合比が「１」になる。これにより、入力ベロシティがフォルテシモに近い値である場合にのみ、再生される楽音信号内にひなり音を含めることが可能になる。以下、フォルテシモの波形データからひなり音を除去する各種アルゴリズムを説明する。これらアルゴリズムは何れかが固定的に用いられるのではなく、ユーザによって適宜選択され、聴感上最も好ましいものが選択されるのである。

2．2．1．アルゴリズム(１)
ひなり音を除去するアルゴリズムの一例を図１２(a)に示す。なお、同図(a)もＣＰＵ１内において実行される処理をブロック図によって示したものである。上述したように、ＳＴＦ分離部１２２は、決定論的波形と残差波形とを出力するが、本アルゴリズムにおいては決定論的波形は用いられない。１４０はピーク検出部であり、残差波形の周波数成分を分析し、周波数成分の分布の中からピークを成す周波数成分を抽出し、抽出したピークの時間的推移を分析データとして出力する。

この分析データを、グラフとして表示装置４に表示した例を図１６に示す。図において縦軸は周波数、横軸は発音開始時点（０）からの経過時間すなわちフレームタイムを表わす。図示のように、ピークの時間的推移は、グラフ上の軌跡を形成することが解る。次に、図１２(a)に戻り、１４２はノイズ軌跡指定部であり、ユーザの操作に基づいて、何れかの軌跡を除去対象として指定する。例えば、図１７において矢印で示す軌跡が除去対象として指定されると、図１８に示すように、除去される軌跡の表示態様が他の軌跡とは異なるように設定され、ユーザは除去対象の軌跡を一見して把握することができる。

また、この操作は、図１９のようにウィンドウを２つ並べて表示しつつ実行すると一層好適である。同図(a)のウィンドウは、除去対象として指定された軌跡を表示し、同図(b)のウィンドウは全体の軌跡を表示しつつ除去対象の軌跡の表示態様を他の軌跡とは異ならせている。図１９において指定されている軌跡は、実際のひなり音の軌跡である。ひなり音は、図示のように、ほぼ一定の周波数を有するとともに、発音開始時点から数１００ｍｓｅｃ程度の長さを有する。

図１２(a)に戻り、１４４はＦＦＴ処理部であり、元波形に対してフーリエ変換を施し、元波形をパワーおよび位相成分に分離する。１４６はマスク部であり、ノイズ軌跡指定部１４２において指定された軌跡すなわちひなり音の軌跡に沿って、パワー成分にマスク処理を施す。このマスク処理とは、指定された軌跡の各タイミングにおいて、当該軌跡に係る周波数を中心周波数とするノッチフィルタ処理を、上記パワー成分に対して施すことに他ならない。なお、ノッチフィルタ処理の特性の一例を図１２(c)に示す。

１４８はＩＦＦＴ処理部であり、マスク部１４６を介して出力されたパワー成分およびＦＦＴ処理部１４４から出力された位相成分に基づいて逆フーリエ変換処理を施し、その結果を出力波形として出力する。従って、当該出力波形は、元波形に対して、ひなり音の軌跡に沿ってノッチフィルタ処理を施した波形に等しくなり、ひなり音成分が除去された波形データが得られる。

2．2．2．アルゴリズム(２)
次に、ひなり音を除去する他のアルゴリズムを図１２(b)に示す。
この図において、ＳＴＦ分離部１２２、ピーク検出部１４０およびノイズ軌跡指定部１４２は同図(a)のアルゴリズム(１)のものと同様に構成されている。また、ＦＦＴ処理部１４４、マスク部１４６およびＩＦＦＴ処理部１４８もアルゴリズム(１)のものと同様であるが、これらはＳＴＦ分離部１２２から出力された残差波形に対してのみノッチフィルタ処理が行われる点が相違している。

すなわち、アルゴリズム(２)においては、ＦＦＴ処理部１４４に残差波形が供給されると、マスク部１４６を介して、ひなり音成分が除去された残差波形がＩＦＦＴ処理部１４８から出力される。１５０は加算器であり、ＳＴＦ分離部１２２から出力された決定論的波形と、ひなり音成分が除去された残差波形とを加算し、その結果を出力する。アルゴリズム(２)によれば、残差波形に対してのみノッチフィルタ処理が実行されるから、ノッチフィルタ処理によって決定論的成分に影響を及ぼすことを防止することができる。

従って、通常の状態では、アルゴリズム(２)の方がアルゴリズム(１)よりも好ましい場合が多い。しかし、決定論的波形と残差波形とを分離する際、ひなり音成分の一部が決定論的波形に混合する場合もあり得る。かかる場合には、元波形に対してノッチフィルタ処理を施すアルゴリズム(１)を採用する方が好ましい可能性がある。

2．2．3．アルゴリズム(３)
次に、ひなり音を除去する他のアルゴリズムを図１３(a)に示す。
この図において、ＳＴＦ分離部１２２、ピーク検出部１４０およびノイズ軌跡指定部１４２は図１２(a)のアルゴリズム(１)のものと同様に構成されている。１５１はＢＥＦフィルタバンクであり、中心周波数を指定することができる複数のＢＥＦ（帯域除去）フィルタを並列に接続して構成されている。これらＢＥＦフィルタにおける通過特性は、上述したアルゴリズム(１)，(２)のマスク部１４６と同様であり、ノイズ軌跡指定部１４２によって指定された一または複数の中心周波数に係る成分すなわちひなり音成分を元波形から除去する。これにより、元波形からひなり音成分を除去した波形データがＢＥＦフィルタバンク１５１から出力される。

2．2．4．アルゴリズム(４)
次に、ひなり音を除去する他のアルゴリズムを図１３(b)に示す。
この図において、ＳＴＦ分離部１２２、ピーク検出部１４０、ノイズ軌跡指定部１４２およびＢＥＦフィルタバンク１５１は、図１３(a)のアルゴリズム(３)のものと同様に構成されている。但し、ＢＥＦフィルタバンク１５１は、残差波形に対してフィルタ処理を施し、残差波形からひなり音成分を除去する点がアルゴリズム(３)とは異なっている。１５２は加算器であり、このひなり音成分が除去された残差波形と、ＳＴＦ分離部１２２から出力された決定論的波形とを加算し、その結果である波形データを出力する。なお、アルゴリズム(３)，(４)の利害得失は、上記アルゴリズム(１)，(２)について述べたことと同様である。

2．2．5．アルゴリズム(５)
次に、ひなり音を除去する他のアルゴリズムを図１４(a)に示す。
この図において、ＳＴＦ分離部１２２、ピーク検出部１４０およびノイズ軌跡指定部１４２は図１２(a)のアルゴリズム(１)のものと同様に構成されている。１５４は正弦波合成部であり、ノイズ軌跡指定部１４２に指定されたひなり音成分の軌跡の周波数およびレベルに基づいて、正弦波信号すなわち疑似ひなり音信号を合成する。１５６は乗算器であり、この疑似ひなり音信号に「−１」を乗算することによって、該信号の位相を反転する。１５８は加算器であり、元波形と位相反転された疑似ひなり音信号とを加算し、その結果である波形データを出力する。

従って、本アルゴリズムにおいては、疑似ひなり音信号が実際のひなり音成分に完全に一致するように生成されれば、元波形からひなり音成分を完全に除去することができる。ここで、疑似ひなり音信号の位相およびレベルをひなり音成分に完全に一致させることは実際上は困難であるから、本アルゴリズムにおいては、ひなり音成分の一部が消去されずに残る可能性がある。しかし、本アルゴリズムにおいては、決定論的波形および残差波形に対してフィルタ処理が施されないから、フィルタ処理によって本来残すべき成分が消去されるような不具合を未然に防止することができる。

2．2．6．アルゴリズム(６)
次に、ひなり音を除去する他のアルゴリズムを図１４(b)に示す。
この図において、ＳＴＦ分離部１２２、ピーク検出部１４０、ノイズ軌跡指定部１４２、正弦波合成部１５４、乗算器１５６および加算器１５８は、図１４(a)のアルゴリズム(５)のものと同様に構成されている。但し、加算器１５８は、位相反転された疑似ひなり音信号を残差波形とを加算し、残差波形からひなり音成分を除去する点がアルゴリズム(５)とは異なっている。１６２は加算器であり、このひなり音成分が除去された残差波形と、ＳＴＦ分離部１２２から出力された決定論的波形とを加算し、その結果である波形データを出力する。

3．変形例
本発明は上述した実施例に限定されるものではなく、例えば以下のように種々の変形が可能である。
(1)上記実施例においては、楽音分析合成装置上で動作するプログラムによって様々な機能を実現したが、このプログラムのみをＣＤ−ＲＯＭ、フレキシブルディスク等の記録媒体に格納して頒布し、あるいは伝送路を通じて頒布することもできる。

(2)図１１ないし図１４に示したアルゴリズムにおいては、ＳＴＦ分離部１２２は、波形データである決定論的波形および残差波形を出力した。しかし、決定論的波形については、ＳＴＦ分離部１２２がＳＴＦデータを出力するように構成してもよい。かかる場合、波形データとしての決定論的波形は楽音合成部７において合成される。そして、上記各アルゴリズムにおいては、加算器１３２，１５０，１５２，１６２において決定論的波形と残差波形とが合成されたが、かかる処理はＤＡＣ８において実行されることになる。

(3)図１１ないし図１４に示したアルゴリズムにおいては、ＳＴＦ分離部１２２から出力された残差波形に係る軌跡の中から、除去対象となるひなり音成分の軌跡が指定された。しかし、元波形そのものをピーク検出部１４０に供給し、全体の軌跡の中からひなり音成分の軌跡を指定してもよい。

本発明の一実施例の楽音分析合成装置のブロック図である。 楽音合成部７およびその変形例の詳細ブロック図である。 表示装置４における波形表示例である。 表示装置４における他の波形表示例である。 一実施例の帯域分割処理の説明図である。 一実施例の帯域分割処理の他の説明図である。 帯域分割された帯域分割波形Ｓ１〜Ｓ１５の波形図である。 帯域分割波形Ｓ１〜Ｓ１５のエンベロープ波形ＳＥ１〜ＳＥ１５の波形図である。 フェード処理部１２８の動作説明図である。 フェード処理部１２８の他の動作説明図である。 パルシブなノイズを除去するアルゴリズムのブロック図である。 ひなり音成分を除去するアルゴリズム(１)，(２)のブロック図である。 ひなり音成分を除去するアルゴリズム(３)，(４)のブロック図である。 ひなり音成分を除去するアルゴリズム(５)，(６)のブロック図である。 ＳＴＦ分離部１２２の入出力波形図である。 ピーク検出部１４０による分析データの表示例を示す図である。 ノイズ軌跡指定部１４２において軌跡を指定する際の表示例を示す図である。 ノイズ軌跡指定部１４２において軌跡を指定する際の他の表示例を示す図である。 ノイズ軌跡指定部１４２において軌跡を指定する際の他の表示例を示す図である。 ピアノ音の再生時における各波形データの混合比を示す図である。

符号の説明

１：ＣＰＵ、２：プログラムメモリ、３：データメモリ、４：表示装置、５：入力装置、６：演奏操作子、７：楽音合成部、８：ＤＡＣ、８：デジタルアナログ変換器、９：ネットワークインターフェース回路、１０：システムバス、１１：通信ネットワーク、７１，７３：インターフェース回路、７２：正弦波波形演算部、７４：残差波形演算部、７５：ミキサ、７６：インターフェース回路、７７：波形メモリ、７８：位相発生部、７９：波形加工部、１００，１０２，１０４，１０６，１０８，１１０：ウィンドウ、１２０：帯域分割部、１２０−１〜１２０−Ｎ：バンドパスフィルタ、１２２：ＳＴＦ分離部、１２４：判定部、１２６：分岐部、１２８：フェード処理部、１３０，１３２：加算器、１４０：ピーク検出部、１４２：ノイズ軌跡指定部、１４４：ＦＦＴ処理部、１４６：マスク部、１４８：ＩＦＦＴ処理部、１５０：加算器、１５１：ＢＥＦフィルタバンク、１５２：加算器、１５４：正弦波合成部、１５６：乗算器、１５８，１６２：加算器。

Claims (10)

1. 音声信号のサンプリングデータに対し、該音声信号の周波数成分が時間の経過に伴って辿る複数の軌跡を分析する軌跡分析過程と、
   これら分析された軌跡の中から除去対象となる除去軌跡を指定する軌跡指定過程と、
   前記除去軌跡に沿った周波数成分を前記音声信号から除去する除去過程と
   を有することを特徴とする雑音除去方法。
2. 前記除去過程は、
   前記音声信号に対してフーリエ変換処理を施し、パワー成分および位相成分を求める過程と、
   前記除去軌跡に対応する周波数のパワー成分に対して、レベルを低下させた修正パワー成分を求める過程と、
   前記修正パワー成分と前記位相成分とに対して逆フーリエ変換処理を施す過程と
   を有することを特徴とする請求項１記載の雑音除去方法。
3. 前記除去過程は、前記除去軌跡に対応する周波数を除去周波数とするフィルタ処理を施す過程であることを特徴とする請求項１記載の雑音除去方法。
4. 前記除去過程は、
   前記除去軌跡に基づいて疑似雑音信号を生成する過程と、
   該疑似雑音信号を前記音声信号から減算する過程と
   を有することを特徴とする請求項１記載の雑音除去方法。
5. 第１のベロシティに対応する第１の波形データを記憶する過程と、
   第２のベロシティに対応する第２の波形データを記憶する過程と、
   少なくともベロシティを含む演奏情報を入力する過程と、
   前記演奏情報に係るベロシティが所定の雑音混入ベロシティ未満であることを条件として、前記第１および第２の波形データを混合して楽音信号を生成する過程と、
   前記演奏情報に係るベロシティが該雑音混入ベロシティ以上であることを条件として、第３の波形データを用いて楽音信号を生成する過程と
   をさらに有し、前記軌跡分析過程と、前記軌跡指定過程と、前記除去過程とは、前記第２の波形データから特定の雑音成分を除去して前記第３の波形データを生成する過程であり、これによって前記演奏情報に係るベロシティが前記雑音混入ベロシティ未満である場合に前記楽音信号から前記特定の雑音成分を除去することを特徴とする請求項１記載の雑音除去方法。
6. 音声信号を周波数帯域毎に分割し、複数の帯域分割波形を得る過程と、
   第１の帯域分割波形においてピーク値が発生する第１のピーク発生タイミングを検出する過程と、
   前記第１の帯域分割波形よりも高い周波数帯域に属する第２の帯域分割波形について、前記第１のピーク発生タイミングよりも後のタイミングであって、前記第１のピーク発生タイミングにおけるレベルよりも高いレベルを有する第２のピーク値が存在するか否かを判定する過程と、
   前記第２のピーク値が発生するタイミングを含む範囲において、前記第２の帯域分割波形のレベルを低下させる過程と
   をさらに有することを特徴とする請求項１記載の雑音除去方法。
7. 第１のベロシティに対応する第１の波形データを記憶する過程と、
   第２のベロシティに対応する第２の波形データを記憶する過程と、
   前記第２の波形データから特定の雑音成分を除去して成る第３の波形データを記憶する過程と、
   少なくともベロシティを含む演奏情報を入力する過程と、
   前記演奏情報に係るベロシティが所定の雑音混入ベロシティ未満であることを条件として、前記第１および第２の波形データを混合して楽音信号を生成する過程と、
   前記演奏情報に係るベロシティが該雑音混入ベロシティ以上であることを条件として、前記第３の波形データを用いて楽音信号を生成する過程と
   を有し、これによって前記演奏情報に係るベロシティが前記雑音混入ベロシティ未満である場合に前記楽音信号から前記特定の雑音成分を除去することを特徴とする雑音除去方法。
8. 音声信号を周波数帯域毎に分割し、複数の帯域分割波形を得る過程と、
   第１の帯域分割波形においてピーク値が発生する第１のピーク発生タイミングを検出する過程と、
   前記第１の帯域分割波形よりも高い周波数帯域に属する第２の帯域分割波形について、前記第１のピーク発生タイミングよりも後のタイミングであって、前記第１のピーク発生タイミングにおけるレベルよりも高いレベルを有する第２のピーク値が存在するか否かを判定する過程と、
   前記第２のピーク値が発生するタイミングを含む範囲において、前記第２の帯域分割波形のレベルを低下させる過程と
   を有することを特徴とする雑音除去方法。
9. 請求項１ないし８の何れかに記載の雑音除去方法を実行することを特徴とする雑音除去装置。
10. 請求項１ないし８の何れかに記載の雑音除去方法を処理装置に実行させることを特徴とするプログラム。

Images