JP2003022100A

JP2003022100A - 雑音除去方法、雑音除去装置およびプログラム

Info

Publication number: JP2003022100A
Application number: JP2001207291A
Authority: JP
Inventors: Masahiro Kakishita; 正尋柿下
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2001-07-09
Filing date: 2001-07-09
Publication date: 2003-01-24

Abstract

(57)【要約】【課題】楽音信号に含まれるパルシブなノイズを除去
する。【解決手段】原波形αには、時刻ｔ1〜ｔ2にパルシブ
なノイズが混入している。この原波形αに対して、カッ
ト時間Ｔsだけ時間軸上でシフトしたシフト波形βを生
成する。そして、このカット時間Ｔs内においてはシフ
ト波形βを、それ以外の区間については原波形αを選択
し、選択した波形を合成した結果を合成波形γとして出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽音信号その他音
声信号の雑音除去に用いて好適な雑音除去方法、雑音除
去装置およびプログラムに関する。

【０００２】

【従来の技術】楽音合成の一つの方法として、楽音波形
を分析し、該分析することにより得られたもとの楽音波
形に含まれている周波数成分の信号を発生させてこれら
を加算することにより、楽音波形を合成する分析・
（再）合成（Analysis &amp (Re)Synthesis）方式が知
られている。この楽音波形分析合成方式においては、ま
ず、楽音波形をスペクトル解析してその楽音に含まれて
いる基音周波数およびその倍音周波数に対応する線スペ
クトル成分を抽出する。通常、このスペクトル解析は、
時間窓（ウインドウ）を用いたフーリエ変換による短時
間スペクトル解析を用いて行われている。

【０００３】すなわち、分析対象となる楽音をサンプリ
ングし、該楽音波形サンプルに窓関数を掛けてＦＦＴ
（高速フーリエ変換：Fast Fourier Transform）を行
い、該フーリエ変換出力の振幅データからピークを成す
全ての周波数位置を検出する。以上の処理を、前記時間
窓を移動しながら行い（短時間フーリエ変換（ＳＦＦ
Ｔ：Short-time Fast Fourier Transform））、各フレ
ームにおけるピークを検出し、得られたピークのうち、
軌跡を成すものを追跡する。以上のようにスペクトルの
軌跡を求める処理をここではＳＴＦ(Spectrum Trajetor
y Finder)処理と呼ぶ。また、各窓関数を施した時刻
（フレームタイム）と、各フレームタイムにおいて検出
されたピーク位置とを合わせたデータをＳＴＦデータと
呼ぶ。

【０００４】次に、ＳＴＦ処理によって得られた軌跡の
中から所望のデータを選択し、その個々の軌跡に基づい
て正弦波を合成し、加算することによりもとの楽音波形
のうち決定論的に得られる波形を合成することができ
る。そして、前記もとの楽音波形から前記決定論的に得
られる波形（Deterministic Wave）を減算することによ
り残差波形（Residual Wave）が得られる。

【０００５】前記決定論的に得られた波形は、前記軌跡
のデータをモディファイすることにより自在に変形する
ことができ、前記残差波形はＥＱ（イコライザ）やＦＦ
Ｔ他の信号処理によりモディファイすることができる。
このようにしてモディファイされた決定論的に得られる
波形と前記残差波形とを加算することにより、所望の楽
音波形を得ることができる。なお、上記楽音波形の分析
は、上述したような楽音波形の合成のためだけではな
く、楽器音の特徴と楽器の物理的性質との関連を明らか
にするため、あるいは、楽器音の機械認識などのために
も用いられている。なお、上述した技術は、例えば特開
平１２−１０５６７号公報等に開示されている。

【０００６】上述した技術によって音源を構成するにあ
たっては、自然楽器を実際に演奏し、発生される楽音の
録音波形を決定論的成分と残差成分とに分割することに
なる。そして、前者についてはフーリエ変換結果を記憶
し、後者については残差波形そのものを音源内に記憶す
ることになる。

【０００７】ところで、このような音源に用いる波形デ
ータの録音処理にあたっては、通常の音楽コンテンツの
ために演奏を録音する場合と比較して、楽音の発生する
部分（例えばピアノであれば弦）にマイクを近接させる
傾向が強い。また、音源においては、様々なベロシティ
に対応付けて楽音信号を発生する必要がある。このた
め、例えばフォルテシモ、ノーマル、ピアニシモの３段
階のベロシティに対して決定論的成分と残差波形とを記
憶しておき、これらの中間の強さのベロシティが指示さ
れた場合には、これら３段階のデータを適宜混合するこ
とにより、指示されたベロシティの楽音信号を合成する
ことができる。

【０００８】

【発明が解決しようとする課題】しかし、上述した方法
によりアコースティックピアノ音を録音し電子ピアノ用
の音源を構成しようとすると、得られた楽音信号の中に
雑音が混じるという問題が生じた。まず、アタック時の
楽音信号に「パチッ」というパルシブなノイズが発生す
ることが判明した。このノイズが生じる原因は定かでは
ないが、一つの可能性として、ピアノの弦の間近に録音
用のマイクを設けたことにより、メカニカルノイズが混
入したことが考えられる。

【０００９】また、他の種類のノイズとして、「ひなり
音(Inharmonic Tone)」が挙げられる。すなわち、ピア
ノをきわめて強く押鍵した時、弦に縦振動が生じ、これ
によって「シーン」あるいは「ヒャン」というノイズが
生じるのである。ひなり音は雑音とはいえ、そもそもア
コースティックピアノの楽音に含まれていたものであ
る。従って、フォルテシモのように高いベロシティが与
えられた時、ひなり音を含む楽音信号が音源から出力さ
れることはさほど問題ではなく、むしろ好ましいとも考
えられる。

【００１０】しかし、フォルテシモとノーマルの決定論
的成分および残差波形を混合して中間の強さの楽音信号
を得ようとする時に問題が生ずる。すなわち、かかる手
法では、「やや強い」程度のベロシティに対してもひな
り音を含む楽音信号が生成されることになり、聴感上不
自然である。このように、混合により楽音信号を生成す
ることを前提とするならば、やはりフォルテシモの録音
波形からひなり音成分を除去しておき、必要に応じてひ
なり音を追加する事が好適である。この発明は上述した
事情に鑑みてなされたものであり、雑音成分を的確に除
去することができる雑音除去方法、雑音除去装置および
プログラムを提供することを目的としている。

【００１１】

【課題を解決するための手段】上記課題を解決するため
本発明にあっては、下記構成を具備することを特徴とす
る。なお、括弧内は例示である。請求項１記載の雑音除
去方法にあっては、雑音発生期間（図９の時刻ｔ1〜ｔ
2）が既知である第１の音声信号（原波形α）から当該
雑音を除去する雑音除去方法であって、前記第１の音声
信号（原波形α）を少なくとも前記雑音発生期間の幅
（カット時間Ｔs）以上、時間軸方向にシフトして成る
第２の音声信号（シフト波形β）を生成する過程と、前
記雑音発生期間（時刻ｔ1〜ｔ2）以前に前記第１の音声
信号を出力する過程と、前記雑音発生期間（時刻ｔ1〜
ｔ2）内に前記第２の音声信号を出力する過程と、前記
雑音発生期間（時刻ｔ1〜ｔ2）以降に前記第１の音声信
号を出力する過程と、を有することを特徴とする。さら
に、請求項２記載の構成にあっては、請求項１記載の雑
音除去方法において、前記雑音発生期間の直前に、前記
第２の音声信号の混合比が徐々に高くなるようにクロス
フェードしつつ、前記第１および第２の音声信号を混合
して出力する過程（図１０，時刻ｔ1−Δｔ〜ｔ1）と、
前記雑音発生期間の直後に、前記第１の音声信号の混合
比が徐々に高くなるようにクロスフェードしつつ、前記
第１および第２の音声信号を混合して出力する過程（時
刻ｔ2〜ｔ2＋Δｔ）とをさらに有することを特徴とす
る。また、請求項３記載の雑音除去方法にあっては、音
声信号を周波数帯域毎に分割し、複数の帯域分割波形
（Ｓ１〜Ｓ１５）を得る過程（帯域分割部１２０）と、
第１の帯域分割波形（Ｓ１）においてピーク値が発生す
る第１のピーク発生タイミング（図８における破線のタ
イミング）を検出する過程（判定部１２４）と、前記第
１の帯域分割波形（Ｓ１）よりも高い周波数帯域に属す
る第２の帯域分割波形（Ｓ９〜Ｓ１４）について、前記
第１のピーク発生タイミングよりも後のタイミングであ
って、前記第１のピーク発生タイミングにおけるレベル
よりも高いレベルを有する第２のピーク値が存在するか
否かを判定する過程（判定部１２４）と、前記第２のピ
ーク値が発生するタイミングを含む範囲において、前記
第２の帯域分割波形のレベルを低下させる過程（フェー
ド処理部１２８）とを有することを特徴とする。また、
請求項４記載の雑音除去方法にあっては、音声信号（元
波形または残差波形）のサンプリングデータに対し、該
音声信号の周波数成分が時間の経過に伴って辿る複数の
軌跡を分析する軌跡分析過程（ピーク検出部１４０）
と、これら分析された軌跡の中から除去対象となる除去
軌跡を指定する軌跡指定過程（ノイズ軌跡指定部１４
２）と、前記除去軌跡に沿った周波数成分を前記音声信
号から除去する除去過程（マスク部１４６，ＢＥＦフィ
ルタバンク１５１，加算器１５８）とを有することを特
徴とする。さらに、請求項５記載の構成にあっては、請
求項４記載の雑音除去方法において、前記除去過程は、
前記音声信号に対してフーリエ変換処理を施し、パワー
成分および位相成分を求める過程（ＦＦＴ処理部１４
４）と、前記除去軌跡に対応する周波数のパワー成分に
対して、レベルを低下させた修正パワー成分（マスク部
１４６の出力）を求める過程と、前記修正パワー成分と
前記位相成分とに対して逆フーリエ変換処理を施す過程
（ＩＦＦＴ処理部１４８）とを有することを特徴とす
る。さらに、請求項６記載の構成にあっては、請求項４
記載の雑音除去方法において、前記除去過程は、前記除
去軌跡に対応する周波数を除去周波数とするフィルタ処
理を施す過程であることを特徴とする。さらに、請求項
７記載の構成にあっては、請求項４記載の雑音除去方法
において、前記除去過程は、前記除去軌跡に基づいて疑
似雑音信号を生成する過程（正弦波合成部１５４）と、
該疑似雑音信号を前記音声信号から減算する過程（加算
器１５８）とを有することを特徴とする。また、請求項
８記載の雑音除去方法にあっては、第１のベロシティ
（ノーマル）に対応する第１の波形データ（ノーマルの
波形データ）を記憶する過程と、第２のベロシティ（フ
ォルテシモ）に対応する第２の波形データ（フォルテシ
モの元波形の波形データ）を記憶する過程と、前記第２
の波形データから特定の雑音成分（ひなり音成分）を除
去して成る第３の波形データを記憶する過程と、少なく
ともベロシティを含む演奏情報を入力する過程と、前記
演奏情報に係るベロシティが所定の雑音混入ベロシティ
（ＶP）未満であることを条件として、前記第１および
第２の波形データを混合して楽音信号を生成する過程
と、前記演奏情報に係るベロシティが該雑音混入ベロシ
ティ（ＶP）以上であることを条件として、前記第３の
波形データを用いて楽音信号を生成する過程とを有し、
これによって前記演奏情報に係るベロシティが前記雑音
混入ベロシティ（ＶP）未満である場合に前記楽音信号
から前記特定の雑音成分（ひなり音成分）を除去するこ
とを特徴とする。また、請求項９記載の雑音除去装置に
あっては、請求項１ないし８の何れかに記載の雑音除去
方法を実行することを特徴とする。また、請求項１０記
載のプログラムにあっては、請求項１ないし８の何れか
に記載の雑音除去方法を実行することを特徴とする。

【００１２】

【発明の実施の形態】1．実施形態の構成 1．1．全体構成次に、本発明の一実施形態の楽音分析合成装置のハード
ウエア構成を図１を参照し説明する。この図において、
１はこの楽音分析合成装置全体の制御を行うＣＰＵ、２
はＣＰＵ１が実行する各種制御プログラム、楽音分析プ
ログラムおよび楽音合成プログラムなどの各種プログラ
ムを記憶するプログラムメモリ、３は各種制御情報、後
述する各種のデータの記憶および一時記憶領域（バッフ
ァ）やワークエリアとして使用されるデータメモリ、４
は表示装置、５はキーボードおよびポインティングデバ
イスなどの入力装置、６は鍵盤などの演奏操作子、７は
楽音を合成する楽音合成部（シンセサイズユニット）、
８は楽音波形サンプルをアナログ信号に変換し、図示し
ないサウンドシステムに出力するデジタルアナログ変換
器（ＤＡＣ）である。

【００１３】また、９は電話回線、インターネット、Ｌ
ＡＮなどの通信ネットワーク１１と接続するためのネッ
トワークインターフェース回路、１０はシステムバスで
ある。なお、この図１に示したハードウエア構成におい
ては、楽音合成部７および演奏操作子６が設けられてい
るが、これらは必ずしも設けることが必要ではない。ま
た、図示していないが、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、
ＦＤなどの外部記憶媒体の駆動装置を接続してもよいこ
とは当然である。さらにまた、図１に示したハードウエ
ア構成は、パーソナルコンピュータやワークステーショ
ンなどの汎用コンピュータによって実現してもよい。

【００１４】本実施形態の楽音分析合成装置において
は、演奏情報が供給されると、この演奏情報に基づいて
楽音信号が合成される。ここで、演奏情報は、演奏操作
子６あるいはネットワークインターフェース回路９等を
介して供給されることもあり、あるいはデータメモリ３
等に予め記憶される場合もある。ここで、楽音信号を合
成する態様としては、以下の２態様が可能である。

【００１５】(１)まず、演奏情報に基づいて、ＣＰＵ１
内においてサンプリングデータが直接生成される場合が
ある。かかる場合は、このサンプリングデータは、シス
テムバス１０を介してＤＡＣ８に供給され、アナログ信
号に変換される。 (２)また、演奏情報に基づいて、上記ＳＴＦデータが生
成される場合がある。このＳＴＦデータは、楽音合成部
７に供給され、ここでサンプリングデータに変換され
る。変換されたサンプリングデータはＤＡＣ８に供給さ
れ、アナログ信号に変換された後、出力される。

【００１６】また、楽音合成部７において生成されたハ
ードディスクは、ＤＭＡ転送によってデータメモリ３に
転送させることもできる。このように、発音すべき情報
は、ＳＴＦデータあるいはサンプリングデータの何れの
形式であってもよい。サンプリングデータを採用する
と、発音処理時におけるＣＰＵ１あるいは楽音合成部７
における負荷を小さくすることができるが、データを記
憶するためのメモリ容量を大きくせざるを得ない。従っ
て、何れのデータ形式を採用するかは、楽音分析合成装
置の処理能力やメモリ量に応じて決定するとよい。

【００１７】1．2．楽音合成部７の内部構成次に、楽音合成部７の構成を図２を参照し説明する。同
図(a)は、前述したＳＴＦデータ内の各軌跡に対応する
周波数成分の波形を発生する複数個の正弦波波形発生部
を有する場合の一構成例を示す図である。同図(a)にお
いて、７１および７３は前記システムバス１０を介して
前記ＣＰＵ１に接続するためのインターフェース回路、
７２は正弦波波形演算部であり、図示するように複数の
正弦波波形発生器ＳＷＧ１〜ＳＷＧｎが設けられてい
る。この複数の正弦波波形発生器ＳＷＧ１〜ＳＷＧｎ
は、前記楽音波形を分析して検出された各ピーク点の軌
跡の各々に対応した正弦波波形を生成するものである。
また、７４は残差波形演算部であり、前述した残差波形
（Residual Wave）を生成する。さらに、７５はミキサ
であり、前記正弦波波形演算部７２の出力と前記残差波
形演算部７４の出力とを合成して、合成楽音を前記ＤＡ
Ｃ８に出力する。

【００１８】図２(b)は楽音合成部７の他の構成例を示
す図である。この図において、７６は前記ＣＰＵ１との
インターフェース回路、７７は波形メモリ、７８は波形
メモリ７７から波形データの読出を制御する位相発生
部、７９は前記読み出された波形サンプルに対して所望
の加工を行う波形加工部である。この例においては、Ｓ
ＴＦデータの各軌跡に対応する正弦波波形の合成波形お
よび前記残差波形の合成波形が前記ＣＰＵ１によりソフ
トウエアにより演算生成され、前記波形メモリ７７に格
納されるようになされている。そして、当該楽音発生制
御信号に応じて、前記位相発生部７８により前記波形メ
モリ７７から当該合成楽音信号波形が読み出され、波形
加工部７９を介して、前記ＤＡＣ８に出力されることな
る。

【００１９】2．実施形態の動作 2．1．パルシブなノイズの除去 2．1．1．ノイズ除去の原理上記構成において、録音等によって得られた波形データ
（サンプリングデータ）は、通信ネットワーク１１等を
介してデータメモリ３に記憶される。ここで、入力装置
５において所定の操作を行うと、図３に示すようなウィ
ンドウ１００，１０２または１０４が表示装置４に表示
される。ウィンドウ１００は、アタック部に「パチッ」
というパルシブなノイズが含まれている録音波形を比較
的長期間に渡って表示している。

【００２０】ウィンドウ１０４は、そのアタック部を選
択状態にした（反転表示されている部分が選択部分であ
る）ウィンドウであり、ウィンドウ１０２は該選択部分
の時間軸を引き伸ばして表示したウィンドウである。ウ
ィンドウ１０２においては、どの部分にノイズが生じて
いるのか判然としないことが解る。

【００２１】次に、録音波形を、決定論的成分と残差成
分とに分離し、それぞれの波形を表示装置４に表示した
ウィンドウ１０６，１０８を図４に示す。また、ウィン
ドウ１１０は、ウィンドウ１０８の振幅を拡大した結果
である。パルシブなノイズは、残差成分の中に含まれて
いる筈であるが、ウィンドウ１１０内のどの部分がこの
ノイズに該当するのか、やはり判然としない。

【００２２】本実施形態においては、残差成分を複数の
帯域に分割し、その帯域毎に残差波形を解析することと
している。ここで、帯域分割を行うアルゴリズムを図５
に示す。なお、同図は、ＣＰＵ１内において実行される
処理をブロック図によって示したものである。図５にお
いて１２０−１〜１２０−ＮはＮ個のバンドパスフィル
タであり、残差成分をそれぞれフィルタ処理した結果で
ある帯域分割波形Ｓ１〜ＳＮを出力する。バンドパスフ
ィルタ１２０−１〜１２０−Ｎの各通過帯域Ｂ１〜ＢＮ
の設定例を図６に示す。ここで、通過帯域Ｂ１〜ＢＮは
等間隔に設けられるのではなく、ノイズの特性を加味
し、パルシブなノイズが含まれていると予測される帯域
については細かく分割されるように設定されている。

【００２３】ここで、各通過帯域Ｂ１〜ＢＮの具体例と
して、残差成分を「Ｎ＝１５」に分割する場合の帯域設
定例を以下に示す。Ｂ１:10〜269Hz、Ｂ２:320〜1522Hz、Ｂ３:1810Hz(中心周波数)、Ｂ４:2153Hz(中心周波数)、Ｂ５:2650Hz(中心周波数)、Ｂ６:3044Hz(中心周波数)、Ｂ７:3620Hz(中心周波数)、Ｂ８:4305Hz(中心周波数)、Ｂ９:5120Hz(中心周波数)、Ｂ１０:6089Hz(中心周波数)、Ｂ１１:7241Hz(中心周波数)、Ｂ１２:8612Hz(中心周波数)、Ｂ１３:10.24kHz(中心周波数)、Ｂ１４:12.18kHz(中心周波数)、Ｂ１５:14.48kHz以上。

【００２４】次に、上記設定により得られた帯域分割波
形Ｓ１〜Ｓ１５の具体例を図７に、これら帯域分割波形
のエンベロープ波形ＳＥ１〜ＳＥ１５を図８に示す。こ
れらの図において、長円形で囲った領域は、その前後の
レベルと比較して異常にパルシブになっている。このた
め、これらの部分がパルシブなノイズの原因となってい
ることが解る。従って、これらの部分をカットすること
により、パルシブなノイズを低減することができる。

【００２５】但し、単にこれらの部分の振幅を「０」に
すると、それによって新たなノイズが発生する。そこ
で、かかる不具合を防止しつつパルシブなノイズを除去
する方法を図９を参照し説明する。図９(a)は、何れか
の帯域分割波形の原波形αの波形図であり、図において
時刻ｔ1〜ｔ2の範囲（カット時間Ｔs）においてパルシ
ブなノイズが発生している。ここで、時刻ｔ1，ｔ2が自
動的に指定され、あるいはユーザの操作によって指定さ
れると、同図(b)に示すシフト波形βが生成される。こ
のシフト波形βは、原波形αの時刻ｔ2以降の部分を、
カット時間Ｔsだけ時間を進めた波形である。

【００２６】そして、原波形αおよびシフト波形βに基
づいて生成される合成波形γを同図(c)に示す。ここ
で、合成波形γの合成方法を図１０を参照し説明する。
図において、所定のクロスフェード時間Δｔが予め定め
られていることとする。ＣＰＵ１においては、時刻ｔ1
−Δｔ以前においては原波形αが合成波形γとして選択
される。そして、時刻ｔ1−Δｔ〜ｔ1の期間において
は、原波形αからシフト波形βに徐々に遷移するように
両者をクロスフェードした結果が合成波形γに設定され
る。

【００２７】次に、時刻ｔ1〜ｔ2の期間においては、シ
フト波形βが合成波形γに設定される。次に、時刻ｔ2
〜ｔ2＋Δｔの期間においては、シフト波形βから原波
形αに徐々に遷移するように両者をクロスフェードした
結果が合成波形γに設定される。そして、時刻ｔ2＋Δ
ｔ以降においては、原波形αが再び合成波形γとして出
力される。このように、本実施形態においては、パルシ
ブなノイズが生ずる期間を単に削除するのではなく、原
波形αをシフトした結果であるシフト波形βを用いてこ
の期間の波形が生成されるから、カット時間Ｔsにおけ
る楽音信号にほとんど違和感を生じさせることなくパル
シブなノイズを除去することができる。

【００２８】2．1．2．具体的アルゴリズム次に、パルシブなノイズを自動的に除去するアルゴリズ
ムを図１１を参照し説明する。なお、同図はＣＰＵ１内
において実行される処理をブロック図によって示したも
のである。図において１２２はＳＴＦ分離部であり、元
波形のサンプリングデータに対してＳＴＦ処理を施すこ
とによって、決定論的成分のＳＴＦデータ（スペクトル
軌跡追跡データ）を生成する。そして、生成されたスペ
クトル軌跡追跡データに基づいて正弦波合成を行うこと
により、決定論的波形（サンプリングデータ）が出力さ
れる。

【００２９】さらに、ＳＴＦ分離部１２２においては、
元波形のサンプリングデータから該決定論的波形が減算
され、その結果が残差波形（サンプリングデータ）とし
て出力される。なお、ＳＴＦ分離部１２２に入力される
元波形の一例を図１５(a)に、ＳＴＦ分離部１２２から
出力される決定論的波形および残差波形の例をそれぞれ
図１５(b)および(c)に示す。

【００３０】１２０は帯域分割部であり、図５に示した
バンドパスフィルタ１２０−１〜１２０−Ｎによって残
差波形をＮ個（ここではＮ＝１５）の帯域分割波形Ｓ１
〜Ｓ１５を出力する。１２４は判定部であり、各帯域分
割波形Ｓ１〜Ｓ１５においてパルシブなノイズを構成す
る成分が顕著に混入しているか否かを判定する。具体的
には、この判定は以下のように実行される。まず、判定
部１２４においては、帯域分割波形Ｓ１〜Ｓ１５に基づ
いて、図８に示すエンベロープ波形ＳＥ１〜ＳＥ１５が
求められる。

【００３１】次に、最も低い周波数帯域に係るエンベロ
ープ波形ＳＥ１のピーク位置が求められる。このピーク
位置を図８のエンベロープ波形ＳＥ１，ＳＥ５，ＳＥ
９，ＳＥ１３において破線で示しておく。次に、このエ
ンベロープ波形ＳＥ１のピーク位置における各エンベロ
ープ波形ＳＥ１〜ＳＥ１５のレベル、すなわち第１のピ
ークエンベロープレベルＰ１〜Ｐ１５が測定される。

【００３２】次に、各エンベロープ波形ＳＥ１〜ＳＥ１
５の上記ピーク位置以降のレベルがトレースされ、各々
のエンベロープ波形ＳＥ１〜ＳＥ１５における第１のピ
ークエンベロープレベルＰ１〜Ｐ１５を超えるピークが
存在するか否かが判定される。図７，図８の例によれ
ば、エンベロープ波形ＳＥ９〜ＳＥ１４において、第１
のピークエンベロープレベルを超える第２のピークが存
在する。図７，図８においてはこれら第２のピーク位置
を長円形の線で囲って示しておく。すなわち、これら帯
域分割波形Ｓ９〜Ｓ１４は、パルシブなノイズ成分が
「顕著に混入している」波形であると看做される。

【００３３】１２６は分岐部であり、判定部１２４の判
定結果に基づいて、パルシブなノイズが顕著に混入して
いないＭ個の帯域分割波形と、顕著に混入しているＮ−
Ｍ個の帯域分割波形とに分岐する。１２８はフェード処
理部であり、先に図９および図１０に示した方法によ
り、後者の各帯域分割波形から、パルシブなノイズを除
去する。１３０は加算器であり、パルシブなノイズが元
々顕著に混入していないＭ個の帯域分割波形と、パルシ
ブなノイズが除去されたＮ−Ｍ個の帯域分割波形とを加
算する。

【００３４】これにより、加算器１３０の出力波形は、
残差波形からパルシブなノイズを除去した波形になる。
次に、１３２は加算器であり、ＳＴＦ分離部１２２から
出力された決定論的波形と、加算器１３０の出力波形と
を加算し、その結果を最終的な出力波形として出力す
る。これにより、加算器１３２の出力波形は、元波形か
らパルシブなノイズを除去した波形になる。このよう
に、図１１に示すアルゴリズムに基づいて、ＣＰＵ１に
おいて生成された波形データはデータメモリ３に記憶さ
れ、必要に応じてＤＡＣ８を介してアナログ信号に変換
され、図示せぬサウンドシステムを介して発音される。

【００３５】2．2．ひなり音の除去「従来の技術」において述べたように、ピアノ音の波形
データ記録においては、ピアニシモ、ノーマルおよびフ
ォルテシモの３段階のベロシティに対して波形データが
記録される。そして、フォルテシモの波形データについ
ては、元波形に加えて、後述するアルゴリズムによって
ひなり音が除去されたものが記録される。従って、デー
タメモリ３には、１音域に対して合計４種類の波形デー
タが記録されることになる。

【００３６】ここで、演奏操作子６あるいはネットワー
クインターフェース回路９等を介してＣＰＵ１に演奏情
報が供給されると、当該演奏情報に含まれるベロシティ
に応じて、上記４種類の波形データのうち何れか、ある
いはこれらを混合して成る波形データがＤＡＣ８に供給
される。これによって、ベロシティに応じた特徴を有す
るピアノ音の楽音信号がＤＡＣ８を介して出力される。
ここで、上記４種類の波形データの混合比は例えば、図
２０(a)〜(d)に示すように設定される。

【００３７】これらの図において、横軸は演奏情報に含
まれるベロシティ（入力ベロシティ）の値であり、縦軸
は全音量中に占める当該波形データの混合比（０〜１）
を示す。各波形データの混合比の合計は常に「１」であ
る。さて、入力ベロシティがピアニシモ付近の低い値で
ある時、ピアニシモの波形データのみが使用される。そ
して、入力ベロシティが高くなるにつれてピアニシモの
混合比が低下し、ノーマルの混合比が徐々に高くなる。
そして、ノーマル付近の入力ベロシティに対しては、ノ
ーマルの波形データのみが使用される。

【００３８】そして、入力ベロシティがノーマルからフ
ォルテシモに向かって高くなるにつれてノーマルの波形
データの混合比が徐々に低下し、これに代えてひなり音
を除去したフォルテシモの波形データの混合比が徐々に
増加する。但し、ひなり音を除去した波形データの混合
比は、フォルテシモよりも低い入力ベロシティＶPにお
いてピークに達し、入力ベロシティがＶPないしフォル
テシモの間である場合には、入力ベロシティが増加する
につれて急激に減少する。

【００３９】一方、フォルテシモの元波形の混合比は、
入力ベロシティがＶPないしフォルテシモの間である場
合には、入力ベロシティが増加するにつれて急激に増加
し、入力ベロシティがフォルテシモ以上である場合には
混合比が「１」になる。これにより、入力ベロシティが
フォルテシモに近い値である場合にのみ、再生される楽
音信号内にひなり音を含めることが可能になる。以下、
フォルテシモの波形データからひなり音を除去する各種
アルゴリズムを説明する。これらアルゴリズムは何れか
が固定的に用いられるのではなく、ユーザによって適宜
選択され、聴感上最も好ましいものが選択されるのであ
る。

【００４０】2．2．1．アルゴリズム(１) ひなり音を除去するアルゴリズムの一例を図１２(a)に
示す。なお、同図(a)もＣＰＵ１内において実行される
処理をブロック図によって示したものである。上述した
ように、ＳＴＦ分離部１２２は、決定論的波形と残差波
形とを出力するが、本アルゴリズムにおいては決定論的
波形は用いられない。１４０はピーク検出部であり、残
差波形の周波数成分を分析し、周波数成分の分布の中か
らピークを成す周波数成分を抽出し、抽出したピークの
時間的推移を分析データとして出力する。

【００４１】この分析データを、グラフとして表示装置
４に表示した例を図１６に示す。図において縦軸は周波
数、横軸は発音開始時点（０）からの経過時間すなわち
フレームタイムを表わす。図示のように、ピークの時間
的推移は、グラフ上の軌跡を形成することが解る。次
に、図１２(a)に戻り、１４２はノイズ軌跡指定部であ
り、ユーザの操作に基づいて、何れかの軌跡を除去対象
として指定する。例えば、図１７において矢印で示す軌
跡が除去対象として指定されると、図１８に示すよう
に、除去される軌跡の表示態様が他の軌跡とは異なるよ
うに設定され、ユーザは除去対象の軌跡を一見して把握
することができる。

【００４２】また、この操作は、図１９のようにウィン
ドウを２つ並べて表示しつつ実行すると一層好適であ
る。同図(a)のウィンドウは、除去対象として指定され
た軌跡を表示し、同図(b)のウィンドウは全体の軌跡を
表示しつつ除去対象の軌跡の表示態様を他の軌跡とは異
ならせている。図１９において指定されている軌跡は、
実際のひなり音の軌跡である。ひなり音は、図示のよう
に、ほぼ一定の周波数を有するとともに、発音開始時点
から数１００ｍｓｅｃ程度の長さを有する。

【００４３】図１２(a)に戻り、１４４はＦＦＴ処理部
であり、元波形に対してフーリエ変換を施し、元波形を
パワーおよび位相成分に分離する。１４６はマスク部で
あり、ノイズ軌跡指定部１４２において指定された軌跡
すなわちひなり音の軌跡に沿って、パワー成分にマスク
処理を施す。このマスク処理とは、指定された軌跡の各
タイミングにおいて、当該軌跡に係る周波数を中心周波
数とするノッチフィルタ処理を、上記パワー成分に対し
て施すことに他ならない。なお、ノッチフィルタ処理の
特性の一例を図１２(c)に示す。

【００４４】１４８はＩＦＦＴ処理部であり、マスク部
１４６を介して出力されたパワー成分およびＦＦＴ処理
部１４４から出力された位相成分に基づいて逆フーリエ
変換処理を施し、その結果を出力波形として出力する。
従って、当該出力波形は、元波形に対して、ひなり音の
軌跡に沿ってノッチフィルタ処理を施した波形に等しく
なり、ひなり音成分が除去された波形データが得られ
る。

【００４５】2．2．2．アルゴリズム(２) 次に、ひなり音を除去する他のアルゴリズムを図１２
(b)に示す。この図において、ＳＴＦ分離部１２２、ピ
ーク検出部１４０およびノイズ軌跡指定部１４２は同図
(a)のアルゴリズム(１)のものと同様に構成されてい
る。また、ＦＦＴ処理部１４４、マスク部１４６および
ＩＦＦＴ処理部１４８もアルゴリズム(１)のものと同様
であるが、これらはＳＴＦ分離部１２２から出力された
残差波形に対してのみノッチフィルタ処理が行われる点
が相違している。

【００４６】すなわち、アルゴリズム(２)においては、
ＦＦＴ処理部１４４に残差波形が供給されると、マスク
部１４６を介して、ひなり音成分が除去された残差波形
がＩＦＦＴ処理部１４８から出力される。１５０は加算
器であり、ＳＴＦ分離部１２２から出力された決定論的
波形と、ひなり音成分が除去された残差波形とを加算
し、その結果を出力する。アルゴリズム(２)によれば、
残差波形に対してのみノッチフィルタ処理が実行される
から、ノッチフィルタ処理によって決定論的成分に影響
を及ぼすことを防止することができる。

【００４７】従って、通常の状態では、アルゴリズム
(２)の方がアルゴリズム(１)よりも好ましい場合が多
い。しかし、決定論的波形と残差波形とを分離する際、
ひなり音成分の一部が決定論的波形に混合する場合もあ
り得る。かかる場合には、元波形に対してノッチフィル
タ処理を施すアルゴリズム(１)を採用する方が好ましい
可能性がある。

【００４８】2．2．3．アルゴリズム(３) 次に、ひなり音を除去する他のアルゴリズムを図１３
(a)に示す。この図において、ＳＴＦ分離部１２２、ピ
ーク検出部１４０およびノイズ軌跡指定部１４２は図１
２(a)のアルゴリズム(１)のものと同様に構成されてい
る。１５１はＢＥＦフィルタバンクであり、中心周波数
を指定することができる複数のＢＥＦ（帯域除去）フィ
ルタを並列に接続して構成されている。これらＢＥＦフ
ィルタにおける通過特性は、上述したアルゴリズム
(１)，(２)のマスク部１４６と同様であり、ノイズ軌跡
指定部１４２によって指定された一または複数の中心周
波数に係る成分すなわちひなり音成分を元波形から除去
する。これにより、元波形からひなり音成分を除去した
波形データがＢＥＦフィルタバンク１５１から出力され
る。

【００４９】2．2．4．アルゴリズム(４) 次に、ひなり音を除去する他のアルゴリズムを図１３
(b)に示す。この図において、ＳＴＦ分離部１２２、ピ
ーク検出部１４０、ノイズ軌跡指定部１４２およびＢＥ
Ｆフィルタバンク１５１は、図１３(a)のアルゴリズム
(３)のものと同様に構成されている。但し、ＢＥＦフィ
ルタバンク１５１は、残差波形に対してフィルタ処理を
施し、残差波形からひなり音成分を除去する点がアルゴ
リズム(３)とは異なっている。１５２は加算器であり、
このひなり音成分が除去された残差波形と、ＳＴＦ分離
部１２２から出力された決定論的波形とを加算し、その
結果である波形データを出力する。なお、アルゴリズム
(３)，(４)の利害得失は、上記アルゴリズム(１)，(２)
について述べたことと同様である。

【００５０】2．2．5．アルゴリズム(５) 次に、ひなり音を除去する他のアルゴリズムを図１４
(a)に示す。この図において、ＳＴＦ分離部１２２、ピ
ーク検出部１４０およびノイズ軌跡指定部１４２は図１
２(a)のアルゴリズム(１)のものと同様に構成されてい
る。１５４は正弦波合成部であり、ノイズ軌跡指定部１
４２に指定されたひなり音成分の軌跡の周波数およびレ
ベルに基づいて、正弦波信号すなわち疑似ひなり音信号
を合成する。１５６は乗算器であり、この疑似ひなり音
信号に「−１」を乗算することによって、該信号の位相
を反転する。１５８は加算器であり、元波形と位相反転
された疑似ひなり音信号とを加算し、その結果である波
形データを出力する。

【００５１】従って、本アルゴリズムにおいては、疑似
ひなり音信号が実際のひなり音成分に完全に一致するよ
うに生成されれば、元波形からひなり音成分を完全に除
去することができる。ここで、疑似ひなり音信号の位相
およびレベルをひなり音成分に完全に一致させることは
実際上は困難であるから、本アルゴリズムにおいては、
ひなり音成分の一部が消去されずに残る可能性がある。
しかし、本アルゴリズムにおいては、決定論的波形およ
び残差波形に対してフィルタ処理が施されないから、フ
ィルタ処理によって本来残すべき成分が消去されるよう
な不具合を未然に防止することができる。

【００５２】2．2．6．アルゴリズム(６) 次に、ひなり音を除去する他のアルゴリズムを図１４
(b)に示す。この図において、ＳＴＦ分離部１２２、ピ
ーク検出部１４０、ノイズ軌跡指定部１４２、正弦波合
成部１５４、乗算器１５６および加算器１５８は、図１
４(a)のアルゴリズム(５)のものと同様に構成されてい
る。但し、加算器１５８は、位相反転された疑似ひなり
音信号を残差波形とを加算し、残差波形からひなり音成
分を除去する点がアルゴリズム(５)とは異なっている。
１６２は加算器であり、このひなり音成分が除去された
残差波形と、ＳＴＦ分離部１２２から出力された決定論
的波形とを加算し、その結果である波形データを出力す
る。

【００５３】3．変形例本発明は上述した実施形態に限定されるものではなく、
例えば以下のように種々の変形が可能である。 (1)上記実施形態においては、楽音分析合成装置上で動
作するプログラムによって様々な機能を実現したが、こ
のプログラムのみをＣＤ−ＲＯＭ、フロッピー（登録商
標）ディスク等の記録媒体に格納して頒布し、あるいは
伝送路を通じて頒布することもできる。

【００５４】(2)図１１ないし図１４に示したアルゴリ
ズムにおいては、ＳＴＦ分離部１２２は、波形データで
ある決定論的波形および残差波形を出力した。しかし、
決定論的波形については、ＳＴＦ分離部１２２がＳＴＦ
データを出力するように構成してもよい。かかる場合、
波形データとしての決定論的波形は楽音合成部７におい
て合成される。そして、上記各アルゴリズムにおいて
は、加算器１３２，１５０，１５２，１６２において決
定論的波形と残差波形とが合成されたが、かかる処理は
ＤＡＣ８において実行されることになる。

【００５５】(3)図１１ないし図１４に示したアルゴリ
ズムにおいては、ＳＴＦ分離部１２２から出力された残
差波形に係る軌跡の中から、除去対象となるひなり音成
分の軌跡が指定された。しかし、元波形そのものをピー
ク検出部１４０に供給し、全体の軌跡の中からひなり音
成分の軌跡を指定してもよい。

【００５６】

【発明の効果】以上説明したように本発明によれば、楽
音信号等の音声信号から雑音成分を的確に除去すること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施形態の楽音分析合成装置のブ
ロック図である。

【図２】楽音合成部７およびその変形例の詳細ブロッ
ク図である。

【図３】表示装置４における波形表示例である。

【図４】表示装置４における他の波形表示例である。

【図５】一実施形態の帯域分割処理の説明図である。

【図６】一実施形態の帯域分割処理の他の説明図であ
る。

【図７】帯域分割された帯域分割波形Ｓ１〜Ｓ１５の
波形図である。

【図８】帯域分割波形Ｓ１〜Ｓ１５のエンベロープ波
形ＳＥ１〜ＳＥ１５の波形図である。

【図９】フェード処理部１２８の動作説明図である。

【図１０】フェード処理部１２８の他の動作説明図で
ある。

【図１１】パルシブなノイズを除去するアルゴリズム
のブロック図である。

【図１２】ひなり音成分を除去するアルゴリズム
(１)，(２)のブロック図である。

【図１３】ひなり音成分を除去するアルゴリズム
(３)，(４)のブロック図である。

【図１４】ひなり音成分を除去するアルゴリズム
(５)，(６)のブロック図である。

【図１５】ＳＴＦ分離部１２２の入出力波形図であ
る。

【図１６】ピーク検出部１４０による分析データの表
示例を示す図である。

【図１７】ノイズ軌跡指定部１４２において軌跡を指
定する際の表示例を示す図である。

【図１８】ノイズ軌跡指定部１４２において軌跡を指
定する際の他の表示例を示す図である。

【図１９】ノイズ軌跡指定部１４２において軌跡を指
定する際の他の表示例を示す図である。

【図２０】ピアノ音の再生時における各波形データの
混合比を示す図である。

【符号の説明】

１…ＣＰＵ、２…プログラムメモリ、３…データメモ
リ、４…表示装置、５…入力装置、６…演奏操作子、７
…楽音合成部、８…ＤＡＣ、８…デジタルアナログ変換
器、９…ネットワークインターフェース回路、１０…シ
ステムバス、１１…通信ネットワーク、７１，７３…イ
ンターフェース回路、７２…正弦波波形演算部、７４…
残差波形演算部、７５…ミキサ、７６…インターフェー
ス回路、７７…波形メモリ、７８…位相発生部、７９…
波形加工部、１００，１０２，１０４，１０６，１０
８，１１０…ウィンドウ、１２０…帯域分割部、１２０
−１〜１２０−Ｎ…バンドパスフィルタ、１２２…ＳＴ
Ｆ分離部、１２４…判定部、１２６…分岐部、１２８…
フェード処理部、１３０，１３２…加算器、１４０…ピ
ーク検出部、１４２…ノイズ軌跡指定部、１４４…ＦＦ
Ｔ処理部、１４６…マスク部、１４８…ＩＦＦＴ処理
部、１５０…加算器、１５１…ＢＥＦフィルタバンク、
１５２…加算器、１５４…正弦波合成部、１５６…乗算
器、１５８，１６２…加算器。

Claims

【特許請求の範囲】

【請求項１】雑音発生期間が既知である第１の音声信
号から当該雑音を除去する雑音除去方法であって、前記第１の音声信号を少なくとも前記雑音発生期間の幅
以上、時間軸方向にシフトして成る第２の音声信号を生
成する過程と、前記雑音発生期間以前に前記第１の音声信号を出力する
過程と、前記雑音発生期間内に前記第２の音声信号を出力する過
程と、前記雑音発生期間以降に前記第１の音声信号を出力する
過程と、を有することを特徴とする雑音除去方法。
【請求項２】前記雑音発生期間の直前に、前記第２の
音声信号の混合比が徐々に高くなるようにクロスフェー
ドしつつ、前記第１および第２の音声信号を混合して出
力する過程と、前記雑音発生期間の直後に、前記第１の音声信号の混合
比が徐々に高くなるようにクロスフェードしつつ、前記
第１および第２の音声信号を混合して出力する過程とを
さらに有することを特徴とする請求項１記載の雑音除去
方法。
【請求項３】音声信号を周波数帯域毎に分割し、複数
の帯域分割波形を得る過程と、第１の帯域分割波形においてピーク値が発生する第１の
ピーク発生タイミングを検出する過程と、前記第１の帯域分割波形よりも高い周波数帯域に属する
第２の帯域分割波形について、前記第１のピーク発生タ
イミングよりも後のタイミングであって、前記第１のピ
ーク発生タイミングにおけるレベルよりも高いレベルを
有する第２のピーク値が存在するか否かを判定する過程
と、前記第２のピーク値が発生するタイミングを含む範囲に
おいて、前記第２の帯域分割波形のレベルを低下させる
過程とを有することを特徴とする雑音除去方法。
【請求項４】音声信号のサンプリングデータに対し、
該音声信号の周波数成分が時間の経過に伴って辿る複数
の軌跡を分析する軌跡分析過程と、これら分析された軌跡の中から除去対象となる除去軌跡
を指定する軌跡指定過程と、前記除去軌跡に沿った周波数成分を前記音声信号から除
去する除去過程とを有することを特徴とする雑音除去方
法。
【請求項５】前記除去過程は、前記音声信号に対してフーリエ変換処理を施し、パワー
成分および位相成分を求める過程と、前記除去軌跡に対応する周波数のパワー成分に対して、
レベルを低下させた修正パワー成分を求める過程と、前記修正パワー成分と前記位相成分とに対して逆フーリ
エ変換処理を施す過程とを有することを特徴とする請求
項４記載の雑音除去方法。
【請求項６】前記除去過程は、前記除去軌跡に対応す
る周波数を除去周波数とするフィルタ処理を施す過程で
あることを特徴とする請求項４記載の雑音除去方法。
【請求項７】前記除去過程は、前記除去軌跡に基づいて疑似雑音信号を生成する過程
と、該疑似雑音信号を前記音声信号から減算する過程とを有
することを特徴とする請求項４記載の雑音除去方法。
【請求項８】第１のベロシティに対応する第１の波形
データを記憶する過程と、第２のベロシティに対応する第２の波形データを記憶す
る過程と、前記第２の波形データから特定の雑音成分を除去して成
る第３の波形データを記憶する過程と、少なくともベロシティを含む演奏情報を入力する過程
と、前記演奏情報に係るベロシティが所定の雑音混入ベロシ
ティ未満であることを条件として、前記第１および第２
の波形データを混合して楽音信号を生成する過程と、前記演奏情報に係るベロシティが該雑音混入ベロシティ
以上であることを条件として、前記第３の波形データを
用いて楽音信号を生成する過程とを有し、これによって
前記演奏情報に係るベロシティが前記雑音混入ベロシテ
ィ未満である場合に前記楽音信号から前記特定の雑音成
分を除去することを特徴とする雑音除去方法。
【請求項９】請求項１ないし８の何れかに記載の雑音
除去方法を実行することを特徴とする雑音除去装置。
【請求項１０】請求項１ないし８の何れかに記載の雑
音除去方法を実行することを特徴とするプログラム。