JP2004021027A - 演奏音制御方法及び装置 - Google Patents

Abstract

【課題】多重奏等の複数音が複合化された演奏音の中から特定の音を選択抽出して、該特定音のピッチ等の楽音特性を変更制御する。
【解決手段】複数音が複合化された演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得し、取得した各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出する。その際、特定のピッチ以外のピッチと倍音関係にある周波数成分と特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから特定のピッチについての周波数成分の分析データを分離して取り出す。該特定のピッチの音の特性を変更するために、抽出された分析データを変更する。変更された分析データとその他の分析データとの組合せに基づき、元の演奏音を変更した演奏音を合成する。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
この発明は、多重奏等の複音からなる演奏音を分析し、その中から特定の音を選択して、該特定音のピッチ等楽音特性を可変制御することのできる演奏音制御方法及び装置に関する。
【０００２】
【従来の技術】
楽音合成法の一つとして、楽音波形を分析し、分析によって得た元の楽音波形の周波数、振幅、位相等の成分を適宜変更制御し、これらの制御された成分を基にして楽音波形を再合成する分析・合成（Ａｎａｌｙｓｉｓ　＆　Ｓｙｎｔｈｅｓｉｓ）方式が存在している（例えば、米国特許第５０２９５０９号、特開平７−３２５５８３号公報、特開平１２−１０５６７号公報など）。この場合、分析対象の楽音波形が楽器の多重奏や複数人声のコーラスなどの演奏音の場合、その中から特定の音のみを抽出して可変制御することは非常に困難であった。
また、分析データの時系列的軌跡（トラジェクトリ：Ｔｒａｊｅｃｔｏｒｙ）を抽出して加工処理する場合、加工処理によって位相値にずれが生じることがあり、特に発音開始時点での位相値にずれが生じると音質が変更されてしまうという不都合が生じる。従来は、そのような問題点の認識すらなく、従って、適切な対策をとることもできなかった。
【０００３】
【発明が解決しようとする課題】
この発明は上述の点に鑑みてなされたもので、多重奏等の複数音が複合化されてなる演奏音を分析しその中から特定の音を抽出・選択して該特定音のピッチ等楽音特性を変更制御できるようにした演奏音制御方法及び装置を提供しようとするものである。
【０００４】
【課題を解決するための手段】
この発明に係る演奏音制御方法は、演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップと、前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出するステップと、前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更するステップとを具備し、前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする。
【０００５】
これにより、多重奏等の複音からなる演奏音の分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データのみを抽出し、抽出された分析データを変更することで、特定のピッチの楽音に対してのみ特性変更操作を施し、演奏音に対する制御を自由に行なうことができる。例えば原演奏音がド、ミ、ソの和音からなっている場合、その中の「ミ」を半音下げて、「ド」、フラット「ミ」、「ソ」の和音に変えることができる。原演奏音の「ミ」の音程が狂って半音上がっているような場合、狂っている「ミ」のみ正しいピッチに修正して、「ド」、「ミ」、「ソ」の正しい和音に修正することもできる。その他、いろいろな応用が可能である。
このようにして変更された分析データに基づき演奏音を合成するために、前記変更された抽出された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具備し、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されるようにしてよい。
【０００６】
一実施態様として、前記抽出するステップは、前記取得するステップで取得された前記周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出すステップを含み、前記変更するステップでは、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施すことを特徴とする。
【０００７】
例えば多重奏音あるいはコーラス音声音などの複数音が同時的に混在している演奏音波形を周波数成分分析した場合、基音周波数が相違する音同士であっても、それらの倍音周波数の中にはほぼ同一周波数で重なり合うものがあり得る。例えば原演奏音が音高Ｃ２、Ｅ２、Ｇ２からなる「ド」、「ミ」、「ソ」の和音を演奏したものである場合、Ｃ２の３倍音周波数とＧ２の２倍音周波数とが重なり合い、Ｃ２の５倍音周波数とＥ２の４倍音周波数とが重なり合い、Ｃ２の６倍音周波数とＧ２の４倍音周波数とが重なり合う。そのような場合、原演奏音中の特定の音のピッチを変更しようとする場合、該特定の音の基音及び全ての倍音周波数成分を変更する操作を行なえばよいのであるが、他の音の成分と重なり合っている成分については、これを適切に分離・抽出し、特定の音の成分についてのみ周波数変更操作を行なう必要がある。例えば「ミ」（Ｅ２）のピッチを半音下げようとする場合、Ｅ２の４倍音周波数は、Ｃ２の５倍音周波数と重なり合うので、その区別を適切に行ない、Ｅ２の周波数成分のみを抽出してそれを半音ピッチ下げる変更操作を行なわなければならない。上記実施態様によれば、そのような適切な操作が可能となる。
【０００８】
この発明の別の観点に従う演奏音制御方法は、演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップであって、該分析データには各周波数成分の位相を時間関数で示すデータが含まれるものと、前記分析データの中から、目的とする特定の音の分析データを抽出するステップと、前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相のデータを変更するステップであって、変更された前記位相のデータにおいて特定の時点における位相値が元の値に略維持されるように調整するものとを具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする。これにより、分析データの時系列的軌跡（トラジェクトリ）を抽出して加工処理する場合、加工処理を行なっても、位相を合わせる必要がある特定の時点での位相値にずれが生じないように調整されるので、特定時点での位相ずれによる不具合の発生を防ぐことができる。例えば、同じ音高の楽音を適宜の音符長で連続的に繰返し発生するような場合、該音高についての一連のトラジェクトリ中に複数のノートオンタイミング（発音開始時点）が含まれることになるが、そのような場合、各ノートオンタイミング（発音開始時点）における位相状態は音質に影響を与える。よって、位相トラジェクトリにおける位相関数の傾きを変更することでピッチ変更を実現する場合、少なくとも各ノートオンタイミング（発音開始時点）における位相値があまり変動することなく元の状態を略維持するようにすることが望ましい。そのためには、前記特定の時点を音の立上り時点とすればよく、そうすれば、変更された位相のデータにおいて音の立上り時点における位相値が元の値に略維持されるように調整することができ、音質が不所望に変更されることを防ぐことができる。この場合も、前記変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具備し、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されるようにしてよい。
【０００９】
この発明は、方法の発明として構成し、実施することができるのみならず、装置又はシステムの発明として構成し、実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記録媒体の形態で実施することもできる。
【００１０】
【発明の実施の形態】
以下、添付図面を参照してこの発明の実施の形態を詳細に説明しよう。
図１は、この発明の一実施例に係る演奏音制御方法を実行するために使用可能な楽音分析合成装置のハードウエア構成例を示すブロック図である。この楽音分析合成装置は、ＣＰＵ（中央処理ユニット）１、ＲＯＭ（リードオンリメモリ）２及びＲＡＭ（ランダムアクセスメモリ）３を含むコンピュータで構成され、システムバス１０を介して各種機器がＣＰＵ１に接続される。ＣＰＵ１は、この楽音分析合成装置全体の制御を行なうコンピュータの中枢部である。ＲＯＭ２及び／又はＲＡＭ３には、ＣＰＵ１が実行する各種制御プログラム、楽音分析プログラム、楽音合成プログラムなどの各種プログラムが記憶される。また、ＲＡＭ３は、各種制御情報やデータ類の記憶する及び／又は一時記憶するデータメモリとして機能し、また、ワーキングメモリとして機能する。
【００１１】
システムバス１０を介してＣＰＵ１に接続される各種機器の一例を示すと、表示装置４、キーボート及びポインティングデバイス等を含む入力装置５、鍵盤などの演奏操作子装置６、楽音合成用の楽音合成部７、デジタルアナログ変換及びアナログデジタル変換機能を持つＣＯＤＥＣ８、インターネットやＬＡＮなどの通信ネットワーク１５と接続するための通信インタフェース９、ハードディスクドライバ（ＨＤＤ）１１、ＣＤ−ＲＯＭやＤＶＤ、ＭＯ、フレキシブル磁気ディスクなどの着脱式記憶媒体を読み書きするための外部メモリドライバ１２、などがある。なお、楽音合成部７は、ハードウェア音源及びソフトウェア音源のどちらで構成してもよい。ＣＯＤＥＣ８にはマイクロフォン１３とサウンドシステム１４が接続され、マイクロフォン１３を介してピックアップしたアナログ楽音波形信号がデジタル変換されて本装置内に取り込まれることができ、また、本装置内で合成されたデジタル楽音波形信号がアナログ変換されてサウンドシステム１４に与えられる。
【００１２】
まず、この楽音分析合成装置で実行する楽音分析処理の一例について説明する。この例では、楽音分析処理は、楽音分析プログラム（ソフトウェア）をＣＰＵ１が実行することで行なわれる。この楽音分析処理は、スペクトル解析技術など公知の技術（例えば特開平１２−１０５６７号公報に示された技術）を適宜用いてよいため、ここでは、図２を参照して簡単に概略を説明するにとどめる。
図２において、ステップＳ１では、分析対象となる演奏音の楽音波形信号を本装置内に取り込む処理を行う。分析対象となる演奏音信号は、アナログ楽音波形信号の形でマイクロフォン１３から入力されるようになっていてもよいし、通信インタフェース９や外部メモリドライバ１２などを介してデジタル楽音波形信号の形で外部から本装置内に取り込まれるようになっていてもよい。分析対象となる演奏音信号は、多重奏音や人声コーラス音など同時に複数の音が混在するものであってよい。
【００１３】
次に、ステップＳ２では、上記取り込んだ楽音波形信号を所定の時間フレーム毎にスペクトル解析し、その楽音波形に含まれている基音周波数およびその倍音周波数に対応する線スペクトル成分を抽出する。通常、このスペクトル解析は、時間窓（ウインドウ）を用いたフーリエ変換による短時間スペクトル解析を用いて行われている。すなわち、分析対象となる楽音をサンプリングし、該楽音波形サンプルに窓関数を掛けてＦＦＴ（高速フーリエ変換：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を行い、該フーリエ変換出力の振幅データからピークを成す全ての周波数位置を検出する。以上の処理を、前記時間窓を移動しながら行い（短時間フーリエ変換（ＳＦＦＴ：Ｓｈｏｒｔ−ｔｉｍｅ　Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ））、各フレームにおけるピークを検出する。ここで、それぞれのピークは、ピッチすなわち周波数（Ｆｒｅｑｕｅｎｃｙ）、振幅（Ａｍｐｌｉｔｕｄｅ）、位相（Ｐｈａｓｅ）の３種の要素の情報を有することが知られている。
【００１４】
次に、ステップＳ３では、前ステップＳ２で得られたピークデータに基づき軌跡を成すデータを追跡・抽出し、各周波数成分毎のピッチ軌跡（トラジェクトリ）と振幅軌跡（トラジェクトリ）及び位相軌跡（トラジェクトリ）を生成し、これらを分析データとして提供する。すなわち、同じ周波数成分の時系列的な連続を検出し、これを軌跡（トラジェクトリ）として抽出する。ピッチトラジェクトリは当該周波数成分の検出されたピッチを示すデータの時系列軌跡からなり、振幅トラジェクトリは当該周波数成分の検出された振幅を示すデータの時系列軌跡からなり、位相トラジェクトリは当該周波数成分の検出された位相値を示すデータの時系列軌跡からなる。１つの或る周波数成分についての分析データは、ピッチトラジェクトリと振幅トラジェクトリ及び位相トラジェクトリのセットからなる。なお、位相トラジェクトリは求めなくてもよい場合があるが、本実施例では、後述するようにこれを利用するので、求めるものとする。
次のステップＳ４では、前ステップＳ３で生成した各周波数成分のピッチトラジェクトリと振幅トラジェクトリとから当該周波数成分に対応する周波数の正弦波信号を生成し、こうして生成した各周波数成分の正弦波信号を加算合成することで決定論的な波形（Ｄｅｔｅｒｍｉｎｉｓｔｉｃ　Ｗａｖｅ）を生成し、元の楽音波形から該決定論的な波形を減算することにより残差波形（Ｒｅｓｉｄｕａｌ　Ｗａｖｅ）を得る。これらの各周波数成分毎の各トラジェクトリ及び残差波形からなる分析データは、ＲＡＭ３あるいはハードディスク等適宜の記憶媒体に記憶・保存される。
【００１５】
上記のように分析した分析データに基づき楽音波形を再合成するにあたって、前記決定論的な波形は、以下一例を述べるように所望の周波数成分毎の各トラジェクトリのデータを適宜変更することにより、適宜変更することができ、また、前記残差波形はＥＱ（イコライザ）やＦＦＴ他の信号処理により適宜変更することができる。このようにして適宜変更された決定論的な波形と残差波形とを加算合成することにより、元の楽音波形に対して所望の加工を施して変更した楽音波形を得ることができる。
【００１６】
図３は、上記楽音分析処理によって得られた分析データのうち所望の周波数成分のデータを変更するための変更処理の一例を示す。
図３において、ステップＳ１１では、上記楽音分析処理によって得られた各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分（つまり基音と各倍音）の分析データ（トラジェクトリデータ）を抽出する。これは、多重奏音からなる元の楽音波形の中から、特定のピッチの演奏音のみを摘出し、その特定のピッチの演奏音のみに対して楽音特性の所望の変更を施すためである。例えば或る演奏区間において原演奏音がＣ２．Ｅ２．Ｇ２（ド、ミ、ソ）の和音からなっている場合、その中のＥ２（ミ）の演奏音に対して所望の変更を施したい場合、本装置のユーザ若しくは操作者による入力装置５の操作等によって、目的とする特定のピッチとしてＥ２（ミ）を指定する。また、抽出すべき演奏区間を指示することも入力装置５の操作等によってなされる。これに応じて、ステップＳ１１では、特定ピッチ抽出ルーチンを実行し、指定された演奏区間内において、指定された特定のピッチと倍音関係にある複数の周波数成分の分析データ（トラジェクトリデータ）を抽出する。特定ピッチ抽出ルーチンの一例については図４（ａ）により後述する。
【００１７】
次のステップＳ１２では、目的とする特定のピッチの音の特性を変更するために、前ステップＳ１１で抽出された分析データを変更する処理を行う。ここで、変更の対象とする音の特性は、適宜選択できるようになっていてよい。例えば、本装置のユーザ若しくは操作者による入力装置５の操作等によって、楽音ピッチ、音色、音量などの楽音要素のうち、変更したい楽音要素を指定入力し、その変更量等を設定入力する。これに応じて、ステップＳ１２では、所定のデータ変更処理を実行し、データの変更を行う。例えば、楽音ピッチ要素を変更する場合、前ステップＳ１１で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音のピッチトラジェクトリにおけるピッチデータを所望の変更すべきピッチに対応するものに変更する。あるいは、位相トラジェクトリの傾きを変更することでピッチ変更が可能であるから、前ステップＳ１１で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音の位相トラジェクトリの傾き所望の変更すべきピッチに対応する傾きに変更するようにしてもよい。このような多重奏音における特定の音のピッチ操作によって、ピッチが少しずれた演奏音のピッチを正しいピッチに修正したり、ミスタッチ（誤演奏）された音のピッチを正しいピッチに修正したり、半音単位でのピッチ調節によってマイナーをメジャーに変えたり、メジャーをマイナーに変えたりの音楽的操作も行える。このようなピッチ変更処理は、例えば図４（ｂ）を参照して後述するようなピッチ変更ルーチンを実行することにより行われる。
【００１８】
また、音色要素を変更する場合、前ステップＳ１１で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、所望の１又は複数の倍音の振幅トラジェクトリにおける振幅データを適宜変更することでスペクトル構成を変更し、もって音色要素の変更が行える。また、音量要素を変更する場合、前ステップＳ１１で抽出された該目的とする特定のピッチについての各周波数成分毎の各トラジェクトリのうち、基音及びすべての倍音の振幅トラジェクトリにおける振幅データを同率で変更することで音量要素の変更が行える。更に、このステップＳ１２での変更処理には、データの一部変更に限らず、別のデータへの差し替え及び／又は削除を含んでいてよい。例えば、Ａ，Ｂ，Ｃの３名によるコーラス音声のうち、Ａ氏のパートのピッチについての分析データを抽出し、これを別に用意したＤ氏の音声による同パート（ピッチ）の分析データにそっくり差し替えるようにしてもよい。そうすれば、後段の楽音合成処理によってＢ，Ｃ，Ｄの３名によるコーラス音声を創作できる。あるいは、Ａ氏のパートのピッチについての分析データをそっくり削除してもよい。そうすれば、後段の楽音合成処理によってＢ，Ｃの２名のみによるコーラス音声を創作できる。
【００１９】
更に別の演奏区間あるいは別の特定ピッチの分析データについて変更を行いたい場合は、ステップＳ１３のＮＯからステップＳ１１に戻り、上記ステップＳ１１，Ｓ１２の処理を適宜繰り返せばよい。こうして所望の変更を行った結果、元の演奏音の分析データを部分的に適宜変更した分析データの新セット（各周波数成分毎の各トラジェクトリと残差波形の新セット）が得られる。この変更した分析データの新セットは、ＲＡＭ３あるいはハードディスク等適宜の記憶媒体に記憶・保存される。この場合、変更した分析データの新セットは、元の演奏音の分析データとは別に記憶・保存してもよいし、それに置き換えて記憶・保存してもよい。
【００２０】
以上のようにして作成された変更した分析データを記憶媒体から読み出し、該変更した分析データに基づき楽音合成部７により楽音合成を行う。この楽音合成は、前述のように、ピッチトラジェクトリ（及び／または位相トラジェクトリ）と振幅トラジェクトリとに基づく基音及び倍音のスペクトル合成（フーリエ合成）により決定論的な波形を生成することと、生成した決定論的な波形と残差波形とを加算合成することを含む。このような決定論的な波形のスペクトル合成（フーリエ合成）と残差波形との加算による楽音波形の再合成技術それ自体は、公知の技術（例えば特開平１２−１０５６７号公報に示された技術）を適宜用いてよいため、詳細説明を省略する。
【００２１】
次に、多重奏音の具体例を挙げて、本実施例に従う楽音分析及び変更の態様につき更に説明する。
図５は、多重奏音の一例として、１小節分の演奏区間において、１拍目に全音符でＣ２音（ド）が演奏され、２拍目、３拍目、４拍目に夫々四分音符でＥ２音（ミ）とＧ２音（ソ）が和音演奏される楽譜例を示す。図６は図５の楽譜をピアノで弾いた楽音波形例を示す。図６のような多重奏音の楽音波形に対して図２に示すような楽音分析処理が施される。図７は、図６の楽音波形を分析することで得られた各周波数成分毎のピッチトラジェクトリをグラフ化して示すもので、縦軸は周波数、横軸は時間である。図示の都合上、図では９００Ｈｚまでしか示されていないが、実際はもっと高い周波数まで分析されるのは言うまでもない。
【００２２】
図７において、「Ｃ２基音」は、Ｃ２音の基音（１３０．８Ｈｚ）の周波数成分のピッチトラジェクトリを示し、「Ｃ２−２」、「Ｃ２−３」、「Ｃ２−４」、「Ｃ２−５」、「Ｃ２−６」は、それぞれＣ２音の２倍音（２６１．６Ｈｚ）、３倍音（３９２．４Ｈｚ）、４倍音（５２３．２Ｈｚ）、５倍音（６２４Ｈｚ）、６倍音（７８４．８Ｈｚ）の周波数成分のピッチトラジェクトリを示す。同様に、「Ｅ２基音」、「Ｅ２−２」、「Ｅ２−３」、「Ｅ２−４」、「Ｅ２−５」は、それぞれは、Ｅ２音の基音（１６４．８Ｈｚ）、２倍音（３２９．６Ｈｚ）、３倍音（４９４．４Ｈｚ）、４倍音（６５９．２Ｈｚ）、５倍音（８２４Ｈｚ）の周波数成分のピッチトラジェクトリを示す。なお、図では、単独の「Ｅ２−４」は顕れていない。また、「Ｇ２基音」、「Ｇ２−２」、「Ｇ２−３」、「Ｇ２−４」は、それぞれは、Ｇ２音の基音（１９６．０Ｈｚ）、２倍音（３９２．０Ｈｚ）、３倍音（５８８．０Ｈｚ）、４倍音（７８４．０Ｈｚ）の周波数成分のピッチトラジェクトリを示す。なお、図では、単独の「Ｇ２−２」、「Ｇ２−４」は顕れていない。
【００２３】
図中で、「Ｃ２−３＋Ｇ２−２」と付記されたものは、Ｃ２音の３倍音（３９２．４Ｈｚ）の周波数成分とＧ２音の２倍音（３９２．０Ｈｚ）の周波数成分とが分離されずに、１つの周波数成分のピッチトラジェクトリとして分析されたものである。つまり、１拍目に全音符で演奏されたＣ２音の３倍音（３９２．４Ｈｚ）の周波数成分のトラジェクトリは図中の「Ｃ２−３」として得られるが、２拍目以降ではＧ２音の２倍音（３９２．０Ｈｚ）の周波数成分がこれとほぼ同じ周波数であるため、分離されずに同じ周波数成分のトラジェクトリとして分析されてまう。このようにＣ２音の３倍音とＧ２音の２倍音とが重なっている部分が「Ｃ２−３＋Ｇ２−２」で示されている。なお、分析データにおいては、「Ｃ２−３」のトラジェクトリと「Ｃ２−３＋Ｇ２−２」のトラジェクトリは別のものとして分析されておらず、「Ｃ２−３＋Ｇ２−２」の部分は先行する「Ｃ２−３」のトラジェクトリに続いているものとして、つまり一連のトラジェクトリとして分析されている。
【００２４】
同様に、図中で、「Ｃ２−５＋Ｅ２−４」と付記されたものは、Ｃ２音の５倍音（６２４Ｈｚ）の周波数成分とＥ２音の４倍音（６５９．２Ｈｚ）の周波数成分とが分離されずに、１つの周波数成分のピッチトラジェクトリとして分析されたものである。つまり、１拍目に全音符で演奏されたＣ２音の５倍音（６２４Ｈｚ）の周波数成分のトラジェクトリは図中の「Ｃ２−５」として得られるが、２拍目以降ではＥ２音の４倍音（６５９．２Ｈｚ）の周波数成分がこれとほぼ同じ周波数であるため、分離されずに同じ周波数成分のトラジェクトリとして分析されてまう。同様に、図中で、「Ｃ２−６＋Ｇ２−４」と付記されたものは、Ｃ２音の６倍音（７８４．８Ｈｚ）の周波数成分とＧ２音の４倍音（７８４．０Ｈｚ）の周波数成分とが分離されずに、１つの周波数成分のピッチトラジェクトリとして分析されたものであることを示す。
【００２５】
このような多重奏音の楽音波形の分析データの中から、Ｅ２音の基音及び倍音の周波数成分の分析データ（トラジェクトリ）を抽出する例につき説明する。Ｅ２音の基音及び倍音の周波数成分のうち、図７に示された「Ｅ２基音」、「Ｅ２−２」、「Ｅ２−３」のように他の音の周波数成分と重複していないものは、それをそのまま抽出すればよいので、特に面倒はない。しかし、図７に示された「Ｃ２−５＋Ｅ２−４」のように他の音の周波数成分と重複しているものは、その中からＥ２音の倍音周波数成分（図の例では４倍音成分「Ｅ２−４」）のみを分離して抽出しなければならない。
この抽出は、図３のステップＳ１１における「特定ピッチ抽出ルーチン」の処理で行われる。図４（ａ）は、図３のステップＳ１１で行われる「特定ピッチ抽出ルーチン」の一例を示す。まずステップＳ１１ａでは、目的とする特定のピッチの基音及び倍音成分のうち、図７に示された「Ｅ２基音」、「Ｅ２−２」、「Ｅ２−３」のように、他の音の周波数成分と重複していない周波数成分の分析データ（トラジェクトリ）を抽出する。次にステップＳ１１ｂでは、目的とする特定のピッチの基音及び倍音成分のうち、図７に示された「Ｃ２−５＋Ｅ２−４」のように、他のピッチの周波数成分と重複しているものにつき、その中から該他のピッチの周波数成分（Ｃ２−５）と特定のピッチの周波数成分（Ｅ２−４）とを分離して抽出する。つまり、元となる「Ｃ２−５＋Ｅ２−４」は、１つの周波数成分についてのトラジェクトリ（ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組）であるところ、ここから、Ｃ２音の５倍音（Ｃ２−５）の周波数成分についてのトラジェクトリ（ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組）と、Ｅ２音の４倍音（Ｅ２−４）の周波数成分についてのトラジェクトリ（ピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリの組）とを分離・生成する。なお、この「特定ピッチ抽出ルーチン」の処理は、全自動処理で行うようにプログラムが組まれていてもよいが、人間がコンピュータディスプレイ（図１の表示装置４）を見ながら適宜指示入力操作を行う対話形式で処理を行うようにプログラムが組まれていてよい。
【００２６】
このステップＳ１１ｂで行う分離抽出の手法の１つとして「エンベロープ分離法」を提案する。このエンベロープ分離法は、演奏音の振幅エンベロープがピアノ音や打撃音のように減衰エンベロープからなる場合に採用できる方法である。図８（ａ）は、図７に示された「Ｃ２−５」及び「Ｃ２−５＋Ｅ２−４」の周波数成分についての振幅トラジェクトリデータに基づき、振幅エンベロープ波形を描画したものである。１拍目のタイミングでＣ２の５倍音のアタック部が立上り、２拍目、３拍目、４拍目のタイミングで３つのＥ２音の４倍音のアタック部がそれぞれ立上る。１拍目のタイミングで立ち上がるＣ２の５倍音の振幅エンベロープは徐々に減衰する。このＣ２の５倍音の振幅エンベロープの減衰形状は、２拍目以降はＥ２の４倍音の振幅エンベロープと混じることで明確にはされないが、１拍目におけるＣ２の５倍音のみの振幅エンベロープの減衰曲線を延長するあるいは関数近似演算することによって、予測することが可能である。図８（ｂ）は、そのように予測した１拍目のＣ２の５倍音の振幅エンベロープの減衰曲線を符号Ｒで示している。このように予測した減衰曲線Ｒを１拍目における分析されたＣ２の５倍音の振幅エンベロープに接続することで、図８（ｃ）に示すように、Ｃ２の５倍音単独の振幅エンベロープを作成することができる。このように作成したＣ２の５倍音単独の振幅エンベロープから、該Ｃ２の５倍音周波数成分の振幅トラジェクトリを作成することができ、かつそのピッチトラジェクトリ及び位相トラジェクトリもそれに対応付けて作成できる。
次に、図８（ａ）に示されたようなＣ２の５倍音とＥ２の４倍音についての振幅エンベロープ波形から、１拍目のＣ２の５倍音単独の振幅エンベロープを除去し、２拍目のアタック部における不足部分を関数近似演算等で予測して作成し補うことで、図８（ｄ）に示すように、２拍目、３拍目、４拍目のタイミングで順次立ち上がるＥ２の４倍音単独の振幅エンベロープを作成することができる。このように作成したＥ２の４倍音単独の振幅エンベロープから該Ｅ２の４倍音周波数成分の振幅トラジェクトリを作成することができ、かつそのピッチトラジェクトリ及び位相トラジェクトリもそれに対応付けて作成できる。
【００２７】
ステップＳ１１ｂで行う分離抽出の手法の別の例として「振幅分配法」を提案する。この振幅分配法は、演奏音の振幅エンベロープが持続音エンベロープからなる場合に採用するとよい方法である。持続音エンベロープの音にあっては、減衰エンベロープの音のように減衰曲線を予測することでトラジェクトリの分離を行うことができない。そこで、振幅分配法により、重複している周波数成分の特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、決定された振幅分配率で振幅データを割り振る。一般に、楽音スペクトル構成においては倍音次数が高いものほど振幅レベルが小さいので、振幅分配率もそのように決定すればよい。例えば、２倍音と３倍音とが同一周波数成分として重複している場合は、分析によって得た振幅トラジェクトリにおける振幅データを、２倍音の成分に対して３／５の割合で分配し、３倍音の成分に対して２／５の割合で分配する、という具合にすればよい。このように決めた振幅分配率に従って、分析によって得た元の振幅トラジェクトリにおける振幅データを、２つに分離し（３以上重複している場合はその数に応じて３以上に分離する）、２つの（又は３以上の）周波数成分の振幅トラジェクトリを作成することができる。なお、分離したそれぞれの振幅トラジェクトリの時間区間は、予め判っている楽譜等を参考にして決めればよい。このように分離したそれぞれの振幅トラジェクトリが決まれば、分析によって得た元のピッチトラジェクトリ及び位相トラジェクトリを、それに対応付けることで、それぞれのピッチトラジェクトリ及び位相トラジェクトリを作成することができる。なお、この振幅分配法にあっては、単に倍音次数のみから振幅分配率するのでなく、基音の音域等も考慮して振幅分配率を決定するようにしてもよい。その場合、基音の周波数又は音域と倍音次数との組合せ等に応じて振幅分配率を設定したテーブル等を用意しておき、それを参照するようにしてもよい。
【００２８】
次に、抽出した分析データの変更態様例として、その楽音ピッチを変更する例につき説明する。
楽音ピッチの変更は、位相トラジェクトリで与えられる位相の時間関数の傾きを変えることで容易に行える。例えば、Ｅ２音のピッチ（元ピッチ）を半音下のＥｂ２音のピッチ（目標ピッチ）に変えようとする場合、両者の周波数比ｆＲは、前者（元ピッチ）の周波数をｆＥ、後者（目標ピッチ）の周波数をｆＥｂ、とすると、
ｆＲ＝ｆＥｂ／ｆＥ
と表わせる。なお、ｂはフラット記号として用いている。ここで、Ｅ２音（元ピッチ）の位相トラジェクトリで与えられる位相関数の傾きをＰＥ／Δｔとすると、その半音下のＥｂ２音（目標ピッチ）の位相関数の傾きＰＥｂ／Δｔは、上記周波数比ｆＲを掛けることで、
ＰＥｂ／Δｔ＝ｆＲ（ＰＥ／Δｔ）
として求められる。これにより、任意の元ピッチ（例えばＥ２）の位相トラジェクトリを、所望の目標ピッチ（例えばＥｂ２）の位相トラジェクトリに変更することができる。
【００２９】
図９は、図５〜図８に示された演奏データ例において上記のようにして抽出されたＥ２音の位相トラジェクトリをＥｂ２音の位相トラジェクトリに変換する例を図示するものである。図９において、たて軸の位相値は、多サイクルにわたる絶対位相を表わしている。この図から理解できるように、位相トラジェクトリの傾きを変換することでピッチ変換を行う手法によれば、元の音における位相のゆらぎをそのまま保存することができるので、極めて高品質なピッチ変換処理を行うことができる。
なお、位相の時間微分は周波数であるから、得られた目標ピッチ（例えばＥｂ２）の位相トラジェクトリに基づき、そのピッチトラジェクトリは容易に算出できる。また、振幅トラジェクトリは、元のＥ２音の振幅トラジェクトリをそのまま使用すればよい。
【００３０】
上述したような抽出した分析データのピッチを変更する処理は、図３のステップＳ１２で「ピッチ変更ルーチン」を実行することで行われる。図４（ｂ）はこの「ピッチ変更ルーチン」の一例を示す。ステップＳ１２ａでは、上記のように、抽出した分析データの元ピッチと変更後の目標ピッチとの周波数比ｆＲを求める。なお、この周波数比ｆＲは基音周波数についてのみ求めればよい。なお、このステップＳ１２ａでは後述するような「位相調整ルーチン」を含んでいてもよい。次のステップＳ１２ｂでは、上記のように、抽出した分析データの位相トラジェクトリにおける位相関数の傾きに前ステップＳ１２ａで求めた周波数比ｆＲを掛け、変更後の目標ピッチに対応する位相トラジェクトリを作成する。この処理は、各周波数成分（基音及び各倍音）毎に行う。次のステップＳ１２ｃでは、上記のように、前ステップＳ１２ｂで作成した目標ピッチに対応する位相トラジェクトリに基づきピッチトラジェクトリを作成し、かつ該目標ピッチに対応する振幅トラジェクトリとして元ピッチの振幅トラジェクトリをそのまま使用する。この処理も、各周波数成分（基音及び各倍音）毎に行う。こうして、抽出した分析データのピッチ（元ピッチ）を所望の目標ピッチに変更してなるデータについてのピッチトラジェクトリ、振幅トラジェクトリ、位相トラジェクトリが得られる。
【００３１】
ところで、上記のようにピッチ変更のために元の位相トラジェクトリにおける位相関数の傾きを変更した場合、時間に対する位相値の関係が全体的に変更されることになるので、好ましくない場合が生じ得る。特に、一連のトラジェクトリ中に複数のノートオンタイミング（発音開始時点）が含まれる場合、各ノートオン時点（発音開始時点）での位相値が元のものと異なると、好ましくない音質の変化をもたらす。そのために、図４（ｂ）の前記ステップＳ１２ｂにおける位相トラジェクトリの変更操作処理に際して、変更された位相トラジェクトリにおいて特定の時点における位相値が元の値に略維持されるように調整する「位相調整ルーチン」を実行するとよい。一例として、位相調整の対象となる「特定の時点」とは、各ノートオン時点（発音開始つまり音の立上り時点）である。勿論、これに限らず、位相調整したい任意の時点を「特定の時点」として設定してもよい。
【００３２】
この「位相調整ルーチン」の一例は図４（ｃ）に示されている。まず、ステップＳ１２ｂ１では、この処理の対象となる抽出した分析データ（例えばＥ２音）の基音の位相トラジェクトリから、ノートオン時点（例えばＴ１，Ｔ２，Ｔ３）と、その時点における位相値（例えばＰ１，Ｐ２，Ｐ３）と、その時点における位相変化の傾きつまり周波数（例えばＦ１，Ｆ２，Ｆ３）とを検出する。図５〜９に示した例におけるＥ２音のピッチを変更する場合は、処理の対象となる抽出した分析データ（すなわちＥ２音の分析データ）の基音の位相トラジェクトリは図１０（ａ）のようであり、３つのノートオン時点（Ｔ１，Ｔ２，Ｔ３）とそれに対応する位相値（Ｐ１，Ｐ２，Ｐ３）とその傾き（Ｆ１，Ｆ２，Ｆ３）とが検出される。図１０（ａ）に示された元の位相トラジェクトリを符号ＰＴｏで示す。
【００３３】
次に、ステップＳ１２ｂ２では、当該位相トラジェクトリＰＴｏにおける最初のノートオン時点（Ｔ１）の位相値（Ｐ１）を基準にして、該トラジェクトリＰＴｏの位相関数に周波数比ｆＲを掛け、第１の変更された位相トラジェクトリＰＴ１を作成する。なお、周波数比ｆＲは、基準とした最初のノートオン時点（Ｔ１）の周波数（Ｆ１）と変更目的とするピッチ（上記例ではＥｂ２）との比を用いる。図１０の（ｂ）には、（ａ）に示された元の位相トラジェクトリＰＴｏに周波数比ｆＲを掛けることで得られる上記第１の変更された位相トラジェクトリＰＴ１の一例が拡大して示されている。この第１の変更された位相トラジェクトリＰＴ１では、最初のノートオン時点（Ｔ１）の位相値（Ｐ１）は変更されないが、２番目以降のノートオン時点（Ｔ２，Ｔ３）の位相値は、元の位相値（Ｐ２，Ｐ３）から変わってしまう。例えば、第１の変更された位相トラジェクトリＰＴ１における２番目のノートオン時点（Ｔ２）の位相値をＱ２で示し、これに最も近い元の位相値Ｐ２に合った位相値をＰ２’で示す。
次のステップＳ１２ｂ３では、第１の変更された位相トラジェクトリＰＴ１における２番目のノートオン時点（Ｔ２）の位相値（Ｑ２）に最も近い元の位相値（Ｐ２）に合った位相値（Ｐ２’）を検出する。ここで、Ｐ２’＝Ｐ２＋２πｎであり、ｎは正又は負の整数である。すなわち、Ｐ２’がＱ２に最も近い値となるようにｎの値を決定する。
【００３４】
次のステップＳ１２ｂ４では、上記ステップＳ１２ｂ３で検出された位相値Ｐ２’を基準にして、元の位相トラジェクトリＰＴｏの位相関数に周波数比ｆＲを掛け、第２の変更された位相トラジェクトリＰＴ２を作成する。なお、周波数比ｆＲは、基準とした２番目のノートオン時点（Ｔ２）の周波数（Ｆ２）と変更目的とするピッチ（上記例ではＥｂ２）との比を用いる。この位相トラジェクトリＰＴ２は、基準とした２番目のノートオン時点（Ｔ２）よりも前の時間つまり１番目のノートオン時点（Ｔ１）の方に遡っているし、また、それよりも後の時間つまり３番目のノートオン時点（Ｔ３）の方にも進んでいる。この第２の変更された位相トラジェクトリＰＴ２においては、２番目のノートオン時点（Ｔ２）の元の位相値Ｐ２は、上記のように検出された、それに合った位相値Ｐ２’に維持されているが、１番目のノートオン時点（Ｔ１）の位相値は、元の位相値（Ｐ１）とは幾分異なるものとなる可能性が大である。
【００３５】
このように、第１及び第２の変更された位相トラジェクトリＰＴ１，ＰＴ２が求められることになる。ノートオン時点（Ｔ１，Ｔ２）において、元の位相値（Ｐ１，Ｐ２）を略維持するという目的を達成するには、１番目のノートオン時点（Ｔ１）では、第１の変更された位相トラジェクトリＰＴ１の位相値Ｐ１及びそれに対応する傾きつまり周波数Ｆ１’が採用されるべきである。一方。２番目のノートオン時点（Ｔ２）では、第２の変更された位相トラジェクトリＰＴ２の位相値Ｐ２’及びそれに対応する傾きつまり周波数Ｆ２’が採用されるべきである。よって、生成されるべきピッチ変更後の位相トラジェクトリは、１番目のノートオン時点（Ｔ１）と２番目のノートオン時点（Ｔ２）との間で、第１の変更された位相トラジェクトリＰＴ１から第２の変更された位相トラジェクトリＰＴ２へとスムーズに変化していくものであることが望ましい。そこで、次のステップＳ１２ｂ５では、１番目のノートオン時点（Ｔ１）と２番目のノートオン時点（Ｔ２）との間で、第１の変更された位相トラジェクトリＰＴ１から第２の変更された位相トラジェクトリＰＴ２へとスムーズに移行するように、クロスフェード補間合成を行う。このクロスフェード補間合成の結果得た位相トラジェクトリを１番目のノートオン時点（Ｔ１）から２番目のノートオン時点（Ｔ２）までの区間についての、ピッチ変更処理済みの位相トラジェクトリ（例えばＰＴ１’とする）とする。
【００３６】
次のステップＳ１２ｂ６では、残りのノートオン時点（Ｔ３以降）がまだ存在していれば、残りの夫々のノートオン時点について前記ステップＳ１２ｂ３〜Ｓ１２ｂ５と同様の処理を、順次に行い、各ノートオン時点に対応する元の位相値（Ｐ３，…）を略維持すると共に、ピッチ変更処理済みの位相トラジェクトリをクロスフェード補間合成によって生成する。例えば、３番目のノートオン時点（Ｔ３）については、２番目のノートオン時点（Ｔ２）の元の位相値（Ｐ２）に合った位相値（Ｐ２’）を基準にして延びる第２の変更された位相トラジェクトリＰＴ２における３番目のノートオン時点（Ｔ３）の位相値に最も近い元の位相値（Ｐ３）に合った位相値（Ｐ３’＝Ｐ３＋２πｎ）を検出する。そして、検出された位相値Ｐ３’を基準にして、元の位相トラジェクトリＰＴｏの位相関数に周波数比ｆＲを掛け、第３の変更された位相トラジェクトリＰＴ３を作成する。この周波数比ｆＲは、基準とした３番目のノートオン時点（Ｔ３）の周波数（Ｆ３）と変更目的とするピッチ（上記例ではＥ２ｂ）との比を用いる。この位相トラジェクトリＰＴ３は、基準とした３番目のノートオン時点（Ｔ３）よりも前の時間つまり２番目のノートオン時点（Ｔ２）の方に遡っているし、また、それよりも後の時間の方にも進んでいる。この第３の変更された位相トラジェクトリＰＴ３においては、３番目のノートオン時点（Ｔ３）の元の位相値Ｐ３は、上記のように検出された、それに合った位相値Ｐ３’に維持されているが、２番目のノートオン時点（Ｔ２）の位相値は、元の位相値（Ｐ２）に略一致する位相値Ｐ２’とは幾分異なるものとなる可能性が大である。そこで、２番目のノートオン時点（Ｔ２）と３番目のノートオン時点（Ｔ３）との間で、第２の変更された位相トラジェクトリＰＴ２から第３の変更された位相トラジェクトリＰＴ３へとスムーズに移行するように、クロスフェード補間合成を行う。このクロスフェード補間合成の結果得た位相トラジェクトリを２番目のノートオン時点（Ｔ２）から３番目のノートオン時点（Ｔ３）までの区間についての、ピッチ変更処理済みの位相トラジェクトリ（例えばＰＴ２’とする）とする。
【００３７】
なお、図４（ｃ）に示した「位相調整ルーチン」は、基音の周波数成分についての位相トラジェクトリに関してのみ行うようにしてもよいし、すべての倍音又は一部の主要な倍音の周波数成分についての位相トラジェクトリに関しても行うようにしてもよい。
以上のような位相調整処理を行うことで、位相トラジェクトリにおける位相関数の傾きを変更することで楽音ピッチを変更する場合において、ノートオンつまり発音開始時点での位相値が元の位相値に略維持されることになるので、元の楽音の音質を略維持してピッチのみを適切に変更することができるようになる。
【００３８】
以上のようにして、多重奏音のうちの所望の楽音ピッチのみを抽出して、そのピッチやその他の楽音特性を適宜帆変更することができる。図１１は、上述したような楽音ピッチ変更処理によって図７に示すような元の分析データにおけるＥ２音のピッチをその半音下のＥｂ２音に変更することで得られた多重奏音の各周波数成分（変更された分析データ）のピッチ・トラジェクトリの一例を示す。図１１からも理解できるように、同時に演奏されたＣ２，Ｅ２，Ｇ２音のうち、Ｃ２，Ｇ２音の成分のピッチはそのままで、Ｅ２音の成分だけがＥｂ２音に変更される。
前述したように、以上のようにして作成された変更した分析データに基づき楽音合成部７により楽音合成を行うことで、元の多重奏音のうち特定のピッチの音のみの特性（ピッチやその他の楽音要素）を選択的に変更した多重奏音を発生することができる。
【００３９】
【発明の効果】
以上説明した通り、この発明によれば、複数音からなる演奏音の分析データ中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出し、抽出された分析データを適宜変更することで該目的とする特定のピッチの音の特性を変更し、変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するようにしたので、元の演奏音中における目的とする特定のピッチの音の特性のみを変更してなる演奏音信号を合成することができる。これにより、多重奏等の複音からなる演奏音の分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データのみを抽出し、抽出された分析データを変更することで、特定のピッチの楽音に対してのみ特性変更操作を施し、演奏音に対する制御を自由に行なうことができる。
また、特定のピッチ以外のピッチと倍音関係にある周波数成分と特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから特定のピッチについての周波数成分の分析データを分離して取り出すことにより、特定のピッチについての周波数成分の分析データに対しての適切に変更を施すことができる。
【００４０】
更に、この発明によれば、分析データの時系列的軌跡（トラジェクトリ）を抽出して加工処理する場合、加工処理を行なっても、位相を合わせる必要がある特定の時点での位相値にずれが生じないように位相調整するようにしたので、特定時点での位相ずれによる不具合の発生を防ぐことができる。例えば、音の立上り時点における位相値が元の値に略維持されるように調整することができ、音質が不所望に変更されることを防ぐことができる。
【図面の簡単な説明】
【図１】この発明の一実施例に係る演奏音制御方法を実行するために使用可能な楽音分析合成装置のハードウエア構成例を示すブロック図。
【図２】図１のＣＰＵで実行する楽音分析処理の一例を示すフロー図。
【図３】図２の楽音分析処理によって得られた分析データのうち所望の周波数成分のデータを変更するための変更処理の一例を示すフロー図。
【図４】図３の変更処理の過程に含まれる特定ピッチ抽出ルーチン、ピッチ変更ルーチン、位相調整ルーチンの一例を夫々示すフロー図。
【図５】多重奏音の一例を示す楽譜図。
【図６】図５の楽譜をピアノで弾いたときの楽音波形例を示す波形図。
【図７】図６の楽音波形を分析することで得られた各周波数成分毎のピッチ・トラジェクトリをグラフ化して示す図。
【図８】（ａ）は複数楽音ピッチが混在する同一周波数成分についての振幅トラジェクトリデータに対応する振幅エンベロープ波形例を示す波形図、（ｂ）〜（ｄ）は（ａ）の振幅エンベロープ波形から異なる楽音ピッチの振幅エンベロープ波形を分離・抽出する手順例を示すエンベロープ波形図。
【図９】図５〜図８に示された演奏データ例において抽出された元のＥ２音の位相トラジェクトリをその半音下のＥｂ２音の位相トラジェクトリに変換する例を図示するグラフ。
【図１０】（ａ）は元の位相トラジェクトリの例を示すグラフ、（ｂ）は楽音ピッチを変更するために（ａ）に示す元の位相トラジェクトリの傾きを変換する際に位相調整を行うことを例示するために変換された位相トラジェクトリを拡大して示すグラフ。
【図１１】図７に示すような元の分析データにおける特定の楽音ピッチ（Ｅ２）を別のピッチ（Ｅｂ２）に変更することで得た多重奏音の各周波数成分（変更された分析データ）のピッチ・トラジェクトリの一例を示す図。
【符号の説明】
１　ＣＰＵ（中央処理ユニット）
２　ＲＯＭ（リードオンリメモリ）
３　ＲＡＭ（ランダムアクセスメモリ）
４　表示装置
５　入力装置
６　演奏操作子装置
７　楽音合成部
８　ＣＯＤＥＣ
９　通信インタフェース
１０　システムバス
１１　ハードディスクドライバ（ＨＤＤ）
１２　外部メモリドライバ
１３　マイクロフォン

Claims (13)

1. 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップと、
   前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出するステップと、
   前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更するステップと
   を具備し、前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御方法。
2. 前記抽出するステップは、前記取得するステップで取得された前記各周波数成分についての分析データの中に、前記特定のピッチ以外のピッチと倍音関係にある周波数成分の分析データが含まれており、かつこの特定のピッチ以外のピッチと倍音関係にある周波数成分と前記特定のピッチと倍音関係にある周波数成分とが重複している場合、該重複している周波数成分の分析データから前記特定のピッチについての周波数成分の分析データを分離して取り出すステップを含み、前記変更するステップでは、前記分離して取り出された前記特定のピッチについての周波数成分の分析データに対して変更を施すことを特徴とする請求項１に記載の演奏音制御方法。
3. 前記周波数成分についての分析データには、当該周波数成分のピッチを示すデータと振幅を示すデータとが含まれ、前記分離して取り出すステップでは、前記振幅を示すデータに基づき振幅エンベロープの特徴から前記特定のピッチの周波数成分をそれ以外のピッチの周波数成分から区別し、この区別に基づき該特定のピッチについての周波数成分の分析データを分離して取り出すことを特徴とする請求項２に記載の演奏音制御方法。
4. 前記分離して取り出すステップでは、前記重複している周波数成分の前記特定のピッチにおける倍音次数と該特定のピッチ以外のピッチにおける倍音次数との関係からそれぞれの振幅分配率を決定し、前記重複している周波数成分のデータに該決定された振幅分配率で定まる振幅成分のデータを付加することで、該特定のピッチについての周波数成分の分析データとして分離することを特徴とする請求項２に記載の演奏音制御方法。
5. 前記変更するステップでは、前記目的とする特定のピッチの音のピッチを変更するために、前記抽出された前記特定のピッチと倍音関係にあるすべての周波数成分の周波数を変更することを特徴とする請求項１乃至４のいずれかに記載の演奏音制御方法。
6. 前記周波数成分についての分析データには、当該周波数成分の位相を時間関数で示すデータが含まれ、前記変更するステップでは、前記抽出された前記特定のピッチと倍音関係にあるすべての周波数成分に対応する前記位相のデータの時間関数の傾きを制御することに基づき、周波数の変更を行うことを特徴とする請求項５に記載の演奏音制御方法。
7. 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得するステップであって、該分析データには各周波数成分の位相を時間関数で示すデータが含まれるものと、
   前記分析データの中から、目的とする特定の音の分析データを抽出するステップと、
   前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相のデータを変更するステップであって、変更された前記位相のデータにおいて特定の時点における位相値が元の値に略維持されるように調整するものと
   を具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御方法。
8. 前記特定の時点は音の立上り時点であり、前記位相のデータを変更するステップでは、前記変更された前記位相のデータにおいて音の立上り時点における位相値が元の値に略維持されるように調整することを特徴とする請求項７に記載の演奏音制御方法。
9. 前記変更された分析データとその他の前記分析データとを用いて演奏音信号を合成するステップを更に具え、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されることを特徴とする請求項１乃至８のいずれかに記載の演奏音制御方法。
10. 請求項１乃至９のいずれかに記載の演奏音制御方法をコンピュータに実行させるための命令群からなるコンピュータプログラム。
11. 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得する分析手段と、
    前記各周波数成分についての分析データの中から、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出する抽出手段と、
    前記目的とする特定のピッチの音の特性を変更するために、前記抽出された分析データを変更する変更手段と
    を具備し、前記変更された抽出された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御装置。
12. 演奏音信号を分析して該演奏音を構成する各周波数成分についての分析データを取得する分析手段であって、該分析データには各周波数成分の位相を時間関数で示すデータが含まれるものと、
    前記分析データの中から、目的とする特定の音の分析データを抽出する抽出手段と、
    前記目的とする特定の音のピッチを変更するために、前記抽出された分析データにおける所定の周波数成分についての前記位相のデータを変更する変更手段であって、変更された前記位相のデータにおいて特定の時点における位相値が元の値に略維持されるように調整するものと
    を具備し、前記変更された分析データとその他の前記分析データとの組合せを、元の演奏音を変更した演奏音を合成するためのデータとして提供することを特徴とする演奏音制御装置。
13. 前記変更された分析データとその他の前記分析データとを用いて演奏音信号を合成する合成手段を更に具え、元の演奏音信号中における前記目的とする特定のピッチの音の特性を変更してなる演奏音信号が合成されることを特徴とする請求項１１又は１２に記載の演奏音制御装置。

Images