JP2003233378A - 楽音生成装置および楽音生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 録音サンプリング周波数をサンプリング周波
数より低くして楽音波形データを生成した場合でも、そ
の失われた高調波成分を回復することにより、より自然
な楽音を生成することが可能な楽音生成装置および楽音
生成方法を提供する。 【解決手段】 波形テーブル音源６本来のサンプリング
周波数より低い録音サンプリング周波数でサンプリング
して、音色データメモリ２５に登録された複数の楽音波
形データから、アドレス生成部２３によって生成された
アドレスに対応するものを読み出して、補間部２６によ
って補間する。この補間された楽音波形データに、ノイ
ズフォルマント音発生部２８によって発生された、録音
サンプリング周波数の半分以上の高域のフォルマントを
備えたノイズフォルマント音を加算する。この結果、録
音サンプリング周波数でサンプリングしたことにより失
われた高域のフォルマントが、発生されたノイズフォル
マント音によって近似的に回復されるので、より自然な
楽音が生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、サンプリングして
波形メモリに記憶した楽音波形データを読み出し、この
楽音波形データに基づいて楽音を生成する楽音生成装置
および楽音生成方法に関する。

【０００２】

【従来の技術】楽器の音をサンプリングし、楽音波形デ
ータとして波形メモリに記憶し、この楽音波形データを
読み出して楽音を生成する、いわゆる波形テーブル（ウ
ェーブテーブル）音源は、従来から知られている。

【０００３】

【発明が解決しようとする課題】上記従来の波形テーブ
ル音源では、波形メモリの記憶容量を低減するために、
当該音源システム本来のサンプリング周波数、具体的に
は、波形メモリに記憶された楽音波形データを読み出し
て楽音を生成するときの周波数よりも低い周波数で、楽
音をサンプリングすることがある。以下、当該音源シス
テム本来のサンプリング周波数を「サンプリング周波
数」と言い、楽音をサンプリングして楽音波形データを
生成するときのサンプリング周波数を「録音サンプリン
グ周波数」という。

【０００４】録音サンプリング周波数は、単位時間（１
秒）当たりの楽音波形サンプル（楽音波形データを構成
する個々の波形サンプル）の個数に相当するので、録音
サンプリング周波数を低くすればするほど、各楽音波形
データの容量は少なくなり、その結果、波形メモリの記
憶容量は低減する。

【０００５】しかし、サンプリングの定理によれば、録
音サンプリング周波数は、再現可能な楽音の上限周波数
（＝録音サンプリング周波数の半分）を決定づけるため
（たとえば、録音サンプリング周波数を１６ＫＨｚとし
た場合には、８ＫＨｚまでの周波数の楽音しか再現でき
ない）、換言すると、録音サンプリング周波数を低く抑
えた場合には、高次高調波成分の失われた楽音しか再現
できないため、この場合に再現される楽音の音質は劣化
することになる。

【０００６】本発明は、この点に着目してなされたもの
であり、録音サンプリング周波数をサンプリング周波数
より低くして楽音波形データを生成した場合でも、その
失われた高調波成分を回復することにより、より自然な
楽音を生成することが可能な楽音生成装置および楽音生
成方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の楽音生成装置は、当該楽音生成装
置本来のサンプリング周波数より低い録音サンプリング
周波数で、楽器の音をサンプリングして採取した楽音波
形データを波形メモリに記憶し、該波形メモリから楽音
波形データを読み出して楽音を生成する楽音生成装置に
おいて、前記録音サンプリング周波数でサンプリングし
たことによって失われた周波数域のフォルマントに応じ
たフォルマントデータを記憶する記憶手段と、該記憶さ
れたフォルマントデータに基づいて、前記失われたフォ
ルマントに近似するフォルマントを備えたフォルマント
音を合成する合成手段と、前記読み出された楽音に、前
記合成されたフォルマント音を加算する加算手段とを有
することを特徴とする。

【０００８】好ましくは、前記フォルマントデータは、
当該フォルマントの中心周波数とそのレベルであり、前
記合成手段は、ノイズ系の信号に前記中心周波数の正弦
波を乗算した後、該乗算結果のレベルが前記レベルにな
るように調整することを特徴とする。

【０００９】また、上記目的を達成するため、請求項３
に記載の楽音生成方法は、楽音を生成するサンプリング
周波数より低い録音サンプリング周波数で、楽器の音を
サンプリングして採取した楽音波形データを波形メモリ
に記憶し、該波形メモリから楽音波形データを読み出し
て楽音を生成する楽音生成方法において、前記録音サン
プリング周波数でサンプリングしたことによって失われ
た周波数域のフォルマントに応じたフォルマントデータ
を記憶手段に記憶し、該記憶されたフォルマントデータ
に基づいて、前記失われたフォルマントに近似するフォ
ルマントを備えたフォルマント音を合成し、前記読み出
された楽音に、前記合成されたフォルマント音を加算す
ることを特徴とする。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００１１】図１は、本発明の一実施の形態に係る楽音
生成装置を適用した携帯電話機の概略構成を示すブロッ
ク図である。

【００１２】同図に示すように、制御部１は、当該携帯
電話機全体の制御を司るＣＰＵと、該ＣＰＵが実行する
制御プログラムや、各種テーブルデータ等を記憶するＲ
ＯＭと、着信メロディ等を演奏するための演奏データ
（たとえば、ＭＩＤＩ（Musical Instrument Digital I
nterface）データからなる）、各種入力情報および演算
結果等を一時的に記憶するＲＡＭとによって構成されて
いる。

【００１３】制御部１には、テンキーや各種情報を入力
するための操作子を備えた操作入力部２と、たとえばカ
ラー液晶ディスプレイ（ＬＣＤ）および発光ダイオード
（ＬＥＤ）等を備えた表示部３と、アナログ音声信号を
デジタル音声信号に変換した後圧縮し、逆に、圧縮され
たデジタル音声信号を伸長した後アナログ音声信号に変
換する音声ＣＯＤＥＣ５と、音声ＣＯＤＥＣ５からの出
力信号を変調し、アンテナ７を介して中継局（図示せ
ず）に伝送するとともに、アンテナ７を介して中継局か
ら伝送されてきた信号を受信して復調し、音声ＣＯＤＥ
Ｃ５に出力する通信部４と、後述する音色データメモリ
（波形メモリ）を含み、該音色データメモリから目的の
楽音波形データを読み出し、各種処理を施してデジタル
楽音信号を生成し、図示しないＤＡＣ（Digital-to-Ana
log Converter）によりアナログ楽音信号に変換して出
力する波形テーブル音源６とが接続されている。

【００１４】音声ＣＯＤＥＣ５には、該音声ＣＯＤＥＣ
５から出力されたアナログ音声信号を音響に変換するた
めのスピーカ８と、音声をアナログ音声信号に変換する
マイク９とが接続されている。

【００１５】波形テーブル音源６には、該波形テーブル
音源６から出力されたアナログ楽音信号を音響に変換す
るためのスピーカ１０が接続されている。

【００１６】本発明の特徴は、波形テーブル音源６、特
にその楽音信号生成処理にある。具体的には、音色デー
タメモリには、サンプリング周波数より低い録音サンプ
リング周波数で採取した楽音波形サンプルが記憶される
ため、この楽音波形サンプルをそのまま読み出しただけ
では、録音サンプリング周波数の半分以上の周波数成分
は再現できない、つまり、高次高調波成分の失われた楽
音しか再現できない。この問題に対処するために、原音
において、録音サンプリング周波数の半分以上の高域に
出現する複数個（本実施の形態では、４個）のフォルマ
ントを検出し、該各フォルマントのフォルマント中心周
波数およびフォルマントレベルをそれぞれ抽出し、当該
楽音波形サンプルに対応付けて音色データメモリに記憶
しておく。そして、目的の楽音波形サンプルを読み出し
て、楽音を生成するときには、この楽音波形サンプルに
対応付けられた各フォルマント中心周波数およびフォル
マントレベルを読み出し、該各フォルマント中心周波数
およびフォルマントレベルの複数フォルマントを備えた
フォルマント音を近似的に生成して、目的の楽音波形サ
ンプルに付加するようにしている。

【００１７】このように、本発明の特徴となる楽音信号
生成処理を行うべき前提として、上記複数のフォルマン
トを検出し、該各フォルマントのフォルマント中心周波
数およびフォルマントレベルをそれぞれ抽出するととも
に、サンプリング周波数よりも低い録音サンプリング周
波数で楽音をサンプリングして、楽音波形サンプルを生
成し、この楽音波形サンプルとこれに対応する各フォル
マント中心周波数およびフォルマントレベルとからなる
楽音波形データを音色データメモリに登録しておかなけ
ればならない。なお、上記複数のフォルマントを検出す
る処理でも、楽音波形サンプルを生成する処理でも、同
一の原音をサンプリングしなければならない。ただし、
両者では、サンプリングに用いるサンプリング周波数が
異なり、前者は、後者の倍のサンプリング周波数でサン
プリングする必要がある。このため、本実施の形態で
は、前者のサンプリング周波数、すなわち録音サンプリ
ング周波数の２倍の周波数で、基となる楽音を１回のみ
サンプリングし、後者の処理では、それをダウンサンプ
リングしたものを用いるようにしている。

【００１８】以下、このサンプリングから音色データメ
モリへの登録までの処理、すなわち音色データメモリ作
成処理を説明する。

【００１９】図２は、音色データメモリ作成処理の手順
を示すフローチャートである。なお、本音色データメモ
リ作成処理は、たとえばパーソナルコンピュータ上で実
行される。

【００２０】同図において、まず、楽音波形サンプルを
採取、つまり原音をサンプリングする（ステップＳ
１）。

【００２１】図３は、ステップＳ１の楽音波形サンプル
の採取処理を説明するための図であり、パーソナルコン
ピュータ１００によってシンバル音の楽音波形サンプル
を採取する方法を示している。

【００２２】同図に示すように、まず、スティックでシ
ンバルを叩くことにより、シンバル音を発生させ、この
シンバル音をマイク１０１でアナログ楽音信号に変換す
る。

【００２３】次に、録音サンプリング周波数Ｗｆｓ以下
の周波数成分のみ通過させるＬＰＦ（ロウパスフィル
タ）１０２により、このアナログ楽音信号に含まれる、
Ｗｆｓ以上の周波数成分をカットする。このように、Ｗ
ｆｓ以上の周波数成分をカットしたのは、基となる楽音
波形サンプルを生成するためのサンプリング周波数（＝
２Ｗｆｓ：録音サンプリング周波数の倍）の半分（＝Ｗ
ｆｓ）以上の周波数成分の楽音は、前述のように再現で
きないので、Ｗｆｓ以上の周波数成分は必要ないからで
ある。

【００２４】次に、ＬＰＦ１０２からの出力信号を、サ
ンプリング周波数２ＷｆｓのＡ／Ｄ変換器１０３によっ
てデジタル楽音信号に変換し、このデジタル楽音信号を
メモリ（たとえばＲＡＭ）１０４に記憶する。

【００２５】以上の処理を所定時間、たとえば１秒間繰
り返すと、２Ｗｆｓ個の楽音波形サンプルがメモリ１０
４に記憶される。この楽音波形サンプルの時系列から１
サンプルずつ間引くことによってダウンサンプリングし
た後の時系列サンプルが、前記音色データメモリに記憶
すべき楽音波形サンプルである。

【００２６】なお、音色データメモリには、複数の音色
の楽音波形サンプルが登録されるので、シンバル音以外
の楽器音についても、以上説明した方法と同様の方法に
よって、その基となる楽音波形サンプルを採取すればよ
い。

【００２７】図２に戻り、ステップＳ１で採取された楽
音波形サンプルに対して、加工・編集処理を施す（ステ
ップＳ２）。加工・編集処理としては、たとえば、ゼロ
レベル（または低レベル）波形サンプルの削除処理、各
楽音波形サンプルの振幅調整処理、前記ダウンサンプリ
ング処理および基となる楽音波形サンプルの高域分析処
理等を挙げることができる。

【００２８】図４は、基となる楽音波形サンプル、ダウ
ンサンプリング後の楽音波形サンプルおよび検出後のフ
ォルマントの各周波数スペクトルの様子を示す図であ
り、（ａ）は、基となる楽音波形サンプルの周波数スペ
クトルの一例を示し、（ｂ）は、（ａ）の楽音波形サン
プルを１／２にダウンサンプリングした後の周波数スペ
クトルを示し、（ｃ）は、（ａ）の楽音波形サンプルか
ら検出した４つのフォルマントの周波数スペクトルを示
している。

【００２９】前述のように、基となる楽音波形サンプル
は、原音を録音サンプリング周波数Ｗｆｓの倍の周波数
でサンプリングすることによって生成されているので、
その周波数スペクトルは最大、（ａ）に示すように、録
音サンプリング周波数Ｗｆｓまで出現する。

【００３０】この基となる楽音波形サンプルの時系列を
ダウンサンプリングフィルタによりＷｆｓ／２以上の周
波数成分をカットした後に１サンプルずつ間引くことに
よってダウンサンプリングすると、これは、ちょうど原
音を録音サンプリング周波数Ｗｆｓでサンプリングした
場合に相当するので、そのダウンサンプリング後の楽音
波形サンプルの周波数スペクトルは、（ｂ）に示すよう
に、（ａ）の周波数スペクトルのうち、Ｗｆｓ／２〜Ｗ
ｆｓの周波数成分がカットされたものとなる。このダウ
ンサンプリング後の楽音波形サンプルを、後述するよう
に、音色データメモリに登録する。

【００３１】前記基となる楽音波形サンプルの時系列か
ら選択された一部（本実施の形態では、１フレーム分）
の楽音波形サンプルに対してＦＦＴ（Fast Fourier Tra
nsform）を施すと、（ａ）の周波数スペクトルに似た周
波数スペクトルが得られる（（ａ）の周波数スペクトル
は、上述のように、基となる楽音波形サンプルの時系列
すべてから得られた周波数スペクトルとしているた
め）。この周波数スペクトルのうち、Ｗｆｓ／２〜Ｗｆ
ｓの周波数域を分析することにより、４つのフォルマン
トを検出する。（ｃ）は、この検出されたフォルマント
の周波数スペクトルを示している。そして、検出され
た、４つのフォルマントの各フォルマントから、その中
心周波数とレベルを抽出する。具体的には、（ｃ）で
は、Ｆ１〜Ｆ４のフォルマント中心周波数とＬ１〜Ｌ４
のフォルマントレベルが抽出される。この抽出されたフ
ォルマント中心周波数およびフォルマントレベルが、１
フレーム分の楽音波形サンプルに対応付けられて、音色
データメモリに記憶される。

【００３２】なお、本実施の形態では、フォルマント中
心周波数およびフォルマントレベルは、すべての楽音波
形サンプルのうち、所定の複数個の楽音波形サンプル毎
に抽出するようにしたが、これに限らず、すべての楽音
波形サンプルに共通のものを１組だけ抽出するようにし
てもよい。

【００３３】図２に戻り、ステップＳ２で加工・編集さ
れた楽音波形データを音色データメモリに登録する（ス
テップＳ３）。

【００３４】図５は、音色データメモリのメモリマップ
の一例を示す図であり、本実施の形態では、１音色分の
音色データは、基本音色データと楽音波形データとによ
って構成されている。そして、音色データメモリには、
複数の音色データが登録されるため、音色データメモリ
の先頭アドレスには、音色番号（Ｎｏ）（たとえば、Ｇ
Ｍ（General MIDI）システムフォーマットでの音色番
号）を、その音色番号に対応する基本音色データが記憶
されている領域の先頭アドレスに変換する変換テーブル
が記憶されている。

【００３５】１音色分の基本音色データは、その音色
名、当該基本音色データのデータ長、録音サンプリング
周波数Ｗｆｓ、その楽音波形データの先頭サンプルのア
ドレスを示す波形スタートアドレス、その楽音波形デー
タのうち、ループ読みされる領域の先頭サンプルのアド
レスを示す波形ループスタートアドレス、ループ読みさ
れる領域の末尾サンプルのアドレスを示す波形ループエ
ンドアドレス、その楽音波形データの末尾サンプルのア
ドレスを示す波形エンドアドレス、その楽音波形データ
のエンベロープを決定するエンベロープデータおよびそ
の他データによって構成されている。

【００３６】なお、本実施の形態では、基本音色データ
と楽音波形データは、それぞれ別の領域に記憶するよう
にしているため、基本音色データ中に、当該音色の楽音
波形データを記憶している領域がどこからどこまでであ
るかを示すデータ、すなわち波形スタートアドレスおよ
び波形エンドアドレスを含むようにしている。しかし、
基本音色データに続いて、対応する楽音波形データを記
憶するように構成した場合には、基本音色データ内のデ
ータ長から、楽音波形データの先頭アドレスは算出でき
るので、波形スタートアドレスを記憶しないようにして
もよい。

【００３７】一方、１音色分の楽音波形データは、前述
のように、基となる楽音波形サンプルの時系列をダウン
サンプリングしたものと、１フレーム分の楽音波形サン
プルに対して高域分析して抽出した、４つのフォルマン
トの各フォルマント中心周波数およびフォルマントレベ
ルからなるフォルマントデータとによって構成されてい
る。なお、１フレームとは、たとえば１０ｍｓｅｃ間の
楽音波形サンプルを言い、録音サンプリング周波数Ｗｆ
ｓであれば、Ｗｆｓ×０．０１個分の楽音波形サンプル
に相当する。

【００３８】前記ステップＳ３の音色データ登録処理で
は、上記図５の音色データメモリのフォーマットに適合
するように、前記ダウンサンプリングされた楽音波形サ
ンプルおよび前記抽出されたフォルマントデータからな
る楽音波形データを登録する。具体的には、この楽音波
形データを楽音波形データ格納領域に記憶するととも
に、その基本音色データを作成して基本音色データ格納
領域に記憶し、さらに、その基本音色データの先頭アド
レスを、音色番号→先頭アドレス変換テーブルの、対応
する位置に記憶する。

【００３９】なお、本音色データ登録処理では、パーソ
ナルコンピュータ１００のメモリ（前記メモリ１０４と
同じであってもよい（ただし、この場合には領域は異な
る必要がある）し、異なる記憶媒体であってもよい）上
に、図５の音色データメモリと同容量の領域を生成し、
この領域上に、上記楽音波形データを登録するようにし
ている。

【００４０】続くステップＳ４では、波形採取すべき、
他の音色の楽音があるか否かを判別し、あるときには、
ステップＳ１に戻って、波形採取処理から繰り返す一
方、ないときには、ステップＳ５に進む。

【００４１】ステップＳ５では、上記メモリの所定領域
内に登録された音色データと同じメモリマップのもの
を、たとえばＲＯＭからなる音色データメモリ上に生成
する、すなわち音色データメモリ化する。

【００４２】以上のように構成された携帯電話機が実行
する制御処理を、まずその概要を説明し、次に図６およ
び図７を参照して詳細に説明する。

【００４３】本実施の形態の携帯電話機は、音色データ
メモリの記憶容量を低減するために、サンプリング周波
数より低い録音サンプリング周波数で楽音波形サンプル
を採取して、音色データメモリに記憶するとともに、こ
れによって失われる、録音サンプリング周波数の半分か
ら録音サンプリング周波数までの高域のフォルマントデ
ータ（フォルマント中心周波数およびフォルマントレベ
ル）を抽出し、当該楽音波形サンプルに対応付けて、音
色データメモリに記憶する。楽音を生成するときには、
音色データメモリから目的の楽音波形サンプルを読み出
すとともに、この楽音波形サンプルに対応するフォルマ
ントデータも読み出し、このフォルマントデータに基づ
いて近似的に生成した、複数のフォルマントを備えたフ
ォルマント音を、先に読み出した楽音波形サンプルに付
加することで、楽音信号を生成するようにしている。こ
れにより、楽音波形サンプルを採取したときに失われ
た、録音サンプリング周波数の半分以上の周波数成分、
つまりフォルマントが近似的に回復するので、より自然
な楽音を生成することができる。

【００４４】ここで、フォルマントデータからフォルマ
ント音を生成する方法は、本出願人が先に出願した、特
開平２−２７１３９７号公報に記載の方法をそのまま用
いている。したがって、その詳細な説明は、該公報に譲
るが、本発明を実施するために必要な範囲内で、後述す
る。

【００４５】次に、この制御処理を詳細に説明する。な
お、本発明の特徴は、上述のように、専ら楽音信号生成
処理、つまり前記波形テーブル音源６での楽音信号生成
処理にあるため、以下、波形テーブル音源６でなされる
制御処理（楽音信号生成処理）について説明する。

【００４６】図６は、波形テーブル音源６でなされる楽
音信号生成処理の手順を示すブロック図である。なお、
波形テーブル音源６は、通常ＤＳＰ（digital signal p
rocessor）によって構成されるため、その制御処理の大
半は、ソフトウェアによってなされている。もちろん、
波形テーブル音源６をすべてハードウェアによって構成
するようにしてもよい。

【００４７】図６において、パラメータ生成部２１に
は、生成すべき楽音を示すＭＩＤＩデータが入力される
とともに、音色データメモリ２５の記憶内容を読み出す
メモリ読み出し部２４が接続されている。

【００４８】パラメータ生成部２１は、ＭＩＤＩデータ
が入力されると、まず、そのＭＩＤＩデータを解析し
て、音色番号やキーコード等の情報、すなわち楽音生成
用パラメータを生成するのに必要な情報を抽出する。次
に、パラメータ生成部２１は、メモリ読み出し部２４を
介して、音色データメモリ２５の先頭アドレスにアクセ
スし、その位置に記憶されている、前記音色番号→先頭
アドレス変換テーブルを用いて、上記抽出した音色番号
に対応する基本音色データの先頭アドレスを検索し、そ
の位置に記憶されている、１音色分の基本音色データを
読み出し、この基本音色データに基づいて楽音生成用パ
ラメータを生成する。

【００４９】このとき生成されるパラメータは、具体的
には、波形スタートアドレス、波形エンドアドレス、波
形ループアドレス（波形ループスタートアドレスおよび
波形ループエンドアドレス）およびエンベロープデータ
である。これらのパラメータすべては、当該基本音色デ
ータに含まれるデータそのものである。

【００５０】また、パラメータ生成部２１は、抽出した
音色番号およびキーコードと、録音サンプリング周波数
と、サンプリング周波数とに基づいて、１楽音波形サン
プルあたりのアドレスの進み量を表すパラメータである
Ｆナンバ（ＦＮ）と、オクターブを示すパラメータであ
るＯＣＴパラメータとを生成する。

【００５１】さらに、パラメータ生成部２１は、フォル
マントデータ（フォルマント中心周波数およびフォルマ
ントレベル）を生成する。前述のように、フォルマント
データは、１フレーム毎に異なったものが記憶されてい
るので、１フレーム分の楽音波形サンプルの読み出しが
終了すると、パラメータ生成部２１は、メモリ読み出し
部２４を介して、音色データメモリ２５から、次のフレ
ームに対応するフォルマントデータを読み出して生成す
ればよい。

【００５２】各種クロック生成部２２は、供給された基
本クロックを、たとえば分周することにより、複数の周
波数のクロックを生成して出力する。このクロックの主
なものは、波形テーブル音源６本来のサンプリング周波
数Ｓｆｓのクロックであり、このクロックによって、波
形テーブル音源６の各ブロック２３〜２９の動作が進行
する。

【００５３】アドレス生成部２３には、パラメータ生成
部２１によって生成された、Ｆナンバ、ＯＣＴパラメー
タ、波形スタートアドレス、波形エンドアドレスおよび
波形ループアドレスが入力され、アドレス生成部２３
は、これらのパラメータに基づいて、音色データメモリ
２５から読み出すべき楽音波形サンプルのアドレスを生
成する。

【００５４】なお、本発明では、録音サンプリング周波
数はサンプリング周波数より低いので、アドレス生成部
２３によって生成されるアドレスは、通常、小数部を含
む実数値となる。すなわち、アドレス生成部２３では、
音色データメモリ２５に記憶された楽音波形サンプル間
の楽音波形サンプルの位置を示すアドレスが生成され
る。したがって、この位置の楽音波形サンプルは、後述
するように、音色データメモリ２５に記憶されている楽
音波形サンプルから補間して求めるようにしている。

【００５５】アドレス生成部２３によって生成された、
実数値からなるアドレスのうち、整数部は、メモリ読み
出し部２４に供給され、小数部は、補間部２６に供給さ
れる。

【００５６】メモリ読み出し部２４は、供給されたアド
レスの整数部に対応する楽音波形サンプルと、この楽音
波形サンプルに隣接する、所定個の楽音波形サンプルと
を音色データメモリ２５から読み出して、補間部２６に
出力する。ここで、所定個は、補間部２６で採用されて
いる補間方法に応じて決まり、その補間方法が、たとえ
ば２点による直線補間であれば、所定個とは１個であ
り、この場合、メモリ読み出し部２４は、供給されたア
ドレスの整数部に対応する楽音波形サンプルと、その次
のアドレスに位置する楽音波形サンプルとを読み出し
て、補間部２６に出力する。

【００５７】補間部２６は、予め設定されている補間方
法により、供給されたアドレスの小数部に基づいて、音
色データメモリ２５から読み出された、複数の楽音波形
サンプル間を補間し、目的の楽音波形サンプルを生成す
る。

【００５８】補間部２６から出力された楽音波形サンプ
ルは、加算部２７に供給される。加算部２７には、他
に、ノイズフォルマント音発生部２８から出力されたノ
イズフォルマント音、より詳しくは、当該楽音波形サン
プルに対応する、ノイズフォルマント音の一波形サンプ
ルが供給され、加算部２７は、補間部２６からの楽音波
形サンプルと、この楽音波形サンプルに対応する、ノイ
ズフォルマント音の波形サンプルとを加算し、その加算
結果をエンベロープ発生／付与部２９に出力する。

【００５９】エンベロープ発生／付与部２９には、前記
エンベロープデータが供給され、エンベロープ発生／付
与部２９は、このエンベロープデータに基づいてエンベ
ロープを発生させ、加算部２７からの楽音波形サンプル
に付与した後、前記ＤＡＣに出力する。

【００６０】図７は、上記ノイズフォルマント音発生部
２８でなされるノイズフォルマント音発生処理の手順を
示すブロック図であり、本ノイズフォルマント音発生処
理は、前記公報に記載の方法を適用したものである。

【００６１】図７において、ホワイトノイズ発生部３１
から発生されたホワイトノイズは、ＬＰＦ（ロウパスフ
ィルタ）３２を通過し、これにより、そのスペクトル特
性が変更された後、乗算部３３を介して、正弦波発生部
３４から発生されたフォルマント中心周波数Ｆｉ（ｉ
は、１〜４のいずれかの整数値）の正弦波と乗算され
る。

【００６２】このようにして、乗算部３３からは、フォ
ルマント中心周波数Ｆｉを中心としたフォルマント形状
のノイズ音（ノイズフォルマント音）が出力され、乗算
部３５に供給される。乗算部３５には、他に、パラメー
タ生成部２１が生成したフォルマントレベルＬｉが供給
され、乗算部３５は、乗算部３３から出力された、所定
レベル、たとえば単位レベルのノイズフォルマント音
を、フォルマントレベルＬｉのノイズフォルマント音に
変更する。

【００６３】乗算部３５は、このフォルマントレベルＬ
ｉのノイズフォルマント音をアキュムレータ３６に出力
する。

【００６４】ブロック３１〜３５は、時分割動作を行
い、複数（本実施の形態では、４つ）のノイズフォルマ
ント音を発生する。つまり、本実施の形態では、１フレ
ーム分の楽音波形サンプルに対して４つのフォルマント
を検出し、この４つのフォルマントからそれぞれフォル
マント中心周波数およびフォルマントレベルを抽出する
ようにしたので、再現するフォルマントも４つにしてい
る。

【００６５】アキュムレータ３６は、時分割で順次供給
されてくる、４つのノイズフォルマント音を累算して、
所定のタイミングで加算部２７に出力する。なお、同一
フレームの楽音波形サンプルに対しては、同一のノイズ
フォルマント音が、アキュムレータ３６から出力され
る。図８は、ノイズフォルマント音のレベルの遷移を示
す図であり、アキュムレータ３６からは、同図（ａ）に
示すように、１フレーム毎に異なった離散値が出力され
る。なお、（ａ）の出力に対して、たとえばフィルタリ
ング処理を施すことで、同図（ｂ）に示すように、連続
値が出力されるようにしてもよい。また、フォルマント
データの他のデータ、すなわち、フォルマント中心周波
数に対しても、（ｂ）と同様の処理を施すようにしても
よい。

【００６６】なお、本実施の形態では、フォルマントデ
ータは、すべての楽音波形サンプルのうち、所定の複数
個の楽音波形サンプル毎に抽出して記憶し、楽音を生成
するときには、当該複数個の楽音波形サンプル毎にノイ
ズフォルマント音を生成するようにしたが、これに限ら
ず、フォルマントデータは、すべての楽音波形サンプル
に共通のものを１組だけ抽出して記憶し、楽音を生成す
るときには、すべての楽音波形サンプルに共通のノイズ
フォルマント音を生成するようにしてもよい。この場合
には、ノイズフォルマント音を付加すべき楽音のレベル
を検出し、この検出レベルに応じて、ノイズフォルマン
ト音に含まれるフォルマントの中心周波数やレベルを変
更するようにした方が望ましい。また、検出する対象
は、楽音のレベルに限らず、他の特性であってもよい。

【００６７】一般的に、自然音を周波数軸上で見た場
合、８ＫＨｚ付近よりも下の周波数のスペクトルは、そ
の音そのものを認識する情報、つまり、ピアノやバイオ
リンの音、人声など、その音が何であるかを知るための
情報を含んでいる。一方、およそ８ＫＨｚ以上から１６
ＫＨｚ（可聴上限）のスペクトルは、その音の自然さを
醸し出す情報を含むことが多い。仮に、この領域のスペ
クトルが完全に失われたとしても、その音が何であるか
を認識できるものの、自然さは大いに欠けてしまう。本
実施の形態のようにして、自然さを醸し出す情報、つま
り８ＫＨｚから１６ＫＨｚまでの周波数スペクトルを近
似的に回復するようにすれば、より自然な楽音を生成す
ることができる。

【００６８】また、本実施の形態では、本発明の楽音生
成装置を携帯電話機、特にその音源装置に適用したが、
これは、電子鍵盤楽器等に設けられる通常の音源装置で
は、サンプリング周波数より低い録音サンプリング周波
数で楽音をサンプリングして、再現される楽音を劣化さ
せてまで、音色データメモリ（波形メモリ）の記憶容量
を低減する必要はないからである。したがって、逆に言
えば、サンプリング周波数より低い録音サンプリング周
波数で楽音をサンプリングする必要のある装置であれ
ば、携帯電話機に限らない。

【００６９】このように、本実施の形態では、サンプリ
ング周波数より低い録音サンプリング周波数でサンプリ
ングして、楽音波形データを生成したときに失われた周
波数成分、すなわち録音サンプリング周波数の半分以上
の周波数成分を、当該周波数域のフォルマントに応じた
フォルマントデータであって、音色データメモリに記憶
されたものに基づいて、前記失われたフォルマントに近
似するフォルマントを備えたフォルマント音を合成し、
前記生成された楽音波形データに加算することで、近似
的に回復するようにしたので、より自然な楽音を生成す
ることができる。

【００７０】なお、上述した実施の形態の機能を実現す
るソフトウェアのプログラムコードを記録した記憶媒体
を、システムまたは装置に供給し、そのシステムまたは
装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒
体に格納されたプログラムコードを読出し実行すること
によっても、本発明の目的が達成されることは言うまで
もない。

【００７１】この場合、記憶媒体から読出されたプログ
ラムコード自体が本発明の新規な機能を実現することに
なり、そのプログラムコードを記憶した記憶媒体は本発
明を構成することになる。

【００７２】プログラムコードを供給するための記憶媒
体としては、たとえば、フレキシブルディスク、ハード
ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、
ＲＯＭなどを用いることができる。

【００７３】また、コンピュータが読出したプログラム
コードを実行することにより、上述した実施の形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているＯＳなどが
実際の処理の一部または全部を行い、その処理によって
上述した実施の形態の機能が実現される場合も含まれる
ことは言うまでもない。

【００７４】

【発明の効果】以上説明したように、請求項１または３
に記載の発明によれば、楽音を生成するサンプリング周
波数より低い録音サンプリング周波数で、楽器の音をサ
ンプリングして採取した楽音波形データを波形メモリに
記憶し、該波形メモリから楽音波形データを読み出して
楽音を生成するときに、前記録音サンプリング周波数で
サンプリングしたことによって失われた周波数域のフォ
ルマントに応じたフォルマントデータであって、記憶手
段に記憶されたものに基づいて、前記失われたフォルマ
ントに近似するフォルマントを備えたフォルマント音が
合成され、前記読み出された楽音に、前記合成されたフ
ォルマント音が加算されるので、楽器の音を録音サンプ
リング周波数でサンプリングしたときに失われた周波数
域のフォルマントが近似的に回復され、したがって、よ
り自然な楽音を生成することができる。

【図面の簡単な説明】

【図１】 本発明の一実施の形態に係る楽音生成装置を
適用した携帯電話機の概略構成を示すブロック図であ
る。

【図２】 音色データメモリ作成処理の手順を示すフロ
ーチャートである。

【図３】 図２の楽音波形サンプルの採取処理を説明す
るための図である。

【図４】 基となる楽音波形サンプル、ダウンサンプリ
ング後の楽音波形サンプルおよび検出後のフォルマント
の各周波数スペクトルの様子を示す図である。

【図５】 音色データメモリのメモリマップの一例を示
す図である。

【図６】 図１の波形テーブル音源でなされる楽音信号
生成処理の手順を示すブロック図である。

【図７】 図６のノイズフォルマント音発生部でなされ
るノイズフォルマント音発生処理の手順を示すブロック
図である。

【図８】 ノイズフォルマント音のレベルの遷移を示す
図である。

【符号の説明】

２５ 音色データメモリ（波形メモリ、記憶手段）、
２８ ノイズフォルマント音発生部（合成手段）、 ３
１ 加算部（加算手段）

Claims (3)

【特許請求の範囲】
1. 【請求項１】 当該楽音生成装置本来のサンプリング周
   波数より低い録音サンプリング周波数で、楽器の音をサ
   ンプリングして採取した楽音波形データを波形メモリに
   記憶し、該波形メモリから楽音波形データを読み出して
   楽音を生成する楽音生成装置において、 前記録音サンプリング周波数でサンプリングしたことに
   よって失われた周波数域のフォルマントに応じたフォル
   マントデータを記憶する記憶手段と、 該記憶されたフォルマントデータに基づいて、前記失わ
   れたフォルマントに近似するフォルマントを備えたフォ
   ルマント音を合成する合成手段と、 前記読み出された楽音に、前記合成されたフォルマント
   音を加算する加算手段とを有することを特徴とする楽音
   生成装置。
2. 【請求項２】 前記フォルマントデータは、当該フォル
   マントの中心周波数とそのレベルであり、 前記合成手段は、ノイズ系の信号に前記中心周波数の正
   弦波を乗算した後、該乗算結果のレベルが前記レベルに
   なるように調整することを特徴とする請求項１に記載の
   楽音生成装置。
3. 【請求項３】 楽音を生成するサンプリング周波数より
   低い録音サンプリング周波数で、楽器の音をサンプリン
   グして採取した楽音波形データを波形メモリに記憶し、
   該波形メモリから楽音波形データを読み出して楽音を生
   成する楽音生成方法において、 前記録音サンプリング周波数でサンプリングしたことに
   よって失われた周波数域のフォルマントに応じたフォル
   マントデータを記憶手段に記憶し、 該記憶されたフォルマントデータに基づいて、前記失わ
   れたフォルマントに近似するフォルマントを備えたフォ
   ルマント音を合成し、 前記読み出された楽音に、前記合成されたフォルマント
   音を加算することを特徴とする楽音生成方法。