JP2000148136A - 音信号分析装置、音信号分析方法及び記憶媒体 - Google Patents

音信号分析装置、音信号分析方法及び記憶媒体

Info

Publication number
JP2000148136A
JP2000148136A JP11248087A JP24808799A JP2000148136A JP 2000148136 A JP2000148136 A JP 2000148136A JP 11248087 A JP11248087 A JP 11248087A JP 24808799 A JP24808799 A JP 24808799A JP 2000148136 A JP2000148136 A JP 2000148136A
Authority
JP
Japan
Prior art keywords
sound signal
pitch
scale
note
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11248087A
Other languages
English (en)
Other versions
JP3489503B2 (ja
Inventor
Tomoyuki Funaki
知之 船木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP24808799A priority Critical patent/JP3489503B2/ja
Publication of JP2000148136A publication Critical patent/JP2000148136A/ja
Application granted granted Critical
Publication of JP3489503B2 publication Critical patent/JP3489503B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

(57)【要約】 【課題】 音信号分析時の各種パラメータをそのパラメ
ータの種類やユーザの音声特性に応じて適宜変更設定で
きるようにする。 【解決手段】 採譜しようとする音信号を入力し、この
入力音信号からその特性を抽出し、抽出した特性に応じ
て、該音信号を分析する際に使用する各種パラメータを
設定する。また、ユーザによって所望の音階判定条件を
設定する。採譜しようとする音信号を入力し、前記設定
された各種パラメータを用いて該入力音信号の音高を判
定する。判定した音高を、前記設定された音階判定条件
に従い、該音階判定条件に従ういずれかの音階音に丸め
る。音符長の判定基準として任意の単位音符長の条件を
設定し、入力音信号から判定した音階音の音符長を、前
記設定された単位音符長を最小単位として決定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、マイクなどから
の入力音声に基づいてMIDIファイルなどを作成する
ための音信号分析装置及び方法並びに記憶媒体に係り、
特に音信号分析時の各種パラメータを最適化することの
できる音信号分析装置及び方法並びに記憶媒体に関し、
さらには自動採譜装置及び方法並びに記憶媒体に関す
る。
【0002】
【従来の技術】従来の音信号分析装置は、音信号分析時
の入力音声レベルやその検出ピッチの上限や下限などを
パラメータとして設定していた。このようなパラメータ
は一般的なユーザの発音状態に基づいて予め設定された
ものであり、使用に際してユーザ自身が適宜変更できる
ものであった。
【0003】
【発明が解決しようとする課題】しかしながら、入力音
声レベルは、ハードウェア自体の性能や音声入力時の周
囲の状況(雑音レベル)などにも影響を受けるため、そ
の時々でレベル設定を見直す必要があった。また、ピッ
チの上限や下限は、音信号分析の際のピッチ検出時のフ
ィルター特性に影響を与えるので、むやみに上限や下限
を広げることは好ましくない。また、ピッチの上限や下
限を広く設定すると、音声の倍音等によって違うピッチ
を検出してしまうことがあるため好ましくない。また、
広範囲なピッチ検出に対応するために複雑かつ高度なア
ルゴリズム処理を必要とするため、リアルタイム処理が
困難になるという問題があった。上述のようにユーザ自
身が適宜変更可能なパラメータではあっても、その変更
にはある程度の音楽的知識が必要であり、ユーザ側で自
由に変更することは好ましくなかった。しかしながら、
ユーザの中には一般的なユーザとは異なった幅広いピッ
チの音声を発する者や人並み外れた音高を発する者がい
たりするので、ユーザに合わせてパラメータを適宜変更
できるようにすることは重要であった。
【0004】本発明は、音信号分析時の各種パラメータ
をそのパラメータの種類やユーザの音声特性に応じて適
宜変更設定することのできる音信号分析装置、音信号分
析方法及び記憶媒体を提供することを目的とする。さら
には、かかる音信号分析技術を用いた自動採譜装置また
は方法並びに記憶媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】本発明に係る音信号分析
装置は、任意の音信号を入力するための入力手段と、前
記入力手段から入力した音信号からその音信号の特性を
抽出する特性抽出手段と、前記特性抽出手段によって抽
出された前記音信号の特性に応じて前記音信号を分析す
る際に使用される各種パラメータを設定する設定手段と
を具備するものである。特性抽出手段は入力した音信号
からその音信号の特性を抽出しているので、入力した音
信号がユーザの音声特性(歌唱力など)に応じてそれぞ
れ異なる場合でも、特性抽出手段によって抽出された音
信号の特性に応じて各種パラメータを変更設定できるの
で、パラメータの設定が簡易化できる。
【0006】本発明に係る音信号分析装置の一実施態様
として、特性抽出手段を、前記音信号の特性として、音
量レベルを抽出し、前記設定手段では抽出された前記音
量レベルに応じて音信号分析時のしきい値を設定するよ
うにしてよい。このように、音信号分析時のしきい値を
どの程度に設定するかによって、入力された音信号にお
ける有効な音の出始めすなわちキーオンの検出タイミン
グを、各ユーザ音声(各ユーザに固有の音量)に合わせ
て、適切に設定することができる。従って、これにもと
づき、音高や発音タイミングの分析を適切に行なうこと
ができる。
【0007】本発明に係る音信号分析装置の一実施態様
として、特性抽出手段を、前記音信号の特性として、音
高の上限及び下限を抽出し、前記設定手段では抽出され
た前記音高の上限及び下限に応じて音信号分析用のフィ
ルター特性を設定するようにしてよい。このように、音
信号分析用のフィルター特性をどの範囲にするかを適切
に設定することによって、音高判定のためのバンドパス
フィルタ等の特性を各ユーザ音声(各ユーザに固有の音
域)に合わせて、適切に設定することができる。従っ
て、例えば倍音ピッチを基本ピッチとして誤って検出し
たりとか、本来検出されるべき音高が検出できなくなっ
たりするというような不都合をなくすことができる。
【0008】別の観点に従う、本発明に係る音信号分析
装置は、任意の音信号を入力するための入力手段と、前
記入力手段から入力した音信号からその音信号の音高を
抽出する音高抽出手段と、音階判定条件を設定する音階
指定手段と、前記音階指定手段によって指定された音階
判定条件に従い、前記音高抽出手段によって抽出された
前記音信号の音高がどの音階音に該当するかを判定する
判定手段とを具備する。これによれば、個々の分析機会
毎に、各ユーザは、音階指定手段によって所望の音階判
定条件を指定することができるので、抽出された音高の
絶対周波数のみに依存することなく、設定された音階に
応じた適切かつ微妙な音階音の判定を行なうことができ
る。従って、音楽的に優れた採譜を自動的に行なうこと
ができる。
【0009】一実施態様として、前記判定手段は、音階
音と中間音階音とを区別して判定することが可能であ
り、中間音階音の判定のための周波数許容範囲を、音階
音の判定のための周波数許容範囲よりも、狭く設定した
ことを特徴とする。これによって、指定された音階の音
階音(ダイアトニックスケールノート)の判定周波数範
囲の方が、中間音階音(非ダイアトニックスケールノー
ト)の判定周波数範囲よりも幅広く設定されることにな
り、音階音(ダイアトニックスケールノート)について
は、ユーザの入力音高が正規のピッチから多少ずれてい
てもこれを音階音(ダイアトニックスケールノート)と
して判定し、一方、中間音階音(非ダイアトニックスケ
ールノート)についてはその正規のピッチにかなり近い
場合にこれを当該中間音階音(つまり或る音階音から半
音ずれた中間音階音)として判定する。従って、音階判
定性能がかなり向上すると共に、ユーザが意図的に入力
した中間音階音(非ダイアトニックスケールノート)も
適切に判定することができ、音楽的に高度な採譜を自動
的に行なうことができる。また、ユーザの歌唱力に応じ
た適切な音階音への割り当て処理(つまり音階音判定処
理)が行えるようになる。
【0010】更に、音符長の判定基準として単位音符長
の条件を設定する設定手段と、前記判定手段で判定され
た音階音又は中間音階音の音符長を、前記設定手段で設
定された単位音符長を最小単位として決定する音符長決
定手段とを具備してもよい。これにより、音符長用判定
の最小単位を適宜可変設定して、適切なクォンタイズ処
理を行なうことができ、ユーザの歌唱力に応じた臨機応
変な音符長判定処理を行なうことができる。
【0011】別の観点に従えば、本発明に係る音信号分
析装置は、任意の音信号を入力するための入力手段と、
前記入力手段から入力した音信号からその音信号の音高
を抽出する音高抽出手段と、前記音高抽出手段によって
抽出された前記音信号の音高をその周波数に基づいて各
音階音へ割り当てる音階割り当て手段であって、同じ音
階音への割り当てを行うものであるが、各音階音に割り
当てられるべき音高の周波数帯が異なるように設定され
たものを複数有する音階割り当て手段とを具備する。従
来、音階割り当て手段は音信号の音高をその周波数に基
づいて各音階音の周波数に最も近いと思われる音階音へ
割り当てていた。例えば、割り当てられる音階が鍵盤の
白鍵に対応するものの場合、ユーザが故意に黒鍵に対応
する音高で発音しているにも係わらず強制的にどちらか
の白鍵の音階音に割り当てられる。一方、割り当てられ
る音階を全音音階(白鍵及び黒鍵対応)にすると、機械
的に最も近い音階音へ割り当てられるため、ユーザ自身
は鍵盤の白鍵に対応して発音しているつもりでも、ユー
ザの発音した音高のずれによって黒鍵に対応した音高へ
割り当てられてしまうことがある。そこで、この発明で
は全音音階への割り当てを行うが、黒鍵への割り当てに
ついては、それに対応する音高の割り当て周波数の幅を
極力狭くし、その狭い範囲に音高の周波数が該当した場
合にその黒鍵への割り当てを行うようにした。これによ
って、ユーザの歌唱力に応じた適切な音階音への割り当
て処理が行えるようになる。
【0012】更に別の観点に従えば、本発明は、音信号
を入力して自動的に採譜する装置であって、採譜しよう
とする音信号の少なくとも一部を入力し、この入力した
音信号からその特性を抽出し、抽出した特性に応じて、
該音信号を分析する際に使用する各種パラメータを設定
する第1手段と、音階判定条件を設定する第2手段と、
採譜しようとする音信号を入力し、前記第1手段で設定
された各種パラメータを用いて該音信号の音高を判定す
る第3手段と、前記第2処理で設定された音階判定条件
に従い、前記第3手段で判定した音高を該音階判定条件
に従ういずれかの音階音に丸める第4手段とを具備す
る。また、音符長の判定基準として単位音符長の条件を
設定する手段と、入力した前記音信号から判定した音階
音の音符長を、前記設定された単位音符長を最小単位と
して決定する手段とを更に具備する。
【0013】本発明は装置発明として構成し、実施する
ことができるのみならず、方法発明として構成し、実施
することもできる。また、コンピュータプログラムの形
態で実施することができ、そのようなコンピュータプロ
グラムを記憶した記憶媒体の形態で本発明を実施するこ
ともでき、これらはすべて本発明の範囲に含まれる。
【0014】
【発明の実施の形態】以下、添付図面を参照してこの発
明の実施の形態を詳細に説明する。図2はこの発明に係
る音信号分析装置として動作するパーソナルコンピュー
タのハード構成ブロック図である。パーソナルコンピュ
ータは、CPU21によって制御される。CPU21に
はデータ及びアドレスバス2Pを介してプログラムメモ
リ(ROM)22、ワーキングメモリ(RAM)23、
外部記憶装置24、マウス検出回路25、通信インター
フェイス27、MIDIインターフェイス2A、マイク
インターフェイス2D、キーボード(K/B)検出回路
2F、表示回路2H、音源回路2J及び効果回路2Kが
接続されている。パーソナルコンピュータはこれら以外
のハードウェアを有する場合もあるが、ここでは、必要
最小限の資源を用いた場合について説明する。
【0015】CPU21はプログラムメモリ22及びワ
ーキングメモリ23内の各種プログラムや各種データ、
及び外部記憶装置24から取り込んだ楽曲情報に基づい
た処理を行う。この実施の形態では、外部記憶装置24
としては、フロッピーディスクドライブ、ハードディス
クドライブ、CD−ROMドライブ、光磁気ディスク
(MO)ドライブ、ZIPドライブ、PDドライブ、D
VDなどが用いられる。また、MIDIインターフェイ
ス2A及び音源回路2Jを介して他のMIDI機器2B
などから楽曲情報などを取り込んでもよい。CPU21
は、このような外部記憶装置24から取り込まれた楽曲
情報を音源回路2Jに供給し、外部のサウンドシステム
2Lを用いて発音する。
【0016】プログラムメモリ22はCPU21のシス
テム関連のプログラム、各種のパラメータやデータなど
を記憶しているものであり、リードオンリメモリ(RO
M)で構成されている。ワーキングメモリ23はCPU
21がプログラムを実行する際に発生する各種のデータ
を一時的に記憶するものであり、ランダムアクセスメモ
リ(RAM)の所定のアドレス領域がそれぞれ割り当て
られ、レジスタやフラグ等として利用される。また、前
記ROM22に動作プログラム、各種データなどを記憶
させる代わりに、CD−ROMドライブ等の外部記憶装
置24に各種データ及び任意の動作プログラムを記憶し
ていてもよい。外部記憶装置24に記憶されている動作
プログラムや各種データは、RAM23等に転送記憶さ
せることができる。これにより、動作プログラムの新規
のインストールやバージョンアップを容易に行うことが
できる。
【0017】なお、通信インターフェイス27を介して
LAN(ローカルエリアネットワーク)やインターネッ
ト、電話回線などの種々の通信ネットワーク28上に接
続可能とし、他のサーバコンピュータ29との間でデー
タ(データ付き楽曲情報等)のやりとりを行うようにし
てもよい。これにより、サーバコンピュータから動作プ
ログラムや各種データをダウンロードすることもでき
る。この場合、クライアントとなるパーソナルコンピュ
ータから、通信インターフェイス27及び通信ネットワ
ーク28を介してサーバコンピュータ29に動作プログ
ラムや各種データのダウンロードを要求するコマンドを
送信する。サーバコンピュータ29は、このコマンドに
応じて、所定の動作プログラムやデータなどを、通信ネ
ットワーク28を介して他のパーソナルコンピュータに
送信したりする。パーソナルコンピュータでは、通信イ
ンターフェイス27を介してこれらの動作プログラムや
データなどを受信して、RAM23等に格納する。これ
によって、動作プログラム及び各種データなどのダウン
ロードが完了する。
【0018】なお、本発明は、本発明に対応する動作プ
ログラムや各種データをインストールした市販の電子楽
器等によって、実施させるようにしてもよい。その場合
には、本発明に対応する動作プログラムや各種データな
どを、CD−ROMやフロッピーディスク等の、電子楽
器が読み込むことができる記憶媒体に記憶させた状態
で、ユーザーに提供してもよい。
【0019】マウス26はポインティングデバイスであ
り、マウス26からの入力信号をマウス検出回路25に
よって位置情報に変換して、データ及びアドレスバス2
Pに供給する。マイク2Cは、音声信号や楽器音を電圧
信号に変換して、マイクインターフェイス2Dに出力す
る。マイクインターフェイス2Dは、マイク2Cからの
アナログの電圧信号をディジタル信号に変換してデータ
及びアドレスバス2Pを介してCPU21に出力する。
キーボード(K/B)2Eは文字情報などを入力するた
めの複数の鍵やファンクションキーなどの鍵を備えてお
り、各鍵に対応したキースイッチを有している。キーボ
ード検出回路2Fはキーボード2Cのそれぞれの鍵に対
応して設けられたキースイッチ回路を含むものであり、
押鍵された鍵に対応したキーイベントを出力する。な
お、これらのハード的なスイッチの他には、ディスプレ
2Gに各種のスイッチをボタン形式で表示し、それをマ
ウス26でソフト的に選択できるようにしてもよい。表
示回路2Hはディスプレイ2Gの表示内容を制御するも
のである。ディスプレイ2Gは液晶表示パネル(LC
D)等から構成され、表示回路2Hによってその表示動
作を制御される。
【0020】音源回路2Jは、複数チャンネルで楽音信
号の同時発生が可能であり、データ及びアドレスバス2
P、MIDIインターフェイス2Aを経由して与えられ
た楽曲情報(MIDIファイル)を入力し、この情報に
基づき楽音信号を発生する。音源回路2Jにおいて複数
チャンネルで楽音信号を同時に発音させる構成として
は、1つの回路を時分割で使用することによって複数の
発音チャンネルを形成するようなものや、1つの発音チ
ャンネルが1つの回路で構成されるような形式のもので
あってもよい。また、音源回路2Jにおける楽音信号発
生方式はいかなるものを用いてもよい。音源回路2Jか
ら出力される楽音信号はアンプ及びスピーカからなるサ
ウンドシステム2Lによって発音される。なお、音源回
路2Jとサウンドシステム2Lとの間に楽音信号に種々
の効果を付与する効果回路2が設けられている。なお、
音源回路2J自体が効果回路を含んでいてもよい。タイ
マ2Nは時間間隔を計数したり、楽曲情報の再生時のテ
ンポを設定したりするためのテンポクロックパルスを発
生するものである。このテンポクロックパルスの周波数
はテンポスイッチ(図示していない)によって調整され
る。タイマ2NからのテンポクロックパルスはCPU2
1に対してインタラプト命令として与えられ、CPU2
1はインタラプト処理により自動演奏時における各種の
処理を実行する。
【0021】図2のパーソナルコンピュータが音信号分
析装置として動作する場合の一実施の形態について図
1、図3〜図10を用いて説明する。図1はパーソナル
コンピュータが音信号分析装置として動作する際のメイ
ンフローを示す図である。CPU21はこのメインフロ
ーに従って動作する。以下、順番にこのメインフローの
動作について説明する。
【0022】まず、最初のステップでは、初期設定処理
を行う。初期設定処理では、図2のワーキングメモリ2
3内の各レジスタ及びフラグなどに対して所定の初期値
を設定する。この初期設定処理の結果、図7のようなパ
ラメータ設定画面70がディスプレイ2Gに表示され
る。このパラメータ設定画面70には録音再生部71、
丸め設定部72、ユーザ設定部73の3つの領域が存在
する。
【0023】録音再生部71には、録音ボタン71A、
MIDI再生ボタン71B、音声再生ボタン71Cが存
在する。各ボタン71A〜71Cを操作することによっ
て、そのボタンに対応した処理が開始する。録音ボタン
71Aが操作されると、それに応じてマイク2Cから入
力されるユーザの音声が順次録音される。録音された音
声をこの実施の形態の音信号分析装置で分析して、MI
DIファイルを作成する。なお、この音信号分析装置の
基本的な動作については、本願の発明者が先に出願した
特願平9−336328号に記載されているので、ここ
ではその詳細は省略する。MIDI再生ボタン71Bが
操作されると、音信号分析装置によって作成されたMI
DIファイルの再生処理が行われる。なお、外部から取
り込んだ既存のMIDIファイルを再生できることは言
うまでもない。音声再生ボタン71Cが操作されると、
先に録音ボタン71Aによって録音された生の音声ファ
イルが再生される。なお、外部から取り込んだ既存の音
声ファイルを再生できることは言うまでもない。
【0024】丸め設定部72には、音階丸め条件を指定
するための12音音階指定ボタン72A、中間音階指定
ボタン72B、調音階指定ボタン72Cが存在する。1
2音音階指定ボタン72Aが操作されると、録音された
音声ファイルからMIDIファイルを作成する場合の音
階丸め条件として、分析された音高が12音音階の音階
音のいずれかに対して割り当てられる。調音階指定ボタ
ン72Cが操作されると、音階丸め条件として、7音音
階の指定された調の音階音(ダイアトニックスケールノ
ート)に対して入力音声のピッチが割り当てられる。例
えば、指定された7音音階の調がハ長調の場合には、白
鍵に対応した音高への割り当てが行われる。勿論、指定
された7音音階の調がハ長調でない場合には、黒鍵に対
応する音高も音階音(ダイアトニックスケールノート)
となりうる。中間音階指定ボタン72Bが操作される
と、音階丸め条件として、基本的には、指定された7音
音階の調に対応した丸め処理を行い、分析された結果、
その音高が当該指定された調の音階音(ダイアトニック
スケールノート)からほぼ半音づれている場合に、これ
を中間音階音(非ダイアトニックスケールノート)とし
て判定する。このように、当該指定された調の音階音以
外の中間音階音(非ダイアトニックスケールノート)へ
の割り当てを可能にしている。
【0025】図8は、この音階丸め条件の違いを概念的
に示す図である。図8(A)は12音音階指定に、図8
(B)は中間音階指定に、図8(C)は調音階指定に、
それぞれ対応した音階丸め条件の概念を示す図である。
図8において、鍵盤の並び方向(横方向)が音高すなわ
ち音信号分析結果の音声周波数に相当するものである。
従って、図8(A)の12音音階指定の場合には、各音
階音(12音名)の音高と音高との中間周波数に境界を
設け、全ての12音階音に音信号分析結果の音高周波数
を割り当てている。図8(C)の調音階指定の場合に
は、以下、便宜上ハ長調の場合を基準にして説明する
と、黒鍵に対応する音名(C♯,D♯,F♯,G♯,A
♯)(つまり非ダイアトニックスケールノート)の周波
数を境界として音階音(ダイアトニックスケールノー
ト)を判定し、こうして、7つの音階音(ダイアトニッ
クスケールノート)のいずれかに分析結果の音声周波数
を割り当てている。これに対して、図8(B)の中間音
階指定の場合には、基本的には図8(A)の12音音階
指定の場合に似ているが、黒鍵に対応する音名(C♯,
D♯,F♯,G♯,A♯)(つまり非ダイアトニックス
ケールノート)に割り当てられる周波数判定範囲が狭く
なっている。すなわち、図8(A)の場合は12の各音
名の音高周波数判定範囲が均等に設定されるのに対し
て、図8(B)の場合は、黒鍵に対応する音名(つまり
非ダイアトニックスケールノート)の音高周波数判定範
囲が極めて狭く設定されている。なお、この範囲は任意
に設定してよく、要は、音階音(ダイアトニックスケー
ルノート)の音高周波数判定範囲を広くし、中間音階音
(非ダイアトニックスケールノート)の音高周波数判定
範囲をそれよりも狭くする。なお、中間音階指定ボタン
72Bの下側に示された音階割り当ての状態を示すイラ
ストにおいて、黒鍵に対応する音名(C♯,D♯,F
♯,G♯,A♯)(つまり非ダイアトニックスケールノ
ート)が楕円形状になっているのは、上述のように狭い
範囲に対応しているということを図示しようと意図した
からである。こうして、要すれば、入力音声の周波数
(ピッチ)が中間音階音(非ダイアトニックスケールノ
ート)の音高周波数(ピッチ)にほぼ一致しているか、
若しくはそれにかなり近い場合に限り、該入力音声の音
高が中間音階音(非ダイアトニックスケールノート)に
該当する、と判定するようになっている。
【0026】さらに、丸め設定部72には、音信号分析
の際の小節分割条件を指定するためのノンクオンタイズ
ボタン72D、2分割ボタン72E、3分割ボタン72
F、4分割ボタン72Gが存在する。これらの各ボタン
72D〜72Gが操作されると、それぞれの分割数に応
じて、音声ファイルが分析され、MIDIファイルが作
成されるようになる。なお、各ボタン72D〜72Gの
右側には、小節分割条件が一目で分かるようなイラスト
が表示されている。ノンクオンタイズボタン72Dの右
側のイラストでは、クオンタイズされないで、音長の開
始位置が音声ファイルの分析結果に応じて任意に決定す
ることを示している。2分割ボタン72Eの右側のイラ
ストでは、1拍(4分音符)を2分割した8分音符単位
の位置に音長の開始位置が決定することを示している。
以下同様に3分割ボタン72Fの右側のイラストでは、
1拍を3分割した3連符単位の位置に音長の開始位置が
決定することを、4分割ボタン72Gの右側のイラスト
では、1拍を4分割した16分音符単位の位置に音長の
開始位置が決定することをそれぞれ示している。これら
の分割数は一例であり、これ以外の分割数を選択可能と
することは任意である。
【0027】ユーザ設定部73には、レベル設定ボタン
73A、音高域設定ボタン73Bが存在し、これらのボ
タンを操作することによって、そのボタンに対応した処
理が開始する。レベル設定ボタン73Aが操作される
と、それに応じて図9のようなレベルチェック画面が表
示される。このレベルチェック画面は、現在の音量レベ
ルをリアルタイムに色表示するレベルメータ部91、レ
ベルメータのレベル上昇下降に応じてレベルメータに沿
って上下位置が動く指示針92、この指示針92がレベ
ル表示窓94に対応することを示す印93、指定中の音
量レベルを数値で示すレベル表示窓94、指定レベルを
確定する確定(OK)ボタン95、レベルチェック処理
を取り消すための取消(キャンセル)ボタン96から構
成される。レベル表示窓94には直接キーボード2Eか
ら数値を入力することができる。このレベルチェック画
面によって設定された音量レベルに従ってユーザの音声
が分析される。
【0028】音高域設定ボタン73Bが操作されると、
それに応じて図10のようなピッチチェック画面が表示
される。このピッチチェック画面は、現在の設定されて
いる音高域の上限を示す第1の指示針101と、その下
限を示す第2の指示針102と、現在の発音中のユーザ
音声の音高を示す第3の指示針109によって鍵盤上の
どの範囲に音高域が設定されているかを示している。な
お、第1及び第2の指示針を用いる他、該当する鍵盤の
色を他の部分と異ならせてもよい。また、第1の指示針
101が上限ピッチ窓105に対応することを示す印1
03と、第2の指示針102が下限ピッチ表示的106
に対応することを示す印104が設けられており、その
隣に音高域を直接キーボード2Eから数値入力すること
のできる上限ピッチ表示窓105及び下限ピッチ表示窓
106が存在する。また、レベルチェック表示画面と同
様に確定(OK)ボタン107及び取消(キャンセル)
ボタン108が存在する。このピッチチェック画面によ
って設定された音高域に従ってユーザの音声が分析され
る。
【0029】上述のような内容のパラメータ設定画面7
0が表示されるので、ユーザはマウス2Cを操作して、
各種パラメータの設定を行う。ユーザの行うマウス2C
の操作に応じた判定処理が図1のメインフロー上で行わ
れるようになる。まず、最初の判定処理では、パラメー
タ設定画面70上のユーザ設定部73の音高域設定ボタ
ン73Bが操作されたかどうかを判定し、操作された
(YES)と判定された場合には、図3の音高域設定処
理を行う。この音高域設定処理では、図10のダイアロ
グ画面を表示し、マイク2Cからの入力音声のピッチを
検出する。そして、検出したピッチの音高に対応した図
10のダイアログ画面の鍵盤の色を変化させたり、第1
及び第2の指示針101,102の表示位置を変化させ
たりして、音高域の設定処理を行う。確定(OK)ボタ
ン107が操作されるまで上述のような一連の音高域設
定処理を繰り返し実行する。確定(OK)ボタン107
が操作された時点で図10のダイアログ画面に表示され
ている上限ピッチと下限ピッチの鍵域に対応して音高抽
出の対象フィルターのバンドバスフィルタ係数を決定す
る。これによって、ユーザの音声に対応した音高域の設
定が行われる。
【0030】次の判定処理では、パラメータ設定画面7
0上のユーザ設定部73のレベル設定ボタン73Aが操
作されたかどうかを判定し、操作された(YES)と判
定された場合には、図4の音量レベルしきい値設定処理
を行う。この音量レベルしきい値設定処理では、図9の
ダイアログ画面を表示し、マイク2Cからの入力音声の
音量レベルを検出する。そして、検出した音量レベルに
応じてダイアログ画面のレベルメータ部91の色をリア
ルタイムに変化させる。なお、最大音量レベルを示す指
示針92の表示位置すなわちレベル基準値は次のような
処理によって決定される。まず、現在のレベル基準値よ
りも今回のレベルが高いかどうかを判定し、高いと判定
された場合には、今回の高いレベル値に合わせてレベル
基準値すなわち最大音量レベル値及びその指示針92の
表示位置を決定する。一方、レベル基準値よりも今回の
レベルが低いと判定された場合には、過去n回の検出に
おいて、毎回音量レベルが下がっているかどうかを判定
する。毎回音量レベルが下がっていると判定された場合
には、今回のレベル値に合わせてレベル基準値すなわち
最大音量レベル値及びその指示針92の表示位置を変更
する。なお、レベル基準値よりも今回のレベルは低い
が、毎回音量レベルが下がっているわけではない場合に
は、過去m回(m<n)の検出において、毎回音量レベ
ルがa値(一例としてレベル基準値の約90パーセント
の値)を下回っているかどうかを判定し、下回っている
(YES)場合には、前述と同様に今回のレベル値に合
わせてレベル基準値すなわち最大音量レベル値及びその
指示針92の表示位置を変更する。しかし、下回ってい
ない(NO)と判定された場合には、現在のレベル基準
値を維持する。このような一連の処理によって、レベル
基準値すなわち最大音量レベル値及びその指示針92の
表示位置が時々刻々と変化されるようになる。そして、
上述のような一連の処理を確定(OK)ボタン95が操
作されるまで繰り返し実行し、確定(OK)ボタン95
が操作された時点で図9のダイアログ画面に表示されて
いる最大音量レベル値(レベル基準値)に応じてピッチ
検出(あるいはキーオン検出等)のためのレベルしきい
値が設定される。例えば、このレベルしきい値以上の音
量レベルを持つ音声信号を対象にしてピッチ検出処理を
行う、あるいはこのレベルしきい値以上の音量レベルに
応答してキーオン検出を行う。
【0031】次の判定処理では、パラメータ設定画面7
0上の丸め設定部72の各ボタン72A〜72Gが操作
されたかどうかを判定し、図5の丸め条件等設定処理を
行う。この丸め条件等設定処理では、操作されたボタン
に種類に応じた処理を行う。すなわち、操作されたボタ
ンが小節分割条件を設定するためのボタン72D〜72
Gの場合には、小節の分割数の指定ありと判定され、操
作されたボタンに対応した小節の分割数の設定を行う。
一方、操作されたボタンが音階丸め条件を指定するため
のボタン72A〜72Cの場合には、音階の指定有りと
判定され、操作されたボタンに対応した音階(音程の丸
め位置)の設定を行う。そして、上述のような一連の処
理を確定(OK)ボタン72Hが操作されるまで繰り返
し実行する。
【0032】次に、演奏又は採譜関連のボタン(図示し
ていない)が操作されたかどうかを判定し、操作有りの
場合はその指示に応じた設定を行う。例えば、演奏開始
スタートボタンが操作された場合には、それに対応する
演奏処理フラグを立てたり、採譜処理スタートボタンが
操作された場合には、それに対応する採譜処理フラグを
立てたりする。このように図7のパラメータ設定画面7
0に関する一連の処理が終了すると、次は採譜及び演奏
処理を行う。ここで採譜処理は、前述の特願平9−33
6328号に詳細に記載されているので、ここでは説明
を省略する。また、演奏処理についても従来から公知の
自動演奏技術に基づいて行われるので、ここでは説明を
省略する。なお、上述のようにユーザによって選択され
た音階丸め条件に応じて採譜処理が行われることはいう
までもない。
【0033】図6は、採譜処理を音声入力と同時にリア
ルタイムで行う場合の一例を示す図である。すなわち、
先の出願に示した音信号分析装置は、ユーザの音声を予
め録音しておいてから分析する場合について説明してあ
るが、ここでは、マイクから入力する音声に基づいてリ
アルタイムに採譜処理を行う場合の一例について説明す
る。まず、入力音声のピッチをリアルタイムで検出す
る。ピッチ検出の条件等は上述の音高域設定処理に結果
に基づいて設定されたものである。検出されたピッチを
指定された音階丸め条件に従って所定の音高に割り当て
る。割り当てられた音高と前回の処理で割り当てられた
音高との間に違いが生じたかどうかを判定し、違いが生
じた(YES)場合には、上述の小節分割条件に対応し
た指定区域すなわちグリッドポイントに現時点が対応す
るまで、その判定を繰り返し、グリッドポイントに対応
した時点で今までの音高すなわち前回の音高を当該グリ
ップポイントまでの音長の音高を楽譜データとして採用
し、楽譜データへの書込みを行う。なお、割り当てられ
た音高と前回の処理にて割り当てられた音高との間に違
いが生じない場合、すなわち同じ音高の場合には連続し
ていると判断してそのままそれを楽譜データとして採用
し、楽譜データへの書込みを行う。このような一連の処
理をリアルタイムに行うことによって、大まかではある
が簡単にユーザの入力音声から楽譜データを作成するこ
とができるようになる。
【0034】
【発明の効果】この発明によれば、音信号分析時の各種
パラメータをそのパラメータの種類やユーザの音声特性
に応じて適宜変更設定することができるという効果があ
る。また、指定された音階の音階音と中間音階音とを効
率的に区別して音高判定を行うことができるので、自動
採譜の精度を向上させることができる。
【図面の簡単な説明】
【図1】 パーソナルコンピュータが音信号分析装置と
して動作する際のメインフローを示す図である。
【図2】 この発明に係る音信号分析装置として動作す
るパーソナルコンピュータのハード構成ブロック図であ
る。
【図3】 図1の音高域設定処理の詳細を示す図であ
る。
【図4】 図1の音量レベルしきい値設定処理の詳細を
示す図である。
【図5】 図1の丸め条件等設定処理の詳細を示す図で
ある。
【図6】 図1の採譜処理の一例を示す図である。
【図7】 図1の初期設定処理の結果表示されるパラメ
ータ設定画面を示す図である。
【図8】 全音音階指定、中間音階指定、調音階指定の
それぞれの音階丸め条件の違いを概念的に示す図であ
る。
【図9】 図1の音量レベルしきい値設定処理の際に表
示されるダイアログ画面を示す図である。
【図10】 図1の音高域設定処理の際に表示されるダ
イアログ画面を示す図である。
【符号の説明】
21…CPU、22…ROM、23…RAM、24…外
部記憶装置、25…マウス検出回路、26…マウス、2
7…通信インターフェイス、28…通信ネットワーク、
29…サーバコンピュータ、2A…MIDIインターフ
ェイス、2B…他のMIDI機器、2C…マイク、2D
…マイク検出回路、2E…キーボード、2…キーボード
検出回路、2G…ディスプレイ、2H…表示回路、2J
…音源回路、2K…効果回路、2L…サウンドシステ
ム、2N…タイマ

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 任意の音信号を入力するための入力手段
    と、 前記入力手段から入力した音信号からその音信号の特性
    を抽出する特性抽出手段と、 前記特性抽出手段によって抽出された前記音信号の特性
    に応じて前記音信号を分析する際に使用される各種パラ
    メータを設定する設定手段とを具備する音信号分析装
    置。
  2. 【請求項2】 前記特性抽出手段は、前記音信号の特性
    として、音量レベルを抽出し、前記設定手段は抽出され
    た前記音量レベルに応じて音信号分析時のしきい値を設
    定することを特徴とする請求項1に記載の音信号分析装
    置。
  3. 【請求項3】 前記特性抽出手段は、前記音信号の特性
    として、音高の上限及び下限を抽出し、前記設定手段は
    抽出された前記音高の上限及び下限に応じて音信号分析
    用のフィルター特性を設定することを特徴とする請求項
    1に記載の音信号分析装置。
  4. 【請求項4】 任意の音信号を入力するための入力手段
    と、 前記入力手段から入力した音信号からその音信号の音高
    を抽出する音高抽出手段と、 音階判定条件を設定する音階指定手段と、 前記音階指定手段によって指定された音階判定条件に従
    い、前記音高抽出手段によって抽出された前記音信号の
    音高がどの音階音に該当するかを判定する判定手段とを
    具備する音信号分析装置。
  5. 【請求項5】 前記判定手段は、音階音と中間音階音と
    を区別して判定することが可能であり、中間音階音の判
    定のための周波数許容範囲を、音階音の判定のための周
    波数許容範囲よりも、狭く設定したことを特徴とする請
    求項4に記載の音信号分析装置。
  6. 【請求項6】 音符長の判定基準として単位音符長の条
    件を設定する設定手段と、 前記判定手段で判定された音階音又は中間音階音の音符
    長を、前記設定手段で設定された単位音符長を最小単位
    として決定する音符長決定手段とを更に具備する請求項
    4又は5に記載の音信号分析装置。
  7. 【請求項7】 分析すべき任意の音信号を入力するステ
    ップと、 入力した音信号からその音信号の特性を抽出するステッ
    プと、 抽出された前記音信号の特性に応じて前記音信号を分析
    する際に使用される各種パラメータを設定するステップ
    とを具備する音信号分析方法。
  8. 【請求項8】 分析すべき任意の音信号を入力するステ
    ップと、 入力した音信号からその音信号の音高を抽出するステッ
    プと、 音階判定条件を設定するステップと、 前記設定された音階判定条件に従い、前記抽出された前
    記音信号の音高がどの音階音に該当するかを判定するス
    テップとを具備する音信号分析方法。
  9. 【請求項9】 前記判定するステップでは、音階音と中
    間音階音とを区別して判定することが可能であり、中間
    音階音の判定のための周波数許容範囲を、音階音の判定
    のための周波数許容範囲よりも、狭く設定したことを特
    徴とする請求項8に記載の音信号分析方法。
  10. 【請求項10】 音符長の判定基準として単位音符長の
    条件を設定するステップと、 前記判定された音階音又は中間音階音の音符長を、前記
    設定された単位音符長を最小単位として決定するステッ
    プとを更に具備する請求項8又は9に記載の音信号分析
    方法。
  11. 【請求項11】 機械によって読取り可能な記憶媒体で
    あって、コンピュータによって実行される音信号を分析
    するためのプログラムについての命令群をその記憶内容
    として有しており、前記音信号を分析するためのプログ
    ラムは、 分析すべき任意の音信号を入力するステップと、 入力した音信号からその音信号の特性を抽出するステッ
    プと、 抽出された前記音信号の特性に応じて前記音信号を分析
    する際に使用される各種パラメータを設定するステップ
    とを含んでいることを特徴とする記憶媒体。
  12. 【請求項12】 機械によって読取り可能な記憶媒体で
    あって、コンピュータによって実行される音信号を分析
    するためのプログラムについての命令群をその記憶内容
    として有しており、前記音信号を分析するためのプログ
    ラムは、 分析すべき任意の音信号を入力するステップと、 入力した音信号からその音信号の音高を抽出するステッ
    プと、 音階判定条件を設定するステップと、 前記設定された音階判定条件に従い、前記抽出された前
    記音信号の音高がどの音階音に該当するかを判定するス
    テップとを含んでいることを特徴とする記憶媒体。
  13. 【請求項13】 音信号を入力して自動的に採譜する装
    置であって、 採譜しようとする音信号の少なくとも一部を入力し、こ
    の入力した音信号からその特性を抽出し、抽出した特性
    に応じて、該音信号を分析する際に使用する各種パラメ
    ータを設定する第1手段と、 音階判定条件を設定する第2手段と、 採譜しようとする音信号を入力し、前記第1手段で設定
    された各種パラメータを用いて該音信号の音高を判定す
    る第3手段と、 前記第2処理で設定された音階判定条件に従い、前記第
    3手段で判定した音高を該音階判定条件に従ういずれか
    の音階音に丸める第4手段とを具備することを特徴とす
    る装置。
  14. 【請求項14】 音符長の判定基準として単位音符長の
    条件を設定する手段と、 入力した前記音信号から判定した音階音の音符長を、前
    記設定された単位音符長を最小単位として決定する手段
    とを更に具備することを特徴とする請求項13に記載の
    装置。
  15. 【請求項15】 機械読取り可能な記憶媒体であって、
    音信号を入力して自動的に採譜することをコンピュータ
    によって実行するためのプログラムの命令群をその記憶
    内容として含んでおり、前記プログラムは、 採譜しようとする音信号の少なくとも一部を入力し、こ
    の入力した音信号からその特性を抽出し、抽出した特性
    に応じて、該音信号を分析する際に使用する各種パラメ
    ータを設定する第1処理と、 音階判定条件を設定する第2処理と、 採譜しようとする音信号を入力し、前記第1処理で設定
    された各種パラメータを用いて該音信号の音高を判定す
    る第3処理と、 前記第2処理で設定された音階判定条件に従い、前記第
    3処理で判定した音高を該音階判定条件に従ういずれか
    の音階音に丸める第4処理とを行うことからなることを
    特徴とする記憶媒体。
  16. 【請求項16】 前記プログラムは、 音符長の判定基準として単位音符長の条件を設定する処
    理と、 入力した前記音信号から判定した音階音の音符長を、前
    記設定された単位音符長を最小単位として決定する処理
    とを更に行うことからなることを特徴とする請求項15
    に記載の記憶媒体。
JP24808799A 1998-09-01 1999-09-01 音信号分析装置、音信号分析方法及び記憶媒体 Expired - Fee Related JP3489503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24808799A JP3489503B2 (ja) 1998-09-01 1999-09-01 音信号分析装置、音信号分析方法及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP24720898 1998-09-01
JP10-247208 1998-09-01
JP24808799A JP3489503B2 (ja) 1998-09-01 1999-09-01 音信号分析装置、音信号分析方法及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2000148136A true JP2000148136A (ja) 2000-05-26
JP3489503B2 JP3489503B2 (ja) 2004-01-19

Family

ID=26538140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24808799A Expired - Fee Related JP3489503B2 (ja) 1998-09-01 1999-09-01 音信号分析装置、音信号分析方法及び記憶媒体

Country Status (1)

Country Link
JP (1) JP3489503B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122351A (ja) * 2001-10-16 2003-04-25 Yamaha Corp 音波形信号のピッチを音高に変換する装置およびプログラム
JP2007047215A (ja) * 2005-08-05 2007-02-22 Yamaha Corp 音響信号処理装置及びプログラム
JP2007140136A (ja) * 2005-11-18 2007-06-07 Mitsubishi Electric Corp 楽曲分析装置及び楽曲検索装置
JP2008259896A (ja) * 2008-08-06 2008-10-30 Nintendo Co Ltd ゲーム機用操作装置
JP2009216769A (ja) * 2008-03-07 2009-09-24 Yamaha Corp 音処理装置およびプログラム
JP2009223078A (ja) * 2008-03-18 2009-10-01 Yamaha Corp 音処理装置およびプログラム
JP2010197645A (ja) * 2009-02-25 2010-09-09 Korg Inc ノート検出装置
CN102737002A (zh) * 2011-04-15 2012-10-17 夏普株式会社 接口装置和布线基板
US8439753B2 (en) 2003-09-12 2013-05-14 Nintendo Co., Ltd Operating apparatus for game machine
US10603582B2 (en) 2016-12-27 2020-03-31 Nintendo Co., Ltd. Vibration control system, vibration control apparatus, storage medium and vibration control method
US10625150B2 (en) 2017-03-01 2020-04-21 Nintendo Co., Ltd. Game system, game apparatus, storage medium having stored therein game program, and game processing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122351A (ja) * 2001-10-16 2003-04-25 Yamaha Corp 音波形信号のピッチを音高に変換する装置およびプログラム
US8439753B2 (en) 2003-09-12 2013-05-14 Nintendo Co., Ltd Operating apparatus for game machine
US8900058B2 (en) 2003-09-12 2014-12-02 Nintendo Co., Ltd. Operating apparatus for game machine
JP2007047215A (ja) * 2005-08-05 2007-02-22 Yamaha Corp 音響信号処理装置及びプログラム
JP4655811B2 (ja) * 2005-08-05 2011-03-23 ヤマハ株式会社 音響信号処理装置及びプログラム
JP2007140136A (ja) * 2005-11-18 2007-06-07 Mitsubishi Electric Corp 楽曲分析装置及び楽曲検索装置
JP4668039B2 (ja) * 2005-11-18 2011-04-13 三菱電機株式会社 楽曲分析装置及び楽曲検索装置
JP2009216769A (ja) * 2008-03-07 2009-09-24 Yamaha Corp 音処理装置およびプログラム
JP2009223078A (ja) * 2008-03-18 2009-10-01 Yamaha Corp 音処理装置およびプログラム
JP2008259896A (ja) * 2008-08-06 2008-10-30 Nintendo Co Ltd ゲーム機用操作装置
JP2010197645A (ja) * 2009-02-25 2010-09-09 Korg Inc ノート検出装置
CN102737002A (zh) * 2011-04-15 2012-10-17 夏普株式会社 接口装置和布线基板
US10603582B2 (en) 2016-12-27 2020-03-31 Nintendo Co., Ltd. Vibration control system, vibration control apparatus, storage medium and vibration control method
US10625150B2 (en) 2017-03-01 2020-04-21 Nintendo Co., Ltd. Game system, game apparatus, storage medium having stored therein game program, and game processing method

Also Published As

Publication number Publication date
JP3489503B2 (ja) 2004-01-19

Similar Documents

Publication Publication Date Title
US7427708B2 (en) Tone color setting apparatus and method
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
US5939654A (en) Harmony generating apparatus and method of use for karaoke
US6175072B1 (en) Automatic music composing apparatus and method
EP3057090A1 (en) Technique for reproducing waveform by switching between plurality of sets of waveform data
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
JP3489503B2 (ja) 音信号分析装置、音信号分析方法及び記憶媒体
JP2002023747A (ja) 自動作曲方法と装置及び記録媒体
JP3509545B2 (ja) 演奏情報評価装置、演奏情報評価方法及び記録媒体
US7096186B2 (en) Device and method for analyzing and representing sound signals in the musical notation
JP3279204B2 (ja) 音信号分析装置及び演奏情報発生装置
JP4932614B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP3599686B2 (ja) カラオケ歌唱時に声域の限界ピッチを検出するカラオケ装置
JP2006301019A (ja) ピッチ通知装置およびプログラム
JP4614307B2 (ja) 演奏データ処理装置及びプログラム
JP3933070B2 (ja) アルペジオ生成装置及びプログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
JP3812519B2 (ja) 楽譜表示データを記憶した記憶媒体、その楽譜表示データを用いた楽譜表示装置及びプログラム
JP3752956B2 (ja) 演奏ガイド装置および演奏ガイド方法並びに演奏ガイドプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3329242B2 (ja) 演奏データ分析装置および演奏データ分析プログラムを記録した媒体
JP3494095B2 (ja) 楽音要素抽出装置及び方法並びに記憶媒体
JP3279299B2 (ja) 楽音要素抽出装置及び方法並びに記憶媒体
JPH10171475A (ja) カラオケ装置
JP4178661B2 (ja) 教示データ生成装置、及び記録媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071107

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071107

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081107

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081107

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091107

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees