JP2002268632A - フレーズ分析装置及びフレーズ分析プログラムを記録した記録媒体 - Google Patents

フレーズ分析装置及びフレーズ分析プログラムを記録した記録媒体

Info

Publication number
JP2002268632A
JP2002268632A JP2001072518A JP2001072518A JP2002268632A JP 2002268632 A JP2002268632 A JP 2002268632A JP 2001072518 A JP2001072518 A JP 2001072518A JP 2001072518 A JP2001072518 A JP 2001072518A JP 2002268632 A JP2002268632 A JP 2002268632A
Authority
JP
Japan
Prior art keywords
phrase
phrases
pitch
matching
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001072518A
Other languages
English (en)
Other versions
JP3750547B2 (ja
Inventor
Tomoyuki Funaki
知之 船木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2001072518A priority Critical patent/JP3750547B2/ja
Publication of JP2002268632A publication Critical patent/JP2002268632A/ja
Application granted granted Critical
Publication of JP3750547B2 publication Critical patent/JP3750547B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 2つのフレーズ対しても正確にマッチングを
取り、移調、フレーズの一部分の音高がに対しても比較
的正確にマッチングを取る。 【解決手段】 マッチング元フレーズを所定の単位長毎
のステップに分割する(ステップS1)。マッチング対
象フレーズを所定の単位長毎のステップに分割する(ス
テップS2)。マッチング元フレーズとマッチング対象
フレーズのそれぞれの最初の小節線を一致させ、両フレ
ーズの小節線から同じタイミングの両ステップを対応さ
せる(ステップS3)。対応させた各ステップにおける
両フレーズの音符の音程(音高差)を取り、全ステップ
で得られる音程について同音程となるステップの組数を
音程毎に合計(集計)する(ステップS4)。合計値が
最大となる音程の合計値の全体に対する割合を一致度と
して求める(ステップS5)。一致度と閾値を比較して
一致、類似、非類似を判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、2つのフレーズの
一致または不一致を判定するフレーズ間のマッチングを
取るフレーズ分析装置及びフレーズ分析プログラムを記
録した記録媒体に関する。なお、2つのフレーズの類似
度を求めることも一致または不一致を判定することに相
当するものとする。
【0002】
【従来の技術】従来、1曲の中で同じフレーズ(メロデ
ィ)部分を探して曲の構成(楽節構成等)を把握した
り、同じフレーズ部分となったフレーズを曲のアレンジ
の基本データとしたり、あるいは、指定したフレーズの
断片を含む曲を探す曲検索機能を実現するために、2つ
のフレーズのマッチングを取ることが広く行われてい
る。
【0003】従来のフレーズマッチング手法としては、
フレーズのリズムのマッチングに関して、第1に音符単
位に比較する手法、第2に所定の単位長毎に比較する手
法などがある。第1の手法は、2つのフレーズの完全一
致を見つけるのには適しているが、例えば一方のフレー
ズでは1つの四分音符のところが、他方のフレーズでは
2つの八分音符からなっているなど、微妙に譜割が異な
るような2つのフレーズのマッチングには適していな
い。すなわち、2つのフレーズの各音符についての対応
関係を見つけるのが非常に困難であり、このため、人間
が感じるような「完全には同じではないが、ほぼ同じよ
うなフレーズである」というあいまいな分析結果を得る
ことは難しい。また、正確に対応関係を見つけるには複
雑なマッチングアルゴリズムを必要とする。
【0004】一方、第2の手法は、各フレーズを八分符
長等の所定の単位長毎に分割し、両フレーズを単位長毎
に比較する手法であって、例えば上記「一方のフレーズ
は1つの四分音符で、他方のフレーズは2つの八分音
符」のような部分は共に「2つの八分音符」となるの
で、比較的簡単なアルゴリズムで微妙に譜割の異なる2
つのフレーズのマッチングを取ることができる。
【0005】また、フレーズのピッチのマッチングに関
して、第3に音高を比較する手法、第4に直前の音符や
基準音符からの音程変化を比較する手法などがある。第
3の手法は、2つのフレーズの対応する音符毎にその音
高を比較し、一致していれば同じフレーズと判断するも
のである。したがって、移調されていない2つのフレー
ズの場合はよいが、移調されていると「異なるフレー
ズ」と判定されてしまう。
【0006】また、第4の手法は、2つのフレーズの各
々について、各音符の直前の音符や基準音符からの音程
変化を求め、音程変化同士を比較するものである。例え
ば、直前の音符からの音程変化の場合、一方のフレーズ
が「C4→E4→G4→E4」と変化していれば音程変
化は「4半音→3半音→−3半音」となり、他方のフレ
ーズが「C♯4→F4→G♯4→F4」と変化していれ
ば音程変化はこちらも「4半音→3半音→−3半音」と
なり、移調されている2つのフレーズは音程変化が一致
すると判定される。また、基準音符からの音程変化の場
合、最初の音符を基準とすると、一方のフレーズ「C4
→E4→G4→E4」は「4半音→7半音→4半音」と
なり、他方のフレーズ「C♯4→F4→G♯4→F4」
も同様に「4半音→7半音→4半音」となって、移調さ
れている2つのフレーズを音程変化が一致すると判定さ
れる。
【0007】
【発明が解決しようとする課題】従来のフレーズのピッ
チのマッチングに関して言うと、上述した第3の手法で
は移調されているフレーズに対応できない。また、第4
の手法では移調されいているフレーズにも対応できるも
のの、微妙にピッチが異なる2つのフレーズに対応でき
ない。すなわち、2つのフレーズが「C4→E4→G4
→E4」と「C4→F4→G4→E4」のように1音符
だけ異なる場合、直前の音符からの音程変化を見る手法
では、「4半音→3半音→−3半音」と「5半音→2半
音→−3半音」のように1音符の違いが2箇所の音程変
化の違いとなってしまう。また、基準音符からの音程変
化を見る手法では、「C4→E4→G4→E4」と「C
♯4→E4→G4→E4」のように基準音符の1音符が
異なると、「4半音→7半音→4半音」と「3半音→6
半音→3半音」のように全く異なる判定結果となってし
まう。さらに、移調量を別途求める必要がある。
【0008】本発明は、譜割が微妙に異なる2つのフレ
ーズに対しても正確にマッチングを取ることができ、か
つ、移調されていたりあるいはフレーズの一部分だけ音
高がずれていたとしても、比較的正確にマッチングを取
れるようにすることを課題とする。
【0009】
【課題を解決するための手段】本発明の請求項1のフレ
ーズ分析装置は、比較する2つのフレーズの各々を所定
の単位長の区間に分割するフレーズ分割手段と、該分割
された2つのフレーズの対応する区間同士の音程を求
め、該音程毎の出現頻度の分布を取る分布検出手段と、
該分布のピークとなる音程の出現頻度に応じて2つのフ
レーズの一致または不一致を判定する判定手段と、を備
えたことを特徴とする。なお、この明細書で「音程」と
は2つの音の音高差のことを表現している。後述の実施
形態では「音程」の一例としてキーコードの差を用いて
いるが、音高差を定量的に表現できるものであれば何で
もよい。
【0010】本発明の請求項2のフレーズ分析装置は、
比較する2つのフレーズの各々を所定の単位長の区間に
分割するフレーズ分割手段と、該分割された2つのフレ
ーズの対応する区間同士の音程を求め、該音程毎の出現
頻度の分布を取る分布検出手段と、該分布のピークとな
る音程の出現頻度に応じて2つのフレーズの一致または
不一致を判定する判定手段と、前記分布のピークとなっ
た音程を2つのフレーズ間の移調量とする移調量設定手
段と、を備えたことを特徴とする。
【0011】本発明の請求項3フレーズ分析装置は、請
求項1または請求項2の構成を備え、前記分布検出手段
は、前記2つのフレーズの小節線を一致させて前記区間
同士の音程を求めることを特徴とする。
【0012】本発明の請求項4のフレーズ分析装置は、
請求項2の構成を備え、さらに前記2つのフレーズのう
ちの比較元フレーズの調の種類と主音が解っている場
合、前記一致と判定された比較対象フレーズの調の種類
は比較元フレーズのもとの同じとし、該一致と判定され
た比較対象フレーズの調の主音を比較元フレーズの主音
に前記移調量だけ加算した値とする調設定手段、を備え
たことを特徴とする。
【0013】本発明の請求項5の記録媒体は、比較する
2つのフレーズの各々を所定の単位長の区間に分割する
ステップと、該分割された2つのフレーズの対応する区
間同士の音程を求めるステップと、該音程毎の出現頻度
の分布を取るステップと、該分布のピークとなる音程の
出現頻度に応じて2つのフレーズの一致または不一致を
判定するステップと、をコンピュータで実行するフレー
ズ分析プログラムを記録したものである。
【0014】本発明の請求項6の記録媒体は、比較する
2つのフレーズの各々を所定の単位長の区間に分割する
ステップと、該分割された2つのフレーズの対応する区
間同士の音程を求めるステップと、該音程毎の出現頻度
の分布を取るステップと、該分布のピークとなる音程の
出現頻度に応じて2つのフレーズの一致または不一致を
判定するステップと、前記分布のピークとなった音程を
2つのフレーズ間の移調量とするステップと、をコンピ
ュータで実行するフレーズ分析プログラムを記録したも
のである。
【0015】本発明の請求項7の記録媒体は、請求項5
または請求項6の構成を備え、前記音程を求めるステッ
プは、前記2つのフレーズの小節線を一致させて前記区
間同士の音程を求めることを特徴とするフレーズ分析プ
ログラムを記録したものである。
【0016】本発明の請求項8の記録媒体は、請求項6
の構成を備え、さらに前記2つのフレーズのうちの比較
元フレーズの調の種類と主音が解っている場合、前記一
致と判定された比較対象フレーズの調の種類を比較元フ
レーズのもとの同じとし、該一致と判定された比較対象
フレーズの調の主音を比較元フレーズの主音に前記移調
量だけ加算した値とするステップを有することを特徴と
するフレーズ分析プログラムを記録したものである。
【0017】請求項1のフレーズ分析装置によれば、所
定の単位長で分割された2つのフレーズの対応する区間
同士の音程を求め、該音程毎の出現頻度の分布を取り、
この分布のピークとなる音程の出現頻度に応じて2つの
フレーズの一致または不一致を判定するので、2つのフ
レーズの全体的な音高の違い(出現頻度がピークである
音程)をもを考慮しているので、譜割が微妙に異なる2
つのフレーズに対しても正確にマッチングを取ることが
でき、かつ、移調されていたりあるいはフレーズの一部
分だけ音高がずれていたとしても、比較的正確にマッチ
ングを取ることができる。
【0018】請求項2のフレーズ分析装置によれば、請
求項1と同様な作用効果が得られるとともに、分布のピ
ークとなった音程を2つのフレーズ間の移調量とするの
で、適正な移調量を得ることができる。
【0019】請求項3のフレーズ分析装置によれば、請
求項1または請求項2と同様な作用効果が得られるとと
もに、2つのフレーズの小節線を一致させて区間同士の
音程を求めるので、小節線を考慮したマッチングを行う
ことができる。
【0020】請求項4のフレーズ分析装置によれば、請
求項2と同様な作用効果が得られるとともに、比較元フ
レーズの調の種類と主音が解っている場合、比較対照フ
レーズの調の種類と適正な主音を決定することができ
る。
【0021】本発明の請求項5〜請求項8の各記録媒体
は、請求項1〜請求項4のフレーズ分析装置にそれぞれ
対応するフレーズ分析プログラムを記録したものであ
り、各フレーズ分析プログラムの実行により、対応する
各請求項と同様な作用効果が得られる。
【0022】
【発明の実施の形態】以下、図面を参照して本発明の一
実施の形態について説明する。図7は本発明を適用した
電子楽器のブロック図であり、CPU1はROM2に格
納されている制御プログラムに基づいてRAM3のワー
キングエリアを使用して電子楽器全体の制御を行う。通
常の電子楽器の基本的な機能として、CPU1は検出回
路4aから鍵盤等の演奏操作子4の操作イベントを検出
してマニュアル演奏の制御を行う。さらに、検出回路5
aからスイッチ等のパネル操作子5の操作イベントを検
出し各種スイッチの操作に応じた処理を行う。また、C
PU1は表示回路6aを介して表示器等からなるディス
プレイ6の制御を行う。
【0023】タイマ7は自動演奏処理等を行うための割
込み信号を発生する回路である。音源回路8は、CPU
1から設定されるキーコード、音色データ、音量データ
などに応じて楽音信号を発生し、効果回路9は、CPU
1から設定される設定内容に応じた効果を楽音信号に付
加し、それをサウンドシステム10に出力する。サウン
ドシステム10はD/A変換や増幅等を行ってスピーカ
ーで発音する。
【0024】外部記憶装置11はハードディスク装置
(HDD)、フロッピィディスク装置(FDD)、CD
−ROM装置、光磁気ディスク(MO)装置、デジタル
多目的ディスク(DVD)装置等であり、例えばこの外
部記憶装置11から本発明のフレーズ分析プログラムや
演奏データを供給したり、各種データを保存するために
用いられる。また、MIDIインターフェース12は他
のMIDI機器20との間で各種データの授受を行うも
のであり、本発明のフレーズ分析プログラムや演奏デー
タなどを他のMIDI機器20との間で授受することが
できる。さらに、通信インターフェース13を介して通
信ネットワーク30に接続し、サーバコンピュータ40
から本発明のフレーズ分析プログラムや演奏データなど
の各種データの配信を受けるようにすることもできる。
【0025】なお、この実施形態では、フレーズ分析プ
ログラムは制御プログラムの一部としてROM2に格納
されているものとする。
【0026】図1〜図4はCPU1が実行する制御プロ
グラムの要部を示すフローチャートであり、各フローチ
ャートに基づいてCPU1の制御動作について説明す
る。図1はフレーズ分析プログラムとしてのマッチング
処理のフローチャートである。このマッチング処理は後
述の図2〜図4の各種処理に利用されるサブルーチンの
処理であり、この処理が起動される前に、分析の基準と
なる比較元フレーズ(以後、「マッチング元フレーズ」
という。)と、分析対象とする演奏データにおける比較
対象フレーズ(以後、「マッチング対象フレーズ」とい
う。)とが、それぞれ設定されている。
【0027】先ず、ステップS1で、マッチング元フレ
ーズを所定の単位長毎のステップに分割し、ステップS
2でマッチング対象フレーズを同じく所定の単位長毎の
ステップに分割する。これらの分割処理では、所定の単
位長とは例えば八分音符単位など予め設定された長さで
あり、フレーズの演奏データに含まれるタイミングデー
タ(演奏データの形式に応じて決まるタイミング)や小
節マークデータ等により小節線の位置を検出し、その小
節線の位置を基準に例えば八分音符長に相当するクロッ
ク数毎にフレーズの演奏データを分割する。そして、各
分割された演奏データの音高を各ステップに対応付けて
記憶するなどの処理を行う。
【0028】具体的には、単位長毎の各ステップに対応
する各記憶領域を設け、各記憶領域に対応する音符の音
高のデータ(例えばキーコード)を記憶することで、各
ステップに音高を付与する。このとき、例えば四分音符
を八分音符で分割すると、この四分音符に対応する前後
2つのステップに分割されるが、前後各ステップにその
四分音符の音高を付与する。このことはフレーズを単位
長の音符に分解したフレーズに変換することにも相当す
る。
【0029】なお、マッチング元フレーズ、マッチング
対象フレーズは、休符を含む場合、その休符長を直前の
音符の音符長に加算して休符を削除したものを使うこと
が望ましい。また、マッチング元フレーズの演奏データ
とマッチング対象フレーズの演奏データの形式(フォー
マット)が異なっている場合は、前処理でそれぞれ同じ
形式となるように変換するとよい。
【0030】フレーズの分割が終了すると、ステップS
3で、マッチング元フレーズとマッチング対象フレーズ
のそれぞれの最初の小節線を一致させ、両フレーズのこ
の小節線から同じタイミングの両ステップを対応させ
る。次に、ステップS4で、対応させた各ステップにお
ける両フレーズの音符の音程(音高差)を取り、全ステ
ップで得られる音程について同音程となるステップの組
数を音程毎に合計(集計)する。すなわち、あるステッ
プでは音程=−1音半、あるステップでは音程=−1
音、あるステップでは音程=−半音、あるステップでは
音程=同音、あるステップでは音程=半音、あるステッ
プでは音程=1音、あるステップでは音程=1音半、…
のように、各ステップでの両フレーズの音符の音程を求
め、これらの音程のうち同じ音程であるステップの数を
その音程の合計値とする。そして、ステップS5で、合
計値が最大となる音程の合計値の、全体(全合計値の合
計)に対する割合を一致度として求め、元のルーチンに
復帰する。
【0031】なお、マッチング元フレーズとマッチング
対象フレーズとの長さが異なっていたり、両フレーズ内
での小節線の位置が異なる場合もあるので、ステップ3
の処理でステップの対応付けを行う場合、次のようにす
る。例えば図5のaのようなマッチング元フレーズとb
のようなマッチング対象フレーズの場合、ステップを対
応付けるマッチング区間としてc〜fいずれかのように
する。cの例は、マッチング対象フレーズの先頭からマ
ッチング元フレーズの最後までをマッチング区間とした
例である。すなわち、両フレーズに共通する区間すべて
をマッチング区間としている。また、dの例は、マッチ
ング対象フレーズの先頭から両フレーズに共通な最後の
小節線までをマッチング区間とした例である。すなわ
ち、両フレーズに共通な区間のうちの最後の小節線の前
までをマッチング区間としている。また、eの例は、両
フレーズに共通な最初の小節線からマッチング元フレー
ズの最後までをマッチング区間とした例である。すなわ
ち、両フレーズに共通な区間のうち最初の小節線以降を
マッチング区間としている。また、fの例は、両フレー
ズに共通な区間のうちの最初の小節線から最後の小節線
までをマッチング区間とした例である。
【0032】このように、フレーズのマッチングは、両
フレーズの小節線が一致するようにして行い、両フレー
ズ先頭や最後の位置がずれていてもよく、その場合、ず
れているところは比較対象としない。また、両フレーズ
の長さが異なっていてもよく、その場合、短いフレーズ
の終わりまで、あるいは短いフレーズよりもさらに短い
所定長(例えば2小節等)のみ、マッチング区間とすれ
ばよい。
【0033】以上のマッチング処理により、同じ音程で
あるステップの数の各合計値のうち合計値が最大となる
音程(以後、「最大頻度音程」という。)がどのような
音程であっても、一致度が高ければ、マッチング対象フ
レーズはマッチング元フレーズにメロディラインが近似
(あるいは一致)しており、その最大頻度音程を両フレ
ーズ間の調の主音の差(移調量)とみなすことができ
る。また、最大頻度音程が同音であれば、主音も同じと
みなすことができる。
【0034】図2は上記マッチング処理を利用した曲構
造解析処理のフローチャートであり、ステップS11
で、分析対象とする演奏データを所定のアルゴリズムに
したがって、あるいはユーザの指示によりフレーズに分
割する。次に、ステップS12で、マッチング元フレー
ズ(例えば先頭フレーズ)とマッチング対象フレーズ
(例えば第2フレーズ)を設定し、ステップS13で図
1のマッチング処理を行う。マッチング処理が終了する
と前記一致度が求められるので、ステップS14で一致
度を判定する。判定の結果、一致度が所定の閾値未満で
あれば、ステップS15で両フレーズを非類似とみなし
てステップS18に進む。一致度が所定の閾値以上であ
れば、ステップS16で両フレーズを類似とみなしてス
テップS18に進む。一致度が100%であれば、ステ
ップS17で両フレーズを一致とみなしてステップS1
8に進む。
【0035】ステップS18では、マッチング対象フレ
ーズに対して、一致状態、類似状態または非類似状態の
判定結果を決定して記憶する。このとき、一致または類
似の場合には、マッチング元フレーズに調が設定あるい
は検出されている場合には、マッチング対象フレーズの
調の種類(長調または短調)をマッチング元フレーズの
調の種類と同一とし、マッチング対象フレーズの調の主
音を前記移調量(最大頻度音程)だけシフトしたものと
する。なお、移調量が1オクターブを越える場合は、移
調量を12で割った余りだけシフトしたものとする。ま
た、調が設定あるいは検出されていない場合は、単に移
調量を設定するだけとする。
【0036】次に、ステップS19で、演奏データの最
後のフレーズまで、マッチング元フレーズとして設定し
終えたか否かを判定し、NOであればステップS20で
次のマッチング元フレーズ(例えば先頭フレーズのま
ま)とマッチング対象フレーズ(例えば第3フレーズ)
を設定し、ステップS13に進む。このとき、マッチン
グ元フレーズは固定しておき、マッチング対象フレーズ
を1つずつ後ろにずらしていき、マッチング対象フレー
ズが最後のフレーズまで達したら、マッチング元フレー
ズを1つ後ろのフレーズに設定する。これを、マッチン
グ元フレーズが最後のフレーズに達するまで繰り返す。
また、ステップS19で、YESであれば、処理を終了
する。
【0037】以上の曲構造解析処理では、演奏データを
複数のフレーズに分割し、ステップS12及びステップ
S20のマッチング元フレーズとマッチング対象フレー
ズの設定処理により、基本的には任意のフレーズをマッ
チング元フレーズとするとともにその他のフレーズをマ
ッチング対象フレーズとしてマッチング処理を行い、こ
の処理を全てのフレーズをマッチング元フレーズの対象
として実行する。ただし、一度「他のフレーズと一致ま
たは類似」と決定されたフレーズは、マッチング元フレ
ーズには設定しないで、「非類似」と決定されたフレー
ズのみを新たなマッチング元フレーズとして設定するも
のとする。
【0038】以上のように曲構造解析処理により、演奏
データ中の各フレーズ間で、一致するフレーズの有無、
類似するフレーズの有無とその移調量または調の主音、
非類似のフレーズの有無を解析することができる。
【0039】図3はマッチング処理を利用した楽節先頭
決定処理のフローチャートであり、ステップS21で、
分析対象とする演奏データを所定のアルゴリズムにした
がって、あるいはユーザの指示によりフレーズに分割す
る。次に、ステップS22で曲の先頭のフレーズをマッ
チング元フレーズに設定してステップS23に進む。ス
テップS23では、次のフレーズをマッチング対象フレ
ーズに設定し、ステップS24で図1のマッチング処理
を行う。
【0040】マッチング処理が終了すると前記一致度が
求められるので、ステップS25で一致度は所定の閾値
以上か否かを判定し、一致度が閾値以上でなければステ
ップS23に戻り、一致度が閾値以上であればステップ
S26で、マッチング対象フレーズを楽節の先頭のフレ
ーズの1つに設定し、ステップS27に進む。ステップ
S27では、演奏データの最後のフレーズまで、マッチ
ング対象フレーズとして設定し終えたか否かを判定し、
NOであればステップS23に戻り、YESであれば、
処理を終了する。
【0041】以上の楽節先頭決定処理により、演奏デー
タの曲を構成する各楽節の先頭のフレーズ(楽節の先頭
位置)の少なくとも一部を決定することができる。すな
わち、曲の先頭フレーズ(第1楽節の最初のフレーズ)
と一致または類似するフレーズは、楽節の先頭のフレー
ズの1つとみなせるので、複数のフレーズのうち、楽節
先頭となりうるフレーズを決定することができる。な
お、以上の処理では、曲の先頭フレーズと一致または類
似するフレーズのみを検出してそれを楽節の先頭フレー
ズの1つとしているが、ユーザにより指定あるいは所定
のアルゴリズムにしたがって自動検出された楽節の先頭
フレーズがある場合、そのフレーズと一致または類似す
るフレーズを検出して、楽節の先頭フレーズの1つを決
定するようにしてもよい。
【0042】図4はマッチング処理を利用した曲検索処
理のフローチャートであり、この曲検索処理は、ネット
ワーク上のサーバ、他のパーソナルコンピュータ、他の
電子楽器、あるいは当該電子楽器の外部記憶装置11な
ど、各種の記憶装置に構築された曲データベースから曲
を検索するための処理である。例えば、曲の一部のフレ
ーズを知っているが、何という曲であったかあるいはど
のような曲であったかが解らず、それ検索したいという
ときなどに利用することができる。
【0043】先ず、ステップS31で、検索したい曲の
一部のフレーズをマッチング元フレーズとして入力す
る。このマッチング元フレーズの入力はどのような方式
でもよい。例えば、鍵盤等の演奏操作子でリアルタイム
演奏して入力したり、鼻歌等の音声を入力してこれを分
析して音符データに変換するなどがある。次に、ステッ
プS32で、曲データベース中の最初の曲をマッチング
対象曲に設定し、ステップS33に進む。
【0044】ステップS33では、フレーズ単位または
小節単位でマッチング位置をずらしながら(すなわちマ
ッチング対象フレーズを更新しながら)前記図1のマッ
チング処理により、マッチング元フレーズとマッチング
対象フレーズの一致、類似または非類似の判定を行う。
そして、マッチング対象曲全体についてマッチング処理
を行う。
【0045】次に、ステップS34で、マッチング対象
曲の全フレーズの一致度のうち、最大の一致度をそのマ
ッチング対象曲の一致度(以後、「曲一致度」とい
う。)とし、その曲一致度が所定の閾値以上であるか否
かを判定する。曲一致度が閾値以上でなければステップ
S36に進み、曲一致度が閾値以上であれば、ステップ
S35で、そのマッチング対象曲をマッチした曲のリス
トに追加し、ステップS36に進む。ステップS36で
は曲データベース中の全曲について終了したか否かを判
定し、全曲終了していなければ、ステップS37で曲デ
ータベース中の次の曲をマッチング対象曲に設定してス
テップS33に戻り、全曲終了していればステップS3
8でマッチした曲のリストを提示して処理を終了する。
【0046】なお、ステップS38で曲のリストを提示
する際には、曲目、演奏(歌唱)者、作曲者、作詞者
(歌詞があれば)等のうちの少なくとも1つを表示す
る。これにあわせて、各曲の演奏データあるいはその一
部を再生してもよい。また、楽譜を表示してもよい。さ
らに、例えばテレビ番組の「○○主題歌」「○○のCM
ソング」など関連情報を表示してもよい。
【0047】また、曲一致度が閾値以上の全ての曲を提
示せずに、そのうちの最も曲一致度の高い曲を1ないし
複数曲提示してもよいし、曲一致度に応じてある程度絞
り込んで曲を提示するようにしてもよい。
【0048】図6はマッチング元フレーズとマッチング
対象フレーズの一例を示す図であり、例えば、a.のフ
レーズ1をマッチング元フレーズ、b.のフレーズ2を
マッチング対象フレーズとする。この例ではフレーズ1
とフレーズ2は一致はしないが、全体的なメロディライ
ンやリズムも似ており、類似と判定するのが妥当な例で
ある。以下、この例についての実施形態の処理過程とそ
の結果の具体例を概説すると次のようになる。
【0049】フレーズ1とフレーズ2をそれぞれ八分音
符単位でステップ分けし、各ステップに対応する音符を
調べると、各ステップにおけるピッチ(音高:キーコー
ド)は次表1の上段と中段のようになることが判る。そ
して、各ステップにおけるフレーズ1とフレーズ2の音
程(音高差)は次表1の下段のようになる。
【0050】
【表1】
【0051】例えば、フレーズ1におけるステップ番号
2のステップは、最初の「中央ハ」の四分音符の後半の
八分音符長の部分に相当するのでこのステップのピッチ
はステップ番号1と同じで“60”となる。
【0052】そして、全ステップについて同じ音程とな
るステップの数を集計すると、その合計数は次表2のよ
うになり、音程“2”の合計数が“18”となって最も
多くなっている。
【0053】
【表2】
【0054】したがって、この例では、移調量は“2”
とする。また、全体(全ステップ数=24)に対する音
程“2”の合計数の割合(=一致度)は、18/24=
75%となる。したがって、例えば「類似」とみなす閾
値を75%とすると、フレーズ1とフレーズ2は「類
似」とみなせる。なお、この実施形態では、同じ音程と
なるステップの数を集計することが「音程毎の出現頻度
の分布を取ること」に相当し、合計数の最も多い合計数
の割合(一致度)から「一致」「類似」「非類似」を判
定することが、「2つのフレーズの一致または不一致を
判定すること」に相当する。
【0055】なお、ここで、実施形態との比較のために
図6のフレーズについて従来のマッチング処理を行った
例について説明する。第1従来例は、八分音符単位でス
テップ分けして前後の音符(ステップ)との音程をとる
方法であり、処理結果は次表3のようになる。
【0056】
【表3】
【0057】このうち、例えばステップ2番,4番,…
のようにフレーズ1とフレーズ2で音程が一致するステ
ップの数(一致数)は“15”となり、ステップ3番,
8番,…のように音程が一致しないステップの数(不一
致数)は“8”となる。そこで、一致数の全体(一致数
+不一致数)に対する割合を一致度とすると、一致度は
15/23=65.2%となり、「類似」とみなす閾値
を75%とすると、フレーズ1とフレーズ2は「類似」
とみなせなくなる。これは不一致音符(ステップ)の前
と後の2箇所で不一致として計数されるからである。ま
た、仮に一致または類似とみなせたとしても、移調量は
別途求める必要がある。
【0058】また、第2従来例は、八分音符単位でステ
ップ分けして基準音符からの音程をとる方法であり、処
理結果は次表4のようになる。
【0059】
【表4】
【0060】この場合、前記同様な一致数は“2”(ス
テップ2番,8番)となり、不一致数は“21”(ステ
ップ1番,2番,8番以外)となる。そして、前記同様
な一致度は、、一致度は2/23=8.7%となり、
「類似」とみなす閾値を75%とすると、フレーズ1と
フレーズ2は「類似」とみなせなくなる。これは先頭の
音符がずれていることによる。この例でも、仮に一致ま
たは類似とみなせたとしても、移調量は別途求める必要
がある。
【0061】以上のように、本発明によれば上記従来例
よりも判定確度が高いことが判る。また、本発明によれ
ば移調量も同時に判定することができる。
【0062】なお、ステップ分けする際の所定長は、固
定であってもよいし、可変であってもよい。可変の場合
には、ユーザが設定できるようにしてもよいし、曲デー
タを分析して自動決定するようにしてもよい。この自動
決定の場合は、例えば、最短音符長を所定長としたり、
平均音符長を求めて、それよりも短い所定音符長とする
などがある。
【0063】また、類似判定する際の閾値は、固定であ
ってもよいし、可変であってもよい。可変の場合には、
ユーザが設定できるようにしてもよいし、用途に応じて
自動的に設定してもよい。例えば、ある程度厳密なマッ
チングが必要な曲構造解析の場合は75%とし、入力す
るフレーズを間違える可能性のある曲検索の場合は60
%とするなどがある。
【0064】また、実施形態ではマッチング区間の例と
して図5に4つの例を示したが、何れか固定であっても
よいし、複数例の中から選択可能としてもよい。選択す
る場合は、ユーザが選択できるようにしてもよいし、用
途に応じて自動選択してもよい。例えば、ある程度厳密
なマッチングが必要な曲構造解析では長い区間を選択
し、大量の曲データとのマッチングを取らなければなら
ない曲検索では短い区間を選択するなどがある。
【0065】曲データのフォーマットは、演奏イベント
の発生時刻を1つ前のイベントからの時間で表した「イ
ベント+相対時間」、演奏イベントの発生時刻を曲内や
小節内における絶対時間で表した「イベント+絶対時
間」、音符の音高と符長あるいは休符と休符長で表した
「音高(休符)+符長」、演奏の最小分解能毎にメモリ
の領域を確保し、演奏イベントの発生する時刻に対応す
るメモリ領域に演奏イベントを記憶した「ベタ方式」
等、どのような形式でもよい。
【0066】また、メモリ上において、時系列の演奏デ
ータが連続する領域に記憶されていてもよいし、飛び飛
びの領域に散在して記憶されているデータを、連続する
データとして別途管理するようにしてもよい。すなわ
ち、時系列的に連続するデータとして管理することがで
きればよく、メモリ上で連続して記憶されているか否か
は問題ではない。
【0067】実施形態では本発明を電子楽器に適用した
例を示したが、パーソナルコンピュータとソフトウエア
により、実施形態と同様な処理を行って、フレーズ分析
装置を構築したりフレーズ分析方法を実施することがで
きる。また、ネットワークを利用してフレーズ分析方プ
ログラムを実行してもよい。ネットワークを利用する場
合、ユーザの入力処理等はそのネットワークに接続する
パーソナルコンピュータや電子楽器から行い、サーバ側
で前記各種の処理を行って、その処理の結果をパーソナ
ルコンピュータや電子楽器に送信し出力するようにして
もよい。
【0068】また、本発明は、カラオケ装置や、ゲーム
装置、携帯電話等の携帯型通信端末、自動演奏ピアノに
適用してもよい。携帯型通信端末に適用した場合、端末
のみで所定の機能が完結している場合に限らず、前記の
ように機能の一部をサーバ側に持たせ、端末とサーバと
からなるシステム全体として本発明の所定の機能を実現
するようにしてもよい。また、フレーズ分析プログラム
や処理に利用する各種データを外部記憶媒体から、ある
いは通信インターフェースを介して外部装置から電子楽
器やパーソナルコンピュータに供給してもよい。通信イ
ンターフェース及び通信ネットワークは、有線のものに
限らず無線でもよい。また無線及び有線の双方を備えて
いてもよい。
【0069】また、演奏データ等の通信には、専用のM
IDIインターフェースに限らず、RS−232C、U
SB(ユニバーサル・シリアル・バス)、IEEE13
94(アイトリプルイー1394)等の汎用のインター
フェースを用いて、MIDIインターフェースを構成し
てもよい。この場合、MIDIメッセージ以外のデータ
をも同時に送受信するようにしてもよい。
【0070】
【発明の効果】請求項1のフレーズ分析装置または請求
項5の記録媒体に記録されたフレーズ分析プログラムの
実行によれば、譜割が微妙に異なる2つのフレーズに対
しても正確にマッチングを取ることができ、かつ、移調
されていたりあるいはフレーズの一部分だけ音高がずれ
ていたとしても、比較的正確にマッチングを取ることが
できる。
【0071】請求項2のフレーズ分析装置または請求項
6の記録媒体に記録されたフレーズ分析プログラムの実
行によれば、請求項1と同様な効果が得られるととも
に、分布のピークとなった音程を2つのフレーズ間の移
調量とするので、適正な移調量を得ることができる。
【0072】請求項3のフレーズ分析装置または請求項
7の記録媒体に記録されたフレーズ分析プログラムの実
行によれば、請求項1または請求項2と同様な効果が得
られるとともに、2つのフレーズの小節線を一致させて
区間同士の音程を求めるので、小節線を考慮したマッチ
ングを行うことができる。
【0073】請求項4のフレーズ分析装置または請求項
8の記録媒体に記録されたフレーズ分析プログラムの実
行によれば、請求項2と同様な効果が得られるととも
に、比較元フレーズの調の種類と主音が解っている場
合、比較対照フレーズの調の種類と適正な主音を決定す
ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態におけるマッチング処理のフ
ローチャートである。
【図2】本発明の実施形態における曲構造解析処理のフ
ローチャートである。
【図3】本発明の実施形態における楽節先頭決定処理の
フローチャートである。
【図4】本発明の実施形態における曲検索処理のフロー
チャートである。
【図5】本発明の実施形態におけるマッチング区間の例
を示す図である。
【図6】本発明の実施形態におけるマッチング元フレー
ズとマッチング対象フレーズの一例を示す図である。
【図7】本発明を適用した実施形態の電子楽器のブロッ
ク図である。
【符号の説明】
1…CPU、2…ROM、3…RAM、11…外部記憶
装置

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 比較する2つのフレーズの各々を所定の
    単位長の区間に分割するフレーズ分割手段と、 該分割された2つのフレーズの対応する区間同士の音程
    を求め、該音程毎の出現頻度の分布を取る分布検出手段
    と、 該分布のピークとなる音程の出現頻度に応じて2つのフ
    レーズの一致または不一致を判定する判定手段と、を備
    えたことを特徴とするフレーズ分析装置。
  2. 【請求項2】 比較する2つのフレーズの各々を所定の
    単位長の区間に分割するフレーズ分割手段と、 該分割された2つのフレーズの対応する区間同士の音程
    を求め、該音程毎の出現頻度の分布を取る分布検出手段
    と、 該分布のピークとなる音程の出現頻度に応じて2つのフ
    レーズの一致または不一致を判定する判定手段と、 前記分布のピークとなった音程を2つのフレーズ間の移
    調量とする移調量設定手段と、を備えたことを特徴とす
    るフレーズ分析装置。
  3. 【請求項3】 前記分布検出手段は、前記2つのフレー
    ズの小節線を一致させて前記区間同士の音程を求めるこ
    とを特徴とする請求項1または請求項2記載のフレーズ
    分析装置。
  4. 【請求項4】 さらに前記2つのフレーズのうちの比較
    元フレーズの調の種類と主音が解っている場合、前記一
    致と判定された比較対象フレーズの調の種類は比較元フ
    レーズのもとの同じとし、該一致と判定された比較対象
    フレーズの調の主音を比較元フレーズの主音に前記移調
    量だけ加算した値とする調設定手段、を備えたことを特
    徴とする請求項2記載のフレーズ分析装置。
  5. 【請求項5】 比較する2つのフレーズの各々を所定の
    単位長の区間に分割するステップと、 該分割された2つのフレーズの対応する区間同士の音程
    を求めるステップと、 該音程毎の出現頻度の分布を取るステップと、 該分布のピークとなる音程の出現頻度に応じて2つのフ
    レーズの一致または不一致を判定するステップと、 をコンピュータで実行するフレーズ分析プログラムを記
    録した記録媒体。
  6. 【請求項6】 比較する2つのフレーズの各々を所定の
    単位長の区間に分割するステップと、 該分割された2つのフレーズの対応する区間同士の音程
    を求めるステップと、 該音程毎の出現頻度の分布を取るステップと、 該分布のピークとなる音程の出現頻度に応じて2つのフ
    レーズの一致または不一致を判定するステップと、 前記分布のピークとなった音程を2つのフレーズ間の移
    調量とするステップと、をコンピュータで実行するフレ
    ーズ分析プログラムを記録した記録媒体。
  7. 【請求項7】 前記音程を求めるステップは、前記2つ
    のフレーズの小節線を一致させて前記区間同士の音程を
    求めることを特徴とする請求項5または請求項6記載の
    フレーズ分析プログラムを記録した記録媒体。
  8. 【請求項8】 さらに前記2つのフレーズのうちの比較
    元フレーズの調の種類と主音が解っている場合、前記一
    致と判定された比較対象フレーズの調の種類を比較元フ
    レーズのもとの同じとし、該一致と判定された比較対象
    フレーズの調の主音を比較元フレーズの主音に前記移調
    量だけ加算した値とするステップを有することを特徴と
    する請求項6記載のフレーズ分析プログラムを記録した
    記録媒体。
JP2001072518A 2001-03-14 2001-03-14 フレーズ分析装置及びフレーズ分析プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3750547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001072518A JP3750547B2 (ja) 2001-03-14 2001-03-14 フレーズ分析装置及びフレーズ分析プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001072518A JP3750547B2 (ja) 2001-03-14 2001-03-14 フレーズ分析装置及びフレーズ分析プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002268632A true JP2002268632A (ja) 2002-09-20
JP3750547B2 JP3750547B2 (ja) 2006-03-01

Family

ID=18930088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001072518A Expired - Fee Related JP3750547B2 (ja) 2001-03-14 2001-03-14 フレーズ分析装置及びフレーズ分析プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3750547B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007200218A (ja) * 2006-01-30 2007-08-09 Yamaha Corp 電子音楽装置及びプログラム
JP2007316692A (ja) * 2006-05-23 2007-12-06 Nec System Technologies Ltd メロディ検索装置及びこれに対する入力装置並びにメロディ検索方法
JP2008116870A (ja) * 2006-11-08 2008-05-22 Casio Comput Co Ltd 楽曲構造分析装置および楽曲構造分析処理プログラム
JP2008129032A (ja) * 2006-11-16 2008-06-05 Casio Comput Co Ltd 練習手順生成装置および練習手順生成処理プログラム
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
JP2010531464A (ja) * 2007-06-25 2010-09-24 ソニー エリクソン モバイル コミュニケーションズ, エービー 電子装置を用いて複数のソングを自動的にビートミックスするシステム及び方法
JP2011138153A (ja) * 2011-02-18 2011-07-14 Casio Computer Co Ltd 楽曲構造分析装置および楽曲構造分析処理プログラム
KR101424974B1 (ko) * 2008-03-17 2014-08-04 삼성전자주식회사 복수의 반복되는 부분들을 가진 음악 데이터의 첫 번째부분만을 재생하는 방법 및 장치
JP2014178396A (ja) * 2013-03-14 2014-09-25 Casio Comput Co Ltd 和音選択装置、この和音選択装置を用いた自動伴奏装置および自動伴奏プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273976A (ja) * 1992-03-25 1993-10-22 Yamaha Corp 演奏データの調検出装置
JPH08292762A (ja) * 1995-04-24 1996-11-05 Yamaha Corp 音楽情報分析装置
JPH08305364A (ja) * 1995-05-02 1996-11-22 Yamaha Corp 音楽情報分析装置
JPH1165565A (ja) * 1997-08-11 1999-03-09 Yamaha Corp 楽音再生装置および楽音再生制御プログラム記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05273976A (ja) * 1992-03-25 1993-10-22 Yamaha Corp 演奏データの調検出装置
JPH08292762A (ja) * 1995-04-24 1996-11-05 Yamaha Corp 音楽情報分析装置
JPH08305364A (ja) * 1995-05-02 1996-11-22 Yamaha Corp 音楽情報分析装置
JPH1165565A (ja) * 1997-08-11 1999-03-09 Yamaha Corp 楽音再生装置および楽音再生制御プログラム記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007200218A (ja) * 2006-01-30 2007-08-09 Yamaha Corp 電子音楽装置及びプログラム
JP2007316692A (ja) * 2006-05-23 2007-12-06 Nec System Technologies Ltd メロディ検索装置及びこれに対する入力装置並びにメロディ検索方法
JP2008116870A (ja) * 2006-11-08 2008-05-22 Casio Comput Co Ltd 楽曲構造分析装置および楽曲構造分析処理プログラム
JP2008129032A (ja) * 2006-11-16 2008-06-05 Casio Comput Co Ltd 練習手順生成装置および練習手順生成処理プログラム
JP4742288B2 (ja) * 2006-11-16 2011-08-10 カシオ計算機株式会社 練習手順生成装置および練習手順生成処理プログラム
JP2010531464A (ja) * 2007-06-25 2010-09-24 ソニー エリクソン モバイル コミュニケーションズ, エービー 電子装置を用いて複数のソングを自動的にビートミックスするシステム及び方法
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
KR101424974B1 (ko) * 2008-03-17 2014-08-04 삼성전자주식회사 복수의 반복되는 부분들을 가진 음악 데이터의 첫 번째부분만을 재생하는 방법 및 장치
JP2011138153A (ja) * 2011-02-18 2011-07-14 Casio Computer Co Ltd 楽曲構造分析装置および楽曲構造分析処理プログラム
JP2014178396A (ja) * 2013-03-14 2014-09-25 Casio Comput Co Ltd 和音選択装置、この和音選択装置を用いた自動伴奏装置および自動伴奏プログラム

Also Published As

Publication number Publication date
JP3750547B2 (ja) 2006-03-01

Similar Documents

Publication Publication Date Title
JP3704980B2 (ja) 自動作曲装置と記録媒体
JPWO2012074070A1 (ja) リズムパターンの類似度に基づく楽音データの検索
JP2014044386A (ja) 音データ処理装置及びプログラム
JP2000514571A (ja) 自動即興演奏システム及び方法
JP3528654B2 (ja) メロディ生成装置及びリズム生成装置と記録媒体
US8492636B2 (en) Chord detection apparatus, chord detection method, and program therefor
US6100462A (en) Apparatus and method for generating melody
JP2002023747A (ja) 自動作曲方法と装置及び記録媒体
JP3750547B2 (ja) フレーズ分析装置及びフレーズ分析プログラムを記録したコンピュータ読み取り可能な記録媒体
CN110867174A (zh) 自动混音装置
JP2007140165A (ja) カラオケ装置およびカラオケ装置用プログラム
JP5879996B2 (ja) 音信号生成装置及びプログラム
JP3633335B2 (ja) 楽曲生成装置および楽曲生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6315677B2 (ja) 演奏装置及びプログラム
JP3724347B2 (ja) 自動作曲装置及び方法並びに記憶媒体
JP3582315B2 (ja) 練習支援装置、練習支援方法および記憶媒体
JP3879524B2 (ja) 波形生成方法、演奏データ処理方法および波形選択装置
JPH11249674A (ja) カラオケ装置における歌唱採点方式
JP2000112472A (ja) 自動作曲装置と記録媒体
JP2016161900A (ja) 音楽データ検索装置及び音楽データ検索プログラム
JP3752859B2 (ja) 自動作曲装置と記録媒体
JP3704901B2 (ja) 自動演奏装置、自動演奏方法及び記録媒体
JP3835131B2 (ja) 自動作曲装置及び方法並びに記憶媒体
JP3807333B2 (ja) メロディ検索装置およびメロディ検索プログラム
JP3777976B2 (ja) 演奏情報解析装置及び記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050816

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131216

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees