JP2002123287A - 音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体 - Google Patents

音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体

Info

Publication number
JP2002123287A
JP2002123287A JP2000312774A JP2000312774A JP2002123287A JP 2002123287 A JP2002123287 A JP 2002123287A JP 2000312774 A JP2000312774 A JP 2000312774A JP 2000312774 A JP2000312774 A JP 2000312774A JP 2002123287 A JP2002123287 A JP 2002123287A
Authority
JP
Japan
Prior art keywords
music
feature
information
music information
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000312774A
Other languages
English (en)
Other versions
JP3612272B2 (ja
Inventor
Naoko Kosugi
尚子 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000312774A priority Critical patent/JP3612272B2/ja
Publication of JP2002123287A publication Critical patent/JP2002123287A/ja
Application granted granted Critical
Publication of JP3612272B2 publication Critical patent/JP3612272B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】本発明は、人の歌唱によってその曲に関する情
報を検索するシステムを構築する場合に、その検索精度
の向上を実現可能にする音楽特徴量を算出できるように
する音楽特徴量生成技術の提供を目的とする。 【解決手段】本発明は、従来技術のように、音楽片全体
から特徴量を算出するという構成を採るのではなくて、
音楽片の中に含まれる特徴点を検出する構成を採って、
その特徴点を起点とするいわば音楽片の部分特徴量とも
言うべき特徴量を算出するように処理する。これによ
り、入力された音楽情報に類似するものを音楽情報デー
タベースから検索するような場合にあって、入力された
音楽情報を分割することで得た音楽片と音楽情報データ
ベースに格納される分割された音楽片との先頭が一致し
ない場合にも、高い検索精度を実現できるようになる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、音楽情報の持つ特
徴量を生成する音楽特徴量生成方法及び装置と、その特
徴量を用いて音楽情報を検索する音楽情報検索装置と、
その特徴量を生成するためのプログラムを記録した音楽
特徴量生成用プログラムの記録媒体とに関する。
【0002】
【従来の技術】マルチメディア・データベースを構築す
るにあたって、類似検索は欠かせない技術である。
【0003】例えば、リンゴの写っている画像を探す場
合、検索キーとして与えたリンゴの絵や写真とまったく
同じリンゴが写っている画像を探したいという要求はめ
ったにない。ほとんどが、単にリンゴが写っている画像
が欲しいという要求であり、このような場合には、「検
索キーとして与えたリンゴの画像に似ている画像を探
す」といった、類似検索技術が必要である。
【0004】このような内容検索の新たなメディアへの
対応として、ハミングや口ずさんだメロディなどを使っ
て、音楽情報データベースから曲名や歌手を検索する技
術の研究が盛んに行われている。
【0005】このようなことを背景にして、本発明者ら
も、音楽から音の推移や音の分布に関する特徴量を抽出
して、それを使って、音楽情報データベースを検索する
システムの研究(Naoko Kosugi,Yuichi Nishihara,Seii
chi Kon'ya,Masashi Yamamuro,and Kazuhiko Kushima :
Music Retrieval by Humming-Using Similarity Retri
eval over High Dimensional Feature Vector Space-,
PACRIM'99 p404-407)を行っている。
【0006】この本発明者らが提案した音楽検索システ
ムでは、人の歌唱を検索キーとして受け付けることで、
曲の旋律の一部のみしか覚えていない人に、その曲の題
名や歌手・演奏者などを捜し出すことができるようにす
ることを提供している。
【0007】人の歌唱によってその曲に関する情報を検
索する場合、人は必ずしもサビや出たしを歌うとは限ら
ない。そこで、本発明者らが提案した音楽検索システム
では、音楽データ(旋律データ)を細かく分割し、保持
する音楽データの冗長性を増すことで、人が曲のどの部
分を歌っても検索できるようにすることを実現してい
る。
【0008】この構成の実現にあたって、本発明者らが
提案した音楽検索システムでは、図21に示すように、
ある一定の区間ごとに音楽データを分割することで音楽
片を切り出して、それらの音楽片毎に、音楽片の先頭を
起点とする特徴量(特徴量ベクトル)を算出するという
構成を採っている。
【0009】そして、そのようにして算出される特徴量
を使って、音楽情報データベースを構築するとともに、
そのようにして算出される特徴量を使って、人の歌唱の
音楽データと音楽情報データベースに格納される音楽デ
ータとの類似度を評価するという構成を採っている。
【0010】このように、従来技術では、音楽片の先頭
を起点として、音楽片全体から特徴量(特徴量ベクト
ル)を算出するという構成を採っている。
【0011】なお、この従来技術により算出される特徴
量(特徴量ベクトル)を、音楽片全体から算出されるこ
とを考慮して、以下において「Entire Feature Vector
」と称することがある。
【0012】
【発明が解決しようとする課題】しかしながら、このよ
うな従来技術に従っていると、検索者の歌唱部分と、分
割された音楽データ(旋律データ)の先頭とが一致しな
い場合に、検索精度が著しく悪化するという問題点があ
る。
【0013】すなわち、従来技術では、音楽片の先頭を
起点として、音楽片全体から特徴量を算出するという構
成を採っていることから、検索者の歌唱部分と、分割さ
れた音楽データ(旋律データ)の先頭とが一致しない場
合には、検索精度が著しく悪化するのである。
【0014】この問題点の解決を図るためには、音楽デ
ータをより細かく分割するという方法を用いることが考
えられるが、この方法を用いると、データ量が爆発的に
増大するという新たな問題点が出てくる。
【0015】本発明はかかる事情に鑑みてなされたもの
であって、人の歌唱によってその曲に関する情報を検索
するシステムを構築する場合に、その検索精度の向上を
実現可能にする音楽特徴量を算出できるようにする新た
な音楽特徴量生成技術の提供と、その音楽特徴量を用い
て音楽情報を検索する新たな音楽情報検索技術の提供と
を目的とする。
【0016】
【課題を解決するための手段】この目的を達成するため
に、本発明の音楽特徴量生成装置は、処理対象の音楽情
報を規定の音符形態に変換する変換手段と、変換手段の
変換する音楽情報を分割することで音楽片を切り出す分
割手段と、分割手段の切り出す音楽片から特徴点の選出
に用いる区間を抽出する抽出手段と、抽出手段の抽出す
る区間に含まれる特徴点を検出する検出手段と、検出手
段の検出する特徴点を起点とする特徴量を生成する生成
手段とを備えるように構成する。
【0017】このように構成される本発明の音楽特徴量
生成装置では、変換手段は、処理対象の音楽情報を、実
験により検証された検索精度の向上を実現できる例えば
8分音符といった規定の音符形態に変換し、これを受け
て、分割手段は、その変換された音楽情報から、例え
ば、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出すことなどにより、音楽片を切り出す。
【0018】この音楽片の切り出しを受けて、抽出手段
は、例えば、中央部分の4拍を特徴点の選出に用いる区
間として抽出することで、特徴点の選出に用いる区間を
抽出し、これを受けて、検出手段は、例えば、抽出され
た区間の中に含まれる最も高い音を特徴点として検出す
る。
【0019】そして、この特徴点の検出を受けて、生成
手段は、例えば、検出された特徴点を起点とし音楽片終
端を終点とする音楽片部分を特徴量として生成したり、
検出された特徴点を起点とする規定長さの音楽片部分を
特徴量として生成する。
【0020】このとき、生成手段は、このようにして生
成する例えば時系列データ形式の特徴量を、例えばヒス
トグラム形式などのような別の表現形式に変換すること
で複数の特徴量を生成することがある。
【0021】なお、この本発明により算出される特徴量
(特徴量ベクトル)を、音楽片の一部分から算出される
ことを考慮して、以下において「Partial Feature Vect
or」と称することがある。
【0022】このようにして、本発明では、従来技術の
ように、音楽片全体から特徴量を算出するという構成を
採るのではなくて、図1に示すように、音楽片の中に含
まれる特徴点を検出する構成を採って、その特徴点を起
点とするいわば音楽片の部分特徴量とも言うべき特徴量
を算出するように処理することから、入力された音楽情
報に類似するものを音楽情報データベースから検索する
ような場合にあって、入力された音楽情報を分割するこ
とで得た音楽片と音楽情報データベースに格納される分
割された音楽片との先頭が一致しない場合にも、高い検
索精度を実現できるようになる。
【0023】一方、この目的を達成するために、本発明
の音楽情報検索装置は、入力された音楽情報から切り出
される複数の音楽片の持つそれぞれの特徴点を検出し
て、それらの特徴点を起点とする特徴量を生成する生成
手段と、検索対象となる楽曲を、それが持つ特徴量(生
成手段の生成対象となる特徴量)との対応をとりつつ管
理するデータベース手段と、データベース手段を検索す
ることで、生成手段の生成する特徴量毎に、それに類似
する特徴量を持つ複数の楽曲を検索する検索手段と、検
索手段の検索する楽曲の中から、入力された音楽情報の
指す楽曲を特定する特定手段とを備えるように構成す
る。
【0024】ここで、生成手段は、入力された音楽情報
から切り出される1つの音楽片の持つ特徴点を検出し
て、その特徴点を起点とする特徴量を生成することがあ
り、このときには、特定手段については備えられずに、
検索手段は、生成された特徴量に類似する特徴量を持つ
1つ又は複数の楽曲を検索して、それを検索結果として
出力することになる。
【0025】このように構成される本発明の音楽情報検
索装置では、生成手段は、入力された音楽情報から切り
出される複数の音楽片の持つそれぞれの特徴点を検出し
て、それらの特徴点を起点とする特徴量を生成する。
【0026】この特徴量の生成を受けて、検索手段は、
データベース手段を検索することで、生成手段の生成す
る特徴量毎に、それに類似する特徴量を持つ複数の楽曲
を検索し、これを受けて、特定手段は、例えば検索され
た楽曲の持つ類似度をOR演算することで、入力された
音楽情報の指す楽曲を特定する。
【0027】この構成を採るときにあって、検索精度の
向上を図るために、生成手段は、例えば生成する時系列
データ形式の特徴量を、例えばヒストグラム形式などの
ような別の表現形式に変換することで複数の特徴量を生
成することがあり、これを受けて、データベース手段
は、この表現形式の異なる複数の特徴量を管理すること
がある。
【0028】このようにして、本発明では、図2に示す
ように、検索対象となる楽曲を、それが持つ本発明の音
楽特徴量生成技術により作成される特徴量との対応をと
りつつ管理する音楽情報データベースを構築するととも
に、入力された音楽情報の持つ特徴量を本発明の音楽特
徴量生成技術に従って生成して、それを検索キーにして
音楽情報データベースを検索することで、入力された音
楽情報の指す楽曲を検索するように処理することから、
入力された音楽情報を分割することで得た音楽片と音楽
情報データベースに格納される分割された音楽片との先
頭が一致しない場合にも、高い検索精度を実現できるよ
うになる。
【0029】
【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。
【0030】図3に、本発明を具備する音楽情報検索装
置1の一実施形態例を図示する。
【0031】本発明の音楽情報検索装置1は、人のハミ
ングした曲に関する情報(曲名など)を検索する処理を
行うものであって、この検索処理を実現するために、音
楽情報データベース10と、採譜部11と、ノイズ除去
部12と、特徴量生成部13と、検索部14とを備え
る。
【0032】ここで、本発明の音楽情報検索装置1の備
える採譜部11やノイズ除去部12や特徴量生成部13
や検索部14は、具体的にはプログラムで実現されるも
のであり、これらのプログラムは、計算機が読み取り可
能な半導体メモリなどの適当な記録媒体に格納すること
ができる。
【0033】音楽情報データベース10は、検索対象と
なる楽曲の音楽情報(曲名・旋律情報)と、その楽曲の
持つ特徴量と、その楽曲の持つ属性情報(歌手・演奏者
などの情報)とを管理する。この音楽情報データベース
10に管理される楽曲の持つ特徴量は、特徴量生成部1
3により生成されて登録されるものである。
【0034】採譜部11は、例えば市販の採譜ソフトに
より構成されて、入力されたハミングの楽譜情報を作成
する。
【0035】採譜部11により作成される楽譜情報はM
IDI形式で作成されるものであって、楽譜情報を構成
する相対時間にかかる情報と、その楽譜情報の演奏時間
を構成する絶対時間にかかる情報とで構成されることに
なるが、採譜部11は、音楽情報データベース10の管
理する特徴量(相対時間で記述されている)との時間の
正規化を図るべく、この内の絶対時間に関係しない部分
である楽譜情報部分をノイズ除去部12に渡すように処
理している。
【0036】ノイズ除去部12は、採譜部11から渡さ
れる音楽情報(楽譜情報)を入力として、中心となるメ
ロディーラインを外れた音や、レコーディング開始のあ
る区間内で、ある長さ以上の無音区間が継続するときに
は、その無音区間よりも前の音区間を削除することなど
により、入力するハミングに乗っているノイズを除去す
る処理を行う。例えば、図4に示すようなハミングを入
力するときには、1番目と4番目と14番目の音はノイ
ズであるとして除去するように処理する。
【0037】特徴量生成部13は、ノイズ除去部12か
ら渡される音楽情報を音楽片に分割する音楽情報分割部
130と、分割された音楽片の持つ特徴量(旋律の特徴
量)を算出する音楽特徴量算出部131と、算出された
特徴量(旋律の特徴量)から音楽片の特徴点を選出する
ための区間を限定する特徴点選出区間限定部132と、
限定された区間の中から特徴点を決定する特徴点決定部
133と、決定された特徴点を起点とする特徴量を導出
する特徴量導出部134とを備えることで、入力したハ
ミングの持つ特徴量を生成して、それを検索部14に渡
す処理を実行する。
【0038】ここで、音楽特徴量算出部131の算出す
る音楽特徴量は旋律に1対1に対応付けられる特徴量で
あるのに対して、特徴量導出部134の導出する特徴量
は本発明に特徴的な特徴量である。以下、説明の便宜
上、特徴量導出部134の導出する特徴量を「特徴点起
点音楽部分特徴ベクトル」と称することがある。
【0039】検索部14は、特徴量生成部13から渡さ
れるハミングの持つ特徴量を検索キーにして音楽情報デ
ータベース10を検索することで、入力したハミングの
曲名などを検索する。
【0040】図5に、特徴量生成部13の実行する処理
フローの一実施形態例を図示する。次に、この処理フロ
ーに従って、特徴量生成部13の実行する処理について
説明する。
【0041】特徴量生成部13は、ノイズ除去部12か
らハミングの音楽情報が渡されることで起動されると、
図5の処理フローに示すように、先ず最初に、ステップ
1で、その音楽情報(検索対象となるもの)を入力す
る。
【0042】続いて、ステップ2で、その入力した音楽
情報から、例えば、4拍ずつずらしながら16拍の長さ
を持つ音楽片を切り出すことで、その入力した音楽情報
を音楽片に分割する。この分割処理が音楽情報分割部1
30の処理に相当する。
【0043】続いて、ステップ3で、各音楽片の旋律の
特徴量を算出する。例えば、図6に示すような音の高さ
を示すMIDIコードを使って音楽片の旋律の特徴量を
算出する場合を具体例にして説明するならば、「64,
64,65,65,67,67,65,65」という旋
律の特徴量を算出したり、この65をベーストーンとす
る「−1,−1,0,0,2,2,0,0」という旋律
の特徴量を算出するのである。この算出処理が音楽特徴
量算出部131の処理に相当する。
【0044】続いて、ステップ4で、生成した全ての音
楽片を処理したのか否かを判断して、全ての音楽片を処
理していないことを判断するときには、ステップ6に進
んで、未処理の音楽片を1つ選択する。
【0045】続いて、ステップ7で、その選択した音楽
片の持つ中央部分の区間を特徴点を選出するための区間
として限定(抽出)する。例えば、16拍の長さを持つ
音楽片の中央の4拍を限定するのである。この限定処理
が特徴点選出区間限定部132の処理に相当する。
【0046】続いて、ステップ8で、その限定した区間
の中の最も高い音を特徴点として決定(選出)する。こ
の決定処理が特徴点決定部133の処理に相当する。
【0047】続いて、ステップ9で、その決定した特徴
点から音楽片の最後拍までをその音楽片の特徴量(特徴
点起点音楽部分特徴ベクトル)として導出(生成)して
から、次の音楽片を処理すべくステップ4に戻る。この
導出処理が特徴量導出部134の処理に相当する。
【0048】そして、ステップ4で、生成した全ての音
楽片を処理したことを判断するときには、ステップ5に
進んで、生成した特徴量(音楽片毎に求まる)を検索部
14に渡して、処理を終了する。
【0049】このようにして、特徴量生成部13は、図
5の処理フローに従う場合には、入力した音楽情報か
ら、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出して旋律の特徴量を算出すると、図7に示すよう
に、先ず最初に、その音楽片の中央の4拍を限定し、続
いて、その4拍の中の最も高い音を特徴点として決定
し、続いて、その特徴点から最後拍までをその音楽片の
特徴量(特徴点起点音楽部分特徴ベクトル)として導出
するように処理するのである。
【0050】図8に、特徴量生成部13の実行する処理
フローの他の実施形態例を図示する。
【0051】特徴量生成部13は、この処理フローに従
う場合には、ノイズ除去部12からハミングの音楽情報
が渡されることで起動されると、先ず最初に、ステップ
1で、その音楽情報を入力し、続くステップ2で、その
入力した音楽情報から音楽片を切り出し、続くステップ
3で、各音楽片の旋律の特徴量を算出する。
【0052】続いて、ステップ4で、生成した全ての音
楽片を処理したのか否かを判断して、全ての音楽片を処
理していないことを判断するときには、ステップ6に進
んで、未処理の音楽片を1つ選択する。
【0053】続いて、ステップ7で、その選択した音楽
片の持つ最初の4拍の区間を特徴点を選出するための区
間として限定(抽出)し、続くステップ8で、最初の8
拍内の最も長い音で、かつ鳴り出しがその限定した区間
(最初の4拍)にある音を特徴点として決定(選出)
し、続くステップ9で、その決定した特徴点から12拍
までをその音楽片の特徴量(特徴点起点音楽部分特徴ベ
クトル)として導出(生成)してから、次の音楽片を処
理すべくステップ4に戻る。
【0054】そして、ステップ4で、生成した全ての音
楽片を処理したことを判断するときには、ステップ5に
進んで、生成した特徴量(音楽片毎に求まる)を検索部
14に渡して、処理を終了する。
【0055】このようにして、特徴量生成部13は、図
8の処理フローに従う場合には、入力した音楽情報か
ら、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出して旋律の特徴量を算出すると、図9に示すよう
に、先ず最初に、その音楽片の最初の4拍を限定し、続
いて、最初の8拍内の最も長い音で、かつ鳴り出しがそ
の最初の4拍にある音を特徴点として決定し、続いて、
その特徴点から12拍ををその音楽片の特徴量(特徴点
起点音楽部分特徴ベクトル)として導出するように処理
するのである。
【0056】このように、特徴量生成部13は、従来技
術のように、音楽片の全体から特徴量を算出するという
構成を採るのではなくて、音楽片の中に含まれる特徴点
を検出する構成を採って、その特徴点を起点とする特徴
量(特徴点起点音楽部分特徴ベクトル)を導出するよう
に処理している。
【0057】すなわち、図10に示す音楽情報で説明す
るならば、18番目の音符から切り出される音楽片につ
いて、従来技術では、その音楽片の先頭に位置する18
番目の音符を起点としつつ、その音楽片全体から「Enti
re Feature Vector 」と表現すべき特徴量を生成するの
に対して、特徴量生成部13では、例えば、その音楽片
の19番目の音符を起点としつつ、その音楽片の一部分
から「Partial Feature Vector」と表現すべき特徴量を
生成するのである。
【0058】図3では図示しなかったが、特徴点選出区
間限定部132や特徴点決定部133や特徴量導出部1
34の実行する処理については、色々な処理を用意して
おいて、その中から検索精度の向上を実現する最適なも
のを選択できるようにしておくことが望まれる。
【0059】このような要求に応えるために、図11
(a)に示すように、異なるアルゴリズムに従って特徴
点の選出区間を限定する複数のルールを用意しておき、
その中からユーザの設定するルールを呼び出していくこ
とで特徴点の選出区間を限定したり、図11(b)に示
すように、異なるアルゴリズムに従って特徴点を決定す
る複数のルールを用意しておき、その中からユーザの設
定するルールを呼び出していくことで特徴点を決定した
り、図11(c)に示すように、異なるアルゴリズムに
従って特徴量(特徴点起点音楽部分特徴ベクトル)を導
出する複数のルールを用意しておき、その中からユーザ
の設定するルールを呼び出していくことで特徴量を導出
するという構成を用いることが好ましい。
【0060】また、特徴量生成部13は、図7や図9に
示したような音の高さを示すMIDIコードの時系列デ
ータで定義される図12(b)に示すような特徴点起点
音楽部分特徴ベクトルを生成するときに、そのMIDI
コードのヒストグラムで定義される図12(b)に示す
ような特徴点起点音楽部分特徴ベクトルを生成すること
がある。
【0061】後述するように、このような異なる表現形
式を持つ複数の特徴点起点音楽部分特徴ベクトルを使っ
て音楽情報データベース10を検索すると、検索精度を
向上できるようになることから、特徴量生成部13は、
図12に示すように、時系列データで定義される特徴点
起点音楽部分特徴ベクトルを生成するときに、それか
ら、それとは表現形式の異なる別の特徴点起点音楽部分
特徴ベクトルを生成するように処理することがあるので
ある。
【0062】図13及び図14に、検索部14の実行す
る処理フローの一実施形態例を図示する。ここで、図1
3は、特徴量生成部13が1種類の特徴量を生成すると
きに検索部14が実行することになる処理を図示してお
り、図14は、特徴量生成部13が異なる表現形式を持
つ複数の特徴量を生成するときに検索部14が実行する
ことになる処理を図示している。
【0063】次に、これらの処理フローに従って、特徴
量生成部13の生成する特徴量(特徴点起点音楽部分特
徴ベクトル)を使って実行される検索処理について説明
する。
【0064】検索部14は、図13の処理フローに従う
場合には、ハミングから切り出された複数の音楽片の特
徴量を特徴量生成部13から渡されることで起動される
と、先ず最初に、ステップ1で、特徴量生成部13から
それらの各音楽片の持つ1種類の特徴量を受け取る。
【0065】続いて、ステップ2で、全ての音楽片を選
択したのか否かを判断して、未処理の音楽片が残されて
いることを判断するときには、ステップ3に進んで、未
処理の音楽片を1つ選択する。
【0066】続いて、ステップ4で、その選択した音楽
片の特徴量を処理対象として設定し、続くステップ5
で、音楽情報データベース10を検索することで、その
処理対象の特徴量に類似する特徴量を持つ例えば上位2
0曲を検索して、次の音楽片を処理すべくステップ2に
戻る。
【0067】一方、ステップ2で、全ての音楽片を選択
したことを判断するときには、ステップ6に進んで、そ
の検索した楽曲の持つ類似度(例えば距離を使って類似
度を評価するときには、距離値が小さい値ほど高い類似
を示す)にOR演算を施すことで、ハミングに類似する
例えば上位10曲を特定する。
【0068】例えば、図15に示すように、音楽片1の
特徴量から、距離0.9 の類似度を持つ楽曲D/距離1.5
の類似度を持つ楽曲B/距離1.8 の類似度を持つ楽曲C
/距離5.8 の類似度を持つ楽曲Aが検索され、音楽片2
の特徴量から、距離0.3 の類似度を持つ楽曲A/距離1.
2 の類似度を持つ楽曲B/距離2.0 の類似度を持つ楽曲
C/距離5.9 の類似度を持つ楽曲Dが検索され、音楽片
3の特徴量から、距離1.0 の類似度を持つ楽曲B/距離
1.2 の類似度を持つ楽曲C/距離1.5 の類似度を持つ楽
曲D/距離6.0 の類似度を持つ楽曲Aが検索される場合
には、楽曲Aの最小距離が0.3 で、楽曲Bの最小距離が
1.0 で、楽曲Cの最小距離が1.2 で、楽曲Dの最小距離
が0.9 であるので、OR演算に従って、ハミングに最も
類似する楽曲してA、次に類似する楽曲としてD、その
次に類似する楽曲としてB、その次に類似する楽曲とし
てCを特定するのである。
【0069】そして、最後に、ステップ7で、その特定
した例えば上位10曲を検索結果として出力して、処理
を終了する。
【0070】また、検索部14は、図14の処理フロー
に従う場合には、ハミングから切り出された複数の音楽
片の特徴量を特徴量生成部13から渡されることで起動
されると、先ず最初に、ステップ1で、特徴量生成部1
3からそれらの各音楽片の持つ複数種類の特徴量を受け
取る。
【0071】続いて、ステップ2で、全ての音楽片を選
択したのか否かを判断して、未処理の音楽片が残されて
いることを判断するときには、ステップ3に進んで、未
処理の音楽片を1つ選択する。
【0072】続いて、ステップ4で、その選択した音楽
片の持つ特徴量を全て処理したのか否かを判断して、未
処理のものが残されていることを判断するときには、ス
テップ5に進んで、その選択した音楽片の持つ特徴量の
中から未処理のものを選択して処理対象とし、続くステ
ップ6で、音楽情報データベース10を検索すること
で、その処理対象の特徴量に類似する特徴量を検索し
て、次の特徴量を処理すべくステップ4に戻る。
【0073】このようにして、ステップ4〜ステップ6
の処理を繰り返していくことで、ステップ4で、選択し
た音楽片の持つ特徴量を全て処理したことを判断すると
きには、ステップ7に進んで、ステップ6で検索した特
徴量の持つ類似度の重み付線形和を算出し、その中から
例えば上位20個の特徴量を特定して、その特徴量を持
つ例えば上位20曲を検索する。そして、次の音楽片を
処理すべくステップ2に戻る。
【0074】一方、ステップ2で、全ての音楽片を選択
したことを判断するときには、ステップ8に進んで、そ
の検索した楽曲の持つ類似度に上述のOR演算を施すこ
とで、ハミングに類似する例えば上位10曲を特定し、
続くステップ9で、その特定した例えば上位10曲を検
索結果として出力して、処理を終了する。
【0075】このようにして、検索部14は、特徴量生
成部13から、ハミングから切り出された複数の音楽片
の特徴量が渡されると、それを検索キーにして音楽情報
データベース10を検索することで、ハミングに類似す
る例えば上位10曲を得て、それを出力するように処理
するのである。
【0076】図13及び図14の処理フローでは、特徴
量生成部13がハミングの中から複数の音楽片を切り出
してその特徴量を生成し、それを検索部14に渡す処理
を行うことで説明したが、特徴量生成部13がハミング
の中から例えば真ん中に位置する1つの音楽片のみの特
徴量を生成し、それを検索部14に渡す処理を行うとい
うこともある。
【0077】このときには、検索部14は、図13の処
理フローに代えて図16(a)の処理フローを実行し、
また、図14の処理フローに代えて図16(b)の処理
フローを実行することになる。このときには、図15で
説明したOR演算は行われない。
【0078】次に、本発明の有効性を検証するために行
った実験の結果について説明する。
【0079】この実験は、音楽情報データベース10が
約10,000件の楽曲についての情報を管理する構成を採る
ときにあって、25人のユーザが自分の選んだ任意の合
計186曲をハミングするときに、その検索結果となる
10位までの曲名を得て、その曲名をハミングした曲と
照らし合わせることで行った。
【0080】ここで、特徴点起点音楽部分特徴ベクトル
は、音楽片の最初の4拍を限定して、その4拍の中の最
も高い音を特徴点として決定し、その特徴点から12.5
拍をを抽出することで得られるものを使った。
【0081】図17に、本発明により得られる特徴点起
点音楽部分特徴ベクトルを検索キーとする場合の実験結
果と、従来技術により得られる「Entire Feature Vecto
r 」を検索キーとする場合の実験結果とを対比して示
す。
【0082】この実験結果から分かるように、本発明に
より得られる特徴点起点音楽部分特徴ベクトルを検索キ
ーとすると、ハミングした曲が10位までに入る確率は
約75%であるのに対して、従来技術により得られる
「Entire Feature Vector 」を検索キーとすると、ハミ
ングした曲が10位までに入る確率は約65%に止ま
り、これにより本発明の有効性を検証できた。
【0083】図18に、ハミングから複数の音楽片を切
り出して検索を行う場合の実験結果と、ハミングの真ん
中に位置する1つの音楽片を切り出して検索を行う場合
の実験結果とを対比して示す。前者の検索を行う場合に
は、図15で説明したOR演算を行うことで最終的な検
索結果を得るように処理することになる。
【0084】この実験結果から分かるように、ハミング
から複数の音楽片を切り出して検索を行う方が、1つの
音楽片を切り出して検索を行うよりも検索精度を向上で
きることが検証できた。
【0085】図19に、特徴点起点音楽部分特徴ベクト
ル(Partial Tone Transition Feature Vector) を検索
キーとする場合の実験結果と、特徴点起点音楽部分特徴
ベクトルをヒストグラムの表現形式に変換した特徴ベク
トル(Tone Distribution Feature Vector) を検索キー
とする場合の実験結果と、その2つの特徴ベクトルを結
合した形を検索キーとする場合の実験結果とを対比して
示す。
【0086】この実験結果から分かるように、特徴点起
点音楽部分特徴ベクトルとそれをヒストグラムの表現形
式に変換した特徴ベクトルとの2つを検索キーとする
と、特徴点起点音楽部分特徴ベクトルのみを検索キーと
する場合よりも検索精度を向上できることが検証でき
た。
【0087】図20に、音楽情報データベース10の管
理する特徴量を8分音符(quaver-note)で記述する場合
の実験結果と、4分音符(quater-note)で記述する場合
の実験結果とを対比して示す。ここで、ハミングの音符
形態と音楽情報データベースの音符形態とが異なる場合
には、特徴量生成部13は、ハミングの音符形態を音楽
情報データベースの音符形態に変換してから、上述の処
理を行う。
【0088】この実験結果から分かるように、本発明を
8分音符の音符形態で実現する方が、4分音符の音符形
態で実現するよりも検索精度を向上できることが検証で
きた。
【0089】これから、上述の実施形態例で説明しなか
ったが、音楽情報データベース10の管理する特徴量を
8分音符のような検索精度の向上を実現できる音符形態
で構築するとともに、特徴量生成部13がハミングの音
符形態をその音楽情報データベース10の音符形態に変
換する機能を持つことが好ましい。
【0090】
【発明の効果】以上説明したように、本発明では、従来
技術のように、音楽片全体から特徴量を算出するという
構成を採るのではなくて、音楽片の中に含まれる特徴点
を検出する構成を採って、その特徴点を起点とするいわ
ば音楽片の部分特徴量とも言うべき特徴量を算出するよ
うに処理することから、入力された音楽情報に類似する
ものを音楽情報データベースから検索するような場合に
あって、入力された音楽情報を分割することで得た音楽
片と音楽情報データベースに格納される分割された音楽
片との先頭が一致しない場合にも、高い検索精度を実現
できるようになる。
【0091】そして、本発明では、検索対象となる楽曲
を、それが持つ本発明の音楽特徴量生成技術により作成
される特徴量との対応をとりつつ管理する音楽情報デー
タベースを構築するとともに、入力された音楽情報の持
つ特徴量を本発明の音楽特徴量生成技術に従って生成し
て、それを検索キーにして音楽情報データベースを検索
することで、入力された音楽情報の指す楽曲を検索する
ように処理することから、入力された音楽情報を分割す
ることで得た音楽片と音楽情報データベースに格納され
る分割された音楽片との先頭が一致しない場合にも、高
い検索精度を実現できるようになる。
【図面の簡単な説明】
【図1】本発明の説明図である。
【図2】本発明の説明図である。
【図3】本発明の一実施形態例である。
【図4】ノイズ除去処理を説明するための楽譜の一例で
ある。
【図5】特徴量生成部の実行する処理フローの一実施形
態例である。
【図6】音楽片の旋律の特徴量の算出処理の説明図であ
る。
【図7】特徴量生成部の実行する処理の説明図である。
【図8】特徴量生成部の実行する処理フローの他の実施
形態例である。
【図9】特徴量生成部の実行する処理の説明図である。
【図10】本発明を説明するための楽譜の一例である。
【図11】特徴量生成部の構成例の説明図である。
【図12】特徴量生成部の生成する特徴量の説明図であ
る。
【図13】検索部の実行する処理フローの一実施形態例
である。
【図14】検索部の実行する処理フローの一実施形態例
である。
【図15】検索結果を求めるためのOR演算処理の説明
図である。
【図16】特徴量生成部の実行する処理フローの他の実
施形態例である。
【図17】本発明の有効性を検証するために行った実験
結果の説明図である。
【図18】本発明の有効性を検証するために行った実験
結果の説明図である。
【図19】本発明の有効性を検証するために行った実験
結果の説明図である。
【図20】本発明の有効性を検証するために行った実験
結果の説明図である。
【図21】従来技術の説明図である。
【符号の説明】 1 音楽情報検索装置 10 音楽情報データベース 11 採譜部 12 ノイズ除去部 13 特徴量生成部 14 検索部 130 音楽情報分割部 131 音楽特徴量算出部 132 特徴点選出区間限定部 133 特徴点決定部 134 特徴量導出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 15/02

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 音楽情報の持つ特徴量を生成する音楽特
    徴量生成方法において、 処理対象の音楽情報から切り出される音楽片の持つ特徴
    点を検出して、その特徴点を起点とする特徴量を生成す
    るように処理することを、 特徴とする音楽特徴量生成方法。
  2. 【請求項2】 音楽情報の持つ特徴量を生成する音楽特
    徴量生成装置において、 処理対象の音楽情報を分割することで音楽片を切り出す
    分割手段と、 上記音楽片から特徴点の選出に用いる区間を抽出する抽
    出手段と、 上記区間に含まれる特徴点を検出する検出手段と、 上記検出される特徴点を起点とする特徴量を生成する生
    成手段とを備えることを、 特徴とする音楽特徴量生成装置。
  3. 【請求項3】 請求項2に記載される音楽特徴量生成装
    置において、 処理対象の音楽情報を規定の音符形態に変換する変換手
    段を備え、 上記分割手段は、上記変換手段の変換する音楽情報を分
    割することで音楽片を切り出すことを、 特徴とする音楽特徴量生成装置。
  4. 【請求項4】 請求項2又は3に記載される音楽特徴量
    生成装置において、 上記生成手段は、上記生成する特徴量を別の表現形式に
    変換することで複数の特徴量を生成することを、 特徴とする音楽特徴量生成装置。
  5. 【請求項5】 請求項2ないし4のいずれか1項に記載
    される音楽特徴量生成装置において、 上記抽出手段は、上記音楽片の規定位置に位置する規定
    長さの区間部分を特徴点の選出に用いる区間として抽出
    することを、 特徴とする音楽特徴量生成装置。
  6. 【請求項6】 請求項2ないし4のいずれか1項に記載
    される音楽特徴量生成装置において、 上記検出手段は、特徴点に課される音の高さ又は長さに
    ついての条件を充足する音位置を検出することで、上記
    区間に含まれる特徴点を検出することを、 特徴とする音楽特徴量生成装置。
  7. 【請求項7】 請求項2ないし4のいずれか1項に記載
    される音楽特徴量生成装置において、 上記生成手段は、特徴点を起点とする規定長さの音楽片
    部分を特徴量として生成することを、 特徴とする音楽特徴量生成装置。
  8. 【請求項8】 請求項2ないし4のいずれか1項に記載
    される音楽特徴量生成装置において、 上記生成手段は、特徴点を起点とし音楽片終端を終点と
    する音楽片部分を特徴量として生成することを、 特徴とする音楽特徴量生成装置。
  9. 【請求項9】 入力された音楽情報の指す曲名及び/又
    はその曲の属性情報を検索する音楽情報検索装置におい
    て、 入力された音楽情報から切り出される1つの音楽片の持
    つ特徴点を検出して、その特徴点を起点とする特徴量を
    生成する生成手段と、 検索対象となる楽曲を、それが持つ上記特徴量との対応
    をとりつつ管理するデータベース手段と、 上記データベース手段を検索することで、上記生成手段
    の生成する上記特徴量に類似する上記特徴量を持つ1つ
    又は複数の楽曲を検索する検索手段とを備えることを、 特徴とする音楽情報検索装置。
  10. 【請求項10】 入力された音楽情報の指す曲名及び/
    又はその曲の属性情報を検索する音楽情報検索装置にお
    いて、 入力された音楽情報から切り出される複数の音楽片の持
    つそれぞれの特徴点を検出して、それらの特徴点を起点
    とする特徴量を生成する生成手段と、 検索対象となる楽曲を、それが持つ上記特徴量との対応
    をとりつつ管理するデータベース手段と、 上記データベース手段を検索することで、上記生成手段
    の生成する上記特徴量毎に、それに類似する上記特徴量
    を持つ複数の楽曲を検索する検索手段と、 上記検索手段の検索する楽曲の中から、入力された音楽
    情報の指す楽曲を特定する特定手段とを備えることを、 特徴とする音楽情報検索装置。
  11. 【請求項11】 請求項10に記載される音楽情報検索
    装置において、 上記特定手段は、上記検索手段の検索する楽曲の持つ類
    似度をOR演算することで、入力された音楽情報の指す
    楽曲を特定することを、 特徴とする音楽情報検索装置。
  12. 【請求項12】 請求項9ないし11のいずれか1項に
    記載される音楽情報検索装置において、 上記生成手段は、上記生成する特徴量を別の表現形式に
    変換することで複数の特徴量を生成し、これに合わせ
    て、上記データベース手段は、この表現形式の異なる複
    数の特徴量を管理するように構成されることを、 特徴とする音楽情報検索装置。
  13. 【請求項13】 音楽情報の持つ特徴量を生成するため
    のプログラムを記録した記録媒体であって、 処理対象の音楽情報から切り出される音楽片の持つ特徴
    点を検出して、その特徴点を起点とする特徴量を生成す
    る処理をコンピュータに実行させるプログラムを記録し
    たことを、 特徴とする音楽特徴量生成用プログラムの記録媒体。
  14. 【請求項14】 音楽情報の持つ特徴量を生成するため
    のプログラムを記録した記録媒体であって、 処理対象の音楽情報を分割することで音楽片を切り出す
    処理と、 上記音楽片から特徴点の選出に用いる区間を抽出する処
    理と、 上記区間に含まれる特徴点を検出する処理と、 上記検出される特徴点を起点とする特徴量を生成する処
    理とをコンピュータに実行させるプログラムを記録した
    ことを、 特徴とする音楽特徴量生成用プログラムの記録媒体。
JP2000312774A 2000-10-13 2000-10-13 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Lifetime JP3612272B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000312774A JP3612272B2 (ja) 2000-10-13 2000-10-13 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000312774A JP3612272B2 (ja) 2000-10-13 2000-10-13 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002123287A true JP2002123287A (ja) 2002-04-26
JP3612272B2 JP3612272B2 (ja) 2005-01-19

Family

ID=18792297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000312774A Expired - Lifetime JP3612272B2 (ja) 2000-10-13 2000-10-13 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3612272B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118010A (ja) * 2002-09-27 2004-04-15 Communication Research Laboratory 楽曲印象値自動付与装置
JP2007519092A (ja) * 2003-12-08 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メロディデータベースの検索
JP2007193222A (ja) * 2006-01-20 2007-08-02 Casio Comput Co Ltd メロディ入力装置及び楽曲検索装置
JP2008170504A (ja) * 2007-01-09 2008-07-24 Yamaha Corp 楽音処理装置およびプログラム
JP2008257019A (ja) * 2007-04-06 2008-10-23 Alpine Electronics Inc メロディー推定方法及びメロディー推定装置
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
JP2012058328A (ja) * 2010-09-06 2012-03-22 Dainippon Printing Co Ltd 音響データの関連情報検索装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2120231A4 (en) * 2007-03-07 2010-04-28 Pioneer Corp DEVICE AND METHOD FOR DATA TESTING

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561917A (ja) * 1991-08-29 1993-03-12 Nec Corp 旋律情報を利用した音楽データベース検索方式および旋律整合方式
JP2000172693A (ja) * 1998-12-01 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2000347659A (ja) * 1999-03-26 2000-12-15 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2000356996A (ja) * 1999-04-12 2000-12-26 Alpine Electronics Inc 音楽検索システム
JP2001109471A (ja) * 1999-10-12 2001-04-20 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2002055695A (ja) * 2000-08-08 2002-02-20 Alpine Electronics Inc 音楽検索システム
JP3434223B2 (ja) * 1998-11-19 2003-08-04 日本電信電話株式会社 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561917A (ja) * 1991-08-29 1993-03-12 Nec Corp 旋律情報を利用した音楽データベース検索方式および旋律整合方式
JP3434223B2 (ja) * 1998-11-19 2003-08-04 日本電信電話株式会社 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体
JP2000172693A (ja) * 1998-12-01 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP3467415B2 (ja) * 1998-12-01 2003-11-17 日本電信電話株式会社 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2000347659A (ja) * 1999-03-26 2000-12-15 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2000356996A (ja) * 1999-04-12 2000-12-26 Alpine Electronics Inc 音楽検索システム
JP2001109471A (ja) * 1999-10-12 2001-04-20 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2002055695A (ja) * 2000-08-08 2002-02-20 Alpine Electronics Inc 音楽検索システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118010A (ja) * 2002-09-27 2004-04-15 Communication Research Laboratory 楽曲印象値自動付与装置
JP2007519092A (ja) * 2003-12-08 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メロディデータベースの検索
JP2007193222A (ja) * 2006-01-20 2007-08-02 Casio Comput Co Ltd メロディ入力装置及び楽曲検索装置
JP2008170504A (ja) * 2007-01-09 2008-07-24 Yamaha Corp 楽音処理装置およびプログラム
US7750228B2 (en) 2007-01-09 2010-07-06 Yamaha Corporation Tone processing apparatus and method
JP4548424B2 (ja) * 2007-01-09 2010-09-22 ヤマハ株式会社 楽音処理装置およびプログラム
JP2008257019A (ja) * 2007-04-06 2008-10-23 Alpine Electronics Inc メロディー推定方法及びメロディー推定装置
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
JP2012058328A (ja) * 2010-09-06 2012-03-22 Dainippon Printing Co Ltd 音響データの関連情報検索装置

Also Published As

Publication number Publication date
JP3612272B2 (ja) 2005-01-19

Similar Documents

Publication Publication Date Title
Serra et al. Chroma binary similarity and local alignment applied to cover song identification
JP4344499B2 (ja) 音楽データベースの検索
US6528715B1 (en) Music search by interactive graphical specification with audio feedback
US7342167B2 (en) Apparatus and method for generating an encoded rhythmic pattern
JP5100089B2 (ja) 3d検索アルゴリズムを用いる楽曲情報検索
US20070162497A1 (en) Searching in a melody database
JP3467415B2 (ja) 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2002278547A (ja) 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置
JP2000356996A (ja) 音楽検索システム
Guo et al. Time-Warped Longest Common Subsequence Algorithm for Music Retrieval.
JP4364838B2 (ja) 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム
Rizo et al. A Pattern Recognition Approach for Melody Track Selection in MIDI Files.
Raju et al. TANSEN: A query-by-humming based music retrieval system
JP3631650B2 (ja) 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した計算機読み取り可能な記録媒体
JP2000155759A (ja) 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体
JP3612272B2 (ja) 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体
Suyoto et al. Searching musical audio using symbolic queries
Lee et al. Korean traditional music genre classification using sample and MIDI phrases
JP2001075985A (ja) 音楽検索装置
KR20060019096A (ko) 허밍 기반의 음원 질의/검색 시스템 및 그 방법
JP3730144B2 (ja) 類似音楽検索装置ならびにその方法、および類似音楽検索プログラムならびにその記録媒体
JP2007072023A (ja) 情報処理装置及び情報処理方法
KR20090083972A (ko) 음악 검색을 위한 음악 데이터베이스 구축 방법, 허밍 질의를 입력으로 하여 음악을 검색하는 방법 및 장치
JPH0736478A (ja) 音符列間類似度計算装置
Müller et al. Content-based audio retrieval

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3612272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071029

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350