JP4622808B2 - 楽曲分類装置、楽曲分類方法、楽曲分類プログラム - Google Patents

楽曲分類装置、楽曲分類方法、楽曲分類プログラム Download PDF

Info

Publication number
JP4622808B2
JP4622808B2 JP2005314250A JP2005314250A JP4622808B2 JP 4622808 B2 JP4622808 B2 JP 4622808B2 JP 2005314250 A JP2005314250 A JP 2005314250A JP 2005314250 A JP2005314250 A JP 2005314250A JP 4622808 B2 JP4622808 B2 JP 4622808B2
Authority
JP
Japan
Prior art keywords
impression
bibliographic information
music
impression word
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005314250A
Other languages
English (en)
Other versions
JP2007122442A5 (ja
JP2007122442A (ja
Inventor
正明 牧野
一郎 宍戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2005314250A priority Critical patent/JP4622808B2/ja
Priority to US11/544,864 priority patent/US7544881B2/en
Publication of JP2007122442A publication Critical patent/JP2007122442A/ja
Priority to US12/453,214 priority patent/US7745718B2/en
Publication of JP2007122442A5 publication Critical patent/JP2007122442A5/ja
Application granted granted Critical
Publication of JP4622808B2 publication Critical patent/JP4622808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数の楽曲が記録された記録メディアやサーバ等について、各楽曲を印象語によって分類するための楽曲分類装置及び楽曲分類プログラムに関する。
近年、光ディスク、ハードディスク、半導体メモリ等の大容量記録メディアに多数の音楽コンテンツ(以下、楽曲)を記録しておき、その中から所望の楽曲を選択して再生する音楽記録再生装置が多く利用されるようになってきた。また、最近では、多種多数の楽曲を格納したサーバに楽曲の配信を要求し、いわゆる音楽配信によって所望の楽曲を取得することも行われている。このようにして取得した楽曲は利用者が保有する音楽記録再生装置に多数記録されるようになっている。
ところで、このような音楽記録再生装置の大容量記録メディアに、数千乃至数万もの楽曲が記録(登録)されている場合、所望の楽曲を検索することが煩雑な作業を伴うものになったり、どのような楽曲が登録されていたか分からなくなって検索が困難になったりすることがある。
このような問題を解決するために、楽曲に対する主観的な印象を数値化した印象値を利用して楽曲を検索する楽曲検索方法が知られている(例えば、特許文献1を参照)。この特許文献1に記載された楽曲検索方法によれば、楽曲データベースに格納された検索対象となる楽曲の音響信号から物理的特徴を表す特徴量を抽出し、この特徴量を楽曲の印象として数値化された印象値に変換して、この印象値を2次元平面(印象空間)上にマッピングすることにより印象値の類似性を模式的に表すものである。
そして、利用者は、検索要件として検索対象となる楽曲の「アーティスト名」等の文字列、「激しさ」といった印象の度合いを示す数値、「陽気に踊りたい」等の予め定められた条件の有無、そして検索方法等を入力する。そして、入力された検索対象の楽曲の予測印象値と印象空間上にマッピングされた非検索対象の画曲の印象値とのユークリッド距離を算出し、このユークリッド距離が小さい楽曲から順に利用者にフィードバックすることによって検索結果を提示するものである。
この検索方法によれば、利用者は楽曲のタイトル名やアーティスト名等の情報を知らなくとも、所望の楽曲を楽曲データベースから容易に探すことができ、さらに、楽曲データベースにどのような楽曲が登録されているか知らなくとも、利用者の気分に合致した曲を選出することができる。
また、音楽データに含まれる歌詞データから印象値を算出する方法を用いることにより、所望の音楽データを選曲する音楽データ選曲装置が知られている(例えば、特許文献2を参照)。この特許文献2によれは、歌詞データに対して形態素解析を行うことによって歌詞データに含まれる印象語を検出した後、印象語毎に関連する単語をシソーラス辞書データを用いてまとめて出現頻度を算出するものである。このようにして算出されたデータを利用すれば、「心暖まる曲」や「ノリのよい曲」といった感覚を表現するキーワードによって利用者は所望の楽曲を選曲することができる。
特開2002−278547号公報 特開2004−326840号公報
しかしながら、特許文献1に記載されたような音響特徴量のみによる印象語への変換では、人間の感性に合致した特徴量の抽出ができない場合があり、精度の高い分類が十分に期待できない。また、詩や小説の朗読、学習教材等、楽曲ではないコンテンツの場合にも音楽データとして音響分析を実行するため、印象語を利用して自動選曲した場合に不適切な結果が得られてしまう。
また、特許文献2に記載された歌詞データを利用して印象値を算出する方法では、歌詞データ自体がデジタルデータに含まれていない場合に適用できないといった問題を有する。
そこで、本発明は上記問題に鑑みてなされたものであり、その目的は、楽曲を印象語によって分類する際に、従来の音響特徴量だけでなく書誌情報も用いて分析することにより、より精度の高い楽曲分類を行い得る楽曲分類装置及び楽曲分類プログラムを提供することである。
本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類装置において、楽曲データの書誌情報に基づいて書誌情報印象語を生成する書誌情報変換手段と、前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成する特徴量変換手段と、前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択する印象語統合手段と、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段とを備えることを特徴とする楽曲分類装置を提供する。
また、本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類装置において、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段と、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段と、当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択する印象語統合手段と、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段とを備えることを特徴とする楽曲分類装置を提供する。
また、本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類装置において、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段と、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段と、前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択する印象語統合手段と、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段とを備えることを特徴とする楽曲分類装置を提供する。
また、本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類方法において、書誌情報変換手段が、楽曲データの書誌情報に基づいて書誌情報印象語を生成するステップと、特徴量変換手段が、前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成するステップと、印象語統合手段が、前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択するステップと、印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップとを有することを特徴とする楽曲分類方法を提供する。
また、本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類方法において、書誌情報変換手段が、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成するステップと、特徴量変換手段が、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成するステップと、印象語統合手段が、当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択するステップと、印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップとを有することを特徴とする楽曲分類方法を提供する。
また、本発明は上述した従来の技術の課題を解決するため、楽曲を印象語によって分類する楽曲分類方法において、書誌情報変換手段が、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成するステップと、特徴量変換手段が、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成するステップと、印象語統合手段が、前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択するステップと、印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップとを有することを特徴とする楽曲分類方法を提供する。
また、本発明は上述した従来の技術の課題を解決するため、コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、コンピュータを、楽曲データの書誌情報に基づいて書誌情報印象語を生成する書誌情報変換手段、前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成する特徴量変換手段、前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択する印象語統合手段、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、として機能させることを特徴とする楽曲分類プログラムを提供する。
また、本発明は上述した従来の技術の課題を解決するため、コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、コンピュータを、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段、当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択する印象語統合手段、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、として機能させることを特徴とする楽曲分類プログラムを提供する。
また、本発明は上述した従来の技術の課題を解決するため、コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、コンピュータを、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段、前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択する印象語統合手段、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、として機能させることを特徴とする楽曲分類プログラムを提供する。
本発明の楽曲分類装置、楽曲分類方法、楽曲分類プログラムによれば、書誌情報に基づく印象語と、音響特徴量に基づく印象語とによって決定させる印象語によって、楽曲の分類を従来よりも、より高い精度で行うことができる。
以下、本発明を実施するための最良の形態について、好ましい実施例を示して詳細に説明する。
本発明の実施形態である楽曲分類装置に基づく好ましい実施例1を、記録メディアやネットワーク上のサーバに格納された楽曲を印象語によって分類し、利用者が所望する楽曲を簡易に検索させる装置について説明する。まず、図1に本実施例の楽曲分類装置の概略の構成ブロック図を示す。同図によれば、楽曲分類装置1は、主に制御手段20と格納手段30とから構成される。そして、楽曲分類装置1には、入力装置10と表示装置40とがそれぞれ接続されている。
制御手段20は、書誌情報取得手段21と、書誌情報変換手段22と、特徴量算出手段23と、特徴量変換手段24と、印象語統合手段25とを備えている。そして、格納手段30は、印象語格納手段31と、楽曲格納手段32と、書誌情報格納手段33とを備えている。制御手段20は、CPU(Central Processing Unit)等の計算処理機能を有した制御回路で構成され、格納手段30は比較的大容量のメモリやハードディスク等の書込み及び読出し可能な記録媒体で構成されている。よって、楽曲分類装置1は、それぞれプログラムを実行可能なコンピュータ、音楽記録再生装置、携帯音楽再生端末等で実現することが可能である。
次に、制御手段20が有する各手段についてその機能の概略を説明する。書誌情報取得手段21は、書誌情報格納手段33から楽曲に対応する書誌情報、具体的にはタイトル名、アーティスト名、ジャンル名、年代等の楽曲の関連情報を取得する機能を有する。
書誌情報変換手段22は、書誌情報取得手段21によって取得された書誌情報に基づき、「力強い」、「ノリの良い」、「静か」、「激しい」等といった印象語、すなわち人間が主観的に感ずる印象を表した用語に変換する機能を有する。本実施例では、書誌情報変換手段22によって得られる印象語を書誌情報印象語と称する。
特徴量算出手段23は、楽曲格納手段32から楽曲の音響信号を取得し、例えば、特開平6−290574号公報に記載されているような方法により、その音響信号を分析して音響特徴量を算出する機能を有する。
特徴量変換手段24は、特徴量算出手段23によって算出された音響特徴量に基づき、「力強い」、「ノリの良い」、「静か」、「激しい」等といった前述の書誌情報印象語と同様な印象語に変換する機能を有する。なお、本実施例では、特徴量変換手段24によって得られる印象語を特徴量印象語と称する。
印象語統合手段25は、書誌情報変換手段22で得られた書誌情報印象語と、特徴量変換手段24で得られた特徴量印象語とを統合して印象語を得る機能を有する。
次に、格納手段30が有する各手段についてその機能の概略を説明する。印象語格納手段31は、印象語統合手段25によって各楽曲に対応付けられた印象語を格納する機能を有する。楽曲格納手段32は、1つ以上の楽曲を格納する機能を有する。そして、書誌情報格納手段33は、楽曲毎の書誌情報を格納する機能を有する。ここで、印象語格納手段31に格納された印象語と、楽曲格納手段32に格納された楽曲と、書誌情報格納手段33に格納された書誌情報とのそれぞれのデータは、楽曲毎に割り振られたコンテンツIDによって関連付けがされている。
また、楽曲分類装置1に接続される外部装置としての入力装置10は、利用者が入力を行うための、マウス、キーボード、リモコン等といった入力機器である。そして、表示装置40は、液晶ディスプレイ等の表示機器であり、楽曲分類の結果を利用者に提示するものである。
なお、入力装置10及び表示装置40は、楽曲分類装置1と一体化して1つの装置としてもよいし、入力装置10及び表示装置40を備えたコンピュータ(不図示)をクライアント側、楽曲分類装置1をサーバ側としてネットワーク等の通信回線(不図示)を介して構成してもよい。
次に、本実施例における楽曲分類装置1の動作について、図2のフローチャートを併せ参照して説明する。利用者は、入力装置10から分類開始を指示すると、制御手段20は処理を開始する。まず、制御手段20は、印象語格納手段31を検索して印象語が割り当てられていない1曲以上の楽曲を検出し、検出された楽曲の中から1曲を選択する(ステップS1)。なお、検出された1曲以上の楽曲を特定する情報、例えばコンテンツIDは、制御手段20が有する内部メモリ(不図示)に一旦記憶しておく。
次に、ステップS1によって選出された1つの楽曲について、書誌情報取得手段21は、書誌情報格納手段33から当該楽曲のコンテンツIDに対応した書誌情報を読み出す(ステップS2)。書誌情報格納手段33に格納されている書誌情報のフォーマットの例を図3に示す。同図によれば、タイトル名、アーティスト名、ジャンル名、年代等の書誌情報がコンテンツIDに関連付けされている。
次に、書誌情報変換手段22は、書誌情報取得手段21で取得された書誌情報を書誌情報印象語に変換する(ステップS3)。この書誌情報印象語への変換処理は、タイトル名、アーティスト名、ジャンル名、年代等の書誌情報の各項目の1つ以上の項目に基づき所定の変換テーブルを用いて行われる。ここで、タイトル名から書誌情報印象語に変換するための変換テーブルの例を図4に示す。同図に示すとおり、書誌情報のタイトル名に「ノクターン」という文字列が含まれる場合は、この楽曲に「静か」という書誌情報印象語を割り当て、またタイトル名に「パストラル」という文字列が含まれる場合は、「素朴」という書誌情報印象語を割り当てるものである。
また、書誌情報のジャンル名から書誌情報印象語への変換を行うための変換テーブルの例を図5に示す。同図に示すとおり、「Easy Listening」は「穏やか」、「New Age」は「静か」というように割り当てられる。また、「House」は「ノリの良い」及び「洗練された」に割り当てられるが、このように複数の書誌情報印象語を割り当てるようにしてもよい。また、「Rock」には何も割り当てられていないが、これは「Rock」というジャンルだけでは主観的な印象を特定し難いためである。「Rock」や「Pops」というようなカバーする曲調の範囲が広い曲は、書誌情報印象語を定めなくてもよい。さらに、「詩の朗読」等の非音楽ジャンルの場合は、「その他」というラベル付けをして通常の楽曲と区分しておく。
本実施例では、上述したように変換テーブルに書誌情報印象語自体を格納した例を用いるが、これ以外にも書誌情報印象語に対応させたコードや番号を用いて変換テーブルを構成してもよい。また、本実施例では、書誌情報印象語の例として、「穏やか」、「静か」、「ノリの良い」、「洗練された」等を用いるが、これらに限定するものではなく、例えば、「ドライブ」、「食事」等の生活シーンを表わす用語を用いてもよいし、「春」、「朝」、「雨」等の季節、時間帯、天候を表わす用語を用いてもよい。
また、書誌情報の年代から書誌情報印象語へ変換する場合、例えば、「1960年以前」の楽曲ならば「素朴」という書誌情報印象語に割り当てるといった処理を行う。また、否定形を用いることもできる。例えば、他の書誌情報と組み合わせた場合に、「1980年以前」に発売された楽曲では、当時の録音環境や使用楽器を鑑みて「激しい」といった書誌情報印象語には割り当てないということもできる。この否定形についての説明は後述する。
書誌情報のアーティスト名から書誌情報印象語へ変換を行うこともできる。図6に示す例では、アーティスト名「A」は「力強い」という書誌情報印象語に割り当てられ、アーティスト「B」は「静か」という書誌情報印象語に割り当てられる。また、アーティスト「C」は「穏やか」という書誌情報印象語には割り当てられないといった否定形も適用できる。
書誌情報に基づく書誌情報印象語への変換は、書誌情報の中の1つの項目のみを用いて変換してもよいし、複数の項目を組み合わせて用いて変換してもよい。複数の項目を組み合わせて書誌情報印象語に変換する例を図7に示す。図7の例では、まず、ジャンル名が「Easy Listening」であるため書誌情報印象語として「穏やか」が得られ、タイトル名が「パストラル」であるため「素朴」が得られ、そしてアーティスト名が「AAA」であるため「穏やか」が得られて、最終的に重複している「穏やか」と単独の「素朴」との論理和によって書誌情報印象語が割り当てられたものである。
図8は、前述した否定形を利用して書誌情報の複数の項目から書誌情報印象語を得る例を示したものである。同図に示すように、書誌情報変換手段22は、取得された書誌情報のジャンル名が「Soul」であるため書誌情報印象語として「情熱的」が得られ、タイトル名が「パワフル」であるため「力強い」が得られ、アーティスト名が「ABC」であるため「力強い」の否定形が得られ、そして年代が「1975年」であるため「激しい」の否定形が得られる。そして、タイトル名から得られた「力強い」は、アーティスト名に基づく変換によって否定されているために割り当てを行わない。また、年代で「激しい」を否定しているが、他の項目に基づく変換に「激しい」はないためこの情報は利用しない。このようにして、最終的に割り当てられる印象語は「情熱的」のみとなる。
次に、特徴量算出手段23は、楽曲格納手段32に格納された楽曲の音響信号を読み出して音響特徴量を算出する(ステップS4)。音響特徴量の算出については、例えば、特開平6−290574号公報や特開2002−278547号公報等に開示された技術が適用できる。特徴量算出手段23によって算出された音響特徴量の例を図9に示す。同図において、音響特徴量は1〜NまでのN次元ベクトルであり、コンテンツID1に関連付けられた楽曲の特徴量1は「0.012003」、特徴量2は「0.129869」のようになっている。
次に、ステップS4で得られた音響特徴量は、特徴量変換手段24によって特徴量印象語に変換される(ステップS5)。なお、特徴量印象語のバリエーションは、書誌情報印象語のバリエーションと一致しなくてもよい。音響特徴量から特徴量印象語に変換する方法としては、公知の決定木、ベイズルール、ニューラルネットワーク等による方法を適用することができる。
特徴量変換手段24に決定木を用いて音響特徴量を特徴量印象語に変換する例を図10に示す。同図によれば、特徴量3の値が「0.52以上」で、特徴量1の値が「120以上」の楽曲の場合、この楽曲は「力強い」という特徴量印象語に分類されることを示している。
また、ベイズルールを利用して特徴量変換手段24を構成した場合の例について説明する。まず、音響特徴量xをN次元ベクトル(x1、x2、x3・・・xN)とし、M種類の特徴量印象語があるものとする。
Figure 0004622808
数1を用いて、音響特徴量xに対して、ある一つの特徴量印象語Ck(k=1〜M)を対応させる。ここで、P(Ci|x)は、音響特徴量がxである場合に特徴量印象語がCi(i=1〜M)となる条件付き確率であり、P(x|Ci)は、特徴量印象語がCiである場合に音響特徴量がxとなる条件付き確率であり、P(Ci)は、特徴量印象語がCiである事前確率を表わす。
すなわち、M種類の特徴量印象語に対する事前確率P(Ci)(i=1〜M)と、条件付き確率P(x|Ci)(i=1〜M)とを特徴量変換手段24に予め格納しておき、これらの積が最大となる特徴量印象語Ckを特徴量変換手段24の出力とすればよい。また特徴量印象語Ckに加えて、このときの確率P(Ck|x)を後述する確率値として出力する。
また、ニューラルネットワークを用いて特徴量変換手段24を構成した場合の例について説明する。ニューラルネットワークによる構成例としては種々のものを用いることができるが、図11に3層ニューラルネットワークを用いた例を示す。同図によれば、3層ニューラルネットワークは、N個の音響特徴量に対応した入力層と、M個の特徴量印象語に対応した出力層と、中間層とを有している。そして、最大値をとる出力層に対応した特徴量印象語を特徴量変換手段24の出力とする。さらに、そのときの出力層の値を後述する確率値として出力する。
図2のフローチャートの説明に戻り、ステップS5の処理の後、印象語統合手段25によって、書誌情報印象語と特徴量印象語との統合判定処理を行い最終的に楽曲に割り当てる印象語を決定する(ステップS6)。印象語統合手段25による統合判定処理のフローチャートの例を図12に示す。同図によれば、まず、書誌情報取得手段21によって取得された書誌情報の項目の1つであるジャンル名に基づき、書誌情報変換手段22によって非音楽コンテンツ(例えば、詩の朗読や語学の学習教材等)であるか否かを判定する(ステップS100)。一方として、この判定によって非音楽コンテンツと判定された場合は、特徴量印象語は適用せず書誌情報印象語のみを適用する(ステップS151)。
他方、楽曲が通常の音楽コンテンツであると判定された場合、書誌情報印象語と特徴量印象語との適合度を図13に例示した適合度テーブルを参照して取得し、取得された適合度と予め設定された適合度閾値とに基づき、両方の印象語を採択するか、又はいずれか一方を採択するかを決定する(ステップS110)。図13の例では、「力強い」及び「静か」の適合度は「0.05」と低く設定されており、「ノリの良い」及び「力強い」の適合度は「0.9」と高く設定されている。これは、「力強い」及び「静か」という2つの印象語は相反する意味を有しているため共存し難く、「ノリの良い」及び「力強い」という2つの印象語は類似の意味を有して親和性が高いため共存し易いということを示している。そして、この適合テーブルから取得された適合度と予め設定された適合度閾値から、印象語の採否を決定する。
ステップS110での判定において、取得された適合度が適合度閾値より大きければ両方の印象語を出力する(ステップS153)。なお、書誌情報印象語に何も印象語が割り当てられていない場合も、適合度が高いと判定するものとして特徴量印象語を出力する。
一方、書誌情報印象語と特徴量印象語との適合度が適合度閾値以下である場合は、いずれか一方の印象語を破棄するために、特徴量変換手段24が確率値を出力する手法であるか否かを判定する(ステップS120)。ここで、前述した例においては、決定木は確率値を出力しない手法であり、ベイズルール及びニューラルネットワークは確率値を出力する手法である。
一方として、特徴量変換手段24が確率値を出力しない手法である場合、どちらの印象語を採用するかを予め決定しておきそのルールに従う(ステップS140)。
他方、特徴量変換手段24が確率値を出力する手法である場合、図14に示した例のように確率値閾値に基づきどちらの印象語を採用するかを決定する(ステップS130)。同図によれば、書誌情報印象語は「力強い」が割り当てられ、特徴量印象語は「静か」(確率値は「0.48」)が割り当てられた例である。この2つの印象語の適合度は「0.05」であり、予め設定されている適合度閾値「0.5」を下回っているため、確率値閾値を利用してどちらを出力するかを決定する。すなわち、確率値閾値が「0.4」ならば、特徴量変換手段24で割り当てられた特徴量印象語の「静か」を採用し(ステップS152)、確率値閾値が「0.5」ならば、書誌情報変換手段22で割り当てられた書誌情報印象語の「力強い」を採用する(ステップS151)。
図2のフローチャートの説明に戻り、ステップS6の後、楽曲に割り当てられた印象語は印象語格納手段31に格納される(ステップS7)。印象語格納手段31は、図15に例示したような形式で印象語を格納する。具体的には、楽曲格納手段32の楽曲と印象語とがコンテンツIDによって関連付けられて格納される。
次に、ステップS1によって選択された楽曲がまだ制御手段20内部のメモリに残っている場合は、その中から1曲を選択してステップS2からの処理を実行する。そして、メモリ上の全ての楽曲に印象語を割り当てた後に処理を終了する(ステップS8)。
以上の処理の後、印象語格納手段31に登録された印象語を用いて表示装置40に分類結果を表示させた例を図16に示す。同図において、図中の左側は、印象語格納手段31に登録された印象語のリストを表示して、「力強い」という印象語が利用者によって選択指示された状態を示したものであり、同図の右側は、選択指示されている「力強い」という印象語に関連付けられた楽曲それぞれに対応した書誌情報の一部が書誌情報格納手段33から読み出されて表示された状態を示したものである。
利用者は、同図のような表示装置40の表示を見ながら入力装置10を用いて所望の1曲を選択して再生指示を行うと、楽曲分類装置1に接続された不図示の音楽再生装置が選択された楽曲の再生を開始する。
以上詳述したように、実施例1によれば、楽曲の書誌情報から得られる書誌情報印象語と音響信号に基づく音響特徴量から得られる特徴量印象語とを用いて補完し合うことにより、楽曲により適切な印象語を割り当てることが可能となり、これにより楽曲分類の精度を従来方式よりも高めることができる。よって、利用者に対して従来よりも精度の高い楽曲分類を提供することができる。
本発明の実施形態である楽曲分類装置に基づく好ましい実施例2について説明する。実施例1では、書誌情報から書誌情報印象語への変換テーブルに確信度を設けていなかったが、本実施例においては、書誌情報から書誌情報印象語へ変換する変換テーブルに確信度を設けることによって書誌情報印象語と特徴量印象語との統合処理をより厳密に処理することを可能にした楽曲分類装置について説明する。ここで、確信度とは、書誌情報から書誌情報印象語への変換における数値化された当てはまり度合いを指すものである。
本実施例における楽曲分類装置の基本構成は、実施例1の説明における図1に示した楽曲分類装置1と同様である。概略動作については、図2に示したフローチャートと同様の流れであるが、その細部において書誌情報変換手段22、特徴量変換手段24、及び印象語統合手段25の処理が異なる。以下、特にこの相違点について説明し、機能及び動作が同一のものについてはその説明を省略する。
本実施例における図2に示したステップS3の処理について説明する。この処理においては、変換テーブルに使用されている全ての書誌情報印象語の集合を第1の印象語集合として、書誌情報変換手段22が、ベクトルの各次元を第1の印象語集合の各書誌情報印象語に対応させて、楽曲の各書誌情報印象語に対する当てはまり度合い(確信度の合計)をベクトル要素とした第1の印象ベクトルを出力するものである。
本実施例における書誌情報変換手段22には、上述したように書誌情報から書誌情報印象語へ変換する変換テーブルに確信度が設定されている。この確信度は予め決定された数値である。
まず、書誌情報のタイトル名から書誌情報印象語へ変換するための変換テーブルの例を図17に示す。同図に示したように、タイトル名に「ノクターン」という文字列が含まれていれば、「静か」という書誌情報印象語と確信度「0.75」とを取得する。
書誌情報のジャンル名から書誌情報印象語へ変換するための変換テーブルの例を図18に示す。同図によれば、楽曲のジャンル名が「House」ならば、書誌情報印象語として「ノリの良い」及び「洗練された」を取得するとともに、「ノリの良い」の確信度「0.95」と「洗練された」の確信度「0.6」とをそれぞれ取得する。
書誌情報のアーティスト名から書誌情報印象語へ変換するための変換テーブルの例を図19に示す。同図によれば、アーティスト名が「A」ならば書誌情報印象語として「力強い」と確信度「0.6」とを取得する。また、アーティスト名が「C」ならば、書誌情報印象語として「穏やか」を取得するとともに、その確信度が負の値である「−0.3」を取得する。
書誌情報の年代から書誌情報印象語へ変換するための変換テーブルの例を図20に示す。同図によれば、「1960年以前」の曲ならば、「素朴」という書誌情報印象語を取得するとともに、確信度「0.8」を取得する。また、「1980年以前」に発売された楽曲では、「激しい」という印象語には割り当てを行わないことを示す確信度「−0.5」を取得する。
以上のような書誌情報より取得された書誌情報印象語の確信度を、第1の印象ベクトルとして出力する。書誌情報変換手段22によって書誌情報の各項目から書誌情報印象語へ変換した例を図21に示す。同図によれば、書誌情報印象語を割り当てる楽曲のジャンル名が「Punk」、タイトル名が「Dance1」、アーティスト名が「BBB」、年代が「2001」の例である。そして、これらの書誌情報を確信度付きの書誌情報印象語に変換して書誌情報印象語毎に確信度の合計を求め、書誌情報印象度毎の確信度の合計を第1の印象ベクトルとして出力する。
図21の例では、第1の印象語集合{ノリの良い,力強い,静か,穏やか・・・}にそれぞれ対応する第1の印象ベクトルは、{0.9,0.9,−0.3・・・}である。なお、印象ベクトルの要素値が0となる要素を省略して、第1の印象ベクトルの次元数を削減するようにしてもよい。
次に、本実施例における特徴量変換手段24の実施例1との相違点を説明する。本実施例における特徴量変換手段24では、前述したベイズルール、ニューラルネットワーク等の確率値を出力する方法を用いる。特徴量変換手段24から出力され得る全ての特徴量印象語の集合を第2の印象語集合とする。第1の印象語集合と第2の印象語集合とは異なっていてもよい。
実施例1における特徴量変換手段24の出力は特徴量印象語であったが、本実施例における特徴量変換手段24は、ベクトルの各次元が第2の印象語集合の各特徴量印象語に対応し、楽曲の各特徴量印象語に対する当てはまり度合い(確率値)をベクトル要素とする第2の印象ベクトルを出力するものである。
図22にその具体例を示す。同図の例によれば、第2の印象語集合{力強い,穏やか,ノリの良い,・・・}に対応する第2の印象ベクトルは{0.122,0.049,0.697,・・・}であり、この第2の印象ベクトルを出力する。
次に、本実施例における図2のステップS6の印象語の統合判定処理について説明する。印象語統合手段25によって、書誌情報印象語と特徴量印象語との統合処理を行うという点では実施例1と同様の処理である。本実施例による印象語統合手段25の動作の例を図23のフローチャートに示す。同図によれば、印象語統合手段25の動作は、実施例1における図12のステップS110,S120,S130,S140,S152,及びS153の処理の替わりにステップS131が追加されたものである。ステップS100及びS151の処理については実施例1と同様であるため詳細な説明を省略する。
ステップS131においては、本実施例における書誌情報変換手段22から得られた第1の印象ベクトルと特徴量変換手段24から得られた第2の印象ベクトルとに基づき、楽曲にどの印象語を割り当てるかを決定する。具体的には、まず、第1の印象ベクトルと第2の印象ベクトルとの両ベクトルから、所定の値以上のベクトル要素とその要素に対応する印象語とを選択する。または、第1及び第2の印象ベクトルの各要素から、大きい要素値を有する順に所定の数だけベクトル要素及び印象語を選択する方法を用いてもよい。このようにして選択された印象語の集合(印象語セット)を楽曲に割り当てる。
この処理の一例を図24に示す。同図に示されたテーブルは、書誌情報変換手段22から得られた第1の印象ベクトルと、特徴量変換手段24から得られた第2の印象ベクトルとの各ベクトル要素を示したものである。例えば、前記所定の値を「0.5」とした場合、第1の印象ベクトルからは「力強い(0.7)」、第2の印象ベクトルからは「ノリの良い(0.56)」がそれぞれ選択されて楽曲の印象語セットとなる。
なお、第1及び第2の印象ベクトルを通して、要素値の大きい順に所定の個数の印象語を選択しても良い。例えば、所定の個数を「2」とした場合は、「力強い(0.7)」及び「ノリの良い(0.56)」が選択される。
このように、第1及び第2の印象ベクトルを用いて、所定の値以上の要素に対応した印象語、又は要素値の大きい順に所定の個数の印象語を選択することにより、楽曲の分類を従来よりも高い精度で行うことができる。
さらに、上述の方法によって形成された印象語セットが複数の印象語を含む場合は、任意の2つの印象語の組み合わせに対する適合度を用いて印象語の絞込みを行ってもよい。具体的には、制御手段20が、上述の方法によって選択した印象語の全ての組み合わせを作成した後、図13に示した適合度テーブルを参照して各組み合わせに対する適合度を取得する。そして、取得された適合度が予め設定された適合度閾値よりも大きな値である場合には、その2つの印象語をそのまま印象語セットに残す。一方、適合度が適合度閾値以下である場合は、印象語に対応する印象ベクトルのベクトル要素を調べて要素値の小さい方の印象語を印象語セットから削除する。
ここで、適合度を用いて印象語の絞り込みを行う具体例を示す。図25は、図24で取得された「力強い」及び「ノリの良い」の印象語の適合度を図13に示したような適合度テーブルを参照して取得した様子を示したものである。この印象語ペアの適合度は図13を参照すれば「0.9」であり、適合度閾値が「0.5」と設定されていた場合は、これを上回っているので印象語セットを変更せず「力強い」及び「ノリの良い」の両方を印象語として楽曲に割り当てる。一方、適合度閾値が「0.95」と設定されていた場合は、適合度がこの値よりも小さいので要素値の小さい印象語を印象語セットから削除する。すなわち、図24に示したように、「力強い」の要素値が「0.7」であり、「ノリの良い」の要素値「0.56」よりも大きいので「ノリの良い」を印象語セットから削除する。このように適合度を用いて印象語の絞り込みを行うことにより、更に楽曲分類の精度を向上させることができる。
以上詳述したように、実施例2によれば、書誌情報変換手段22における書誌情報から書誌情報印象語への変換に用いる変換テーブルに確信度を設けることにより、印象語の統合判定をより厳密に行うことができるため、楽曲分類の精度をより一層高めることができる。
本発明の実施形態である楽曲分類装置に基づく好ましい実施例3について説明する。実施例2では、書誌情報変換手段22から得られた第1の印象ベクトルと、特徴量変換手段24から得られた第2の印象ベクトルとを別々に扱ったが、本実施例では、書誌情報変換手段22と特徴量変換手段24とからそれぞれ得られたベクトルを統合して、そのベクトルの要素値から印象語に変換することを特徴としている。
本実施例における楽曲分類装置の基本構成は、実施例1及び2の説明における図1に示した楽曲分類装置1と同一である。概略動作についても、図2に示したフローチャートと同一の流れである。但し、実施例2では、第1の印象語集合と第2の印象語集合とが異なっていてもよいのに対し、本実施例ではこれらが同一であることが相違点である。すなわち、実施例2で説明した第1及び第2の印象語集合を、本実施例では単に「印象語集合」とする。本実施例における印象語集合は、書誌情報変換手段22の変換テーブルに使用されている全ての印象語の集合である。
その他の実施例2からの変更点は印象語統合手段25に関する部分である。以下にその変更点について説明する。本実施例における印象語統合手段25の動作の例を図26のフローチャートに示す。同図のフローチャートにおいては、実施例2における印象語統合手段25のステップS131に代わってステップS132及びS133が追加されている。ステップS100及びS151の動作に関しては、実施例1と同一のため説明を省略する。また、本実施例においても、実施例2と同様に、特徴量変換手段24では前述したベイズルールやニューラルネットワーク等の確率値を出力する手法を用いる。
以下、ステップS100において対象が音楽コンテンツであると判定された場合の動作について説明する。まず、実施例2で説明した書誌情報変換手段22から得られる第1の印象ベクトルと、特徴量変換手段24から得られる第2の印象ベクトルとの統合処理を行う(ステップS132)。具体的には、書誌情報変換手段22と特徴量変換手段24とから出力された第1及び第2の印象ベクトルについて要素値毎にそれぞれ加算する処理を行う。このようにして算出された印象ベクトルを統合印象ベクトルと称する。
図27に統合印象ベクトルを算出した例を示す。同図では、各印象語に対応する第1及び第2の印象ベクトルの各要素値をそれぞれ加算して統合印象ベクトルを算出した様子を示している。
次に、算出された統合印象ベクトルからどの印象語を割り当てるかを決定する(ステップS133)。具体的には、ステップS132で算出された統合印象ベクトルの各要素値に対して、予め設定された所定の値以上の統合印象ベクトルの要素値を選択するとともに、選択された要素値に対応する印象語を選択する。または、統合印象ベクトルの各要素値を値の大きい順に所定個数分選択するとともに、選択された要素値に対応する印象語を選択するようにしてもよい。このようにして選択された印象語の集合(印象語セット)を楽曲に割り当てる。
図27の例で示したように算出された統合印象ベクトルに対して前記所定の値を「0.5」に設定した場合、印象語として「穏やか」のみが選択される。また、所定の値が「0.4」である場合、印象語は「力強い」、「穏やか」、及び「ノリの良い」が選択される。また、所定個数を3とした場合、ベクトル要素を大きい順に選択する方法では、「穏やか(0.9)」、「ノリの良い(0.45)」、及び「力強い(0.42)」の印象語が選択される。
このように、統合印象ベクトルを用いて、所定の値以上の要素に対応した印象語、又は要素値の大きい順に所定個数の印象語を選択することにより、楽曲の分類を従来よりも高い精度で行うことができる。
また、上記の方法で形成された印象語セットが複数の印象語を含む場合に、任意の2つの印象語の組み合わせに対する適合度を用いて印象語の絞込みを行ってもよい。具体的には、制御手段20が印象語セットの全ての印象語の組み合わせを作成し、図13に示した適合度テーブルを参照して各組み合わせに対する適合度を取得する。そして、取得された適合度が予め設定された適合度閾値よりも大きな値である場合には、その2つの印象語をそのまま印象語セットに残す。一方、適合度が適合度閾値以下である場合は、印象語に対応する印象ベクトルのベクトル要素を調べ、要素値の小さい方の印象語を印象語セットから削除する。
ここで、適合度を用いて印象語の絞り込みを行う具体例を示す。印象語セットには「力強い」、「穏やか」、及び「ノリの良い」が含まれるものとし、各印象語の組み合わせと適合度は、図28の上表に示した値であり、適合度閾値は、「0.5」であるとする。この場合、「力強い」及び「穏やか」の組み合わせが適合度閾値を下回っているため、統合印象ベクトルの各要素値に基づきどちらを採用するかを決定する。「力強い」の統合印象ベクトルの要素値が「0.42」であり、「穏やか」の統合印象ベクトルの要素値が「0.9」であるため、「穏やか」を採用して「力強い」を印象語セットから削除する。
「ノリの良い」については、適合度閾値を下回る組み合わせは見つからないため、印象語セットにそのまま残しておく。最終的には楽曲に対して「穏やか」及び「ノリの良い」を割り当てる。このように適合度を用いて印象語の絞り込みを行うことにより、更に楽曲分類の精度を向上させることが出来る。
以上詳述したように、実施例3によれば、書誌情報変換手段22から得られた第1の印象ベクトルと特徴量変換手段24から得られた第2の印象ベクトルとを統合して扱うことにより、どの印象語を割り当てるかについての総合的な判定を厳密に行うことができるため、より利用者のイメージに近い印象語を楽曲に割り当てることができる。
なお、各実施例において説明した図2のフローチャートにおいて、ステップS2とステップS4及びS5との処理の順番は、ステップS4,S5,S2の順番で処理してもよい。
また、各実施例における各機能の処理はCPUを制御するコンピュータプログラムによって実現することができる。
本発明は、特に音楽コンテンツが多数記録される記録メディアを備えた音楽再生装置や、音楽配信サービスによってネットワーク経由でダウンロードされた音楽コンテンツを記録したパーソナルコンピュータ等における楽曲分類について有用である。
本発明の実施例1〜3における楽曲分類装置1の概略構成を示したブロック図である。 本発明の実施例1〜3における楽曲分類装置1の動作を説明するためのフローチャートである。 本発明の実施例1〜3における書誌情報格納手段33に格納されている書誌情報のフォーマットの例を示した図である。 本発明の実施例1における書誌情報変換手段22に設定されているタイトル名から書誌情報印象語に変換するための変換テーブルの例を示した図である。 本発明の実施例1における書誌情報変換手段22に設定されているジャンル名から書誌情報印象語に変換するための変換テーブルの例を示した図である。 本発明の実施例1における書誌情報変換手段22に設定されているアーティスト名から書誌情報印象語に変換するための変換テーブルの例を示した図である。 本発明の実施例1における書誌情報変換手段22によって複数の書誌情報から書誌情報印象語へ変換した例を示した図である。 本発明の実施例1における書誌情報変換手段22によって複数の書誌情報から書誌情報印象語へ否定形を用いて変換した例を示した図である。 本発明の実施例1〜3における特徴量算出手段23によって算出された音響特徴量の例を示した図である。 本発明の実施例1における特徴量変換手段23に設定されている音響特徴量から特徴量印象語へ決定木を用いて変換を行う例を示した図である。 本発明の実施例1〜3における特徴量変換手段23で設定されている音響特徴量から特徴量印象語へ3層ニューラルネットワークを用いて変換を行う例を示した図である。 本発明の実施例1における印象語統合手段25の統合判定処理の動作を説明するためのフローチャートである。 本発明の実施例1〜3における印象語統合手段25に設定されている適合度テーブルの例を示した図である。 本発明の実施例1における印象語統合手段25による印象語の統合ルールの例を示した図である。 本発明の実施例1〜3における印象語格納手段31に格納される印象語のフォーマットの例を示した図である。 本発明の実施例1〜3における楽曲分類装置1の分類結果を表示装置40に表示した例の図である。 本発明の実施例2及び3における書誌情報変換手段22に設定されているタイトル名を書誌情報印象語とそれに対する確信度とに変換するための変換テーブルを示した図である。 本発明の実施例2及び3における書誌情報変換手段22に設定されているジャンル名を書誌情報印象語とそれに対する確信度とに変換するための変換テーブルを示した図である。 本発明の実施例2及び3における書誌情報変換手段22に設定されているアーティスト名を書誌情報印象語とそれに対する確信度とに変換するための変換テーブルを示した図である。 本発明の実施例2及び3における書誌情報変換手段22に設定されている年代を書誌情報印象語とそれに対する確信度とに変換するための変換テーブルを示した図である。 本発明の実施例2及び3における書誌情報変換手段22によって書誌情報の各項目から書誌情報印象語へ変換する例を示した図である。 本発明の実施例2及び3における特徴量変換手段23によって第2の印象ベクトルを出力する例を示した図である。 本発明の実施例2における印象語統合手段25の統合処理の動作を説明するためのフローチャートである。 本発明の実施例2における印象語統合手段25での第1及び第2の印象ベクトルの要素値に基づき印象語を取得する例を示した図である。 本発明の実施例2における印象語統合手段25での印象語のペアの適合度のチェックについて説明するための図である。 本発明の実施例3における印象語統合手段25の動作を説明するためのフローチャートである。 本発明の実施例3における印象語統合手段25によって統合印象ベクトルを算出する例を示した図である。 本発明の実施例3における印象語統合手段25で印象語を決定する動作の例を示した図である。
符号の説明
1 楽曲分類装置
10 入力装置
20 制御手段
21 書誌情報取得手段
22 書誌情報変換手段
23 特徴量算出手段
24 特徴量変換手段
25 印象語統合手段
30 格納手段
31 印象語格納手段
32 楽曲格納手段
33 書誌情報格納手段
40 表示装置

Claims (13)

  1. 楽曲を印象語によって分類する楽曲分類装置において、
    楽曲データの書誌情報に基づいて書誌情報印象語を生成する書誌情報変換手段と、
    前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成する特徴量変換手段と
    前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択する印象語統合手段と、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段と
    を備えることを特徴とする楽曲分類装置。
  2. 楽曲を印象語によって分類する楽曲分類装置において、
    楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段と、
    前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段と、
    当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択する印象語統合手段と、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段と
    を備えることを特徴とする楽曲分類装置。
  3. 楽曲を印象語によって分類する楽曲分類装置において、
    楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段と、
    前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段と、
    前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択する印象語統合手段と、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納する印象語格納手段と
    を備えることを特徴とする楽曲分類装置。
  4. 前記印象語統合手段で選択された少なくとも2つの印象語に対して、その2つの印象語の間の適合度と、所定の適合度閾値とに基づき、前記2つの印象語の両方を選択するか、あるいはいずれか一方を選択する印象語絞り込み手段を更に備え、
    前記印象語格納手段は、前記印象語統合手段が選択した印象語のうちの、前記印象語絞り込み手段が選択した印象語を前記楽曲データに関連付けて格納することを特徴とする請求項2または3に記載の楽曲分類装置。
  5. 前記書誌情報変換手段は、負の値を含む前記数値を生成することを特徴とする請求項2〜4のいずれか1項に記載の楽曲分類装置。
  6. 前記書誌情報変換手段は、楽曲データの書誌情報に基づいて、印象語と、その印象語が肯定形であるか否定形であるかを示す情報とを組合せて生成し、同一の楽曲データにおいて、同一の印象語に対応する肯定形の情報と否定形の情報とが両方存在する場合にその印象語を含まないように、前記書誌情報印象語を生成することを特徴とする請求項1〜5のいずれか1項に記載の楽曲分類装置。
  7. 前記書誌情報変換手段は、楽曲データの書誌情報の複数の項目に基づいて、一の前記書誌情報印象語を生成することを特徴とする請求項1〜6のいずれか1項に記載の楽曲分類装置。
  8. 楽曲を印象語によって分類する楽曲分類方法において、
    書誌情報変換手段が、楽曲データの書誌情報に基づいて書誌情報印象語を生成するステップと、
    特徴量変換手段が、前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成するステップと、
    印象語統合手段が、前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択するステップと、
    印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップと
    を有することを特徴とする楽曲分類方法。
  9. 楽曲を印象語によって分類する楽曲分類方法において、
    書誌情報変換手段が、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成するステップと、
    特徴量変換手段が、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成するステップと、
    印象語統合手段が、当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択するステップと、
    印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップと
    を有することを特徴とする楽曲分類方法。
  10. 楽曲を印象語によって分類する楽曲分類方法において、
    書誌情報変換手段が、楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成するステップと、
    特徴量変換手段が、前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成するステップと、
    印象語統合手段が、前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択するステップと、
    印象語格納手段が、前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて格納するステップと
    を有することを特徴とする楽曲分類方法。
  11. コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、
    コンピュータを、
    楽曲データの書誌情報に基づいて書誌情報印象語を生成する書誌情報変換手段、
    前記楽曲データの音響特徴量に基づいて音響特徴量印象語を生成する特徴量変換手段、
    前記書誌情報印象語と前記音響特徴量印象語との間の適合度と、所定の適合度閾値とに基づき、前記書誌情報印象語と前記音響特徴量印象語との両方を選択するか、あるいはいずれか一方を選択する印象語統合手段、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、
    として機能させることを特徴とする楽曲分類プログラム。
  12. コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、
    コンピュータを、
    楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段、
    前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段、
    当てはまり度合いを示す前記数値が所定値以上の印象語、または前記数値が大きい順に所定数の印象語を選択する印象語統合手段、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、
    として機能させることを特徴とする楽曲分類プログラム。
  13. コンピュータを、楽曲を印象語によって分類する楽曲分類装置として機能させる楽曲分類プログラムにおいて、
    コンピュータを、
    楽曲データの書誌情報に基づいて1つ以上の書誌情報印象語を生成し、その生成した1つ以上の書誌情報印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第1の数値を、その1つ以上の書誌情報印象語それぞれについて生成する書誌情報変換手段、
    前記楽曲データの音響特徴量に基づいて1つ以上の音響特徴量印象語を生成し、その生成した1つ以上の音響特徴量印象語それぞれに対する前記楽曲データの当てはまり度合いを示す第2の数値を、その1つ以上の音響特徴量印象語それぞれについて生成する特徴量変換手段、
    前記書誌情報印象語と前記音響特徴量印象語とが同一の印象語である場合に、その印象語に対応する前記第1の数値と前記第2の数値との加算値を算出し、前記加算値が所定値以上の印象語、または前記加算値が大きい順に所定数の印象語を選択する印象語統合手段、
    前記印象語統合手段が選択した印象語を前記楽曲データに関連付けて印象語格納手段に格納する手段、
    として機能させることを特徴とする楽曲分類プログラム。
JP2005314250A 2005-10-28 2005-10-28 楽曲分類装置、楽曲分類方法、楽曲分類プログラム Active JP4622808B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005314250A JP4622808B2 (ja) 2005-10-28 2005-10-28 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
US11/544,864 US7544881B2 (en) 2005-10-28 2006-10-10 Music-piece classifying apparatus and method, and related computer program
US12/453,214 US7745718B2 (en) 2005-10-28 2009-05-01 Music-piece classifying apparatus and method, and related computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005314250A JP4622808B2 (ja) 2005-10-28 2005-10-28 楽曲分類装置、楽曲分類方法、楽曲分類プログラム

Publications (3)

Publication Number Publication Date
JP2007122442A JP2007122442A (ja) 2007-05-17
JP2007122442A5 JP2007122442A5 (ja) 2009-05-28
JP4622808B2 true JP4622808B2 (ja) 2011-02-02

Family

ID=38045970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005314250A Active JP4622808B2 (ja) 2005-10-28 2005-10-28 楽曲分類装置、楽曲分類方法、楽曲分類プログラム

Country Status (2)

Country Link
US (2) US7544881B2 (ja)
JP (1) JP4622808B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142563B (zh) * 2005-03-18 2010-06-16 索尼株式会社 信息设置装置及方法、信息获取装置及方法
JP4622808B2 (ja) * 2005-10-28 2011-02-02 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
JP4622829B2 (ja) * 2005-11-29 2011-02-02 日本ビクター株式会社 楽曲検索再生装置、楽曲検索再生方法、印象語設定プログラム
US20070276668A1 (en) * 2006-05-23 2007-11-29 Creative Technology Ltd Method and apparatus for accessing an audio file from a collection of audio files using tonal matching
US20110208703A1 (en) * 2006-05-24 2011-08-25 Damien Fisher Selectivity estimation
JP4665836B2 (ja) * 2006-05-31 2011-04-06 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム
US20080156173A1 (en) * 2006-12-29 2008-07-03 Harman International Industries, Inc. Vehicle infotainment system with personalized content
CN102610222B (zh) * 2007-02-01 2014-08-20 缪斯亚米有限公司 音乐转录的方法,系统和装置
US7838755B2 (en) * 2007-02-14 2010-11-23 Museami, Inc. Music-based search engine
JP2008241850A (ja) * 2007-03-26 2008-10-09 Sanyo Electric Co Ltd 録音または再生装置
JP4882918B2 (ja) * 2007-08-21 2012-02-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8494257B2 (en) 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
JP5104709B2 (ja) * 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
US8983945B1 (en) * 2011-08-15 2015-03-17 Google Inc. Matching video content to video bibliographic data
JP2014191550A (ja) * 2013-03-27 2014-10-06 Intelligent Wave Inc コンテンツ検索サーバ、コンテンツ検索装置及びコンテンツの検索方法
US20150090099A1 (en) * 2013-10-01 2015-04-02 David Michael Hawkins Method for Transforming a Poem into a Song
US11132983B2 (en) 2014-08-20 2021-09-28 Steven Heckenlively Music yielder with conformance to requisites
JP2016057570A (ja) * 2014-09-12 2016-04-21 ヤマハ株式会社 音響解析装置
US9756281B2 (en) 2016-02-05 2017-09-05 Gopro, Inc. Apparatus and method for audio based video synchronization
CN106095943B (zh) * 2016-06-14 2018-09-21 腾讯科技(深圳)有限公司 演唱歌曲熟识广度检测方法和装置
US9697849B1 (en) 2016-07-25 2017-07-04 Gopro, Inc. Systems and methods for audio based synchronization using energy vectors
US9640159B1 (en) 2016-08-25 2017-05-02 Gopro, Inc. Systems and methods for audio based synchronization using sound harmonics
US9653095B1 (en) * 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
US9916822B1 (en) 2016-10-07 2018-03-13 Gopro, Inc. Systems and methods for audio remixing using repeated segments
JP7375302B2 (ja) * 2019-01-11 2023-11-08 ヤマハ株式会社 音響解析方法、音響解析装置およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290574A (ja) * 1993-03-31 1994-10-18 Victor Co Of Japan Ltd 楽曲検索装置
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
JP2004110422A (ja) * 2002-09-18 2004-04-08 Double Digit Inc 曲分類装置、曲分類方法、及びプログラム
JP2004326840A (ja) * 2003-04-21 2004-11-18 Pioneer Electronic Corp 音楽データ選曲装置、音楽データ選曲方法、並びに、音楽データの選曲プログラムおよびそれを記録した情報記録媒体
JP2005301921A (ja) * 2004-04-15 2005-10-27 Sharp Corp 楽曲検索システムおよび楽曲検索方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144958A (en) * 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
US7075000B2 (en) * 2000-06-29 2006-07-11 Musicgenome.Com Inc. System and method for prediction of musical preferences
EP1241588A3 (en) * 2001-01-23 2006-01-04 Matsushita Electric Industrial Co., Ltd. Audio information provision system
JP4027051B2 (ja) 2001-03-22 2007-12-26 松下電器産業株式会社 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体
JP4622808B2 (ja) * 2005-10-28 2011-02-02 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
JP4665836B2 (ja) * 2006-05-31 2011-04-06 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム
JP4962067B2 (ja) * 2006-09-20 2012-06-27 株式会社Jvcケンウッド 楽曲再生装置、楽曲再生方法、および楽曲再生プログラム
JP5115966B2 (ja) * 2007-11-16 2013-01-09 独立行政法人産業技術総合研究所 楽曲検索システム及び方法並びにそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290574A (ja) * 1993-03-31 1994-10-18 Victor Co Of Japan Ltd 楽曲検索装置
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
JP2004110422A (ja) * 2002-09-18 2004-04-08 Double Digit Inc 曲分類装置、曲分類方法、及びプログラム
JP2004326840A (ja) * 2003-04-21 2004-11-18 Pioneer Electronic Corp 音楽データ選曲装置、音楽データ選曲方法、並びに、音楽データの選曲プログラムおよびそれを記録した情報記録媒体
JP2005301921A (ja) * 2004-04-15 2005-10-27 Sharp Corp 楽曲検索システムおよび楽曲検索方法

Also Published As

Publication number Publication date
US7544881B2 (en) 2009-06-09
US20090217806A1 (en) 2009-09-03
US20070106406A1 (en) 2007-05-10
JP2007122442A (ja) 2007-05-17
US7745718B2 (en) 2010-06-29

Similar Documents

Publication Publication Date Title
JP4622808B2 (ja) 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
US8170702B2 (en) Method for classifying audio data
US20160267177A1 (en) Music steering with automatically detected musical attributes
US8321414B2 (en) Hybrid audio-visual categorization system and method
JP4678546B2 (ja) 推薦装置および方法、プログラム、並びに記録媒体
JP2005526340A (ja) プレイリストの生成、配信およびナビゲーション
JP5359534B2 (ja) 情報処理装置および方法、並びにプログラム
US9576050B1 (en) Generating a playlist based on input acoustic information
WO2006134866A1 (ja) 情報処理装置、方法、およびプログラム
WO2009044341A2 (en) Classifying a set of content items
CN100403299C (zh) 信息处理设备、信息处理方法
JP5477635B2 (ja) 情報処理装置および方法、並びにプログラム
JP4560544B2 (ja) 楽曲検索装置、楽曲検索方法および楽曲検索プログラム
KR101942459B1 (ko) 음원 컨텐츠 및 메타 정보를 이용한 플레이리스트 자동 생성 방법 및 시스템
US20090132508A1 (en) System and method for associating a category label of one user with a category label defined by another user
EP1531405B1 (en) Information search apparatus, information search method, and information recording medium on which information search program is recorded
JP4305836B2 (ja) コンテンツ検索表示装置およびコンテンツ検索表示方法
JP2008059383A (ja) コンテンツ提示装置及びコンピュータプログラム
JP2007183927A (ja) 情報処理装置および方法、並びにプログラム
Kaneria et al. Prediction of song popularity using machine learning concepts
JP2010165160A (ja) 楽曲分類装置、楽曲検索システム及びコンピュータプログラム
JP4544098B2 (ja) コンテンツ検索装置
Foucard et al. Exploring new features for music classification
JP4573684B2 (ja) 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体
JP2006323438A (ja) 楽曲検索システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

R151 Written notification of patent or utility model registration

Ref document number: 4622808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350