JP2006285439A - 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体 - Google Patents

情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体 Download PDF

Info

Publication number
JP2006285439A
JP2006285439A JP2005102305A JP2005102305A JP2006285439A JP 2006285439 A JP2006285439 A JP 2006285439A JP 2005102305 A JP2005102305 A JP 2005102305A JP 2005102305 A JP2005102305 A JP 2005102305A JP 2006285439 A JP2006285439 A JP 2006285439A
Authority
JP
Japan
Prior art keywords
music
matching
song
search
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005102305A
Other languages
English (en)
Other versions
JP4573684B2 (ja
Inventor
Katsunori Arakawa
克憲 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2005102305A priority Critical patent/JP4573684B2/ja
Publication of JP2006285439A publication Critical patent/JP2006285439A/ja
Application granted granted Critical
Publication of JP4573684B2 publication Critical patent/JP4573684B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】使用者の主観により合致した曲を検索することが可能な情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体を提供することを目的の1つとする。
【解決手段】各曲毎に音楽特徴量を蓄積する手段と、検索語毎に、合致曲および非合致曲を蓄積する手段と、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を蓄積する検索特徴量蓄積手段と、使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力手段と、前記入力手段で入力された検索語に合致する曲を検索する検索手段と、前記合致履歴蓄積手段に検索語毎に蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して前記検索特徴量蓄積手段に記録する検索特徴量算出手段とを備えている。
【選択図】 図1

Description

本発明は、情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体に関し、詳細には、複数の曲の中から一又は複数の曲を検索する情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体に関する。
近年、例えば車載用のナビゲーション装置や家庭用のサーバ装置等、多数の曲を再生するためのデジタルデータを蓄積し、この中から好きな曲を選んで再生することが行われつつある。
この場合、使用者の主観を反映した曲検索方法として、特許文献1が公知である。同文献では、各検索キーワード(例えば、「陽気な曲」、「スカッとする曲」)と各特徴ワード(例えば、「明るさ」、「元気」)との相関値を含むと共に更新可能な感性テーブルを用意すると共に、各特徴ワードに係る特徴の有無を“1”と“0”とで示す特徴ワードリストを用意し、使用者が所望の検索キーワードを入力すると、これに合致する複数の曲を、感性テーブル及び特徴ワードリストを基準に検索する。
特開2003−132085号公報(第1図〜第3図)
しかしながら、上記曲検索方法にあっては、使用者が入力する検索キーワードについてのみの感性テーブルを使用する構成であるため、検索されるべき曲との相関関係が考慮されておらず、結果として適切な曲が検索されない場合があるという問題がある。
本発明は、上記に鑑みてなされたものであり、使用者の主観により合致した曲を検索することが可能な情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体を提供することを目的の1つとする。
上記した課題を解決して、本発明の目的を達成するために、本発明は、複数の曲の中から一又は複数の曲を検索する情報検索装置において、各曲毎に音楽特徴量を蓄積する音楽特徴量蓄積手段と、検索語毎に、合致曲および非合致曲を蓄積する合致履歴蓄積手段と、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を記録した検索特徴量蓄積手段と、使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力手段と、前記入力手段で入力された検索語に合致する曲を検索する検索処理を実行する検索手段と、前記合致履歴蓄積手段に検索語毎に蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して前記検索特徴量蓄積手段に記録する検索特徴量算出処理を実行する検索特徴量算出手段と、を備え、前記検索手段は、前記検索処理では、(A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、(B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、(C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、前記検索特徴量算出手段は、前記検索特徴量算出処理では、(A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、(B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、(C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、(D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を検索特徴量蓄積手段に記録することを特徴とする。
また、上記した課題を解決して、本発明の目的を達成するために、本発明は、複数の曲の中から一又は複数の曲を検索する情報検索方法において、使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力工程と、前記入力工程で入力された検索語に合致する曲を検索する検索工程と、検索語毎に合致曲および非合致曲を蓄積する合致履歴蓄積手段を参照して、蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して、検索特徴量蓄積手段に、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を記録する検索特徴量算出工程と、を含み、前記検索処理では、(A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、(B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、(C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、前記検索特徴量算出工程では、(A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、(B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、(C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、(D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を検索特徴量蓄積手段に記録することを特徴とする。
また、上記した課題を解決して、本発明の目的を達成するために、本発明は、コンピュータに、複数の曲の中から一又は複数の曲を検索させる情報検索用プログラムにおいて、使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力工程と、前記入力工程で入力された検索語に合致する曲を検索する検索工程と、検索語毎に合致曲および非合致曲を蓄積する合致履歴蓄積手段を参照して、蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して、検索特徴量蓄積手段に、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を記録する検索特徴量算出工程と、をコンピュータに実行させ、前記検索処理では、(A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、(B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、(C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、前記検索特徴量算出工程では、(A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、(B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、(C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、(D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を検索特徴量蓄積手段に記録することを特徴とする。
以下に、この発明につき最良な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではなく、また、実施の形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必要であるとは限らない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。
図1は本発明に係る情報検索装置の構成例を示す図である。図1に示す情報検索装置は、使用者の嗜好に合った曲を音楽特徴量を用いて検索するものである。本発明に係る情報検索装置は、図1に示すように、曲入力部1と、曲データベース2と、音楽特徴量生成部3と、音楽特徴量データベース4と、合致履歴データベース5と、検索特徴量算出部6と、検索処理部7と、操作部8と、曲出力部9とを備えている。
曲入力部1は、曲データベース2に、曲IDをキーとして曲データ(音声ファイル)を記録する。曲データベース2は、曲IDに対応させて曲データ(音声ファイル)を蓄積している。音楽特徴量生成部3は、曲データベース2に新たな曲データが記録された場合に、その曲基本情報および音楽特徴量を生成して、曲IDをキーとして、曲基本情報および音楽特徴量を音楽特徴量データベース4に記録する。ここで、曲基本情報は、タイトル名やアーティスト名等である。また、音楽特徴量は、例えば、BPM(曲の速さ:Beet Per Minutes)、録音レベル、最大音量(その曲の最大出力レベル)、平均音量(その曲の平均出力レベル)、その曲に含まれるコード、その曲のビートレベル(すなわち、その曲のビート成分の信号レベル(大きさ))、その曲の調(ハ長調又はイ短調等の調)等のパラメータである。
音楽特徴量データベース4は、曲ID、曲基本情報、および音楽特徴量を関連づけて蓄積している。図2は、音楽特徴量データベース4の構成例を示す図である。同図に示す例では、曲IDに対応させて、曲基本情報(曲名、・・・)および音楽特徴量(BPM、録音レベル、・・・)のデータが蓄積されている。
合致履歴データベース5は、検索語毎に、合致曲ID、非合致曲ID、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を蓄積している。ここで、検索語としては、例えば、「心あたたまる」、「勇気付けられる」、「悲しい」、「さみしい」、「明るい」、「楽しい」等の感情語を使用することができる。図3は、合致履歴データベース5の構成例を示す図である。合致履歴データベース5は、図3に示すように、検索毎に、合致曲リストおよび非合致曲リストからなる合致履歴リスト5a、並びに検索特徴量リスト5bを備えている。
合致履歴リスト5aには、検索処理部7の検索処理(図6参照)で検索された候補曲が検索語に合致しているか否かの使用者の判定結果(合致曲ID、非合致曲ID)が履歴として記録される。検索特徴量リスト5bには、検索特徴量算出部6の検索特徴量算出処理(図7参照)で算出される、検索特徴量(合致曲の音楽特徴量の統計値である合致曲特徴量、第1の非合致曲集合の音楽特徴量の統計値である第1の非合致曲特徴量、および第2の非合致曲集合の音楽特徴量の統計値である第2の非合致曲特徴量)が記録される。ここで、統計値としては、例えば、平均値や分散値を使用することができるが、以下の説明では、統計値として平均値を使用した場合について説明する。
検索特徴量算出部6は、後述する検索特徴量算出処理を実行して、合致履歴データベース5の合致履歴リスト5aに記録された合致曲IDをキーとして、音楽特徴量データベース4から音楽特徴量を読み出して、その平均値を合致曲特徴量として算出して、合致履歴データベース5の検索特徴量リスト5bに記録する。例えば、図3に示す例では、検索語Aの場合には、合致曲ID「0001」、「0004」をそれぞれキーとして、音楽特徴量データベース4から音楽特徴量を読み出して、2つの音楽特徴量の平均値を算出する。音楽特徴量が複数のパラメータである場合には、各パラメータ毎に平均値を算出する。
また、検索特徴量算出部6は、合致履歴データベース5の非合致曲IDをキーとして、音楽特徴量データベース4から音楽特徴量を読み出し、上記で算出した合致曲特徴量を使用して、2つの非合致曲集合に分類する。具体的には、合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を持つ曲の集合を第1の非合致曲集合、合致曲特徴量より小さい大きい音楽特徴量を持つ曲の集合を第2の非合致曲集合とする。そして、第1および第2の非合致曲集合にそれぞれ属する曲の音楽特徴量の平均値を算出して、第1および第2の非合致曲特徴量として、合致履歴データベース5の検索特徴量リスト5bに記録する。
検索処理部7は、後述する検索処理を実行して、操作部8から入力される検索語に合致する候補曲を検索する。具体的には、音楽特徴量データベース4に蓄積された全曲の音楽特徴量と、合致履歴データベース5に蓄積されている前記検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、各距離のうち合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索する。
図4は、音楽特徴量と曲の分布の一例を示す図である。同図において、横軸は音楽特徴量(BPM)、縦軸は曲の存在割合を示している。図4において、検索語に不適切な音楽特徴量を1つの非合致曲特徴量で表す場合には、例えば、合致曲特徴量を挟むように両極に非合致曲の音楽特徴量が存在する場合には、大小の値で平均化され、適切な特徴量にならない。本実施の形態では、合致曲特徴量を境界にして、非合致曲集合を第1の非合致曲集合と第2の非合致曲集合との2つに分けることで、合致曲特徴量を挟むように両極に非合致曲の音楽特徴量が存在する場合にもその特徴量の値が大小の値で平均化されず、音楽のような使用者の検索語に対する印象が、ある程度の音楽特徴量に集中し、その値から離れるにつれて嗜好から外れていく場合においても、非合致曲集合の音楽特徴量が曖昧にならないため、検索語により合致した候補曲を検索することができる。
また、検索処理部7は、検索した候補曲が検索語に合致しているか否かの使用者の判定結果(合致曲ID、非合致曲ID)を当該検索語に対応する合致履歴リスト5aに記録する。候補曲メモリ7aは、検索処理部7が検索処理を行う場合にそのワークメモリとして使用される。
操作部8は、例えば、タッチパネル表示部で構成されており、使用者が検索語の入力、検索開始の指示、検索された候補曲の検索語との合致・非合致の入力、曲の再生の指示等を行うためのユーザインターフェィスである。図5−1は操作部8の検索開始画面の一例を示す図、図5−2は操作部8の検索結果画面の一例を示す図である。
図5−1に示す検索開始画面は、検索語を選択するための検索語選択欄11と、楽曲の検索の開始を指示するための検索ボタン12とを備えている。検索語選択欄11のカーソル11aを操作することで所望の検索語(例えば、「心あたたまる」、「勇気付けられる」、「悲しい」、「さみしい」、「明るい」、「楽しい」等)を選択し、検索ボタン12を押下すると、検索処理部7で選択した検索語に合致する曲の検索が実行される。同図に示す例では、検索語として、「明るい」が選択されている。
図5−2に示す検索結果画面には、検索処理部7の検索処理結果が表示される。検索結果画面は、検索結果表示欄(順位、タイトル名、アーティスト名)21、合致ボタン22、非合致ボタン23、再生ボタン24、巻戻しボタン25、早送りボタン26、再生曲表示欄(タイトル名、アーティスト名)27を備えている。
検索結果表示欄21には、検索処理部7で検索語に合致する候補曲の検索結果が合致度の高い順に表示される。検索結果表示欄21に表示された候補曲を、カーソル21aで選択することができる。選択した候補曲は再生ボタン24を押すことで、曲出力部9で再生することができる。再生中の曲は、再生曲表示欄(タイトル名、アーティスト名)27にそのタイトル名およびアーティスト名が表示される。また、選択した候補曲が検索語の印象に合致しているか否かを、合致ボタン22/非合致ボタン23で入力することができる。選択した候補曲が検索語の印象に合致している場合には、合致ボタン22を押下し、検索語の印象に合致していない場合には、非合致ボタン23を押下する。
曲出力部9は、検索処理部7の指示に従って、曲IDをキーとして、曲データベース2から曲データ(音声ファイル)を読み出して、再生や外部出力を行う。
図6は検索処理部7の検索処理を説明するためのフローチャートである。図6において、操作部8の検索開始画面(図5−1参照)で検索語が選択され、検索ボタン12が押下されると、検索処理部7は検索を開始する。まず、検索処理部7は、合致履歴データベース5の選択された検索語に対応する検索特徴量リスト5bから検索特徴量(合致曲特徴量T0、第1の非合致曲特徴量T1、第2の非合致曲特徴量T2)を取得する(ステップS1)。
つぎに、検索処理部7は、候補曲検索処理(ステップS2〜ステップS8)を実行して、音楽特徴量データベース4の曲IDが小さい順に、全曲をチェックし、候補曲を検索する。具体的には、検索処理部7は、まず、音楽特徴量データベース4から曲IDとその音楽特徴量Tを取得し(ステップS2)、その音楽特徴量Tと、検索特徴量(合致曲特徴量T0,第1の非合致曲特徴量T1,第2の非合致曲特徴量T2)との距離D0,D1,D2を、D0=|T−T0|、D1=|T−T1|、D2=|T−T2|としてそれぞれ算出する(ステップS3)。
検索処理部7は、算出した距離D0,D1,D2を比較し、距離D0が最小であるか否かを判断し(ステップS4)、距離D0が最小である場合には(ステップS4の「Yes」)、その曲を候補曲として、その曲IDおよび算出した距離D0を候補曲メモリ7aに保存する(ステップS5)。距離D0が最小でない場合には(ステップS4の「No」)、ステップS6に移行する。ステップS6では、検索処理部7は、全曲のチェックが終了したか否かを判断し、全曲のチェックが終了していない場合には、ステップS2に戻り、次の曲IDについて同様な処理を実行し、全曲のチェックが終了するまで繰り返し実行する(ステップ2〜ステップS6)。このようにして、候補曲メモリ7aには、検索語に合致する候補曲の曲IDおよび距離D0の一覧が格納される。
なお、複数の音楽特徴量(BPMと録音レベルなど)を組み合わせて検索を行う場合には、ステップS2〜ステップS6の処理を、それぞれの音楽特徴量に対して行う。それぞれの音楽特徴量ごとに検出された候補曲から、共通して候補曲となった曲(and条件をとる)を最終的な候補曲とすることができる。また、距離D0,D1,D2をそれぞれの音楽特徴量ごとに算出し、各音楽特徴量毎の距離D0,D1,D2を加算して、各加算した距離のうち、距離D0が最小となる曲を候補曲とすることにしてもよい。この合算する場合に、それぞれの距離を音楽特徴量の有効性で重み付けしてもよい。このように、複数の音楽特徴量を使用して検索を行うことで、より高精度な検索を行うことができる。
つづいて、検索処理部7は、検索候補メモリ7aに格納した候補曲について、距離D0で昇順にソートして検索結果として、操作部8の検索結果表示画面(図5−2参照)に表示する(ステップS7)。
つぎに、検索処理部7は、検索語合致・非合致判定処理(ステップS8〜S12)を行って、候補曲の全てについて、検索語に合致するか否かを判定して、その判定結果を合致履歴データベース5の合致履歴リスト(合致曲リスト、非合致曲リスト)5aに格納する。
具体的には、使用者は、操作部8の検索結果画面を操作して、全候補曲を再生し、各候補曲の再生中に検索語に合致しているか否かを判断し、検索語に合致している場合には合致ボタン22を押下し、検索語に合致していない合には非合致ボタン23を押下する。検索処理部7は、合致ボタン22が押下された場合には、検索語に合致する曲であると判定して、その曲ID(合致曲ID)を合致履歴データベース5の合致履歴リスト5aの合致曲リストに格納し、非合致ボタン23が押下された場合には、検索語に合致しない曲であると判定して、その曲ID(非合致曲ID)を非合致曲リストに格納する。
まず、使用者が操作部8の検索結果画面の検索結果表示欄21に表示された候補曲をカーソル21を操作して選択し、選択した候補曲を再生ボタン24を押下された場合には、検索処理部7は、曲出力部9に選択された候補曲を再生させる(ステップS38)。使用者は、再生中の候補曲に対して、検索語に合致するか否かを判断して、合致する場合には、合致ボタン22を押下し、合致しない場合には非合致ボタン23を押下する。
検索処理部7は、候補曲を再生中に、合致ボタン22または非合致ボタン23による入力があるか否かを判断する(ステップS9)。合致ボタン22が押下された場合には(ステップS9の「Yes」)、検索語に合致する曲であると判定して、再生中の曲の曲IDを合致履歴データベース5の合致履歴リスト5aの合致曲リストに追加してステップS12に移行する一方(ステップS10)、非合致ボタン22が押下された場合には(ステップS9の「No」)、検索語に合致しない曲であると判定して、再生中の曲の曲IDを合致履歴データベース5の合致履歴リスト5aの非合致曲リストに追加してステップ12に移行する(ステップS11)。検索処理部7は、全ての候補曲の再生が終了したか否かを判断し(ステップS12)、全ての候補曲の再生が終了するまで同じ処理が繰り返し実行する(ステップS8〜S12)。このように、検索処理が行われる毎に、合致履歴データベース5の合致履歴リスト5aの合致曲リストおよび非合致曲リストが更新される。
なお、ここでは、全候補曲を再生して、使用者が合致/非合致を判断して、合致ボタン22/非合致ボタン23を押下することとしたが、使用者は、候補曲を再生させないで、各候補曲について合致ボタン22/非合致ボタン23を押下して合致/非合致を判断することにしてもよい。また、候補曲のうち、使用者により再生された曲を合致、再生されない曲を非合致と判定することにしてもよい。使用者は、既知の曲であればタイトルのみで検索語に該当しているか否かを判断できるので、通常、検索語に合致する曲のみを再生させるからであり、また、候補曲を全て再生することにすると、聞きたくない曲まで再生することになり、使用者に煩わしさを感じさせる場合があるからである。
図7は、検索特徴量算出部6の検索特徴量算出処理を説明するためのフローチャートである。かかる検索特徴量処理は、(1)検索処理部7が検索を開始する時、(2)検索処理部7が検索を終了した時、(3)合致履歴データベース5の合致履歴リスト5aの合致曲リスト・非合致曲リストに曲が追加された時のいずれかの場合に実行される。これにより、検索処理部7で合致履歴リスト5aが更新された場合に、検索特徴量リスト5bを更新できる。
図7において、検索特徴量算出部6は、合致履歴データベース5の合致履歴リスト5aの合致曲リストに含まれる曲ID(合致曲ID)をキーとして、音楽特徴量データベース4から音楽特徴量を読み出して、その平均値を合致曲特徴量として算出し、合致履歴データベース5の検索特徴量リスト5bに記録する(ステップS21)。
つぎに、検索特徴量算出部6は、合致履歴データベース5の合致履歴リスト5aの非合致曲リストに含まれる曲ID(非合致曲ID)をキーとして、音楽特徴量データベース4から音楽特徴量を読み出し、非合致曲リストに含まれる曲を、上記ステップS21で算出した合致曲特徴量を使用して2つの非合致曲集合に分類する(ステップS22)。具体的には、合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を持つ曲の集合を第1の非合致曲集合、大きい音楽特徴量を持つ曲の集合を第2の非合致曲集合とする。そして、検索特徴量算出部6は、第1の非合致曲集合、第2の非合致曲集合のそれぞれに含まれる曲の音楽特徴量の平均値を第1の非合致曲特徴量、第2の非合致曲特徴量として算出し(ステップS23)、合致履歴データベース5の検索特徴量リスト5bに記録する。このように、検索処理部7で検索処理が行われて、合致履歴リスト5aが更新されると、検索特徴量算出部6は、検索特徴量リスト5bを更新し、使用者の主観により近い検索特徴量(合致曲特徴量,第1の非合致曲特徴量,第2の非合致曲特徴量)が生成され、使用者の主観により合致した曲を検索することが可能となる。
以上説明したように、本実施の形態によれば、検索処理部7は、操作部8から検索語および検索指示が入力されると、音楽特徴量データベース4に蓄積された全曲の音楽特徴量と、合致履歴データベース5に蓄積されている前記検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、各距離のうち合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、また、検索した候補曲が検索語に合致しているか否かの使用者の判定結果(合致曲ID、非合致曲ID)を当該検索語に対応する合致履歴リスト5aに記録する一方、検索特徴量算出部6は、合致履歴データベース5の合致履歴リスト5aに記録された合致曲IDをキーとして、音楽特徴量データベース4から音楽特徴量を読み出して、その平均値を合致曲特徴量として算出して、合致履歴データベース5の検索特徴量リスト5bに記録し、また、合致履歴データベース5の非合致曲IDをキーとして、音楽特徴量データベース4から音楽特徴量を読み出し、合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を持つ曲の集合を第1の非合致曲集合、合致曲特徴量より小さい大きい音楽特徴量を持つ曲の集合を第2の非合致曲集合として、第1および第2の非合致曲特徴量として、合致履歴データベース5の検索特徴量リスト5bに記録することとしたので、音楽のようなユーザの検索語に対する印象が、ある程度の特徴量に集中し、その値から離れるにつれて嗜好から外れていく場合においても、非合致曲集合の特徴量が曖昧にならないため、検索語により合致した候補曲を検索することができ、使用者の主観により合致した曲を検索することが可能となる。
以上本発明にかかる一実施の形態について図面を参照して詳述してきたが、具体的な構成例はこの一実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。例えば、上記図1の情報検索装置の機能を実現するためのプログラムを図8に示したコンピュータ読み取り可能な記録媒体50に記録して、この記録媒体50に記録されたプログラムを同図に示したコンピュータ40に読み込ませ、実行することにより各機能を実現してもよい。
同図に示したコンピュータ40は、上記プログラムを実行するCPU(Central Processing Unit)41と、キーボード、マウス等の入力装置42と、各種データを記憶するROM(Read Only Memory)43と、演算パラメータ等を記憶するRAM(Random Access Memory)44と、記録媒体50からプログラムを読み取る読取装置45と、ディスプレイ、プリンタ等の出力装置46とから構成されている。
CPU41は、読取装置45を経由して記録媒体50に記録されているプログラムを読み込んだ後、プログラムを実行することにより、前述した機能を実現する。なお、記録媒体50としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。
また、上記情報検索装置を、家庭用または業務用のミュージックサーバおよびクライアントで構成することにしてもよい。図9は、上記情報検索装置をミュージックサーバおよびクライアントで構成した場合の構成例を示す図である。図9において、図1と同等機能を有する部位には同一符号を付している。ミュージックサーバ100およびクライアント200は、通信手段101,102を介してそれぞれネットワークに接続されている。
本発明に係る情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体は、ミュージックサーバ機能を持ったパソコン、カーナビ、携帯音楽プレーヤ、音楽配信などのサーバクライアント型ネットワークサービス等に利用可能である。
本発明に係る情報検索装置の構成例を示す図である。 音楽特徴量データベースの構成例を示す図である。 合致履歴データベースの構成例を示す図である。 音楽特徴量と楽曲の分布の一例を示す図である。 操作部の検索開始画面の一例を示す図である。 操作部の検索結果画面の一例を示す図である。 検索処理部の楽曲検索処理を説明するためのフローチャートである。 検索特徴量算出部の検索特徴量算出処理を説明するためのフローチャートである。 本発明の他の実施例に係る情報検索装置の構成例を示す図である。 本発明の他の実施例に係る情報検索装置の構成例を示す図である。
符号の説明
1 曲入力部
2 曲データベース
3 音楽特徴量生成部
4 音楽特徴量データベース
5 合致履歴データベース
6 検索特徴量算出部
7 検索処理部
8 操作部
9 曲出力部
10 検索語選択欄
11 検索ボタン
21 検索結果表示欄
22 合致ボタン
23 非合致ボタン
24 再生ボタン
25 巻戻しボタン
26 早送りボタン
27 再生曲表示欄
40 コンピュータ
41 CPU
42 入力装置
43 ROM
44 RAM
45 読取装置
46 出力装置
50 記録媒体
100 ミュージックサーバ
101 通信手段
200 クライアント
201 通信手段

Claims (8)

  1. 複数の曲の中から一又は複数の曲を検索する情報検索装置において、
    各曲毎に音楽特徴量を蓄積する音楽特徴量蓄積手段と、
    検索語毎に、合致曲および非合致曲を蓄積する合致履歴蓄積手段と、
    検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を蓄積する検索特徴量蓄積手段と、
    使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力手段と、
    前記入力手段で入力された検索語に合致する曲を検索する検索手段と、
    前記合致履歴蓄積手段に検索語毎に蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して前記検索特徴量蓄積手段に記録する検索特徴量算出手段と、
    を備え、
    前記検索手段は、
    (A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、
    (B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、
    (C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、
    前記検索特徴量算出手段は、
    (A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、
    (B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、前記合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、
    (C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、
    (D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を前記検索特徴量蓄積手段に記録することを特徴とする情報検索装置。
  2. 前記音楽特徴量は、BPM、録音レベル、最大音量、平均音量、コード、およびビートレベル、調等であることを特徴とする請求項1に記載の情報検索装置。
  3. 前記検索手段は、(C)前記入力手段から入力される、前記候補曲が検索語に合致しているか否かの情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定することを特徴とする請求項1または請求項2に記載の情報検索装置。
  4. 前記検索手段は、複数の音楽特徴量を使用して候補曲の検索を行う場合には、各音楽特徴毎に候補曲を検索し、共通して候補曲となった曲を最終的な候補曲とすることを特徴とする請求項1〜請求項3のいずれか1つに記載の情報検索装置。
  5. 前記検索特徴量算出手段は、前記検索手段で前記候補曲の検索の開始前、当該検索の終了後、または合致履歴蓄積手段に合致曲および非合致曲が追加された場合に、前記(A)〜(D)の処理を実行することを特徴とする請求項1〜請求項4のいずれか1つに記載の情報検索装置。
  6. 複数の曲の中から一又は複数の曲を検索する情報検索方法において、
    使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力工程と、
    前記入力工程で入力された検索語に合致する曲を検索する検索工程と、
    検索語毎に合致曲および非合致曲を蓄積する合致履歴蓄積手段を参照して、蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して、検索特徴量蓄積手段に、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を記録する検索特徴量算出工程と、
    を含み、
    前記検索工程では、
    (A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、
    (B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、
    (C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、
    前記検索特徴量算出工程では、
    (A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、
    (B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、
    (C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、
    (D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を前記検索特徴量蓄積手段に記録することを特徴とする情報検索方法。
  7. コンピュータに、複数の曲の中から一又は複数の曲を検索させる情報検索用プログラムにおいて、
    使用者の操作に応じて、曲を検索するための検索語等の情報を入力するための入力工程と、
    前記入力工程で入力された検索語に合致する曲を検索する検索工程と、
    検索語毎に合致曲および非合致曲を蓄積する合致履歴蓄積手段を参照して、蓄積された合致曲および非合致曲に基づいて、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を算出して、検索特徴量蓄積手段に、検索語毎に、合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を記録する検索特徴量算出工程と、
    をコンピュータに実行させ、
    前記検索処理では、
    (A)前記音楽特徴量蓄積手段に蓄積された全曲の音楽特徴量と、検索特徴量蓄積手段に蓄積されている、前記検索語入力手段で入力された検索語に対応する合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量との距離をそれぞれ比較し、
    (B)各距離のうち前記合致曲特徴量との距離が最小となる音楽特徴量を有する曲を候補曲として検索し、
    (C)前記入力手段から入力される情報に基づいて、前記候補曲が前記検索語に合致するか否かを判定し、当該検索語に合致する場合には合致曲、当該検索語に合致しない場合には非合致曲として、前記合致履歴蓄積手段に記録し、
    前記検索特徴量算出工程では、
    (A)検索語毎に、前記合致履歴蓄積手段に蓄積された前記合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、取得した音楽特徴量の統計値を合致曲特徴量として算出し、
    (B)前記合致履歴蓄積手段に蓄積された前記非合致曲に対応する音楽特徴量を前記音楽特徴量蓄積手段から取得して、前記合致曲特徴量を境界として、前記合致曲特徴量より小さい音楽特徴量を有する非合致曲の集合を第1の非合致曲集合、前記合致曲特徴量より大きい音楽特徴量を有する非合致曲の集合を第2の非合致曲集合として分類し、
    (C)前記第1の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第1の非合致曲特徴量として算出し、かつ、前記第2の非合致曲集合に属する非合致曲の音楽特徴量の統計値を第2の非合致曲特徴量として算出し、
    (D)前記算出した合致曲特徴量、第1の非合致曲特徴量、および第2の非合致曲特徴量を前記検索特徴量蓄積手段に記録することを特徴とする情報検索用プログラム。
  8. 請求項7に記載の情報検索用プログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体。











JP2005102305A 2005-03-31 2005-03-31 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体 Expired - Fee Related JP4573684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005102305A JP4573684B2 (ja) 2005-03-31 2005-03-31 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005102305A JP4573684B2 (ja) 2005-03-31 2005-03-31 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2006285439A true JP2006285439A (ja) 2006-10-19
JP4573684B2 JP4573684B2 (ja) 2010-11-04

Family

ID=37407328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005102305A Expired - Fee Related JP4573684B2 (ja) 2005-03-31 2005-03-31 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP4573684B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008623A (ja) * 2010-06-22 2012-01-12 Jvc Kenwood Corp プレイリスト作成装置、プレイリスト作成方法、及びプレイリスト作成プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293502A (ja) * 1999-04-05 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> データ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体
JP2003076717A (ja) * 2001-09-04 2003-03-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法及び装置と、情報検索プログラム及びそのプログラムの記録媒体
JP2003132085A (ja) * 2001-10-19 2003-05-09 Pioneer Electronic Corp 情報選択装置及び方法、情報選択再生装置並びに情報選択のためのコンピュータプログラム
JP2004110422A (ja) * 2002-09-18 2004-04-08 Double Digit Inc 曲分類装置、曲分類方法、及びプログラム
JP2005010771A (ja) * 2003-05-26 2005-01-13 Matsushita Electric Ind Co Ltd 音楽検索装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293502A (ja) * 1999-04-05 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> データ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体
JP2003076717A (ja) * 2001-09-04 2003-03-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法及び装置と、情報検索プログラム及びそのプログラムの記録媒体
JP2003132085A (ja) * 2001-10-19 2003-05-09 Pioneer Electronic Corp 情報選択装置及び方法、情報選択再生装置並びに情報選択のためのコンピュータプログラム
JP2004110422A (ja) * 2002-09-18 2004-04-08 Double Digit Inc 曲分類装置、曲分類方法、及びプログラム
JP2005010771A (ja) * 2003-05-26 2005-01-13 Matsushita Electric Ind Co Ltd 音楽検索装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
児玉 泰輝: "楽曲レコメンドシステム", FIT2004 第3回情報科学技術フォーラム 一般講演論文集 第2分冊 データベース 自然言語・文書, vol. 第2分冊, JPN6010020498, 20 August 2004 (2004-08-20), JP, pages 385 - 386, ISSN: 0001691784 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008623A (ja) * 2010-06-22 2012-01-12 Jvc Kenwood Corp プレイリスト作成装置、プレイリスト作成方法、及びプレイリスト作成プログラム

Also Published As

Publication number Publication date
JP4573684B2 (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
US8438168B2 (en) Scalable music recommendation by search
US20060217828A1 (en) Music searching system and method
US7613736B2 (en) Sharing music essence in a recommendation system
US20160267177A1 (en) Music steering with automatically detected musical attributes
JP2005526340A (ja) プレイリストの生成、配信およびナビゲーション
US20060224260A1 (en) Scan shuffle for building playlists
JP5594532B2 (ja) 情報処理装置および方法、情報処理システム、並びに、プログラム
JP2003132085A5 (ja)
WO2009044341A2 (en) Classifying a set of content items
JP4560544B2 (ja) 楽曲検索装置、楽曲検索方法および楽曲検索プログラム
US8315968B2 (en) Music information processing apparatus, music delivering system, and music information processing method that can satisfy a request from a user
KR101336846B1 (ko) 콘텐츠 검색 서비스를 제공하는 방법, 검색 서버 및 이를 포함하는 검색 시스템
KR102516212B1 (ko) 추천 플레이리스트 생성 방법 및 그를 위한 장치
JP4573684B2 (ja) 情報検索装置、情報検索方法、情報検索用プログラム、および記録媒体
JP2005018205A (ja) 楽曲検索システム、楽曲検索方法、及び楽曲検索装置
JP2010165160A (ja) 楽曲分類装置、楽曲検索システム及びコンピュータプログラム
JP5085577B2 (ja) プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム
JP6265711B2 (ja) 楽曲再生装置及びコンピュータプログラム
JP6481016B2 (ja) 楽曲再生装置及びコンピュータプログラム
JP2023148576A (ja) プレイリストの管理方法、プログラム、および、システム
JP5521094B2 (ja) 楽曲分類装置および楽曲検索システム
JP2007072316A (ja) 唱歌録音作品の検索方法、唱歌録音作品データベースの構造
JP2020190693A (ja) 声優評価プログラム、声優評価方法及び声優評価システム
JP2006146586A (ja) 検索データベース作成装置、情報検索装置および情報検索システム
JP2008003894A (ja) 楽曲検索再生装置及び楽曲検索再生用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100908

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20110104

LAPS Cancellation because of no payment of annual fees