JP2008090612A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

情報処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2008090612A
JP2008090612A JP2006270962A JP2006270962A JP2008090612A JP 2008090612 A JP2008090612 A JP 2008090612A JP 2006270962 A JP2006270962 A JP 2006270962A JP 2006270962 A JP2006270962 A JP 2006270962A JP 2008090612 A JP2008090612 A JP 2008090612A
Authority
JP
Japan
Prior art keywords
content
feature amount
feature
similar
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006270962A
Other languages
English (en)
Other versions
JP4274221B2 (ja
Inventor
Mari Saito
真里 斎藤
Yoshiyuki Kobayashi
由幸 小林
Takaomi Kimura
隆臣 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006270962A priority Critical patent/JP4274221B2/ja
Priority to KR1020070091308A priority patent/KR20080030922A/ko
Priority to US11/863,055 priority patent/US7805389B2/en
Priority to EP07253858A priority patent/EP1909201A3/en
Priority to CN2007101615520A priority patent/CN101174407B/zh
Publication of JP2008090612A publication Critical patent/JP2008090612A/ja
Application granted granted Critical
Publication of JP4274221B2 publication Critical patent/JP4274221B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】より簡単に、より迅速に、また、より正確に類似するコンテンツを特定する。
【解決手段】特徴量変換部131は、複数の特徴量が付与された複数のコンテンツに対して、複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された複数のコンテンツ間の類似関係に対応する距離となるように複数の特徴量を変換し、複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換する。検索処理部127は、変換された特徴量により、類似するコンテンツを検索する。本発明は、コンテンツを記録して再生する据え置きの機器に適用できる。
【選択図】図25

Description

本発明は情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、コンテンツを取り扱う情報処理装置および方法、プログラム、並びに記録媒体に関する。
ハードディスクやフラッシュメモリに、多数の楽曲を記録し、再生する装置が広く使用されるようになってきた。多数の楽曲が記録できるようになるにつれ、記録している楽曲の中から似ている楽曲を探したいという要望がでてきた。
従来、類似の楽曲を探すには、楽曲の特徴量で、楽曲間の距離を測るなどの技術がある(例えば、特許文献1参照)。
特開2004−171096号公報
しかし、通常、類似を楽曲間の特徴量の相関や距離などで定義すると、相関や距離などについて、楽曲のペアの数分の計算が必要となる。近年では、数百曲乃至千曲以上の楽曲を保存できる機器が一般的になり、楽曲が多いほど類似する楽曲を探すための処理時間は長くなり、その処理時間は膨大になる。
また、単に、楽曲の特徴量のユークリッド距離が近い楽曲を、類似する楽曲としたのでは、意図しない楽曲、すなわちユーザが似ていると感じない楽曲が類似する楽曲とされてしまうことがある。
ユーザが似ていると感じる楽曲をユークリッド距離を用いて求めるには、ユーザの実験により得られた各楽曲間の類似度から、主座標分析または逐次更新などの方法で類似度を良く表す空間を作り、それぞれの軸の座標を楽曲の特徴量から回帰解析などで推定した空間を用いるという方法が考えられる。
ところが、これらの方法を適用できるまでに、楽曲間の類似度を示すデータである、ユーザの実験のデータを収集することは非常に難しく、現実的ではない。例えば主座標分析を適用しようとした場合、1450曲についての類似度の実験のデータを得るには、1450曲×1450曲=210万パターンについて、似ているまたは似ていないのデータを入力しなければならない。
本発明は、このような状況に鑑みてなされたものであり、より簡単に、より迅速に、また、より正確に類似するコンテンツを特定することができるようにするものである。
本発明の一側面の情報処理装置は、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換する変換手段と、変換された特徴量により、類似するコンテンツを検索する検索手段とを備える。
コンテンツの特徴量を抽出する抽出手段をさらに設けることができる。
前記検索手段には、前記関数により変換された特徴量によるコンテンツのグループのうち、同じグループに属するコンテンツを検索することにより、類似するコンテンツを検索させることができる。
前記変換手段には、ユーザから入力された前記複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、前記関数の自由パラメータの数とから算出された情報量基準である評価値が予め定めた世代数更新されなくなるまで遺伝的手法による生成が繰り返されて得られた前記関数を適用することにより、コンテンツの特徴量を変換させることができる。
前記変換手段には、FDR(Fisher discriminant ratio)である分類の程度を示す値から算出された前記評価値が予め定めた世代数更新されなくなるまで遺伝的手法による生成が繰り返されて得られた前記関数を適用することにより、コンテンツの特徴量を変換させることができる。
遺伝的手法によって前記関数を生成する生成手段をさらに設け、前記変換手段には、生成された前記関数を適用することにより、コンテンツの特徴量を変換させることができる。
ユーザから入力された前記複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、前記関数の自由パラメータの数とから、情報量基準である評価値を算出する算出手段をさらに設け、前記生成手段には、前記評価値が予め定めた世代数更新されなくなるまで、遺伝的手法によって前記関数を生成させることができる。
前記算出手段には、FDRである分類の程度を示す値から前記評価値を算出させることができる。
ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを取得する取得手段をさらに設け、前記算出手段には、ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを用いて、評価値を算出させることができる。
変換された特徴量により、コンテンツのクラスタリングを実行するクラスタリング手段をさらに設けることができる。
変換された特徴量によるコンテンツとクラスタとの距離により、コンテンツの属するグループを特定する特定手段をさらに設けることができる。
本発明の一側面の情報処理方法は、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、変換された特徴量により、類似するコンテンツを検索するステップを含む。
本発明の一側面のプログラムは、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、変換された特徴量により、類似するコンテンツを検索するステップをコンピュータに実行させる。
本発明の一側面の記録媒体のプログラムは、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、変換された特徴量により、類似するコンテンツを検索するステップを含む情報処理をコンピュータに実行させる。
本発明の一側面においては、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量が変換され、変換された特徴量により、類似するコンテンツが検索される。
以上のように、本発明の一側面によれば、類似するコンテンツを特定することができる。
また、本発明の一側面によれば、より簡単に、より迅速に、また、より正確に類似するコンテンツを特定することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換する変換手段(例えば、図25の特徴量変換部131)と、変換された特徴量により、類似するコンテンツを検索する検索手段(例えば、図25の検索処理部127)とを備える。
コンテンツの特徴量を抽出する抽出手段(例えば、図25の特徴量抽出部122)をさらに設けることができる。
遺伝的手法によって前記関数を生成する生成手段(例えば、図28の空間変形部26における図2の変換関数生成部41)をさらに設け、前記変換手段には、生成された前記関数を適用することにより、コンテンツの特徴量を変換させることができる。
ユーザから入力された前記複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、前記関数の自由パラメータの数とから、情報量基準である評価値を算出する算出手段(例えば、図28の空間変形部26における図2の関数評価値算出部42)をさらに設け、前記生成手段には、前記評価値が予め定めた世代数更新されなくなるまで、遺伝的手法によって前記関数を生成させることができる。
ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを取得する取得手段(例えば、図28のユーザ評価取得部25)をさらに設け、前記算出手段には、ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを用いて、評価値を算出させることができる。
変換された特徴量により、コンテンツのクラスタリングを実行するクラスタリング手段(例えば、図28のクラスタリング部27)をさらに設けることができる。
変換された特徴量によるコンテンツとクラスタとの距離により、コンテンツの属するグループを特定する特定手段(例えば、図25のコンテンツグループ特定部125)をさらに設けることができる。
本発明の一側面の情報処理方法およびプログラムは、複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し(例えば、図26のステップS54)、変換された特徴量により、類似するコンテンツを検索する(例えば、図27のステップS72)ステップを含む。
図1は、コンテンツの特徴量の空間を変形し、変形された空間における特徴量を得るための変換関数を生成する情報処理装置11の構成の例を示すブロック図である。情報処理装置11は、サンプルコンテンツ取り込み部21、コンテンツデータベース22、特徴量抽出部23、特徴量取得部24、ユーザ評価取得部25、空間変形部26、クラスタリング部27、および出力部28から構成される。
サンプルコンテンツ取り込み部21は、コンテンツの特徴量の空間を変形するためのサンプルとしてのコンテンツであるサンプルコンテンツを取り込み、コンテンツデータベース22に供給する。
コンテンツデータベース22は、サンプルコンテンツ取り込み部21から供給されたサンプルコンテンツを格納する。
ここで、コンテンツは、楽曲(のデータ)または動画像若しくは静止画像である画像(のデータ)などである。
以下、楽曲であるコンテンツを例に説明する。
特徴量抽出部23は、コンテンツデータベース22に格納されているサンプルコンテンツから、そのサンプルコンテンツの特徴量を抽出する。例えば、特徴量抽出部23は、楽曲であるサンプルコンテンツの音声の波形を分析するなどして、サンプルコンテンツの特徴量を抽出する。特徴量抽出部23は、抽出した特徴量をコンテンツデータベース22に供給する。
特徴量取得部24は、サンプルコンテンツの特徴量を取得する。例えば、特徴量取得部24は、ユーザの操作に応じて入力された特徴量を取得するか、図示せぬネットワークを介して接続されているサーバに格納されている、そのコンテンツについてのレビューなどの特徴量を、そのサーバから読み出すことにより、サンプルコンテンツの特徴量を取得する。特徴量取得部24は、取得した特徴量をコンテンツデータベース22に供給する。
ユーザ評価取得部25は、コンテンツデータベース22に格納されているサンプルコンテンツについての、ユーザの主観によるサンプルコンテンツの類似の度合いを示すユーザの評価を取得する。例えば、ユーザ評価取得部25は、ユーザの操作に応じて入力された評価を取得するか、図示せぬネットワークを介して接続されているサーバに格納されている評価を、そのサーバから読み出すことにより、サンプルコンテンツについての評価を取得する。ユーザ評価取得部25は、取得した評価をコンテンツデータベース22に供給する。
空間変形部26は、サンプルコンテンツの特徴量の空間を変形する。空間変形部26は、サンプルコンテンツの特徴量の空間の変形のための変換関数をコンテンツデータベース22に供給する。
また、クラスタリング部27は、変形された空間におけるサンプルコンテンツのクラスタリングを実行する。クラスタリング部27は、クラスタのセントロイドを求めて、変形された空間におけるセントロイドの位置をコンテンツデータベース22に供給する。クラスタのセントロイド(の位置)は、コンテンツのグループの代表値となる。ここで、コンテンツのグループとは、相互に類似するコンテンツからなるグループである。
コンテンツデータベース22は、サンプルコンテンツと共に、特徴量抽出部23において抽出されたサンプルコンテンツの特徴量、特徴量取得部24によって取得されたサンプルコンテンツの特徴量、ユーザ評価取得部25によって取得された評価、空間変形部26において得られた変換関数、およびクラスタリング部27において得られたクラスタのセントロイドの位置を格納する。
出力部28は、外部からの要求に応じて、コンテンツデータベース22に格納されている変換関数およびクラスタのセントロイドの位置を外部に出力する。
図2は、空間変形部26の構成を示すブロック図である。空間変形部26は、変換関数生成部41および関数評価値算出部42から構成される。
変換関数生成部41は、複数の特徴量が付与された複数のコンテンツに対して、複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された複数のコンテンツ間の類似関係に対応する距離となるように複数の特徴量を変換し、複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、複数の特徴量の変換により新たな特徴量空間に写像する関数を生成する。言い換えれば、変換関数生成部41は、コンテンツの複数の特徴量のそれぞれが次元の軸とされる空間を、複数のコンテンツのそれぞれの特徴量で定まる位置の間の距離が、ユーザの主観によるコンテンツの類似の度合いに応じた長さとされる空間に変形する関数を遺伝的手法によって生成する。すなわち、変換関数生成部41は、コンテンツデータベース22に格納されているサンプルコンテンツの複数の特徴量のそれぞれが次元の軸とされる空間を、複数のサンプルコンテンツ毎の特徴量の間の距離が、サンプルコンテンツについてのユーザの評価に応じた長さとされる空間に変形する変換関数を遺伝的手法によって生成する。
関数評価値算出部42は、ユーザから入力された複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、関数の自由パラメータの数とから、情報量基準である評価値を算出する。すなわち、関数評価値算出部42は、ユーザの評価によって類似の度合いが予め評価されたサンプルコンテンツのうちの、主観的に類似しているとされたサンプルコンテンツの特徴量と主観的に類似していないとされたサンプルコンテンツの特徴量とのユークリッド距離による分類の程度を示す値と、変換関数の自由パラメータの数とから、情報量基準である評価値を算出する。
変換関数生成部41は、算出された評価値に応じて、遺伝的手法による関数の生成を繰り返す。
図3乃至図15を参照して、空間変形部26におけるサンプルコンテンツの特徴量の空間の変形について説明する。
特徴量の空間とは、特徴量である変数のそれぞれが次元の軸とされる空間をいう。また、空間の変形とは、所定の目的のために、元の空間を別の空間に変形することをいう。すなわち、空間の変形とは、空間の次元の軸の少なくとも1つを、元の変数と異なる変数とすることである。
ここで、変数Xを、n次元(nは、正の整数)で構成される元の空間の次元を構成する変数とし、変数X’を、m次元(mは、正の整数)で構成される変形後の空間の次元を構成する変数とする。
例えば、図3で示されるように、元の空間の変数Xである変数X1および変数X2は、変数X1’および変数X2’に変換されるように、空間が変形される。図3において、それぞれの黒丸は、1つのコンテンツについての特徴量により定まる空間上の位置を示す。図3における黒丸の間の線は、ユーザの主観によるコンテンツの類似の度合いを示すユーザの評価において、類似しているとされたコンテンツについての特徴量により定まる空間上の位置を示す黒丸をつないでいる。
変形後の空間の各次元は、元の空間の変数に所定の変換を加えることで生成される。
すなわち、式(1)に示されるように、元の空間の変数XからなるベクトルXに変換関数fjを適用することにより、変形後の空間の次元を構成する変数X’からなるベクトルXj’が求められる。
ベクトルXj’=fj(ベクトルX) ・・・(1)
変換関数fjは、m個の変換関数f1乃至fmからなる。
式(2)は、線形変換である変換関数f1の例を示す式である。
f1(ベクトルX)=X1×0.5 ・・・(2)
式(3)は、線形変換である変換関数f2の例を示す式である。
f2(ベクトルX)=X1×0.1+X2×0.3 ・・・(3)
また、式(4)は、カーネル関数を用いた非線形変換である変換関数f3の例を示す式である。
f3(ベクトルX)=K(ベクトルX,θ) ・・・(4)
例えば、図4で示されるように、n次元の元の空間の軸である変数X1乃至変数Xnに、m個の変換関数f1乃至fmからなる変換関数fjが適用される。図4の例において、変換関数fmは、式(5)で示される。
fm(ベクトルX)=X4×0.1+X2×1.5 ・・・(5)
変形後のm次元の空間の軸である変数X1’乃至変数Xm’は、式(6)で表される。
X1’=f1(ベクトルX)
X2’=f2(ベクトルX)
X3’=f3(ベクトルX)
・・・
Xm’=fm(ベクトルX) ・・・(6)
変換関数fjは、遺伝的手法が用いられて、変形後の空間がより目的にあった空間に近づくように繰り返し最適化される。
例えば、変換関数fjがランダムに生成されて、所定の数の空間が生成される。すなわち、複数の変換関数fjが生成される。生成された空間の全てが、関数評価関数から求められる関数評価値によって評価される。関数評価値が高かった、すなわち、より目的にあった空間の数個が選択されるか、その空間の変換関数fjの一部と他の空間の変換関数fjの一部とが組み替えられるように交叉させられるか、その空間の変換関数fjの一部がランダムに変更されるように突然変異させられるか、または新たにランダムに変換関数f1乃至fmのいずれかが生成されるように、空間が次の世代に残される。
この、選択、交叉、突然変異、またはランダムな生成による、次の世代の空間の生成および関数評価値による評価は、関数評価値が上がらなくなるまで繰り返される。
関数評価値には、AIC(Akaike Information Criterion)またはBIC(Schwarz's Bayesian Information Criterion)などの情報量基準が用いられ、過学習が防止される。
例えば、情報量基準であるAICは、式(7)により求められる。
AIC=−2×最大対数尤度+2×自由パラメータの数 ・・・(7)
また、例えば、情報量基準であるBICは、式(8)により求められる。
BIC=−2×最大対数尤度
+log(サンプルコンテンツの評価の数)×自由パラメータの数 ・・・(8)
図5で示されるように、ユークリッド距離Aを単純に測定することで、ユーザの主観にあった尺度でコンテンツ間の類似度を計算することができるように空間が変形される。すなわち、生成された空間おける2つのコンテンツのそれぞれの特徴量で示される位置の間のユークリッド距離Aが、ユーザの主観にあった尺度による、その2つのコンテンツの類似度を示すように空間が変形される。
ここでさらに詳細に、サンプルコンテンツ、サンプルコンテンツについてのユーザの評価、特徴量、変換関数、および関数評価値について説明する。
まず、ユーザの実験により、教師データである、サンプルコンテンツおよびサンプルコンテンツについてのユーザの評価が用意される。例えば、サンプルコンテンツについてのユーザの評価として、コンテンツの類似度データSが用意される。
実験の用いられたサンプルコンテンツをMとし、実験に用いられたサンプルコンテンツの数をO(例えば、1400)で表す。
サンプルコンテンツであるコンテンツM1とコンテンツM2とが似ているとユーザに評価された場合、コンテンツM1とコンテンツM2とについての類似度データS(M1,M2)は、似ていることを示す0とされる。
サンプルコンテンツであるコンテンツM1とコンテンツM3とが似ていないとユーザに評価された場合、コンテンツM1とコンテンツM3とについての類似度データS(M1,M3)は、似ていないことを示す1とされる。
同様に、サンプルコンテンツであるコンテンツM4とコンテンツM6とが似ているとユーザに評価された場合、コンテンツM4とコンテンツM6とについての類似度データS(M4,M6)は、似ていることを示す0とされる。
ここで、用意されるサンプルコンテンツおよびサンプルコンテンツについてのユーザの評価である教師データの数は、従来の手法の場合に比較して、より少なくて良い。また、例えば、1400であるサンプルコンテンツの数Oのすべてのサンプルコンテンツのペアについて、類似度データSを用意する必要はない。
次に、サンプルコンテンツの特徴を良く表す特徴量が用意され、この特徴量は、元の空間(変形される前の空間)を構成する変数とされる。例えば、サンプルコンテンツから予め抽出されていた特徴量が取得されるか、またはサンプルコンテンツから抽出されることにより、サンプルコンテンツの特徴量が用意される。
以下、この元の空間を構成する変数としての特徴量を特徴量Fkiで表す。ここで、kは、1乃至O(サンプルコンテンツの数)のいずれかである。
例えば、特徴量Fk1は、BPM(Beat Per Minute)など演奏の速度、すなわちテンポ(Tempo)を示す。例えば、特徴量Fk2は、楽曲が速いか遅いかを示すスピード(Speed)とされる。スピードは、楽曲の主観的な速さ、すなわち楽曲を聴いているユーザが感じる速さであり、例えば、16分音符が多いほどその楽曲は速く感じられる。
特徴量Fk3は、Dispersionすなわちテンポの揺れの大きさを示す。また、特徴量Fk4は、Majorすなわちメジャーコードの割合を示す。特徴量Fk5は、Notesすなわち単位時間当たりの音の多さを示す。
さらにまた、特徴量Fknは、LoMidすなわち音声の周波数帯域のうちの中域に対する低域のエネルギーの割合を示す。
図6に示されるように、特徴量Fk1乃至特徴量Fknのそれぞれを各軸とする元の空間は、遺伝的手法により、ユークリッド距離がコンテンツの類似度を表す空間に少しずつ変形させられる。
変換関数fjが更新されて、空間が変形される場合、関数評価値が算出される。この関数評価値には、変形させられた空間においてユークリッド距離を用いて似ているコンテンツと似ていないコンテンツとが分類できているかどうかを示すFDR(Fisher discriminant ratio)と、変換関数の自由パラメータの数とから算出された情報量基準が用いられる。
図7は、遺伝的手法による空間の変形の概念を示す図である。例えば、元の空間において、元の特徴量がそれぞれ次元とされるので、その次元は、{Tempo,Speed,Dispersion,Major,Notes,PitchMove,・・・,LoMid}と表される。
遺伝的手法により元の空間の世代の次の世代(以下、第2世代と称する)に空間が進化させられると、その第2世代における次元は、例えば、{Tempo,Speed,Dispersion×1.35,Major,Notes,・・・,LoMid}とされる。元の空間の世代から第2世代への進化において、Dispersionが伸縮され、PitchMoveが削除されている。
さらに、遺伝的手法により第2世代の次の世代である第3世代に空間が進化させられると、その第3世代における次元は、例えば、{Tempo,Speed,Dispersion×1.35,K(Major,35),Notes,・・・,LoMid}とされる。第2世代から第3世代への進化において、Majorが、カーネル関数により非線形変換されて、K(Major,35)とされている。
生成された空間を評価する場合、新たに生成された空間における、教師データとして与えられた、サンプルコンテンツのペアの特徴量の間のユークリッド距離Dが計算される。例えば、サンプルコンテンツMkとサンプルコンテンツMiとのユークリッド距離Dが式(9)により計算される。
Figure 2008090612
なお、式(9)において、ベクトルFkは、サンプルコンテンツMkの特徴量のベクトルを示し、ベクトルFiは、サンプルコンテンツMiの特徴量のベクトルを示し、Tは、転置を表す。また、ユークリッド距離Dは、類似度データSが用意されたサンプルコンテンツMkとサンプルコンテンツMiとの組み合わせについてのみ計算される。
図8は、変形された空間における特徴量のユークリッド距離と、コンテンツの類似との関係を示す図である。図8において、実線は、類似しているコンテンツの特徴量の、変形された空間におけるユークリッド距離の確率分布を示し、点線は、類似していないコンテンツの特徴量の、変形された空間におけるユークリッド距離の確率分布を示す。
類似しているコンテンツの特徴量の距離と類似していないコンテンツの特徴量の距離とに差があるほど、その空間は、コンテンツの類似度をよく表している空間であると言える。
類似しているコンテンツの特徴量の距離と類似していないコンテンツの特徴量の距離とにどれほど差があるかを測るために、式(10)により、類似しているコンテンツのクラスと類似していないコンテンツのクラスとのFDR(Fisher discriminant ratio)が計算される。
Figure 2008090612
図9乃至図11は、変形された空間における、類似しているコンテンツの特徴量または類似していないコンテンツの特徴量についてのユークリッド距離と、FDRの値との関係を示す図である。図9乃至図11において、実線は、変形された空間における、類似しているコンテンツの特徴量のユークリッド距離の確率分布を示し、点線は、変形された空間における、類似していないコンテンツの特徴量のユークリッド距離の確率分布を示す。
図9に示されるように、類似しているコンテンツの特徴量のユークリッド距離と類似していないコンテンツの特徴量のユークリッド距離との差が短い場合、FDRが小さく、図10と図11とに示されるように、類似しているコンテンツの特徴量のユークリッド距離と類似していないコンテンツの特徴量のユークリッド距離との差が、より長くなるにつれて、FDRがより大きくなる。すなわち、類似しているコンテンツの特徴量のユークリッド距離と類似していないコンテンツの特徴量のユークリッド距離とにはっきりした差があるほど、FDRの値は大きくなる。
例えば、式(7)により計算される情報量基準であるAICにおける、最大対数尤度として、FDRが用いられる。
図12は、自由パラメータの例を示す図である。図12において、点線の丸で囲まれる値が、自由パラメータである。式(7)における自由パラメータの数は、例えば、図12で示される自由パラメータのその数とされる。
例えば、変換関数f1(ベクトルX)=X1×0.5における0.5は、自由パラメータであり、変換関数f2(ベクトルX)=X3×0.4−X4×0.2における、0.4および0.2は、自由パラメータであり、変換関数f3(ベクトルX)=exp(−sqr(X3×0.5)/0.5)×0.6における、X3に乗算される0.5、除数である0.5、および0.6は、自由パラメータであり、変換関数fm(ベクトルX)=X4×0.1+X2×1.5における、0.1および1.5は、自由パラメータである。
情報量基準であるAICの値は、低いほど好ましいことを示しているので、次の世代の空間の生成、すなわち、次の世代の変換関数を生成する場合における、遺伝的操作において、AICの値が低いものほど選択されやすいようにする。
なお、関数評価値として情報量基準であるBICを用いる場合も同様なので、以下、その説明は省略する。
以上のように、変換関数生成部41において、複数の特徴量が付与された複数のコンテンツに対して、複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された複数のコンテンツ間の類似関係に対応する距離となるように複数の特徴量を変換し、複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、複数の特徴量の変換により新たな特徴量空間に写像する関数が遺伝的手法によって生成されることで、空間変形部26において、サンプルコンテンツの特徴量の空間が変形される。
空間を変形する関数は、関数評価値算出部42において計算される、ユーザから入力された複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、関数の自由パラメータの数とから算出された情報量基準である評価値に応じて、遺伝的手法によって繰り返し生成される。
コンテンツの類似度データSは、コンテンツが類似しているか否かを示すデータであると説明したが、類似度を示す連続的な数値とするようにしてもよい。例えば、コンテンツの類似度データSは、0が完全に同じであることを示し、1が全く違うことを示す、0乃至1のいずれかの実数とされる。
例えば、コンテンツM1とコンテンツM2とがやや似ているとユーザに評価された場合、コンテンツM1とコンテンツM2とについての類似度データS(M1,M2)は、やや似ていることを示す0.3とされる。
コンテンツM1とコンテンツM3とが似ていないとユーザに評価された場合、コンテンツM1とコンテンツM3とについての類似度データS(M1,M3)は、似ていないことを示す0.9とされる。
同様に、コンテンツM4とコンテンツM6とが似ているとも似ていないとも言えないとユーザに評価された場合、コンテンツM4とコンテンツM6とについての類似度データS(M4,M6)は、似ているとも似ていないとも、どちらとも言えないことを示す0.5とされる。
この場合、類似度データSとユークリッド距離との相関を用いて計算したAICなどの情報量基準の値が関数評価値とされる。例えば、式(7)により計算される情報量基準であるAICにおける、最大対数尤度は、相関値から計算される。
図13は、相関値が0.0である場合の、類似度データSとコンテンツの特徴量の間の距離との関係を示す図であり、図14は、相関値が0.5である場合の、類似度データSとコンテンツの特徴量の間の距離との関係を示す図であり、図15は、相関値が1.0である場合の、類似度データSとコンテンツの特徴量の間の距離との関係を示す図である。
図13乃至図15で示されように、コンテンツの類似度データSが類似度を示す連続的な数値である場合、空間における特徴量の距離と類似度データSの相関が高いほど、その空間がコンテンツの類似度をよく表している空間であると言える。すなわち、図13で示されるように相関値が0.0である場合の空間に比較して、図14で示される相関値が0.5である場合の空間が、コンテンツの類似度をよく表し、さらに、図14で示される相関値が0.5である場合の空間に比較して、図15で示される相関値が1.0である場合の空間が、コンテンツの類似度をさらによく表していると言える。
さらに、サンプルコンテンツの特徴量の変形された空間において、クラスタリング部27は、サンプルコンテンツのクラスタリングを行う。
クラスタリング部27は、K-means法など、コンテンツの特徴量の間のユークリッド距離を基に分類する手法によって、サンプルコンテンツのクラスタリングを行う。
サンプルコンテンツのクラスタリングにおいて、クラスタ数が変化させられて、類似度データSと最も合致し、クラスタの数が最も少ないクラスタが選択される。すなわち、類似度データSと最も合致するもののうち、クラスタの数が最も少ないクラスタが選択される。
例えば、図16で示されるように、クラスタ数が、1、2、3,・・・、35、36、・・・と順に増やされて、サンプルコンテンツのクラスタリングが実行される。
クラスタ数のそれぞれについて、評価すなわち類似度データSとの一致率が求められる。図16に示す例において、クラスタ数が1である場合の類似度データSとの一致率は、0.45であり、クラスタ数が2である場合の類似度データSとの一致率は、0.48である。また、クラスタ数が35である場合の類似度データSとの一致率は、0.95であり、クラスタ数が36である場合の類似度データSとの一致率は、0.88である。
例えば、クラスタ数が52である場合の類似度データSとの一致率は、0.95であり(図示せず)、クラスタ数が35である場合の類似度データSとの一致率は、0.95である場合、一致率が最大の0.95であるクラスタ数のうち、52であるクラスタ数に比較して小さいクラスタ数である35のクラスタが選択される。
ここで、図17および図18を参照して、クラスタと類似度データSとの一致率を説明する。
例えば、一致率は、類似度データSによって類似していると評価されたコンテンツが同じクラスタに属する場合の数と、類似度データSによって類似していないと評価されたコンテンツが異なるクラスタに属する場合の数とを加算した値が、類似度データSによる評価の数で割り算された値とされる。
図17において、丸で示されるユーザ評価は、そのコンテンツが似ているとユーザに評価されたことを示し、バツで示されるユーザ評価は、そのコンテンツが似ていないとユーザに評価されたことを示す。
例えば、図17で示されるように、content_Aとcontent_Bとが似ているとユーザに評価され、content_Aとcontent_Bとについての類似度データS(content_A,content_B)が、似ていることを示す0とされ、content_Aとcontent_Cとが似ていないとユーザに評価され、content_Aとcontent_Cとについての類似度データS(content_A,content_C)が、似ていないことを示す1とされ、content_Aとcontent_Dとが似ていないとユーザに評価され、content_Aとcontent_Dとについての類似度データS(content_A,content_D)が、似ていないことを示す1とされ、content_Bとcontent_Cとが似ていないとユーザに評価され、content_Bとcontent_Cとについての類似度データS(content_B,content_C)が、似ていないことを示す1とされ、content_Bとcontent_Dとが似ていないとユーザに評価され、content_Bとcontent_Dとについての類似度データS(content_B,content_D)が、似ていないことを示す1とされ、content_Cとcontent_Dとが似ているとユーザに評価され、content_Cとcontent_Dとについての類似度データS(content_C,content_D)が、似ていることを示す0とされた場合について説明する。
図17で示される例において、類似度データSによる評価の数は、6である。
この場合、図18で示されるように、クラスタ数が1であるとき、図19に示されるように、content_A乃至content_Dは、1つのクラスタに属するので、content_Aとcontent_Bとについておよびcontent_Cとcontent_Dとについての2つの類似度データSの評価がクラスタリングの結果と一致し、content_Aとcontent_Cとについての類似度データS、content_Aとcontent_Dとについての類似度データS、content_Bとcontent_Cとについての類似度データS、およびcontent_Bとcontent_Dとについての類似度データSの4つがクラスタリングの結果と一致しないので、一致率は、2/6=33.3%となる。
図20に示されるように、クラスタ数が2であり、content_Aとcontent_Bとが1つクラスタに属し、content_Cとcontent_Dとが他の1つクラスタに属する場合、content_Aとcontent_Cおよびcontent_Dとが異なるクラスタに属し、content_Bとcontent_Cおよびcontent_Dとが異なるクラスタに属し、図18で示される6つの類似度データSの評価の全てがクラスタリングの結果と一致するので、一致率は、6/6=100%となる。
図21に示されるように、クラスタ数が3であり、content_Aとcontent_Bとが1つクラスタに属し、content_Cが他の1つクラスタに属し、content_Dがさらに他の1つクラスタに属する場合、content_Cとcontent_Aおよびcontent_Bとが異なるクラスタに属し、content_Dとcontent_Aおよびcontent_Bとが異なるクラスタに属し、content_Cとcontent_Dとが異なるクラスタに属するので、content_Aとcontent_Bとについての類似度データS、content_Aとcontent_Cとについての類似度データS、content_Aとcontent_Dとについての類似度データS、content_Bとcontent_Cとについての類似度データS、およびcontent_Bとcontent_Dとについての類似度データSの5つがクラスタリングの結果と一致し、content_Cとcontent_Dとについての類似度データSがクラスタリングの結果と一致しないので、一致率は、5/6=83.3%となる。
図22に示されるように、クラスタ数が4であり、content_A乃至content_Dがそれぞれ異なるクラスタに属する場合、content_Aとcontent_Cとについての類似度データS、content_Aとcontent_Dとについての類似度データS、content_Bとcontent_Cとについての類似度データS、およびcontent_Bとcontent_Dとについての類似度データSの4つがクラスタリングの結果と一致し、content_Aとcontent_Bとについておよびcontent_Cとcontent_Dとについての2つの類似度データSの評価がクラスタリングの結果と一致しないので、一致率は、4/6=66.6%となる。
図17および図18に示される例の場合、類似度データSと最も合致する一致率が100%となる、クラスタの数が2であるクラスタリングの結果が選択されることになる。
なお、一致率は、類似度データSによって類似していると評価されたコンテンツが同じクラスタに属する場合の数と、類似度データSによって類似していないと評価されたコンテンツが異なるクラスタに属する場合の数とを加算した値が、類似度データSによる評価の数で割り算された値に限らず、類似度データSとクラスタによるコンテンツの分類との一致がわかるような指標であればよい。例えば、複数のユーザのそれぞれによる類似度データSが用いられる場合、複数のユーザに共通する評価が得られたとき、すなわち、多くの人数のユーザの評価がそろっているとき、そのコンテンツについての重みを大きくした重みを用いて一致率を計算するようにしてもよい。
また、一致率に限らず、似ているコンテンツのペアについての再現率および適合率を用いるか、または似ていないコンテンツのペアについての再現率および適合率を用いて、クラスタリングの結果を選択するようにしてもよい。
次に、図23のフローチャートを参照して、空間を変形する事前処理について説明する。ステップS11において、サンプルコンテンツ取り込み部21は、サンプルコンテンツを取り込む。サンプルコンテンツ取り込み部21は、取り込んだサンプルコンテンツをコンテンツデータベース22に供給する。コンテンツデータベース22は、サンプルコンテンツを記録する。
ステップS12において、特徴量抽出部23は、サンプルコンテンツに対する特徴量を抽出する。特徴量抽出部23は、抽出した特徴量をコンテンツデータベース22に供給する。コンテンツデータベース22は、抽出された特徴量を記録する。
なお、特徴量取得部24が、サンプルコンテンツに対する特徴量であって、予め抽出されている特徴量を取得するようにしてもよい。例えば、特徴量取得部24は、所定のサーバから提供される特徴量を取得するかまたは所定の記録媒体に記録されている特徴量を読み出すことにより、サンプルコンテンツに対する特徴量であって、予め抽出されている特徴量を取得する。
ステップS13において、ユーザ評価取得部25は、ユーザによるサンプルコンテンツの評価を取得する。すなわち、例えば、ユーザ評価取得部25は、ユーザによるサンプルコンテンツの評価である類似度データSを取得する。より具体的には、例えば、ユーザ評価取得部25は、キーボードまたはタッチパネルなどからなる操作部へのユーザの操作に応じた操作部からの信号を取得することにより、類似度データSを取得する。また、例えば、ユーザ評価取得部25は、所定のサーバから提供される類似度データSを取得するかまたは所定の記録媒体に記録されている類似度データSを読み出すことにより、ユーザによるサンプルコンテンツの評価を取得する。
ユーザ評価取得部25は、ユーザによるサンプルコンテンツの評価である類似度データSをコンテンツデータベース22に供給する。コンテンツデータベース22は、類似度データSを記録する。
ステップS14において、空間変形部26は、空間の変形の処理を実行する。
図24は、空間の変形の処理を説明するフローチャートである。ステップS31において、空間変形部26の変換関数生成部41は、変換関数をランダムに生成し、いくつかの空間を生成する。すなわち、変換関数生成部41は、複数の変換関数fjをランダムに生成する。
ステップS32において、空間変形部26の関数評価値算出部42は、生成した全ての空間を評価関数で評価する。すなわち、関数評価値算出部42は、ユーザの主観により類似の度合いが予め評価されたサンプルコンテンツのうちの、主観的に類似しているとされたサンプルコンテンツと主観的に類似していないとされたサンプルコンテンツとのユークリッド距離による分類の程度を示す値と、変換関数fjの自由パラメータの数とから算出された情報量基準である関数評価値を算出することで、生成した全ての空間のそれぞれを評価関数で評価する。
ステップS33において、変換関数生成部41は、遺伝的手法における、選択、交叉、または突然変異によって、新たにランダムに変換関数を生成して、次世代の空間をいくつか生成する。すなわち、ステップS33において、変換関数生成部41は、遺伝的手法によって、次世代の複数の変換関数fjを生成する。
ステップS34において、関数評価値算出部42は、ステップS33で生成した全ての空間を評価関数で評価する。
ステップS35において、関数評価値算出部42は、ステップS32において算出された関数評価値とステップS34において算出された関数評価値とを比較することにより、関数評価値が上がらなくなったか否かを判定し、関数評価値が上がったと判定された場合、ステップS33に戻り、次に空間が生成されるように、上述した処理が繰り返される。より具体的には、ステップS35において、関数評価値算出部42は、前回の関数評価値と今回の関数評価値に差があるかどうかを判定し、評価値が予め定めた世代数更新されていないか否かを判断することにより、関数評価値が上がらなくなったか否かを判定する。
2回目以降のステップS35において、関数評価値算出部42は、前回のステップS34において算出された関数評価値と今回のステップS34において算出された関数評価値とを比較することにより、関数評価値が上がらなくなったか否かを判定する。すなわち、ステップS35において、前の世代の空間についての関数評価値と、次の世代の空間についての関数評価値とが比較されて、関数評価値が上がらなくなったか否かが判定される。
ステップS35において、関数評価値が上がらなくなったと判定された場合、空間変形部26は、生成された変換関数、すなわち、関数評価値が変化しなくなるまで遺伝的手法により繰り返し生成することにより得られた変換関数をコンテンツデータベース22に出力して、空間の変形の処理は終了する。
なお、一例として、評価値が1世代更新されなくなるまで、遺伝的手法によって関数が生成される処理を説明したが、例えば、2世代または3世代など、評価値が予め定めた世代数更新されなくなるまで、遺伝的手法によって関数が生成される。
コンテンツデータベース22は、空間変形部26から供給された変換関数を記録する。
図23に戻り、ステップS15において、出力部28は、コンテンツデータベース22から、生成された変換関数、すなわち、関数評価値が変化しなくなるまで遺伝的手法により繰り返し生成することにより得られた変換関数を読み出して、読み出した変換関数を出力する。
また、空間変形部26は、コンテンツデータベース22に出力する変換関数によって、変換された特徴量をコンテンツデータベース22に出力する。コンテンツデータベース22は、空間変形部26から出力された特徴量を記録する。
ステップS16において、クラスタリング部27は、変形された空間においてサンプルコンテンツのクラスタリングを実行し、クラスタと類似度データSとから一致率を算出する。すなわち、この場合、クラスタリング部27は、変換された特徴量によってサンプルコンテンツをクラスタリングする。
なお、クラスタリング部27が、コンテンツデータベース22に記録されている変換関数によって、サンプルコンテンツに対する特徴量を変換するようにしてもよい。
ステップS17において、クラスタリング部27は、決められた範囲で変更したクラスタ数でクラスタリングを実行したか否かを判定し、決められた範囲で変更したクラスタ数でクラスタリングを実行していないと判定された場合、ステップS16に戻り、次のクラスタ数でクラスタリングを実行して一致率を算出し、決められた範囲で変更したクラスタ数でクラスタリングを実行するまで、ステップS16およびステップS17の処理が繰り返される。
ステップS17において、決められた範囲で変更したクラスタ数でクラスタリングを実行したと判定された場合、ステップS18に進み、クラスタリング部27は、一致率とクラスタ数から、一致率が最も高いクラスタ数のうちの、最も小さいクラスタ数を特定し、特定されたクラスタ数におけるクラスタのセントロイドを特定する。クラスタリング部27は、クラスタのセントロイドの位置をコンテンツデータベース22に供給する。コンテンツデータベース22は、セントロイドの位置を記録する。
ステップS19において、出力部28は、コンテンツデータベース22から、変形された空間の座標上のセントロイドの位置を読み出して、そのセントロイドの位置を出力して、処理は終了する。
このように、変換関数およびセントロイドの位置は、コンテンツデータベース22に記録されるとともに、出力部28によって、外部に出力される。
出力部28から出力された、変換関数およびセントロイドの位置を示す情報は、次に説明する、ユーザに使用される情報処理装置101において用いられる。
次に、コンテンツを記録して再生する据え置きの機器として構成される、類似するコンテンツを特定する情報処理装置101について説明する。
図25は、情報処理装置101の構成の例を示すブロック図である。情報処理装置101は、コンテンツ取り込み部121、特徴量抽出部122、コンテンツデータベース123、評価データ記憶部124、コンテンツグループ特定部125、操作部126、検索処理部127、提示部128、および再生部129から構成される。
コンテンツ取り込み部121は、CD(Compact Disc)からの読み取り、ネットワークを介したサーバからのダウンロードなどにより、コンテンツを取り込む。
特徴量抽出部122は、コンテンツ取り込み部121によって取り込まれたコンテンツの特徴量を抽出する。特徴量抽出部122は、特徴量抽出部23において抽出される特徴量と同じ特徴量を抽出する。特徴量抽出部122は、取り込まれたコンテンツと共に、抽出した特徴量をコンテンツデータベース123に供給する。
なお、コンテンツの特徴量として、操作部126が、ユーザの操作に応じて入力された特徴量を取得するか、図示せぬ取得部が、図示せぬネットワークを介して接続されているサーバに格納されている特徴量を、そのサーバから読み出すことにより、特徴量を取得するようにしてもよい。
コンテンツデータベース123は、取り込まれたコンテンツと共に、抽出された特徴量を格納する。
コンテンツグループ特定部125は、評価データ記憶部124に予め記憶されている変換関数およびセントロイドの位置を基に、取り込まれたコンテンツの属するコンテンツのグループを特定する。
コンテンツグループ特定部125は、特徴量変換部131を備える。特徴量変換部131は、コンテンツデータベース123から、取り込まれたコンテンツから抽出された特徴量を読み出して、評価データ記憶部124に予め記憶されている変換関数によって、特徴量を変換する。
コンテンツグループ特定部125は、変換された特徴量で示される位置と、評価データ記憶部124に予め記憶されているセントロイドの位置とを比較して、取り込まれたコンテンツが属するグループとして、特徴量との距離が最も近いセントロイドのグループを特定する。コンテンツグループ特定部125は、特定されたコンテンツのグループを示す情報をコンテンツデータベース123に供給する。
コンテンツデータベース123は、コンテンツグループ特定部125によって特定されたコンテンツのグループを示す情報を、取り込まれたコンテンツおよびその特徴量と共に格納する。
操作部126は、キーボードまたはリモートコントローラなどからなり、ユーザによるコンテンツの選択または類似するコンテンツの検索などを指令するための操作を受け付けて、その指令に応じた信号を検索処理部127に供給する。
検索処理部127は、操作部126からの信号に応じて、ユーザがコンテンツを選択したり、コンテンツを検索したりする場合、特定のコンテンツ群を抽出する。検索処理部127は、コンテンツデータベース123に格納されているコンテンツのうち、ユーザに選択されたコンテンツに類似するコンテンツを検索する。
提示部128は、LCD(Liquid Crystal Display)または有機EL(Electro Luminescence)ディスプレイなどからなり、検索処理部127において検索された、ユーザに選択されたコンテンツに類似するコンテンツのリストを提示する。
再生部129は、ユーザに選択されたコンテンツを再生する。例えば、ユーザが楽曲であるコンテンツの再生を指令した場合、再生部129は、データとされているコンテンツを復号し、その楽曲であるコンテンツを音として出力するように、コンテンツを再生する。また、例えば、1群のコンテンツの再生が指令された場合、再生部129は、再生が指令された1群のコンテンツを再生する。
なお、コンテンツデータベース123は、情報処理装置101に設けられるようにしても、情報処理装置101の外部のサーバに設けられ、図示せぬネットワークを介して情報処理装置101と接続されるようにしてもよい。
次に、コンテンツを読み込む場合に、すべてのコンテンツに対して実行されるコンテンツの取り込みの処理について説明する。コンテンツの取り込みの処理は、コンテンツを追加する場合、追加するコンテンツに対しても実行される。
図26は、情報処理装置101による、コンテンツの取り込みの処理を説明するフローチャートである。ステップS51において、コンテンツ取り込み部121は、CDからの読み取るかまたはネットワークを介したサーバからのダウンロードなどにより、コンテンツを取り込む。ステップS52において、特徴量抽出部122は、ステップS51で取り込んだコンテンツの特徴量を抽出する。例えば、特徴量抽出部122は、楽曲であるコンテンツの、テンポ、スピード、テンポの揺れの大きさ、メジャーコードの割合、単位時間当たりの音の多さ、または周波数帯域のうちの中域に対する低域のエネルギーの割合などの特徴量を抽出する。
ステップS23において、特徴量抽出部122は、コンテンツと共に、コンテンツの特徴量をコンテンツデータベース123に格納する。
ステップS54において、コンテンツグループ特定部125の特徴量変換部131は、取り込んだコンテンツの特徴量をコンテンツデータベース123から読み出して、評価データ記憶部124に記憶されている変換関数により読み出した特徴量を変換する。
ステップS55において、コンテンツグループ特定部125は、変換関数により変換された特徴量と、評価データ記憶部124に記憶されている情報で示されるセントロイドとの距離を計算する。ステップS56において、コンテンツグループ特定部125は、取り込んだコンテンツのグループであるコンテンツグループを、特徴量との距離の最も短いセントロイドのコンテンツグループとするように、コンテンツの所属するコンテンツグループを特定する。
ステップS57において、コンテンツグループ特定部125は、コンテンツデータベース123に変換された特徴量と特定されたコンテンツグループを示す情報とを格納させることで、コンテンツデータベース123に変換された特徴量とコンテンツグループとを登録して、処理は終了する。
このように、コンテンツが取り込まれると、そのコンテンツについて、変形された空間における特徴量が求められ、その特徴量により分類されるコンテンツグループのうちから、取り込まれたコンテンツが所属するコンテンツグループが特定される。
情報処理装置101において、コンテンツが指定されると、指定されたコンテンツに類似するコンテンツが検索される。
次に、図27のフローチャートを参照して、類似コンテンツ検索の処理を説明する。ステップS71において、操作部126は、ユーザからの再生するコンテンツの指定を受け付ける。操作部126は、ユーザからの操作に応じた、指定されたコンテンツを示す信号を検索処理部127に供給する。
ステップS72において、検索処理部127は、コンテンツデータベース123から、指定されたコンテンツと同一のコンテンツグループに属するコンテンツを検索する。すなわち、検索処理部127は、コンテンツデータベース123から、指定されたコンテンツの属するコンテンツグループに属する他のコンテンツを検索する。
なお、ステップS72において、検索処理部127は、他の手法により、変換された特徴量を基に、指定されたコンテンツと類似するコンテンツを検索するようにしてもよい。例えば、検索処理部127は、コンテンツデータベース123に記録されている特徴量であって、変換された特徴量を基に、指定されたコンテンツの特徴量とのユークリッド距離が最も短い特徴量のコンテンツを検索するようにしてもよい。
ステップS73において、検索処理部127は、検索されたコンテンツのリストを生成する。例えば、ステップS73において、検索処理部127は、検索されたコンテンツの名前や実演者または作曲者の名前などを示すリストを生成する。検索処理部127は、生成したリストを、コンテンツデータベース123を介して提示部128に供給する。
ステップS74において、提示部128は、検索処理部127によって生成された、検索されたコンテンツであって、指定されたコンテンツに類似するコンテンツのリストを提示する。
ステップS75において、再生部129は、ユーザに指定されたコンテンツを再生して、処理は終了する。
このように、ユーザからコンテンツが指定されると、指定されたコンテンツに類似するコンテンツのリストが提示される。
ユーザがコンテンツを再生させている際に、類似するコンテンツの候補として、再生されているコンテンツに類似するコンテンツのリストが提示される。
なお、ユーザがコンテンツを指定し、指定したコンテンツに類似するコンテンツのリストの提示を指令した場合、ステップS72乃至ステップS74と同様の処理で、コンテンツデータベース123に記録されているコンテンツのうち、指定したコンテンツに類似するコンテンツのリストを提示するようにしてもよい。
また、類似するコンテンツを特定する側で、空間を変形するようにしてもよい。
図28は、図23のフローチャートを参照して説明した事前処理を実行して空間を変形し、類似するコンテンツを特定する情報処理装置151の構成を示すブロック図である。図28において、図1に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
また、図28において、図25に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
図28で構成が示される、ユーザに使用される情報処理装置151は、ユーザ評価取得部25、空間変形部26、クラスタリング部27、特徴量抽出部122、コンテンツグループ特定部125、操作部126、検索処理部127、提示部128、再生部129、コンテンツ取り込み部171、コンテンツデータベース172、および評価データ取得部173から構成される。
コンテンツ取り込み部171は、コンテンツの特徴量の空間を変形するためのサンプルとしてのコンテンツであるサンプルコンテンツを取り込み、また、CDからの読み取り、ネットワークを介したサーバからのダウンロードなどにより、コンテンツを取り込む。
コンテンツデータベース172は、サンプルコンテンツ、コンテンツ、サンプルコンテンツまたはコンテンツの特徴量、サンプルコンテンツについてのユーザ評価である類似度データSを格納する。
評価データ取得部173は、空間変形部26から変換関数を取得すると共に、クラスタリング部27からセントロイドの位置を取得して、変換関数およびセントロイドの位置を記憶する。評価データ取得部173は、記憶している変換関数およびセントロイドの位置をコンテンツグループ特定部125に供給する。
情報処理装置151による事前処理は、図23のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
情報処理装置151によるコンテンツ取り込み処理は、図26のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
情報処理装置151による類似コンテンツ検索処理は、図27のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
このように、類似するコンテンツを特定する情報処理装置151で、特徴量の空間を変形して、変換関数およびセントロイドの位置を求めるようにすることができる。
この場合、サンプルコンテンツについてのユーザ評価である類似度データSは、情報処理装置151を使用するユーザの主観を表しているので、情報処理装置151を使用するユーザの主観に応じて、特徴量の空間が変形される。その結果、情報処理装置151を使用するユーザの主観に応じてコンテンツがクラスタリングされ、ユーザの主観による類似判断とより近似した類比判断で類似するとされるコンテンツが検索されることになる。
このように、より簡単に、より迅速に、また、より正確に類似するコンテンツを特定することができるようになる。
従来のように、コンテンツの特徴量の間の距離を類似度とする方法の場合、新規にコンテンツが追加される度に、追加されたコンテンツの特徴量と既存のすべてのコンテンツの特徴量との距離を計算する必要があった。
しかし、本発明によれば、類似するコンテンツのグループを特定しておくことで、1つのコンテンツについては、代表値との距離計算をするだけでよく、処理の負荷が大幅に低減される。
また、従来のコンテンツのペアの類似度を求めるためには、コンテンツが追加される度に、すべてのペアについての特徴量の距離の計算が実行されなければならない。
しかし、本発明によれば、予めグループを特定することにより、すべてのペアについての特徴量の距離の計算を再度行う必要がなくなる。
同じジャンルのラベルのふられたコンテンツを似ている、それ以外のジャンルのコンテンツを似ていないとして、似ているジャンルのコンテンツを探す空間を作るようにすることもできる。
同様に、楽曲であるコンテンツについて、同じような楽器で演奏された楽曲を似ている、あまり共通する楽器が使われていない楽曲を似ていないとして、似た編成の楽器で演奏された楽曲を探す空間を作ることもできる。
本発明は、コンテンツの特徴量に限らず、特徴量を持ったもの同士のある目的のための類似度を求めたいあらゆるケースに適用できる。すなわち、例えば、コンテンツの類似に限らず、コンテンツを構成する要素の類否を判定することもできる。より具体的には、例えば、楽曲構造解析で、小節間の類似度を計算する場合などにも適用することができる。
なお、情報処理装置11または情報処理装置151は、コンテンツに付与されているメタデータを解析することで、コンテンツの特徴量を抽出するようにしてもよく、コンテンツの特徴量として、コンテンツの既存のメタデータを取得するようにしてもよい。この場合、数値のメタデータに限らず、テキストのメタデータを主成分分析やPLSA(Probabilistic Latent Semantic Analysis)といった数値化の手法を用いて数値化したものを用いるようにしてもよい。
また、情報処理装置101または情報処理装置151は、コンテンツを記録して再生する据え置きの機器であると説明したが、これに限らず、コンテンツを記録して再生する機器であれば足り、携帯型の機器、車載用の機器、または携帯電話機として構成することができる。
このように、特徴量により、類似するコンテンツを検索するようにした場合には、類似するコンテンツを特定することができる。また、複数の特徴量が付与された複数のコンテンツに対して、複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された複数のコンテンツ間の類似関係に対応する距離となるように複数の特徴量を変換し、複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、変換された特徴量により、類似するコンテンツを検索するようにした場合には、より簡単に、より迅速に、また、より正確に類似するコンテンツを特定することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図29は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、または記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータなどが適宜記憶される。これらのCPU201、ROM202、およびRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図29に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211、または、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
コンテンツの特徴量の空間を変形する情報処理装置の構成の例を示すブロック図である。 空間変形部の構成を示すブロック図である。 空間の変形を説明する図である。 変換関数を説明する図である。 変形された空間を説明する図である。 遺伝的手法により、変形される空間を説明する図である。 遺伝的手法による空間の変形の概念を示す図である。 変形された空間におけるユークリッド距離と、コンテンツの類似との関係を示す図である。 変形された空間における、類似しているコンテンツまたは類似していないコンテンツの特徴量についてのユークリッド距離と、FDRの値との関係を示す図である。 変形された空間における、類似しているコンテンツまたは類似していないコンテンツの特徴量についてのユークリッド距離と、FDRの値との関係を示す図である。 変形された空間における、類似しているコンテンツまたは類似していないコンテンツの特徴量についてのユークリッド距離と、FDRの値との関係を示す図である。 自由パラメータの例を示す図である。 相関値と、類似度データSと、コンテンツの特徴量の間の距離との関係を示す図である。 相関値と、類似度データSと、コンテンツの特徴量の間の距離との関係を示す図である。 相関値と、類似度データSと、コンテンツの特徴量の間の距離との関係を示す図である。 クラスタ数および一致率の例を示す図である。 類似度データSによる評価の例を示す図である。 一致率の例を示す図である。 クラスタの例を示す図である。 クラスタの例を示す図である。 クラスタの例を示す図である。 クラスタの例を示す図である。 事前処理を説明するフローチャートである。 空間の変形の処理を説明するフローチャートである。 類似するコンテンツを特定する情報処理装置の構成の例を示すブロック図である。 コンテンツの取り込み処理を説明するフローチャートである。 類似コンテンツ検索処理を説明するフローチャートである。 コンテンツの特徴量の空間を変形し、類似するコンテンツを特定する情報処理装置の構成の例を示すブロック図である。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
11 情報処理装置, 21 サンプルコンテンツ取り込み部, 22 コンテンツデータベース, 23 特徴量抽出部, 24 特徴量取得部, 25 ユーザ評価取得部, 26 空間変形部, 27 クラスタリング部, 28 出力部, 41 変換関数生成部, 42 関数評価値算出部, 101 情報処理装置, 121 コンテンツ取り込み部, 122 特徴量抽出部, 123 コンテンツデータベース, 124 評価データ記憶部, 125 コンテンツグループ特定部, 126 操作部, 127 検索処理部, 128 提示部, 129 再生部, 131 特徴量変換部, 151 情報処理装置, 171 コンテンツ取り込み部, 172 コンテンツデータベース, 173 評価データ取得部, 201 CPU, 202 ROM, 203 RAM, 208 記憶部, 211 リムーバブルメディア

Claims (14)

  1. 複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換する変換手段と、
    変換された特徴量により、類似するコンテンツを検索する検索手段と
    を備える情報処理装置。
  2. コンテンツの特徴量を抽出する抽出手段をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記検索手段は、前記関数により変換された特徴量によるコンテンツのグループのうち、同じグループに属するコンテンツを検索することにより、類似するコンテンツを検索する
    請求項1に記載の情報処理装置。
  4. 前記変換手段は、ユーザから入力された前記複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、前記関数の自由パラメータの数とから算出された情報量基準である評価値が予め定めた世代数更新されなくなるまで遺伝的手法による生成が繰り返されて得られた前記関数を適用することにより、コンテンツの特徴量を変換する
    請求項1に記載の情報処理装置。
  5. 前記変換手段は、FDR(Fisher discriminant ratio)である分類の程度を示す値から算出された前記評価値が予め定めた世代数更新されなくなるまで遺伝的手法による生成が繰り返されて得られた前記関数を適用することにより、コンテンツの特徴量を変換する
    請求項4に記載の情報処理装置。
  6. 遺伝的手法によって前記関数を生成する生成手段をさらに備え、
    前記変換手段は、生成された前記関数を適用することにより、コンテンツの特徴量を変換する
    請求項1に記載の情報処理装置。
  7. ユーザから入力された前記複数のコンテンツ間の類似関係において類似しているとされたコンテンツと類似していないとされたコンテンツとのユークリッド距離による分類の程度を示す値と、前記関数の自由パラメータの数とから、情報量基準である評価値を算出する算出手段をさらに備え、
    前記生成手段は、前記評価値が予め定めた世代数更新されなくなるまで、遺伝的手法によって前記関数を生成する
    請求項6に記載の情報処理装置。
  8. 前記算出手段は、FDRである分類の程度を示す値から前記評価値を算出する
    請求項7に記載の情報処理装置。
  9. ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを取得する取得手段をさらに備え、
    前記算出手段は、ユーザから入力された前記複数のコンテンツ間の類似関係を示すデータを用いて、評価値を算出する
    請求項7に記載の情報処理装置。
  10. 変換された特徴量により、コンテンツのクラスタリングを実行するクラスタリング手段をさらに備える
    請求項1に記載の情報処理装置。
  11. 変換された特徴量によるコンテンツとクラスタとの距離により、コンテンツの属するグループを特定する特定手段をさらに備える
    請求項1に記載の情報処理装置。
  12. 複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、
    変換された特徴量により、類似するコンテンツを検索する
    ステップを含む情報処理方法。
  13. 複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、
    変換された特徴量により、類似するコンテンツを検索する
    ステップをコンピュータに実行させるプログラム。
  14. 複数の特徴量が付与された複数のコンテンツに対して、前記複数の特徴量により定義されたコンテンツ間の距離が、ユーザから入力された前記複数のコンテンツ間の類似関係に対応する距離となるように前記複数の特徴量を変換し、前記複数の特徴量によって定義された特徴量空間に配置されたコンテンツを、前記複数の特徴量の変換により新たな特徴量空間に写像する関数を用いて、コンテンツの特徴量を変換し、
    変換された特徴量により、類似するコンテンツを検索する
    ステップを含む情報処理をコンピュータに実行させるプログラムが記録されている記録媒体。
JP2006270962A 2006-10-02 2006-10-02 情報処理装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4274221B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006270962A JP4274221B2 (ja) 2006-10-02 2006-10-02 情報処理装置および方法、プログラム、並びに記録媒体
KR1020070091308A KR20080030922A (ko) 2006-10-02 2007-09-10 정보처리 장치 및 방법, 프로그램, 및 기록 매체
US11/863,055 US7805389B2 (en) 2006-10-02 2007-09-27 Information processing apparatus and method, program and recording medium
EP07253858A EP1909201A3 (en) 2006-10-02 2007-09-28 Information processing apparatus and method, program and recording medium
CN2007101615520A CN101174407B (zh) 2006-10-02 2007-10-08 信息处理装置和方法、程序以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006270962A JP4274221B2 (ja) 2006-10-02 2006-10-02 情報処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2008090612A true JP2008090612A (ja) 2008-04-17
JP4274221B2 JP4274221B2 (ja) 2009-06-03

Family

ID=38786928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006270962A Expired - Fee Related JP4274221B2 (ja) 2006-10-02 2006-10-02 情報処理装置および方法、プログラム、並びに記録媒体

Country Status (5)

Country Link
US (1) US7805389B2 (ja)
EP (1) EP1909201A3 (ja)
JP (1) JP4274221B2 (ja)
KR (1) KR20080030922A (ja)
CN (1) CN101174407B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091613A (ja) * 2008-10-03 2010-04-22 Sony Corp 情報処理装置、情報処理方法、情報処理プログラム、情報提供装置、情報提供方法、情報提供プログラムおよび情報処理システム
WO2014167880A1 (ja) * 2013-04-09 2014-10-16 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
JP2015011411A (ja) * 2013-06-26 2015-01-19 日本電信電話株式会社 情報処理装置、特徴量変換システム、変換ルール生成方法及び変換ルール生成プログラム
JPWO2019102533A1 (ja) * 2017-11-22 2020-02-27 花王株式会社 文献分類装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777122B2 (en) * 2008-06-16 2010-08-17 Tobias Hurwitz Musical note speedometer
US8135739B2 (en) * 2008-12-29 2012-03-13 Microsoft Corporation Online relevance engine
US7953679B2 (en) * 2009-07-22 2011-05-31 Xerox Corporation Scalable indexing for layout based document retrieval and ranking
US20110270864A1 (en) * 2010-04-29 2011-11-03 Microsoft Corporation Comparisons between entities of a particular type
US9043296B2 (en) 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
JP5465689B2 (ja) * 2011-02-28 2014-04-09 株式会社日立製作所 高精度な類似検索システム
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
US9864817B2 (en) 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
JP5994974B2 (ja) * 2012-05-31 2016-09-21 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置、プログラム及び情報処理方法
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN111489721B (zh) * 2020-03-23 2022-05-03 天津大学 一种信号帧矩阵化的音乐信息记录方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239938A (ja) * 1994-02-28 1995-09-12 Matsushita Electric Ind Co Ltd 検査方法
DE69634221T2 (de) * 1995-03-31 2006-05-18 Canon K.K. Verfahren und Gerät zur Verarbeitung visueller Information
US5933822A (en) * 1997-07-22 1999-08-03 Microsoft Corporation Apparatus and methods for an information retrieval system that employs natural language processing of search results to improve overall precision
JP3762835B2 (ja) * 1998-05-21 2006-04-05 富士通株式会社 データ分解装置、その方法、及び記録媒体
NO983175L (no) * 1998-07-10 2000-01-11 Fast Search & Transfer Asa Soekesystem for gjenfinning av data
JP4302799B2 (ja) 1998-09-16 2009-07-29 シャープ株式会社 文書検索装置、方法および記録媒体
US6578031B1 (en) * 1998-09-30 2003-06-10 Canon Kabushiki Kaisha Apparatus and method for retrieving vector format data from database in accordance with similarity with input vector
US7130487B1 (en) * 1998-12-15 2006-10-31 Matsushita Electric Industrial Co., Ltd. Searching method, searching device, and recorded medium
JP2000259198A (ja) * 1999-03-04 2000-09-22 Sony Corp パターン認識装置および方法、並びに提供媒体
JP2000339453A (ja) * 1999-05-28 2000-12-08 Olympus Optical Co Ltd 画像領域分割装置及びその方法と処理プログラムが記録された記録媒体
JP4302967B2 (ja) 2002-11-18 2009-07-29 パイオニア株式会社 楽曲検索方法、楽曲検索装置及び楽曲検索プログラム
JP5059297B2 (ja) * 2005-05-09 2012-10-24 株式会社日立ハイテクノロジーズ 電子線式観察装置
JP4082714B2 (ja) * 2006-05-29 2008-04-30 松下電器産業株式会社 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム
US7664608B2 (en) * 2006-07-14 2010-02-16 Hitachi High-Technologies Corporation Defect inspection method and apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091613A (ja) * 2008-10-03 2010-04-22 Sony Corp 情報処理装置、情報処理方法、情報処理プログラム、情報提供装置、情報提供方法、情報提供プログラムおよび情報処理システム
JP4715898B2 (ja) * 2008-10-03 2011-07-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、情報提供装置、情報提供方法、情報提供プログラムおよび情報処理システム
US8443015B2 (en) 2008-10-03 2013-05-14 Sony Corporation Apparatus and method for providing content and content analysis results
WO2014167880A1 (ja) * 2013-04-09 2014-10-16 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
JP5866064B2 (ja) * 2013-04-09 2016-02-17 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
JPWO2014167880A1 (ja) * 2013-04-09 2017-02-16 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
US9576222B2 (en) 2013-04-09 2017-02-21 Hitachi Kokusai Electric Inc. Image retrieval apparatus, image retrieval method, and recording medium
JP2015011411A (ja) * 2013-06-26 2015-01-19 日本電信電話株式会社 情報処理装置、特徴量変換システム、変換ルール生成方法及び変換ルール生成プログラム
JPWO2019102533A1 (ja) * 2017-11-22 2020-02-27 花王株式会社 文献分類装置
US10984344B2 (en) 2017-11-22 2021-04-20 Kao Corporation Document classifying device

Also Published As

Publication number Publication date
CN101174407A (zh) 2008-05-07
EP1909201A2 (en) 2008-04-09
JP4274221B2 (ja) 2009-06-03
EP1909201A3 (en) 2012-02-01
US20080082506A1 (en) 2008-04-03
US7805389B2 (en) 2010-09-28
KR20080030922A (ko) 2008-04-07
CN101174407B (zh) 2011-06-08

Similar Documents

Publication Publication Date Title
JP4274221B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
Casey et al. Content-based music information retrieval: Current directions and future challenges
JP4825800B2 (ja) 楽曲分類方法
CN111309965B (zh) 音频匹配方法、装置、计算机设备及存储介质
US9576050B1 (en) Generating a playlist based on input acoustic information
AU2006288921A1 (en) Music analysis
US10623480B2 (en) Music categorization using rhythm, texture and pitch
US11271993B2 (en) Streaming music categorization using rhythm, texture and pitch
Shen et al. Visual exploration of latent space for traditional Chinese music
JP2009535671A (ja) 一のユーザのカテゴリラベルを他のユーザにより規定されたカテゴリラベルで関連付けるシステム及び方法
KR20030067377A (ko) 멜로디 기반 음악 검색방법과 장치
Gurjar et al. Comparative Analysis of Music Similarity Measures in Music Information Retrieval Systems.
KR102128153B1 (ko) 기계 학습을 이용한 음악 소스 검색 장치 및 그 방법
KR20120021174A (ko) 감정 모델을 이용한 음악 검색 장치 및 방법
Müller et al. Content-based audio retrieval
Yeh et al. Popular music representation: chorus detection & emotion recognition
Yesiler et al. Audio-based musical version identification: Elements and challenges
EP3996085A1 (en) Relations between music items
Tzanetakis et al. Music analysis and retrieval systems for audio signals
Huang et al. A repeating pattern based Query-by-Humming fuzzy system for polyphonic melody retrieval
Müller New developments in music information retrieval
JP2010164825A (ja) プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム
JP4313343B2 (ja) 携帯端末装置および情報表示方法
EP3996084B1 (en) Determining relations between music items
US20230260492A1 (en) Relations between music items

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090223

R151 Written notification of patent or utility model registration

Ref document number: 4274221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees