JP2008123011A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2008123011A
JP2008123011A JP2006288662A JP2006288662A JP2008123011A JP 2008123011 A JP2008123011 A JP 2008123011A JP 2006288662 A JP2006288662 A JP 2006288662A JP 2006288662 A JP2006288662 A JP 2006288662A JP 2008123011 A JP2008123011 A JP 2008123011A
Authority
JP
Japan
Prior art keywords
level feature
feature quantity
low
quantity extraction
extraction formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006288662A
Other languages
English (en)
Other versions
JP4948118B2 (ja
Inventor
Yoshiyuki Kobayashi
由幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006288662A priority Critical patent/JP4948118B2/ja
Publication of JP2008123011A publication Critical patent/JP2008123011A/ja
Application granted granted Critical
Publication of JP4948118B2 publication Critical patent/JP4948118B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】楽曲データなどのコンテンツデータから対応する特徴量を抽出できるアルゴリズムを、高精度で速やかに生成する。
【解決手段】特徴量抽出アルゴリズム生成装置20は、m種類の低レベル特徴量抽出式から成る低レベル特徴量抽出式リストをn個生成する低レベル特徴量抽出式リスト生成部21、n個の低レベル特徴量抽出式リストにj曲分の入力データを代入して、各入力データに対応するm種類の低レベル特徴量をn組得る低レベル特徴量演算部24、n組の低レベル特徴量出力と対応する教師データ(j曲にそれぞれ対応するk項目の高レベル特徴量)に基づいて高レベル特徴量抽出式を学習によって推定する高レベル特徴量抽出式学習部25から構成される。本発明は、楽曲や映像の高レベル特徴量を取得するシステムに適用できる。
【選択図】図5

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、楽曲データなどのコンテンツデータの特徴量を抽出するアルゴリズムを自動的に生成するようにした情報処理装置、情報処理方法、およびプログラムに関する。
従来、楽曲データを入力として前記楽曲データの特徴量(楽曲データの速さ、明るさ、にぎやかさ等)を出力とするアルゴリズムの自動生成に関する発明が提案されている(例えば、特許文献1参照)。
米国特許出願公報 US2004/0181401A1
特許文献1に記載の発明では、図1に示すように、その特徴量の種類毎に特徴量を抽出する特徴量抽出アルゴリズムを作成しており、特徴量抽出過程に要する演算量が膨大であって、実行する演算の中に無駄な演算が多く含まれている。
したがって、できるだけ無駄なく少ない演算量で、楽曲データから対応する特徴量を速やかに抽出できるアルゴリズムの生成方法の出現が望まれている。
本発明はこのような状況に鑑みてなされたものであり、楽曲データなどのコンテンツデータを入力とし、当該コンテンツデータに対応する特徴量を高精度で速やかに抽出できるアルゴリズムを生成できるようにするものである。
本発明の一側面である情報処理装置は、コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置において、前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成する低レベル特徴量抽出式リスト生成手段と、低レベル特徴量抽出式リスト生成手段によって生成された前記式リストを用いて前記低レベル特徴量を演算する演算手段と、前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、前記演算手段によって演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する高レベル特徴量抽出式生成手段とを含む。
前記高レベル特徴量抽出式生成手段は、生成した前記高レベル特徴量抽出式の精度、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方を算出し、前記低レベル特徴量抽出式リスト生成手段は、前記高レベル特徴量抽出式生成手段により算出された前記高レベル特徴量抽出式の精度、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方に基づき、前記低レベル特徴量抽出式リストを構成する前記低レベル特徴量抽出式を更新するようにすることができる。
前記低レベル特徴量抽出式リスト生成手段は、第1世代の前記式リストをランダムに生成するようにすることができる。
前記低レベル特徴量抽出式リスト生成手段は、次世代の前記式リストを前世代の前記式リストに基づく遺伝的アルゴリズムにより選択処理、交差処理、または突然変異処理の少なくとも1つによって生成するようにすることができる。
前記低レベル特徴量抽出式リスト生成手段は、予め設定された定数の低レベル特徴量抽出式から構成される次世代の式リストを生成するようにすることができる。
前記低レベル特徴量抽出式リスト生成手段は、前記リストを生成する度にランダムに決定する数の低レベル特徴量抽出式から構成される次世代の式リストを生成するようにすることができる。
前記高レベル特徴量抽出式生成手段は、生成した前記高レベル特徴量抽出式の評価値、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方を算出し、前記低レベル特徴量抽出式リスト生成手段は、前記高レベル特徴量抽出式生成手段により算出された前記高レベル特徴量抽出式の評価値、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方に基づき、前記低レベル特徴量抽出式リストを構成する前記低レベル特徴量抽出式を更新するようにすることができる。
本発明の一側面である情報処理方法は、コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置の情報処理方法において、前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成し、生成された前記式リストを用いて前記低レベル特徴量を演算し、前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成するステップを含む。
本発明の一側面であるプログラムは、コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置の制御用のプログラムであって、前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成し、生成された前記式リストを用いて前記低レベル特徴量を演算し、前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成するステップを含む処理をコンピュータに実行させる。
本発明の一側面においては、コンテンツデータまたはコンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストが、前世代の式リストに基づく学習によって生成され、生成された式リストを用いて低レベル特徴量が演算され、コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された低レベル特徴量を入力としてコンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式が生成される。
本発明の一側面によれば、楽曲データなどのコンテンツデータを入力とし、当該コンテンツデータに対応する特徴量を高精度で速やかに抽出できるアルゴリズムを生成することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面である情報処理装置(例えば、図5の特徴量抽出アルゴリズム生成装置20)は、コンテンツデータまたはコンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の式リストに基づく学習によって生成する低レベル特徴量抽出式リスト生成手段(例えば、図5の低レベル特徴量抽出式リスト生成部21)と、低レベル特徴量抽出式リスト生成手段によって生成された式リストを用いて低レベル特徴量を演算する演算手段(例えば、図5の低レベル特徴量演算部24)と、コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算手段によって演算された低レベル特徴量を入力としてコンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する高レベル特徴量抽出式生成手段(例えば、図5の高レベル特徴量抽出式学習部25)とを含む。
本発明の一側面である情報処理方法およびプログラムは、コンテンツデータまたはコンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の式リストに基づく学習によって生成し(例えば、図7のステップS2)、生成された式リストを用いて低レベル特徴量を演算し(例えば、図7のステップS3)、コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された低レベル特徴量を入力としてコンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する(例えば、図7のステップS4)ステップを含む。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図2は、本発明を適用した実施の形態である特徴量抽出アルゴリズム生成装置20(図5)または特徴量抽出アルゴリズム生成装置60(図40)によって生成される特徴量抽出アルゴリズムの概要を示している。
この特徴長抽出アルゴリズム11は、コンテンツデータ(楽曲データ)とそれに対応するメタデータ(属性データ)を入力として低レベル特徴量を出力する低レベル特徴量抽出部12、および、低レベル特徴量を入力として高レベル特徴量を出力する高レベル特徴量抽出部14から構成される。
低レベル特徴量抽出部12は、入力データに所定の演算を施す1以上のオペレータ(演算子)が組み合わされたm種類の低レベル特徴量抽出式から成る低レベル特徴量抽出式リスト13を有している。したがって、低レベル特徴量抽出部12は、m種類の低レベル特徴量を高レベル特徴量抽出部14に出力する。
ここで、低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式の数mは、図5に示される特徴量抽出アルゴリズム生成装置20の場合、予め決定されている定数である。また、図40に示される特徴量抽出アルゴリズム生成装置60の場合、ランダムに決定される乱数である。
図3は低レベル特徴量抽出式の例を示している。
例えば、図3Aに示す低レベル特徴量抽出式f1は、楽曲データの1種である波形データを入力として、各チャンネル(例えば、L(Left)チャンネルとR(Right)チャンネル)間で波形データの平均値(Mean)を演算し、演算された平均値を時間軸に沿って高速フーリエ変換(FFT)を行い、FFT結果から周波数の標準偏差(StDev)を求め、その結果を低レベル特徴量aとして出力する。
また例えば、図3Bに示す低レベル特徴量抽出式f2は、楽曲データの1種であるコード進行データを入力として、時間軸に沿ってマイナーコードの出現率(Ratio)を求め、その結果を低レベル特徴量bとして出力する。
なお、低レベル特徴量抽出部12の出力である低レベル特徴量は、それ単体で意味のある値である必要ない。
高レベル特徴量抽出部14は、入力されるm種類の低レベル特徴量のうちの1種類以上の低レベル特徴量に比較的単純な演算(四則演算、累乗演算など)を行い、その演算結果を高レベル特徴量として出力するk種類の高レベル特徴量抽出式を有している。したがって、高レベル特徴量抽出部14は、k種類の高レベル特徴量を出力する。
図4は高レベル特徴量抽出式の例を示している。
例えば、図4Aに示す高レベル特徴量抽出式F1は、低レベル特徴量a,b,c,d,eに四則演算を行い、この演算結果を1種類の高レベル特徴量である速さの値として出力する。
また例えば、図4Bに示す低レベル特徴量抽出式F2は、低レベル特徴量a,c,d,eに四則演算と累乗演算(POWER)を行い、この演算結果を1種類の高レベル特徴量である明るさの値として出力する。
次に、図5は本発明の第1の実施の形態である特徴量抽出アルゴリズム生成装置20の構成例を示している。
この特徴量抽出アルゴリズム生成装置20は、最適な低レベル特徴量抽出式と高レベル特徴量抽出式を遺伝的なアルゴリズムに基づく学習によって生成するものである。
特徴量抽出アルゴリズム生成装置20は、m本の低レベル特徴量抽出式から成る低レベル特徴量抽出式リストをn個生成する低レベル特徴量抽出式リスト生成部21、低レベル特徴量抽出式リスト生成部21から供給されるn個の低レベル特徴量抽出式リストにj曲分の入力データ(コンテンツデータおよびメタデータ)を入力として各入力データに対応するm種類の低レベル特徴量をn組分演算する低レベル特徴量演算部24、低レベル特徴量演算部24から出力されるn組分の低レベル特徴量と対応する教師データ(j曲にそれぞれ対応するk項目の高レベル特徴量)に基づいて高レベル特徴量抽出式を学習によって推定する高レベル特徴量抽出式学習部25、遺伝的な学習が進められることによって最終的に生成される高レベル特徴量抽出式を用いて高レベル特徴量を演算する高レベル特徴量演算部26、および、各部の動作の繰り返し(ループ)を制御する制御部27から構成される。
なお、本明細書において、遺伝的なアルゴリズムに基づく学習を、ジェネティック(Genetic)な学習とも記述する。
低レベル特徴量抽出式リスト生成部21は、予め設定されている定数であるm本の低レベル特徴量抽出式から構成される低レベル特徴量抽出式リストを、第1世代についてはランダムに、第2世代以降の低レベル特徴量抽出式リストについては1世代前の低レベル特徴量抽出式リストに基づく低レベル特徴量を用いて学習された高レベル特徴量抽出式の精度などに基づいて生成する。
低レベル特徴量抽出式リスト生成部21に内蔵されたオペレータ組検出部22は、生成された低レベル特徴量抽出式中に頻出する複数のオペレータ(演算子)の組み合わせを検出する。オペレータ生成部23は、オペレータ組検出部22によって検出された複数のオペレータの組み合わせを新たな1種類のオペレータとして登録する。
高レベル特徴量抽出式学習部25は、n組の低レベル特徴量にそれぞれ対応し、k種類の高レベル特徴量抽出式を生成するとともに、各高レベル特徴量抽出式の推定精度と各高レベル特徴量抽出式における各低レベル特徴量の寄与率を算出して低レベル特徴量抽出式リスト生成部21に出力する。また、高レベル特徴量抽出式学習部25は、学習の最終世代において、n組の低レベル特徴量抽出式リストのうち、得られた高レベル特徴量の平均精度が最も高かった低レベル特徴量抽出式リストを構成するm本の低レベル特徴量抽出式と、これに対応するk種類の高レベル特徴量抽出式を高レベル特徴量演算部26に供給する。
高レベル特徴量演算部26は、最終的に高レベル特徴量抽出式学習部25から供給される低レベル特徴量抽出式および高レベル特徴量抽出式を用いて高レベル特徴量を演算する。
次に、図6は高レベル特徴量演算部26の詳細な構成例を示している。
この高レベル特徴量演算部26は、入力データ(コンテンツデータとそれに対応するメタデータ)を最終的な低レベル特徴量抽出式リストに代入して低レベル特徴量を演算する低レベル特徴量演算部41、低レベル特徴量演算部41による演算結果である低レベル特徴量を最終的な高レベル特徴量抽出式に代入して高レベル特徴量を演算する高レベル特徴量演算部42、高レベル特徴量演算部42による演算結果である高レベル特徴量と教師データ(入力データに対応する真の高レベル特徴量)との2乗誤差を演算する2乗誤差演算部43、低レベル特徴量演算部41の演算結果である低レベル特徴量を入力、2乗誤差演算部43の演算結果である2乗誤差を出力とするリジェクト領域抽出式を学習により生成するリジェクト領域抽出式学習部44、および、入力データをリジェクト領域抽出式学習部44によって生成されたリジェクト領域抽出式に代入し、入力データに対応して演算される高レベル特徴量の特徴抽出精度(2乗誤差)を推定し、推定した特徴抽出精度が所定の閾値以上である場合だけ高レベル特徴量演算部42に高レベル特徴量を演算させる特徴量抽出精度演算部45から構成される。
次に、本発明の第1の実施の形態である特徴量抽出アルゴリズム生成装置20の動作について説明する。
図7は特徴量抽出アルゴリズム生成装置20の基本的な動作である特徴量抽出アルゴリズム生成処理を説明するフローチャートである。
ステップS1において、制御部27は、学習ループパラメータGを1に初期化して学習ループを開始する。なお、学習ループは、ユーザなどによって予め設定されている学習回数gだけ繰り返される。
ステップS2において、低レベル特徴量抽出式リスト生成部21は、図8に示すように、m種類の低レベル特徴量抽出式から成る低レベル特徴量抽出式リストをn個生成して低レベル特徴量演算部24に出力する。
ステップS2の処理(低レベル特徴量抽出式リスト生成処理)について、図9のフローチャートを参照して詳述する。
ステップS11において、低レベル特徴量抽出式リスト生成部21は、生成する低レベル特徴量抽出式リストが第1世代であるか否かを判定する。なお、この判定では学習ループパラメータGが0であるとき、生成する低レベル特徴量抽出式リストが第1世代であると判定される。
学習ループパラメータGが0であることにより、生成する低レベル特徴量抽出式リストが第1世代であると判定された場合、処理はステップS12に進められる。ステップS12において、低レベル特徴量抽出式リスト生成部21は、第1世代の低レベル特徴量抽出式リストをランダムに生成する。
反対に、ステップS11において、生成する低レベル特徴量抽出式リストが第1世代ではないと判定された場合、処理はステップS13に進められる。ステップS13において、低レベル特徴量抽出式リスト生成部21は、次世代の低レベル特徴量抽出式リストを、1世代前の低レベル特徴量抽出式リストに基づいて遺伝的アルゴリズムによりジェネティック(Genetic)に生成する。
ステップS12の処理(第1世代リストランダム生成処理)について、図10のフローチャートを参照して詳述する。
ステップS21において、制御部27は、リストループパラメータNを1に初期化してリストループを開始する。なお、リストループは、予め設定されているリスト数nだけ繰り返される。
ステップS22において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、1個の低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式の式数mだけ繰り返される。
ここで、式ループ内において生成される低レベル特徴量抽出式の記述方法について図11を参照して説明する。
低レベル特徴量抽出式は、入力データが左端に記述され、その右側に1種類以上のオペレータ(演算子)が演算の順序に対応して記述される。各オペレータには、適宜、処理対称軸とパラメータが含まれる。
例えば、図11に示された低レベル特徴量抽出式の例の場合、12TomesMが入力データであり、32#Differential,32#MaxIndex,16#LPF_1;O.861などがオペレータである。また、オペレータ中の32#,16#などは処理対称軸を示している。例えば、12TomesMは、入力データがモノラルのPCM(pulse coded modulation sound source)波形データを時間軸方向にであることを示している。48#はチャンネル軸、32#は周波数軸と音程軸、16#は時間軸を示す。オペレータ中の0.861はローパスフィルタ処理におけるパラメータであり、例えば透過させる周波数の閾値を示している。
図10に戻る。ステップS23において、低レベル特徴量抽出式リスト生成部21は、生成する第N番目の低レベル特徴量抽出式リスト(以下、リストNとも記述する)の第M本目の低レベル特徴量抽出式(以下、低レベル特徴量抽出式Mとも記述する)の入力データをランダムに決定する。
入力データの種類としては、例えば図12に示すWav,12Tones,Chord,Keyなどを挙げることができる。
入力データであるWAVは、図13に示すようなPCM波形データであり、保有次元は時間軸とチャンネル軸である。入力データである12Tonesは、PCM波形データを時間軸に沿って音程毎に解析したものであり、保有次元は時間軸と音程軸である。入力データであるChordは、図14に示すような楽曲のコード進行(C,C#,D,・・・,Bm)を示すデータであり、保有次元は時間軸と音程軸である。入力データであるKeyは、楽曲のキー(C,C#,D,・・・,B)を示すデータであり、保有次元は時間軸と音程軸である。
図10に戻る。ステップS24において、低レベル特徴量抽出式リスト生成部21は、生成するリストNの低レベル特徴量抽出式Mの処理対称軸とパラメータをランダムに1つ決定する。
パラメータの種類としては、平均値(Mean)、高速フーリエ変換(FFT)、標準偏差(StDev)、出現率(Ratio)、ローパスフィルタ(LPF)、ハイパスフィルタ(HPF)、絶対値(ABS)、微分(Differential)、最大値(MaxIndex)、不偏分散(UVariance)などを挙げることができる。なお、決定されたオペレータによっては処理対称軸が固定されていることがあるので、その場合、パラメータに固定されている処理対称軸を採用する。また、パラメータを必要とするオペレータが決定された場合、パラメータもランダムまたは予め設定されている値に決定する。
ステップS25において、低レベル特徴量抽出式リスト生成部21は、現時点までに生成されているリストNの低レベル特徴量抽出式Mの演算結果がスカラ(1次元)であるか、または次元数が所定の値(例えば、1または2程度の小さい数)以下であるか否かを判定し、否と判定した場合、ステップS24の処理に戻ってオペレータを1つ追加する。そして、ステップS24およびS25の処理が繰り返されることにより、図16に示すように演算結果の保有次元数が減少していき、ステップS25において、リストNの低レベル特徴量抽出式Mの演算結果がスカラであるか、あるいはは次元数が所定の値(例えば、1または2程度の小さい数)以下であると判定された場合、処理はステップS26に進められる。
ステップS26において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS23に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS27に進める。ここまでの処理により、第N番目の低レベル特徴量抽出式リストが生成されたことになる。
ステップS27において、制御部27は、リストループパラメータNが最大値nよりも小さいか否かを判定し、リストループパラメータNが最大値nよりも小さい場合、リストループパラメータNを1だけインクリメントして処理をステップS22に戻す。反対に、リストループパラメータNが最大値nよりも小さくない場合(リストループパラメータNが最大値nと同値の場合)、リストループを抜けて第1世代リストランダム生成処理を終了する。ここまでの処理により、第1世代の低レベル特徴量抽出式リストがn個生成されたことになる。
次に、図9のステップS13における第2世代以降の低レベル特徴量抽出式リストを生成する処理(次世代リストジェネティック生成処理)について、図17のフローチャートを参照して詳述する。
ステップS31において、低レベル特徴量抽出式リスト生成部21は、生成する低レベル特徴量抽出式リストの個数nのうち、遺伝的アルゴリズムの選択を適用するリスト数を示す選択数ns、遺伝的アルゴリズムの交差を適用するリスト数を示す交差数nx、遺伝的アルゴリズムの突然変異を適用するリスト数を示す突然変異数nmをランダムに決定する。ただし、選択数ns、交差数nx、突然変異数nmの総和はnである。なお、選択数ns、交差数nx、突然変異数nmは予め設定した定数を採用してもよい。
ステップS32において、低レベル特徴量抽出式リスト生成部21は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した選択数nsの低レベル特徴量抽出式リストを用いて、ns個の低レベル特徴量抽出式リストを生成する。ステップS33において、低レベル特徴量抽出式リスト生成部21は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した交差数nxの低レベル特徴量抽出式リストを用いて、nx個の低レベル特徴量抽出式リストを生成する。ステップS34において、低レベル特徴量抽出式リスト生成部21は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した突然変異数nmの低レベル特徴量抽出式リストを用いて、nm個の低レベル特徴量抽出式リストを生成する。
ステップS32乃至S34の処理について詳述する。
ステップS32の選択生成処理について、図18のフローチャートを参照して詳述する。この選択生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの選択数ns個の低レベル特徴量抽出式リストが生成される。
ステップS41において、低レベル特徴量抽出式リスト生成部21は、1世代前のn個の低レベル特徴量抽出式リストを、高レベル特徴量抽出式学習部25から入力された高レベル特徴量抽出式の推定精度の平均値が高い順に並び替える。そして、ステップS42において、低レベル特徴量抽出式リスト生成部21は、並び替えた1世代前のn個の低レベル特徴量抽出式リストのうち、上位ns個を次世代の低レベル特徴量抽出式リストとして採用する。以上で選択生成処理は終了される。
図17のステップS33の交差生成処理について、図19のフローチャートを参照して詳述する。この交差生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの交差数nx個の低レベル特徴量抽出式リストが生成される。
ステップS51において、制御部27は、交差ループパラメータNXを1に初期化して交差ループを開始する。なお、交差ループは、交差数nxだけ繰り返される。
ステップS52において、低レベル特徴量抽出式リスト生成部21は、前世代の低レベル特徴量抽出式リストから、高レベル特徴量抽出式学習部25の出力した高レベル特徴量抽出式の推定精度の平均値が高い方のものから順に優先的に選択されるよう重み付けをした後、ランダムに2個の低レベル特徴量抽出式リストA,Bを選択する。なお、ここでの選択は、上述した選択生成処理で選択されたns個の低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。
ステップS53において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、1個の低レベル特徴量抽出式リストに含まれる式数mだけ繰り返される。
ステップS54において、低レベル特徴量抽出式リスト生成部21は、低レベル特徴量抽出式リストA,Bに含まれる2m本の低レベル特徴量抽出式から、高レベル特徴量抽出式学習部25から入力された高レベル特徴量抽出式における寄与率が高い方のものが優先的に選択されるように重み付けをした後、ランダムに1本の低レベル特徴量抽出式を選択して次世代の低レベル特徴量抽出式リストに追加する。
ステップS55において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS54に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS56に進める。式ループであるステップS53乃至S55の処理により、1個の低レベル特徴量抽出式リストが生成されたことになる。
ステップS56において、制御部27は、交差ループパラメータNXが最大値nxよりも小さいか否かを判定し、交差ループパラメータNXが最大値nxよりも小さい場合、交差ループパラメータNXを1だけインクリメントして処理をステップS52に戻す。反対に、交差ループパラメータNXが最大値nxよりも小さくない場合(交差ループパラメータNXが最大値nxと同値の場合)、交差ループを抜けて交差生成処理を終了する。この交差ループの処理により、交差数nx個の低レベル特徴量抽出式リストが生成されたことになる。
図17のステップS34の突然変異生成処理について、図20のフローチャートを参照して詳述する。この突然変異生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの突然変異数nm個の低レベル特徴量抽出式リストが生成される。
ステップS61において、制御部27は、突然変異ループパラメータNMを1に初期化して突然変異ループを開始する。なお、突然変異ループは、突然変異数nmだけ繰り返される。
ステップS62において、低レベル特徴量抽出式リスト生成部21は、前世代の低レベル特徴量抽出式リストから、高レベル特徴量抽出式学習部25の出力した高レベル特徴量抽出式の推定精度の平均値が高い方のものが優先的に選択されるように重み付けをした後、ランダムに1個の低レベル特徴量抽出式リストAを選択する。なお、ここでの選択は、上述した選択生成処理で選択されたns個の低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。また、上述した交差生成処理のステップS52の処理で選択された低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。
ステップS63において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、1個の低レベル特徴量抽出式リストに含まれる式数mだけ繰り返される。
ステップS64において、低レベル特徴量抽出式リスト生成部21は、低レベル特徴量抽出式リストAに含まれるm本の低レベル特徴量抽出式のうちのM番目のものに注目して、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が、低レベル特徴量抽出式リストAに含まれる他の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率に比較して低いか否かを判定する。具体的には、例えば低レベル特徴量抽出式リストAに含まれるm本の低レベル特徴量抽出式のうち、演算結果である低レベル特徴量の寄与率が低い方の所定の順番までに属するか否かを判定する。
ステップS64において、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が他よりも低いと判定された場合、処理はステップS65に進められ、低レベル特徴量抽出式リスト生成部21は、M番目の低レベル特徴量抽出式をランダムに変形して(突然変異させて)次世代の低レベル特徴量抽出式リストに追加する。
反対に、ステップS64において、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が他よりも低くないと判定された場合、処理はステップS66に進められ、低レベル特徴量抽出式リスト生成部21は、M番目の低レベル特徴量抽出式を突然変異させることなく、そのまま次世代の低レベル特徴量抽出式リストに追加する。
ステップS67において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS64に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS68に進める。ステップS63乃至S67の式ループの処理により、低レベル特徴量抽出式リストが1個生成されたことになる。
ステップS68において、制御部27は、突然変異ループパラメータNMが最大値nmよりも小さいか否かを判定し、突然変異ループパラメータNMが最大値nmよりも小さい場合、突然変異ループパラメータNMを1だけインクリメントして処理をステップS62に戻す。反対に、突然変異ループパラメータNMが最大値nmよりも小さくない場合(突然変異ループパラメータNMが最大値nmと同値の場合)、突然変異ループを抜けて突然変異生成処理を終了する。ここまでの処理により、突然変異数nm個の低レベル特徴量抽出式リストが生成されたことになる。
以上説明した次世代リストジェネティック生成処理によれば、1世代前の低レベル特徴量抽出式リストに対応する推定精度が高いもの、低レベル特徴量抽出式に対応する寄与率が高いものは次世代に継承され、推定精度や寄与率が低いものは次世代に継承されず淘汰されることになる。したがって、世代が進むに連れて、低レベル特徴量抽出式リストに対応する推定精度は向上し、低レベル特徴量抽出式に対応する寄与率も向上することが期待できる。
図7に戻る。以上のようにして生成された次世代の低レベル特徴量抽出式リストは、低レベル特徴量抽出式リスト生成部21から低レベル特徴量演算部24に出力される。ステップS3において、低レベル特徴量演算部24は、低レベル特徴量抽出式リスト生成部21から入力されたn個の低レベル特徴量抽出式リストそれぞれに楽曲C1乃至Cjのj曲分の入力データ(コンテンツデータやメタデータ)を代入して低レベル特徴量を演算する。
なお、ここで入力されるj曲分の入力データは、それぞれk項目の教師データ(対応する高レベル特徴量)が予め得られているものを使用する。
例えば、低レベル特徴量演算部24は、図21Aに示されるような保有次元が音程軸と時間軸である入力データに対して#16Meanのオペレータに相当する演算を実行した場合、図21Bに示すように時間軸を処理対象軸にして各音程の値の平均値を算出する。そして演算結果として得られる図22に示すような、各入力データにそれぞれ対応するn組の低レベル特徴量組(m種類の低レベル特徴量から成る)を高レベル特徴量抽出式学習部25に出力する。
図7に戻る。ステップS4において、高レベル特徴量抽出式学習部25は、低レベル特徴量演算部24から入力されたn組の低レベル特徴量組と、対応する教師データ(図23に示すように、各入力データ(楽曲C1乃至Cj)にそれぞれ対応するk種類の高レベル特徴量)に基づいて、k種類の高レベル特徴量抽出式から成る高レベル特徴量抽出式組をn組、学習によって推定する(生成する)。また、各高レベル特徴量抽出式の推定精度と各高レベル特徴量抽出式における各低レベル特徴量の寄与率を算出して低レベル特徴量抽出式リスト生成部21に出力する。
ステップS4における高レベル特徴量抽出式学習処理について、図24のフローチャートを参照して詳述する。
ステップS71において、制御部27は、リストループパラメータNを1に初期化してリストループを開始する。なお、リストループは、予め設定されているリスト数nだけ繰り返される。ステップS72において、制御部27は、教師データループパラメータKを1に初期化して教師データループを開始する。なお、教師データループは、予め設定されている教師データの種類数kだけ繰り返される。
ステップS73において、制御部27は、アルゴリズムループパラメータAを1に初期化してアルゴリズムループを開始する。なお、アルゴリズムループは、適用される学習アルゴリズムの種類数aだけ繰り返される。
適用する学習アルゴリズムとして、例えば、Regression(回帰解析)、Classify(クラス分類)、SVM(Support Vector Machine)、およびGP(Genetic Programming)の4種類を挙げることができる。
Regressionに属する学習アルゴリズムとしては、図25に示すように、教師データと低レベル特徴量が線形の関係にあるとの仮定に基づいて教師データとYの2乗誤差が最小となるようにパラメータbnを学習するもの、および、図26に示すように、教師データと低レベル特徴量が非線形の関係にあるとの仮定に基づいて教師データとYの2乗誤差が最小となるようにパラメータbnmを学習するものを挙げることができる。
Classifyに属する学習アルゴリズムとしては、図27に示すように、各クラス(同図の場合、男性ボーカルクラスと女性ボーカルクラス)のそれぞれの中心からのユークリッド距離dを算出してユークリッド距離dが最短のクラスに分類するもの、図28に示すように、各クラス(同図の場合、男性ボーカルクラスと女性ボーカルクラス)の平均ベクトルとの相関係数correlを算出して相関係数correlが最大のクラスに分類するもの、図29に示すように、各クラス(同図の場合、男性ボーカルクラスと女性ボーカルクラス)のそれぞれの中心からのマハラノビス距離dを算出してマハラノビス距離dが最短のクラスに分類するものを挙げることができる。
さらに、図30Aに示すように、各クラス群(同図の場合、男性ボーカルクラス群と女性ボーカルクラス群)の分布を複数のクラスで表現し、それぞれのクラス群の中心からのユークリッド距離dを算出してユークリッド距離dが最短のクラスに分類するもの、および、図30Bに示すように、各クラス群(同図の場合、男性ボーカルクラス群と女性ボーカルクラス群)の分布を複数のクラスで表現し、それぞれのクラス群の中心からのマハラノビス距離dを算出してマハラノビス距離dが最短のクラスに分類するものを挙げることができる。
SVMに属する学習アルゴリズムとしては、図31に示すように、各クラス(同図の場合、男性ボーカルクラスと女性ボーカルクラス)の境界面をサポートベクトルで表現し、分離面と境界付近のベクトルとの距離(マージン)が最大になるようにパラメータbnmを学習するものを挙げることができる。
GPに属する学習アルゴリズムとしては、図32に示すように、低レベル特徴量を組み合わせた式をGPで生成するもの、図33Aに示すように、低レベル特徴量を組み合わせた式を交差させるもの、および、図33Bに示すように、低レベル特徴量を組み合わせた式を突然変異させるものを挙げることができる。
例えば、上述した全ての学習アルゴリズムを採用した場合、学習アルゴリズムの種類数aは11とされる。
図24に戻る。ステップS74において、制御部27は、クロスバリデーションループパラメータCを1に初期化してクロスバリデーションループを開始する。なお、クロスバリデーションループは、予め設定されているクロスバリデーション回数cだけ繰り返される。
ステップS75において、高レベル特徴量抽出式学習部25は、k種類の教師データのうち、K番目の種類のj曲分の教師データ(真の高レベル特徴量)をランダムに学習用と評価用に2分割する(クロスバリデーション)。以下、教師データのうち、学習用に分類されたものを学習用データ、評価用に分類されたものを評価用データと記述する。
ステップS76において、高レベル特徴量抽出式学習部25は、N番目の低レベル特徴量抽出式リストを用いて演算されたm種類の低レベル特徴量から成る低レベル特徴量組と学習用データとをa番目の学習アルゴリズムに適用して高レベル特徴量抽出式を学習により推定する。この学習に際しては、演算量の削減と過学習(オーバフィッティング)を抑止するために、m種類の低レベル特徴量のうちのいくつかをジェネティックに選択して使用する。
この低レベル特徴量を選択するときの評価値には、関数である情報量基準AIC(Akaike Information Criterion)、または情報量基準BIC(Bayesian Information Criterion)を用いる。情報量基準AICおよびBICは学習モデル(いまの場合、選択されている低レベル特徴量)の選択基準として用いるものであり、その値が小さい学習モデルほど良い(評価が高い)とされる。
AICは次式のように表記される。
AIC=−2×最大対数尤度+2×自由パラメータ数
例えば、学習アルゴリズムにRegression(線形)が採用されている場合(図25の場合)、自由パラメータ数=n+1
対数尤度=−0.5×学習用データ数×((log2π)+1+log(平均2乗誤差))
であるので、
AIC=学習用データ数×((log2π)+1+log(平均2乗誤差))+2×(n+1)
となる。
BICは次式のように表記される。
BIC=−2×最大対数尤度+log(学習用データ数)×自由パラメータ数
例えば、学習アルゴリズムにRegression(線形)が採用されている場合(図25の場合)、
BIC=学習用データ数×((log2π)+1+log(平均2乗誤差))
+log(学習用データ数)×(n+1)
となる。
BICはAICと比較して、学習用データ数が増加してもその値が増加し難いことが特徴である。
ここで、ステップS76の学習アルゴリズムに基づく学習処理について、図34を参照して説明する。この学習処理に際しては、上述したように、演算量の削減と過学習(オーバフィッティング)を抑止するために、演算されたm種類の低レベル特徴量のうちのいくつかをジェネティックに選択して使用する。
ステップS91において、高レベル特徴量抽出式学習部25は、m種類の低レベル特徴量のうち、選択するもの(学習に使用するもの)をランダムに抽出した初期集団をp組生成する。
ステップS92において、高レベル特徴量抽出式学習部25は、ジェネティックアルゴリズム(GA:遺伝的アルゴリズム)による特徴選択ループを開始する。このGAによる特徴選択ループは、後述するステップS98において所定の条件を満たすまで繰り返される。
ステップS93において、制御部27は、初期集団ループパラメータPを1に初期化して初期集団ループを開始する。なお、初期集団ループは、ステップS91の処理で生成された低レベル特徴量の初期集団数pだけ繰り返される。
ステップS94において、高レベル特徴量抽出式学習部25は、P番目の初期集団に含まれる低レベル特徴量と、教師データのうちの学習用データとを用い、A番目の学習アルゴリズムに適用して高レベル特徴量抽出式を学習により推定する。
ステップS95において、高レベル特徴量抽出式学習部25は、ステップS94の処理結果として得られた高レベル特徴量の評価値として、情報量基準AICまたはBICを演算する。
ステップS96において、制御部27は、初期集団ループパラメータPが最大値pよりも小さいか否かを判定し、初期集団ループパラメータPが最大値pよりも小さい場合、初期集団ループパラメータPを1だけインクリメントして処理をステップS94に戻す。反対に、初期集団ループパラメータPが最大値pよりも小さくない場合(初期集団ループパラメータPが最大値pと同値の場合)、初期集団ループを抜けて処理をステップS97に進める。このステップS93乃至S96の初期集団ループの処理により、各初期集団に基づいて学習された高レベル特徴量抽出式の評価値として情報量基準AICまたはBICを得ることができる。
ステップS97において、高レベル特徴量抽出式学習部25は、学習に使用する低レベル特徴量からなるp組の初期集団を、その評価値に基づいてジェネティックに更新する。具体的には、図17のステップS32乃至S34と同様に、選択、交差、突然変異によって初期集団を更新する。この更新により、当初はランダムに生成された初期集団が高レベル特徴量抽出式の評価値を向上させる学習の進められたものとなる。
ステップS98において、制御部27は、p組の初期集団にそれぞれ対応する高レベル特徴量抽出式のうち、最も評価値が高い(情報量基準が小さい)高レベル特徴量抽出式の評価値が、GAによる特徴選択ループが繰り返される毎に向上している(情報量基準が減少している)場合、特徴選択ループを継続するため、処理をステップS93に戻す。反対に、p組の初期集団にそれぞれ対応する高レベル特徴量抽出式のうち、最も評価値の高い高レベル特徴量抽出式の評価値が、GAによる特徴選択ループを繰り返しても向上しなくなってきた(情報量基準が減少しなくなってきた)場合、GAによる特徴選択ループを抜け、最も評価値の高い高レベル特徴量抽出式を後段の処理(図24のステップS77の処理)に出力する。そして、学習アルゴリズムに基づく学習処理は終了される。
なお、ステップS91において選択する低レベル特徴量の数は固定としてもよい。この場合、教師データのエントロピを利用して必要な低レベル特徴量の数を求めるようにしてもよい。同様に、教師データの主成分分析を行い、低レベル特徴量の数を主成分の数と同数にしてもよい。
図24に戻る。ステップS77において、高レベル特徴量抽出式学習部25は、ステップS76の処理で得た最も評価値の高い高レベル特徴量抽出式を、評価用データを用いて評価する。具体的には、得られた高レベル特徴量抽出式を用いて高レベル特徴量を演算し、評価用データとの2乗誤差を算出する。
ステップS78において、制御部27は、クロスバリデーションループパラメータCが最大値cよりも小さいか否かを判定し、クロスバリデーションループパラメータCが最大値cよりも小さい場合、クロスバリデーションループパラメータCを1だけインクリメントして処理をステップS75に戻す。反対に、クロスバリデーションループパラメータCが最大値cよりも小さくない場合(クロスバリデーションループパラメータCが最大値cと同値の場合)、クロスバリデーションループを抜けて処理をステップS79に進める。ステップS74乃至S78のクロスバリデーションループの処理により、c本の学習結果、すなわち、高レベル特徴量抽出式が得られたことになる。なお、クロスバリデーションループにより、学習用データと評価用データがランダムに変換されるので、高レベル特徴量抽出式が過学習されていないことを確認することができる。
ステップS79において、高レベル特徴量抽出式学習部25は、クロスバリデーションループによって得られたc本の学習結果、すなわち、高レベル特徴量抽出式のうち、ステップS77の処理における評価値が最も高いものを選択する。
ステップS80において、制御部27は、アルゴリズムループパラメータAが最大値aよりも小さいか否かを判定し、アルゴリズムループパラメータAが最大値aよりも小さい場合、アルゴリズムループパラメータAを1だけインクリメントして処理をステップS74に戻す。反対に、アルゴリズムループパラメータAが最大値aよりも小さくない場合(アルゴリズムループパラメータAが最大値aと同値の場合)、アルゴリズムループを抜けて処理をステップS81に進める。ステップS73乃至S80のアルゴリズムループの処理により、a種類の学習アルゴリズムによって学習されたK番目の種類の高レベル特徴量抽出式がa本得られたことになる。
そしてステップS81において、高レベル特徴量抽出式学習部25は、アルゴリズムループによって得られたa本の学習結果、すなわち、高レベル特徴量抽出式のうち、ステップS77の処理における評価値が最も高いものを選択する。
ステップS82において、制御部27は、教師データループパラメータKが最大値kよりも小さいか否かを判定し、教師データループパラメータKが最大値kよりも小さい場合、教師データループパラメータKを1だけインクリメントして処理をステップS73に戻す。反対に、教師データループパラメータKが最大値kよりも小さくない場合(教師データループパラメータKが最大値kと同値の場合)、教師データループを抜けて処理をステップS83に進める。ステップS72乃至S82の教師データループの処理により、N番目の低レベル特徴量抽出式リストに対応する、k種類の高レベル特徴量抽出式が得られたことになる。
ステップS83において、制御部27は、リストループパラメータNが最大値nよりも小さいか否かを判定し、リストループパラメータNが最大値nよりも小さい場合、リストループパラメータNを1だけインクリメントして処理をステップS72に戻す。反対に、リストループパラメータNが最大値nよりも小さくない場合(リストループパラメータNが最大値nと同値の場合)、リストループを抜けて処理をステップS84に進める。ステップS71乃至S83のリストループの処理により、n個の低レベル特徴量抽出式リストにそれぞれ対応する、k種類の高レベル特徴量抽出式が得られたことになる。
ステップS84において、高レベル特徴量抽出式学習部25は、得られたn個の低レベル特徴量抽出式リストにそれぞれ対応する、k種類の高レベル特徴量抽出式の推定精度と各高レベル特徴量抽出式における各低レベル特徴量の寄与率を算出して低レベル特徴量抽出式リスト生成部21に出力する。以上で、高レベル特徴量抽出式学習処理が終了される。
図7に戻る。ステップS5において、制御部27は、学習ループパラメータGが最大値gよりも小さいか否かを判定し、学習ループパラメータGが最大値gよりも小さい場合、学習ループパラメータGを1だけインクリメントして処理をステップS2に戻す。反対に、学習ループパラメータGが最大値gよりも小さくない場合(学習ループパラメータGが最大値gと同値の場合)、学習ループを抜けて処理をステップS6に進める。なお、ステップS1乃至S5の学習ルールが特徴量抽出アルゴリズムの学習過程であり、これ以降のステップS6は、特徴量抽出アルゴリズムを用いた高レベル特徴量の演算のための処理である。
ステップS6において、高レベル特徴量抽出式学習部25は、学習によって得られた最終世代のn組の低レベル特徴量抽出式リストのうち、得られた高レベル特徴量の平均精度が最も高かったリストを構成するm本の低レベル特徴量抽出式と、これに対応するk種類の高レベル特徴量抽出式を高レベル特徴量演算部26に供給する。
ステップS7において、高レベル特徴量演算部26は、高レベル特徴量抽出式学習部25から供給された低レベル特徴量抽出式および高レベル特徴量抽出式のうち、最後に高レベル特徴量抽出式学習部25から供給された低レベル特徴量抽出式および高レベル特徴量抽出式を用いて高レベル特徴量を高精度に演算する。なお、このステップS7における高精度高レベル特徴量演算処理については図38以降を参照して後述する。
以上、特徴量抽出アルゴリズム生成装置20による特徴量抽出アルゴリズム生成処理の説明を終了する。
次に、上述した特徴量抽出アルゴリズム生成処理におけるステップS1乃至S6の学習ループが繰り返されて低レベル特徴量抽出式リストの世代が進み成長したとき、すなわち、低レベル特徴量抽出式の寄与度が向上したり、対応する高レベル特徴量抽出式の推定精度が向上したりしたときに実行する新規オペレータ生成処理について説明する。
低レベル特徴量抽出式リストの世代が進み成長した場合、低レベル特徴量抽出式リストの中には、図35に示すように複数のオペレータの順列(以下、オペレータの組み合わせと称する)が異なる低レベル特徴量抽出式上に頻出することになる。そこで、異なる低レベル特徴量抽出式上に頻出する複数のオペレータの組み合わせを新たなオペレータの1つとして、低レベル特徴量抽出式リスト生成部21において使用するオペレータに登録するようにする。
例えば、図35の場合、3つのオペレータの組み合わせ”32#FFT,Log,32#FFT”が5本の低レベル特徴量抽出式に出現している。この”32#FFT,Log,32#FFT”が1つのオペレータNewOperator1として登録された場合、次世代以降の低レベル特徴量抽出式には、例えば図36に示すようにオペレータNewOperator1が含まれることになる。
この新規オペレータ生成処理について、図37のフローチャートを参照して説明する。ステップS101において、オペレータ組検出部22は、所定の数(例えば、1乃至5程度)以下のオペレータからなるオペレータの順列(順序のあるオペレータの組み合わせ)を生成する。ここで生成されるオペレータの組み合わせ数をogとする。
ステップS102において、制御部27は、組み合わせループパラメータOGを1に初期化して組み合わせループを開始する。なお、組み合わせループは、オペレータの組み合わせ数ogだけ繰り返される。
ステップS103において、og番目のオペレータの組み合わせの出現頻度Countを1に初期化する。ステップS104において、制御部27は、リストループパラメータNを0に初期化してリストループを開始する。なお、リストループは、予め設定されているリスト数nだけ繰り返される。ステップS105において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、1個の低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式数mだけ繰り返される。
ステップS106において、オペレータ組検出部22は、N番目の低レベル特徴量抽出式リストを構成するM番目の低レベル特徴量抽出式上にog番目のオペレータの組み合わせが存在するか否かを判定し、存在すると判定した場合、処理をステップS107に進めて出現頻度Countを1だけインクリメントする。反対に、og番目のオペレータの組み合わせが存在しないと判定した場合、ステップS107をスキップして、処理をステップS108に進める。
ステップS108において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS106に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS109に進める。
ステップS109において、制御部27は、リストループパラメータNが最大値nよりも小さいか否かを判定し、リストループパラメータNが最大値nよりも小さい場合、リストループパラメータNを1だけインクリメントして処理をステップS105に戻す。反対に、リストループパラメータNが最大値nよりも小さくない場合(リストループパラメータNが最大値nと同値の場合)、リストループを抜けて処理をステップS110に進める。
ステップS110において、制御部27は、組み合わせループパラメータOGが最大値ogよりも小さいか否かを判定し、組み合わせループパラメータOGが最大値ogよりも小さい場合、組み合わせループパラメータOGを1だけインクリメントして処理をステップS103に戻す。反対に、組み合わせループパラメータOGが最大値ogよりも小さくない場合(組み合わせループパラメータOGが最大値ogと同値の場合)、組み合わせループを抜けて処理をステップS110に進める。ここまでの処理により、全てオペレータの組み合わせにそれぞれ対応する出現頻度Countが検出されたことになる。
ステップS111において、オペレータ組検出部22は、出現頻度Countが所定の閾値以上のオペレータの組み合わせを抽出してオペレータ生成部23に出力する。ステップS112において、オペレータ生成部23は、オペレータ組検出部22から入力されたオペレータの組み合わせを新たな1つのオペレータとして登録する。以上で新規オペレータ生成処理が終了される。
以上説明したように、新規オペレータ生成処理によれば、出現頻度の高い、すなわち、高レベル特徴量を演算する上で有効であると考えられるオペレータの組み合わせが1つのオペレータとされ、次世代以降の低レベル特徴量抽出式において使用されるので、低レベル特徴量抽出式の作成速度と成長速度が向上する。また、有効な低レベル特徴量抽出式が早期に発見されることとなる。さらに、従来、人手により発見していた有効であると考えられるオペレータの組み合わせを自動的に検出できるので、この点も新規オペレータ生成処理が奏する効果のひとつである。
次に、上述した図7のステップS7における高精度高レベル特徴量演算処理について、図38のフローチャートを参照して詳述する。
ステップS141において、高レベル特徴量演算部26は、高レベル特徴量抽出式学習部25から供給された最終的な高レベル特徴量抽出式のうち、高い精度の演算結果を得られるもののみを選択するための高精度リジェクト処理を実行する。
高精度リジェクト処理は、「高レベル特徴量の精度は低レベル特徴量の値に因果関係がある」との考えに基づき、低レベル特徴量を入力として高レベル特徴量の精度を出力するリジェクト領域抽出式を学習によって得るものである。この高精度リジェクト処理について、図39のフローチャートを参照して詳述する。
ステップS151において、高レベル特徴量演算部26内の低レベル特徴量演算部41は、最終的な低レベル特徴量抽出式リストを取得する。高レベル特徴量演算部26内の高レベル特徴量演算部42は、最終的な高レベル特徴量抽出式を取得する。
ステップS152において、制御部27は、コンテンツループパラメータJを1に初期化してコンテンツループを開始する。なお、コンテンツループは、高精度リジェクト処理を実行するために用意できる入力データ(コンテンツデータとメタデータ)の数jだけ繰り返される。なお、用意できる入力データに対応する高レベル特徴量も、教師データとして用意されているものとする。
ステップS153において、低レベル特徴量演算部41は、ステップS151の処理で取得した最終的な低レベル特徴量抽出式リストにL番目の入力データを代入し、その演算結果であるm種類の低レベル特徴量を高レベル特徴量演算部42およびリジェクト領域抽出式学習部44に出力する。高レベル特徴量演算部42は、ステップS151の処理で取得した最終的な高レベル特徴量抽出式に、低レベル特徴量演算部41から入力されたm種類の低レベル特徴量を代入し、その演算結果である高レベル特徴量を2乗誤差演算部43に出力する。
ステップS154において、2乗誤差演算部43は、高レベル特徴量演算部42から入力された高レベル特徴量と、教師データ(入力データに対応する真の高レベル特徴量)との2乗誤差を演算してリジェクト領域抽出式学習部44に出力する。この演算結果である2乗誤差が、高レベル特徴量演算部42において演算される高レベル特徴量抽出式の精度(以下、特徴抽出精度と称する)となる。
ステップS155において、制御部27は、コンテンツループパラメータJが最大値jよりも小さいか否かを判定し、コンテンツループパラメータJが最大値jよりも小さい場合、コンテンツループパラメータJを1だけインクリメントして処理をステップS153に戻す。反対に、コンテンツループパラメータJが最大値jよりも小さくない場合(コンテンツループパラメータJが最大値jと同値の場合)、コンテンツループを抜けて処理をステップS156に進める。ステップS151乃至S155のコンテンツループの処理により、各入力データにそれぞれ対応する、演算によって得られた高レベル特徴量と教師データとの2乗誤差が得られたことになる。
ステップS156において、リジェクト領域抽出式学習部44は、低レベル特徴量演算部41から入力される低レベル特徴量と2乗誤差演算部43から入力される2乗誤差とに基づく学習により、低レベル特徴量を入力としてそれに基づいて演算される高レベル特徴量の特徴抽出精度を出力とするリジェクト領域抽出式を生成し、生成したリジェクト領域抽出式を特徴量抽出精度演算部45に供給する。以上で高精度リジェクト処理を終了され、処理は図38のステップS142に進められる。
ステップS142において、低レベル特徴量演算部41は、高レベル特徴量を取得したい楽曲の入力データを、最終的な低レベル特徴量抽出式リストに代入して低レベル特徴量を演算し、演算結果を高レベル特徴量演算部42および特徴量抽出精度演算部45に出力する。
ステップS143において、特徴量抽出精度演算部45は、低レベル特徴量演算部41から入力された低レベル特徴量を、リジェクト領域抽出式学習部44から供給されたリジェクト領域抽出式に代入して、低レベル特徴量演算部41から入力される低レベル特徴量に基づいて演算される高レベル特徴量の特徴量抽出精度(すなわち、高レベル特徴量演算部42で演算される高レベル特徴量に対して推定される2乗誤差)を演算する。
ステップS144において、特徴量抽出精度演算部45は、ステップS143の処理で演算した特徴量抽出精度が所定の閾値以上であるか否かを判定し、演算した特徴量抽出精度が所定の閾値以上であると判定した場合、処理をステップS145に進める。ステップS145において、特徴量抽出精度演算部45は、高レベル特徴量演算部42に対して高レベル特徴量の演算を実行させる。高レベル特徴量演算部42は、ステップS142の処理で低レベル特徴量演算部41から入力されたm種類の低レベル特徴量を、最終的な高レベル特徴量抽出式に代入して高レベル特徴量を演算する。そして、ここで演算された高レベル特徴量が最終的な出力とされる。以上で、高精度高レベル特徴量演算処理が終了される。
なお、ステップS144において、演算した特徴量抽出精度が所定の閾値よりも小さいと判定された場合、ステップS145の処理はスキップされて高精度高レベル特徴量演算処理は終了される。
したがって、高精度高レベル特徴量演算処理によれば、高レベル特徴量抽出式により計算される高レベル特徴量の精度を推定することができる。また、高い精度が期待できない高レベル特徴量を演算しないので、無駄な演算を省略することが可能となる。
以上説明したように、本発明の第1の実施の形態である特徴量抽出アルゴリズム生成装置20による特徴量抽出アルゴリズム学習処理によれば、楽曲データから対応する特徴量を抽出できるアルゴリズムを、高精度で速やかに生成することが可能となるだけでなく、高精度の高レベル特徴量だけを少ない演算量で取得することが可能となる。
次に、本発明の第2の実施の形態である特徴量抽出アルゴリズム生成装置60について説明する。図40は特徴量抽出アルゴリズム生成装置60の構成例を示している。
この特徴量抽出アルゴリズム生成装置60は、特徴量抽出アルゴリズム生成装置20における低レベル特徴量抽出式リスト生成部21および高レベル特徴量抽出式学習部25を、それぞれ低レベル特徴量抽出式リスト生成部61または高レベル特徴量抽出式学習部65に置換したものである。
特徴量抽出アルゴリズム生成装置60の特徴量抽出アルゴリズム生成装置20との相違点は、特徴量抽出アルゴリズム生成装置20の低レベル特徴量抽出式リスト生成部21が生成する低レベル特徴量抽出式リスト内の式数mは定数であることに対し、特徴量抽出アルゴリズム生成装置60の低レベル特徴量抽出式リスト生成部61が生成する各低レベル特徴量抽出式リスト内の数mはランダムに決定されることである。
また、特徴量抽出アルゴリズム生成装置20の高レベル特徴量抽出式学習部25が低レベル特徴量抽出式リスト生成部21に対するフィードバックとして推定精度および寄与率を出力していたことに対し、特徴量抽出アルゴリズム生成装置60の高レベル特徴量抽出式学習部65が低レベル特徴量抽出式リスト生成部61に対するフィードバックとして評価値および寄与率を出力することである。
特徴量抽出アルゴリズム生成装置60の低レベル特徴量抽出式リスト生成部61および高レベル特徴量抽出式学習部65以外の構成要素については、特徴量抽出アルゴリズム生成装置20のそれと共通であって同一の符号を付しているので、それらの説明は省略する。
次に、特徴量抽出アルゴリズム生成装置60の動作について、特徴量抽出アルゴリズム生成装置20の動作説明に用いた図面を適宜流用して説明する。
まず、特徴量抽出アルゴリズム生成装置60の基本的な動作である特徴量抽出アルゴリズム生成処理について、図7に示されたフローチャートを流用して説明する。
ステップS1において、制御部27は、学習ループパラメータGを1に初期化して学習ループを開始する。なお、学習ループは、ユーザなどによって予め設定されている学習回数gだけ繰り返される。
ステップS2において、低レベル特徴量抽出式リスト生成部61は、n個の低レベル特徴量抽出式リストを生成して低レベル特徴量演算部24に出力する。
ステップS2の処理(低レベル特徴量抽出式リスト生成処理)について、図9に示されたフローチャートを流用して詳述する。
ステップS11において、低レベル特徴量抽出式リスト生成部61は、生成する低レベル特徴量抽出式リストが第1世代であるか否かを判定する。なお、この判定では学習ループパラメータGが0であるとき、生成する低レベル特徴量抽出式リストが第1世代であると判定される。
学習ループパラメータGが0であることにより、生成する低レベル特徴量抽出式リストが第1世代であると判定された場合、処理はステップS12に進められる。ステップS12において、低レベル特徴量抽出式リスト生成部61は、第1世代の低レベル特徴量抽出式リストをランダムに生成する。
反対に、ステップS11において、生成する低レベル特徴量抽出式リストが第1世代ではないと判定された場合、処理はステップS13に進められる。ステップS13において、低レベル特徴量抽出式リスト生成部61は、次世代の低レベル特徴量抽出式リストを、1世代前の低レベル特徴量抽出式リストに基づいて遺伝的アルゴリズムによりジェネティック(Genetic)に生成する。
ステップS12における、低レベル特徴量抽出式リスト生成部61による第1世代リストランダム生成処理について、図41のフローチャートを参照して詳述する。
ステップS171において、制御部27は、リストループパラメータNを1に初期化してリストループを開始する。なお、リストループは、予め設定されているリスト数nだけ繰り返される。
ステップS172において、低レベル特徴量抽出式リスト生成部61は、生成する第1世代の第N番目の低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式の式数mをランダムに決定する。
ステップS173において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、1個の低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式の式数mだけ繰り返される。
ステップS174において、低レベル特徴量抽出式リスト生成部61は、生成する第1世代の第N番目の低レベル特徴量抽出式リスト(以下、リストNとも記述する)の第M本目の低レベル特徴量抽出式(以下、低レベル特徴量抽出式Mとも記述する)の入力データをランダムに決定する。
ステップS175において、低レベル特徴量抽出式リスト生成部61は、生成するリストNの低レベル特徴量抽出式Mの処理対称軸とパラメータをランダムに1つ決定する。
ステップS176において、低レベル特徴量抽出式リスト生成部61は、現時点までに生成されているリストNの低レベル特徴量抽出式Mの演算結果がスカラ(1次元)であるか、または次元数が所定の値(例えば、1または2程度の小さい数)以下であるか否かを判定し、否と判定した場合、ステップS175の処理に戻ってオペレータを1つ追加する。そして、ステップS175およびS176の処理が繰り返されることにより、図16に示すように演算結果の保有次元数が減少していき、ステップS176において、リストNの低レベル特徴量抽出式Mの演算結果がスカラであるか、あるいはは次元数が所定の値(例えば、1または2程度の小さい数)以下であると判定された場合、処理はステップS177に進められる。
ステップS177において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS174に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS178に進める。ステップS173乃至S177の処理により、第1世代の第N番目の低レベル特徴量抽出式リストが生成されたことになる。
ステップS178において、制御部27は、リストループパラメータNが最大値nよりも小さいか否かを判定し、リストループパラメータNが最大値nよりも小さい場合、リストループパラメータNを1だけインクリメントして処理をステップS172に戻す。反対に、リストループパラメータNが最大値nよりも小さくない場合(リストループパラメータNが最大値nと同値の場合)、リストループを抜けて第1世代リストランダム生成処理を終了する。ここまでの処理により、第1世代のそれぞれ構成する低レベル特徴量抽出式の式数mが共通ではないn個の低レベル特徴量抽出式リストが生成されたことになる。
次に、低レベル特徴量抽出式リスト生成部61による、図9のステップS13における第2世代以降の低レベル特徴量抽出式リストを生成する処理(次世代リストジェネティック生成処理)について、図17を流用して説明する。
ステップS31において、低レベル特徴量抽出式リスト生成部61は、生成する低レベル特徴量抽出式リストの個数nのうち、遺伝的アルゴリズムの選択を適用するリスト数を示す選択数ns、遺伝的アルゴリズムの交差を適用するリスト数を示す交差数nx、遺伝的アルゴリズムの突然変異を適用するリスト数を示す突然変異数nmをランダムに決定する。ただし、選択数ns、交差数nx、突然変異数nmの総和はnである。なお、選択数ns、交差数nx、突然変異数nmは予め設定した定数を採用してもよい。
ステップS32において、低レベル特徴量抽出式リスト生成部61は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した選択数nsの低レベル特徴量抽出式リストを用いて、ns個の低レベル特徴量抽出式リストを生成する。ステップS33において、低レベル特徴量抽出式リスト生成部61は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した交差数nxの低レベル特徴量抽出式リストを用いて、nx個の低レベル特徴量抽出式リストを生成する。ステップS34において、低レベル特徴量抽出式リスト生成部61は、1世代前のn個の低レベル特徴量抽出式リストのうち、決定した突然変異数nmの低レベル特徴量抽出式リストを用いて、nm個の低レベル特徴量抽出式リストを生成する。
ステップS32乃至S34の処理について詳述する。
低レベル特徴量抽出式リスト生成部61による、ステップS32の選択生成処理について、図42のフローチャートを参照して詳述する。この選択生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの選択数ns個の低レベル特徴量抽出式リストが生成される。
ステップS181において、低レベル特徴量抽出式リスト生成部61は、1世代前のn個の低レベル特徴量抽出式リストを、高レベル特徴量抽出式学習部65から入力された高レベル特徴量抽出式の評価値の平均値が高い順に並び替える。そして、ステップS182において、低レベル特徴量抽出式リスト生成部61は、並び替えた1世代前のn個の低レベル特徴量抽出式リストのうち、上位ns個を次世代の低レベル特徴量抽出式リストとして採用する。以上で選択生成処理は終了される。
低レベル特徴量抽出式リスト生成部61による、図17のステップS33の交差生成処理について、図43のフローチャートを参照して詳述する。この交差生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの交差数nx個の低レベル特徴量抽出式リストが生成される。
ステップS191において、制御部27は、交差ループパラメータNXを1に初期化して交差ループを開始する。なお、交差ループは、交差数nxだけ繰り返される。
ステップS192において、低レベル特徴量抽出式リスト生成部61は、前世代の低レベル特徴量抽出式リストから、高レベル特徴量抽出式学習部65の出力した高レベル特徴量抽出式の評価値の平均値が高い方のものから順に優先的に選択されるよう重み付けをした後、ランダムに2個の低レベル特徴量抽出式リストA,Bを選択する。なお、ここでの選択は、上述した選択生成処理で選択されたns個の低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。
ステップS193において、低レベル特徴量抽出式リスト生成部61は、以下の式ループによって生成する低レベル特徴量抽出式リストの式数mを次式の範囲でランダムに決定する。
m=((リストAの式数+リストBの式数)/2)±mr
mrは予め決定されている値
ステップS194において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、ステップS193の処理でランダムに決定された式数mだけ繰り返される。
ステップS195において、低レベル特徴量抽出式リスト生成部61は、低レベル特徴量抽出式リストA,Bに含まれる全ての低レベル特徴量抽出式から、高レベル特徴量抽出式学習部65から入力された高レベル特徴量抽出式における寄与率が高い方のものが優先的に選択されるように重み付けをした後、ランダムに1本の低レベル特徴量抽出式を選択して次世代の低レベル特徴量抽出式リストに追加する。
ステップS196において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS195に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS197に進める。式ループであるステップS194乃至S196の処理により、1個の低レベル特徴量抽出式リストが生成されたことになる。
ステップS197において、制御部27は、交差ループパラメータNXが最大値nxよりも小さいか否かを判定し、交差ループパラメータNXが最大値nxよりも小さい場合、交差ループパラメータNXを1だけインクリメントして処理をステップS192に戻す。反対に、交差ループパラメータNXが最大値nxよりも小さくない場合(交差ループパラメータNXが最大値nxと同値の場合)、交差ループを抜けて交差生成処理を終了する。この交差ループの処理により、次世代の交差数nx個の低レベル特徴量抽出式リストが生成されたことになる。
低レベル特徴量抽出式リスト生成部61による、図17のステップS34の突然変異生成処理について、図44のフローチャートを参照して詳述する。この突然変異生成処理では、次世代のn個の低レベル特徴量抽出式リストのうちの突然変異数nm個の低レベル特徴量抽出式リストが生成される。
ステップS201において、制御部27は、突然変異ループパラメータNMを1に初期化して突然変異ループを開始する。なお、突然変異ループは、突然変異数nmだけ繰り返される。
ステップS202において、低レベル特徴量抽出式リスト生成部61は、前世代の低レベル特徴量抽出式リストから、高レベル特徴量抽出式学習部65の出力した高レベル特徴量抽出式の評価値の平均値が高い方のものが優先的に選択されるように重み付けをした後、ランダムに1個の低レベル特徴量抽出式リストAを選択する。なお、ここでの選択は、上述した選択生成処理で選択されたns個の低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。また、上述した交差生成処理のステップS192の処理で選択された低レベル特徴量抽出式リストを選択候補から除外してもよいし、選択候補に残しておいてもよい。
ステップS203において、低レベル特徴量抽出式リスト生成部61は、以下の式ループによって生成する低レベル特徴量抽出式リストの式数mをランダムに決定する。
ステップS203において、低レベル特徴量抽出式リスト生成部61は、以下の式ループによって生成する低レベル特徴量抽出式リストの式数mを次式の範囲でランダムに決定する。
m=リストAの式数±mr
mrは予め決定されている値
ステップS204において、制御部27は、式ループパラメータMを1に初期化して式ループを開始する。なお、式ループは、ステップS203の処理でランダムに決定された式数mだけ繰り返される。
ステップS205において、低レベル特徴量抽出式リスト生成部61は、低レベル特徴量抽出式リストAに含まれる全ての低レベル特徴量抽出式のうち、M番目のものに注目して、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が、低レベル特徴量抽出式リストAに含まれる他の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率に比較して低いか否かを判定する。具体的には、例えば低レベル特徴量抽出式リストAに含まれる全ての低レベル特徴量抽出式のうち、演算結果である低レベル特徴量の寄与率が低い方の所定の順番までに属するか否かを判定する。
ステップS205において、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が他よりも低いと判定された場合、処理はステップS206に進められ、低レベル特徴量抽出式リスト生成部61は、M番目の低レベル特徴量抽出式をランダムに変形して(突然変異させて)次世代の低レベル特徴量抽出式リストに追加する。
反対に、ステップS205において、M番目の低レベル特徴量抽出式の演算結果である低レベル特徴量の寄与率が他よりも低くないと判定された場合、処理はステップS207に進められ、低レベル特徴量抽出式リスト生成部61は、M番目の低レベル特徴量抽出式を突然変異させることなく、そのまま次世代の低レベル特徴量抽出式リストに追加する。
なお、ランダムに決定された式数mが低レベル特徴量抽出式リストAを構成する低レベル特徴量抽出式の式数よりも大きい場合、式ループパラメータMが低レベル特徴量抽出式リストAを構成する低レベル特徴量抽出式の式数よりも大きくなった時点でステップS205における判定を省略し、ランダムに低レベル特徴量抽出式を新規に生成して次世代の低レベル特徴量抽出式リストに追加するようにする。
ステップS208において、制御部27は、式ループパラメータMが最大値mよりも小さいか否かを判定し、式ループパラメータMが最大値mよりも小さい場合、式ループパラメータMを1だけインクリメントして処理をステップS205に戻す。反対に、式ループパラメータMが最大値mよりも小さくない場合(式ループパラメータMが最大値mと同値の場合)、式ループを抜けて処理をステップS209に進める。
ステップS203乃至S208の処理により、低レベル特徴量抽出式リストが1個生成されたことになる。
ステップS209において、制御部27は、突然変異ループパラメータNMが最大値nmよりも小さいか否かを判定し、突然変異ループパラメータNMが最大値nmよりも小さい場合、突然変異ループパラメータNMを1だけインクリメントして処理をステップS202に戻す。反対に、突然変異ループパラメータNMが最大値nmよりも小さくない場合(突然変異ループパラメータNMが最大値nmと同値の場合)、突然変異ループを抜けて突然変異生成処理を終了する。ここまでの処理により、突然変異数nm個の低レベル特徴量抽出式リストが生成されたことになる。
以上説明した低レベル特徴量抽出式リスト生成部61による次世代リストジェネティック生成処理によれば、1世代前の低レベル特徴量抽出式リストに対応する評価値が高いもの、低レベル特徴量抽出式に対応する寄与率が高いものは次世代に継承され、評価値や寄与率が低いものは次世代に継承されず淘汰されることになる。したがって、世代が進むに連れて、低レベル特徴量抽出式リストに対応する評価値は向上し、低レベル特徴量抽出式に対応する寄与率も向上することが期待できる。
図7に戻る。以上のようにして生成された次世代の低レベル特徴量抽出式リストは、低レベル特徴量抽出式リスト生成部61から低レベル特徴量演算部24に出力される。ステップS3において、低レベル特徴量演算部24は、低レベル特徴量抽出式リスト生成部61から入力されたn個の低レベル特徴量抽出式リストそれぞれに楽曲C1乃至Cjのj曲分の入力データ(コンテンツデータやメタデータ)を代入して低レベル特徴量を演算する。そして、演算結果として得られたn組の低レベル特徴量組を高レベル特徴量抽出式学習部65に出力する。
ステップS4において、高レベル特徴量抽出式学習部65は、低レベル特徴量演算部24から入力されたn組の低レベル特徴量組と、対応する教師データに基づいて、k種類の高レベル特徴量抽出式から成る高レベル特徴量抽出式組をn組、学習によって推定する(生成する)。また、各高レベル特徴量抽出式の評価値と各高レベル特徴量抽出式における各低レベル特徴量の寄与率を算出して低レベル特徴量抽出式リスト生成部61に出力する。
高レベル特徴量抽出式学習部65による、ステップS4における高レベル特徴量抽出式学習処理について、図45のフローチャートを参照して詳述する。
ステップS211において、制御部27は、リストループパラメータNを1に初期化してリストループを開始する。なお、リストループは、予め設定されているリスト数nだけ繰り返される。ステップS212において、制御部27は、教師データループパラメータKを1に初期化して教師データループを開始する。なお、教師データループは、予め設定されている教師データの種類数kだけ繰り返される。
ステップS213において、制御部27は、アルゴリズムループパラメータAを1に初期化してアルゴリズムループを開始する。なお、アルゴリズムループは、適用される学習アルゴリズムの種類数aだけ繰り返される。適用するアルゴリズムの例については、上述した特徴量抽出アルゴリズム生成装置20の動作説明と同様である。
ステップS214において、制御部27は、クロスバリデーションループパラメータCを1に初期化してクロスバリデーションループを開始する。なお、クロスバリデーションループは、予め設定されているクロスバリデーション回数cだけ繰り返される。
ステップS215において、高レベル特徴量抽出式学習部65は、k種類の教師データのうち、K番目の種類のj曲分の教師データ(真の高レベル特徴量)をランダムに学習用と評価用に2分割する(クロスバリデーション)。以下、教師データのうち、学習用に分類されたものを学習用データ、評価用に分類されたものを評価用データと記述する。
ステップS216において、高レベル特徴量抽出式学習部65は、N番目の低レベル特徴量抽出式リストを用いて演算された複数の低レベル特徴量から成る低レベル特徴量組と学習用データとをa番目の学習アルゴリズムに適用して高レベル特徴量抽出式を学習により推定する。
なお、この学習に際しては、高レベル特徴量抽出式学習部25と異なり、N番目の低レベル特徴量抽出式リストを用いて演算された全ての低レベル特徴量(以下、低レベル特徴量組と記述する)を使用する。これにより高レベル特徴量抽出式の評価値は、元の低レベル特徴量の数が十分であるか否かの評価も考慮した値となる。
高レベル特徴量抽出式学習部65による、ステップS216の学習アルゴリズムに基づく学習処理について、図46を参照して説明する。
ステップS231において、高レベル特徴量抽出式学習部65は、低レベル特徴量組と、教師データのうちの学習用データとを用い、A番目の学習アルゴリズムに適用して高レベル特徴量抽出式を学習により推定する。
ステップS232において、高レベル特徴量抽出式学習部65は、ステップS232の処理結果として得られた高レベル特徴量の評価値として、情報量基準AICまたはBICを演算する。以上で、学習アルゴリズムに基づく学習処理は終了される。
図45に戻る。ステップS217において、高レベル特徴量抽出式学習部65は、ステップS216の処理で得た高レベル特徴量抽出式を、評価用データを用いて評価する。具体的には、得られた高レベル特徴量抽出式を用いて高レベル特徴量を演算し、評価用データとの2乗誤差を算出する。
ステップS218において、制御部27は、クロスバリデーションループパラメータCが最大値cよりも小さいか否かを判定し、クロスバリデーションループパラメータCが最大値cよりも小さい場合、クロスバリデーションループパラメータCを1だけインクリメントして処理をステップS215に戻す。反対に、クロスバリデーションループパラメータCが最大値cよりも小さくない場合(クロスバリデーションループパラメータCが最大値cと同値の場合)、クロスバリデーションループを抜けて処理をステップS219に進める。ステップS214乃至S218のクロスバリデーションループの処理により、c本の学習結果、すなわち、高レベル特徴量抽出式が得られたことになる。なお、クロスバリデーションループにより、学習用データと評価用データがランダムに変換されるので、高レベル特徴量抽出式が過学習されていないことを確認することができる。
ステップS219において、高レベル特徴量抽出式学習部65は、クロスバリデーションループによって得られたc本の学習結果、すなわち、高レベル特徴量抽出式のうち、ステップS217の処理における評価が最も高いものを選択する。
ステップS220において、制御部27は、アルゴリズムループパラメータAが最大値aよりも小さいか否かを判定し、アルゴリズムループパラメータAが最大値aよりも小さい場合、アルゴリズムループパラメータAを1だけインクリメントして処理をステップS214に戻す。反対に、アルゴリズムループパラメータAが最大値aよりも小さくない場合(アルゴリズムループパラメータAが最大値aと同値の場合)、アルゴリズムループを抜けて処理をステップS221に進める。ステップS213乃至S220のアルゴリズムループの処理により、a種類の学習アルゴリズムによって学習されたK番目の種類の高レベル特徴量抽出式がa本得られたことになる。
ステップS221において、高レベル特徴量抽出式学習部65は、アルゴリズムループによって得られたa本の学習結果、すなわち、高レベル特徴量抽出式のうち、ステップS217の処理における評価が最も高いものを選択する。
ステップS222において、制御部27は、教師データループパラメータKが最大値kよりも小さいか否かを判定し、教師データループパラメータKが最大値kよりも小さい場合、教師データループパラメータKを1だけインクリメントして処理をステップS213に戻す。反対に、教師データループパラメータKが最大値kよりも小さくない場合(教師データループパラメータKが最大値kと同値の場合)、教師データループを抜けて処理をステップS223に進める。ステップS212乃至S222の教師データループの処理により、N番目の低レベル特徴量抽出式リストに対応する、k種類の高レベル特徴量抽出式が得られたことになる。
ステップS223において、制御部27は、リストループパラメータNが最大値nよりも小さいか否かを判定し、リストループパラメータNが最大値nよりも小さい場合、リストループパラメータNを1だけインクリメントして処理をステップS212に戻す。反対に、リストループパラメータNが最大値nよりも小さくない場合(リストループパラメータNが最大値nと同値の場合)、リストループを抜けて処理をステップS224に進める。ステップS211乃至S223のリストループの処理により、n個の低レベル特徴量抽出式リストにそれぞれ対応する、k種類の高レベル特徴量抽出式が得られたことになる。
ステップS224において、高レベル特徴量抽出式学習部65は、得られたn個の低レベル特徴量抽出式リストにそれぞれ対応する、k種類の高レベル特徴量抽出式における各低レベル特徴量の寄与率を算出し、ステップS217の処理で計算した高レベル特徴量抽出式の評価値とともに低レベル特徴量抽出式リスト生成部61に出力する。以上で、高レベル特徴量抽出式学習処理が終了される。
図7に戻る。ステップS5において、制御部27は、学習ループパラメータGが最大値gよりも小さいか否かを判定し、学習ループパラメータGが最大値gよりも小さい場合、学習ループパラメータGを1だけインクリメントして処理をステップS2に戻す。反対に、学習ループパラメータGが最大値gよりも小さくない場合(学習ループパラメータGが最大値gと同値の場合)、学習ループを抜けて処理をステップS6に進める。なお、ステップS1乃至S5の学習ルールが特徴量抽出アルゴリズムの学習過程であり、これ以降のステップS6は、特徴量抽出アルゴリズムを用いた高レベル特徴量の演算のための処理である。
ステップS6において、高レベル特徴量抽出式学習部65は、学習によって得られた最終世代のn組の低レベル特徴量抽出式リストのうち、得られた高レベル特徴量の平均評価値が最も高かった低レベル特徴量抽出式リストを構成する低レベル特徴量抽出式と、これに対応するk種類の高レベル特徴量抽出式を高レベル特徴量演算部26に供給する。
ステップS7において、高レベル特徴量演算部26は、高レベル特徴量抽出式学習部65から供給された低レベル特徴量抽出式および高レベル特徴量抽出式のうち、最後に高レベル特徴量抽出式学習部65から供給された低レベル特徴量抽出式および高レベル特徴量抽出式を用いて高レベル特徴量を高精度に演算する。なお、このステップS7における高精度高レベル特徴量演算処理については、上述した特徴量抽出アルゴリズム生成装置20の動作と同様であるので、その説明は省略する。
以上、特徴量抽出アルゴリズム生成装置60による特徴量抽出アルゴリズム生成処理の説明を終了する。
以上説明したように、本発明の第2の実施の形態である特徴量抽出アルゴリズム生成装置60による特徴量抽出アルゴリズム学習処理によれば、楽曲データから対応する特徴量を抽出できるアルゴリズムを、高精度で速やかに生成することが可能となるだけでなく、高精度の高レベル特徴量だけを少ない演算量で取得することが可能となる。
特に、低レベル特徴量抽出式リストを構成する式数mをランダムに決定しているので、特徴量抽出アルゴリズム生成装置20による特徴量抽出アルゴリズム学習処理に比較して、低レベル特徴量の数が無駄に多過ぎて処理が重くなったり、精度が十分に出なくなったりすることを抑止し、結果としてより高い精度を得ることができる。
なお、本発明は、楽曲の高レベル特徴量を取得する場合だけでなく、映像データなどあらゆる種類のコンテンツデータの高レベル特徴量を取得する場合に適用することが可能である。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図47に示すように構成された汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
このパーソナルコンピュータ100は、CPU(Central Processing Unit)101を内蔵している。CPU101にはバス104を介して、入出力インタフェース105が接続されている。バス104には、ROM(Read Only Memory)102およびRAM(Random Access Memory)103が接続されている。
入出力インタフェース105には、ユーザが操作コマンドを入力するキーボード、マウス等の入力デバイスよりなる入力部106、操作画面などを表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等のディスプレイよりなる出力部107、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部108、およびモデム、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部109が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどの記録媒体111に対してデータを読み書きするドライブ110が接続されている。
このパーソナルコンピュータ100に上述した一連の処理を実行させるプログラムは、記録媒体111に格納された状態でパーソナルコンピュータ100に供給され、ドライブ110によって読み出されて記憶部108に内蔵されるハードディスクドライブにインストールされている。記憶部108にインストールされているプログラムは、入力部106に入力されるユーザからのコマンドに対応するCPU101の指令によって、記憶部108からRAM103にロードされて実行される。
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、プログラムは、1台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の特徴量抽出アルゴリズムを説明するための図である。 本発明を適用した特徴量抽出アルゴリズム生成装置によって生成される特徴量抽出アルゴリズムの概要を示す図である。 低レベル特徴量抽出式の例を示す図である。 高レベル特徴量抽出式の例を示ず図である。 本発明を適用した特徴量抽出アルゴリズム生成装置の第1の構成例を示すブロック図である。 特徴量抽出アルゴリズム生成装置を構成する高レベル特徴量演算部の構成例を示すブロック図である。 特徴量抽出アルゴリズム学習処理を説明するフローチャートである。 低レベル特徴量抽出式リストの例を示す図である。 低レベル特徴量抽出式リスト生成処理を説明するフローチャートである。 図5の低レベル特徴量抽出式リスト生成部による第1世代リストランダム生成処理を説明するフローチャートである。 低レベル特徴量抽出式の記述方法を示す図である。 入力データの例を列記した図である。 入力データWavを説明する図である。 入力データChordを説明する図である。 入力データKeyを説明する図である。 低レベル特徴量抽出式の保有次元を説明する図である。 次世代リストジェネティック生成処理を説明するフローチャートである。 図5の低レベル特徴量抽出式リスト生成部による選択生成処理を説明するフローチャートである。 図5の低レベル特徴量抽出式リスト生成部による交差生成処理を説明するフローチャートである。 図5の低レベル特徴量抽出式リスト生成部による突然変異生成処理を説明するフローチャートである。 オペレータMeanの演算を説明するための図である。 低レベル特徴量演算部の処理を説明するための図である。 教師データの例を示す図である。 図5の高レベル特徴量抽出式学習部による高レベル特徴量抽出式学習処理を説明するフローチャートである。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 学習アルゴリズムの例を説明するための図である。 図5の高レベル特徴量抽出式学習部による学習アルゴリズムに基づく学習処理を説明するフローチャートである。 オペレータの組み合わせの例を示す図である。 オペレータの組み合わせの例を示す図である。 新規オペレータ生成処理を説明するフローチャートである。 高精度高レベル特徴量演算処理を説明するフローチャートである。 高精度リジェクト処理を説明するフローチャートである。 本発明を適用した特徴量抽出アルゴリズム生成装置の第2の構成例を示すブロック図である。 図40の低レベル特徴量抽出式リスト生成部による第1世代リストランダム生成処理を説明するフローチャートである。 図40の低レベル特徴量抽出式リスト生成部による選択生成処理を説明するフローチャートである。 図40の低レベル特徴量抽出式リスト生成部による交差生成処理を説明するフローチャートである。 図40の低レベル特徴量抽出式リスト生成部による突然変異生成処理を説明するフローチャートである。 図40の高レベル特徴量抽出式学習部による高レベル特徴量抽出式学習処理を説明するフローチャートである。 図5の高レベル特徴量抽出式学習部による学習アルゴリズムに基づく学習処理を説明するフローチャートである。 汎用パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
20 特徴量抽出アルゴリズム生成装置, 21 低レベル特徴量抽出式リスト生成部, 22 オペレータ組検出部, 23 オペレータ生成部, 24 低レベル特徴量演算部, 25 高レベル特徴量抽出式学習部, 26 高レベル特徴量演算部,27 制御部, 41 低レベル特徴量演算部, 42 高レベル特徴量演算部, 43 2乗誤差演算部, 44 リジェクト領域抽出式学習部, 45 特徴量抽出精度演算部, 60 特徴量抽出アルゴリズム生成装置, 61 低レベル特徴量抽出式リスト生成部, 62 高レベル特徴量演算部, 100 パーソナルコンピュータ, 101 CPU, 111 記録媒体

Claims (9)

  1. コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置において、
    前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成する低レベル特徴量抽出式リスト生成手段と、
    低レベル特徴量抽出式リスト生成手段によって生成された前記式リストを用いて前記低レベル特徴量を演算する演算手段と、
    前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、前記演算手段によって演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する高レベル特徴量抽出式生成手段と
    を含む情報処理装置。
  2. 前記高レベル特徴量抽出式生成手段は、生成した前記高レベル特徴量抽出式の精度、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方を算出し、
    前記低レベル特徴量抽出式リスト生成手段は、前記高レベル特徴量抽出式生成手段により算出された前記高レベル特徴量抽出式の精度、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方に基づき、前記低レベル特徴量抽出式リストを構成する前記低レベル特徴量抽出式を更新する
    請求項1に記載の情報処理装置。
  3. 前記低レベル特徴量抽出式リスト生成手段は、第1世代の前記式リストをランダムに生成する
    請求項1に記載の情報処理装置。
  4. 前記低レベル特徴量抽出式リスト生成手段は、次世代の前記式リストを前世代の前記式リストに基づく遺伝的アルゴリズムにより選択処理、交差処理、または突然変異処理の少なくとも1つによって生成する
    請求項1に記載の情報処理装置。
  5. 前記低レベル特徴量抽出式リスト生成手段は、予め設定された定数の低レベル特徴量抽出式から構成される次世代の式リストを生成する
    請求項1に記載の情報処理装置。
  6. 前記低レベル特徴量抽出式リスト生成手段は、前記リストを生成する度にランダムに決定する数の低レベル特徴量抽出式から構成される次世代の式リストを生成する
    請求項1に記載の情報処理装置。
  7. 前記高レベル特徴量抽出式生成手段は、生成した前記高レベル特徴量抽出式の評価値、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方を算出し、
    前記低レベル特徴量抽出式リスト生成手段は、前記高レベル特徴量抽出式生成手段により算出された前記高レベル特徴量抽出式の評価値、または前記高レベル特徴量抽出式における前記低レベル特徴量の寄与率の少なくとも一方に基づき、前記低レベル特徴量抽出式リストを構成する前記低レベル特徴量抽出式を更新する
    請求項6に記載の情報処理装置。
  8. コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置の情報処理方法において、
    前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成し、
    生成された前記式リストを用いて前記低レベル特徴量を演算し、
    前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する
    ステップを含む情報処理方法。
  9. コンテンツデータの特徴量を検出するための特徴量検出アルゴリズムを生成する情報処理装置の制御用のプログラムであって、
    前記コンテンツデータまたは前記コンテンツデータに対応するメタデータを入力として低レベル特徴量を出力する複数の低レベル特徴量抽出式から構成される次世代の式リストを、前世代の前記式リストに基づく学習によって生成し、
    生成された前記式リストを用いて前記低レベル特徴量を演算し、
    前記コンテンツデータに対応する予め用意された真の高レベル特徴量を教師データとした学習により、演算された前記低レベル特徴量を入力として前記コンテンツデータの特徴を示す高レベル特徴量を出力する高レベル特徴量抽出式を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2006288662A 2005-10-25 2006-10-24 情報処理装置、情報処理方法、およびプログラム Expired - Fee Related JP4948118B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006288662A JP4948118B2 (ja) 2005-10-25 2006-10-24 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005310410 2005-10-25
JP2005310410 2005-10-25
JP2006281267 2006-10-16
JP2006281267 2006-10-16
JP2006288662A JP4948118B2 (ja) 2005-10-25 2006-10-24 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008123011A true JP2008123011A (ja) 2008-05-29
JP4948118B2 JP4948118B2 (ja) 2012-06-06

Family

ID=37967751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006288662A Expired - Fee Related JP4948118B2 (ja) 2005-10-25 2006-10-24 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US8315954B2 (ja)
EP (1) EP1843323B1 (ja)
JP (1) JP4948118B2 (ja)
KR (1) KR101193265B1 (ja)
CN (1) CN101091204B (ja)
WO (1) WO2007049641A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134231A (ja) * 2008-12-05 2010-06-17 Sony Corp 情報処理装置、音素材の切り出し方法、及びプログラム
EP2204774A2 (en) 2008-12-05 2010-07-07 Sony Corporation Information processing apparatus, information processing method, and program
EP2207163A2 (en) 2008-11-21 2010-07-14 Sony Corporation Information processing apparatus, sound analysis method, and program
US8178770B2 (en) 2008-11-21 2012-05-15 Sony Corporation Information processing apparatus, sound analysis method, and program
JP2013058096A (ja) * 2011-09-08 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2013058095A (ja) * 2011-09-08 2013-03-28 Sony Corp 情報処理装置、推定機生成方法、及びプログラム
US8472788B2 (en) 2010-08-10 2013-06-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
US8583665B2 (en) 2010-04-06 2013-11-12 Sony Corporation Information processing device, client device, server device, list generation method, list acquisition method, list providing method and program
US8618401B2 (en) 2008-12-05 2013-12-31 Sony Corporation Information processing apparatus, melody line extraction method, bass line extraction method, and program
US8682078B2 (en) 2010-08-10 2014-03-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
US8682143B2 (en) 2010-08-10 2014-03-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
WO2022168163A1 (ja) * 2021-02-02 2022-08-11 日本電信電話株式会社 生成装置、方法、及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4239109B2 (ja) 2006-10-20 2009-03-18 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4392620B2 (ja) 2007-08-14 2010-01-06 ソニー株式会社 情報処理装置、情報処理方法、演算装置、演算方法、プログラム、および記録媒体
US8131657B2 (en) 2007-10-22 2012-03-06 Sony Corporation Information processing device, information processing method, and program
EP2053549A3 (en) 2007-10-22 2010-06-02 Sony Corporation Information processing
JP4591566B2 (ja) * 2008-07-14 2010-12-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
BRPI0919870A2 (pt) 2008-10-27 2015-12-15 Nippon Telegraph & Telephone método para produção automática de procedimento de geração de valor de pixel predito, método de codificação de imagem, método de decodificação de imagem, aparelho para este fim programas para este fim e mídia de armazenamento que armazena os programas
CN102469350A (zh) * 2010-11-16 2012-05-23 北大方正集团有限公司 广告统计的方法、装置和系统
US10467533B2 (en) * 2015-12-29 2019-11-05 Tata Consultancy Services Limited System and method for predicting response time of an enterprise system
US10997492B2 (en) 2017-01-20 2021-05-04 Nvidia Corporation Automated methods for conversions to a lower precision data format

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020504A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 目的変数の説明または予測方法、および目的変数を説明または予測するプログラムを記録した記録媒体
US20040181401A1 (en) * 2002-12-17 2004-09-16 Francois Pachet Method and apparatus for automatically generating a general extraction function calculable on an input signal, e.g. an audio signal to extract therefrom a predetermined global characteristic value of its contents, e.g. a descriptor
JP2004355174A (ja) * 2003-05-28 2004-12-16 Ishihara Sangyo Kaisha Ltd データ解析方法及びそのシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10123366C1 (de) 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen
DE10123281C1 (de) 2001-05-14 2002-10-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion
DE10157454B4 (de) 2001-11-23 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer Kennung für ein Audiosignal, Verfahren und Vorrichtung zum Aufbauen einer Instrumentendatenbank und Verfahren und Vorrichtung zum Bestimmen der Art eines Instruments
DE10232916B4 (de) 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
US6904955B2 (en) * 2002-09-20 2005-06-14 Lectrotherm, Inc. Method and apparatus for alternating pouring from common hearth in plasma furnace
DE10313875B3 (de) 2003-03-21 2004-10-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Analysieren eines Informationssignals
US7324927B2 (en) * 2003-07-03 2008-01-29 Robert Bosch Gmbh Fast feature selection method and system for maximum entropy modeling
JP4532139B2 (ja) 2004-02-10 2010-08-25 株式会社日立メディコ 磁気共鳴イメージング装置
JP2005253708A (ja) * 2004-03-12 2005-09-22 Fuji Photo Film Co Ltd 特徴量選択装置、異常陰影判別装置およびプログラム
JP4650662B2 (ja) 2004-03-23 2011-03-16 ソニー株式会社 信号処理装置および信号処理方法、プログラム、並びに記録媒体
JP4649859B2 (ja) 2004-03-25 2011-03-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP2005310410A (ja) 2004-04-16 2005-11-04 Toppan Printing Co Ltd 有機エレクトロルミネッセンス素子の製造方法及び装置
DE102004028693B4 (de) 2004-06-14 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen eines Akkordtyps, der einem Testsignal zugrunde liegt
DE102004047068A1 (de) 2004-09-28 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Gruppieren von zeitlichen Segmenten eines Musikstücks
DE102004049457B3 (de) 2004-10-11 2006-07-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Extraktion einer einem Audiosignal zu Grunde liegenden Melodie
DE102004049478A1 (de) 2004-10-11 2006-04-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Glättung eines Melodieliniensegments
JP3882192B2 (ja) 2005-03-28 2007-02-14 東陶機器株式会社 湯水混合装置及びそれを備えた湯水混合水栓
JP2006274708A (ja) 2005-03-30 2006-10-12 Hitachi Plant Technologies Ltd 越流水の除塵装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020504A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 目的変数の説明または予測方法、および目的変数を説明または予測するプログラムを記録した記録媒体
US20040181401A1 (en) * 2002-12-17 2004-09-16 Francois Pachet Method and apparatus for automatically generating a general extraction function calculable on an input signal, e.g. an audio signal to extract therefrom a predetermined global characteristic value of its contents, e.g. a descriptor
JP2004355174A (ja) * 2003-05-28 2004-12-16 Ishihara Sangyo Kaisha Ltd データ解析方法及びそのシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6009061496, Aymeric Zils et.al., "Automatic extraction of music descriptors from acoustic signals using EDS", Audio Engineering Society 116th Convention, 200405 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2207163A2 (en) 2008-11-21 2010-07-14 Sony Corporation Information processing apparatus, sound analysis method, and program
US8178770B2 (en) 2008-11-21 2012-05-15 Sony Corporation Information processing apparatus, sound analysis method, and program
US8420921B2 (en) 2008-11-21 2013-04-16 Sony Corporation Information processing apparatus, sound analysis method, and program
JP2010134231A (ja) * 2008-12-05 2010-06-17 Sony Corp 情報処理装置、音素材の切り出し方法、及びプログラム
EP2204774A2 (en) 2008-12-05 2010-07-07 Sony Corporation Information processing apparatus, information processing method, and program
US9557956B2 (en) 2008-12-05 2017-01-31 Sony Corporation Information processing apparatus, information processing method, and program
US8706274B2 (en) 2008-12-05 2014-04-22 Sony Corporation Information processing apparatus, information processing method, and program
US8618401B2 (en) 2008-12-05 2013-12-31 Sony Corporation Information processing apparatus, melody line extraction method, bass line extraction method, and program
US8583665B2 (en) 2010-04-06 2013-11-12 Sony Corporation Information processing device, client device, server device, list generation method, list acquisition method, list providing method and program
US9671859B2 (en) 2010-04-06 2017-06-06 Sony Corporation Information processing device, client device, server device, list generation method, list acquisition method, list providing method and program
US8472788B2 (en) 2010-08-10 2013-06-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
US8682078B2 (en) 2010-08-10 2014-03-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
US8682143B2 (en) 2010-08-10 2014-03-25 Sony Corporation Moving image processing apparatus, moving image processing method, and program
JP2013058095A (ja) * 2011-09-08 2013-03-28 Sony Corp 情報処理装置、推定機生成方法、及びプログラム
JP2013058096A (ja) * 2011-09-08 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
WO2022168163A1 (ja) * 2021-02-02 2022-08-11 日本電信電話株式会社 生成装置、方法、及びプログラム

Also Published As

Publication number Publication date
KR101193265B1 (ko) 2012-10-19
KR20080069509A (ko) 2008-07-28
EP1843323A4 (en) 2010-04-07
CN101091204A (zh) 2007-12-19
CN101091204B (zh) 2013-11-27
WO2007049641A1 (ja) 2007-05-03
JP4948118B2 (ja) 2012-06-06
US8315954B2 (en) 2012-11-20
EP1843323B1 (en) 2014-05-14
EP1843323A1 (en) 2007-10-10
US20100094782A1 (en) 2010-04-15

Similar Documents

Publication Publication Date Title
JP4948118B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4935047B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Turnbull et al. Fast recognition of musical genres using RBF networks
JP4987282B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20130066452A1 (en) Information processing device, estimator generating method and program
KR20080030922A (ko) 정보처리 장치 및 방법, 프로그램, 및 기록 매체
JP2020154564A (ja) 学習方法、学習プログラムおよび学習装置
JP2007122186A (ja) 情報処理装置、情報処理方法、およびプログラム
Salam et al. Prediction vulnerability level of dengue fever using KNN and random forest
US8712936B2 (en) Information processing apparatus, information processing method, and program
JP5909943B2 (ja) 情報処理装置、推定機生成方法、及びプログラム
JP4433323B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4392621B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Abdollahzadeh et al. An adaptive evolutionary algorithm for history-matching
JP2009110212A (ja) 情報処理装置、情報処理方法、およびプログラム
Moghaddam et al. A novel imbalanced data classification approach using both under and over sampling
JP2009104275A (ja) 情報処理装置、情報処理方法、およびプログラム
Rayskin Multivariate time series approximation by multiple trajectories of a dynamical system. Applications to internet traffic and COVID-19 data
Holbrook Optimizing Future Perfect: A Model for Composition with Genetic Algorithms
JP5909944B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Ren et al. A sequential naive Bayes method for music genre classification based on transitional information from pitch and beat
JP2008181294A (ja) 情報処理装置および方法、並びにプログラム
Jastrzebska et al. Optical music recognition as the case of imbalanced pattern recognition: A study of complex classifiers
Helmbold Graham Charles Grindlay March 2005

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101117

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4948118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees