JP2006155157A - 自動選曲装置 - Google Patents

自動選曲装置 Download PDF

Info

Publication number
JP2006155157A
JP2006155157A JP2004343848A JP2004343848A JP2006155157A JP 2006155157 A JP2006155157 A JP 2006155157A JP 2004343848 A JP2004343848 A JP 2004343848A JP 2004343848 A JP2004343848 A JP 2004343848A JP 2006155157 A JP2006155157 A JP 2006155157A
Authority
JP
Japan
Prior art keywords
music
value
voice
unit
space coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004343848A
Other languages
English (en)
Other versions
JP2006155157A5 (ja
Inventor
Masahiro Yoshida
昌弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004343848A priority Critical patent/JP2006155157A/ja
Publication of JP2006155157A publication Critical patent/JP2006155157A/ja
Publication of JP2006155157A5 publication Critical patent/JP2006155157A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 この発明は、ユーザによる手入力が不要となる自動選曲装置を提供することを目的とする。
【解決手段】 音楽の楽曲データとその曲の心理的な印象を表す空間の座標値である音楽感性空間座標値とが登録されているデータベース、ユーザの音声を検出する音声入力手段、音声入力手段によって検出された音声信号から、物理的特徴量を抽出する音声分析手段、音声分析手段によって抽出された物理的特徴量に基づいて、ユーザの感情を表す感情情報を生成する感情情報生成手段、感情情報生成手段によって得られた感情情報に基づいて、推奨する曲の心理的な印象を表す空間の座標値である音楽感性空間座標値を決定する感情情報/音楽感性空間座標変換手段、感情情報/音楽感性空間座標変換手段によって決定された音楽感性空間座標値に最も近い曲を、データベースから選曲する選曲手段、ならびに選曲手段によって選曲された曲を再生する再生手段を備えている。
【選択図】 図1

Description

この発明は、カーオーディオ機器、ホームオーディオ機器等に利用される自動選曲装置に関する。
感性語によって音楽を検索するシステムが提案されている(「音楽感性空間を用いた感性語による音楽データベース検索システム」情報処理学会論文誌 Vol.42 No12 2001)。この従来の検索システムでは、データベース中の曲をマッピングするための検索空間をSD法ならびに因子分析により生成する。また、データベースに新たな曲を登録する際には、GAとニューラルネットワークにより構成された自動インデクシングシステムにより検索空間へのマッピングを行う。検索の際には、8つの感性語対の度合い(1〜7)をニューラルネットワークにユーザが入力することにより、ニューラルネットワークはそれらの入力に対応する感性空間中の座標を出力するので、検索システムはその出力座標値からユークリッド距離の最も近い曲から順番に検索候補としてユーザに提示を行う。
なお、感性語対として、「明るい−暗い」、「重い−軽い」、「かたい−やわらかい」、「安定−不安定」、「澄んだ−濁った」、「滑らか−歯切れのよい」、「激しい−穏やか」および「厚い−薄い」の8種類が使用されている。
従来の検索装置では、感性語対の度合いをユーザが手入力する必要があった。車に設置されたカーオーディオ機器にこのような検索装置を利用した場合には、ユーザによる入力を更に簡略化することが望まれる。
特開2001−306580号公報 「音楽感性空間を用いた感性語による音楽データベース検索システム」情報処理学会論文誌 Vol.42 No12
この発明は、感性語対の度合いをユーザが手入力しなくても、ユーザの現在の感情に適した曲を自動的に選曲できるようになる自動選曲装置を提供することを目的とする。
請求項1に記載の発明は、音楽の楽曲データとその曲の心理的な印象を表す空間の座標値である音楽感性空間座標値とが登録されているデータベース、ユーザの音声を検出する音声入力手段、音声入力手段によって検出された音声信号から、物理的特徴量を抽出する音声分析手段、音声分析手段によって抽出された物理的特徴量に基づいて、ユーザの感情を表す感情情報を生成する感情情報生成手段、感情情報生成手段によって得られた感情情報に基づいて、推奨する曲の心理的な印象を表す空間の座標値である音楽感性空間座標値を決定する感情情報/音楽感性空間座標変換手段、感情情報/音楽感性空間座標変換手段によって決定された音楽感性空間座標値に最も近い曲を、データベースから選曲する選曲手段、ならびに選曲手段によって選曲された曲を再生する再生手段を備えていることを特徴とする。
請求項2に記載の発明は、請求項1に記載の自動選曲装置において、聞きたい曲の曲印象値をユーザに入力させるための曲印象値入力手段、曲印象値入力手段によって入力された曲印象値に基づいて、推奨する曲の心理的な印象を表す空間の座標値である音楽感性空間座標値を決定する曲印象値/音楽感性空間座標変換手段、ならびに感情情報生成手段によって得られた感情情報を学習用入力信号とし、曲印象値/音楽感性空間座標変換手段によって得られた音楽感性空間座標値を教師信号として、感情情報/音楽感性空間座標変換手段を学習させる学習手段を備えていることを特徴とする。
請求項3に記載の発明は、音楽の楽曲データとそれに対応する感情空間座標値とが登録されているデータベース、ユーザの音声を検出する音声入力手段、音声入力手段によって検出された音声信号から、物理的特徴量を抽出する音声分析手段、音声分析手段によって抽出された物理的特徴量に基づいて、ユーザの感情を表す空間の座標値である感情空間座標値を生成する感情情報生成手段、感情情報生成手段によって生成された感情空間座標値に最も近い曲を、データベースから選曲する選曲手段、ならびに選曲手段によって選曲された曲を再生する再生手段を備えていることを特徴とする。
請求項4に記載の発明は、請求項1乃至3に記載の自動選曲装置において、音声入力手段によって検出された音声信号から、再生手段によって出力されかつ音声入力手段によって検出された音声信号成分を除去し、除去後の音声信号を音声分析手段に与える手段を備えていることを特徴とする。
この発明によれば、感性語対の度合いをユーザが手入力しなくても、ユーザの現在の感情に適した曲を自動的に選曲できるようになる。
以下、図面を参照して、この発明を音楽データベース検索システムに適用した場合の実施例について説明する。
まず、第1実施例について説明する。
〔1〕自動選曲装置の構成についての説明
図1は、自動選曲装置の構成を示している。
データベース部9には、複数の曲の楽曲データが登録されるとともに、各曲の音楽感性空間中の座標値が各曲のインデックス情報として登録されている。「音楽感性空間」は、曲の心理的な印象を表す空間であり、音楽感性に関する複数の因子軸を有する空間である。この例では、音楽感性に関する因子は3種類あり、因子軸も3種類あるものとする。
音声入力部1は、マイクロフォンおよびA/Dコンバータから構成されており、ユーザの音声を検出する。音声分析部(物理的特徴量抽出部)2は、音声入力部1によって検出された音声データ波形を解析し、周波数特性、ピッチ、振幅、立ち上がり強度等の物理的特徴量を抽出する。
感情推定部(感情情報生成手段)10は、音声分析部2によって抽出された入力音声の物理的特徴量に基づいて、ユーザの感情を表す感情情報を生成する。感情推定部10は、音声分析部2によって抽出された入力音声の物理的特徴量を、感情を表す「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類の感性語対毎の感情値に変換する物理的特徴量/感情値変換部3と、物理的特徴量/感情値変換部3によって得られた3種類の感情値から、感情空間の座標値を求める感情値/感情空間座標変換部4とを備えている。「感情空間」は、感情を表す空間であり、感情に関する複数の因子軸を有する空間である。この例では、感情に関する因子は3種類あり、因子軸も3種類あるものとする。物理的特徴量/感情値変換部3としては、回帰式に基づいて変換を行うものが用いられる。感情値/感情空間座標変換部4としてはニューラルネットワークが用いられる。
音楽感性空間推奨座標決定部5は、音楽感性空間推奨座標決定ルール記録部6に記録されたルールに基づいて、感情推定部10内の感情値/感情空間座標変換部4によって得られた感情空間の座標値を、音楽感性空間の座標値に変換する。音楽感性空間推奨座標決定部5としてはニューラルネットワークが用いられる。選曲部7は、音楽感性空間推奨座標決定部5によって得られた音楽感性空間の座標値と、データベース部9に記録されている各登録曲の音楽感性空間の座標値とを比較し、空間距離が最も近い曲を選曲する。つまり、空間距離が最も近い曲の楽曲データをデータベース部9から読み出して、再生部8に送る。再生部8は、D/Aコンバータおよびスピーカから構成されており、選曲部7によって選曲された曲を再生する。
以下、データベースの構築方法、感情推定部10の学習方法、音楽感性空間推奨座標決定部5の学習方法等について説明する。
〔2〕データベース構築についての説明
図2は、データベースの構築方法を説明するための説明図である。
101は、聴取実験に基づいて、サンプル曲に対する音楽感性空間座標値を生成するとともに教師信号を生成する初期学習教師信号生成部である。102は、データベース部9に追加したい曲の音楽感性空間座標値を自動的に算出するための自動インデクシング部である。
〔2−1〕初期学習教師信号生成部101についての説明
初期学習教師信号生成部101は、聴取実験に基づいてサンプル曲に対する曲印象値を算出する曲印象評価部111と、曲印象評価部111によって得られた曲印象値を用いて因子分析を行う因子分析部112とを備えている。
曲印象評価部111について説明する。複数の被験者に対して、100曲のサンプル曲を提示し、曲印象を表す複数の感性語対それぞれに対して7段階評価を行ってもらった。曲印象を表す感性語対としては、「明るい−暗い」、「重い−軽い」、「安定−不安定」および「力強い−弱々しい」の4種類を用いた。
この実験結果から、各サンプル曲それぞれについて、各感性語対毎の曲印象値を算出した。各感性語対毎の曲印象値は、その感性語対の評価値の平均値で表される。
因子分析部112は、各サンプル曲の各感性語対毎の曲印象値を多変量とする因子分析を行い、各サンプル曲毎に、各因子を軸とした、曲印象の心理的な相関を表す空間(音楽感性空間)の座標データを得る。このように、音楽感性空間は、音楽感性に関する複数の因子軸を有する空間である。この例では、音楽感性に関する因子は3種類あり、因子軸も3種類あるものとする。
データベース部9には、各曲の楽曲データが登録されるとともに、各曲の感性空間中の座標値が各曲のインデックス情報として登録される。
〔2−2〕自動インデクシング部102についての説明
自動インデクシング部102は、新規登録曲を解析して、テンポ、リズム、周波数等の物理的特徴量を抽出する物理的特徴量抽出部121と、物理的特徴量抽出部121によって抽出された物理的特徴量を各感性語対毎の曲印象値に変換する物理的特徴量/曲印象値変換部122と、物理的特徴量/曲印象値変換部122によって得られた各感性語対毎の曲印象値を音楽感性空間座標値に変換する曲印象値/音楽感性空間座標変換部123とを備えている。
自動インデクシング部102によって得られた新規登録曲の音楽感性空間座標値は、新規登録曲の曲データとともに、データベース部9に登録される。
図3は、自動インデクシング部102の構成をより具体的に示している。
物理的特徴量/曲印象値変換部122は、「明るい−暗い」、「重い−軽い」、「安定−不安定」および「力強い−弱々しい」の4種類の感性語対それぞれに対応する回帰分析部122a〜122dから構成されている。曲印象値/音楽感性空間座標変換部123は、ニューラルネットワークから構成されている。
物理的特徴量/曲印象値変換部122内の各回帰分析部122a〜122dには、それぞれに対応する感性語対に関係した複数の物理的特徴量が入力される。各回帰分析部122a〜122dに入力される物理特徴量の種類は予め定められている。
各回帰分析部122a〜122dは、次の回帰式(1)に基づいて、物理的特徴量を対応する感性語対の曲印象値に変換する。
Figure 2006155157
上記式(1)において、OUTは、当該回帰分析部の出力値であり、当該回帰分析部に対応する感性語対に関する曲印象値の推定値を表している。In〔k〕は、当該回帰分析部に入力するk番目の物理的特徴量を表している。W〔k〕は、In〔k〕に対する重み係数である。W〔0〕は、重み係数である。
上記式(1)の各重み係数W〔k〕,W〔0〕は、上述したサンプル曲を用いた聴取実験結果と、それに用いられた各サンプル曲の物理的特徴量に基づいて予め求められている。重み係数W〔k〕,W〔0〕は、次のようにして決定される。上述した聴取実験結果、つまり、各サンプル曲毎に求められた感性語対毎の曲印象値を教師信号(出力値OUT)とする。また、各サンプル曲毎に物理的特徴量抽出部121によって抽出された物理的特徴量を入力値Inとする。そして、全曲それぞれに対する回帰分析結果が、その曲に対する教師信号に最も近い値となるような重み係数W〔k〕,W〔0〕を算出する。
曲印象値/音楽感性空間座標変換部123を構成するニューラルネットワークの学習について説明する。学習時の入力信号は、上述した聴取実験結果、つまり、各サンプル曲毎に求められた感性語対毎の曲印象値である。学習時の教師信号は、因子分析部112によって得られた各サンプル曲の音楽感性空間座標値(各因子軸の座標値)である。この学習により、ニューラルネットワークの内部状態が決定される。
〔3〕感情推定部10の学習方法についての説明
図4は、感情推定部10の学習方法を説明するための説明図である。
201は、聴取実験に基づいて感情推定部10の教師信号を生成する初期学習教師信号生成部である。202は、音声入力部1から入力された音声に対して感情空間座標値を自動的に算出するための自動インデクシング部である。自動インデクシング部202は、図1の音声分析部(物理的特徴量抽出部)2と、感情推定部10を構成する物理的特徴量/感情値変換部3および感情値/感情空間座標変換部4とからなる。
〔3−1〕初期学習教師信号生成部201についての説明
初期学習教師信号生成部201は、聴取実験に基づいてサンプル音声に対する感情値を算出する感情評価部211と、感情評価部211によって得られた感情値を用いて因子分析を行う因子分析部212とを備えている。
感情評価部211について説明する。複数の被験者に対して、200種類のサンプル音声を提示し、感情を表す複数の感性語対それぞれに対して7段階評価を行ってもらった。感情を表す感性語対としては、「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類を用いた。
この実験結果から、各サンプル音声それぞれについて、各感性語対毎の感情値を算出した。各感性語対毎の感情値は、その感性語対の感情値の平均値で表される。
因子分析部212は、各サンプル音声の各感性語対毎の感情値を多変量とする因子分析を行い、各サンプル音声毎に、各因子を軸とした、感情を表す空間(感情空間)の座標データを得る。このように、感情空間は、感情に関する複数の因子軸を有する空間である。この例では、感情に関する因子は3種類あり、因子軸も3種類あるものとする。
〔3−2〕自動インデクシング部202についての説明
図5は、自動インデクシング部202の構成をより具体的に示している。
物理的特徴量/感情値変換部3は、「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類の感性語対それぞれに対応する回帰分析部222a〜222cから構成されている。感情値/感情空間座標変換部4は、ニューラルネットワークから構成されている。
物理的特徴量/感情値変換部3内の各回帰分析部222a〜222cには、それぞれに対応する感性語対に関係した複数の物理的特徴量が入力される。各回帰分析部222a〜222cに入力される物理特徴量の種類は予め定められている。
各回帰分析部222a〜222cは、次の回帰式(2)に基づいて、物理的特徴量を対応する感性語対の曲印象値に変換する。
Figure 2006155157
上記式(2)において、OUTは、当該回帰分析部の出力値であり、当該回帰分析部に対応する感性語対に関する感情の推定値を表している。In〔k〕は、当該回帰分析部に入力するk番目の物理的特徴量を表している。W〔k〕は、In〔k〕に対する重み係数である。W〔0〕は、重み係数である。
上記式(2)の各重み係数W〔k〕,W〔0〕は、上述したサンプル音声を用いた聴取実験結果と、それに用いられた各サンプル音声の物理的特徴量に基づいて予め求められている。重み係数W〔k〕,W〔0〕は、次のようにして決定される。上述した聴取実験結果、つまり、各サンプル音声毎に求められた感性語対毎の感情値を教師信号(出力値OUT)とする。また、各サンプル音声毎に物理的特徴量抽出部2によって抽出された物理的特徴量を入力値Inとする。そして、全サンプル音声それぞれに対する回帰分析結果が、そのサンプル音声に対する教師信号に最も近い値となるような重み係数W〔k〕,W〔0〕を算出する。
感情値/感情空間座標変換部4を構成するニューラルネットワークの学習について説明する。学習時の入力信号は、上述した聴取実験結果、つまり、各サンプル音声毎に求められた感性語対毎の感情値である。学習時の教師信号は、因子分析部212によって得られた各サンプル音声の感情空間座標値(各因子軸の座標値)である。この学習により、ニューラルネットワークの内部状態が決定される。
〔4〕音楽感性空間推奨座標決定部5の学習方法についての説明
音楽感性空間推奨座標決定部5を構成するニューラルネットワークの学習について説明する。
複数の被験者に対して、「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類の感性語対で表現できる、感情の各状態において、聞きたい曲の曲印象値を、アンケート調査した。曲印象値としては、「明るい−暗い」、「重い−軽い」、「安定−不安定」および「力強い−弱々しい」の4種類の感性語対の曲印象値(各7段階)を用いた。この実験結果から、感情の各状態それぞれについて、各感性語対毎の曲印象値を算出した。各感性語対毎の曲印象値は、その感性語対の評価値の平均値で表される。
なお、複数の被験者に対して、「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類の感性語対で表現できる、感情の各状態において、聞きたい曲を予め4種類の感性語対の曲印象値が分かっているサンプル曲から選択してもらってもよい。また、心理学や音楽に詳しい専門家に用途などを考慮し、推奨する印象値を決定してもらってもよい。
上記感情の各状態毎に、その状態に対応する「喜び−怒り」、「哀しみ−楽しみ」および「興奮−平常」の3種類の感性語対の感情値を、感情推定部10内の感情値/感情空間座標変換部4によって、感情空間座標値に変換する。そして、得られた上記感情の各状態に対応する感情空間座標値を、音楽感性空間推奨座標決定部5を構成するニューラルネットワークの学習時の入力信号とする。
また、上記感情の各状態に対して、回答として得られた「明るい−暗い」、「重い−軽い」、「安定−不安定」および「力強い−弱々しい」の4種類の感性語対の曲印象値を、図2の曲印象値/音楽感性空間座標変換部123によって、音楽感性空間座標に変換する。そして、得られた上記感情の各状態に対応する音楽感性空間座標値を、音楽感性空間推奨座標決定部5を構成するニューラルネットワークの学習時の教師信号とする。
このようにしてニューラルネットワークの学習を行ない、学習により得られたニューラルネットワークの係数を音楽感性空間推奨座標決定ルール記録部6に記憶させておく。
上記第1実施例では、音声入力部1によって検出されたユーザの音声からユーザの現在の感情が推定され、推定されたユーザの現在の感情に適した曲が自動的に選曲されるようになる。
図6は、第2実施例を示している。図6において、図1と同じものには同じ符号を付してある。
第2実施例では、第1実施例に比べて、曲印象値入力部21、曲印象値/音楽感性空間座標値変換部22、入力切替部23および学習部24が追加されている。入力切替部23は、ユーザからの指示に基づいて、第1実施例のように音楽感性空間推奨座標決定部5からの音楽感性空間座標値を選曲部7に送るか、または曲印象値/音楽感性空間座標値変換部22からの音楽感性空間座標値を選曲部7に送るかを切り替えるものである。
曲印象値/音楽感性空間座標値変換部22からの音楽感性空間座標値を選曲部7に送るように入力切替部23が切り替えられた場合の動作について説明する。この場合には、ユーザが直接入力した曲印象値に基づいて、選曲が行われる。
具体的には、曲印象値入力部21には、「明るい−暗い」、「重い−軽い」、「安定−不安定」および「力強い−弱々しい」の4種類の感性語対の曲印象値がユーザによって入力される。曲印象値入力部21に入力された曲印象値は、曲印象値/音楽感性空間座標値変換部22によって感性空間座標値に変換される。曲印象値/音楽感性空間座標値変換部22は、図2において説明した曲印象値/音楽感性空間座標値変換部123と同じものを用いることができる。曲印象値/音楽感性空間座標値変換部22によって得られた感性空間座標値は、入力切替部23を介して、選曲部7に送られる。
選曲部7は、曲印象値/音楽感性空間座標値変換部22によって得られた感性空間座標値と、データベース部9に記録されている各登録曲の音楽感性空間の座標値とを比較し、空間距離が最も近い曲を選曲する。つまり、空間距離が最も近い曲の楽曲データをデータベース部9から読み出して、再生部8に送る。再生部8は、選曲部7によって選曲された曲を再生する。
なお、曲印象値入力部21に入力された曲印象値を用いて選曲を行っている場合には、学習部24は、音声入力部1に入力されたユーザの音声と、曲印象値入力部21に入力された曲印象値とに基づいて、音楽感性推奨座標決定部5を構成するニューラルネットワークを再学習させて、音楽感性推奨座標決定ルール記録部6内に記憶されている当該ニューラルネットワークの係数を更新させる。
具体的には、音声入力部1に入力されたユーザの音声に対して感情推定部10によって得られる感情空間座標値を上記ニューラルネットワーク(音楽感性推奨座標決定部5)の入力とし、曲印象値入力部21に入力された曲印象値に対して曲印象値/音楽感性空間座標値変換部22によって得られた感性空間座標値を上記ニューラルネットワークの教師信号として、上記ニューラルネットワークを再学習させる。
図7は、第3実施例を示している。図7において、図1と同じものには同じ符号を付してある。
第3実施例では、第1実施例と比べてデータベース部9Aに登録されているインデックス情報の種類が異なるとともに、感性空間推奨座標決定部5が省略されている。
第1実施例では、データベース部9には、複数の曲の楽曲データが登録されるとともに、各曲の音楽感性空間中の座標値が各曲のインデックス情報として登録されていた。第3実施例では、データベース部9Aに、各曲の楽曲データが登録されるとともに、各曲に対応する感情空間座標値が各曲のインデックス情報として登録されている。
各曲に対応する感情空間座標値は、第1実施例のデータベース部9に登録されていた各曲の音楽感性空間中の座標値を、第1実施例の音楽感性推奨座標決定部5による変換処理とは、逆の変換処理を行うことにより求められる。
選曲部7Aには、感情推定部10によって得られた入力音声に対応する感情空間座標値が入力される。選曲部7Aは、感情推定部10によって得られた入力音声に対応する感情空間座標値と、データベース部9Aに記録されている各登録曲に対応する感情空間座標値とを比較し、空間距離が最も近い曲を選曲する。つまり、空間距離が最も近い曲の楽曲データをデータベース部9Aから読み出して、再生部8に送る。再生部8は、選曲部7Aによって選曲された曲を再生する。
図8は、第4実施例を示している。図8において、図1と同じものには同じ符号を付してある。
音声入力部1は、マイクロフォン31およびA/Dコンバータ32から構成されている。再生部8は、D/Aコンバータ41およびスピーカ42から構成されている。
音声入力部1には、ユーザの音声とともに、再生部8から出力されている音楽も入力される。ユーザの音声から感情を精度よく推定するためには、音声入力部1によって検出される音声信号から、再生部8から出力されている音楽の信号を除去する必要がある。
そこで、第4実施例では、音声入力部1によって検出される音声信号から、再生部8から出力されている音楽の信号を除去するために、FIRフィルタ51およびFIRフィルタ51のフィルタ係数を適応的に更新するフィルタ係数更新部52とが設けられている。
さらに、この例では、このように構成した自動選曲装置300の音声入力部1および再生部8を、携帯型電話機400のハンズフリー通話を行う装置として利用している。つまり、音声分析部2の入力端子を携帯型電話機400の音声入力端子に接続するとともに、選曲部7の出力端子を携帯型電話機400の音声出力端子に接続する。
自動選曲装置300の音声入力部1および再生部8を、携帯型電話機400のハンズフリー通話を行う装置として利用した場合、FIRフィルタ51はエコーキャンセラとして利用することが可能となる。しかも、FIRフィルタ51のフィルタ係数は常に最適な係数を保持しているため、エコーキャンセラのための初期計算が不要である。さらに、携帯型電話機400への音楽信号の混入も防ぐことが可能である。
また、携帯型電話機400と自動選曲装置300との併用により、携帯電話機400による通話時の会話を基に、バックミュージックの自動選曲、多重送信などが可能となり、相乗効果が期待できる。
第1実施例による自動選曲装置の構成を示すブロック図である。 データベースの構築方法を説明するための説明図である。 自動インデクシング部102の構成をより具体的に示すブロック図である。 感情推定部10の学習方法を説明するための説明図である。 自動インデクシング部202の構成をより具体的に示している。 第2実施例による自動選曲装置の構成を示すブロック図である。 第3実施例による自動選曲装置の構成を示すブロック図である。 第4実施例による自動選曲装置の構成を示すブロック図である。
符号の説明
1 音声入力部
2 音声分析部(物理的特徴量抽出部)
3 物理的特徴量/感情値変換部
4 感情値/感情空間座標変換部
5 音楽感性空間推奨座標決定部
6 音楽感性空間推奨座標決定ルール記録部
7,7A 選曲部
8 再生部
9,9A データベース部
10 感情推定部
21 曲印象値入力部
22 曲印象値/音楽感性空間座標値変換部
23 入力切替部
24 学習部

Claims (4)

  1. 音楽の楽曲データとその曲の心理的な印象を表す空間の座標値である音楽感性空間座標値とが登録されているデータベース、
    ユーザの音声を検出する音声入力手段、 音声入力手段によって検出された音声信号から、物理的特徴量を抽出する音声分析手段、 音声分析手段によって抽出された物理的特徴量に基づいて、ユーザの感情を表す感情情報を生成する感情情報生成手段、
    感情情報生成手段によって得られた感情情報に基づいて、推奨する曲の心理的な印象を表す空間の座標値である音楽感性空間座標値を決定する感情情報/音楽感性空間座標変換手段、
    感情情報/音楽感性空間座標変換手段によって決定された音楽感性空間座標値に最も近い曲を、データベースから選曲する選曲手段、ならびに
    選曲手段によって選曲された曲を再生する再生手段、
    を備えていることを特徴とする自動選曲装置。
  2. 聞きたい曲の曲印象値をユーザに入力させるための曲印象値入力手段、
    曲印象値入力手段によって入力された曲印象値に基づいて、推奨する曲の心理的な印象を表す空間の座標値である音楽感性空間座標値を決定する曲印象値/音楽感性空間座標変換手段、ならびに
    感情情報生成手段によって得られた感情情報を学習用入力信号とし、曲印象値/音楽感性空間座標変換手段によって得られた音楽感性空間座標値を教師信号として、感情情報/音楽感性空間座標変換手段を学習させる学習手段、
    を備えていることを特徴とする請求項1に記載の自動選曲装置。
  3. 音楽の楽曲データとそれに対応する感情空間座標値とが登録されているデータベース、
    ユーザの音声を検出する音声入力手段、 音声入力手段によって検出された音声信号から、物理的特徴量を抽出する音声分析手段、 音声分析手段によって抽出された物理的特徴量に基づいて、ユーザの感情を表す空間の座標値である感情空間座標値を生成する感情情報生成手段、
    感情情報生成手段によって生成された感情空間座標値に最も近い曲を、データベースから選曲する選曲手段、ならびに
    選曲手段によって選曲された曲を再生する再生手段、
    を備えていることを特徴とする自動選曲装置。
  4. 音声入力手段によって検出された音声信号から、再生手段によって出力されかつ音声入力手段によって検出された音声信号成分を除去し、除去後の音声信号を音声分析手段に与える手段を備えていることを特徴とする請求項1、2および3のいずれかに記載の自動選曲装置。
JP2004343848A 2004-11-29 2004-11-29 自動選曲装置 Pending JP2006155157A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004343848A JP2006155157A (ja) 2004-11-29 2004-11-29 自動選曲装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004343848A JP2006155157A (ja) 2004-11-29 2004-11-29 自動選曲装置

Publications (2)

Publication Number Publication Date
JP2006155157A true JP2006155157A (ja) 2006-06-15
JP2006155157A5 JP2006155157A5 (ja) 2007-12-20

Family

ID=36633393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004343848A Pending JP2006155157A (ja) 2004-11-29 2004-11-29 自動選曲装置

Country Status (1)

Country Link
JP (1) JP2006155157A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029889A1 (fr) * 2006-09-08 2008-03-13 Panasonic Corporation Terminal de traitement des informations, procédé de génération d'informations musicales et programme
US20090281906A1 (en) * 2008-05-07 2009-11-12 Microsoft Corporation Music Recommendation using Emotional Allocation Modeling
JP2010049270A (ja) * 2006-12-29 2010-03-04 Harman Internatl Industries Inc 個人化されたコンテンツを備える車両インフォテインメントシステム
US7767896B2 (en) 2007-09-14 2010-08-03 Denso Corporation Vehicular music replay system
JP2010210847A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 楽曲選択方法、楽曲選択プログラム、及び楽曲選択装置
US8344233B2 (en) 2008-05-07 2013-01-01 Microsoft Corporation Scalable music recommendation by search
JP2016057570A (ja) * 2014-09-12 2016-04-21 ヤマハ株式会社 音響解析装置
WO2016136104A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106991172A (zh) * 2017-04-05 2017-07-28 安徽建筑大学 一种多模态情感交互数据库的建立方法
WO2017131272A1 (ko) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 음악 감정 분석 시스템 및 이를 이용한 감정 분석 방법
US10360259B2 (en) 2016-12-21 2019-07-23 Honda Motor Co., Ltd. Content providing apparatus and method
US10853414B2 (en) 2017-05-17 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Computer-implemented method for providing content in accordance with emotional state that user is to reach

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357066A (ja) * 2000-06-15 2001-12-26 Hakuhodo Inc 人間の感情に基づいてコンテンツを検索する検索サーバ及び該サーバを有するシステムの制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357066A (ja) * 2000-06-15 2001-12-26 Hakuhodo Inc 人間の感情に基づいてコンテンツを検索する検索サーバ及び該サーバを有するシステムの制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNG200300326035, 池添 剛, "音楽感性空間を用いた感性語による音楽データベース検索システム", 情報処理学会論文誌, 20011215, 第42巻 第12号, 第3201頁乃至第3212頁, JP, 社団法人情報処理会 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5225847B2 (ja) * 2006-09-08 2013-07-03 パナソニック株式会社 情報処理端末、音楽情報生成方法、およびプログラム
US7893342B2 (en) 2006-09-08 2011-02-22 Panasonic Corporation Information processing terminal and music information generating program
WO2008029889A1 (fr) * 2006-09-08 2008-03-13 Panasonic Corporation Terminal de traitement des informations, procédé de génération d'informations musicales et programme
US8283549B2 (en) 2006-09-08 2012-10-09 Panasonic Corporation Information processing terminal and music information generating method and program
JP2010049270A (ja) * 2006-12-29 2010-03-04 Harman Internatl Industries Inc 個人化されたコンテンツを備える車両インフォテインメントシステム
JP2011076709A (ja) * 2006-12-29 2011-04-14 Harman Internatl Industries Inc 個人化されたコンテンツを備える車両インフォテインメントシステム
US7767896B2 (en) 2007-09-14 2010-08-03 Denso Corporation Vehicular music replay system
US20090281906A1 (en) * 2008-05-07 2009-11-12 Microsoft Corporation Music Recommendation using Emotional Allocation Modeling
US8344233B2 (en) 2008-05-07 2013-01-01 Microsoft Corporation Scalable music recommendation by search
US8438168B2 (en) 2008-05-07 2013-05-07 Microsoft Corporation Scalable music recommendation by search
US8650094B2 (en) * 2008-05-07 2014-02-11 Microsoft Corporation Music recommendation using emotional allocation modeling
JP2010210847A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 楽曲選択方法、楽曲選択プログラム、及び楽曲選択装置
JP2016057570A (ja) * 2014-09-12 2016-04-21 ヤマハ株式会社 音響解析装置
WO2016136104A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2016136104A1 (ja) * 2015-02-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017131272A1 (ko) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 음악 감정 분석 시스템 및 이를 이용한 감정 분석 방법
US10360259B2 (en) 2016-12-21 2019-07-23 Honda Motor Co., Ltd. Content providing apparatus and method
CN106991172A (zh) * 2017-04-05 2017-07-28 安徽建筑大学 一种多模态情感交互数据库的建立方法
CN106991172B (zh) * 2017-04-05 2020-04-28 安徽建筑大学 一种多模态情感交互数据库的建立方法
US10853414B2 (en) 2017-05-17 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Computer-implemented method for providing content in accordance with emotional state that user is to reach

Similar Documents

Publication Publication Date Title
JP4327241B2 (ja) 音声強調装置および音声強調方法
Zezario et al. STOI-Net: A deep learning based non-intrusive speech intelligibility assessment model
CN110211556B (zh) 音乐文件的处理方法、装置、终端及存储介质
JP2006155157A (ja) 自動選曲装置
CN108257605B (zh) 多通道录音方法、装置及电子设备
Yang et al. BaNa: A noise resilient fundamental frequency detection algorithm for speech and music
TWI742486B (zh) 輔助歌唱系統、輔助歌唱方法及其非暫態電腦可讀取記錄媒體
CN112289300B (zh) 音频处理方法、装置及电子设备和计算机可读存储介质
JP2009210790A (ja) 選曲歌手分析推薦装置、その方法及びプログラム
CN106486134B (zh) 话语状态确定装置及方法
CN101460994A (zh) 语音区分
WO2011122522A1 (ja) 感性表現語選択システム、感性表現語選択方法及びプログラム
JP2006155157A5 (ja)
CN105895079A (zh) 语音数据的处理方法和装置
JP2005049773A (ja) 音楽再生装置
JP2003131700A (ja) 音声情報出力装置及びその方法
JP2897701B2 (ja) 効果音検索装置
CN110956870A (zh) 一种视唱练耳教学方法及装置
JP2007241015A (ja) 音評価システム
JP2006276560A (ja) 音楽再生装置および音楽再生方法
JP6961545B2 (ja) 音信号処理装置、音信号処理方法、およびプログラム
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2020038252A (ja) 情報処理方法および情報処理装置
JP2004126934A (ja) 音楽選曲装置、音楽選曲方法、プログラム記録媒体及びプログラム
KR100789588B1 (ko) 음악 파일의 믹싱 방법 및 이를 이용한 단말기

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101202