JP2017042562A - 楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、及び楽曲聴取経験有無推定プログラム - Google Patents

Abstract

【課題】楽曲の聴取時に計測した脳波に基づきその楽曲の聴取経験を推定する。【解決手段】楽曲聴取経験有無推定方法では、聴取経験の有無が不明な楽曲を聴取している被験者の脳波を計測して被験者脳波データを取得するステップＳ１０と、被験者脳波データから脳波の計測位置及び強度に関する第１特徴を取得するステップＳ２２と、第１特徴を、聴取経験があると判明している既知楽曲を聴取している人の脳波を計測して取得したデータである第１データ及び聴取経験がないと判明している未知楽曲を聴取している人の脳波を計測して取得したデータである第２データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生する脳波の計測位置及び強度のパターンであるモデル脳波パターンと照合して得られた照合結果を用いて、楽曲の聴取経験の有無を推定するステップＳ３０とを含む。【選択図】図４

Description

本発明は、楽曲を聴いた人がその楽曲の聴取経験を有するか否かを推定する技術に関する。

人は音楽を聴くことによって様々な感情が誘発されることが知られている。そして人が聴いた楽曲とその人、すなわち楽曲の聴取者に起こる感情との関係について、生体反応を用いて調査する研究が行われている。この生体反応とは、例えば脈拍、血圧、発汗、皮膚電位、体温、眼球運動、脳波等である。

このような研究によって得られた知見は、例えば楽曲を聴取している聴取者の生体情報を取得し、その生体情報に基づいて当該聴取者の感情を推定する技術への応用が試みられている。そしてこのような技術を用いて、例えばユーザの現在又はユーザの所望の感情・心理状態に合わせて音楽等のコンテンツ又はコンテンツの再生態様を選択して再生する装置等が提案されている（特許文献１及び特許文献２参照）。

一方で、感情を推定できる、比較的安価で日常でも利用可能な方法として上記の生体反応のうちの脳波を用いられている。上記の特許文献１及び特許文献２のいずれにおいても、利用可能な生体データを得る方法の１つに脳波の測定を挙げている。そして脳波からの感情推定の精度には、脳波の測定時に聴取している楽曲の聴取経験の有無が影響することが示されている（非特許文献１参照）。

特許第４２７７１７３号公報 特開２００５−５６２０５号公報

Ｔｈａｍｍａｓａｎ Ｎ．他３名、「ＥＥＧ−ｂａｓｅｄ Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ Ｍｕｓｉｃ Ｆａｍｉｌｉａｒｉｔｙ ａｎｄ Ｅｍｏｔｉｏｎ」、人工知能学会全国大会（第２９回）論文集、日本、人工知能学会、２０１５年、ｐ．１−４

上記のような技術では、適切なコンテンツの選択や再生態様の設定のために、楽曲を聴取している被験者の生体反応データからその被験者の感情を精度よく推定できることが求められる。

上記の知見に基づけば、脳波からの感情推定の精度を上げるためには、楽曲を聴く被験者の脳波の測定時に、その楽曲の聴取経験についての報告（アノテーション）を当該被験者から得る必要がある。しかしながら、そのような情報は被験者から常には得られなかったり、又はこれを得ようとするとデータ収集の手間やコストが増加したりする。

本発明はこのような問題に鑑みてなされたものであり、楽曲の聴取中に脳波が測定される被験者からの報告ではない形で、効率よく且つ高い精度でその楽曲の聴取経験を推定することを目的とする。

上記の目的を達成するために提供される、本発明に係る被験者の楽曲の聴取経験の有無を推定する方法は、聴取経験の有無が不明である楽曲を聴取している前記被験者の脳波を計測して被験者脳波データを取得する被験者脳波データ取得ステップと、前記取得した被験者脳波データから、前記脳波の計測位置及び強度に関する特徴を含む被験者脳波第１特徴を取得する被験者脳波特徴取得ステップと、前記被験者脳波第１特徴を、聴取経験があると判明している既知楽曲を聴取している人の脳波を計測して取得したデータである第１脳波データ及び聴取経験がないと判明している未知楽曲を聴取している人の脳波を計測して取得したデータである第２脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生する脳波の人の頭部での計測位置及び強度のパターンである第１モデル脳波パターンと照合して得られた照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する推定ステップとを含む。

聴取経験のある楽曲を聴取している被験者の脳波パターンと、聴取経験のない楽曲を聴取している被験者の脳波パターンとの間には有意な差が認められることが、実験結果に基づく研究によって新たにわかった。この新たに得た知見に基づいて、聴取経験が判明していない楽曲を聴取している被験者の脳波が示す特徴が、上記いずれの状況に計測される脳波パターンに見られる特徴に一致又はより類似するかを判定して、当該被験者の当該楽曲の聴取経験を推測することができる。これにより、脳波を利用して行う感情推定において、楽曲を聴取しながら脳波が測定される被験者からの提供を得ることなく、その楽曲の聴取経験に関する情報を取得することができる。

なお、前記第１モデル脳波パターンの具体例としては、前記第１脳波データが示す脳波の平均パワーから第２脳波データが示す脳波の平均パワーを減算して作成されたものであってもよい。

また、前記被験者脳波データは前記被験者の頭部の複数の箇所で並行して脳波を計測して取得したデータであってもよく、前記被験者の頭部の複数の箇所に対応する箇所で脳波を計測して取得したデータであってもよい。

前記第１モデル脳波パターンの具体例としては、デルタ波、シータ波、アルファ波、ベータ波、及びガンマ波のうち少なくとも２つの脳波についての計測位置及び強度のパターンであり、前記被験者脳波データ取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波データを取得し、前記被験者脳波特徴取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波第１特徴を取得し、前記推定ステップでは、前記少なくとも２つの脳波について前記照合を実行して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定してもよい。

また、前記計測した脳波が計測された前記複数の箇所間での機能的結合の度合いに関する特徴を含む被験者脳波第２特徴を含み、前記推定ステップではさらに、前記被験者脳波第２特徴を、既知楽曲を聴取している人の頭部の複数の箇所であって、前記被験者の頭部の複数の箇所に対応する箇所で並行して計測した脳波のデータである第３脳波データ又は未知楽曲を聴取している人の頭部の複数の箇所であって、前記被験者の頭部の複数の箇所に対応する箇所で並行して計測した脳波のデータである第４脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生する脳波の、前記複数の箇所間での機能的結合の度合いのパターンである第２モデル脳波パターンと照合して得られる照合結果を用いて前記被験者の前記楽曲の聴取経験の有無を推定してもよい。

これにより、聴取経験の有無に依存する有意な差として生じる別の特徴をさらに用いて、楽曲の聴取経験の有無をより高い精度で推測することができる。

前記第２モデル脳波パターンの具体例としては、デルタ波、シータ波、アルファ波、ベータ波、及びガンマ波のうち少なくとも２つの脳波に基づいて取得される、前記複数の箇所間での機能的結合の度合いのパターンであり、前記被験者脳波データ取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波データを取得し、前記被験者脳波特徴取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波第２特徴を取得し、前記推定ステップでは、前記少なくとも２つの脳波についての前記被験者脳波第２特徴を、前記少なくとも２つの脳波についての前記第２モデル脳波パターンと照合を実行して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定してもよい。

また、前記機能的結合の度合いの取得の具体例としては、前記複数の箇所のそれぞれで計測して取得した脳波データ間の相関、コヒーレンス、及び位相同期指標の少なくとも１つに基づいて取得されてもよい。

また、被験者脳波特徴取得ステップより前にさらに、既知楽曲を聴いている前記被験者の脳波のデータである第１正規化用脳波データと、未知楽曲を聴いている前記被験者の脳波のデータである第２正規化用脳波データとを取得する正規化用脳波データ取得ステップと、取得された前記被験者脳波データを前記第１正規化用脳波データ及び前記第２正規化用脳波データを用いて正規化する被験者脳波データ正規化ステップとを含んでもよい。

これにより、被験者の脳波を１箇所のみで測定して被験者脳波データを取得した場合であっても、各正規化用脳波データに照らして脳波の強弱を相対的に判定して被験者脳波特徴を取得することができる。また、複数の電極を用いる場合であっても、正規化をさらに実行することでより精度の高い推定をすることができる。

また、本発明は上記に挙げた各方法のみならず、上記の方法の各ステップを実現するよう構成された装置やプログラムとしても実施することができる。

なお、本願における「被験者」とは特に実験や検査の対象となる人のみならず、本発明に係る方法等によって楽曲の聴取経験の有無の推定の対象者を含む概念である。

本発明によれば、楽曲を聴取しながら脳波が測定される被験者からの情報提供ではない形で効率よく、かつ高い精度でその楽曲の聴取経験に関する情報を取得することができる。そして感情推定に用いるために収集する脳波のデータを、さらに聴取経験に関する情報の取得にも用いることができるため、手間やコストが増えることがなく効率よくデータ収集をすることができる。さらに、収集時の測定方法が条件を満たしていれば、過去に収集した脳波データからも各被験者の聴取経験が推測できる。

図１は、国際１０−２０法に基づく脳波計の電極の配置箇所を示す概略図である。 図２は、既知の楽曲聴取時の被験者の平均パワースペクトルから未知の楽曲聴取時の被験者の平均パワースペクトルを引いた差分をプロットしたマッピング表示である。 図３は、被験者の脳の複数箇所間で、既知の楽曲聴取時と未知の楽曲聴取時とでの有意な差が認められた機能的結合を示す図である。 図４は、本発明の実施の形態に係る、被験者の楽曲の聴取経験の有無を推定する装置（以下、楽曲聴取経験有無推定装置という）の構成を示すブロック図である。 図５は、本発明の実施の形態に係る楽曲聴取経験有無推定装置が実行する、被験者の楽曲の聴取経験の有無を推定する動作手順の概要を示すフロー図である。 図６は、本発明の実施の形態における、第１モデル脳波パターンの生成の手順の例を示すフロー図である。 図７は、本発明の実施の形態における、被験者脳波第１特徴の取得の手順の例を示すフロー図である。 図８は、本発明の実施の形態における、第１モデル脳波パターンを用いて楽曲の聴取経験を推測する手順の例を示すフロー図である。 図９は、本発明に係る楽曲聴取経験有無推定装置等における正規化の手順の例を示すフロー図である。 図１０は、本発明の実施の形態における、第２モデル脳波パターンの生成の手順の例を示すフロー図である。 図１１は、本発明の実施の形態における、被験者脳波第１特徴及び被験者脳波第２特徴を取得する手順の例を示すフロー図である。 図１２は、本発明の実施の形態における、第１モデル脳波パターン及び第２モデル脳波パターンを用いて楽曲の聴取経験を推測する手順の例を示すフロー図である。

［１．本発明の基礎となった知見］
［１−１．概要］
まず、本発明の発明者らが、本発明の基礎となった上記の新たな知見を得た手法について概要を説明する。

本発明の発明者らは、複数人の被験者に、複数の楽曲を聴いてもらいながら、国際１０−２０法に準じた脳波計を用いて図１に示される頭皮上の１２か所（Ｆｐ１、Ｆｐ２、Ｆ３、Ｆ４、Ｆ７、Ｆ８、Ｆｚ、Ｃ３、Ｃ４、Ｔ３、Ｔ４、及びＰｚ）の電極から当該被験者の脳波データを楽曲ごとに収集した。また、被験者自身の各楽曲の聴取経験についての報告を得た。

次いで、これらの電極から取得した脳波データにノイズ除去とバンドパスフィルタ（０．５〜６０Ｈｚ）を適用して、周波数帯域の異なる５種類の脳波（デルタ（δ）波、シータ（θ）波、アルファ（α）波、ベータ（β）波、及びガンマ（γ）波）を抽出した。

その次に、これらの５種類の脳波の平均パワースペクトルを電極ごとに求め、聴取経験に基づくパワースペクトルの分類モデルを作成した。加えて、各電極で取得した信号から得られた上記５種類の脳波の信号ごとに電極間での類似度を求めた。そして発明者らはこれらパワースペクトルの分類モデル及び電極間の類似度のいずれについても聴取経験の有無に依存する差異の存在を確認した。この知見は本発明の基礎であるとともに、まったく新たなものであることから、本発明についての説明をする前にこの知見を得るに至った実験の詳細について説明する。

［１−２．新たな知見に至った実験の詳細と結果］
今回実施した実験の詳細は次のとおりである。

［１−２−１．被験者］
被験者は２２歳から３０歳の男子学生１５名（平均年齢２５．５２歳、標準偏差２．１４）であり、いずれも大阪大学に籍を置くが、過去に受けた正規の音楽教育は最低限のものであった。

［１−２−２．実験の手順］
まず各被験者に、４０曲からなるＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）音源ライブラリから１６曲の楽曲を選択してもらい、選択した各楽曲について熟知度（未知または既知の度合い）を評価し１から６までの６段階のスコアで示してもらった。なお、被験者がこの評価をしやすいよう、各候補曲を１０秒未満に限って聴くことができる条件とした。この方法によって、最終的には各被験者に自身にとって既知（熟知度４〜６）に該当する楽曲が８曲、未知（熟知度１〜３）に該当する楽曲が８曲になるよう選択してもらった。なお、被験者による感情の報告における認知負荷の影響を避けるために、アノテーションは楽曲の聴取及び脳波記録とは切り離して実施した。

次に、選択された１６曲の楽曲それぞれから平均して２分長の区間を抽出し、各曲間に１６秒長の無音区間を挿入しながら既知の４曲、未知の４曲、既知の４曲、未知の４曲の順序に並べて合成した。この無音区間は、直前に聴取した楽曲の影響を減じるために設けたものである。本実験では、この合成にＪａｖａ（登録商標） Ｓｏｕｎｄ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）の ＭＩＤＩパッケージを用いた。

このようにして合成した一連の１６曲を各被験者に聴いてもらいながら脳波を記録し（第１セッション）、短い休憩を挟んで再度同じものを脳波記録をせずに聴いてもらいながら、第１セッション中に起こった感情の報告（アノテーション）をしてもらった（第２セッション）。この報告は、モニタ上に表示した感情の活性度に関する軸と感情の正負に関する軸とによる二次元の感情空間上で、第１セッションで起こった感情に対応する位置を次々にプロットしてもらう形で実施した。また、このときプロットされた点に基づいて、感情の活性度と感情の正負とをそれぞれ−１から＋１の値に数値化して記録した。

最後に、被験者に各楽曲の熟知度の確認をしてもらい、加えて第１セッションで起こった感情と第２セッションで報告した感情と一致に関する信頼度について１から３の離散スケール上での指示をしてもらった。

［１−２−３．データの取得及び記録］
脳の電気的活動は、上述の１２個の電極を備える電極帽を被験者に装着してもらって測定、記録した。本実験では、電極帽としてｗａｖｅｇｕａｒｄ ＥＥＧ ｃａｐ（ａｎｔ‐ｎｅｕｒｏ社製）を用いた。これらの電極は国際１０−２０法に準じて配置し、さらにグラウンド電極を被験者の額部に配置した。また、基準電極として電極Ｃｚをさらに用いた。サンプリング周波数は２５０Ｈｚとし、各電極のインピーダンスは実験を通して２０ｋΩ未満に抑えた。加えて、６０Ｈｚの電源雑音を除去するためにノッチフィルタを使用した。

その他、無関係のアーチファクト（ノイズ）の発生を抑えるために、脳波記録中の被験者には、閉眼の上、身体の動きを極力抑えてもらった。取得した脳波信号は増幅器によって増幅し、ソフトウェアを用いてモニタに表示させた。本実験では、増幅器としてポリメイトＡＰ１５３２（ティアック社製）を使用し、表示には同増幅器に付属のソフトウェアであるＡＰ Ｍｏｎｉｔｏｒを用いて表示させた。

［１−２−４．データ処理］
バンドパスフィルタによるフィルタ処理により０．５〜６０Ｈｚの脳波信号を取得し、この信号に、被験者の身体の無意識の動き及び眼球運動によるアーチファクトの除去のための処理を施した。本実験では、この処理にＭＡＴＬＡＢ環境で稼働する、脳波図処理のためのフレームワークであるＥＥＧＬＡＢを用いた（ＭＡＴＬＡＢは登録商標）。最後に、このアーチファクト除去後の脳波信号と被験者の感情報告とをタイムスタンプを介して関連付けした。

［１−２−５．熟知度の神経系相関］
楽曲の熟知度を示すような脳波上の特徴を明らかにするために、２種類の分析を行った。

なお、被験者の主観による熟知度のスコアリングに起因する指標の曖昧さの影響を最小限にするために、熟知度の最も高いスコア（熟知度：６）が付けられた楽曲及び最も低いスコア（熟知度：１）が付けられた楽曲のみを分析の対象とした。その他、実験中の被験者の状態（眠気、熟知度に関する指示内容の誤解の有無等）によっては、その被験者の脳波データを無視した。

［１−２−５−１．パワースペクトル密度の分析］
上記のとおり絞り込んだ分析対象のデータについて、高速フーリエ変換処理によって脳波信号のパワースペクトル密度を得て当該信号を周波数領域で解析した。

まず、１２個の電極を介して取得された対象の脳波信号を、周波数帯域に基づいてデルタ波（０〜４Ｈｚ）、シータ波（４〜８Ｈｚ）、アルファ波（８〜１３Ｈｚ）、ベータ波（１３〜３０Ｈｚ）、及びガンマ波（３０〜４０Ｈｚ）の５つの信号に分解した。次に、各周波数帯域の平均パワーを算出した。本実験ではこの算出に、ＭＡＴＬＡＢ環境で稼働するソフトウェアであるＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｏｏｌｂｏｘ（ＭａｔｈＷｏｒｋｓ社製）に実装されている関数であるａｖｇｐｏｗｅｒを用いた。また、分析に供するより多くのデータを得るために、ウィンドウサイズ（時間区間）を１０００サンプル（４秒長相当）として、オーバーラップなしのスライドウィンドウでセグメント化した。

［１−２−５−１−１．統計的解析の手法］
発明者らは繰り返しのある二元配置分散分析を実施して楽曲の熟知度（既知及び未知）の影響及び被験者間の個人差の影響を検証した。

具体的には、電極ごとに、各被験者の脳波のパワースペクトル密度値を周波数帯域別に集め、集めたパワースペクトル密度値を熟知度に応じて、つまり「既知の楽曲の聴取時」と「未知の楽曲の聴取時」の２つのグループに分けた。そして繰り返し、つまり多重検定は、各被験者から集めたパワースペクトル密度の標本から導いた。なお、繰り返し数は、全被験者及び熟知度の間で比較して、利用できるデータのサイズが最小のものに合わせることにし、各被験者から集めたデータからこの繰り返し数分のデータを無作為に抽出した。その上で、熟知度による主効果及び被験者間の個人差による主効果は有意であるとの仮説を検定するべく二元配置分散分析を実施し、事後分析としてテューキー検定を実施した。

［１−２−５−１−２．解析結果］
有意水準ｐを５％として分散分析を実施して、熟知度の影響を受けているパワースペクトル密度の有意差について調べたところ、パワースペクトル密度で最も有意な差を示したのは被験者間の個人差による差異であるという結果が得られた。その一方で発明者たちは、熟知度によるパワースペクトル密度の差もまた高い有意性を示すことをさらに見出した。表１は分析対象の被験者全体で、各周波数帯域において、既知の楽曲の聴取時と未知の楽曲の聴取時との間の差が高い有意性を示した電極とそのｐ値を挙げたものである。なお、表内の太字は既知の楽曲の聴取時の方が未知の楽曲の聴取時よりも大きいパワースペクトルが観察されたことを示す。

そこで発明者たちは被験者全体の平均パワースペクトルを「既知の楽曲の聴取時」と「未知の楽曲の聴取時」のそれぞれの場合で算出し、「既知の楽曲の聴取時の平均パワー」から「未知の楽曲の聴取時の平均パワー」を減じて得たこれらの平均の差分を局所解剖学的にプロットした。図２は、このプロットにより得られたマッピング表示である。図２では、各円は図の上側を前（顔側）とする人の頭部を示し、円内の点は図１に示される電極位置に対応する。そして上記の減算で得られた差分値の大小が墨色の濃度で示される。各円の右側にあるスケールは、円内の墨色の濃度とその差分値の対応を示す。円内の線は、スケールの各目盛に対応する濃度の位置であり、上記の減算で得られる差分値が等しい位置を結ぶ。なお、各スケールの数値の単位はμＶ^２である。

この結果から、概括的な表現ではあるが、楽曲の聴取時の脳波には例えば次のような被験者の聴取経験に依存する特徴が見出せる。

（１）既知の楽曲の聴取時には、左側頭部（特に左前側頭部）でのデルタ波、前頭部でシータの波、及び後頭部寄りの右中側頭部でアルファ波が強く、未知の楽曲聴取時と差が大きい。

（２）未知の楽曲の聴取時には、左右中側頭部から後側頭部にかけてシータ波、並びに左右中側頭部から後頭部にかけてベータ波及びガンマ波が強く、既知の楽曲の聴取時とその差が大きい。

（３）Ｔ４の位置（右中側頭部）では、既知の楽曲の聴取時にも未知の楽曲の聴取時にも脳波の現れ方に有意な特徴が見られる。具体的には、既知の楽曲の聴取時にアルファ波が強く、かつ、未知の楽曲の聴取時との差が大きい。一方、未知の楽曲の聴取時にはベータ波及びガンマ波が強く、これらの既知の楽曲の聴取時との差が大きい。

これらの解析結果に鑑みて、発明者らは上記の特徴を利用することで、被験者の聴取経験に関する報告（アノテーション）がなくとも楽曲の聴取時の脳波から当該被験者のその楽曲の聴取経験の有無を推定できるという知見に至った。

［１−２−５−２．機能的結合の分析］
脳の活動には機能回路が関与することが多いため、発明者らは上記のような単極での電位レベルに関する考察に加え、脳の複数の部位間での相関的な活動についても楽曲の熟知度との関連で考察した。

発明者らは、脳波計の各電極間で脳波信号のコリレーション、コヒーレンス、及び位相同期指標（以下、ＰＳＩ（ｐｈａｓｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｉｎｄｅｘ）という）の３種類の指標を用いて脳の機能的結合を調べた。なお、これらの３種類の指標は脳内相関の研究、中でも感情に関する研究においてよく用いられる。各指標の概要は次のとおりである。

コリレーションは異なる部位から得られた２つの信号間の関係に対応する。信号ｘとｙが与えられた場合、各周波数（ｆ）でのコリレーションは、ｘ及びｙに関する相互共分散

と自己共分散
及び
との間の次の（式１）に示される関数として表される。

・・・（式１）

コヒーレンスは周波数関数である２信号間の共分散であり、ある特定の周波数帯で脳の２つの部位が密接に結びついて協働していることを示す。信号ｘとｙが与えられた場合、コヒーレンスは、ｘ及びｙに関するパワースペクトルの密度

及び
並びに相互パワースペクトル密度
の間の次の（式２）に示される関数として表される。

・・・（式２）

ＰＳＩは結合度の非線形的測定であり、脳内の領域間でＰＳＩをとることで、２信号間の結合度を位相差の点から示す。またＰＳＩは特定の脳リズムを示す周波数帯に制限することができる。データ長がＬである２つの信号ｘとｙが与えられた場合、ＰＳＩは次の（式３）に示される数式で定義される。

・・・（式３）

ここで、
は信号ｘのヒルベルト位相、
は信号ｙの位相、
はｘ（ｔ）のヒルベルト変換を表す。

各周波数帯域の脳波を分析するために、発明者らは２次のバンドパス・バターワースフィルタを適用してデルタ波、シータ波、アルファ波、ベータ波、及びガンマ波の脳波を抽出した。これらの各脳波を抽出した後、脳波ごとに１２個の電極間の全組み合わせそれぞれについて、結合度を示す上記の指標の値を算出した。この算出にはＭＡＴＬＡＢ環境で稼働する、Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｔｏｏｌｂｏｘ（ＭａｔｈＷｏｒｋｓ社製）を用いた。

［１−２−５−２−１．統計的解析の手法］
脳波の機能的結合の、楽曲の熟知度による差異の有意性を特定するために、発明者らは各周波数帯域の脳波に一元配置分散分析を行った。ここでは被験者にある主因子を熟知度（既知及び未知）とした。

まずは脳波信号から、被験者と楽曲の組み合わせごとに上記の各指標値を算出した。次いで、これらの指数を熟知度に応じて、つまり「既知の楽曲の聴取時」と「未知の楽曲の聴取時」の２つのグループに分けた。その次にはグループのそれぞれで、これらの被験者と楽曲の組み合わせごとの指標値を統合して電極間の組み合わせごとの上記各指標値を得た。具体的には、０から１の範囲の値をとるコヒーレンス及びＰＳＩについては、それぞれ算術平均をとって全体のコヒーレンス及びＰＳＩを得た。また、−１から１の範囲の値をとるコリレーションについては、平方平均をとって全体のコリレーションを得た。そして事後分析としてテューキー検定を実施した。

［１−２−５−２−２．解析結果］
図３は、熟知度の違いで有意な差（有意水準ｐ＜０．０５）が見られた電極位置間の機能的結合を、脳波の周波数帯ごとに示したものである。図中の大きい方の円は、それぞれ図の上側を前（顔側）とする人の頭部を示し、その大きい方の円内に複数ある小さい円は図１に示される電極位置に対応する。黒丸をつなぐ線はコリレーション、黒三角をつなぐ線はコヒーレンス、黒四角をつなぐ線はＰＳＩがそれぞれ示す機能的結合である。また、これらの線のうち実線は既知の楽曲の聴取時よりも未知の楽曲の聴取時により高い結合度が観察されたことを、破線は未知の楽曲の聴取時よりも既知の楽曲の聴取時に高い結合度が観察されたことを示す。

この結果から、概括的な表現ではあるが、楽曲の聴取時の脳の各部位間の機能的結合として、その聴取経験によって例えば次のような特徴が見出せる。

（１）デルタ波、アルファ波、ベータ波、及びガンマ波で、未知の楽曲の聴取時に既知の楽曲の聴取時より強い機能的結合が生じる。特に、デルタ波及びガンマ波では、コヒーレンスとＰＳＩで共通の電極ペアにおいて、より強い機能的結合が未知の楽曲の聴取の方で見られた（デルタ波でＦｐ１とＴ４、ガンマ波でＣ３とＴ４）。

（２）既知の楽曲の聴取時には、シータ波で部位間の未知の楽曲の聴取時より高い機能的結合が生じる。

これらの点に鑑みて、発明者らは、例えば単極の電位に見られた特徴に加えてこれらの特徴をさらに利用することで、被験者の聴取経験に関する報告（アノテーション）がなくとも、楽曲の聴取時の脳波から当該被験者のその楽曲の聴取経験の有無をより高い精度で推定できるという知見に至った。

［２．実施の形態］
以下、上記の新たな知見に基づいて発明者らが得た本発明を、実施の形態を例として用いて説明する。

［２−１．構成］
図４は本実施の形態に係る、被験者の楽曲の聴取経験の有無を推定する装置（以下、楽曲聴取経験有無推定装置という）の構成を示すブロック図である。

本実施の形態に係る楽曲聴取経験有無推定装置１０は、計測部１００と、制御部２００と、記憶部３００と、出力部４００とを備える。

計測部１００は被験者の頭部で脳波を計測して取得し、これを後述の所望の用途に利用できるよう処理して出力する。本実施の形態に置いては、計測部１００は脳波計１１０と、増幅部１２０と、アナログ‐デジタル変換部（以下及び図面中では以下、Ａ／Ｄ（Ａｎａｌｏｇ‐ｔｏ‐Ｄｉｇｉｔａｌ）変換部）１３０と、フィルタ１４０と、フーリエ変換部１５０とを備える。

脳波計１１０は被験者の頭皮上で脳の活動電位を検出するための１つ以上の電極を備える。この電極の位置は例えば国際１０−２０法に準じる。この電極の個数及び位置は、楽曲聴取経験有無推定装置１０が出力するデータの用途、要求される推定の精度、コスト等に応じて変更されてもよい。例えば上記の実験では１２個の電極を用いたが、この実験の結果に基づいて、既知の楽曲の聴取時と未知の楽曲の聴取時とでの脳波パターンに有意な差が認められなかった電極の設置から優先して省いてもよい。あるいは、既知の楽曲の聴取時と未知の楽曲の聴取時とで単極電位から得た脳波パターンにおいて、複数種類の脳波で有意な差が見られた右中側頭部（Ｔ４）は電極の設置位置に常に含めてもよい。

なお、脳波計１１０の被験者に装着する部分については、形状の自由度の高いケーブルの先端に電極を付けたものでもよいし、電極の装着箇所の安定化を図る場合は、上記の実験で用いられたような頭部全体を覆う電極帽を用いて実現してもよい。電極数がより少ない場合は、電極帽に代えてヘアバンド、ヘッドホン、眼鏡、耳クリップ等の頭部周辺に装着可能な器具に電極を設けたもので実現されてもよい。

増幅部１２０は脳波計１１０が出力する信号を増幅する。本実施の形態では例えばオペアンプを備える増幅回路などで実現される。

Ａ／Ｄ変換部１３０は、信号が示すアナログ量のデジタル値への変換を行う。本実施の形態では例えばアナログ−デジタル変換回路等の電子回路で実現される。

フィルタ１４０は増幅部１２０が出力する信号をフィルタ処理し、周波数帯域ごとの信号を抽出し、さらに信号に含まれるノイズを低減する。本実施の形態では、例えばバンドパスフィルタやノイズフィルタである。すなわち、このフィルタ処理によって、フィルタ１４０からは異なる周波数帯域の脳波であるデルタ波、シータ波、アルファ波、ベータ波、及びガンマ波の５種類のうち、１種類以上の脳波が出力される。抽出して出力される脳波の種類は、楽曲聴取経験有無推定装置１０が出力するデータの用途、要求される推定の精度、コスト等に応じて選択されてもよい。例えば脳のある部位において、既知の音楽の聴取時には強いアルファ波が、未知の音楽の聴取時には強いシータ波が検出される場合、フィルタ１４０は取得された信号に含まれるアルファ波成分及びシータ波成分を２種類の脳波として抽出し、出力してもよい。

フーリエ変換部１５０はフィルタ１４０でフィルタ処理されて出力された各種脳波の信号を高速フーリエ変換処理して周波数領域の解析データとして出力する。本実施の形態では例えばフーリエ変換回路又はプログラムで実現される。

このようにして計測部１００から出力されるデータは、記憶部３００に保存されたり、さらなる処理のために制御部２００に渡されたり、表示又は他の装置若しくはプログラムによる処理等のために出力部４００から出力されたりする。

このような計測部１００の全体又は一部は、装置若しくはプログラム又はこれらの組み合わせによって実現されてもよい。上記の実験の手順の説明に記載した装置及びソフトウェアはその例である。

制御部２００は、計測部１００から出力されたデータから被験者の脳波の特徴を取得し、この特徴に基づいて被験者の楽曲聴取経験の有無を推定するための処理を実行する。制御部２００が備える脳波特徴取得部２１０及び聴取経験推定部２２０のブロックは、この一連の処理の各ステップに対応する機能を示すものである。

また、制御部２００は、この推定に用いるモデル脳波パターンの生成のための処理をしてもよい。制御部２００が備えるモデル脳波パターン生成部２３０のブロックは、この処理に対応する機能を示すものである。なお、所与のモデル脳波パターンが利用可能な場合、制御部２００はモデル脳波パターン生成部２３０を備えなくてもよい。

制御部２００による上記の処理の結果は、データとして記憶部３００に保存されたり、出力部４００を介して出力されたりする。

本実施の形態における制御部２００の実現例としては、記憶部３００に保存されたプログラム（図示せず）を読み出して実行することによってこれらの処理を実行するプロセッサが挙げられる。また、制御部２００はこのプログラムに従って、計測部１００又は出力部４００の制御を実行してもよいし、記憶部３００にデータを書き込んでもよい。

記憶部３００は、計測部１００又は制御部２００が上記の処理の実行時に参照するデータ、計測部１００又は制御部２００が出力するデータ、及び計測部１００又は制御部２００の動作が記述されたプログラムの保存場所として用いられる。同図に示されるモデル脳波パターン３５０はこのようなデータの一例であり、制御部２００が上記の処理の実行時に参照するデータ、又は制御部２００から出力されたデータである。なお、記憶部３００が保存するデータは、楽曲聴取経験有無推定装置１０の内部に由来するものに限られない。例えば処理の実行時に参照するデータは外部から取り込まれて記憶部３００に保存されてもよい。あるいは、他の脳波測定装置で取得された脳波データが楽曲聴取経験有無推定装置１０で参照又は処理されるために取り込まれてもよい。このような本実施の形態における記憶部３００は、例えばメモリ等の一時的な記憶媒体若しくはハードディスク装置等非一時的な記憶媒体、又はこれらの組み合わせとして実現される。

出力部４００は、計測部１００又は制御部２００から出力されたデータを別のソフトウェアや装置に出力する。例えば別のソフトウェアや装置とは、例えば被験者の感情推定のためのソフトウェアや装置であったり、楽曲選択や推薦の機能を備えるソフトウェアや装置である。または、ユーザが知覚できる形でデータを出力する、ディスプレイ装置、スピーカ、プリンタ等であってもよい。このような本実施の形態における出力部４００の例としては、各種のデータ通信規格に準拠した通信用インターフェース、及びディスプレイ装置等のユーザインターフェースが挙げられる。

なお、上記は一例としての楽曲聴取経験有無推定装置１０の構成であり、本実施の形態に係る楽曲聴取経験有無推定装置の構成はこれに限られない。例えば計測部１００が備えるフィルタ１４０及びフーリエ変換部１５０は、制御部２００が備えてもよい。この構成の実現例としては、制御部２００はフィルタ１４０又はフーリエ変換部１５０に相当するプログラムを実行可能であり、計測部１００からフィルタ処理又は高速フーリエ変換処理が実行されていないデータを受け取り、必要に応じてこれらのプログラムを実行してフィルタ処理又は高速フーリエ変換処理を実行するものが挙げられる。

［２−２．動作］
次に、上記のように構成された本実施の形態に係る楽曲聴取経験有無推定装置１０の動作について説明する。

［２−２−１．聴取経験有無推定の概要］
図５は、本実施の形態に係る楽曲聴取経験有無推定装置１０による、被験者ＳＢＪの楽曲の聴取経験の有無を推定する動作手順の概要を示すフロー図である。

楽曲聴取経験有無推定装置１０においては、まず、聴取経験の有無が不明である楽曲を聴取している被験者ＳＢＪの脳波を計測して被験者脳波データが取得される（Ｓ１０、被験者脳波データ取得ステップ）。この手順は計測部１００によって行われる。

この脳波データは例えば、周波数帯域による脳波の種類（デルタ波、シータ波、アルファ波、ベータ波、及びガンマ波のいずれであるか）、強度、脳波を計測した電極の位置（図１参照）等に関する情報を含む。取得された脳波データは制御部２００に提供される。なお、上述のとおり、この５種類の脳波のうち、一部の脳波の脳波データのみが取得されてもよい。また、脳波の計測に用いる電極の位置及び個数についても適宜変更してもよい。

次に、計測部１００から提供された当該被験者脳波データから、脳波が計測された当該被験者ＳＢＪの頭部における計測位置、及び計測された脳波の強度に関する特徴である被験者脳波特徴が制御部２００によって取得される（Ｓ２０、被験者脳波特徴取得ステップ）。

この被験者脳波特徴の例を挙げると、ひとつは、どの位置の電極でどの周波数帯域の脳波が強く検出されたか、である。この特徴を以下では被験者脳波第１特徴ともいう。

また別の被験者脳波特徴の例を挙げると、複数の電極で並行して計測した各周波数帯域の脳波において、どの位置の電極で検出された脳波が脳の複数の部位間での高い機能的結合（相関）を示すか、である。この特徴を以下では被験者脳波第２特徴ともいう。

なお、被験者脳波特徴の取得については、次のステップＳ３０と合わせて後述する。

次に制御部２００は、取得した被験者脳波特徴を、記憶部３００に記憶されているモデル脳波パターンと照合し、得られた照合結果を用いて、当該被験者ＳＢＪが脳波の計測時に聴取していた曲についての過去の聴取の経験の有無を推定する（Ｓ３０、推定ステップ）。

このモデル脳波パターンの例を挙げると、ひとつは、人の頭部での脳波の計測位置及び強度のパターンであって、聴取経験があることが判明している楽曲（以下、既知楽曲ともいう）を聴取している人の脳波を計測して取得したデータ（以下、第１脳波データともいう）、及び聴取経験がないと判明している楽曲（以下、未知楽曲ともいう）を聴取している人の脳波を計測して取得したデータ（以下、第２脳波データともいう）を用いて作成することができる。このパターンは、人が既知楽曲を聴取していること、及び未知楽曲を聴取していることの少なくとも一方に依存して発生したものである。つまりこのモデル脳波パターンは、既知楽曲を聴取している状況、又は未知楽曲を聴取している状況で、頭部のどの位置にどの周波数帯域の脳波が強く発生するか、若しくは全く又はほとんど発生しないかを示す、統計的に得られたモデル脳波パターンである。このようなモデル脳波パターンの例を視覚的に表したものが、図２に示されるマッピング表示である。以下、このようなモデル脳波パターンを第１モデル脳波パターンともいう。

また、別のモデル脳波パターンの例を挙げると、人の頭部での複数の箇所間での機能的結合（相関）の度合いのパターンであって、既知楽曲を聴取している人の頭部の複数の箇所で並行して計測した脳波のデータ（以下、第３脳波データともいう）、及び未知楽曲を聴取している人の上記と同じ頭部の複数の箇所で並行して計測した脳波のデータ（以下、第４脳波データともいう）を用いて作成することができる。このパターンは、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生したものである。つまりこのモデル脳波パターンは、既知楽曲を聴取している状況、又は未知楽曲を聴取している状況で頭部のどの部位とどの部位の活動に高い相関があるかを示す、統計的に得られたモデル脳波パターンである。このようなモデル脳波パターンの例を視覚的に表したものが図３である。以下、このようなモデル脳波パターンを第２モデル脳波パターンともいう。

制御部２００は、被験者ＳＢＪから得た脳波の特徴をこれらのモデル脳波パターンと照合して、これらのモデル脳波パターンが表わす、各状況における脳波の特徴との一致又は近似の度合いを計る。なお、第１モデル脳波パターン及び第２モデル脳波パターンのいずれか一方のみと照合してもよいし、両方と照合してもよい。そしてこの照合結果に基づいて聴取経験の有無を推定する。この推定の内容については後述する。

なお、上記の動作手順の概要は、各モデル脳波パターンが記憶部３００に記憶されている想定で説明しているが、上記のステップＳ３０より前の手順として楽曲聴取経験有無推定装置１０が生成してもよい。以下、モデル脳波パターン別に、生成からそれを用いた楽曲の聴取経験の推定までを説明する。

［２−２−２．第１モデル脳波パターンの生成］
図６は、本実施の形態の楽曲聴取経験有無推定装置１０において、第１モデル脳波パターンが生成される手順の例を示すフロー図である。基本的には上記の実験で単極電位から既知の楽曲の聴取時と未知の楽曲の聴取時それぞれの脳波の特徴を見出すために行われた手順と同じだが、本実施の形態に即して本フロー図を用いて説明する。

まず、既知楽曲１を聴いている被験者ｓｂｊ１の脳波が計測部１００によって計測されて第１脳波データが取得される（Ｓ１０１）。計測された脳波を示す信号には、増幅やＡ／Ｄ変換等の処理が増幅部１２０及びＡ／Ｄ変換部１３０によって適宜実行される。

なお、本明細書で被験者を指して使われる記号のうち、大文字のＳＢＪは聴取経験推定の対象である被験者を示す。小文字のｓｂｊ又は小文字のｓｂｊと数字若しくは変数との組み合わせは、聴取経験に関するアノテーションをする被験者、つまりモデル脳波パターンの生成に用いるデータ収集のための被験者を示す。

次に、取得された第１脳波データに解析のための下処理が計測部１００によって実行される。具体的には、フィルタ１４０によるフィルタ処理によって第１脳波データから周波数帯域の異なる各種脳波が抽出され、これらの各種脳波に対してフーリエ変換部１５０による高速フーリエ変換処理が実行される（Ｓ１０２）。この結果は、計測部１００から制御部２００に出力される。本実施の形態では、このステップＳ１０２で抽出されたのは複数種類の脳波であり、これらの各脳波に高速フーリエ変換処理が実行されたものと想定する。

上記のステップＳ１０１及びＳ１０２は、既知楽曲が複数あれば、各楽曲について実行される。つまり既知楽曲数をｍ_１（ｍ_１は自然数）とすると、既知楽曲１、既知楽曲２・・・既知楽曲ｍ_１−１、既知楽曲ｍ_１と楽曲を替えてステップＳ１０１及びＳ１０２が実行される。

次に、制御部２００において、モデル脳波パターン生成部２３０によって第１脳波データが示す脳波の種類ごとの平均パワーが算出される（Ｓ１０３）。この平均パワーの算出は、例えば上記の実験で用いられたソフトウェアのＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｏｏｌｂｏｘが実行され、関数ａｖｇｐｏｗｅｒを用いて行われる。なお、ここまでにデータを複数の時間区間にセグメント化し、時間区間ごとにパワースペクトルを算出していてもよい。なお、被験者が複数人いれば、各被験者についてステップＳ１０３まで実行される。つまり被験者数がｎ人（ｎは自然数）とすると、被験者ｓｂｊ１、ｓｂｊ２・・・ｓｂｊ（ｎ−１）、ｓｂｊ（ｎ）と被験者を替えてステップＳ１０３まで実行される。

全ての被験者について既知楽曲の聴取時の脳波の種類別の平均パワーが算出されたら、脳波の種類別に被験者全体の平均パワーがモデル脳波パターン生成部２３０によって算出される（Ｓ１０４）。

またさらに、未知楽曲１を聴いている被験者ｓｂｊ１の脳波が計測部１００によって計測されて第２脳波データが取得される（Ｓ１１１）。なお、ステップＳ１１１とステップＳ１０１とでは、各脳波は被験者ｓｂｊ１の頭部の同じ場所で測定される。

この第２脳波データについても、ステップＳ１０２で第１脳波データに対して実行された処理と同じ処理が実行される。つまり、ステップＳ１０２までに抽出されたものと同じ種類の脳波がフィルタ１４０によって抽出され、抽出された脳波はフーリエ変換部１５０によって高速フーリエ変換処理される（Ｓ１１２）そしてこの結果は計測部１００から制御部２００に出力される。未知楽曲が複数ある場合は、各楽曲についてステップＳ１１１及びＳ１１２が実行される。次いで、第２脳波データについてもステップＳ１０３と同じく、第２脳波データが示す脳波の種類別の平均パワーがモデル脳波パターン生成部２３０によって算出される（Ｓ１１３）。被験者が複数いれば、各被験者についてステップＳ１１３まで実行される。

全ての被験者について未知楽曲の聴取時の脳波の種類別の平均パワーが算出されると、脳波の種類別に被験者全体の平均パワーがモデル脳波パターン生成部２３０によって算出される（Ｓ１１４）。

最後に、ステップＳ１０４で算出された既知楽曲の聴取時の平均パワーと、ステップＳ１１４で算出された未知楽曲の聴取時の平均パワーとの差分がモデル脳波パターン生成部２３０によって算出される（Ｓ１２１）。差分の算出は同一種類の脳波同士で行われる。

なお、脳波計１１０が備える電極の個数についてはここまで言及していないが、複数の電極が用いられてもよい。この場合、上記ステップＳ１０１での計測は複数個の電極で並行して行われ、ステップＳ１１１の計測も複数個の電極で並行して行われる。また、電極の個数及び位置はステップＳ１０１とステップＳ１１１とで共通である。また、ステップＳ１２１での差分の算出は、同一位置の電極ごとに行われる。図２は、１２個の電極を図１に実線で示される位置に配置し、上記の手順を実行して得られた第１モデル脳波パターンを、計測部位から把握される脳波の発生場所に従って視覚的に表した例といえる。

なお、ステップＳ１０１〜Ｓ１０４とステップＳ１１１〜Ｓ１１４とはどちらが先に実行されてもよい。つまり未知楽曲に関する処理のステップが既知楽曲に関する処理のステップよりも先に実行されてもよい。また、既知楽曲と未知楽曲とを交互に、又は不規則に混ぜた順序で各被験者に聴かせてもよい。すなわち、計測によって取得された脳波が第１脳波データであるか、第２脳波データであるかが把握される態様で実行されれば、この手順において被験者が聴取する楽曲の順序は限定されない。

また、上記の第１モデル脳波パターンの生成手順の説明の被験者ｓｂｊ１〜ｓｂｊ（ｎ）には、楽曲の聴取経験の有無について推定される被験者であるＳＢＪが含まれてもよいし、含まれなくてもよい。さらには、第１モデル脳波パターンの生成のための被験者がｓｂｊ１のみであり、ｓｂｊ１がＳＢＪであってもよい。例えば１人の人物について複数の既知楽曲の聴取時の脳波データと複数の未知楽曲の聴取時の脳波データとを収集し、これを上述のように統計的に処理することで、この人物の楽曲聴取経験の推定を特に高い精度で実施するための第１モデル脳波パターンを得ることができる。

また、上記の第１モデル脳波パターンに加えて、計測したデータから表１に示されるような脳波の種別と電極との組み合わせから有意性が認められるものを検出して、この検出結果をステップＳ３０の推定に用いるデータを第１モデル脳波パターンから選定する基準として参照してもよい。この有意性の検出には、テューキー検定などの統計検定の手法が用いられる。

なお上記では、楽曲聴取経験有無推定装置１０において、モデル脳波パターン生成部２３０によって第１モデル脳波パターンを生成がされるという想定で一連の手順を説明したが、第１モデル脳波パターンが楽曲聴取経験有無推定装置１０の外部で生成される場合も基本的に上記の手順によって生成される。

［２−２−３．第１モデル脳波パターンを用いた聴取経験の有無の推定の例］
次に、被験者の脳波の特徴の抽出から第１モデル脳波パターンを用いての聴取経験の有無の推定までを、具体例を用いて説明する。この説明では、楽曲聴取経験有無推定装置１０が、上記の実験で得られたデータを第１モデル脳波パターンとして用いて推定を行うと想定する。

［２−２−３−１．被験者の脳波の特徴の取得］
図７は、図５に示されるフロー図のステップＳ２０において、脳波特徴取得部２１０による被験者脳波第１特徴の取得の手順の例を示すフロー図である。

被験者脳波第１特徴の取得では、まず、「２−２−１．聴取経験有無推定の概要」で説明したようにステップＳ１０で取得された被験者ＳＢＪの被験者脳波データから、脳波の種類別の平均パワーが算出される（Ｓ２１）。この算出は、例えば上記の実験及び第１モデル脳波パターンの生成で用いたソフトウェアのＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｏｏｌｂｏｘを実行し、関数ａｖｇｐｏｗｅｒを用いて実行される。これにより、計測に用いた各電極での平均パワーが脳波の種類ごとに得られる。

次に、各種類の脳波で最も高い平均パワーが得られた電極位置が特定される（Ｓ２２）。例えばデルタ波ではＦｚ、シータ波ではＴ３、アルファ波ではＴ４、ベータ波ではＦｚ、ガンマ波ではＴ４と特定する。このように特定された電極位置は、被験者ＳＢＪの被験者脳波第１特徴の一例である。

［２−２−３−２．聴取経験の推定］
この例では、上記のステップＳ２０で取得された被験者ＳＢＪの被験者脳波第１特徴を第１モデル脳波パターンと照合するために、第１モデル脳波パターンから把握される特徴を点数化する。この第１モデル脳波パターンから把握される特徴とは、脳波の種類別に、強く表れた場所（電極位置）と、既知楽曲と未知楽曲のいずれの聴取時に強く表れたかに応じて点数化したものである。例えば上記の実験の［３−１−２．解析結果］に挙げたものである。表２は、第１モデル脳波パターンから把握される特徴を点数化したものを並べたスコアリングシートの例である。

このスコアリングシートが示すところは次のとおりである。

（１）電極位置については、Ｆｚ、Ｔ３、Ｔ４のみに着目している。上記の解析結果で、既知楽曲の聴取時と未知楽曲の聴取時との間で、複数種類（周波数帯域）の脳波において有意な差が見られたものから選択した例である。

（２）脳波については５つの種類の脳波に着目している。

（３）各種類の脳波について、既知楽曲の聴取時に未知楽曲の聴取時よりも強い脳波が検出された電極位置には正の値、未知楽曲の聴取時に既知楽曲の聴取時よりも強い脳波が検出された電極位置には負の値を配点している。聴取している楽曲が既知楽曲であるか未知楽曲であるかという状況に依存する特徴が見られなかった場合は、配点を０としている。

（４）ｐ値の差や、差分値の大小、各種の脳波が強く出る原因として考えられる点を考慮して、正の値の間及び負の値の間で差を付けている。つまり、この値を調整することで、脳波の種類又は電極位置に対する重み付けを調整することができる。ただし、上記の表内の電極位置、数値、その他内容は例であり、本実施の形態を限定しない。

図８は、図５に示されるフロー図のステップＳ３０において、第１モデル脳波パターンとの照合によって聴取経験推定部２２０が聴取経験を推測する手順の例を示すフロー図である。

まず、上記のステップＳ２２で特定した各電極位置の点数を取得し合計値Ｔが算出される（Ｓ３１）。上記ではデルタ波ではＦｚ、シータ波ではＴ３、アルファ波ではＴ４、ベータ波ではＦｚ、ガンマ波でＴ４を特定した。この場合、スコアリングシートを参照するとそれぞれ点数は０、−１、６、−２、−２である。したがって、合計値Ｔは、０＋（−１）＋６＋（−２）＋（−２）＝１である。

次に聴取経験推定部２２０は、ステップＳ３１で求めた合計値Ｔが入る数値範囲を判定する（Ｓ３２）。聴取経験推定部２２０はこの数値範囲に基づいて被験者ＳＢＪの楽曲聴取経験を推定する。この例では、数値範囲としてＴが−１以下の場合（Ｓ３２、Ｔ≦−１）は、聴取経験がない楽曲（Ｓ３３）、Ｔが１以上の場合、（Ｓ３２、１≦Ｔ）は、聴取経験がある楽曲（Ｓ３４）と判定している。なお、Ｔが０の場合（Ｓ３２、Ｔ＝０）、判定不能（Ｓ３５）という結果を返す。この例では合計値Ｔが１なので、この楽曲については被験者ＳＢＪは聴取経験があるという判定結果をもって推定の手順は終了する。なお、上記の数値範囲は説明のための例であり、本実施の形態を限定しない。

［２−２−３−３．補足事項］
上記「２−２−３−２．聴取経験の推定」で示した例では、楽曲の聴取経験の推定に用いた被験者ＳＢＪの脳波は、Ｆｚ、Ｔ３、及びＴ４の３か所の電極で計測された脳波のみである。この場合、被験者ＳＢＪの脳波の計測に用いる計測部１００が備える電極はこの３か所の電極のみでよい。電極の数が少なければ、計測部１００の構成を簡単にすることができ、処理が必要なデータの量も減らすことができる。また、製作費、維持費等の楽曲聴取経験有無推定装置１０に関連するコストを抑えることができる。

また、被験者ＳＢＪの脳波の計測に使用する電極を絞り込む場合は、上記の手順で事前に生成した第１モデル脳波パターンを検証し、楽曲の聴取状況、つまり、既知楽曲を聴取している状況であるか又は未知楽曲を聴取している状況であるかの少なくとも一方に依存して特徴的な脳波の発生があった位置であるか否か、及び聴取状況の違いで有意性のある差が認められた脳波で見られた位置であるか否かを考慮に入れて決定すればよい。例えば図２及び表１の解析結果を参照して楽曲の聴取状況による脳波の違い及び有意性を考慮すると、Ｔ４の電極位置では、既知楽曲を聴取している状況でアルファ波、未知楽曲を聴取している状況ではベータ波及びガンマ波が強く発生する脳波があり、また、いずれの脳波でも異なる聴取状況下との差異が有意であることがわかる。したがってＴ４に位置する電極では、既知であることを示唆する脳波データも未知であることを示唆する脳波データも効率よく集めることができるので、少なくともＴ４は使用する電極に含めるのが好適である。

以上、本実施の形態は、各周波数帯域の脳波の強さと検出位置を被験者脳波第１特徴として、一方で第１モデル脳波パターンに基づくスコアリングシートを参照してのスコアリングを介してこれらを照合し、聴取経験を推測する場合を例に説明したが、本実施の形態は上記の例に限られない。

例えば、上記の例では、ステップＳ２２で各脳波で最も高い平均パワーが得られた電極位置を１つのみが特定されているが、得られた平均パワーが高い方から２つ以上の電極位置を特定してもよい。

また、上記の例ではステップＳ３２での判定結果は判定不能も含めて３つ（Ｓ３３〜Ｓ３５）に分けられたのみであるが、判定が可能であった場合にはその結果の確実度が聴取経験推定部２２０によってさらに出力されてもよい。この確実度は例えば合計値Ｔの絶対値が大きいほどより高い確実度を示す等、合計値Ｔの絶対値に応じた値でもよい。または、スコアリングでの正の値のスコアの件数と負の値のスコアの件数に基づいて算出してもよい。このように算出する場合は、例えば第１脳波モデルパターンで特に高い有意性が示される脳波の種類と電極位置との組み合わせには、判定結果のより高い確実性を示す重要な組み合わせとして大きな重み係数を与える等、脳波や電極位置ごとに異なる重み係数を与えてもよい。

以上、第１モデル脳波パターンを用いての聴取経験の有無の推定手順について説明したが、本実施の形態における当該推定手順はこれに限られない。被験者ＳＢＪから取得した脳波データの特徴が、既知楽曲の聴取時の脳波パターンと未知楽曲の聴取時の脳波パターンのいずれに近いかについて判定可能であればどのような処理を含む手順でも構わない。

例えば、第１モデル脳波パターンとして、ステップＳ１２１で算出した既知楽曲聴取時と未知楽曲聴取時の状況間での平均パワーの差分の代わりに、これから把握された、各状況での脳部位（電極位置）ごとの各種脳波の強弱傾向を用いてもよい。この傾向とは、例えば上記の実験の説明の「１−２−５−１−２．解析結果」で（１）〜（３）に挙げた内容である。

この場合、ステップＳ２０では、被験者ＳＢＪから取得した脳波が持つ傾向を特徴として取得する。例えば電極Ｔ４から取得した被験者ＳＢＪの各種類の脳波の強弱について判定する。そしてステップＳ３０で、これらの特徴が第１モデル脳波パターンが示す傾向に合致するかを、照合して判定する。例えばステップＳ２０でアルファ波が強いと判定していれば、上記（１）〜（３）と照合して、（３）に基づいて既知の楽曲の聴取時の傾向に合致すると判定する。

同様の判定を各電極、各種の脳波について行い、これらの判定結果を統合して最終的な判定をする。例えば傾向への合致に上記のようなスコアリングをして、その合計で判定をする。この場合も各電極若しくは各種の脳波、又はこれらの組み合わせの間で異なる重み付けをしてもよい。

なお、この場合は被験者ＳＢＪから計測して得られた脳波の強弱を判定するために、被験者ＳＢＪの被験者脳波データの正規化する必要がある。被験者データの正規化の手順を図を用いて説明する。

図９は本発明に係る楽曲聴取経験有無推定装置等における正規化の手順の例を示すフロー図である。この手順は、被験者脳波データから被験者脳波特徴を取得するステップ（図５のステップＳ２０）より前に実行する。

この正規化の手順のうち、脳波の種類別の平均パワーの算出（Ｓ１０３、Ｓ１１３）のステップまでは、第１モデル脳波パターンの取得の手順と共通しているため、詳細な説明は省略する。ここまでの手順により、既知楽曲と判明している楽曲を聴取している被験者ＳＢＪの脳波データ（以下、第１正規化用脳波データという）と、未知楽曲と判明している楽曲を聴取している被験者ＳＢＪの脳波データ（以下、第２正規化用脳波データという）とが得られる。

次に、これらの正規化用脳波データを用いて、ステップＳ１０で取得した被験者脳波データを正規化する（Ｓ１５２、被験者脳波データ正規化ステップ）。例えば被験者ＳＢＪの電極Ｔ４で計測された脳波のうち、アルファ波の平均パワーが第１正規化用脳波データと第２正規化用脳波データのどちらが示す平均パワーに近いかに基づいて強弱を判定する。

なお、図１２のフロー図に示される手順では既知楽曲又は未知楽曲が複数の場合も想定されているが、いずれも１曲ずつでもよい。

このように正規化を含む手順の場合、上記の具体例のステップＳ２２で実行したような電極位置間の平均パワーの比較が不要であるため、１個の電極のみで、つまり被験者ＳＢＪの頭部の１箇所から得た被験者脳波データからでも推定を行うことができる。また、複数の電極を用いる場合であっても、正規化をさらに実行することでより精度の高い判定をすることができる。

また、第１モデル脳波パターンのさらに別の例として、ステップＳ１０４及びステップＳ１１４で得た各状況での脳波の種類別の平均パワーを用いてもよい。例えば図６のステップＳ１０４及びステップＳ１１４とのそれぞれで平均パワーを頭部モデル上にマッピングした画像を作成し、一方で被験者ＳＢＪの脳波のマッピング画像を作成してこれらの画像間の類似度から判定してもよい。そしてこの画像間の類似度の判定は、画像全体で実行してもよいし、第１モデル脳波パターンから把握される、聴取状況に依存して特徴的な脳波を示す１つ以上の部位に限定して各箇所で実行し、各箇所での結果を統合して最終的な判定をしてもよい。

［２−２−４．第２モデル脳波パターンの生成］
ここまでは単極ごとの脳波パターンから得た第１モデル脳波パターンを用いて楽曲の聴取経験の推定手順について説明した。以下では、複数の電極で計測した脳波に基づく機能的結合（相関）を示す第２モデル脳波パターンを用いて楽曲の聴取経験を推定する手順について、第２モデル脳波パターンの生成から説明する。

なお、第１モデル脳波パターンは最少で１本の電極を用いて得ることも可能だが、第２モデル脳波パターンの生成には２本以上の電極が必要である。したがって、第１モデル脳波パターンを生成するための脳波データである第１脳波データと第２脳波データとを複数の電極で取得する場合は、これらのデータを、第２モデル脳波パターンを生成するためのデータである第３脳波データ及び第４脳波データとしてそれぞれ用いられる。以下の制御部２００が第２モデル脳波パターンを生成する動作の手順の説明では、第１モデル脳波パターンの生成の動作手順と共通化できる部分については同じ参照符号を用いて説明する。つまり同じ参照符号で示されるステップは、第１モデル脳波パターンの生成のためのステップと第２モデル脳波パターンの生成のためのステップを兼ねる。

図１０は、本実施の形態の楽曲聴取経験有無推定装置１０において、第２モデル脳波パターンが生成される手順の例を示すフロー図である。基本的には上記の実験で既知の楽曲の聴取時と未知の楽曲の聴取時それぞれの脳内の部位間での相関的な活動を見出すために行われた手順と同じだが、本実施の形態に即して本フロー図を用いて説明する。

まず、既知楽曲１を聴いている被験者ｓｂｊ１の脳波が計測部１００によって計測されて第３脳波データが取得される（Ｓ１０１）。計測された脳波を示す信号には、増幅やＡ／Ｄ変換等の処理が増幅部１２０及びＡ／Ｄ変換部１３０によって適宜される。

次に、取得された第３脳波データに解析のための下処理が計測部１００によって実行される。具体的には、フィルタ１４０によるフィルタ処理によって第３脳波データから周波数帯域の異なる各種脳波が抽出され、これらの各種脳波に対してフーリエ変換部１５０による高速フーリエ変換処理が実行される（Ｓ１０２）。この結果は、計測部１００から制御部２００に出力される。本実施の形態では、このステップＳ１０２で抽出されたのは複数種類の脳波であり、これらの各脳波に高速フーリエ変換処理が実行されたものと想定する。

次に、制御部２００において、モデル脳波パターン生成部２３０によって第３脳波データが示す脳波の種類ごとに、電極間の機能的結合を示す指標値が算出される（Ｓ２０３）。この機能的結合を示す指標値とは、例えば上記の実験で用いたコリレーション、コヒーレンス、又は位相同期指標である。これらの指標値のうち１種類以上が、例えば上記の実験で用いられたソフトウェアのＳｔａｔｉｓｔｉｃｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｔｏｏｌｂｏｘが実行されることによって算出される。既知楽曲が複数あれば、各曲についてステップＳ２０３までが実行される。つまり既知楽曲数をｍ_１（ｍ_１は自然数）とすると、既知楽曲１、既知楽曲２・・・既知楽曲ｍ_１−１、既知楽曲ｍ_１と楽曲を替えてステップＳ２０３までが実行される。そして被験者が複数人いれば各被験者についてステップＳ２０３まで実行される。つまり被験者数がｎ人（ｎは自然数）とすると、被験者ｓｂｊ１、ｓｂｊ２・・・ｓｂｊ（ｎ−１）、ｓｂｊ（ｎ）と被験者を替えてステップＳ２０３まで実行される。このようにして、被験者と既知楽曲の全組み合わせについて上記の各指標値が算出される。

その次にモデル脳波パターン生成部２３０は、算出された指標値を種類ごとに統合して、既知楽曲の聴取時における脳波データ全体での電極間の組み合わせごとの上記の指標値を算出する（Ｓ２０４）。具体的には、例えば上記の実験と同じく、コヒーレンス及びＰＳＩであれば算術平均を、コリレーションであれば平方平均をとる。

またさらに、未知楽曲１を聴いている被験者ｓｂｊ１の脳波が計測部１００によって計測されて第４脳波データが取得される（Ｓ１１１）。なお、ステップＳ１１１とステップＳ１０１とでは、各脳波は被験者ｓｂｊ１の頭部の同じ場所で測定される。

この第４脳波データについても、ステップＳ１０２で第１脳波データに対して実行された処理と同じ処理が実行される。つまり、ステップＳ１０２までに抽出されたものと同じ種類の脳波がフィルタ１４０によって抽出され、抽出された脳波はフーリエ変換部１５０によって高速フーリエ変換処理される（Ｓ１１２）。この結果は計測部１００から制御部２００に出力される。次いで、第４脳波データについてもステップＳ２０３と同じく、第４脳波データが示す脳波の種類別の電極間の機能的結合を示す指標値がモデル脳波パターン生成部２３０によって算出される（Ｓ２１３）。未知楽曲が複数ある場合は、各楽曲についてステップＳ２１３までが実行される。被験者が複数いれば、さらに各被験者についてステップＳ２１３まで実行される。このようにして、被験者と未知楽曲の全組み合わせについても上記の各指標値が算出される。

その次にモデル脳波パターン生成部２３０は、算出された指標値を種類ごとに統合して、未知楽曲の聴取時における脳波データ全体での電極間の組み合わせごとの上記の指標値を算出する（Ｓ２１４）。具体的な算出方法はステップＳ２０４と同じである。

最後にモデル脳波パターン生成部２３０は、ステップＳ２０４で算出した指標値とステップＳ２１４で算出した指標値とで有意な差があるもの、つまり既知楽曲を聴取している状況及び未知楽曲聴取している状況の少なくとも一方に依存して高い機能的結合を示す電極間の組み合わせを脳波の種類ごとに抽出する。（Ｓ２２１）。図３は、このようにして抽出した電極間の組み合わせを線で結んで脳波の種類ごとに示した例といえる。

なお、ステップＳ１０１〜Ｓ２０４とステップＳ１１１〜Ｓ２１４とはどちらが先に実行されてもよい。つまり未知楽曲に関する処理のステップが既知楽曲に関する処理のステップよりも先に実行されてもよい。また、既知楽曲と未知楽曲とを交互に、又は不規則に混ぜた順序で各被験者に聴かせてもよい。すなわち、計測によって取得された脳波が第３脳波データであるか、第４脳波データであるかが把握される態様で実行されれば、この手順において被験者が聴取する楽曲の順序は限定されない。

また、上記の第１モデル脳波パターンと同様、第２モデル脳波パターンの生成手順の説明の被験者ｓｂｊ１〜ｓｂｊ（ｎ）には、楽曲の聴取経験の有無について推定される被験者であるＳＢＪが含まれてもよいし、含まれなくてもよい。さらには、第２モデル脳波パターンの生成のための被験者がｓｂｊ１のみであり、ｓｂｊ１がＳＢＪであってもよい。例えば１人の人物について複数の既知楽曲の聴取時の脳波データと複数の未知楽曲の聴取時の脳波データとを収集し、これを上述のように統計的に処理することで、この人物の楽曲聴取経験の推定を特に高い精度で実施するための第２モデル脳波パターンを得ることができる。

なお、上記では楽曲聴取経験有無推定装置１０において、モデル脳波パターン生成部２３０によって第２モデル脳波パターンがされるという想定で一連の手順を説明したが、第２モデル脳波パターンが楽曲聴取経験有無推定装置１０の外部で生成される場合も基本的に上記の手順によって生成される。

［２−２−５．第２モデル脳波パターンを用いた聴取経験の有無の推定の例］
第２モデル脳波パターンのみを用いて聴取経験の推定をしてもよいが、上記の第１モデル脳波パターンと合わせて被験者の脳波データの評価に用いることで、例えば第１モデル脳波パターン又は第２モデル脳波パターンのいずれか一方のみでは判定できない場合でも楽曲の聴取経験の推定することができる。あるいは、いずれか一方のみを用いるよりも高い精度で推定することができる。以下では、第１モデル脳波パターンと合わせて用いて聴取経験の有無の推定をする場合を例に説明する。この説明では、楽曲聴取経験有無推定装置１０が、上記の実験で得られた機能的結合に関するデータを第２モデル脳波パターン（図３参照）として用いて推定を行うと想定する。

［２−２−５−１．被験者の脳波の特徴の取得］
図１１は、図５に示されるフロー図のステップＳ２０において、脳波特徴取得部２１０が被験者脳波第１特徴と合わせて被験者脳波第２特徴を取得する手順の例を示すフロー図である。脳波特徴取得部２１０によって被験者脳波第１特徴が取得される手順（ステップＳ２１及びＳ２２）は、図７を参照してすでに説明したとおりである。

被験者脳波第２特徴の取得では、まず、「２−２−１．聴取経験有無推定の概要」で説明したようにステップＳ１０で取得された被験者ＳＢＪの脳波データから、脳波の種類別の機能的結合の指標値が算出される（Ｓ２５）。この算出は、例えば上記の実験及び第２モデル脳波パターンの生成で用いたソフトウェアのＳｔａｔｉｓｔｉｃｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｔｏｏｌｂｏｘを用いて実行される。これにより、電極間の組み合わせごとの機能的結合の指標値が脳波の種類ごとに得られる。なお、算出する指標値の種類及び種類の数は特に限られない。

次に、各種類の脳波で、高い機能的結合を示す指標値が得られた電極位置の組み合わせが特定される（Ｓ２６）。この特定のための手法としては、例えばＳ２５で算出された各指標値を、指標値の種類ごとに設定された所定の閾値と比較して行う。閾値より高い指標値がなければ、高い機能的結合を示す電極位置の組み合わせはゼロであったと判定してもよい。あるいは、閾値を超える指標値が複数あれば、その脳波では複数の組み合わせを特定してもよい。このようにして特定された電極位置の組み合わせは、被験者ＳＢＪの被験者脳波第２特徴の一例である。

なお、被験者脳波第１特徴を取得する手順（ステップＳ２１及びＳ２２）と、被験者脳波第２特徴を取得する手順（ステップＳ２５及びＳ２６）とは、実行の前後を問わない。また、この具体例では、被験者脳波第２特徴を取得する手順は次のステップＳ３０で必要な場合にのみ取得されてもよい。

［２−２−５−２．聴取経験の推定］
図１２は、聴取経験推定部２２０が、第１モデル脳波パターンと合わせて第２モデル脳波パターンを用いて楽曲の聴取経験を推定する手順の例である。

ステップＳ３１及びＳ３２は、図８を用いて説明した第１モデル脳波パターンのみを用いる場合と共通なのでここでの説明は省略する。

第１モデル脳波パターンのみを用いる場合との差異点は、ステップＳ３２で合計値が０だった場合、つまり第１モデル脳波パターンのみを用いた手順では判定不能という結果が返る（図８、Ｓ３５）場合、その後に加わるステップＳ３２１からＳ３２３の手順である。

これらのステップでは、被験者脳波第２特徴と第２モデル脳波パターンとを照合による楽曲の聴取経験の推定が聴取経験推定部２２０によってさらに試みられる。以下はその手順の例である。

まず、ステップＳ２６で特定された電極間の組み合わせが第２モデル脳波パターンと照合され、第２モデル脳波パターンにもある組み合わせが選択される（Ｓ３２１）。

例えば、ステップＳ２６で、次の電極位置の組み合わせが特定されたとする。

（１）既知楽曲の聴取時により高い機能的結合を示す指標値が得られた組み合わせ：シータ波のＦ４−Ｐｚ間のコリレーション、アルファ波のＴ３−Ｔ４間のコヒーレンス

（２）未知楽曲の聴取時により高い機能的結合を示す指標値が得られた組み合わせ：デルタ波のＦｐ１−Ｔ４間のコヒーレンス、ガンマ波のＣ３−Ｔ４間のＰＳＩ

これらの組み合わせを図３と照合すると、アルファ波のＴ３−Ｔ４間のコヒーレンスは一致するものが見当たらない。したがって他の３つが選択される。つまりは、この３つの組み合わせは、既知楽曲を聴取している状況及び未知楽曲聴取している状況の少なくとも一方に依存して高い機能的結合を示す電極間の組み合わせとして選択される。

次に、ステップＳ３２１で選択された組み合わせが点数化される（Ｓ３２２前段）。このスコア化には、第２モデル脳波パターンにある各組み合わせにあらかじめ設定された点数が用いられる。表３は、この各組み合わせに設定された点数を一覧にしたスコアリングシートの例である。

このスコアリングシートが示すところは次のとおりである。

（１）より高い機能的結合を示した聴取状況別に、脳波の種類、電極間の組み合わせ、機能的結合の高さを示す指標値の種類ごとの点数を示す。既知楽曲の聴取時により高い機能的結合を示す指標値が得られた組み合わせ（「既知＞未知」の列）には正の値、未知楽曲の聴取時により高い機能的結合を示す指標値が得られた組み合わせ（「既知＜未知」の列）には負の値を配点している。

（２）第２モデル脳波パターンの生成時に得られた各指標値の大きさ、各指標の意味、電極位置又はその組み合わせに対する脳部位の機能等を考慮して正の値の間、及び負の値の間で差を付けている。つまり、この値を調整することで、脳波の種類、電極の組み合わせ、指標の種類を考慮した重み付けを調整することができる。ただし、上記の表内の電極の組み合わせ、数値、その他内容は例であり、本実施の形態を限定しない。

なお、上記の表は、この説明で必要な箇所以外（表中「…」の箇所）は省略しているが、実際は第２モデル脳波パターン、つまりこの例では図３に示される全ての機能的結合についてのスコアを含む。

聴取経験推定部２２０はこの表を参照して、ステップＳ３２１で選択された組み合わせを点数化し合計値ＴＴを取得する（Ｓ３２２）。シータ波のＦ４−Ｐｚ間のコリレーションは１０点、デルタ波のＦｐ１−Ｔ４間のコヒーレンス（既知＜未知）は−４点、ガンマ波のＣ３−Ｔ４間のＰＳＩ（既知＜未知）は−３点である。したがって、合計値ＴＴは１０＋（−４）＋（−３）＝３点である。

次に聴取経験推定部２２０は、ステップＳ３２２で求めた合計値ＴＴが入る数値範囲を判定する（Ｓ３２３）。聴取経験推定部２２０はこの数値範囲に基づいて被験者ＳＢＪの楽曲聴取経験を推定する。この例では、数値範囲としてＴが−１以下の場合（Ｓ３２３、ＴＴ≦−１）は、聴取経験がない楽曲（Ｓ３３）、ＴＴが１以上の場合（Ｓ３２３、１≦Ｔ）は、聴取経験がある楽曲（Ｓ３４）と判定している。なお、ＴＴが０の場合（Ｓ３２３、ＴＴ＝０）、判定不能（Ｓ３５）という結果を返す。この例では合計値ＴＴが３なので、この楽曲については被験者ＳＢＪは聴取経験があるという判定結果をもって推定の手順は終了する。なお、上記の数値範囲は説明のための例であり、本実施の形態を限定しない。

このように、脳波が計測された複数の箇所間での機能的結合の度合いのパターンである第２モデル脳波パターンをさらに用いて、脳波の計測位置及び強度に関する特徴のみでは推定できなかった楽曲の聴取経験の推定をすることができる。

なお、第２モデル脳波パターンのみを用いてこの推定を行う場合は、図１０から図１２のフロー図のステップのうち、ステップＳ２１、Ｓ２２、Ｓ３１、及びＳ３２を除いて実行すればよい。

また、第２モデル脳波パターンは第１モデル脳波パターンのみでは判定できなかった場合のみではなく、常に第１モデル脳波パターンと合わせて用いられてもよい。例えば合計値Ｔと合計値ＴＴとをさらに合計してその数値範囲に基づいて被験者の楽曲聴取経験を推定してもよい。このときに、各モデル脳波パターンを使った判定の重要度に差を付けるために、合計値Ｔ又は合計値ＴＴに重み係数を付けてもよい。あるいは、合計値ＴＴも上述した判定結果の確実度の算出のための変数として用いられてもよい。

［２−３．変形例等］
以上、楽曲聴取経験有無推定装置１０として実施する形態を例に本発明を説明したが、本発明は上記の実施の形態に限定されない。例えば本発明は、楽曲聴取経験有無推定装置１０の各構成要素の動作の手順からなる、被験者の楽曲の聴取経験の有無を推定する方法として具現化することができる。また、この方法をコンピュータに実行させるためのプログラムとしても具現化することができる。

また、脳波データの被験者に依存するばらつきの程度、つまり個人差を吸収する目的で、計測部１００等のキャリブレーションが実行されてもよい。これにより、より精度の高い楽曲聴取経験の推定を行うことができる。また、このキャリブレーションの手順は、脳波計１１０の装着状態の確認に用いられてもよい。例えば計測部１００の設定の変更では調整が不可能な程度に被験者ＳＢＪの脳波が微弱である場合には、脳波計１１０が適切に装着されていない可能性がある。

以上、上述の実施の形態及びその変形例の記載は、本発明の技術内容を説明することを目的とする例示としてなされたものであり、本願に係る発明の技術的範囲をこの記載に限定する趣旨ではない。本願に係る発明の技術的範囲は、明細書、図面、及び特許請求の範囲又はこれに均等の範囲において当業者が想到可能な限り、変更、置き換え、付加、省略されたものも含む。

本発明は楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、又は楽曲聴取経験有無推定プログラムとして感情推定に利用され、例えば感情推定のための構成を含む、楽曲再生又は楽曲推薦の装置、プログラム、又はシステムに適用できる。

１０ 楽曲聴取経験有無推定装置
１００ 計測部
１１０ 脳波計
１２０ 増幅部
１３０ Ａ／Ｄ変換部
１４０ フィルタ
１５０ フーリエ変換部
２００ 制御部
２１０ 脳波特徴取得部
２２０ 聴取経験推定部
２３０ モデル脳波パターン生成部
３００ 記憶部
３５０ モデル脳波パターン
４００ 出力部

Claims (12)

1. 被験者の楽曲の聴取経験の有無を推定する方法であって、
   聴取経験の有無が不明である楽曲を聴取している前記被験者の脳波を計測して被験者脳波データを取得する被験者脳波データ取得ステップと、
   前記取得した被験者脳波データから、前記脳波の計測位置及び強度に関する特徴を含む被験者脳波第１特徴を取得する被験者脳波特徴取得ステップと、
   前記被験者脳波第１特徴を、聴取経験があると判明している既知楽曲を聴取している人の脳波を計測して取得したデータである第１脳波データ及び聴取経験がないと判明している未知楽曲を聴取している人の脳波を計測して取得したデータである第２脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生する脳波の人の頭部での計測位置及び強度のパターンである第１モデル脳波パターンと照合して得られた照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する推定ステップとを含む
   楽曲聴取経験有無推定方法。
2. 前記第１モデル脳波パターンは、前記第１脳波データが示す脳波の平均パワーから第２脳波データが示す脳波の平均パワーを減算して作成されたものである、
   請求項１に記載の楽曲聴取経験有無推定方法。
3. 前記被験者脳波データは前記被験者の頭部の複数の箇所で並行して脳波を計測して取得したデータであり、
   前記第１脳波データ及び前記第２脳波データはそれぞれ、前記人の頭部の複数の箇所であって、前記被験者の頭部の複数の箇所に対応する箇所で脳波を計測して取得したデータである、
   請求項１又は２記載の楽曲聴取経験有無推定方法。
4. 前記第１モデル脳波パターンは、デルタ波、シータ波、アルファ波、ベータ波、及びガンマ波のうち少なくとも２つの脳波についての計測位置及び強度のパターンであり、
   前記被験者脳波データ取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波データを取得し、
   前記被験者脳波特徴取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波第１特徴を取得し、
   前記推定ステップでは、前記少なくとも２つの脳波について前記照合を実行して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する、
   請求項１から３のいずれか１項に記載の楽曲聴取経験有無推定方法。
5. 前記被験者脳波特徴取得ステップではさらに、前記計測した脳波が計測された前記複数の箇所間での機能的結合の度合いに関する特徴を含む被験者脳波第２特徴を含み、
   前記推定ステップではさらに、前記被験者脳波第２特徴を、既知楽曲を聴取している人の頭部の複数の箇所であって、前記被験者の頭部の複数の箇所に対応する箇所で並行して計測した脳波のデータである第３脳波データ又は未知楽曲を聴取している人の頭部の複数の箇所であって、前記被験者の頭部の複数の箇所に対応する箇所で並行して計測した脳波のデータである第４脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲を聴取している状況の少なくとも一方に依存して発生する脳波の、前記複数の箇所間での機能的結合の度合いのパターンである第２モデル脳波パターンと照合して得られる照合結果を用いて前記被験者の前記楽曲の聴取経験の有無を推定する
   請求項３に記載の楽曲聴取経験有無推定方法。
6. 前記第２モデル脳波パターンは、デルタ波、シータ波、アルファ波、ベータ波、及びガンマ波のうち少なくとも２つの脳波に基づいて取得される、前記複数の箇所間での機能的結合の度合いのパターンであり、
   前記被験者脳波データ取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波データを取得し、
   前記被験者脳波特徴取得ステップでは、前記少なくとも２つの脳波について前記被験者脳波第２特徴を取得し、
   前記推定ステップでは、前記少なくとも２つの脳波についての前記被験者脳波第２特徴を、前記少なくとも２つの脳波についての前記第２モデル脳波パターンと照合を実行して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する、
   請求項４に記載の楽曲聴取経験有無推定方法。
7. 前記機能的結合の度合いは、前記複数の箇所のそれぞれで計測して取得した脳波データ間の相関、コヒーレンス、及び位相同期指標の少なくとも１つに基づいて取得される、
   請求項５又は６に記載の楽曲聴取経験有無推定方法。
8. 被験者脳波特徴取得ステップより前にさらに、既知楽曲を聴いている前記被験者の脳波のデータである第１正規化用脳波データと、未知楽曲を聴いている前記被験者の脳波のデータである第２正規化用脳波データとを取得する正規化用脳波データ取得ステップと、
   取得された前記被験者脳波データを前記第１正規化用脳波データ及び前記第２正規化用脳波データを用いて正規化する被験者脳波データ正規化ステップとを含む
   請求項１から７のいずれか１項に記載の楽曲聴取経験有無推定方法。
9. 被験者脳波データ取得ステップでは、前記被験者の少なくとも右中側頭部で脳波を計測する、
   請求項１から８のいずれか１項に記載の楽曲聴取経験有無推定方法。
10. 被験者の楽曲の聴取経験の有無を推定する装置であって、
    聴取経験があると判明している既知楽曲を聴取している人の脳波を計測して得たデータである第１脳波データ及び聴取経験がないと判明している未知楽曲を聴取している人の脳波を計測して得たデータである第２脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲聴取している状況の少なくとも一方に依存して発生する脳波の人の頭部での計測位置及び強度のパターンであるモデル脳波パターンを記憶する記憶部と、
    聴取経験の有無が不明である楽曲を聴取している前記被験者の脳波を計測して被験者脳波データを取得する計測部と、
    前記被験者脳波データから、前記被験者の脳波の計測位置及び強度に関する特徴である被験者脳波特徴を取得する脳波特徴取得部と、
    前記被験者脳波特徴を、前記モデル脳波パターンと照合して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する聴取経験推定部とを含む
    楽曲聴取経験有無推定装置。
11. 前記脳波特徴取得部は、前記被験者脳波データから所定の時間区間ごとのパワースペクトルを算出し、算出した前記パワースペクトルに基づいて、聴取経験の有無が不明である前記楽曲を聴取していた状態の前記被験者の頭部の少なくとも１箇所における脳波の強さを算出し、
    前記聴取経験推定部は、前記脳波特徴取得部によって算出された前記脳波の強さと、前記記憶部に記憶された前記モデル脳波パターンとを照合することによって前記楽曲が前記被験者にとって既知楽曲であるか未知楽曲であるかを推定する
    請求項１０に記載の楽曲聴取経験有無推定装置。
12. 被験者の楽曲の聴取経験の有無を推定する方法を実行するプログラムであって、
    前記方法は、
    聴取経験の有無が不明である楽曲を聴取している前記被験者の脳波を計測して被験者脳波データを取得する被験者脳波データ取得ステップと、
    前記取得した被験者脳波データから、前記脳波の計測位置及び強度に関する特徴を含む被験者脳波特徴を取得する被験者脳波特徴取得ステップと、
    前記被験者脳波特徴を、聴取経験があると判明している既知楽曲を聴取している人の脳波を計測して得たデータである第１脳波データ及び聴取経験がないと判明している未知楽曲を聴取している人の脳波を計測して得たデータである第２脳波データを用いて作成された、既知楽曲を聴取している状況及び未知楽曲聴取している状況の少なくとも一方に依存して発生する脳波の人の頭部での計測位置及び強度のパターンである第１モデル脳波パターンと照合して得られる照合結果を用いて前記被験者の前記聴取経験の有無が不明である楽曲の聴取経験の有無を推定する推定ステップとを含む
    楽曲聴取経験有無推定プログラム。