JP2019177104A - 推定システム、及び推定方法 - Google Patents

Abstract

【課題】脳情報を利用した刺激情報に対する推定基準者の内的な状態の推定を、迅速、且つ簡便に行う。【解決手段】推定システムは、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、複数の感覚に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、特徴量抽出部によって推定対象の刺激情報から抽出された複数の特徴量を、それぞれに対応する複数の第１脳情報に変換する第１変換部と、第１脳情報と、推定基準者の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、第１変換部によって変換された複数の第１脳情報を、第２脳情報に変換する第２変換部と、第２変換部によって変換された第２脳情報を利用して、推定対象の刺激情報に対応する内的な状態を推定する推定部とを備える。【選択図】図１

Description

本発明は、推定システム、及び推定方法に関する。

近年、被験者の脳活動を計測して、感情などの被験者の内的な状態を推定する技術が知られている（例えば、特許文献１）。例えば、特許文献１に記載の従来技術では、動画等の訓練用刺激が誘発した脳活動を計測し、当該訓練用刺激と脳活動との組データに基づいて、脳活動と知覚意味内容を表す知覚意味空間（脳情報表現空間）との対応関係を学習させる。そして、従来技術では、学習させた対応関係を用いて、新規刺激が被験者に与えた際に計測される脳活動から知覚意味内容（被験者の内的な状態）を推定する。

特開２０１６−１９５７１６号公報

しかしながら、上述した従来技術では、新規刺激である刺激情報に対して被験者（推定基準者）の内的な状態を推定する度に、新規の感覚情報に対する脳活動の計測を行う必要があり、迅速、且つ簡便に、脳情報を利用した被験者（推定基準者）の内的な状態の推定を行うことが困難であった。また、上述した従来技術では、内的な状態の意味内容を表現するために、大容量コーパス等の事前知識が必要になっていた。

本発明は、上記問題を解決すべくなされたもので、その目的は、脳情報を利用した刺激情報に対する推定基準者の内的な状態の推定を、迅速、且つ簡便に行うことができる推定システム、及び推定方法を提供することにある。また、内的状態に対して大規模コーパス等の事前知識を利用せずに、脳内情報表現と直接的に紐付けられた内的状態の推定を達成する。

上記問題を解決するために、本発明の一態様は、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第１脳情報に変換する第１変換部と、前記第１脳情報と、推定基準者の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、前記第１変換部によって変換された前記複数の第１脳情報を、前記第２脳情報に変換する第２変換部と、前記第２変換部によって変換された前記第２脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部とを備える推定システムである。

また、本発明の一態様は、上記の推定システムにおいて、前記第１脳情報は、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、前記第２脳情報は、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、前記第２変換部は、前記第２の対応情報に基づいて、前記複数の第１脳情報が示す距離空間における位置を、前記第２脳情報が示す距離空間における位置に変換し、前記推定部は、前記第２脳情報が示す距離空間における位置情報を利用して、前記内的な状態を推定するようにしてもよい。

また、本発明の一態様は、上記の推定システムにおいて、学習用の刺激情報から抽出された前記複数の感覚に関する複数の特徴量と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚のそれぞれに対応する前記第１の対応情報を生成する第１生成部と、前記学習用の刺激情報に対応する前記内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と前記第２脳情報との対応関係を示す第３の対応情報を生成する第２生成部と、前記学習用の刺激情報に対応する前記複数の第１脳情報が示す距離空間における位置と、前記第３の対応情報に基づいて前記内的な状態を示す情報から生成された前記第２脳情報が示す距離空間における位置とに基づいて、前記第２の対応情報を生成する第３生成部とを備えるようにしてもよい。

また、本発明の一態様は、上記の推定システムにおいて、前記特徴量抽出部は、所定の単位時間ごとに、前記特徴量を抽出し、前記推定部は、前記所定の単位時間ごとの前記第２脳情報が示す距離空間における位置に基づいて、前記推定対象の刺激情報に対応する前記所定の単位時間ごとの前記内的な状態を推定するようにしてもよい。

また、本発明の一態様は、上記の推定システムにおいて、前記複数の感覚は、視覚と聴覚とであり、前記特徴量抽出部は、前記視覚に関する視覚特徴量と、前記聴覚に関する聴覚特徴量とを抽出し、前記第１変換部は、前記視覚に対応する前記第１の対応情報に基づいて、前記視覚特徴量を前記視覚に対応する前記第１脳情報が示す視覚空間における位置に変換し、前記聴覚に対応する前記第１の対応情報に基づいて、前記聴覚特徴量を前記聴覚に対応する前記第１脳情報が示す聴覚空間における位置に変換し、前記第２変換部は、前記第２の対応情報に基づいて、前記第１変換部によって変換された前記視覚空間における位置及び前記聴覚空間における位置を、前記第２脳情報が示す距離空間における位置に変換するようにしてもよい。

また、本発明の一態様は、上記の推定システムにおいて、前記推定基準者の内的な状態には、前記推定基準者の感情が含まれ、前記第２変換部は、前記複数の第１脳情報が示す距離空間における位置と、前記感情に対応する前記第２脳情報が示す感情空間における位置との対応関係を示す前記第２の対応情報に基づいて、前記複数の第１脳情報が示す距離空間における位置を、前記感情空間における位置に変換し、前記推定部は、複数の前記距離空間における位置から変換された前記感情空間における位置情報に基づいて、前記推定対象の刺激情報に対応する前記感情を推定するようにしてもよい。

また、本発明の一態様は、上記の推定システムにおいて、前記複数の感覚に関する特徴量、及び前記内的な状態を示す情報は、多次元の情報であり、前記内的な状態を示す情報は、前記複数の感覚に関する特徴量の次元数より少ない次元数の情報であってもよい。

また、本発明の一態様は、学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量と、推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚に関するそれぞれの特徴量と、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第１脳情報であって、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報を生成する第１生成部と、前記学習用の刺激情報に対応する前記推定基準者の内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第２脳情報であって、前記内的な状態に対応する第２脳情報との対応関係を示す第２の対応情報を生成する第２生成部と、前記第１の対応情報に基づいて前記複数の特徴量から生成された、前記学習用の刺激情報に対応する前記複数の第１脳情報と、前記第２の対応情報に基づいて前記内的な状態を示す情報から生成された第２脳情報との対応関係を示す第３の対応情報であり、当該第２脳情報に含まれる各要素を説明する際の前記複数の第１脳情報に含まれる各要素の貢献度を生成する第３生成部と、前記複数の特徴量と、前記内的な状態を示す情報と、前記各要素の貢献度とに基づいて、前記複数の特徴量から前記内的な状態を示す情報を推定する数理モデルを構築するモデル構築部と、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、前記モデル構築部によって構築された前記数理モデルに基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量から前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部とを備える推定システムである。

また、本発明の一態様は、特徴量抽出部が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出ステップと、第１変換部が、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、前記特徴量抽出ステップによって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第１脳情報に変換する第１変換ステップと、第２変換部が、前記第１脳情報と、推定基準者の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、前記第１変換ステップによって変換された前記複数の第１脳情報を、前記第２脳情報に変換する第２変換ステップと、推定部が、前記第２変換ステップによって変換された前記第２脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定ステップとを含む推定方法である。

本発明によれば、刺激情報に対する被験者の内的な状態を、迅速、且つ簡便に推定することができる。

第１の実施形態による推定システムの一例を示す機能ブロック図である。 第１の実施形態による推定システムの学習処理の一例を示すフローチャートである。 第１の実施形態における距離空間の構築処理の一例を説明する図である。 第１の実施形態における空間対応関係の構築処理の一例を説明する図である。 第１の実施形態による推定システムの推定処理の一例を示すフローチャートである。 第１の実施形態による推定システムの推定処理の一例を説明する図である。 第１の実施形態による推定システムの効果を説明する図である。 第２の実施形態による推定システムの一例を示す機能ブロック図である。 第２の実施形態による推定システムの学習処理の一例を示すフローチャートである。 第２の実施形態における感情評定を推定する回帰モデルの構築処理の一例を説明する図である。 第２の実施形態による推定システムの推定処理の一例を示すフローチャートである。 第２の実施形態による推定システムの推定処理の一例を説明する図である。

以下、本発明の実施形態による推定システムについて、図面を参照して説明する。

［第１の実施形態］
図１は、第１の実施形態による推定システム１の一例を示す機能ブロック図である。
図１に示すように、推定システム１は、解析装置１０と、表示装置２１と、スピーカ２２と、ｆＭＲＩ（functional Magnetic Resonance Imaging）３０と、推定装置４０とを備える。

表示装置２１は、例えば、液晶ディスプレイなどであり、学習用の動画データ（学習用の刺激情報の一例、以下、学習用動画データという）に基づく学習用の画像を表示する。動画データには、画像データと音データとが含まれるものとする。
スピーカ２２（放音装置の一例）は、学習用の動画データに基づく学習用の音を出力する。

表示装置２１及びスピーカ２２は、学習用動画データに基づく画像及び音を出力し、推定基準者Ｓ１に視聴させる。推定基準者Ｓ１は、例えば、感情評定の推定において基準となる被験者である。

ｆＭＲＩ３０（脳活動計測部の一例）は、推定基準者Ｓ１に刺激を与えた際の推定基準者Ｓ１の脳活動を計測する。刺激は、例えば、表示装置２１及びスピーカ２２が出力する学習用動画データに基づく画像及び音である。ｆＭＲＩ３０は、推定基準者Ｓ１の脳活動に関連した血流動態反応を視覚化するｆＭＲＩ信号（脳活動信号）を出力する。ｆＭＲＩ３０は、所定の単位時間ごと（例えば、２秒間隔など）で、推定基準者Ｓ１の脳活動を計測し、計測した計測結果をｆＭＲＩ信号として解析装置１０に出力する。

解析装置１０は、記憶部１１と、制御部１２とを備える。記憶部１１は、解析装置１０の制御部１２が利用する各種情報を記憶する。記憶部１１が、ｆＭＲＩ３０が計測した計測結果と、学習用動画データの特徴量と、学習用動画データの感情評定の各情報を記憶する。制御部１２が、記憶部１１が記憶した各情報に基づいて、例えば、機械学習による学習処理を実行し、学習用動画データの特徴量から感情評定を推定するために利用する各種情報を生成する。感情評定とは、推定基準者Ｓ１の内的な状態を表す一例であり、推定基準者Ｓ１の感情を示す情報である。

記憶部１１は、例えば、動画記憶部１１１と、感情評定記憶部１１２と、特徴量記憶部１１３と、計測結果記憶部１１４と、構築結果記憶部１１５とを備える。
動画記憶部１１１は、学習用動画データを記憶する。

感情評定記憶部１１２は、学習用動画データに対応する感情評定を記憶する。感情評定は、例えば、推定基準者Ｓ１が学習用動画データに基づく動画を視聴した際の内的な状態を所定の時間間隔ごと（所定の単位時間ごと）に付与し、記憶する。感情評定とは、例えば、感情を数値により表すラベルである。感情評定記憶部１１２は、所定の時間間隔ごと（所定の単位時間ごと）の学習用動画データに対応する感情評定を、所定の時間間隔ごとに時系列に記憶する。

特徴量記憶部１１３は、学習用動画データから抽出された感覚に関する特徴量を記憶する。特徴量は、制御部１２により、所定の時間間隔ごと（所定の単位時間ごと）に学習用動画データから抽出される。感覚には、例えば、視覚と聴覚とが含まれる。学習用動画データのうち、画像データから視覚に関する特徴量である視覚特徴量が抽出され、音データから聴覚関する特徴量である聴覚特徴量が抽出される。例えば、特徴量記憶部１１３は、所定の時間間隔ごとに、視覚特徴量と聴覚特徴量とを対応付けて時系列に記憶する。

計測結果記憶部１１４は、ｆＭＲＩ３０が計測した計測結果を記憶する。計測結果記憶部１１４は、学習用動画データに基づく動画を推定基準者Ｓ１に視聴させた際に、ｆＭＲＩ３０によって計測された推定基準者Ｓ１の脳活動の計測結果を、所定の時間間隔ごとに時系列に記憶する。

構築結果記憶部１１５は、解析装置１０の制御部１２により学習処理がされた結果を記憶する。制御部１２による学習処理では、複数の感覚について、感覚に関する特徴量と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感覚に応じた脳情報表現を距離空間に表した特徴空間を構築する。または、感情について、感情評定と、推定基準者Ｓ１に学習用動画データを視聴させた際の脳活動の計測結果とに基づいて、感情に応じた脳情報表現を距離空間に表した感情空間を構築する。特徴空間または感情空間の構築は、例えば、ある感覚またはある感情に応じた脳情報表現を、空間における位置により表すものであってもよい。

構築結果記憶部１１５は、学習処理によって構築された各種構築結果と、構築した特徴空間と感情空間との対応情報とを記憶する。具体的には、構築結果記憶部１１５は、例えば、視覚特徴空間（視覚空間の一例）の構築結果（重み付け情報Ｗｖ）、聴覚特徴空間（聴覚空間の一例）の構築結果（重み付け情報Ｗｓ）、感情空間の構築結果（重み付け情報Ｗｅ）、及び、視覚特徴空間及び聴覚特徴空間（以下、視覚・聴覚空間という）と感情空間との対応情報（重み付け情報Ａ）を記憶する。

視覚特徴空間の構築結果は、視覚特徴量と、視覚に応じた脳活動を表す視覚特徴空間（又は視覚特徴空間における位置）との対応関係を示す対応情報であり、聴覚特徴空間の構築結果は、聴覚特徴量と、聴覚に応じた脳活動を表す聴覚特徴空間（又は聴覚特徴空間における位置）との対応関係を示す対応情報である。感情空間の構築結果は、感情評定と、感情空間（又は感情空間における位置）との対応関係を示す対応情報である。
本実施形態において、視覚特徴空間の構築結果、及び聴覚特徴空間の構築結果は、第１の対応情報の一例であり、視覚・聴覚空間と感情空間との対応情報は、第２の対応情報の一例である。また、感情空間の構築結果は、第３の対応情報の一例である。

制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、解析装置１０を統括的に制御する。制御部１２は、計測制御部１２１と、特徴量抽出部１２２と、特徴空間構築部１２３と、感情空間構築部１２４と、空間対応構築部１２５とを備える。

計測制御部１２１は、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測を制御する。計測制御部１２１は、動画記憶部１１１が記憶する学習用動画データを表示装置２１及びスピーカ２２に出力させ、学習用動画データによる画像及び音を推定基準者Ｓ１に与えた際の脳活動を、ｆＭＲＩ３０に計測させる。計測制御部１２１は、ｆＭＲＩ３０から脳活動のｆＭＲＩ信号を所定の時間間隔で取得し、計測結果として計測結果記憶部１１４に時系列に記憶させる。視覚特徴量の抽出には、種々の手法が提案されているが、例えば、AlexNet、VGG 19layerなどを用いることができる。抽出される特徴量は、例えばｎ次元（ｎは自然数）のベクトルで表され、ｎ＝４０９６やｎ＝１０００などが、想定されるがこれらの数字には限られない。また、聴覚特徴量の抽出についても、種々の手法が提案されているが、例えば、soundNetなどを用いることができる。抽出される特徴量は、例えば、ｍ次元（ｍは自然数）のベクトルで表され、ｍ＝３６２、ｍ＝３１３３などが想定されるがこれらの数字に限定されない。
計測制御部１２１は、例えば、画像及び音を同時に推定基準者Ｓ１に与えた場合と、画像のみを推定基準者Ｓ１に与えた場合と、音のみを推定基準者Ｓ１に与えた場合とのそれぞれについて脳活動の計測結果を取得するようにしてもよい。

特徴量抽出部１２２は、学習用動画データから感覚に関する特徴量を抽出する。特徴量抽出部１２２は、学習用動画データに含まれる画像データから視覚特徴量を、学習用動画データに含まれる音データから聴覚特徴量を、それぞれ所定の時間間隔ごとに抽出する。特徴量抽出部１２２は、抽出した所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を時系列に特徴量記憶部１１３に記憶させる。

特徴空間構築部１２３（第１の生成部の一例）は、複数の感覚に関する複数の特徴量と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、複数の感覚のそれぞれに対応する第１の対応情報を生成する。例えば、特徴空間構築部１２３は、特徴量記憶部１１３が時系列に記憶する視覚特徴量と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データに基づいて、視覚特徴に関する脳情報表現の距離空間（意味空間）である視覚特徴空間を構築する。特徴空間構築部１２３は、例えば、線形回帰モデルによる下記の式（１）を用いて、視覚特徴空間のモデルを構築する。

Ｒｖ＝Ｓｖ×Ｗｖ ・・・ （１）

Ｓｖは、視覚特徴量を示し、Ｒｖは、Ｓｖを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、視覚特徴空間における位置情報（第１脳情報）に対応する。Ｗｖは、脳活動情報のパターンと視覚特徴量との関連付けを行うときの係数情報（重み付け情報）であり、学習の結果として獲得されるものである。このＷｖの推定には、例えば、Ｌ２ノルムを考慮したリッジ回帰を用いてもよい。また、視覚特徴空間における位置情報Ｒｖ、視覚特徴量Ｓｖ、及び係数情報Ｗｖは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。一つの例として、視覚特徴量Ｓｖがｎ次元のベクトル、脳活動情報の推定値Ｒｖがｎ次元のベクトルとしたとき、ｎ次元の視覚特徴量によって定まるｎ次元空間上の位置ベクトルとしてとらえることができる。この例では、視覚特徴量Ｓｖの次元数と脳活動情報の推定値Ｒｖの次元数は同じであるが、同じである必要はなく、全く異なる次元数であることもできる。

特徴空間構築部１２３は、視覚特徴量と脳活動の計測結果との複数の組データと、式（１）とに基づいて学習処理を実行し、係数情報Ｗｖを構築結果（第１の対応情報）として生成する。視覚特徴空間を構築する際に用いる計測結果は、画像及び音を同時に推定基準者Ｓ１に与えた場合の計測結果、又は、画像のみを推定基準者Ｓ１に与えた場合の計測結果である。また、特徴空間構築部１２３は、生成した係数情報Ｗｖを構築結果記憶部１１５に記憶させる。

また、例えば、特徴空間構築部１２３は、特徴量記憶部１１３が時系列に記憶する聴覚特徴量と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データに基づいて、聴覚特徴に関する脳情報表現の距離空間（意味空間）である聴覚特徴空間を構築する。特徴空間構築部１２３は、例えば、線形回帰モデルによる下記の式（２）を用いて、聴覚特徴空間のモデルを構築する。

Ｒｓ＝Ｓｓ×Ｗｓ ・・・ （２）

Ｓｓは、視覚特徴量を示し、Ｒｓは、Ｓｓを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、聴覚特徴空間における位置情報（第１脳情報）に対応する。Ｗｓは、脳活動情報のパターンと聴覚特徴量との関連付けを行うときの係数情報（重み付け情報）であり、学習の結果として獲得されるものである。このＷｓの推定には、例えば、Ｌ２ノルムを考慮したリッジ回帰を用いてもよい。また、聴覚特徴空間における位置情報Ｒｓ、聴覚特徴量Ｓｓ、及び係数情報Ｗｓは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。一つの例として、聴覚特徴量Ｓｓがｍ次元のベクトル、脳活動情報の推定値Ｒｓがｍ次元のベクトルとしたとき、ｍ次元の聴覚特徴量によって定まるｍ次元空間上の位置ベクトルとしてとらえることができる。この例では、聴覚特徴量Ｓｓの次元数と脳活動情報の推定値Ｒｓの次元数は同じであるが、同じである必要はなく、全く異なる次元数であることもできる。

特徴空間構築部１２３は、聴覚特徴量と脳活動の計測結果との複数の組データと、式（２）とに基づいて学習処理を実行し、係数情報Ｗｓを構築結果（第１の対応情報）として生成する。聴覚特徴空間を構築する際に用いる計測結果は、画像及び音を同時に推定基準者Ｓ１に与えた場合の計測結果、又は、音のみを推定基準者Ｓ１に与えた場合の計測結果である。また、特徴空間構築部１２３は、生成した係数情報Ｗｓを構築結果記憶部１１５に記憶させる。

感情空間構築部１２４（第２生成部の一例）は、学習用動画データに対応する感情評定と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感情評定と感情空間における位置情報（第２脳情報）との対応関係を示す第３の対応情報を生成する。感情評定としては、「快」「不快」「楽しい」「恐怖」というような感情や情動を表す複数、例えば、ｉ個（ｉは自然数であり、例えば、数十から１００程度が想定できるが、この数に限るものではない）の単語と、それぞれの単語についての程度を表す数字（例えば１から５）の組み合わせ（例：（恐怖、３）、（楽しい、５）等）を用いることができる。そして、この感情評定は、学習用動画データをあらかじめ視聴した被験者によって、取得されたものを利用することができるが、推定基準者Ｓ１自身で、取得することも可能である。感情評定について、この例を利用する場合、ｉ次元のベクトルと考えることができる。
例えば、感情空間構築部１２４は、感情評定記憶部１１２が時系列に予め記憶されている感情評定と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データに基づいて、感情に関する脳情報表現の距離空間（意味空間）である感情空間を構築する。感情空間構築部１２４は、例えば、線形回帰モデルによる下記の式（３）を用いて、感情空間のモデルを構築する。

Ｒｅ＝Ｓｅ×Ｗｅ ・・・ （３）

Ｓｅは、感情評定を示し、Ｒｅは、Ｓｅを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、推定される感情空間における位置情報（第２脳情報）に対応する。Ｗｅは、脳活動情報のパターンと感情評定との関連付けを行うときの係数情報（重み付け情報）であり、学習の結果として獲得されるものである。このＷｅの推定には、例えば、Ｌ２ノルムを考慮したリッジ回帰を用いてもよい。また、感情空間における位置情報Ｒｅ、感情評定Ｓｅ、及び係数情報Ｗｅは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。感情評定をｉ次元のベクトル、第２脳情報Ｒｅをｉ次元のベクトルとした時、ｉ次元の感情評定により定まるｉ次元空間の位置ベクトルとしてとらえることができる。この例では、感情評定の次元数と第２脳情報の次元数は同じであるが、同じである必要はなく、全く異なる次元数であってもよい。感情評定は、一例としては、複数の感覚に関する特徴量（例えば、視覚特徴量Ｓｖと聴覚特徴量Ｓｓとの合算特徴量）の次元数より少ない次元数の情報である。

感情空間構築部１２４は、感情評定と脳活動の計測結果との複数の組データと、式（３）とに基づいて学習処理を実行し、係数情報Ｗｅを構築結果（第３の対応情報）として生成する。感情空間を構築する際に用いる計測結果は、例えば、画像及び音を同時に推定基準者Ｓ１に与えた場合の計測結果、又は、画像のみを推定基準者Ｓ１に与えた場合の計測結果、又は、音のみを推定基準者Ｓ１に与えた場合の計測結果である。また、感情空間構築部１２４は、生成した係数情報Ｗｅを構築結果記憶部１１５に記憶させる。

空間対応構築部１２５（第３生成部の一例）は、学習用動画データに対応する複数の第１脳情報（視覚・聴覚空間における位置情報）が示す距離空間における位置と、第２脳情報（感情空間における位置情報）が示す距離空間における位置とに基づいて、視覚・聴覚空間と感情空間との対応情報である第２の対応情報を生成する。複数の第１脳情報は、例えば、上述した係数情報Ｗｖ及び係数情報Ｗｓに基づいて、学習用動画データに対応する視覚特徴量及び聴覚特徴量から生成された視覚・聴覚空間における位置情報である。また、第２脳情報は、上述した係数情報Ｗｅに基づいて、学習用動画データに対応する感情評定から生成された感情空間における位置情報である。

空間対応構築部１２５は、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、例えば、線形回帰モデルによる下記の式（４）を用いて、視覚・聴覚空間と感情空間との対応関係を学習する。

Ｒｅ＝［Ｒｖ，Ｒｓ］×Ａ・・・ （４）

Ｒｅは、推定される感情空間における位置情報（第２脳情報）を示し、［Ｒｖ，Ｒｓ］は、視覚及び聴覚空間における位置情報を結合した結果を意味する。また、Ａは、係数情報（重み付け情報）であり、視覚・聴覚空間と感情空間との対応関係を示す第２の対応情報（学習結果）に対応する。そして、Ｒｅは、例えば、ｉ次元空間における位置ベクトルで表すことができ、また、［Ｒｖ、Ｒｓ］は、視覚と聴覚を組み合わせた、例えば、（ｎ＋ｍ）次元空間における位置ベクトルで表すことができる。これにより、この二つの位置ベクトルの関係を、脳活動の計測結果を介して、関連付けることができ、この関連付けが、第２の対応情報となる。また、Ａを推定する際には、Ｌ２ノルムを考慮したリッジ回帰を用いてもよい。
このように、空間対応構築部１２５は、視覚・聴覚空間における位置情報と感情空間における位置情報とを対応付け、第２の対応情報を生成する。空間対応構築部１２５は、生成した第２の対応情報を、構築結果記憶部１１５に記憶させる。

推定装置４０は、解析装置１０が学習処理により構築した各種構築結果と、それらの対応情報と用いて、推定対象の動画データから感情評定を推定する推定処理を実行する。推定装置４０は、記憶部４１と、制御部４２とを備える。

記憶部４１は、例えば、特徴量記憶部４１１と、投射結果記憶部４１２と、感情情報記憶部４１３と、推定結果記憶部４１４とを備える。
特徴量記憶部４１１は、推定対象の動画データから抽出された視覚特徴量と、聴覚特徴量とを記憶する。具体的には、特徴量記憶部４１１は、特徴量抽出部４２１により所定の時間間隔ごと（所定の単位時間ごと）に推定対象の動画データから抽出された視覚特徴量及び聴覚特徴量を、時系列に記憶する。

投射結果記憶部４１２は、感情評定の推定処理における中間情報である各種投射結果を記憶する。投射結果記憶部４１２は、例えば、視覚特徴量から視覚特徴空間に投射した投射結果、聴覚特徴量から聴覚特徴空間に投射した投射結果、及び視覚・聴覚空間から感情空間に投射した投射結果を記憶する。また、投射結果記憶部４１２は、例えば、所定の時間間隔ごとに各種投射結果を時系列に記憶する。

感情情報記憶部４１３は、動画・画像または音などの刺激に対して所定の時間間隔ごとに紐づけられた感情評定と、例えば、“悲しい”、“恐怖”などの複数種別のうちいずれかの感情の名称（ラベル情報）とを対応付けて記憶する。
推定結果記憶部４１４は、推定装置４０により推定された、推定対象の動画データに対応する感情評定の推定結果を記憶する。推定結果記憶部４１４は、例えば、所定の時間間隔ごとに、感情評定の推定結果を時系列に記憶する。

制御部４２は、例えば、ＣＰＵなどを含むプロセッサであり、推定装置４０を統括的に制御する。制御部４２は、特徴量抽出部４２１と、特徴空間投射部４２２と、感情空間投射部４２３と、推定処理部４２４とを備える。

特徴量抽出部４２１は、推定対象の動画データを取得して、当該推定対象の動画データから複数の感覚に関する複数の特徴量を抽出する。推定対象の動画データには、画像データと音データとが含まれる。特徴量抽出部４２１は、例えば、推定対象の動画データの画像データから所定の時間間隔ごとの視覚特徴量を抽出し、音データから所定の時間間隔ごとの聴覚特徴量を抽出する。特徴量抽出部４２１は、推定対象の動画データから抽出した所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を時系列に特徴量記憶部４１１に記憶させる。

特徴空間投射部４２２（第１変換部の一例）は、上述した第１の対応情報に基づいて、特徴量抽出部４２１によって推定対象の動画データから抽出された複数の特徴量を、それぞれに対応する複数の第１脳情報に変換する。特徴空間投射部４２２は、まず、解析装置１０の構築結果記憶部１１５が記憶する構築結果（係数情報Ｗｖ及び係数情報Ｗｓ）を取得する。特徴空間投射部４２２は、特徴量記憶部４１１が記憶する視覚特徴量Ｓｖを、取得した係数情報Ｗｖを用いて、視覚特徴空間に投射し、視覚特徴空間における位置情報Ｒｖに変換する。特徴空間投射部４２２は、特徴量記憶部４１１が記憶する聴覚特徴量Ｓｓを、取得した係数情報Ｗｓを用いて、聴覚特徴空間に投射し、視覚特徴空間における位置情報Ｒｓに変換する。特徴空間投射部４２２は、これらの投射処理を、所定の時間間隔ごとの特徴量（Ｓｖ、Ｓｓ）に対して実行し、投射結果（Ｒｖ、Ｒｓ）を投射結果記憶部４１２に時系列に記憶させる。

感情空間投射部４２３（第２変換部の一例）は、上述した第２の対応情報に基づいて、特徴空間投射部４２２によって変換された複数の第１脳情報を、第２脳情報に変換する。具体的には、感情空間投射部４２３は、まず、解析装置１０の構築結果記憶部１１５が記憶する構築結果（係数情報Ａ）を取得する。感情空間投射部４２３は、投射結果記憶部４１２が記憶する投射結果（Ｒｖ、Ｒｓ）を取得し、例えば、視覚特徴空間における位置情報Ｒｖと聴覚特徴空間における位置情報Ｒｓとを結合して、視覚・聴覚空間における位置情報Ｒｖ及びＲｓを生成する。感情空間投射部４２３は、取得した係数情報Ａを用いて、視覚・聴覚空間における位置情報Ｒｖ及びＲｓを感情空間に投射し、感情空間における位置情報Ｒｅに変換する。感情空間投射部４２３は、これらの投射し、変換する処理を、所定の時間間隔ごとの視覚・聴覚空間における位置情報Ｒｖ及びＲｓに対して実行し、変換した結果（Ｒｅ）を投射結果記憶部４１２に時系列に記憶させる。

推定処理部４２４（推定部の一例）は、感情空間投射部４２３によって変換された第２脳情報（感情空間における位置情報Ｒｅ）に基づいて、推定対象の動画データに対応する感情評定を推定する。推定処理部４２４は、例えば、解析装置１０の構築結果記憶部１１５が記憶する係数情報Ｗｅ（第３の対応情報）など利用して、感情空間における位置情報Ｒｅを逆変換して、感情評定を推定してもよいし、予め判明している感情評定に対応する感情空間における位置との距離に基づいて、感情評定を推定してもよい。推定処理部４２４は、感情評定の推定結果を推定結果記憶部４１４に記憶させる。

推定処理部４２４は、感情評定の推定結果を推定装置４０に外部に出力する。推定処理部４２４は、例えば、感情評定の推定結果を外部に出力する際に、感情情報記憶部４１３が記憶する情報を用いて、感情の名称に変換して出力してもよい。

次に、図面を参照して、本実施形態による推定システム１の動作についての一例を説明する。
図２は、本実施形態による推定システム１の学習処理の一例を示すフローチャートである。また、図３は、本実施形態における距離空間の構築処理の一例を説明する図である。また、図４は、本実施形態における空間対応関係の構築処理の一例を説明する図である。

図２に示すように、推定システム１の解析装置１０は、学習用の動画による視覚刺激及び聴覚刺激に対する脳活動を計測する（ステップＳ１０１）。解析装置１０の計測制御部１２１は、動画記憶部１１１が記憶する動画データを表示装置２１及びスピーカ２２に出力させ、当該動画データによる画像及び音を刺激として推定基準者Ｓ１に与えた際の脳活動を、ｆＭＲＩ３０に計測させる。計測制御部１２１は、ｆＭＲＩ３０が計測した脳活動の計測結果（ｆＭＲＩ信号）を所定の時間間隔で取得し、当該計測結果を計測結果記憶部１１４に時系列に記憶させる。

次に、解析装置１０の特徴量抽出部１２２は、学習用動画データから視覚特徴量及び聴覚特徴量を抽出する（ステップＳ１０２、図３参照）。特徴量抽出部１２２は、所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を抽出し、時系列に特徴量記憶部１１３に記憶させる。

次に、解析装置１０の特徴空間構築部１２３は、視覚特徴量と脳活動の計測結果とから視覚特徴空間を構築する（ステップＳ１０３、図３参照）。特徴空間構築部１２３は、特徴量記憶部１１３が時系列に記憶する視覚特徴量と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データを、上述した式（１）を用いて学習処理して、視覚特徴空間のモデルを構築する。特徴空間構築部１２３は、学習結果として、係数情報Ｗｖを生成し、生成した係数情報Ｗｖを構築結果記憶部１１５に記憶させる。

次に、特徴空間構築部１２３は、聴覚特徴量と脳活動の計測結果とから聴覚特徴空間を構築する（ステップＳ１０４、図３参照）。特徴空間構築部１２３は、特徴量記憶部１１３が時系列に記憶する聴覚特徴量と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データを、上述した式（２）を用いて学習処理して、聴覚特徴空間のモデルを構築する。特徴空間構築部１２３は、学習結果として、係数情報Ｗｓを生成し、生成した係数情報Ｗｓを構築結果記憶部１１５に記憶させる。

次に、解析装置１０の感情空間構築部１２４は、感情評定と脳活動の計測結果とから感情空間を構築する（ステップＳ１０５、図３参照）。感情空間構築部１２４は、感情評定記憶部１１２が時系列に予め記憶されている感情評定と、計測結果記憶部１１４が時系列に記憶する計測結果との複数の組データを、上述した式（３）を用いて学習処理して、感情空間のモデルを構築する。感情空間構築部１２４は、学習結果として、係数情報Ｗｅを生成し、生成した係数情報Ｗｅを構築結果記憶部１１５に記憶させる。

次に、解析装置１０の空間対応構築部１２５は、視覚特徴空間及び聴覚特徴空間と、感情空間との対応関係を学習する（ステップＳ１０６、図４参照）。空間対応構築部１２５は、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、上述した式（４）を用いて、視覚・聴覚空間と感情空間との対応関係を学習する。空間対応構築部１２５は、学習結果として、係数情報Ａを生成し、生成した係数情報Ａを構築結果記憶部１１５に記憶させる。ステップＳ１０６の処理後に、空間対応構築部１２５は、学習処理を終了する。

上述したステップＳ１０２からステップＳ１０５までの処理は、図３に示す距離空間の構築処理に対応する。図３に示すように、解析装置１０は、学習用動画データから視覚特徴量及び聴覚特徴量を抽出するとともに、学習用動画データに対応する感情評定を取得する。そして、解析装置１０は、脳活動の計測結果に基づいて、視覚特徴量から視覚特徴空間を構築して係数情報Ｗｖ（第１の対応情報）を生成し、聴覚特徴量から聴覚特徴空間を構築して係数情報Ｗｓ（第１の対応情報）を生成する。また、解析装置１０は、脳活動の計測結果に基づいて、感情評定から感情空間を構築して係数情報Ｗｅを生成する。

また、上述したステップＳ１０６の処理は、図４に示す空間対応関係の構築処理に対応する。図４に示すように、解析装置１０は、上述した距離空間の構築処理にて構築した視覚特徴空間及び聴覚特徴空間（視覚・聴覚空間）と、感情空間との対応関係を、例えば、線形回帰モデルを用いて、学習する。

次に、図面を参照して、本実施形態による推定システム１の推定処理について説明する。
図５は、本実施形態による推定システム１の推定処理の一例を示すフローチャートである。また、図６は、本実施形態による推定システム１の推定処理の一例の概要を説明する図である。

図５に示すように、推定装置４０の特徴量抽出部４２１は、まず、推定対象の動画データを取得する（ステップＳ２０１）。
次に、特徴量抽出部４２１は、推定対象の動画データから視覚特徴量及び聴覚特徴量を抽出する（ステップＳ２０２、図６参照）。特徴量抽出部４２１は、例えば、推定対象の動画データに含まれる画像データから視覚特徴量Ｓｖを抽出する。また、特徴量抽出部４２１は、例えば、推定対象の動画データに含まれる音データから聴覚特徴量Ｓｓを抽出する。特徴量抽出部４２１は、抽出した視覚特徴量Ｓｖ及び聴覚特徴量Ｓｓを特徴量記憶部４１１に記憶させる。

次に、推定装置４０の特徴空間投射部４２２は、視覚特徴量を視覚特徴空間に投射する（ステップＳ２０３、図６参照）。特徴空間投射部４２２は、特徴量記憶部４１１が記憶する視覚特徴量Ｓｖを、解析装置１０が生成した係数情報Ｗｖを用いて、視覚特徴空間に投射し、視覚特徴空間における位置情報Ｒｖに変換する。特徴空間投射部４２２は、視覚特徴空間における位置情報Ｒｖを投射結果記憶部４１２に記憶させる。

次に、特徴空間投射部４２２は、聴覚特徴量を聴覚特徴空間に投射する（ステップＳ２０４、図６参照）。特徴空間投射部４２２は、特徴量記憶部４１１が記憶する聴覚特徴量Ｓｓを、解析装置１０が生成した係数情報Ｗｓを用いて、聴覚特徴空間に投射し、聴覚特徴空間における位置情報Ｒｓに変換する。特徴空間投射部４２２は、聴覚特徴空間における位置情報Ｒｓを投射結果記憶部４１２に記憶させる。

次に、推定装置４０の感情空間投射部４２３は、視覚特徴空間及び聴覚特徴空間の位置から感情空間の位置を推定する（ステップＳ２０５、図６参照）。感情空間投射部４２３は、視覚特徴空間における位置情報Ｒｖと聴覚特徴空間における位置情報Ｒｓとを結合して、視覚・聴覚空間における位置情報Ｒｖ及びＲｓを生成する。感情空間投射部４２３は、解析装置１０が生成した係数情報Ａを用いて、視覚・聴覚空間における位置情報Ｒｖ及びＲｓを感情空間に投射し、感情空間における位置情報Ｒｅに変換する。

次に、推定装置４０の推定処理部４２４は、感情空間の位置から感情評定を逆投射する（ステップＳ２０６、図６参照）。推定処理部４２４は、感情空間における位置情報Ｒｅを、解析装置１０が生成した係数情報Ｗｅを利用して、感情評定に逆投射し、感情評定を推定する。
次に、推定処理部４２４は、推定した感情評定を出力する（ステップＳ２０７）。
推定装置４０は、推定対象の動画データに対して、上述したステップＳ２０１からＳ２０７の処理を、所定の時間間隔ごとに繰り返し実行する。

以上説明したように、本実施形態による推定システム１は、特徴量抽出部４２１と、特徴空間投射部４２２（第１変換部）と、感情空間投射部４２３（第２変換部）と、推定処理部４２４（推定部）とを備える。特徴量抽出部４２１は、推定対象の刺激情報（例えば、動画データ）から複数の感覚に関する複数の特徴量（例えば、視覚特徴量及び聴覚特徴量）を抽出する。特徴空間投射部４２２は、第１の対応情報に基づいて、特徴量抽出部４２１によって推定対象の刺激情報から抽出された感覚に関する複数の特徴量を、それぞれに対応する複数の第１脳情報（例えば、視覚特徴空間における位置情報及び聴覚特徴空間における位置情報）に変換する。第１の対応情報は、複数の感覚に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す情報である。感情空間投射部４２３は、第２の対応情報に基づいて、特徴空間投射部４２２によって変換された複数の第１脳情報を、第２脳情報（例えば、感情空間における位置情報）に変換する。第２の対応情報は、第１脳情報と、推定基準者Ｓ１の内的な状態（例えば、感情）に対応する少なくとも１つの第２脳情報との対応関係を示す情報である。推定処理部４２４は、感情空間投射部４２３によって変換された第２脳情報に基づいて、推定対象の刺激情報に対応する内的な状態を推定する。ここで、第１脳情報と第2脳情報は、独立して取り扱われており、仮に、脳内においてこれらが独立に表現されていたとしても、感覚特徴量から感情空間への推定を有効に行うことができる。

これにより、本実施形態による推定システム１は、第１の対応情報と、第２の対応情報とを使用して、感情などの推定基準者Ｓ１の内的な状態を推定するため、内的な状態を推定する度に、ｆＭＲＩ３０による脳活動の計測を行う必要がない。そのため、本実施形態による推定システム１は、刺激情報に対する推定基準者Ｓ１の内的な状態を、迅速、且つ簡便に推定することができる。例えば、本実施形態による推定システム１は、映画やドラマ、ホームビデオなどの映像・音声コンテンツが視聴者（例えば、推定基準者Ｓ１）に与える感情の効果を、実際に視聴させずに画像や音声から評価することができる。

また、図７は、本実施形態による推定システム１の効果の一例を説明する図である。
この図において、グラフの横軸は、本実施形態の推定システム１における推定された感情評定（推定値）と実際の感情評定（真の値）との相関係数の一例を示している。ここでの本実施形態における相関係数は、脳情報に関する知見を利用して感情評定を推定した場合を示している。また、グラフの縦軸は、脳情報を介さずに、単純に視覚特徴量及び聴覚特徴量から感情評定を推定した場合の推定された感情評定と実際の感情評定との相関係数を示している。

脳（脳情報）を介さずとは、図４に示すような視覚・聴覚特徴量から視覚・聴覚空間及び感情空間を介して感情評定を推定する本実施形態の方法に対し、視覚・聴覚特徴量から直接的に感情評定を推定する方法である。より具体的には、脳情報を介さずとは、視覚・聴覚特徴量から感情評定を説明するような線形回帰モデルを示す。また、各丸印は、感情評定の項目（名称、又はラベル情報）に対応している。また、この結果は、ある条件の学習用動画データを用いて学習処理を行い（一例として、「ワクワクする」に関連する時間帯から取得した視覚・聴覚特徴量及び感情評定を学習処理した例）、構築した従来の推定システムを用いて示されたものである。

図７において、黒丸印は、ｆＭＲＩ３０により脳活動を計測せず、脳情報を介さずに推定した場合に比べて、本実施形態における相関係数が高く、推定精度の良い感情評定の項目を示している。縦縞の丸印は、本実施形態における相関係数が０．２以上であるが、脳情報を介さずに推定した場合に比べて、推定精度の悪い感情評定の項目を示している。白丸印は、脳情報を介する、及び脳情報を介さない場合のいずれにおいても相関係数が０．２以下であり、推定精度が低い感情評定の項目を示している。

図７に示すように、黒丸印の数が、縦縞の丸印の数よりも多く、本実施形態による推定システム１は、脳活動を介さずに推定した場合に比べて、推定精度が高い傾向にあることを示している。このように、この条件において、本実施形態による推定システム１が、単純に感覚に関する特徴量から推定基準者Ｓ１の内的な状態を推定する場合に比べて、高い推定精度を持つことが示されている。サインランク検定（ｐ＜０．０１）により、脳情報を介さずに推定した場合に比べて、本実施形態による推定システム１の方が、有意に相関係数が高い結果となった。

また、本実施形態では、第１脳情報は、感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報（例えば、感覚に対応する距離空間における位置情報）である。第２脳情報は、内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報（例えば、内的な状態に対応する距離空間における位置情報）である。感情空間投射部４２３は、第２の対応情報に基づいて、複数の第１脳情報が示す距離空間における位置を、第２脳情報が示す距離空間における位置に変換する。推定処理部４２４は、第２脳情報が示す距離空間における位置に基づいて、内的な状態を推定する。
この脳活動の情報パターンの距離に関する情報は、本実施形態による推定システム１により推定値として得られるものである。このため、本実施形態による推定システム１は、推定対象の動画データについて、その動画データを推定基準者Ｓ１が視聴した際の脳活動をｆＭＲＩ３０により新しく計測しない場合でも、推定した距離空間を利用して、刺激情報に対する推定基準者Ｓ１の内的な状態を、迅速、且つ簡便に推定することができる。

また、本実施形態による推定システム１は、特徴空間構築部１２３（第１生成部）と、感情空間構築部１２４（第２生成部）と、空間対応構築部１２５（第３生成部）とを備える。特徴空間構築部１２３は、学習用動画データから抽出された視覚特徴量及び聴覚特徴量と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、視覚及び聴覚のそれぞれに対応する第１の対応情報を生成する。感情空間構築部１２４は、学習用動画データに対応する感情を示す情報（感情評定）と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、第３の対応情報を生成する。第３の対応情報は、感情評定と第２脳情報との対応関係を示す。空間対応構築部１２５は、学習用動画データに対応する複数の感覚についての第１脳情報が示す距離空間（視覚・聴覚空間）における位置と、第３の対応情報に基づいて感情評定から生成された第２脳情報が示す距離空間（感情空間）における位置とに基づいて、第２の対応情報を生成する。
これにより、本実施形態による推定システム１は、感情（内的な状態）を推定するための第１の対応情報及び第２の対応情報を生成することができ、推定対象の動画データに対応する推定基準者Ｓ１の感情（内的な状態）を、迅速、且つ簡便に推定することができる。

本実施形態では、特徴量抽出部４２１は、所定の単位時間ごとに、特徴量を抽出する。推定処理部４２４は、所定の単位時間ごとの第２脳情報が示す距離空間における位置（感情空間における位置）に基づいて、推定対象の動画データに対応する所定の単位時間ごとの感情を推定する。
これにより、本実施形態による推定システム１は、例えば、感情（内的な状態）の時間変化を推定することができる。

本実施形態では、複数の感覚は、視覚と聴覚とである。特徴量抽出部４２１は、視覚に関する視覚特徴量と、聴覚に関する聴覚特徴量とを抽出する。特徴空間投射部４２２は、視覚に対応する第１の対応情報に基づいて、視覚特徴量を視覚に対応する第１脳情報が示す視覚特徴空間における位置に変換し、聴覚に対応する第１の対応情報に基づいて、聴覚特徴量を聴覚に対応する第１脳情報が示す聴覚特徴空間における位置に変換する。感情空間投射部４２３は、第２の対応情報に基づいて、特徴空間投射部４２２によって変換された視覚特徴空間における位置及び聴覚特徴空間における位置を、第２脳情報が示す距離空間（感情空間）における位置に変換する。
これにより、本実施形態による推定システム１は、視覚と聴覚とによる推定対象の動画データから推定基準者Ｓ１の内的な状態を、適切に推定することができる。

本実施形態では、推定基準者Ｓ１の内的な状態には、推定基準者Ｓ１の感情が含まれる。感情空間投射部４２３は、複数の第１脳情報が示す距離空間における位置と、感情に対応する第２脳情報が示す感情空間における位置との対応関係を示す第２の対応情報に基づいて、複数の第１脳情報が示す距離空間における位置を、感情空間における位置に変換する。推定処理部４２４は、感情空間における位置に基づいて、推定対象の動画データに対応する感情を推定する。
これにより、本実施形態による推定システム１は、例えば、推定対象の動画データから適切に感情を推定することができる。

また、本実施形態では、複数の感覚に関する特徴量（例えば、視覚特徴量及び聴覚特徴量）、及び内的な状態を示す情報（例えば、感情評定）は、多次元の情報であり、内的な状態を示す情報は、複数の感覚に関する特徴量の次元数より少ない次元数の情報である、
これにより、本実施形態による推定システム１は、多次元の特徴量（例えば、視覚特徴量及び聴覚特徴量）より次元数の少ない状態を示す情報（例えば、感情評定）を推定するため、多次元の特徴と同等かそれ以上の次元数の情報を推定する場合と比べて、より精度よく推定基準者Ｓ１の内的な状態を推定することが期待できる。

また、本実施形態では、推定処理部４２４は、感情空間における位置から第３の対応情報に基づいて、推定対象の動画データに対応する感情を推定する。すなわち、推定処理部４２４は、第３の対応情報を利用した逆投射（逆変換）により感情空間における位置から感情を推定する。
これにより、本実施形態による推定システム１は、逆投射（逆変換）という簡易な手法により、感情空間における位置から感情を適切に推定することができる。

また、本実施形態による推定方法は、特徴量抽出ステップと、第１変換ステップと、第２変換ステップと、推定ステップとを含む。特徴量抽出ステップにおいて、特徴量抽出部４２１が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する。第１変換ステップにおいて、特徴空間投射部４２２が、複数の感覚に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、特徴量抽出ステップによって推定対象の刺激情報から抽出された複数の特徴量を、それぞれに対応する複数の第１脳情報に変換する。第２変換ステップにおいて、感情空間投射部４２３が、第１脳情報と、推定基準者Ｓ１の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、第１変換ステップによって変換された複数の第１脳情報を、第２脳情報に変換する。推定ステップにおいて、推定処理部４２４が、第２変換ステップによって変換された第２脳情報に基づいて、推定対象の刺激情報に対応する内的な状態を推定する。
これにより、本実施形態による推定方法は、上述した推定システム１と同様の効果を奏し、刺激情報に対する推定基準者Ｓ１の内的な状態を、迅速、且つ簡便に推定することができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態による推定システム１ａについて説明する。
上述した第１の実施形態では、動画データから抽出した視覚特徴量及び聴覚特徴量から、第１変換ステップと第２変換ステップとの２段階の変換により、感情を推定する例を説明したが、本実施形態では、数理モデルを利用して、１段の変換により、視覚特徴量及び聴覚特徴量から感情を推定する一例について説明する。

図８は、第２の実施形態による推定システム１ａの一例を示す機能ブロック図である。
図８に示すように、推定システム１ａは、解析装置１０ａと、表示装置２１と、スピーカ２２と、ｆＭＲＩ３０と、推定装置４０ａとを備える。
この図において、上述した図１と同一の構成には同一の符号を付与してその説明を省略する。

解析装置１０ａは、記憶部１１ａと、制御部１２ａとを備える。また、記憶部１１ａは、解析装置１０ａが利用する各種情報を記憶する。記憶部１１ａは、例えば、動画記憶部１１１と、感情評定記憶部１１２と、特徴量記憶部１１３と、計測結果記憶部１１４と、構築結果記憶部１１５ａとを備える。

構築結果記憶部１１５ａは、解析装置１０ａの学習処理によって構築された各種構築結果を記憶する。構築結果記憶部１１５ａは、例えば、視覚特徴空間（視覚空間の一例）の構築結果（重み付け情報Ｗｖ）、聴覚特徴空間（聴覚空間の一例）の構築結果（重み付け情報Ｗｓ）、感情空間の構築結果（重み付け情報Ｗｅ）、及び、視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルのモデルパラメータ（重み付け情報Ａ）を記憶する。モデルパラメータ（重み付け情報Ａ）の詳細については、後述する。

制御部１２ａは、例えば、ＣＰＵなどを含むプロセッサであり、解析装置１０ａを統括的に制御する。制御部１２ａは、計測制御部１２１と、特徴量抽出部１２２と、特徴空間構築部１２３と、感情空間構築部１２４と、空間対応構築部１２５ａと、モデル構築部１２６とを備える。

空間対応構築部１２５ａ（第３生成部の一例）は、第１の実施形態と同様に、第３の対応情報（第１の実施形態の第２の対応情報）を生成する。なお、本実施形態において、説明の都合上、第１の実施形態の第２の対応情報を第３の対応情報とし、第１の実施形態の第３の対応情報を第２の対応情報として説明する。
また、空間対応構築部１２５ａは、第３の対応情報を生成する際の視覚・聴覚空間の座標次元ごとの、感情空間の座標位置を説明する際の貢献度を算出する。すなわち、空間対応構築部１２５ａは、第３の対応情報を生成する際の複数の第１脳情報（視覚・聴覚空間における位置情報）に含まれる要素（各次元）ごとの、第２脳情報における各感情の位置情報を説明する際の貢献度を生成する。

この処理が必要なのは、視覚特徴空間及び聴覚特徴空間と感情空間の上では、視聴覚特徴量と感情評定の各要素間（各次元間）の相関が、視覚特徴空間及び聴覚特徴空間と感情空間に位置付ける前の視覚特徴量・聴覚特徴量と感情評定の各要素間（各次元間）の相関と比べて、異なっている可能性があるためである。言い換えれば、視覚特徴空間及び聴覚特徴空間と感情空間の上における、感情評定のある要素（次元）と強い相関のある視聴覚特徴量のある要素（次元）、または、相関のない他の要素（次元）を定量化するということである。この各要素間の相関、すなわち貢献度を考慮する例として、相関の強い視聴覚特徴量を優先的に利用することが挙げられるが、これにより正確な推定を行うことが期待できる。

モデル構築部１２６は、複数の特徴量と、内的な状態を示す情報と、各要素の貢献度とに基づいて、複数の特徴量から内的な状態を示す情報を推定する数理モデルを構築する。モデル構築部１２６は、例えば、視覚特徴量及び聴覚特徴量と、感情評定と、空間対応構築部１２５ａが生成した各要素（各次元）の貢献度とに基づいて、線形回帰モデルによる下記の式（５）を用いて、視覚特徴量及び聴覚特徴量から感情評定を推定する学習処理を実行する。

Ｓｅ＾＝Ｓｖｓ×Ａ ・・・ （５）
Ｌ＝(Ｓｅ−Ｓｖｓ×Ａ)^Ｔ(Ｓｅ−Ｓｖｓ×Ａ)−２λ(ＲＡ−ｒ) ・・・ （６）

Ｓｅ＾は、推定される感情評定を示し、Ｓｅは、感情評定を示し、Ｓｖｓは、視覚特徴量と聴覚特徴量との結合の結果を示す。また、Ａは、式（６）のＬを最小化するように推定される係数情報（重み付け情報、モデルパラメータ）であり、本実施形態における学習結果（構築結果）に対応する。また、２λ(ＲＡ−ｒ)は、視覚・聴覚特徴量の各要素の貢献度と係数情報Ａとの関係についての制約に関する項であり、これにより係数情報Ａの範囲が限定される。制約条件は、例えば、ある感情評定との共起関係が弱い視覚・聴覚特徴の要素パターンとなるべく直交するように、その感情に対応する係数情報Ａの要素パターンを推定する、といったものである。このとき、Ｒとｒは、その条件を満たすように決定される。

式（６）について、さらに詳しく説明する。式（６）において、第１項は、実際の感情評定Ｓｅと推定された感情評定の差異についてのコサイン距離（内積）を表し、通常はこの値が最小となるようにパラメータＡの設定が行われる。第２項は、回帰モデルを解く場合における正則化項である。例えば、視聴覚特徴量Ｓｖｓと実際の感情評定Ｓｅとの共分散行列において、各感情評定次元に対応するベクトルと直交するベクトルを算出できるが、この直交するベクトルを感情評定次元分、組み合わせたものを行列Ｒとする。これによりＲはＳｅを説明するときの、Ｓｖの各要素の貢献度を表現する行列となり、式（６）のＬを最小化する過程で、パラメータＡをＲと直交する（ＲＡ＝０）ように推定が行われ、視聴覚特徴量の貢献度が反映されることとなる。
このように、モデル構築部１２６は、回帰モデルにより、視覚特徴量及び聴覚特徴量から感情評定を推定するモデルパラメータである重み付け情報Ａを生成する。モデル構築部１２６は、生成した重み付け情報Ａを、構築結果記憶部１１５ａに記憶させる。

推定装置４０ａは、解析装置１０ａが学習処理により学習した学習結果を用いて、推定対象の動画データから感情評定を推定する推定処理を実行する。推定装置４０ａは、記憶部４１ａと、制御部４２ａとを備える。
記憶部４１ａは、推定装置４０ａが利用する各種情報を記憶する。記憶部４１ａは、例えば、特徴量記憶部４１１と、感情情報記憶部４１３と、推定結果記憶部４１４とを備える。

制御部４２ａは、例えば、ＣＰＵなどを含むプロセッサであり、推定装置４０ａを統括的に制御する。制御部４２ａは、特徴量抽出部４２１と、推定処理部４２４ａとを備える。

推定処理部４２４ａは、モデル構築部１２６によって構築された数理モデルに基づいて、特徴量抽出部４２１によって推定対象の刺激情報から抽出された複数の特徴量から内的な状態を示す情報を考慮して推定した重み付け情報Ａを利用して、推定対象の刺激情報に対応する内的な状態を推定する。すなわち、推定処理部４２４ａは、まず、解析装置１０の構築結果記憶部１１５ａが記憶する重み付け情報Ａを取得する。推定処理部４２４ａは、特徴量記憶部４１１が記憶する視覚特徴量及び聴覚特徴量（Ｓｖｓ）を、重み付け情報Ａを用いて、上述した式（５）により、感情評定を推定する。推定処理部４２４ａは、推定した感情評定を推定結果として推定結果記憶部４１４に記憶させる。

次に、図面を参照して、本実施形態による推定システム１ａの動作について説明する。
図９は、本実施形態による推定システム１ａの学習処理の一例を示すフローチャートである。また、図１０は、本実施形態における感情評定を推定する回帰モデルの構築処理の一例を説明する図である。

図９に示すステップＳ３０１からステップＳ３０５までの処理は、上述した図２に示すステップＳ１０１からステップＳ１０５までの処理と同様であるためここではその説明を省略する。
ステップＳ３０５の処理において、感情空間構築部１２４は、本実施形態における第２の対応情報として、係数情報Ｗｅを生成する。

ステップＳ３０６において、解析装置１０ａの空間対応構築部１２５ａは、視覚特徴空間及び聴覚特徴空間と、感情空間との対応関係を学習し、視覚・聴覚特徴に関する次元ごとの、各感情を説明する際の貢献度を算出する（ステップＳ３０６、図１０参照）。空間対応構築部１２５ａは、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、第３の対応情報である、視覚・聴覚空間の座標次元ごとに感情空間の座標次元を説明する際の貢献度を算出する。

次に、モデル構築部１２６は、各次元の貢献度を制約条件として視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルを構築する（ステップＳ３０７、図１０参照）。モデル構築部１２６は、特徴量記憶部１１３が記憶する視覚特徴量及び聴覚特徴量と、感情評定記憶部１１２が記憶する感情評定との複数の組データを、視覚・聴覚空間の座標次元ごとの貢献度に関する知識を重み付け調整の制約条件として、上述した式（６）のＬを最小化するように学習処理して、視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルを構築する。ここで、貢献度に関する知識とは、例えば、脳内情報表現における視聴覚特徴の各次元と感情評定との共起関係を表す情報（値）である。モデル構築部１２６は、学習結果として、視覚特徴量及び聴覚特徴量から感情評定を推定するモデルパラメータである重み付け情報Ａを生成し、生成した重み付け情報Ａを構築結果記憶部１１５ａに記憶させる。ステップＳ３０７の処理後に、モデル構築部１２６は、学習処理を終了する。

次に、図面を参照して、本実施形態による推定システム１ａの推定処理について説明する。
図１１は、本実施形態による推定システム１ａの推定処理の一例を示すフローチャートである。また、図１２は、本実施形態による推定システム１ａの推定処理の一例を説明する図である。

図１１に示すステップＳ４０１、ステップＳ４０２、及びステップＳ４０４の処理は、上述した図５に示すステップＳ２０１、ステップＳ２０２、及びステップＳ２０４の処理と同様であるため、ここではその説明を省略する。

ステップＳ４０３において、推定装置４０ａの推定処理部４２４ａは、回帰モデルにより感情評定を推定する（図１２参照）。推定処理部４２４ａは、特徴量記憶部４１１が記憶する視覚特徴量及び聴覚特徴量（Ｓｖｓ）を、解析装置１０ａが生成した重み付け情報Ａ、及び上述した式（５）を用いて、感情評定を推定する。推定処理部４２４ａは、推定した感情評定を推定結果として推定結果記憶部４１４に記憶させる。

以上説明したように、本実施形態による推定システム１ａは、特徴空間構築部１２３（第１生成部）と、感情空間構築部１２４（第２生成部）と、空間対応構築部１２５ａ（第３生成部）と、モデル構築部１２６と、特徴量抽出部４２１と、推定処理部４２４ａとを備える。特徴空間構築部１２３は、学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量（視覚特徴量及び聴覚特徴量）と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、複数の感覚（視覚及び聴覚）に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報を生成する。第１脳情報は、感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である。

また、感情空間構築部１２４は、学習用動画データに対応する推定基準者Ｓ１の感情評定と、推定基準者Ｓ１に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感情評定と、感情に対応する第２脳情報との対応関係を示す第２の対応情報（係数情報Ｗｅ）を生成する。第２脳情報は、感情を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である。

また、空間対応構築部１２５ａは、第１の対応情報に基づいて複数の特徴量（視覚特徴量及び聴覚特徴量）から生成された、学習用動画データに対応する複数の第１脳情報と、第２の対応情報に基づいて感情評定から生成された第２脳情報との対応関係を示す第３の対応情報を生成する。ここで第３の対応情報とは、視覚・聴覚空間の座標次元ごとの、感情空間の座標次元を説明する際の各要素（各次元）の貢献度である。モデル構築部１２６は、複数の特徴量（視覚特徴量及び聴覚特徴量）と、感情評定と、各要素の貢献度とに基づいて、複数の特徴量（視覚特徴量及び聴覚特徴量）から感情評定を推定する数理モデル（例えば、回帰モデル）を構築する。

また、特徴量抽出部４２１は、推定対象の動画データから複数の感覚（視覚及び聴覚）に関する複数の特徴量（視覚特徴量及び聴覚特徴量）を抽出する。推定処理部４２４ａは、モデル構築部１２６によって構築された数理モデルに基づいて、特徴量抽出部４２１によって推定対象の動画データから抽出された複数の特徴量（視覚特徴量及び聴覚特徴量）を用いて感情評定を推定し、当該感情評定に基づいて、推定対象の動画データに対応する感情を推定する。
これにより、本実施形態による推定システム１ａは、上述した第１の実施形態と同様の効果を奏し、動画データなどの刺激情報に対する推定基準者Ｓ１の感情（内的な状態）を、迅速、且つ簡便に推定することができる。

本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、感覚として、視覚及び聴覚を適用する例を説明したが、これに限定されるものではなく、例えば、味覚、嗅覚、触覚などの他の感覚であってもよい。

また、上記の各実施形態において、推定基準者Ｓ１の内的な状態の一例として、感情を推定する例を説明したがこれに限定されるものではなく、感情に代えて、例えば、善悪など自己の価値観に沿うかどうかの判断や体調の良し悪しなど他の内的な状態を推定するようにしてもよい。
また、上記の各実施形態において、刺激情報の一例として、動画データを用いる例を説明したが、これに限定されるものではなく、視覚、聴覚、味覚、嗅覚、触覚などの感覚に関する特徴量が抽出可能な刺激情報であれば、他の情報であってもよい。

また、上記の各実施形態において、第１の対応情報、第２の対応情報、第３の対応情報、は、係数情報（重み付け情報）である例を説明したが、これに限定されるものではなく、変換テーブルや対応表、その他の機械学習の学習結果などの対応情報や係数情報であってもよい。
また、上記の各実施形態において、線形回帰モデルを利用して、学習処理を実行する例を説明したが、これに限定されるものではなく、非線形関数を利用するものであってもよいし、回帰モデル以外の数理モデルを利用するようにしてもよい。

また、上記の各実施形態において、推定システム１（１ａ）は、解析装置１０（１０ａ）と、表示装置２１と、スピーカ２２と、ｆＭＲＩ３０と、推定装置４０（４０ａ）とを備える例を説明したが、解析装置１０（１０ａ）の一部又は全てを推定装置４０（４０ａ）が備えるようにしてもよい。また、解析装置１０（１０ａ）及び推定装置４０（４０ａ）の一部を、各装置の外部に備えるようにしてもよい。例えば、記憶部１１（１１ａ）及び記憶部４１（４１ａ）の一部又は全部を外部に備えるようにしてもよい。また、記憶部１１（１１ａ）及び記憶部４１（４１ａ）の一部又は全部を外部に備える場合には、ネットワークを介して、各装置と接続可能に構成するようにしてもよい。

また、上記の各実施形態において、推定システム１（１ａ）が、放音装置の一例としてスピーカ２２を備える例を説明したが、これに限定されるものではなく、ヘッドフォンなどの放音装置であってもよい。また、推定システム１（１ａ）が、脳活動を計測する計測装置として、ｆＭＲＩ３０を備える例を説明したが、他の計測装置を備えるようにしてもよい。

なお、上述した推定システム１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した推定システム１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した推定システム１（１ａ）が備える各構成における処理を行ってもよい。「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

１，１ａ…推定システム、１０，１０ａ…解析装置、１１，１１ａ，４１，４１ａ…記憶部、１２，１２ａ，４２，４２ａ…制御部、２１…表示装置、２２…スピーカ、３０…ｆＭＲＩ、４０、４０ａ…推定装置、１１１…動画記憶部、１１２…感情評定記憶部、１１３，４１１…特徴量記憶部、１１４…計測結果記憶部、１１５，１１５ａ…構築結果記憶部、１２１…計測制御部、１２２，４２１…特徴量抽出部、１２３…特徴空間構築部、１２４…感情空間構築部、１２５，１２５ａ…空間対応構築部、１２６…モデル構築部、４１２…投射結果記憶部、４１３…感情情報記憶部、４１４…推定結果記憶部、４２２…特徴空間投射部、４２３…感情空間投射部、４２４，４２４ａ…推定処理部、Ｓ１…推定基準者

Claims (9)

1. 推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、
   前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第１脳情報に変換する第１変換部と、
   前記第１脳情報と、推定基準者の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、前記第１変換部によって変換された前記複数の第１脳情報を、前記第２脳情報に変換する第２変換部と、
   前記第２変換部によって変換された前記第２脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部と
   を備える推定システム。
2. 前記第１脳情報は、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、
   前記第２脳情報は、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、
   前記第２変換部は、前記第２の対応情報に基づいて、前記複数の第１脳情報が示す距離空間における位置を、前記第２脳情報が示す距離空間における位置に変換し、
   前記推定部は、前記第２脳情報が示す距離空間における位置情報を利用して、前記内的な状態を推定する
   ことを特徴とする請求項１に記載の推定システム。
3. 学習用の刺激情報から抽出された前記複数の感覚に関する複数の特徴量と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚のそれぞれに対応する前記第１の対応情報を生成する第１生成部と、
   前記学習用の刺激情報に対応する前記内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と前記第２脳情報との対応関係を示す第３の対応情報を生成する第２生成部と、
   前記学習用の刺激情報に対応する前記複数の第１脳情報が示す距離空間における位置と、前記第３の対応情報に基づいて前記内的な状態を示す情報から生成された前記第２脳情報が示す距離空間における位置とに基づいて、前記第２の対応情報を生成する第３生成部と
   を備える請求項２に記載の推定システム。
4. 前記特徴量抽出部は、所定の単位時間ごとに、前記特徴量を抽出し、
   前記推定部は、前記所定の単位時間ごとの前記第２脳情報が示す距離空間における位置に基づいて、前記推定対象の刺激情報に対応する前記所定の単位時間ごとの前記内的な状態を推定する
   請求項２又は請求項３に記載の推定システム。
5. 前記複数の感覚は、視覚と聴覚とであり、
   前記特徴量抽出部は、前記視覚に関する視覚特徴量と、前記聴覚に関する聴覚特徴量とを抽出し、
   前記第１変換部は、前記視覚に対応する前記第１の対応情報に基づいて、前記視覚特徴量を前記視覚に対応する前記第１脳情報が示す視覚空間における位置に変換し、前記聴覚に対応する前記第１の対応情報に基づいて、前記聴覚特徴量を前記聴覚に対応する前記第１脳情報が示す聴覚空間における位置に変換し、
   前記第２変換部は、前記第２の対応情報に基づいて、前記第１変換部によって変換された前記視覚空間における位置及び前記聴覚空間における位置を、前記第２脳情報が示す距離空間における位置に変換する
   請求項２から請求項３のいずれか一項に記載の推定システム。
6. 前記推定基準者の内的な状態には、前記推定基準者の感情が含まれ、
   前記第２変換部は、前記複数の第１脳情報が示す距離空間における位置と、前記感情に対応する前記第２脳情報が示す感情空間における位置との対応関係を示す前記第２の対応情報に基づいて、前記複数の第１脳情報が示す距離空間における位置を、前記感情空間における位置に変換し、
   前記推定部は、複数の前記距離空間における位置から変換された前記感情空間における位置情報に基づいて、前記推定対象の刺激情報に対応する前記感情を推定する
   請求項２から請求項４のいずれか一項に記載の推定システム。
7. 前記複数の感覚に関する特徴量、及び前記内的な状態を示す情報は、多次元の情報であり、
   前記内的な状態を示す情報は、前記複数の感覚に関する特徴量の次元数より少ない次元数の情報である
   請求項１から請求項６のいずれか一項に記載の推定システム。
8. 学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量と、推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚に関するそれぞれの特徴量と、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第１脳情報であって、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報を生成する第１生成部と、
   前記学習用の刺激情報に対応する前記推定基準者の内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第２脳情報であって、前記内的な状態に対応する第２脳情報との対応関係を示す第２の対応情報を生成する第２生成部と、
   前記第１の対応情報に基づいて前記複数の特徴量から生成された、前記学習用の刺激情報に対応する前記複数の第１脳情報と、前記第２の対応情報に基づいて前記内的な状態を示す情報から生成された第２脳情報との対応関係を示す第３の対応情報であり、当該第２脳情報に含まれる各要素を説明する際の前記複数の第１脳情報に含まれる各要素の貢献度を生成する第３生成部と、
   前記複数の特徴量と、前記内的な状態を示す情報と、前記各要素の貢献度とに基づいて、前記複数の特徴量から前記内的な状態を示す情報を推定する数理モデルを構築するモデル構築部と、
   推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、
   前記モデル構築部によって構築された前記数理モデルに基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量から前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部と
   を備える推定システム。
9. 特徴量抽出部が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出ステップと、
   第１変換部が、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第１脳情報との対応関係を示す第１の対応情報に基づいて、前記特徴量抽出ステップによって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第１脳情報に変換する第１変換ステップと、
   第２変換部が、前記第１脳情報と、推定基準者の内的な状態に対応する少なくとも１つの第２脳情報との対応関係を示す第２の対応情報に基づいて、前記第１変換ステップによって変換された前記複数の第１脳情報を、前記第２脳情報に変換する第２変換ステップと、
   推定部が、前記第２変換ステップによって変換された前記第２脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定ステップと
   を含む推定方法。