JP2022097293A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】適切なユーザの感情推定を可能にすること。【解決手段】本願に係る情報処理装置は、取得部と、学習部とを有する。取得部は、ユーザが頭部に装着した端末装置が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置によるコンテンツの出力時に端末装置により検知されるユーザの生体信号である入力用データとを含む学習用データを取得する。学習部は、学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

人の表情等から感情を推定する技術が提供されている。例えば、撮像装置が撮像した対象人物の顔の画像データを用いて、人物の表情から感情を推定する技術が提供されている（例えば特許文献１等）。また、画像データではなく、生体信号の一種である人の顔の筋電図を用いて人の感情を読む技術が提供されている（例えば非特許文献１等）。また、画像データや生体信号以外にも加速度やジャイロなどの非生体センサのデータを用いて人の感情を推定する技術が提供されている（例えば非特許文献２等）。

特開２０２０－１４９３６１号公報

"A wearable interface for reading,facial expressions based on bioelectrical signals"， Anna GRUEBLER, and Kenji SUZUKI, ＜インターネット＞https://www.keer.org/keer2010/Papers/2310.pdf（令和２年１１月１９日検索）日検索） "Recognition of human affection in Smartphone perspective based on accelerometer and user's sitting position"， Rasam Bin Hossain and Ben Taskar＜インターネット＞https://www.researchgate.net/profile/Hasan_Mahmud3/publication/277004963_Recognition_of_human_affection_in_Smartphone_perspective_based_on_accelerometer_and_user%27s_sitting_position/links/5a9e2874aca272cd09c22cd3/Recognition-of-human-affection-in-Smartphone-perspective-based-on-accelerometer-and-users-sitting-position.pdf（令和２年１２月１７日検索）

しかしながら、例えば、上記の特許文献１では、対象人物の平常時の顔画像等の画像を用いており、画像に現れないような細かい変化を捉えることが難しい。また、例えば、上記の非特許文献１では、どの筋電図の状態にどの感情を対応付けるかが難しい。そのため、上記の従来技術には、感情を推定する点で改善の余地がある。

本願は、上記に鑑みてなされたものであって、適切なユーザの感情推定を可能にする情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを取得する取得部と、前記学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する学習部と、を備えたことを特徴とする。

実施形態の一態様によれば、適切なユーザの感情推定を可能にすることができるという効果を奏する。

図１は、実施形態に係る情報処理システムによる処理の一例を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示す図である。 図３は、実施形態に係る学習用データ記憶部の一例を示す図である。 図４は、実施形態に係るモデル情報記憶部の一例を示す図である。 図５は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。 図６は、実施形態に係る端末装置の構成例を示す図である。 図７は、実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 図８は、ハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理〕
図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理システムによる処理の一例を示す図である。図１では、情報処理装置１００は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに引き起こす感情を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号を用いて人の感情を推定する推定モデルを学習する。そして、情報処理装置１００は、推定モデルを用いてユーザの感情を推定する。

図１の例では、ユーザが頭部に装着する端末装置１０の一例として、コンテンツの表示及び音声出力が可能なヘッドセット一体型のヘッドマウントディスプレイ（以下単に「ヘッドマウントディスプレイ」ともいう）を示す。なお、ユーザが頭部に装着する端末装置１０はヘッドマウントディスプレイに限られない。例えば、端末装置１０には、ヘッドマウントディスプレイ単体、オーバーイヤーヘッドホン、ヘッドセット一体型のＶＲ（Virtual Reality）ゴーグル、スマートフォンはめ込み型のＶＲゴーグル、眼鏡やイヤホン等と一体化したウェアラブルデバイス等様々な装置が採用可能である。また、図１では、ユーザの生体信号の一例として、ユーザの顔の筋電位を示すが、ユーザの生体信号は、顔の筋電位に限らず、頭部の様々な身体的部位の筋電位であってもよい。また、ユーザの生体信号は、筋電位以外のユーザの生体信号を用いてもよいが、この点については後述する。

まず、情報処理システム１の構成について説明する。図１に示すように、情報処理システム１には、複数台の端末装置１０と、情報処理装置１００とが含まれる。各端末装置１０と、情報処理装置１００とは図示しない所定の通信網を介して、有線または無線により通信可能に接続される。なお、図１に示した情報処理システム１には、複数台の情報処理装置１００が含まれてもよい。

情報処理装置１００は、コンテンツに対応付けられた感情を示すラベル情報（単に「ラベル」ともいう）と、コンテンツの出力時におけるユーザの生体信号とを含む学習用データを用いて、人の感情を推定する推定モデルを学習するコンピュータである。また、情報処理装置１００は、人の感情を推定する推定モデルを用いてユーザの感情を推定する。また、情報処理装置１００は、端末装置１０へコンテンツを提供する。なお、情報処理システム１に、端末装置１０へコンテンツを提供するコンテンツ提供装置が含まれる場合、情報処理装置１００は、端末装置１０へコンテンツの提供を行わなくてもよい。この場合、情報処理装置１００は、推定したユーザの感情を示す情報をコンテンツ提供装置へ提供してもよい。

端末装置１０は、ユーザの頭部に装着されユーザによって利用されるデバイス（コンピュータ）である。端末装置１０は、コンテンツを出力する。端末装置１０は、情報処理装置１００からコンテンツを受信し、受信したコンテンツを出力する。例えば、端末装置１０は、コンテンツを表示したり、音声出力したりする。また、端末装置１０は、ユーザによる操作を受け付ける。

また、端末装置１０は、筋電位を検知するセンサ（筋電位センサ）を有する。図１では、端末装置１０は、顔の筋電位を検知する筋電位センサを有し、ユーザの顔の筋電位をユーザの生体信号として検知する。なお、端末装置１０は、筋電位以外のユーザの生体信号を検知し、取得可能であってもよい。例えば、端末装置１０は、ユーザの眼電位を検知する眼電位センサを有し、ユーザの眼電位を検知してもよい。また、端末装置１０は、電位を検知するセンサに限らず、心拍センサ等を有してもよいが、この点については後述する。例えば、端末装置１０を利用するユーザは、端末装置１０と通信可能なウェアラブルデバイスを身に付けることにより、端末装置１０によりユーザの生体信号を取得可能としてもよい。例えば、端末装置１０を利用するユーザは、端末装置１０と通信可能なリストバンド型のウェアラブルデバイスを身に付けることにより、端末装置１０によりユーザ自身の心拍（脈拍）に関する情報を端末装置１０が取得可能としてもよい。なお、上記は一例であり、端末装置１０は、様々な情報を検知するセンサを有してもよい。

また、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。図１の例では、端末装置１０がヘッドマウントディスプレイである場合を示す。

以下では、ユーザＩＤ「Ｕ１」により識別されるユーザを「ユーザＵ１」とする場合がある。このように、以下では、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ２」と記載した場合、そのユーザはユーザＩＤ「Ｕ２」により識別されるユーザである。また、図１に示す例においては、端末装置１０を利用するユーザに応じて、端末装置１０を端末装置１０－１、１０－２として説明する。例えば、端末装置１０－１は、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）により使用される端末装置１０である。また、例えば、端末装置１０－２は、ユーザＩＤ「Ｕ２」により識別される（ユーザＵ２）により使用される端末装置１０である。また、以下では、端末装置１０－１、１０－２について、特に区別なく説明する場合には、端末装置１０と記載する。

以下、図１を用いて、情報処理の一例を説明する。まず、情報処理装置１００による推定モデルの学習処理について説明した後、情報処理装置１００による推定モデルを用いた感情の推定処理について説明する。

まず、情報処理装置１００は、ユーザＵ１が利用する端末装置１０－１にコンテンツを提供する（ステップＳ１１）。情報処理装置１００は、ユーザに与える心理的な作用を示すラベルが対応付けられたコンテンツの一覧から、ユーザＵ１に提供するコンテンツを決定する。情報処理装置１００は、コンテンツの一覧から、ランダムにユーザＵ１に提供するコンテンツを決定してもよいし、ユーザＵ１の年齢、性別、興味関心等のユーザ属性を基にユーザＵ１に提供するコンテンツを決定してもよい。なお、上記は一例に過ぎず、情報処理装置１００は、様々な情報を適宜用いて、ユーザＵ１に提供するコンテンツを決定してもよい。

例えば、情報処理装置１００は、端末装置１０－１が再生可能なコンテンツの種別に応じてユーザＵ１に提供するコンテンツを決定してもよい。この場合、情報処理装置１００は、端末装置１０－１が映像を出力可能であれば、映像のみを含むコンテンツをユーザＵ１に提供するコンテンツとして決定してもよい。また、情報処理装置１００は、端末装置１０－１が音声のみを出力可能であれば、音声を含むコンテンツをユーザＵ１に提供するコンテンツとして決定してもよい。また、情報処理装置１００は、端末装置１０－１が映像及び音声を出力可能であれば、映像及び音声を含むコンテンツをユーザＵ１に提供するコンテンツとして決定してもよい。例えば、端末装置１０－１が音声のみを出力可能な装置（オーバーイヤーヘッドホン等）である場合、情報処理装置１００は、音声を含むコンテンツをユーザＵ１に提供するコンテンツとして決定する。

そして、情報処理装置１００は、決定したコンテンツをユーザＵ１が利用する端末装置１０－１へ送信する。図１では、情報処理装置１００は、ユーザに与える心理的な作用が喜びの感情であることを示すラベルＬＢ１が対応付けられたコンテンツＣＴ１をユーザＵ１が利用する端末装置１０－１へ送信する。

情報処理装置１００からコンテンツＣＴ１を受信した端末装置１０－１は、コンテンツＣＴ１を出力する（ステップＳ１２）。例えば、端末装置１０－１は、映像と音声を含むコンテンツＣＴ１を表示し、音声出力を行う。なお、端末装置１０－１がオーバーイヤーヘッドホンのような音声出力のみを行う装置である場合、端末装置１０－１は、コンテンツＣＴ１の音声出力のみを行ってもよい。端末装置１０－１は、コンテンツＣＴ１を出力するとともに、コンテンツＣＴ１を出力時のユーザＵ１の顔の筋電位であるユーザＵ１の生体信号を検知する。これにより、端末装置１０－１は、コンテンツＣＴ１を出力時のユーザＵ１の顔の筋電位であるユーザＵ１の生体信号を収集する。そして、ユーザＵ１の生体信号を収集した端末装置１０－１は、収集したユーザＵ１の生体信号（生体信号データＤＴ１）を情報処理装置１００へ送信する（ステップＳ１３）。

情報処理装置１００は、端末装置１０から取得した生体信号データを、コンテンツやそのコンテンツが引き起こす感情を示すラベルに対応付け、学習用データとして追加する（ステップＳ１４）。端末装置１０－１からユーザＵ１の生体信号（生体信号データＤＴ１）を取得した情報処理装置１００は、取得したユーザＵ１の生体信号をコンテンツＣＴ１の分類ラベルと対応付けてデータセットＤＳ１に追加する。例えば、情報処理装置１００は、生体信号データＤＴ１をコンテンツＣＴ１、及び喜びの感情を示すラベルＬＢ１に対応付けて、学習用データとしてデータセットＤＳ１に追加する。

また、情報処理装置１００は、他のユーザにもコンテンツを提供し、提供したコンテンツの出力時のそのユーザの生体信号データと、提供したコンテンツの分類ラベルとを対応付けて、学習用データとしてデータセットＤＳ１に追加する。これにより、情報処理装置１００は、図１のデータセットＤＳ１に示すように複数の学習用データを含むデータセットを生成する。なお、情報処理装置１００は、外部装置からデータセットＤＳ１を取得してもよい。すなわち、学習用データの収集は、情報処理装置１００以外の外部装置が行い、情報処理装置１００は、その外部装置から取得したデータセットを用いて、推定モデルの学習を行ってもよい。

そして、情報処理装置１００は、データセットＤＳ１を用いて、ユーザの生体信号を入力として、そのユーザの感情を分類する情報を出力する感情推定モデルである推定モデルＭ１を学習する（ステップＳ１５）。例えば、情報処理装置１００は、ユーザの顔の筋電位であるユーザの生体信号の入力に応じて、そのユーザの感情がどの感情であるかの可能性を示す各感情のスコアを出力する推定モデルＭ１を学習する。この場合、情報処理装置１００は、推定モデルＭ１が出力したスコアが最大の感情を、そのユーザの感情であると推定する。例えば、情報処理装置１００は、ニューラルネットワークのネットワーク構成を有する推定モデルＭ１を学習する。なお、推定モデルＭ１のネットワーク構成は、感情の推定に用いる情報を出力可能であれば、どのようなネットワーク構成であってもよい。

例えば、情報処理装置１００は、生体信号データＤＴ１が入力された場合に、ラベルＬＢ１に対応する感情「喜び」に対応するスコアが最大になるように推定モデルＭ１の重み等のパラメータを学習する。また、例えば、情報処理装置１００は、生体信号データＤＴ２が入力された場合に、ラベルＬＢ２に対応する感情「怒り」に対応するスコアが最大になるように推定モデルＭ１の重み等のパラメータを学習する。情報処理装置１００は、推定モデルＭ１のネットワーク構成や学習したパラメータ等を含むモデルデータＭＤＴ１を生成する。これにより、情報処理装置１００は、感情推定モデルである推定モデルＭ１を生成する。推定モデルＭ１の学習処理には、任意の手法が採用可能である。

例えば、情報処理装置１００は、バックプロパゲーション（誤差逆伝播法）等の手法により学習処理を行う。例えば、情報処理装置１００は、学習処理により、ノード間で値が伝達する際に考慮される重み（すなわち、接続係数）の値を調整する。このように、情報処理装置１００は、推定モデルＭ１における出力と、入力に対応する正解（正解データ）との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション等の処理により推定モデルＭ１を学習する。例えば、情報処理装置１００は、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことにより推定モデルＭ１を生成する。これにより、情報処理装置１００は、推定モデルＭ１のパラメータを学習する学習処理を行うことができる。情報処理装置１００は、学習処理により生成した推定モデルＭ１をモデル情報記憶部１２２（図４参照）に格納する。

次に、情報処理装置１００による推定モデルを用いた感情の推定処理について説明する。図１では、端末装置１０－２を使用するユーザＵ２を対象として推定処理を行う場合を示す。

端末装置１０－２は、ユーザＵ２の顔の筋電位であるユーザＵ２の生体信号を検知し、ユーザＵ２の顔の筋電位であるユーザＵ２の生体信号を収集する。そして、ユーザＵ２の生体信号を収集した端末装置１０－２は、収集したユーザＵ２の生体信号を情報処理装置１００へ送信する（ステップＳ２１）。

端末装置１０－２からユーザＵ２の生体信号を受信した情報処理装置１００は、受信したユーザＵ２の生体信号を入力用データＩＮとして、推定モデルＭ１に入力する（ステップＳ２２）。情報処理装置１００は、モデル情報記憶部１２２から推定モデルＭ１を取得し、取得した推定モデルＭ１に、受信したユーザＵ２の生体信号を入力用データＩＮとして入力する。これにより、ユーザＵ２の生体信号が入力された推定モデルＭ１は、ユーザＵ２の感情推定情報を出力データＯＴとして出力する（ステップＳ２３）。例えば、推定モデルＭ１は、ユーザＵ２の生体信号に対応する各感情のスコアを出力する。図１では、推定モデルＭ１は、ユーザＵ２の生体信号の入力に応じて、ラベルＬＢ２に対応する感情「怒り」に対応するスコアが最大となる各感情のスコアを出力する。

そして、情報処理装置１００は、出力データＯＴを基に、ユーザＵ２の感情を推定する（ステップＳ２４）。図１では、情報処理装置１００は、ラベルＬＢ２に対応する感情「怒り」に対応するスコアが最大であるため、推定結果ＲＳに示すように、ユーザＵ２の感情が怒りの感情であると推定する。そして、情報処理装置１００は、推定結果に応じてユーザＵ２に情報提供する（ステップＳ２５）。例えば、情報処理装置１００は、ユーザＵ２の感情が怒りであるため、怒りの感情を鎮めるように促す通知情報を送信する。また、情報処理装置１００は、ユーザＵ２の感情が怒りであるため、怒りの感情を鎮めるためのコンテンツを提供してもよいが、この点については後述する。

上述したように、情報処理装置１００は、コンテンツがユーザに与える心理的な作用を示すラベルと、そのコンテンツが出力時のユーザの生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。また、情報処理装置１００は、推定モデルを用いてユーザの感情を推定することにより、適切にユーザの感情を推定することができる。上記のような推定モデルを生成しておくことにより、情報処理システム１は、筋電位や眼電位を取得しない端末装置（ヘッドマウントディスプレイ、ヘッドフォン等）であっても表示する画像や出力される音声等のコンテンツによって、ユーザに生じる感情を推定することができる。また、情報処理システム１は、推定モデルによりコンテンツを視聴していないユーザも対象として、そのユーザに生じる感情を推定することができる。すなわち、情報処理システム１は、推定モデルの入力とするデータが取得可能な全ユーザを対象として、ユーザに生じる感情を推定することができる。また、情報処理装置１００は、生体信号に限らず、様々な種別のデータを入力とする推定モデルを生成してもよい。例えば、情報処理装置１００は、センサ部１６が有する様々なセンサにより検知されるセンサ情報を用いて推定モデルを生成してもよい。この場合、情報処理装置１００は、センサ部１６が有する様々なセンサにより検知されるセンサ情報を入力とする推定モデルを生成する。例えば、情報処理装置１００は、生体信号に加えて、他の種別のデータを入力とする推定モデルを生成してもよい。例えば、情報処理装置１００は、画像データを入力とする推定モデルを生成してもよい。また、情報処理装置１００は、加速度やジャイロなどの非生体センサのデータを入力とする推定モデルを生成してもよい。すなわち、情報処理装置１００は、ユーザの感情の推定に利用可能な情報であれば、生体信号のみに限らず、様々な情報を用いてもよい。

〔１－１．生体信号〕
上記の例では、顔の筋電位をユーザの生体信号として用いる場合を一例として説明したが、ユーザの生体信号は顔の筋電位に限られない。例えば、情報処理装置１００は、ユーザの眼電位をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの眼電位を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの眼電位を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

また、情報処理装置１００は、ユーザの心拍をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの心拍を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの心拍を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

また、情報処理装置１００は、ユーザの脳波をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの脳波を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの脳波を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

また、情報処理装置１００は、ユーザの脈拍をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの脈拍を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの脈拍を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

また、情報処理装置１００は、ユーザの呼吸をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの呼吸を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの呼吸を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

また、情報処理装置１００は、ユーザの発汗をユーザの生体信号として用いてもよい。この場合、情報処理装置１００は、ユーザの発汗を入力用データに含む推定モデルを学習してもよい。そして、情報処理装置１００は、ユーザの発汗を含む入力用データを推定モデルに入力することにより、ユーザの感情を推定してもよい。

なお、上記は一例に過ぎず、情報処理装置１００は、ユーザの様々な種別の生体信号を用いてもよい。また、情報処理装置１００は、上述した各種別の生体信号を組み合わせて用いてもよい。例えば、情報処理装置１００は、ユーザの顔の筋電位とユーザの呼吸との２つの種別の生体信号を入力用データとする推定モデルを用いた処理を行ってもよい。例えば、情報処理装置１００は、ユーザの顔の筋電位とユーザの呼吸との２つの種別の生体信号を入力用データとする推定モデルを学習したり、その推定モデルを用いた推定処理を行ったりしてもよい。

〔１－２．感情〕
なお、図１の例では、ラベル（感情）として、「喜び」、「怒り」、「悲しみ」、「楽しみ」の４つのラベル（感情）のみを例示するが、ラベル情報は上記の４つに限らず、感情の分類は、上記に限らず、目的等に応じて種々の分類であってもよい。例えば「無感情」（図５参照）等の様々な感情を示すラベルであってもよい。また、ラベル（感情）は、怒りや悲しみ等を負の感情を併合した「負の感情」や、喜びや楽しみ等を正の感情を併合した「正の感情」等のより抽象的なラベルであってもよい。

〔２．情報処理装置の構成〕
次に、図２を用いて、実施形態に係る情報処理装置１００の構成について説明する。図２は、実施形態に係る情報処理装置１００の構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、所定の通信網（ネットワーク）と有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図２に示すように、学習用データ記憶部１２１と、モデル情報記憶部１２２と、コンテンツ情報記憶部１２３とを有する。

（学習用データ記憶部１２１）
実施形態に係る学習用データ記憶部１２１は、学習に用いるデータに関する各種情報を記憶する。学習用データ記憶部１２１は、学習に用いる学習データ（データセット）を記憶する。図３は、本開示の実施形態に係る学習用データ記憶部の一例を示す図である。例えば、学習用データ記憶部１２１は、学習に用いる学習データや精度評価（測定）に用いる評価用データ等の種々のデータに関する各種情報を記憶する。図３に、実施形態に係る学習用データ記憶部１２１の一例を示す。図３の例では、学習用データ記憶部１２１は、「データセットＩＤ」、「データＩＤ」、「生体信号データ」、「コンテンツＩＤ」、「分類ラベル」といった項目が含まれる。

「データセットＩＤ」は、データセットを識別するための識別情報を示す。「データＩＤ」は、各学習用データを識別するための識別情報を示す。また、「生体信号データ」は、データＩＤにより識別されるデータ（生体信号データ）を示す。「生体信号データ」は、モデルの入力として用いられる生体信号データ（入力用データ）を示す。「生体信号データ」には、どのユーザの生体信号であるかを示す情報（例えばユーザＩＤ）が対応付けられてもよい。

「コンテンツＩＤ」は、対応する生体信号データが検知された際に出力されたコンテンツを示す。「分類ラベル」は、対応するコンテンツに対応付けられたラベル情報（正解情報）を示す。「分類ラベル」は、対応するデータ（入力用データ）に対応するユーザの感情の分類結果を示す。図３の例では、「分類ラベル」は、入力用データである生体信号データに対応するユーザの感情を推定するための分類を示す。「分類ラベル」は、対応するデータ（入力用データ）がモデルに入力された場合に、モデルが出力することが期待されるユーザの感情を示す情報（分類ラベル）を示す。

図３の例では、データセットＩＤ「ＤＳ１」により識別されるデータセット（データセットＤＳ１）には、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される複数のデータが含まれることを示す。

データＩＤ「ＤＩＤ１」により識別される生体信号データＤＴ１は、コンテンツＩＤ「ＣＴ１」により識別されるコンテンツ（コンテンツＣＴ１）の出力時に検知されたユーザの生体信号を示す。また、生体信号データＤＴ１は、分類ラベルが「ＬＢ１」であることを示す。図３では抽象的に図示するが、ラベルＬＢ１は「喜び」の感情に対応するラベル（値）であるものとする。

なお、学習用データ記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、学習用データ記憶部１２１は、音声や画像等の教師データの種別を示す情報を各データに対応付けて記憶する。例えば、学習用データ記憶部１２１は、データの種別を示す情報を各データに対応付けて記憶する。

例えば、学習用データ記憶部１２１は、各生体信号データが学習データであるか、評価用データであるか等を特定可能に記憶してもよい。例えば、学習用データ記憶部１２１は、学習データと評価用データとを区別可能に記憶する。学習用データ記憶部１２１は、各データが学習データや評価用データであるかを識別する情報を記憶してもよい。情報処理装置１００は、学習データとして用いられる各生体信号データと分類ラベルとに基づいて、モデルを学習する。情報処理装置１００は、評価用データとして用いられる各生体信号データと分類ラベルとに基づいて、モデルの精度を測定する。情報処理装置１００は、評価用データを入力した場合にモデルが出力する出力結果（感情を推定する出力情報）と、分類ラベルとを比較した結果を収集することにより、モデルの精度を測定する。

（モデル情報記憶部１２２）
実施形態に係るモデル情報記憶部１２２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、学習処理により学習（生成）された学習済みモデル（モデル）の情報（モデルデータ）を記憶する。図４は、本開示の第１の実施形態に係るモデル情報記憶部の一例を示す図である。図４に、第１の実施形態に係るモデル情報記憶部１２２の一例を示す。図４に示した例では、モデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図４等では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

図４に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（推定モデルＭ１）は、用途が「感情推定」であることを示す。例えば、推定モデルＭ１は、ユーザの生体信号である入力用データが入力された場合に、入力用データに対応するユーザの感情を推定する情報を出力する推定モデル（感情推定モデル）であることを示す。また、推定モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

（コンテンツ情報記憶部１２３）
実施形態に係るコンテンツ情報記憶部１２３は、コンテンツ（記事）に関する各種情報を記憶する。図５は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。図５に示すコンテンツ情報記憶部１２３は、「コンテンツＩＤ」、「コンテンツ」、「ラベル情報」といった項目を有する。なお、図５の例では、ラベル情報として、「喜び」、「怒り」、「悲しみ」、「楽しみ」、「無感情」の５つのラベル（感情）のみを例示するが、ラベル情報は上記の５つに限らず、様々な感情を示すラベルであってもよい。

「コンテンツＩＤ」は、コンテンツを識別するための識別情報を示す。「コンテンツ」は、映画などの動画コンテンツであってもよいし、楽曲などの音声コンテンツ等の様々な種別のコンテンツであってもよい。図５では「コンテンツ」に「Ａコンテンツ」といった概念的な情報が格納される例を示したが、実際には、そのコンテンツ自体、または、そのコンテンツの格納場所を示すファイルパス名などが格納される。

また、「ラベル情報」は、コンテンツがユーザに与える心理的な作用を示す。例えば、「ラベル情報」は、コンテンツがユーザに対して出力された場合にユーザがどのような心理状態（感情）になるかを示す。すなわち、「ラベル情報」は、コンテンツの出力によりユーザに引き起こされる感情（正解情報）を示す。

図５の例では、コンテンツＩＤ「ＣＴ１」により識別されるＡコンテンツ（コンテンツＣＴ１）は、ラベル情報ＬＢ１が関連付けられていることを示す。例えば、コンテンツＣＴ１は、ラベル情報ＬＢ１に対応する「喜び」の感情をユーザに引き起こさせることを示す。

また、コンテンツＩＤ「ＣＴ２」により識別されるＢコンテンツ（コンテンツＣＴ２）は、ラベル情報ＬＢ２が関連付けられていることを示す。例えば、コンテンツＣＴ２は、ラベル情報ＬＢ２に対応する「怒り」の感情をユーザに引き起こさせることを示す。

なお、コンテンツ情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

（制御部１３０）
図２の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１３０は、取得部１３１と、学習部１３２と、推定部１３３と、提供部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

（取得部１３１）
取得部１３１は、記憶部１２０から各種の情報を取得する。取得部１３１は、ユーザが使用する端末装置１０からユーザの生体信号を受信する。取得部１３１は、学習用データ記憶部１２１から学習に用いるデータを取得する。取得部１３１は、モデル情報記憶部１２２からモデルの情報を取得する。取得部１３１は、コンテンツ情報記憶部１２３からユーザに提供するコンテンツを取得する。

取得部１３１は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号である入力用データとを含む学習用データを取得する。

取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体電位である入力用データを含む学習用データを取得する。取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの頭部の筋電位を含む入力用データを含む学習用データを取得する。取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの顔の筋電位を含む入力用データを含む学習用データを取得する。

取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの眼電位を含む入力用データを含む学習用データを取得する。取得部１３１は、コンテンツによりユーザに引き起こされる感情を示すラベル情報を含む学習用データを取得する。

取得部１３１は、ユーザが頭部に装着したヘッドマウントディスプレイである端末装置１０が出力するコンテンツのラベル情報を含む学習用データを取得する。取得部１３１は、映像を含むコンテンツがユーザに与える心理的な作用を示すラベル情報を含む学習用データを取得する。

取得部１３１は、ユーザが頭部に装着したオーバーイヤーヘッドホンである端末装置１０が出力するコンテンツのラベル情報を含む学習用データを取得する。取得部１３１は、音声を含むコンテンツがユーザに与える心理的な作用を示すラベル情報を含む学習用データを取得する。

取得部１３１は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号である入力用データとを含む学習用データを用いて生成された推定モデルであって、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを取得する。取得部１３１は、モデル情報記憶部１２２から推定モデルを取得する。取得部１３１は、端末装置１０を装着した対象ユーザの生体信号である対象生体信号を取得する。

（学習部１３２）
学習部１３２は、モデルを学習する。学習部１３２は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を学習する。学習部１３２は、学習用データ記憶部１２１に記憶された情報に基づいて、各種情報を学習する。学習部１３２は、学習により生成したモデルをモデル情報記憶部１２２に格納する。

学習部１３２は、学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する。学習部１３２は、学習用データを用いて、生体電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。学習部１３２は、学習用データを用いて、頭部の筋電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。学習部１３２は、学習用データを用いて、顔の筋電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。

学習部１３２は、学習用データを用いて、眼電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。学習部１３２は、学習用データを用いて、推定モデルを学習する。学習部１３２は、学習用データを用いて、端末装置１０を装着した人の感情を推定する推定モデルを学習する。学習部１３２は、学習用データを用いて、端末装置１０を装着した人の感情を推定する推定モデルを学習する。

学習部１３２は、モデル（ネットワーク）のパラメータを学習する。学習部１３２は、接続されたノード間の接続係数（重み）等のパラメータを学習する。学習部１３２は、種々の機械学習に関する技術を用いて、モデルを学習する。学習部１３２は、モデルに入力するデータと、そのデータが入力された場合の出力を示す分類ラベル（正解ラベル）を用いて行う学習処理、すなわち教師有り学習の手法によりモデルのパラメータを学習する。なお、上記は一例であり、学習部１３２は、モデルのパラメータを学習可能であれば、どのような学習処理により、モデルのパラメータを学習してもよい。

なお、情報処理装置１００が外部装置から外部装置が学習した推定モデルを取得し、取得した推定モデルを用いて人の感情を推定する場合、情報処理装置１００は、学習部１３２を有しなくてもよい。

（推定部１３３）
推定部１３３は、人の感情を推定する推定処理を実行する。推定部１３３は、学習部１３２により学習された推定モデルを用いて、人の感情を推定する。推定部１３３は、推定モデルに対象生体信号を入力することにより、対象ユーザの感情を推定する。

推定部１３３は、推定したユーザの感情を用いた各種処理を行う。推定部１３３は、推定したユーザの感情を基に決定処理を行う。推定部１３３は、推定したユーザの感情に基づいて、ユーザに提供するコンテンツを決定する。推定部１３３は、推定したユーザの感情に対応するコンテンツをそのユーザに提供すると決定する。推定部１３３は、推定したユーザの感情とは逆の感情を引き起こすコンテンツをそのユーザに提供すると決定する。推定部１３３は、推定したユーザの感情が悲しみである場合、喜びの感情が対応付けられたすコンテンツをそのユーザに提供すると決定する。

（提供部１３４）
提供部１３４は、ユーザへ情報を提供する。提供部１３４は、通信部１１０を介して、端末装置１０へ情報を送信する。提供部１３４は、コンテンツ情報記憶部１２３に記憶されたコンテンツをユーザに提供する。提供部１３４は、コンテンツがユーザに与える心理的な作用を示すラベルが対応付けられたコンテンツをユーザの端末装置１０へ送信する。

提供部１３４は、推定部１３３による推定結果に応じて情報を提供する。例えば、提供部１３４は、推定部１３３による決定に応じたコンテンツを提供する。提供部１３４は、推定部１３３による推定されたユーザの感情に対応するコンテンツをそのユーザに提供する。提供部１３４は、推定部１３３による推定されたユーザの感情とは逆の感情を引き起こすコンテンツをそのユーザの端末装置１０に送信する。提供部１３４は、推定部１３３による推定されたユーザの感情が悲しみである場合、喜びの感情が対応付けられたすコンテンツをそのユーザの端末装置１０に送信する。

〔３．端末装置の構成〕
次に、図６を用いて、実施形態に係る端末装置１０の構成について説明する。図６は、実施形態に係る端末装置１０の構成例を示す図である。図６に示すように、端末装置１０は、通信部１１と、音声出力部１２と、表示部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。なお、図示を省略するが端末装置１０は、ユーザの各種操作が入力される入力部を有してもよい。例えば、入力部は、音声によるユーザに有力を受け付けるマイク（音声入力部）を有する。入力部は、ユーザの発話による各種操作を受け付ける。また、例えば、入力部は、ユーザのジェスチャ等を検知するモーションセンサ等により、ユーザのジェスチャによる操作を受け付けてもよい。この場合、センサ部１６は、モーションセンサを有する。

（通信部１１）
通信部１１は、例えば、ＮＩＣや通信回路等によって実現される。そして、通信部１１は、所定の通信網（ネットワーク）と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部１１は、所定の通信網と有線または無線で接続され、情報処理装置１００との間で情報の送受信を行う。

（音声出力部１２）
音声出力部１２は、音声を出力するスピーカによって実現され、各種情報を音声として出力するための出力装置である。音声出力部１２は、情報処理装置１００から提供されるコンテンツを音声出力する。例えば、音声出力部１２は、表示部１３に表示される情報に対応する音声を出力する。

（表示部１３）
表示部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。例えば、端末装置１０がヘッドマウントディスプレイである場合、ユーザが端末装置１０を装着時において、表示部１３はユーザの眼前に配置される。なお、端末装置１０が例えばオーバーイヤーヘッドホン等、情報の表示を行わない場合、端末装置１０は、表示部１３を有しなくてもよい。

（記憶部１４）
記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、例えば、情報処理装置１００から受信した各種情報を記憶する。記憶部１４は、例えば、端末装置１０にインストールされているアプリケーション（例えば情報出力アプリ等）に関する情報、例えばプログラム等を記憶する。

（制御部１５）
制御部１５は、コントローラ（controller）であり、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１４などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーション（例えば情報出力アプリ）のプログラムが含まれる。また、制御部１５は、コントローラ（controller）であり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図６に示すように、制御部１５は、収集部１５１と、送信部１５２と、受信部１５３と、処理部１５４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図６に示した接続関係に限られず、他の接続関係であってもよい。

（収集部１５１）
収集部１５１は、各種情報を収集する。例えば、収集部１５１は、外部の情報処理装置から各種情報を収集する。例えば、収集部１５１は、収集した各種情報を記憶部１４に格納する。収集部１５１は、センサ部１６により検知されたセンサ情報を収集する。

収集部１５１は、端末装置１０によるコンテンツの出力時にセンサ部１６により検知されるユーザの生体信号を収集する。収集部１５１は、センサ部１６により検知されたユーザの生体電位を収集する。収集部１５１は、センサ部１６により検知されたユーザの頭部の筋電位を収集する。収集部１５１は、センサ部１６により検知されたユーザの顔の筋電位を収集する。

（送信部１５２）
送信部１５２は、通信部１１を介して、外部の情報処理装置へ種々の情報を送信する。送信部１５２は、情報処理装置１００へ各種情報を送信する。送信部１５２は、記憶部１４に記憶された各種情報を外部の情報処理装置へ送信する。送信部１５２は、収集部１５１により収集された各種情報を情報処理装置１００へ送信する。送信部１５２は、収集部１５１により収集されたセンサ情報を情報処理装置１００へ送信する。送信部１５２は、センサ部１６により検知されたセンサ情報を情報処理装置１００へ送信する。送信部１５２は、ユーザの各種生体信号を情報処理装置１００へ送信する。

（受信部１５３）
受信部１５３は、通信部１１を介して、情報処理装置１００から情報を受信する。受信部１５３は、情報処理装置１００が提供する情報を受信する。受信部１５３は、情報処理装置１００からコンテンツを受信する。受信部１５３は、情報処理装置１００から通知情報として広告を受信する。受信部１５３は、そのコンテンツの出力時にユーザに与える心理的な作用を示すラベル情報が付されたコンテンツを受信する。

（処理部１５４）
処理部１５４は、各種の処理を実行する。処理部１５４は、表示部１３を介して各種情報を表示する。例えば、処理部１５４は、表示部１３の表示を制御する。処理部１５４は、音声出力部１２を介して各種情報を音声出力する。例えば、処理部１５４は、音声出力部１２の音声出力を制御する。

処理部１５４は、受信部１５３が受信した情報を出力する。処理部１５４は、情報処理装置１００から提供されたコンテンツを出力する。処理部１５４は、受信部１５３が受信したコンテンツを、音声出力部１２または表示部１３を介して出力する。処理部１５４は、表示部１３を介してコンテンツを表示する。処理部１５４は、音声出力部１２を介してコンテンツを音声出力する。

なお、上述した制御部１５による各処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した制御部１５による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部１５の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部１５による情報処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。例えば、上述した表示処理が所定のアプリケーション（例えば情報出力アプリ等）により行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。

（センサ部１６）
センサ部１６は、所定の情報を検知する。センサ部１６は、ユーザの生体信号を検知するためのセンサ（生体信号センサ）を有する。センサ部１６は、ユーザの顔の筋電位を検知するための筋電センサを有する。筋電センサは、ユーザの耳から頬付近に配置され、ユーザの顔の筋電位を検知する。また、端末装置１０は、筋電センサに限らず、様々なユーザの生体信号を検知するセンサを有してもよい。また、端末装置１０は、ユーザの眼電位を検知する眼電位センサを有してもよい。例えば、端末装置１０は、ユーザの心拍を検知する心拍センサ、ユーザの脳波を検知する脳波センサ、ユーザの脈拍を検知する脈拍センサ（脈波センサ）、ユーザの呼吸を検知する呼吸センサ（呼気センサ）、ユーザの発汗を検知する発汗センサ等の種々の生体信号を検知するセンサを有してもよい。なお、端末装置１０は、ユーザが装着時において、各センサが対応する生体信号を検知可能な位置に配置されるように構成される。

なお、センサ部１６は、上述したユーザの生体信号を検知するためのセンサに限らず、情報処理に用いる情報を検知するための様々なセンサを有してもよい。例えば、センサ部１６は、ユーザの健康に関する処理に用いる情報を検知するセンサを有する。例えば、センサ部１６は、ユーザによる端末装置１０の使用態様を示す使用態様情報として用いる各種のセンサ情報を検知するためのセンサを有する。

例えば、センサ部１６は、モーションセンサを有する。例えば、センサ部１６は、画像を検知するカメラ（画像センサ）を有してもよい。例えば、センサ部１６は、ユーザを撮像するために画像センサを有する。

例えば、センサ部１６は、加速度センサを有する。例えば、センサ部１６は、ユーザによる所定の操作の際の端末装置１０の加速度情報を検知するセンサを有する。センサ部１６は、端末装置１０の位置を検知するセンサ（位置センサ）を有する。例えば、センサ部１６は、ＧＰＳ（Global Positioning System）センサを有してもよい。また、端末装置１０の位置情報をセンサ情報として取得する場合、センサ部１６は、通信を行っている基地局の位置情報や、ＷｉＦｉ（登録商標）（Wireless Fidelity）の電波を用いて推定された端末装置１０の位置情報を取得してもよい。

また、センサ部１６には、上記に限らず、種々のセンサが含まれてもよい。例えば、センサ部１６は、端末装置１０外の情報を検知するセンサを含んでもよい。

なお、センサ部１６における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。

〔４．処理フロー〕
次に、図７を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図７は、実施形態に係る情報処理装置による処理の一例を示すフローチャートである。

図７に示すように、情報処理装置１００は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号である入力用データとを含む学習用データを取得する（ステップＳ１０１）。

情報処理装置１００は、学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する（ステップＳ１０２）。情報処理装置１００は、推定モデルを用いて人の感情を推定する（ステップＳ１０３）。例えば、情報処理装置１００は、端末装置１０を装着した対象ユーザの生体信号である対象生体信号を取得し、推定モデルに対象生体信号を入力することにより、対象ユーザの感情を推定する。

〔５．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、学習部１３２とを有する。取得部１３１は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号である入力用データとを含む学習用データを取得する。学習部１３２は、学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、コンテンツがユーザに与える心理的な作用を示すラベルと、そのコンテンツが出力時のユーザの生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体電位である入力用データを含む学習用データを取得する。学習部１３２は、学習用データを用いて、生体電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、ユーザの生体電位を入力とする人の感情の推定モデルを学習することにより、ユーザの感情と生体電位との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの頭部の筋電位を含む入力用データを含む学習用データを取得する。学習部１３２は、学習用データを用いて、頭部の筋電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、ユーザの頭部の筋電位を入力とする人の感情の推定モデルを学習することにより、ユーザの感情と頭部の筋電位との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの顔の筋電位を含む入力用データを含む学習用データを取得する。学習部１３２は、学習用データを用いて、顔の筋電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、ユーザの顔の筋電位を入力とする人の感情の推定モデルを学習することにより、ユーザの感情と顔の筋電位との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの眼電位を含む入力用データを含む学習用データを取得する。学習部１３２は、学習用データを用いて、眼電位に対応する人の感情を推定する情報を出力する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、ユーザの眼電位を入力とする人の感情の推定モデルを学習することにより、ユーザの感情と眼電位との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、コンテンツによりユーザに引き起こされる感情を示すラベル情報を含む学習用データを取得する。学習部１３２は、学習用データを用いて、推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、コンテンツによりユーザに引き起こされる感情を示すラベルと、そのコンテンツが出力時のユーザの生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、ユーザが頭部に装着したヘッドマウントディスプレイである端末装置１０が出力するコンテンツのラベル情報を含む学習用データを取得する。学習部１３２は、学習用データを用いて、端末装置１０を装着した人の感情を推定する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、ヘッドマウントディスプレイによりユーザに対して出力されたコンテンツのラベルと、ヘッドマウントディスプレイを装着したユーザのコンテンツ出力時の生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、映像を含むコンテンツがユーザに与える心理的な作用を示すラベル情報を含む学習用データを取得する。

これにより、実施形態に係る情報処理装置１００は、コンテンツのラベルと、ユーザの映像出力時の生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、ユーザが頭部に装着したオーバーイヤーヘッドホンである端末装置１０が出力するコンテンツのラベル情報を含む学習用データを取得する。学習部１３２は、学習用データを用いて、端末装置１０を装着した人の感情を推定する推定モデルを学習する。

これにより、実施形態に係る情報処理装置１００は、オーバーイヤーヘッドホンによりユーザに対して出力されたコンテンツのラベルと、オーバーイヤーヘッドホンを装着したユーザのコンテンツ出力時の生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、音声を含むコンテンツがユーザに与える心理的な作用を示すラベル情報を含む学習用データを取得する。

これにより、実施形態に係る情報処理装置１００は、コンテンツのラベルと、ユーザの音声出力時の生体信号とを用いて、人の感情を推定する推定モデルを学習することにより、ユーザの感情と生体信号との対応関係を適切に学習したモデルを生成することができる。したがって、情報処理装置１００は、適切なユーザの感情推定を可能にすることができる。

また、実施形態に係る情報処理装置１００は、推定部１３３を有する。推定部１３３は、学習部１３２により学習された推定モデルを用いて、人の感情を推定する。

これにより、実施形態に係る情報処理装置１００は、適切にユーザの感情を推定することができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、ユーザが頭部に装着した端末装置１０が出力するコンテンツがユーザに与える心理的な作用を示すラベル情報と、端末装置１０によるコンテンツの出力時に端末装置１０により検知されるユーザの生体信号である入力用データとを含む学習用データを用いて生成された推定モデルであって、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを取得する。推定部１３３は、推定モデルを用いて、人の感情を推定する。

これにより、実施形態に係る情報処理装置１００は、適切にユーザの感情を推定することができる。

また、実施形態に係る情報処理装置１００において、取得部１３１は、端末装置１０を装着した対象ユーザの生体信号である対象生体信号を取得する。推定部１３３は、推定モデルに対象生体信号を入力することにより、対象ユーザの感情を推定する。

これにより、実施形態に係る情報処理装置１００は、端末装置１０を装着した対象ユーザを対象として、適切にユーザの感情を推定することができる。

〔６．ハードウェア構成〕
また、上述した実施形態に係る端末装置１０や情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢメモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

〔７．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

例えば、上述した情報処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。また、情報処理装置１００と端末装置１０とは一体であってもよい。この場合、例えばユーザが利用する端末装置１０が情報処理装置１００としての機能を有してもよい。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 情報処理システム
１００ 情報処理装置
１２０ 記憶部
１２１ 学習用データ記憶部
１２２ モデル情報記憶部
１２３ コンテンツ情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 学習部
１３３ 推定部
１３４ 提供部
１０ 端末装置
１１ 通信部
１２ 音声出力部
１３ 表示部
１４ 記憶部
１５ 制御部
１５１ 収集部
１５２ 送信部
１５３ 受信部
１５４ 処理部
１６ センサ部

Claims (17)

1. ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを取得する取得部と、
   前記学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する学習部と、
   を備えたことを特徴とする情報処理装置。
2. 前記取得部は、
   前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体電位である前記入力用データを含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、生体電位に対応する人の感情を推定する情報を出力する前記推定モデルを学習する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記取得部は、
   前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの頭部の筋電位を含む前記入力用データを含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、頭部の筋電位に対応する人の感情を推定する情報を出力する前記推定モデルを学習する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記取得部は、
   前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの顔の筋電位を含む前記入力用データを含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、顔の筋電位に対応する人の感情を推定する情報を出力する前記推定モデルを学習する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記取得部は、
   前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの眼電位を含む前記入力用データを含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、眼電位に対応する人の感情を推定する情報を出力する前記推定モデルを学習する
   ことを特徴とする請求項２～４のいずれか１項に記載の情報処理装置。
6. 前記取得部は、
   前記コンテンツにより前記ユーザに引き起こされる感情を示す前記ラベル情報を含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、前記推定モデルを学習する
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記取得部は、
   前記ユーザが頭部に装着したヘッドマウントディスプレイである前記端末装置が出力する前記コンテンツの前記ラベル情報を含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、前記端末装置を装着した人の感情を推定する前記推定モデルを学習する
   ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記取得部は、
   映像を含む前記コンテンツが前記ユーザに与える心理的な作用を示す前記ラベル情報を含む前記学習用データを取得する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記取得部は、
   前記ユーザが頭部に装着したオーバーイヤーヘッドホンである前記端末装置が出力する前記コンテンツの前記ラベル情報を含む前記学習用データを取得し、
   前記学習部は、
   前記学習用データを用いて、前記端末装置を装着した人の感情を推定する前記推定モデルを学習する
   ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
10. 前記取得部は、
    音声を含む前記コンテンツが前記ユーザに与える心理的な作用を示す前記ラベル情報を含む前記学習用データを取得する
    ことを特徴とする請求項７～９のいずれか１項に記載の情報処理装置。
11. 前記学習部により学習された前記推定モデルを用いて、人の感情を推定する推定部、
    をさらに備えることを特徴とする請求項１～１０のいずれか１項に記載の情報処理装置。
12. コンピュータが実行する情報処理方法であって、
    ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを取得する取得工程と、
    前記学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する学習工程と、
    を含むことを特徴とする情報処理方法。
13. ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを取得する取得手順と、
    前記学習用データを用いて、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを学習する学習手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。
14. ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを用いて生成された推定モデルであって、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを取得する取得部と、
    前記推定モデルを用いて、人の感情を推定する推定部と、
    を備えたことを特徴とする情報処理装置。
15. 前記取得部は、
    前記端末装置を装着した対象ユーザの生体信号である対象生体信号を取得し、
    前記推定部は、
    前記推定モデルに前記対象生体信号を入力することにより、前記対象ユーザの感情を推定する
    ことを特徴とする請求項１４に記載の情報処理装置。
16. ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを用いて生成された推定モデルであって、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを取得する取得工程と、
    前記推定モデルを用いて、人の感情を推定する推定工程と、
    を含んだことを特徴とする情報処理方法。
17. ユーザが頭部に装着した端末装置が出力するコンテンツが前記ユーザに与える心理的な作用を示すラベル情報と、前記端末装置による前記コンテンツの出力時に前記端末装置により検知される前記ユーザの生体信号である入力用データとを含む学習用データを用いて生成された推定モデルであって、入力用データの入力に応じて当該入力用データに対応する人の感情を推定する情報を出力する推定モデルを取得する取得手順と、
    前記推定モデルを用いて、人の感情を推定する推定手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images