JP2023089729A - 計算機システム及び情動推定方法 - Google Patents

Abstract

【課題】高い精度でユーザの情動を推定する。【解決手段】計算機システムは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、任意の時間範囲の生体データ及び運動データを用いて、生体信号時系列及び運動信号時系列を生成し、運動信号時系列を用いて、生体信号時系列を、ユーザの運動の影響が低減された補正生体信号時系列に補正し、補正生体信号時系列から算出される生体特徴量を用いてユーザの情動を推定する。【選択図】図６

Description

本開示は、情動を推定するシステム及び方法に関する。

近年、ヘルスケア分野において、利用者の情動をフィードバックすることで、より良いサービスの提供及び開発を促進する取り組みが進んでいる。生活の質（ＱｏＬ）を向上させるために利用者の感情を反映する技術の開発では、生活行動中の利用者の状態をモニタリングする生体センサから取得可能な生体信号を用いた情動推定技術の利用が進んでいる。

例えば、本開示の背景技術として、特許文献１に記載の技術が知られている。特許文献１には、「情動推定システムは、取得部１３１と、分類部と、出力制御部１３７とを有する。取得部は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。分類部は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。出力制御部は、分類された結果に応じて異なる出力を行う。」ことが開示されている。

特開２０１７－１２１２８６号公報

特許文献１には、感情の異常状態に応じて出力を行うシステムが記載されている。しかし、特許文献１に記載の技術は、ストレスに関わる心理状態における情動の推定方法であり、ポジティブな情動をリラックス状態と推定しており、細やかな情動の推定ができない。また、特許文献１に記載の技術は心拍変動のみを用いており、対象者の行動による情動推定への影響が考慮されていない。

本発明は、人の行動による情動推定の影響を低減し、高い精度で種々の情動を推定するシステム及び方法を提供することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つの計算機を備える計算機システムであって、前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、前記プロセッサは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する。

本開示の一態様によれば、高い精度で、人の情動を推定できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１のシステムの構成例を示す図である。 実施例１の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。 実施例１のユーザデータ管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の情動推定結果管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の学習データ管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の情動推定システムが実行する情動推定処理の流れを示す図である。 実施例１の情動推定システムが実行する情動推定処理の一例を説明するフローチャートである。 実施例１の心拍時系列の一例を示す図である。 実施例１の加速度時系列の一例を示す図である。 実施例１の心拍時系列の周波数スペクトルの一例を示す図である。 実施例１の情動推定システムが実行する情動推定モデルの学習処理の一例を説明するフローチャートである。 実施例１の情動推定システムに適用される感情モデルの一例を示す図である。 実施例１の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例１の情動推定システムが実行する補正モデルの学習処理の一例を説明するフローチャートである。 実施例１の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例１の情動推定システムが提示する画面の一例を示す図である。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

以下、情動推定システムを説明する。情動推定システムは、例えば、ヘルスケア分野において、心理的領域のＱｏＬを評価する。評価結果を用いることによって、日常生活における人の情動を反映したサービスの提供及び開発を実現することができる。本開示の情動推定方法は、ユーザの個性及び環境に限定されることなく適用できる。

図１は、実施例１のシステムの構成例を示す図である。図２は、実施例１の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。

システムは、情動推定システム１００、ユーザデータ収集装置１０１、及び情報端末１０２を含む。ユーザデータ収集装置１０１及び情報端末１０２は、ネットワークを介して情動推定システム１００と接続する。ネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。

ユーザデータ収集装置１０１は、ユーザが装着するデバイスであって、心拍センサ１３０等の生体データ計測装置、及び加速度センサ１３１等の運動データ計測装置を有する。なお、ユーザデータ収集装置１０１は、生体データ計測装置として、脳波、皮膚電位、及び体温等を計測するセンサを有してもよいし、また、運動データ計測装置として、ジャイロセンサを有してもよい。また、ユーザデータ収集装置１０１は、気圧センサ等、ユーザの環境に関する値を計測する計測装置を有してもよい。ユーザデータ収集装置１０１には、ユーザの日常生活を阻害しない範囲で様々なセンサを搭載できる。

ユーザデータ収集装置１０１は、生体データ計測装置及び運動データ計測装置から計測結果を取得して、生体データ及び運動データを含むユーザデータを生成し、情動推定システム１００に送信する。

情報端末１０２は、スマートフォン及びパーソンルコンピュータ等のユーザが操作する端末である。情動推定システム１００は、情動の推定結果、生体データ、及び運動データ等を含むユーザの状態情報を情報端末１０２に送信する。情報端末１０２に表示される画面の詳細は後述する。

情動推定システム１００は、情動の推定を行い、また、情動の推定に使用する各種モデルの学習を行う。情動推定システム１００は、図２に示すような計算機２００から構成される。なお、情動推定システム１００を構成する計算機２００の数は一つでもよいし、二つ以上でもよい。

計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア要素は内部バス２０５を介して互いに接続される。

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。

主記憶装置２０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プロセッサ２０１が実行するプログラム及びプログラムが使用するデータを格納する。主記憶装置２０２は、また、ワークエリアとしても使用される。

副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、データを永続的に格納する。主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が副記憶装置２０３からプログラム及び情報を読み出し、主記憶装置２０２にロードする。

ネットワークインタフェース２０４は、ネットワークを介して外部装置と接続するためのインタフェースである。

なお、計算機２００のハードウェア構成は一例であってこれに限定されない。キーボード、マウス、タッチパネル等の入力装置を有してもよいし、また、ディスプレイ及びプリンタ等の出力装置を有してもよい。

情動推定システム１００は、機能部として、情動推定部１１０、補正部１１１、表示部１１２、及び学習部１１３を有する。また、情動推定システム１００は、ユーザデータ管理ＤＢ１２０、情動推定結果管理ＤＢ１２１、学習データ管理ＤＢ１２２、情動推定モデル１２３、及び補正モデル１２４を保持する。

情動推定モデル１２３は、人の情動を推定するためのモデルである。情動推定モデル１２３は、平静に近い状態のユーザの生体データを用いて情動を推定するためのモデルであり、例えば、回帰モデル及びニューラルネットワーク等である。平静に近い状態とは、あまり動きがなく、かつ、落ち着いた状態を表す。補正モデル１２４は、生体データから生成され、かつ、情動推定に用いられる時系列を補正するためのモデルである。補正モデル１２４は、例えば、回帰モデル及びニューラルネットワーク等である。

ユーザデータ管理ＤＢ１２０は、ユーザデータ収集装置１０１から受信したユーザデータを格納するデータベースである。情動推定結果管理ＤＢ１２１は、情動推定の結果を格納するデータベースである。学習データ管理ＤＢ１２２は、情動推定モデル１２３及び補正モデル１２４の学習に使用する学習データを格納するデータベースである。

補正部１１１は、運動データ及び補正モデル１２４を用いて、時系列の補正を行う。本実施例では、運動の影響が低減された時系列に補正される。情動推定部１１０は、補正された時系列及び情動推定モデル１２３を用いて、人の情動を推定する。具体的には、情動推定部１１０は、任意の感情モデルにおける、情動の種類及びレベルを推定し、情動の推定結果を出力する。表示部１１２は、情動の推定結果及びユーザの状態情報等を提示する。学習部１１３は、情動推定モデル１２３及び補正モデル１２４の学習を行う。

なお、情動推定システム１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。例えば、学習部１１３を、情動推定モデル１２３を学習する学習部と、補正モデル１２４を学習する学習部とに分けてもよい。また、情動推定部１１０が補正部１１１を含んでもよい。

図３は、実施例１のユーザデータ管理ＤＢ１２０に格納されるデータのデータ構造の一例を説明する図である。

ユーザデータ管理ＤＢ１２０には、図３に示すようなテーブル３００が格納される。テーブル３００は、ユーザＩＤ３０１、時刻３０２、運動データ３０３、及び生体データ３０４を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

ユーザＩＤ３０１は、ユーザの識別情報を格納するフィールドである。時刻３０２は、ユーザデータが生成された時刻を格納するフィールドである。運動データ３０３は、運動データ計測装置によって計測された値を格納するフィールド群である。図３では、加速度及び姿勢に関する値が格納される。生体データ３０４は、生体データ計測装置によって計測された値を格納するフィールド群である。図３では、心拍に関する値が格納される。

図４は、実施例１の情動推定結果管理ＤＢ１２１に格納されるデータのデータ構造の一例を説明する図である。

情動推定結果管理ＤＢ１２１には、図４に示すようなテーブル４００が格納される。テーブル４００は、ユーザＩＤ４０１、時刻４０２、及び推定結果４０３を含むエントリを格納する。一つのエントリは一つの情動推定結果に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

ユーザＩＤ４０１は、ユーザＩＤ３０１と同一のフィールドである。時刻４０２は、情動推定を行うために使用したユーザデータの時系列の開始時刻を格納するフィールドである。本実施例では、所定の時間幅のユーザデータの時系列を用いて情動の推定が行われる。推定結果４０３は、情動推定部１１０から出力された値を格納するフィールド群である。図４の推定結果４０３には、集中の度合い、及び各感情種別の度合いが格納される。

図５は、実施例１の学習データ管理ＤＢ１２２に格納されるデータのデータ構造の一例を説明する図である。

学習データ管理ＤＢ１２２には、図５に示すようなテーブル５００が格納される。テーブル５００は、情動推定モデル１２３を学習するために用いられる学習データを格納するテーブルであって、ユーザＩＤ５０１、時刻５０２、運動データ５０３、生体データ５０４、補正生体データ５０５、及び推定結果５０６を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

ユーザＩＤ５０１、時刻５０２、運動データ５０３、及び生体データ５０４は、ユーザＩＤ３０１、時刻３０２、運動データ３０３、及び生体データ３０４と同一のフィールドである。補正生体データ５０５は、補正された生体データを格納するフィールド群である。推定結果５０６は、ユーザデータの時系列を用いて推定された情動の推定結果を格納するフィールド群である。一つの推定結果を出力するために用いた時系列を構成するユーザデータに対応するエントリの推定結果５０６には同じ値が設定される。

ここで、実施例１の情動推定方法について説明する。図６は、実施例１の情動推定システム１００が実行する情動推定処理の流れを示す図である。図７は、実施例１の情動推定システム１００が実行する情動推定処理の一例を説明するフローチャートである。図８は、実施例１の心拍時系列の一例を示す図である。図９は、実施例１の加速度時系列の一例を示す図である。図１０は、実施例１の心拍時系列の周波数スペクトルの一例を示す図である。

以下の説明では、運動データに含まれる加速度及び生体データに含まれる心拍を用いて情動を推定する方法について説明する。

情動推定部１１０は、所定の時間幅のユーザデータを取得する（ステップＳ１０１）。

情動推定部１１０は、取得した複数のユーザデータに基づいて、加速度に関する時系列（加速度時系列）及び心拍に関する時系列（心拍時系列）を生成する（ステップＳ１０２）。図８は心拍時系列の一例である。横軸は時間を表し、縦軸はミリ秒単位時間あたりの心拍回数であるＨＲＶを表す。図９は加速度時系列の一例である。横軸は時間を表し、縦軸は加速度を表す。

情動推定部１１０は、加速度時系列を運動特徴量生成器６０１に入力することによって運動特徴量を算出する（ステップＳ１０３）。運動特徴量生成器６０１は、例えば、加速度の正負が入れ代わる頻度（ゼロクラス量）を運動特徴量として算出する。

情動推定部１１０は、運動特徴量に基づいて運動強度が強い状態であるか否かを判定する（ステップＳ１０４）。例えば、運動特徴量が閾値より大きい場合、情動推定部１１０は、運動強度が強い状態であると判定する。運動強度が強い状態ではない場合、情動推定部１１０はステップＳ１０６に進む。運動強度が一定程度より強い状態の場合、心拍時系列は運動の影響を強く受けている可能性が高いため、運動の影響を低減する補正が行われる。

運動強度が強い状態である場合、情動推定部１１０は、補正部１１１を呼び出し、心拍時系列の補正を指示する。このとき、情動推定部１１０は、運動特徴量及び心拍時系列を補正部１１１に出力する。補正部１１１は、運動特徴量及び心拍時系列、並びに、補正モデル１２４を用いて、心拍時系列を補正する（ステップＳ１０５）。本補正によって、運動の影響が低減された心拍時系列に補正される。すなわち、平静状態に近い状態の心拍時系列に補正される。補正部１１１は、補正された心拍時系列を情動推定部１１０に出力する。情動推定部１１０は、補正された心拍時系列を受け付けた場合、ステップＳ１０６に進む。

ステップＳ１０６では、情動推定部１１０は、心拍時系列を用いて心拍時系列の周波数スペクトルを算出する（ステップＳ１０６）。

図１０はＨＲＶの周波数スペクトルの一例である。横軸は周波数を表し、縦軸はＨＲＶのスペクトルパワー密度を表す。

情動推定部１１０は、心拍時系列及びＨＲＶの周波数スペクトルを生体特徴量生成器６０２に入力することによって生体特徴量を算出する（ステップＳ１０７）。

生体特徴量生成器６０２は、例えば、ＨＲＶの周波数スペクトルを用いて、超低周波ＶＬＦ、低周波数ＬＦ、及び高周波数ＨＦのスペクトルパワー密度を算出し、さらに、各スペクトルパワー密度を用いて、Ｔｏｔａｌ Ｐｏｗｅｒ、ＬＦ及びＨＦのスペクトルパワー密度の比率、ＬＦ Ｎｏｒｍ、並びに、ＨＦ Ｎｏｒｍ等を生体特徴量として算出する。Ｔｏｔａｌ Ｐｏｗｅｒは、ＶＬＦ、ＬＦ、及びＨＦのスペクトルパワー密度の合計値である。ＬＦ Ｎｏｒｍは、ＬＦ及びＶＬＦのスペクトルパワー密度を用いて、ＬＦの特徴を強調する値である。ＨＦ Ｎｏｒｍは、ＨＦ及びＶＬＦのスペクトルパワー密度を用いて、ＨＦの特徴を強調する値である。

生体特徴量生成器６０２は、例えば、情動推定部１１０は、心拍時系列を用いて、ＨＲ、ＳＤＮＮ、ＲＭＳＳＤ、ＮＮ５０、ｐＮＮ５０、ＮＮ２０、及びｐＮＮ２０等を生体特徴量として算出する。ＨＲは、心拍数の平均値である。ＳＤＮＮは、ＨＲＶの標準偏差である。ＲＭＳＳＤは、連続して隣接するＨＲＶの差の２乗平均の平方根である。ＮＮ５０は、連続して隣接するＨＲＶの差が５０ｍｓを超える総数である。ｐＮＮ５０は、連続して隣接するＨＲＶの差が５０ｍｓを超える心拍の割合である。ＮＮ２０は、連続して隣接するＨＲＶの差が２０ｍｓを超える総数である。ｐＮＮ２０は、連続して隣接するＨＲＶの差が２０ｍｓを超える心拍の割合である。

情動推定部１１０は、心拍時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル１２３を用いて情動を推定する（ステップＳ１０８）。情動推定部１１０は、情動推定結果管理ＤＢ１２１に情動の推定結果を格納する。なお、情動推定モデル１２３は、運動特徴量及び心拍時系列を用いないモデルでもよい。

本実施例では、情動推定部１１０は、情動推定モデル１２３から任意の感情モデルのパラメータを取得し、パラメータ及び感情モデルを用いて情動を分類する。

情動推定部１１０は、ユーザデータ、補正結果、及び情動推定結果を対応づけた学習データを学習データ管理ＤＢ１２２のテーブル５００に保存する。

なお、心拍時系列の補正が行われない場合、図６において、補正されていない心拍時系列を用いて周波数スペクトル算出処理が実行される。また、補正されていない時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル１２３を用いて情動が推定される。

次に、実施例１の情動推定モデル１２３の学習方法について説明する。図１１は、実施例１の情動推定システム１００が実行する情動推定モデル１２３の学習処理の一例を説明するフローチャートである。図１２は、実施例１の情動推定システム１００に適用される感情モデルの一例を示す図である。

本実施例では、図１２に示すように感情次元論に基づくラッセルの感情円環モデル等の感情モデルを用いて情動を推定する。図１２に示す感情円環モデルは縦軸が覚醒度を表し、横軸が感情価を表す。また、本実施例では、感情円環モデルの各感情をラベル（Ｙ_０、Ｙ_１、Ｙ_２、Ｙ_３、Ｙ_４）で分類する。

学習部１１３は、ユーザデータ及び情動推定結果を用いて学習データを生成する（ステップＳ２０１）。

本実施例では、学習部１１３は、一つのユーザデータに、所定の時間範囲の時系列を用いて出力された情動推定結果を対応づけることによって、図５に示すようなエントリを生成し、テーブル５００に格納する。なお、生成されたエントリの補正生体データ５０５は空欄でもよい。

学習部１１３は、学習データに感情円環モデルにおけるラベルを付与する（ステップＳ２０２）。学習データに付与されるラベルは、情動推定モデル１２３の推定結果の正解を表す。

学習部１１３は、学習データを用いて情動推定モデル１２３の学習を実行する（ステップＳ２０３）。学習部１１３は、学習結果を情動推定モデル１２３として格納する。学習方法は公知の手法を用いればよいため詳細な説明は省略する。

次に、実施例１の補正モデル１２４の学習方法について説明する。図１３は、実施例１の情動推定システム１００が実行する補正モデル１２４の学習処理の流れを示す図である。図１４は、実施例１の情動推定システム１００が実行する補正モデル１２４の学習処理の一例を説明するフローチャートである。

学習部１１３は、学習データ管理ＤＢ１２２から学習データ（テーブル５００のエントリ群）を取得する（ステップＳ３０１）。ここで、学習データは、任意のユーザの、任意の時間幅のユーザデータの時系列と、補正心拍時系列とを含む。

学習部１１３は、学習データに含まれるユーザデータの時系列を用いて、運動特徴量及び生体特徴量を算出する（ステップＳ３０２）。運動特徴量及び生体特徴量の算出方法は情動推定における方法と同一である。

学習部１１３は、運動特徴量及び生体特徴量を復元器１２０１に入力することによって復元心拍時系列を生成する（ステップＳ３０３）。復元器１２０１を実現するモデルが補正モデル１２４である。

学習部１１３は、第１損失関数を用いて第１損失Ｇを算出する（ステップＳ３０４）。ここで、第１損失関数は、例えば、式（１）で与えられる。

図１３に示すように、生体特徴量生成器６０２はオートエンコーダのエンコーダとして機能し、復元器１２０１はオートエンコーダのデコーダとして機能する。エンコーダが生成する特徴量は、エンコーダに入力されたデータを代表するような特徴量となっている。本実施例のエンコーダは、次元削減により特徴量を算出するものとする。

ｙは復元器１２０１が生成した復元心拍時系列を表し、ｘはユーザデータから生成される心拍時系列を表す。Ｄ_ＫＬ（ ｜ ）はカルバックライブラー擬距離を表し、μは生体特徴量の平均を表し、σは生体特徴量の分散を表す。Ｎは確率分布を表す。

学習部１１３は、復元心拍時系列、及び推定された情動に対応するノイズがない心拍時系列を生体特徴量生成器６０２に入力することによって、各時系列の生体特徴量を算出する（ステップＳ３０５）。ここで、ノイズがない心拍時系列とは、平静状態における、ある情動の心拍時系列である。当該心拍時系列は、予め設定されてもよいし、学習データ管理ＤＢ１２２から検索してもよい。

学習部１１３は、識別器１２０２に二つの生体特徴量を入力し、識別器１２０２の識別結果及び第２損失関数を用いて第２損失Ｄを算出する（ステップＳ３０６）。ここで、識別器１２０２は、入力された心拍時系列が、ノイズがない心拍時系列であるか否かを識別する。

図１３に示すように、復元器１２０１及び識別器１２０２は敵対的生成ネットワークを構成する。識別器１２０２が、復元器１２０１が生成した復元心拍時系列と、心拍時系列とを識別できなくなるように学習が進む。なお、情動推定システム１００は、識別器１２０２を実現するモデルを保持している。

学習部１１３は、第１損失Ｇ及び第２損失Ｄを用いて、復元器１２０１及び識別器１２０２の各々のモデルを更新する（ステップＳ３０７）。

具体的には、学習部１１３は、式（２）に示す最小化問題の解を求めることによってモデルを更新する。ここで、Ｖ（θ_Ｇ，θ_Ｄ）は式（３）のように与えられる。

ここで、θは勾配を表し、Ｅはバイナリクスエントロピーを表す。

学習部１１３は、学習を終了するか否かを判定する（ステップＳ３０７）。例えば、更新回数が閾値より大きい場合、学習部１１３は学習を終了すると判定する。また、評価用のユーザデータに対する情動の予測精度が閾値より高い場合、学習部１１３は学習を終了すると判定する。

学習を終了しない場合、学習部１１３は、ステップＳ３０１に戻り、新たな学習データに対して同様の処理を実行する。学習を終了する場合、学習部１１３は補正モデル１２４の学習処理を終了する。

上記の学習によって、ユーザの運動の影響を低減した心拍時系列を出力する補正モデル１２４を得ることができる。補正モデル１２４によって補正された心拍時系列を用いることによって、ユーザの運動の影響を受けることなく、高い精度でユーザの情動を推定することができる。また、生体特徴量を用いることによって、情動推定結果の決定に対する説明性を担保できる。

本実施例によれば、平静状態で取得した心拍データを用いて学習した情動推定モデル１２３を改編等することなく、高い精度でユーザの情動を推定できる。そのため、開発コスト及び運用コストを低減できるという効果もある。

補正モデル１２４の学習に用いる敵対的生成ネットワークはドメイン適応の課題解決に寄与するため、ユーザの運動の影響を低減するだけではなく、ユーザの個性及び環境の影響を低減する効果もある。

時系列の補正には、時系列の値の修正、及び時系列における値の補間等の処理が含まれる。

（変形例）
なお、補正モデル１２４は、脳波、皮膚電位、及び体温等、心拍以外の生体値の時系列を入力としてもよい。図１５は、加速度、心拍、及び脳波を扱う補正モデル１２４の学習の流れを示す図である。脳波時系列から脳波に関する生体特徴量を生成する生体特徴量生成器１５０１が追加されている点が異なる。この場合、第１損失関数は、例えば、式（４）で与えられる。

ここで、Ｄ_ＫＬａ（ ｜ ）は加速度及び心拍に関するカルバックライブラー擬距離を表し、Ｄ_ＫＬｂ（ ｜ ）は脳波及び心拍に関するカルバックライブラー擬距離を表す。

心拍以外の生体値の時系列を用いることによって、ユーザの運動の影響をより効果的に低減できる可能性がある。

次に、表示部１１２によって提示される画面について説明する。図１６は、実施例１の情動推定システム１００が提示する画面の一例を示す図である。

情動推定システム１００の表示部１１２は、情報端末１０２に図１６に示すようなレポート画面１６００を表示する。

レポート画面１６００には、感情マップ１６０１、心拍時系列グラフ１６０２、及び運動強度グラフ１６０３が表示される。

感情マップ１６０１は、ユーザの情動の推定結果がマッピングされた感情モデルである。心拍時系列グラフ１６０２は、情動推定に使用された心拍時系列を示すグラフである。運動強度グラフ１６０３は、任意期間の運動強度の推移を示すグラフである。

情動推定システム１００は、周期的に情動推定処理を実行し、その都度、図１６に示すようなレポート画面１６００を提示してもよい。このとき、レポート画面１６００を表示するための情報は記録していなくてもよい。また、情動推定システム１００は、周期的に情動推定処理を実行し、処理結果を蓄積してもよい。この場合、情動推定システム１００は、ユーザの要求に応じて、任意の時間の情動の推定結果を提示するレポート画面１６００を表示する。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００ 情動推定システム
１０１ ユーザデータ収集装置
１０２ 情報端末
１１０ 情動推定部
１１１ 補正部
１１２ 表示部
１１３ 学習部
１２０ ユーザデータ管理ＤＢ
１２１ 情動推定結果管理ＤＢ
１２２ 学習データ管理ＤＢ
１２３ 情動推定モデル
１２４ 補正モデル
１３０ 心拍センサ
１３１ 加速度センサ
２００ 計算機
２０１ プロセッサ
２０２ 主記憶装置
２０３ 副記憶装置
２０４ ネットワークインタフェース
２０５ 内部バス
６０１ 運動特徴量生成器
６０２、１５０１ 生体特徴量生成器
１２０１ 復元器
１２０２ 識別器
１６００ レポート画面
１６０１ 感情マップ
１６０２ 心拍時系列グラフ
１６０３ 運動強度グラフ

Claims (14)

1. 少なくとも一つの計算機を備える計算機システムであって、
   前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
   前記プロセッサは、
   ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、
   任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、
   前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、
   前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納することを特徴とする計算機システム。
2. 請求項１に記載の計算機システムであって、
   前記プロセッサは、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正することを特徴とする計算機システム。
3. 請求項２に記載の計算機システムであって、
   前記プロセッサは、前記運動特徴量、前記補正生体信号時系列、及び前記第１生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
4. 請求項３に記載の計算機システムであって、
   前記プロセッサは、
   前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定し、
   前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第２生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
5. 請求項２に記載の計算機システムであって、
   前記記憶装置は、前記補正生体信号時系列を生成するための第１モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第２モデルとを格納し、
   前記プロセッサは、
   前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
   取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第１生体特徴量を前記第１モデルに入力する処理と、
   取得した前記正解生体信号時系列と、前記第１モデルから出力された前記補正生体信号時系列とを前記第２モデルに入力する処理と、
   前記第１モデルの出力及び前記第２モデルの出力から定義される損失関数の値を算出する処理と、
   前記損失関数の値に基づいて、前記第１モデル及び前記第２モデルを更新する処理と、
   を含む学習処理を実行することを特徴とする計算機システム。
6. 請求項２に記載の計算機システムであって、
   前記生体信号は心拍に関する信号であり、
   前記運動信号は加速度に関する信号であることを特徴とする計算機システム。
7. 請求項２に記載の計算機システムであって、
   前記プロセッサは、前記ユーザの情動の推定結果を表示するインタフェースを提示することを特徴とする計算機システム。
8. 少なくとも一つの計算機を有する計算機システムが実行する情動推定方法であって、
   前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
   前記情動推定方法は、
   前記プロセッサが、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納する第１のステップと、
   前記プロセッサが、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成する第２のステップと、
   前記プロセッサが、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正する第３のステップと、
   前記プロセッサが、前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する第４のステップと、
   を含むことを特徴とする情動推定方法。
9. 請求項８に記載の情動推定方法であって、
   前記第３のステップは、前記プロセッサが、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正するステップを含むことを特徴とする情動推定方法。
10. 請求項９に記載の情動推定方法であって、
    前記第４のステップは、前記プロセッサが、前記運動特徴量、前記補正生体信号時系列、及び前記第１生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
11. 請求項１０に記載の情動推定方法であって、
    前記第２のステップは、前記プロセッサが、前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定するステップを含み、
    前記第４のステップは、前記プロセッサが、前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第２生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
12. 請求項９に記載の情動推定方法であって、
    前記記憶装置は、前記補正生体信号時系列を生成するための第１モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第２モデルとを格納し、
    前記情動推定方法は、
    前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
    取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第１生体特徴量を前記第１モデルに入力する処理と、
    取得した前記正解生体信号時系列と、前記第１モデルから出力された前記補正生体信号時系列とを前記第２モデルに入力する処理と、
    前記第１モデルの出力及び前記第２モデルの出力から定義される損失関数の値を算出する処理と、
    前記損失関数の値に基づいて、前記第１モデル及び前記第２モデルを更新する処理と、
    を含む学習処理を前記プロセッサが実行するステップを含むことを特徴とする情動推定方法。
13. 請求項９に記載の情動推定方法であって、
    前記生体信号は心拍に関する信号であり、
    前記運動信号は加速度に関する信号であることを特徴とする情動推定方法。
14. 請求項９に記載の情動推定方法であって、
    前記プロセッサが、前記ユーザの情動の推定結果を表示するインタフェースを提示するステップを含むことを特徴とする情動推定方法。

Images