JP2023115687A - データ処理方法、プログラム及びデータ処理装置 - Google Patents

Abstract

【課題】人の感情を推定する精度を向上させる。
【解決手段】データ処理方法は、ユーザの脈波データが入力されると脈波データに対応するユーザの感情を示す推定感情データを出力する、ユーザに対応するユーザ感情推定モデルに、ユーザの脈波データを入力する脈波データ入力ステップ（Ｓ２００）と、ユーザ感情推定モデルから出力される推定感情データを出力する感情データ出力ステップ（Ｓ３００）と、を有し、ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とする。
【選択図】図２

Description

本発明は、データ処理方法、プログラム及びデータ処理装置に関する。

従来、人の脈波を計測することにより人の感情を推定する感情推定装置が知られている（例えば、特許文献１を参照）。

特開２０１５－１０９９６４号公報

従来の感情推定装置は、複数の感情に対応する複数の特徴パターンのうち、計測した脈波に対応する特徴パターンを特定することにより感情を推定する。しかしながら、人の年齢、性別又は性格等の属性によって、感情と脈波との関係が異なるため、従来の感情推定装置においては、人の感情を推定する精度が低いという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、人の感情を推定する精度を向上させることを目的とする。

本発明の第１の態様に係るデータ処理方法は、コンピュータが実行する、ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力ステップと、前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力ステップと、を有し、前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とする。

前記ユーザ属性は、前記脈波データに基づいて特定された脈波の大きさ及び心拍数の組合せに基づいて特定される属性であってもよい。

所定の期間が経過するたびに、前記ユーザ感情推定モデルを、予め準備された複数の属性別感情推定モデルから再び選択してもよい。

前記脈波データ入力ステップの前に、前記ユーザに関連付けられた重み係数を前記一の属性別感情推定モデルに設定することにより、前記ユーザ感情推定モデルを作成するモデル作成ステップをさらに有してもよい。

前記モデル作成ステップにおいて、前記ユーザが使用する情報端末から前記重み係数を取得し、取得した前記重み係数を前記一の属性別感情推定モデルに設定してもよい。

前記モデル作成ステップにおいて、前記ユーザに関連付けて記憶部に記憶された前記重み係数を前記一の属性別感情推定モデルに設定してもよい。

前記モデル作成ステップは、前記ユーザの感情を問い合わせるメッセージを前記ユーザが使用する情報端末に送信するステップと、前記メッセージを前記情報端末に送信したことに応じて、前記ユーザが入力した感情を示す入力感情データと、前記ユーザが前記入力感情データを入力した時点の前記ユーザの脈波データと、を前記情報端末から取得するステップと、取得した前記入力感情データと前記ユーザの脈波データとの関係に基づいて前記重み係数を決定するステップと、を有してもよい。

前記モデル作成ステップにおいて、複数の感情候補データを含む前記メッセージを送信し、前記複数の感情候補データから選択された感情候補データを前記入力感情データとして取得してもよい。

所定の期間が経過するたびに前記モデル作成ステップを実行してもよい。

本発明の第２の態様に係るプログラムは、コンピュータに、ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力ステップと、前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力ステップと、を実行させ、前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とする。

本発明の第３の態様に係るデータ処理装置は、ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力部と、前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力部と、を有し、前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とする。

本発明によれば、人の感情を推定する精度を向上させるという効果を奏する。

本実施形態に係るデータ処理システム１のシステム構成例を示す図である。 本実施形態に係るデータ処理方法を示すフローチャートである。 データ処理装置３０の機能ブロック構成例を示す図である。 属性別感情推定モデルを選択する動作の流れを示すフローチャートである。 脈波データから心拍データを生成する動作を説明するための図である。 ユーザ属性を特定するための管理テーブルを示す図である。 記憶部３２に記憶されたユーザ情報を示す図である。 ユーザ感情推定モデルを作成する動作の流れを示すフローチャートである。 心拍波形における複数の特徴点を説明するための図である。 心拍データの特徴パターンを示す図である。 記憶部３２に記憶された脈波データの管理テーブルを示す図である。 ユーザＵの感情を問い合わせる画面の一例を示す図である。 記憶部３２に記憶された入力感情データを示す図である。

＜データ処理システム１の概要＞
図１は、本実施形態に係るデータ処理システム１のシステム構成例を示す図である。図１に示すデータ処理システム１は、光電測定デバイス１０と、情報端末２０と、データ処理装置３０と、を備える。光電測定デバイス１０と情報端末２０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して接続されている。情報端末２０とデータ処理装置３０とは、インターネット、イントラネット、無線ＬＡＮ（Local Area Network）、又は移動体通信網等のネットワークを介して互いに通信可能に接続されている。

光電測定デバイス１０は、人の脈波を計測するための光電センサを有する装置であり、例えばスマートウォッチ等のウェアラブル端末である。光電測定デバイス１０は、情報端末２０を使用するユーザＵが装着している。光電測定デバイス１０は、例えば光電センサが計測したユーザＵの脈波を示す脈波データを生成し、情報端末２０に送信する。

情報端末２０は、データ処理システム１において感情を推定する対象ユーザ（図１に示すユーザＵ）が使用する端末であり、例えば携帯電話（スマートフォンを含む）、タブレット端末又はパーソナルコンピュータ等の情報処理端末である。情報端末２０は、光電測定デバイス１０から取得した脈波データをデータ処理装置３０に送信する。

情報端末２０には、例えばユーザＵが情報端末２０を操作することにより入力した自身の感情を示す入力感情データをデータ処理装置３０に送信するための専用のアプリケーションプログラム（以下、「専用アプリ」という）がインストールされている。入力感情データは、例えば情報端末２０に表示された「喜」「怒」「哀」「楽」等の感情を示す複数の文字のうち、ユーザＵが自身の感情に対応する文字又は画像を選択することにより生成されたデータである。ユーザＵは、専用アプリを介して入力感情データを送信することができる。

データ処理装置３０は、例えばコンピュータであり、一又は複数の物理的なサーバから構成されている。データ処理装置３０は、ハイパーバイザ（hypervisor）上で動作する仮想的なサーバを用いて構成されていてもよく、クラウドサーバを用いて構成されていてもよい。

データ処理装置３０は、情報端末２０から取得したユーザＵの脈波データ及び入力感情データに基づいてユーザＵの感情を推定するための装置である。データ処理装置３０は、例えば複数のユーザ属性に対応する複数の属性別感情推定モデルを有する。ユーザ属性は、例えばユーザＵの脈波データから算出した平均心拍数及び脈の高さ等の特徴量に基づいて特定した属性である。属性別感情推定モデルは、例えば脈波と感情とが関連付けられたモデルであり、入力された脈波データが示す脈波に対応する感情を示す感情推定データを出力する。データ処理装置３０を用いることで、例えば、ユーザＵが自身の感情を客観的に把握したり、企業の管理者が従業員の感情を把握したりすることが可能になる。

以下、図１を参照しながらデータ処理システム１の動作の概要を説明する。
光電測定デバイス１０は、光電センサが計測したユーザＵの脈波を示す脈波データを情報端末２０に送信する（図１における（１））。情報端末２０は、光電測定デバイス１０から取得した脈波データをデータ処理装置３０に送信する（図１における（２））。

続いて、情報端末２０は、データ処理装置３０からユーザＵの感情を問い合わせるためのメッセージを受信したことに応じて、ユーザＵが感情を入力するための画面を表示する。情報端末２０は、ユーザＵが自身の感情を入力する操作を受け付け（図１における（３））、ユーザＵが入力した感情を示す入力感情データをデータ処理装置３０に送信する（図１における（４））。

データ処理装置３０は、情報端末２０から取得した脈波データ及び入力感情データに基づいてユーザＵの感情を推定する（図１における（５））。データ処理装置３０は、例えばユーザＵの脈波データに基づいて特定したユーザ属性に対応する属性別感情モデルに重み係数を設定することにより、ユーザＵの感情を示す感情推定データを出力するためのユーザ感情推定モデルを作成する。重み係数は、脈波と感情との関連付けを調整するための係数であり、ユーザＵの脈波データ及び入力感情データに基づいて決定される。データ処理装置３０は、作成したユーザ感情推定モデルにユーザＵの脈波データを入力することによりユーザＵの感情を示す感情推定データを出力する。

人の感情と脈波との関係は、当該人の年齢、性別、性格又は疾患等により異なるため、複数のユーザＵの感情を一の感情推定モデルにより推定する精度は低い。これに対して、データ処理装置３０は、複数のユーザＵそれぞれが使用する情報端末２０から取得した脈波データ及び入力感情データに基づいて、複数のユーザＵそれぞれに対応する感情推定モデルを作成し、複数のユーザＵの感情を推定する。

データ処理装置３０がこのように動作することで、データ処理装置３０は、人の感情を推定する精度を向上させることができる。
以下、データ処理装置３０が実行するデータ処理方法とデータ処理装置３０の機能ブロック構成とを説明する。

＜データ処理方法のフローチャート＞
図２は、本実施形態に係るデータ処理方法を示すフローチャートである。データ処理方法は、モデル作成ステップ（Ｓ１００）、脈波データ入力ステップ（Ｓ２００）及び感情データ出力ステップ（Ｓ３００）を有する。

モデル作成ステップ（Ｓ１００）は、ユーザＵの感情を推定するためのユーザ感情推定モデルを作成するステップである。モデル作成ステップ（Ｓ１００）においては、脈波データ入力ステップ（Ｓ２００）の前に、ユーザに関連付けられた重み係数を一の属性別感情推定モデルに設定することにより、ユーザ感情推定モデルを作成する。

脈波データ入力ステップ（Ｓ２００）は、モデル作成ステップ（Ｓ１００）において作成したユーザ感情推定モデルに情報端末２０から取得したユーザＵの脈波データを入力するステップである。脈波データ入力ステップ（Ｓ２００）においては、ユーザＵの脈波データが入力されると脈波データに対応するユーザＵの感情を示す推定感情データを出力する、ユーザＵに対応するユーザ感情推定モデルに、ユーザＵの脈波データを入力する。

感情データ出力ステップ（Ｓ３００）は、ユーザ感情推定モデルから出力される推定感情データを出力するステップである。感情データ出力ステップ（Ｓ３００）においては、脈波データ入力ステップ（Ｓ２００）においてユーザ感情推定モデルに入力した脈波データに対応するユーザＵを示すユーザ情報とユーザ感情推定モデルが出力した推定感情データとを関連付けて出力する。

＜機能ブロック構成＞
図３は、データ処理装置３０の機能ブロック構成例を示す図である。データ処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を有する。制御部３３は、取得部３３１と、モデル作成部３３２と、脈波データ入力部３３３と、感情データ出力部３３４
と、を有する。

通信部３１は、インターネット等の通信ネットワークを介して情報を送受信するための通信デバイスを含む。通信デバイスは、例えばＬＡＮコントローラ又は無線ＬＡＮコントローラである。記憶部３２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部３２は、制御部３３が実行するプログラムを記憶している。記憶部３２は、複数の属性別感情推定モデルを記憶している。

制御部３３は、例えばＣＰＵ（Central Processing Unit）である。制御部３３は、記憶部３２に記憶されたプログラムを実行することにより、取得部３３１、モデル作成部３３２、脈波データ入力部３３３及び感情データ出力部３３４として動作する。

取得部３３１は、ユーザＵの脈波データ及び入力感情データをユーザＵが使用している情報端末２０から取得する。取得部３３１は、例えば入力感情データを取得するタイミングにおいて、ユーザＵの感情を問い合わせるためのメッセージを情報端末２０に送信することにより、当該情報端末２０から入力感情データを取得する。

モデル作成部３３２は、図２に示すモデル作成ステップ（Ｓ１００）を実行する。モデル作成部３３２は、取得部３３１が取得したユーザＵの脈波データに基づいてユーザＵのユーザ属性を特定し、ユーザ属性に対応する属性別感情推定モデルを選択する。モデル作成部３３２は、例えば取得部３３１が取得したユーザＵの脈波データ及び入力感情データに基づいて決定した重み係数を、選択した属性別感情推定モデルに設定することでユーザ感情推定モデルを作成する。

脈波データ入力部３３３は、図２に示す脈波データ入力ステップ（Ｓ２００）を実行する。脈波データ入力部３３３は、ユーザＵの脈波データが入力されると脈波データに対応するユーザＵの感情を示す推定感情データを出力する、ユーザＵに対応するユーザ感情推定モデルに、ユーザＵの脈波データを入力する。脈波データ入力部３３３は、例えばモデル作成部３３２が作成したユーザＵのユーザ感情推定モデルに、取得部３３１が取得したユーザＵの脈波データを入力する。

感情データ出力部３３４は、図２に示す感情データ出力ステップ（Ｓ３００）を実行する。感情データ出力部３３４は、ユーザ感情推定モデルから出力される推定感情データを出力する。感情データ出力部３３４は、例えば推定感情データを外部の情報処理装置（不図示）に出力する。外部の情報処理装置は、例えば複数のユーザＵの推定感情データを管理することが可能なサーバである。感情データ出力部３３４は、推定感情データを記憶部３２に記憶してもよい。

＜ユーザ感情推定モデルを作成する動作の流れ＞
以下、モデル作成ステップ（Ｓ１００）においてモデル作成部３３２がユーザ感情推定モデルを作成する動作の流れを詳細に説明する。
まず、モデル作成ステップ（Ｓ１００）においては、モデル作成部３３２がユーザＵの脈波データに基づいてユーザ属性を特定し、複数の属性別感情推定モデルのうち特定したユーザ属性に対応する属性別感情推定モデルを選択する。

図４は、属性別感情推定モデルを選択する動作の流れを示すフローチャートである。図４に示すように、取得部３３１は、情報端末２０からユーザＵの脈波データを取得する（Ｓ１１）。モデル作成部３３２は、取得部３３１が取得したユーザＵの脈波データが示す脈波の周期に基づいてユーザＵの心拍データを生成する（Ｓ１２）。

図５は、脈波データから心拍データを生成する動作を説明するための図である。図５（ａ）は、脈波データが示す指尖容積脈波を示す図である。図５（ｂ）は、図５（ａ）に示す指尖容積脈波から生成した速度脈波を示す図である。図５（ｃ）は、図５（ｂ）に示す速度脈波から生成した加速度脈波（すなわち心拍波形）を示す図である。図５の横軸は時刻を示す。図５の縦軸は、指尖容積脈波、速度脈波及び加速度脈波それぞれの脈波の高さを示す。図５においては、１つの脈波データが示す指尖容積脈波から１つの心拍波形を示す心拍データを生成する動作を示している。

取得部３３１は、例えば図５（ａ）に示す指尖容積脈波を示す脈波データを取得する。モデル作成部３３２は、取得部３３１が取得した指尖容積脈波を示す脈波データにフーリエ解析等を用いた微分処理を実行することにより、図５（ｂ）に示す速度脈波を示す速度脈波データを生成する。モデル作成部３３２は、生成した速度脈波データにフーリエ解析等を用いた微分処理を実行することにより、図５（ｃ）に示す加速度脈波（すなわち心拍波形）を示す心拍データを生成する。

モデル作成部３３２は、生成した心拍データから特徴量を抽出する（Ｓ１３）。特徴量は、ユーザＵの時系列の脈波データに基づく情報であり、例えば所定時間における平均心拍数又は脈の高さの最大値若しくは脈の高さの平均値の少なくともいずれかである。所定時間は、例えば５分である。モデル作成部３３２は、例えば所定時間における複数の心拍波形それぞれから図５に示す点Ａを特定する。モデル作成部３３２は、所定時間における点Ａの数を特定することにより平均心拍数を算出する。モデル作成部３３２は、例えば所定時間における複数の心拍波形それぞれから図５に示す基線Ｚと点Ａとの差である高さＹを算出する。モデル作成部３３２は、所定時間における複数の高さＹの最大値又は平均値を算出することにより、脈の高さを特定する。

モデル作成部３３２は、抽出した特徴量と記憶部３２が記憶している基準特徴量とを比較し（Ｓ１４）、比較した結果に基づいてユーザ属性を特定する（Ｓ１５）。基準特徴量は、複数の特徴量それぞれにおいて定められた値であり、予め実験又はシミュレーションに基づいて定められた値である。ユーザ属性は、例えば脈波データに基づいて特定された脈波の大きさ及び心拍数の組合せに基づいて特定される属性である。脈波の大きさは、例えば所定時間における脈の高さの最大値又は平均値であり、心拍数は、例えば所定時間における平均心拍数である。

図６は、ユーザ属性を特定するための管理テーブルを示す図である。管理テーブルは、記憶部３２に記憶されている。図６においては、特徴量比較結果１、特徴量比較結果２及びユーザ属性が関連付けられている。特徴量比較結果１は、脈波データに基づいて特定された心拍数と当該心拍数に対応する心拍基準特徴量とを比較した結果である。図６に示す「Ｐ０」は、心拍数が心拍基準特徴量未満であることを示し、図６に示す「Ｐ１」は、心拍数が心拍基準特徴量以上であることを示す。特徴量比較結果２は、脈波データに基づいて特定された脈波の大きさと当該脈波の大きさに対応する脈波基準特徴量とを比較した結果である。図６に示す「Ｑ０」は、脈波の大きさが脈波基準特徴量未満であることを示し、図６に示す「Ｑ１」は、脈波の大きさが脈波基準特徴量以上であることを示す。

なお、特徴量比較結果１及び特徴量比較結果２それぞれは、１つの特徴量と当該特徴量に対応する複数の基準特徴量とを比較した結果であってもよい。例えば、モデル作成部３３２は、脈波データに基づいて特定した心拍数と、当該心拍数に対応する第１心拍基準特徴量及び第２心拍基準特徴量と、を比較する。第１心拍基準特徴量は、例えば第２心拍基準特徴量よりも大きい心拍数を示す心拍基準特徴量である。この場合、モデル作成部３３２は、心拍数が第１心拍基準特徴量以上である場合に比較結果「Ｐ２」を示し、心拍数が第１心拍基準特徴量未満かつ第２心拍基準特徴量以上である場合に比較結果「Ｐ１」を示し、心拍数が第２心拍基準特徴量未満である場合に比較結果「Ｐ０」を示す。

ユーザ属性は、図６に示す特徴量比較結果１が示す比較結果「Ｐ０」又は比較結果「Ｐ１」と、特徴量比較結果２が示す比較結果「Ｑ０」又は比較結果「Ｑ１」と、の組合せに基づいて特定される。図６においては、属性「Ｃ１」から属性「Ｃ４」までの４種類が示されている。具体的には、図６に示すように、特徴量比較結果１が比較結果「Ｐ０」であり、且つ特徴量比較結果２が比較結果「Ｑ０」である場合、モデル作成部３３２は、ユーザ属性を、比較結果「Ｐ０」と比較結果「Ｑ０」との組合せに対応する属性「Ｃ１」に特定する。

ところで、ユーザＵの平均心拍数及び脈の高さの最大値等の特徴量は、ユーザＵの喜怒哀楽等の感情の状態に応じて変化する。これに対して、モデル作成部３３２は、ユーザＵが使用している情報端末２０から取得したユーザＵの感情を示す入力感情データと、特徴量比較結果１及び特徴量比較結果２と、に基づいてユーザＵのユーザ属性を特定してもよい。この場合、モデル作成部３３２は、例えば入力感情データが示すユーザＵの感情が「喜」を示している状態で、特徴量比較結果１が「Ｐ１」であり特徴量比較結果２が「Ｑ０」である場合、感情が「喜」、特徴量比較結果１が「Ｐ１」、特徴量比較結果２が「Ｑ０」であるという組み合わせに対応する属性「Ｃ３」をユーザＵのユーザ属性であると特定する。

モデル作成部３３２は、特定したユーザ属性をユーザＩＤに関連付けて記憶部３２に記憶させる（Ｓ１６）。記憶部３２は、ユーザＩＤと、モデル作成部３３２が特定したユーザ属性と、を関連付けたユーザ情報を記憶する。図７は、記憶部３２に記憶されたユーザ情報を示す図である。図７においては、ユーザＩＤ、ユーザＵのユーザ名、ユーザＵのアドレス、特徴量比較結果１、特徴量比較結果２及びユーザ属性が関連付けられている。

モデル作成部３３２は、特定したユーザ属性に対応する一の属性別感情推定モデルを選択する（Ｓ１７）。感情推定モデルは、例えば脈波を示す脈波データと人の感情を示す推定感情データとが関連付けられたモデルであり、入力された脈波データに対応する推定感情データを出力するモデルである。属性別感情推定モデルは、例えば所定のユーザ属性を有する複数のユーザＵから過去に取得した脈波データが示す特徴量と当該特徴量に関連付けられた入力感情データとに基づいて作成された感情推定モデルである。属性別感情推定モデルは、同じユーザ属性を示す複数のユーザＵから取得した脈波データ及び入力感情データに基づいて作成されるため、複数の属性別感情推定モデルは、それぞれ異なるユーザ属性に対応している。

モデル作成部３３２が選択する一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、ユーザＵの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルである。モデル作成部３３２は、例えば図７に示すユーザ属性を参照することによりユーザＵに関連付けられたユーザ属性を特定し、記憶部３２が記憶している複数の属性別感情推定モデルから、特定したユーザ属性に対応する一の属性別感情推定モデルを選択する。

続いて、モデル作成部３３２は、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するユーザＵ用のユーザ感情推定モデルを作成する。モデル作成部３３２は、例えば、脈波データと当該脈波データが取得された時点でのユーザの感情を示す感情データとを教師データとして用いて学習して、選択した属性別感情推定モデルの係数を更新することにより、ユーザＵ用のユーザ感情推定モデルを作成する（Ｓ１８）。具体的には、モデル作成部３３２は、脈波データと感情データとを含む教師データを属性別感情推定モデルに入力することにより、属性別感情推定モデルの係数を更新する。

モデル作成部３３２が、脈波データが取得された時点でのユーザＵの感情を特定する方法は任意であるが、例えば、モデル作成部３３２は、ユーザＵが使用する情報端末２０においてユーザＵに感情を入力させ、その時点での脈波データを取得することにより教師データを作成する。モデル作成部３３２は、ユーザＵの属性に対応する属性別感情推定モデルを使用して学習するので、ユーザＵの属性に無関係のモデルを使用して学習する場合よりも短時間でユーザＵに適した感情推定モデルを作成することができる。

モデル作成ステップ（Ｓ１００）において、モデル作成部３３２がこのように一の属性別感情推定モデルを選択することで、モデル作成部３３２は、ユーザＵの脈波の特徴に応じた属性別感情推定モデルを選択することができる。その結果、モデル作成ステップ（Ｓ１００）においては、ユーザＵの感情を推定する精度が高いユーザ感情推定モデルを容易に作成することができる。

なお、モデル作成ステップ（Ｓ１００）においては、所定の期間が経過するたびに、ユーザ感情推定モデルを、予め準備された複数の属性別感情推定モデルから再び選択してもよい。モデル作成部３３２は、例えば図４に示すＳ１１からＳ１７を所定の期間が経過するたびに実行してもよい。所定の期間は、例えば１週間又は１ヶ月等の予め定められた期間である。このように動作することで、モデル作成部３３２は、例えばユーザＵの疾患が改善したり悪化したりすることによりユーザＵの属性が変化した場合、又はユーザＵの年齢の変化により脈波が変化した場合であっても、ユーザＵの属性に対応する一の属性別感情推定モデルを選択することができる。

続いて、モデル作成ステップ（Ｓ１００）においては、モデル作成部３３２がユーザＵの脈波データ及び入力感情データに基づいて決定した重み係数を、一の属性別感情推定モデルに設定することによりユーザＵに対応するユーザ感情推定モデルを作成する。重み係数は、脈波と感情との関連付けを調整するための係数であり、例えば複数の脈波データと当該脈波データに関連付けられた入力感情データに基づいて機械学習を実行することにより決定される係数である。

図８は、ユーザ感情推定モデルを作成する動作の流れを示すフローチャートである。図８に示すように、取得部３３１は、情報端末２０からユーザＵの脈波データを取得する（Ｓ２１）。モデル作成部３３２は、Ｓ２１において取得した脈波データが示す脈波から抽出した複数の特徴点に基づいて、当該Ｓ２１よりも前の時刻に取得した脈波データが示す脈波から、ユーザＵの脈波の特徴が変化したか否かを判定する（Ｓ２２）。特徴点は、例えば脈波が示す複数の波の頂点である。本実施形態においては、一例として心拍データが示す心拍波形に基づいて脈波の特徴が変化したか否かを判定する。

図９は、心拍波形における複数の特徴点を説明するための図である。図９の横軸は時刻を示し、縦軸は心拍波形の高さを示す。図９に示す点Ａ、点Ｂ、点Ｃ及び点Ｄは、心拍データが示す心拍波形における複数の特徴点である。モデル作成部３３２は、点Ａ、点Ｂ、点Ｃ及び点Ｄの時刻及び高さに基づいて、心拍波形の特徴の変化の有無を特定することにより、ユーザＵの脈波の特徴が変化したか否かを判定する。

例えば、モデル作成部３３２は、点Ａと点Ｂとの時刻の差であるＡＢ間隔を算出する。また、モデル作成部３３２は、Ｓ２１において取得部３３１が取得した心拍データにおける点Ａの時刻と、Ｓ２１の直前に取得部３３１が取得した心拍データにおける点Ａの時刻との差である心拍間隔を算出する。モデル作成部３３２は、例えば複数の心拍データにおいて算出した複数のＡＢ間隔の時系列データを周波数解析した結果を、ＡＢ間隔の特徴パターンとして特定する。また、モデル作成部３３２は、複数の心拍間隔の時系列データを周波数解析した結果を、心拍間隔の特徴パターンとして特定する。モデル作成部３３２は、ＡＢ間隔の変化の特徴パターン（以下、「第１特徴パターン」という）と心拍間隔の変化の特徴パターン（以下、「第２特徴パターン」という）との組み合わせにより、ユーザＵの心拍データを複数の特徴パターンのいずれかに分類する。

図１０は、心拍データの特徴パターンを示す図である。図１０においては、ユーザＩＤ、脈波データを取得した時刻、第１特徴パターン及び第２特徴パターンが関連付けられている。第１特徴パターンは、例えばＡＢ間隔の時系列データを周波数解析することにより分類した第１特徴パターンを示す。第２特徴パターンは、例えば心拍間隔を周波数解析することにより分類した第２特徴パターンを示す。図１０に示す「Ｒ１０」「Ｒ１１」「Ｒ２０」及び「Ｒ２１」は、複数の特徴パターンそれぞれに関連付けられた特徴パターン識別情報（以下、「特徴パターンＩＤ」という）である。

モデル作成部３３２は、例えば図１０に示す第１特徴パターン及び第２特徴パターンを参照することにより、時刻Ｔ１においてユーザＵ１の第１特徴パターンが「Ｒ１１」であり、第２特徴パターンが「Ｒ２０」であることを特定する。モデル作成部３３２は、時刻Ｔ１よりも後の時刻である時刻Ｔ３においてユーザＵ１の第１特徴パターンが「Ｒ１０」であり、第２特徴パターンが「Ｒ２１」であることを特定する。モデル作成部３３２は、例えば時刻Ｔ３においてユーザＵ１の第１特徴パターンが「Ｒ１１」から「Ｒ１０」に変化し、ユーザＵ１の第２特徴パターンが「Ｒ２０」から「Ｒ２１」に変化したことに基づいて、ユーザＵの脈波が変化したと判定する。

モデル作成部３３２は、例えば図１０に示す第１特徴パターン及び第２特徴パターンを参照することにより、時刻Ｔ２及び時刻Ｔ４において第１特徴パターンが「Ｒ１０」であり、第２特徴パターンが「Ｒ２０」であることを特定する。モデル作成部３３２は、時刻Ｔ２と時刻Ｔ２よりも後の時刻である時刻Ｔ４とにおいて第１特徴パターン及び第２特徴パターンが変化していないことに基づいて、ユーザＵ２の脈波が変化していないと判定する。

図８に戻って、モデル作成部３３２は、例えば図１０に示す第１特徴パターン及び第２特徴パターンを参照することにより、現在の時刻における脈波の特徴が、現在の時刻よりも前の時刻の脈波の特徴から変化していないと判定した場合（Ｓ２２のＮＯ）、Ｓ２１及びＳ２２の処理を繰り返す。モデル作成部３３２は、現在の時刻の脈波の特徴が、現在の時刻よりも前の時刻の脈波の特徴から変化したと判定した場合（Ｓ２２のＹＥＳ）、脈波の特徴が変化した時刻を特定する（Ｓ２３）。モデル作成部３３２は、変化した時刻に関連付けて、当該時刻において取得部３３１が取得した脈波データを記憶部３２に記憶させる（Ｓ２４）。

図１１は、記憶部３２に記憶された脈波データの管理テーブルを示す図である。図１１においては、ユーザＩＤ、過去の時刻から脈波の特徴が変化したと判定した時刻を示す「時刻」及び「脈波データアドレス」が関連付けられている。脈波データアドレスは、例えば記憶部３２が有する記憶媒体において脈波データが記憶されているアドレスを示す。

モデル作成部３３２は、Ｓ２２においてユーザＵの脈波の特徴が過去の脈波の特徴から変化したことを特定した場合に、ユーザＵの感情を問い合わせるメッセージをユーザＵが使用する情報端末２０に送信する（Ｓ２５）。モデル作成部３３２は、例えば複数の感情候補データを含むメッセージを送信する。感情候補データは、例えば「喜」「怒」「哀」「楽」等の感情を示す情報である。情報端末２０は、モデル作成部３３２からメッセージを取得したことに応じて、ユーザＵの感情を問い合わせる画面を表示する。

図１２は、ユーザＵの感情を問い合わせる画面の一例を示す図である。図１２に示す画面には、表示領域１１、操作用画像１２、表示領域１３及び操作用画像１４が含まれている。表示領域１１は、操作用画像１２に対応する問い合わせ内容を表示するための領域である。図１２においては「１０分くらい前の気分はどれにあてはまりますか？」という問い合わせ内容が表示されている。

操作用画像１２は、ユーザＵが表示領域１１に表示された問い合わせに対する回答を選択するための操作用画像である。操作用画像１２は、例えばモデル作成部３３２から取得した感情候補データが示す「喜」「怒」「哀」「楽」等の文字画像である。情報端末２０は、ユーザＵが操作用画像１２に含まれる複数の文字画像のうち１つの文字画像を押したことにより、当該１つの文字画像に対応する感情を示す感情候補データをモデル作成部３３２に出力する。

表示領域１３は、操作用画像１４に対応する問い合わせ内容を表示するための領域である。図１２においては「今の気分はどれにあてはまりますか？」という問い合わせ内容が表示されている。操作用画像１４は、ユーザＵが表示領域１３に表示された問い合わせに対する回答を選択するための操作用画像である。操作用画像１４は、例えばモデル作成部３３２から取得した感情候補データが示す「喜」「怒」「哀」「楽」等の文字画像である。情報端末２０は、ユーザＵが操作用画像１４に含まれる複数の文字画像のうち１つの文字画像を押したことにより、当該１つの文字画像に対応する感情を示す感情候補データをモデル作成部３３２に出力する。

モデル作成部３３２は、複数の感情候補データから選択された感情候補データを入力感情データとして取得する（Ｓ２６）。モデル作成部３３２は、例えばメッセージを情報端末２０に送信したことに応じて、ユーザＵが入力した感情を示す入力感情データと、ユーザＵが入力感情データを入力した時点のユーザＵの脈波データと、を情報端末２０から取得する。すなわち、モデル作成部３３２は、ユーザＵの脈波が変化した時点における脈波データと、その時点におけるユーザＵの感情とを関連付ける。モデル作成部３３２は、例えばユーザＵが図１２に示す操作用画像１４を操作することにより取得した入力感情データを、Ｓ２１において取得した脈波データに関連付ける。

モデル作成部３３２は、取得した入力感情データが重み係数を決定するために有効なデータであるか否かを判定する（Ｓ２７）。モデル作成部３３２は、例えば記憶部３２を参照することにより、脈波データと感情との関係の許容範囲を示す範囲データを取得する。範囲データは、例えば脈の高さ又は平均心拍数の数値ごとに、対応し得る一以上の感情の種別が関連付けられたデータである。

モデル作成部３３２は、例えば入力感情データが示す感情と、脈波データに基づいて特定した平均心拍数又は脈の高さの少なくともいずれかとの関係が、範囲データにおける許容範囲に含まれているか否かを判定する。モデル作成部３３２は、入力感情データと脈波データとの関係が、範囲データが示す許容範囲内である場合、取得した入力感情データが有効であると判定する。モデル作成部３３２は、入力感情データと脈波データとの関係が、範囲データが示す感情の許容範囲外である場合、取得した入力感情データが有効ではないと判定する。例えば、「哀」又は「怒」に対応していることを範囲データが示す脈波データが取得された時点で、「喜」を示す入力感情データが取得された場合、モデル作成部３３２は、入力感情データが有効ではないと判定する。

モデル作成部３３２は、取得した入力感情データが有効ではないと判定した場合（Ｓ２７のＮＯ）、当該入力感情データを記憶部３２に記憶しない。一方、取得した入力感情データが有効であると判定した場合（Ｓ２７のＹＥＳ）、モデル作成部３３２は、当該入力感情データと脈波データが変化した時刻とを関連付けて記憶部３２に記憶する（Ｓ２８）。

図１３は、記憶部３２に記憶された入力感情データを示す図である。図１３においては、ユーザＩＤ、脈波が変化した時刻を示す「時刻」、「感情１」及び「感情２」が関連付けられている。「感情１」は、ユーザＵが操作用画像１２を押すことにより選択した感情（すなわち１０分くらい前の感情）を示す。「感情２」は、ユーザＵが操作用画像１４を押すことにより選択した感情（すなわち今の感情）を示す。例えば、モデル作成部３３２が時刻Ｔ３にユーザＵ１の脈波が変化したと判定した場合、モデル作成部３３２は、ユーザＵ１の１０分くらい前の感情「哀」とユーザＵ１の今の感情「怒」とを示す入力感情データをユーザＵ１の情報端末２０から取得し、時刻Ｔ３に関連付けて記憶部３２に記憶させる。

モデル作成部３３２は、一の属性別感情推定モデルに設定するための重み係数を決定する（Ｓ２９）。モデル作成部３３２は、例えば取得した入力感情データとユーザＵの脈波データとの関係に基づいて重み係数を決定する。モデル作成部３３２は、例えば記憶部３２を参照することにより、情報端末２０から取得したユーザＵの入力感情データと、ユーザＵの脈波データと、を取得する。モデル作成部３３２は、例えば図１１に示す「脈波データアドレス」が示す脈波データ及び図１３に示す「感情２」が示す入力感情データを参照することにより、ユーザＵ１に対応する入力感情データと、当該入力感情データに関連付けられた脈波データと、を取得する。

モデル作成部３３２は、ユーザＵ１に対応する入力感情データ及び脈波データの組合せを教師データとして、ユーザＵ１のユーザ属性に対応する属性別感情推定モデルに入力することにより、機械学習を実行する。モデル作成部３３２は、機械学習を実行することにより、属性別感情推定モデルに設定された係数（すなわち重み係数）を変化させる。モデル作成部３３２は、属性別感情推定モデルに設定された係数が変化した後の係数を、ユーザＵ１固有の重み係数に決定する。

モデル作成ステップ（Ｓ１００）においては、モデル作成部３３２がこのように動作することで、ユーザＵ１の脈波に対応する感情を含めた重み係数を決定することができる。その結果、モデル作成部３３２は、ユーザＵ１の感情を推定する精度が高いユーザ感情推定モデルを作成することができる。

モデル作成部３３２は、例えば決定した重み係数をユーザＵ１が使用している情報端末２０に送信することにより、当該情報端末２０に重み係数を記憶させる。モデル作成部３３２は、決定した重み係数を記憶部３２に記憶させてもよい。

以上の説明においては、モデル作成部３３２が、ユーザＵの感情が変化した時点における感情データと脈波データとを用いてユーザ感情推定モデルを作成する場合を例示したが、モデル作成部３３２は、予め作成したユーザ感情推定モデルの重み係数を取得することにより、属性別感情推定モデルに基づいてユーザ感情推定モデルを作成してもよい。モデル作成部３３２は、例えばＳ２９において決定した重み係数を取得し、取得した重み係数をユーザ属性に対応する属性別感情推定モデルに設定することで、ユーザＵに対応するユーザ感情推定モデルを作成してもよい。

モデル作成部３３２は、例えばユーザＵが使用する情報端末２０から重み係数を取得し、取得した重み係数を、ユーザＵの属性に対応する一の属性別感情推定モデルに設定する。モデル作成部３３２がこのように動作することで、データ処理装置３０は、ユーザ感情推定モデルを作成する対象となるユーザＵの人数が増加したとしても、ユーザＵの人数分のユーザ感情推定モデルを記憶部３２に記憶する必要がないので、記憶部３２に記憶するデータの容量を小さくすることができる。

モデル作成部３３２は、ユーザＵに関連付けて記憶部３２に記憶された重み係数を一の属性別感情推定モデルに設定してもよい。モデル作成部３３２がこのように動作することで、データ処理装置３０は、ユーザＵが使用している情報端末２０から重み係数を取得するよりも短い時間で重み係数を取得することができる。その結果、モデル作成部３３２は、ユーザ感情推定モデルを作成する時間を短くすることができる。

一例として、モデル作成部３３２は、ユーザＵの感情を推定する要求を取得部３３１が取得したことに応じて、ユーザＵに対応する重み係数を取得し、取得した重み係数に基づいてユーザ感情推定モデルを作成してもよい。そして、感情データ出力部３３４は、ユーザＵから取得された脈波データを当該ユーザ感情推定モデルに入力することで、その時点でのユーザＵの感情を推定した結果を出力することができる。

なお、モデル作成部３３２は、所定の期間が経過するたびにモデル作成ステップ（Ｓ１００）を実行してもよい。所定の期間は、例えば１週間又は1ヶ月等の予め定められた期間である。モデル作成部３３２がこのように動作することで、モデル作成部３３２は、例えばユーザＵの疾患が改善したり悪化したりすることによりユーザＵの属性が変化した場合、又はユーザＵの年齢の変化により脈波若しくは感情の起伏が変化した場合であっても、ユーザＵに対応するユーザ感情推定モデルを作成することができる。

＜データ処理方法による効果＞
以上説明したように、データ処理方法は、ユーザＵの感情を示すユーザ推定感情データを出力するユーザ感情推定モデルにユーザＵの脈波データを入力する脈波データ入力ステップと、ユーザ感情推定モデルから出力される推定感情データを出力する感情データ出力ステップと、を有する。そして、ユーザ推定感情モデルは、ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応する。

データ処理方法がこのように構成されることで、データ処理装置３０は、複数のユーザＵそれぞれのユーザ属性に対応する属性別感情推定モデルを用いてユーザＵの感情を推定することができるため、ユーザの感情を推定する精度を向上させることができる。さらに、本発明のデータ処理方法は、ユーザＵの脈波データ及び入力感情データの関係に基づいて決定した重み係数を属性別感情推定モデルに設定することにより、ユーザの感情を推定する精度をさらに向上させることができる。このようなデータ処理方法は、例えば企業の人事を担当する部門が従業員であるユーザＵの感情に基づいて当該ユーザＵに適正な業務を割り当てたり、ロボットを開発する開発者がユーザＵの感情をロボットに移植したりする場合に好適である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ データ処理システム
１０ 光電測定デバイス
２０ 情報端末
３０ データ処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
３３１ 取得部
３３２ モデル作成部
３３３ 脈波データ入力部
３３４ 感情データ出力部

Claims (11)

1. コンピュータが実行する、
   ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力ステップと、
   前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力ステップと、
   を有し、
   前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とするデータ処理方法。
2. 前記ユーザ属性は、前記脈波データに基づいて特定された脈波の大きさ及び心拍数の組合せに基づいて特定される属性であることを特徴とする、
   請求項１に記載のデータ処理方法。
3. 所定の期間が経過するたびに、前記ユーザ感情推定モデルを、予め準備された複数の属性別感情推定モデルから再び選択することを特徴とする、
   請求項１又は２に記載のデータ処理方法。
4. 前記脈波データ入力ステップの前に、前記ユーザに関連付けられた重み係数を前記一の属性別感情推定モデルに設定することにより、前記ユーザ感情推定モデルを作成するモデル作成ステップをさらに有することを特徴とする、
   請求項１から３のいずれか一項に記載のデータ処理方法。
5. 前記モデル作成ステップにおいて、前記ユーザが使用する情報端末から前記重み係数を取得し、取得した前記重み係数を前記一の属性別感情推定モデルに設定することを特徴とする、
   請求項４に記載のデータ処理方法。
6. 前記モデル作成ステップにおいて、前記ユーザに関連付けて記憶部に記憶された前記重み係数を前記一の属性別感情推定モデルに設定することを特徴とする、
   請求項４に記載のデータ処理方法。
7. 前記モデル作成ステップは、
   前記ユーザの感情を問い合わせるメッセージを前記ユーザが使用する情報端末に送信するステップと、
   前記メッセージを前記情報端末に送信したことに応じて、前記ユーザが入力した感情を示す入力感情データと、前記ユーザが前記入力感情データを入力した時点の前記ユーザの脈波データと、を前記情報端末から取得するステップと、
   取得した前記入力感情データと前記ユーザの脈波データとの関係に基づいて前記重み係数を決定するステップと、
   を有することを特徴とする、
   請求項５又は６に記載のデータ処理方法。
8. 前記モデル作成ステップにおいて、複数の感情候補データを含む前記メッセージを送信し、前記複数の感情候補データから選択された感情候補データを前記入力感情データとして取得することを特徴とする、
   請求項７に記載のデータ処理方法。
9. 所定の期間が経過するたびに前記モデル作成ステップを実行することを特徴とする、
   請求項４から８のいずれか一項に記載のデータ処理方法。
10. コンピュータに、
    ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力ステップと、
    前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力ステップと、
    を実行させ、
    前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とするプログラム。
11. ユーザの脈波データが入力されると前記脈波データに対応する前記ユーザの感情を示す推定感情データを出力する、前記ユーザに対応するユーザ感情推定モデルに、前記ユーザの脈波データを入力する脈波データ入力部と、
    前記ユーザ感情推定モデルから出力される前記推定感情データを出力する感情データ出力部と、
    を有し、
    前記ユーザ感情推定モデルは、予め準備された複数の属性別感情推定モデルから選択した一の属性別感情推定モデルに対応するものであって、当該一の属性別感情推定モデルは、複数の属性別感情推定モデルのうち、前記ユーザの時系列の脈波データに基づく特徴量を、複数の属性に対応する複数の基準特徴量と比較することにより特定したユーザ属性に対応する属性別感情推定モデルであることを特徴とするデータ処理装置。
    

Images