JP2023089729A - 計算機システム及び情動推定方法 - Google Patents

計算機システム及び情動推定方法 Download PDF

Info

Publication number
JP2023089729A
JP2023089729A JP2021204416A JP2021204416A JP2023089729A JP 2023089729 A JP2023089729 A JP 2023089729A JP 2021204416 A JP2021204416 A JP 2021204416A JP 2021204416 A JP2021204416 A JP 2021204416A JP 2023089729 A JP2023089729 A JP 2023089729A
Authority
JP
Japan
Prior art keywords
time series
biosignal
emotion
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021204416A
Other languages
English (en)
Other versions
JP2023089729A5 (ja
Inventor
佳久 松永
Yoshihisa Matsunaga
子盛 黎
Zisheng Li
昌宏 荻野
Masahiro Ogino
佩菲 朱
Peifei ZHU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021204416A priority Critical patent/JP2023089729A/ja
Priority to PCT/JP2022/030813 priority patent/WO2023112384A1/ja
Publication of JP2023089729A publication Critical patent/JP2023089729A/ja
Publication of JP2023089729A5 publication Critical patent/JP2023089729A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

【課題】高い精度でユーザの情動を推定する。【解決手段】計算機システムは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、任意の時間範囲の生体データ及び運動データを用いて、生体信号時系列及び運動信号時系列を生成し、運動信号時系列を用いて、生体信号時系列を、ユーザの運動の影響が低減された補正生体信号時系列に補正し、補正生体信号時系列から算出される生体特徴量を用いてユーザの情動を推定する。【選択図】図6

Description

本開示は、情動を推定するシステム及び方法に関する。
近年、ヘルスケア分野において、利用者の情動をフィードバックすることで、より良いサービスの提供及び開発を促進する取り組みが進んでいる。生活の質(QoL)を向上させるために利用者の感情を反映する技術の開発では、生活行動中の利用者の状態をモニタリングする生体センサから取得可能な生体信号を用いた情動推定技術の利用が進んでいる。
例えば、本開示の背景技術として、特許文献1に記載の技術が知られている。特許文献1には、「情動推定システムは、取得部131と、分類部と、出力制御部137とを有する。取得部は、1のユーザについて継続的に計測された心拍間隔の情報を取得する。分類部は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも2種類のいずれかに分類する。出力制御部は、分類された結果に応じて異なる出力を行う。」ことが開示されている。
特開2017-121286号公報
特許文献1には、感情の異常状態に応じて出力を行うシステムが記載されている。しかし、特許文献1に記載の技術は、ストレスに関わる心理状態における情動の推定方法であり、ポジティブな情動をリラックス状態と推定しており、細やかな情動の推定ができない。また、特許文献1に記載の技術は心拍変動のみを用いており、対象者の行動による情動推定への影響が考慮されていない。
本発明は、人の行動による情動推定の影響を低減し、高い精度で種々の情動を推定するシステム及び方法を提供することを目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つの計算機を備える計算機システムであって、前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、前記プロセッサは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、前記補正生体信号時系列から算出される第1生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する。
本開示の一態様によれば、高い精度で、人の情動を推定できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例1のシステムの構成例を示す図である。 実施例1の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。 実施例1のユーザデータ管理DBに格納されるデータのデータ構造の一例を説明する図である。 実施例1の情動推定結果管理DBに格納されるデータのデータ構造の一例を説明する図である。 実施例1の学習データ管理DBに格納されるデータのデータ構造の一例を説明する図である。 実施例1の情動推定システムが実行する情動推定処理の流れを示す図である。 実施例1の情動推定システムが実行する情動推定処理の一例を説明するフローチャートである。 実施例1の心拍時系列の一例を示す図である。 実施例1の加速度時系列の一例を示す図である。 実施例1の心拍時系列の周波数スペクトルの一例を示す図である。 実施例1の情動推定システムが実行する情動推定モデルの学習処理の一例を説明するフローチャートである。 実施例1の情動推定システムに適用される感情モデルの一例を示す図である。 実施例1の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例1の情動推定システムが実行する補正モデルの学習処理の一例を説明するフローチャートである。 実施例1の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例1の情動推定システムが提示する画面の一例を示す図である。
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
以下、情動推定システムを説明する。情動推定システムは、例えば、ヘルスケア分野において、心理的領域のQoLを評価する。評価結果を用いることによって、日常生活における人の情動を反映したサービスの提供及び開発を実現することができる。本開示の情動推定方法は、ユーザの個性及び環境に限定されることなく適用できる。
図1は、実施例1のシステムの構成例を示す図である。図2は、実施例1の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。
システムは、情動推定システム100、ユーザデータ収集装置101、及び情報端末102を含む。ユーザデータ収集装置101及び情報端末102は、ネットワークを介して情動推定システム100と接続する。ネットワークは、例えば、LAN(Local Area Network)等であり、接続方式は有線及び無線のいずれでもよい。
ユーザデータ収集装置101は、ユーザが装着するデバイスであって、心拍センサ130等の生体データ計測装置、及び加速度センサ131等の運動データ計測装置を有する。なお、ユーザデータ収集装置101は、生体データ計測装置として、脳波、皮膚電位、及び体温等を計測するセンサを有してもよいし、また、運動データ計測装置として、ジャイロセンサを有してもよい。また、ユーザデータ収集装置101は、気圧センサ等、ユーザの環境に関する値を計測する計測装置を有してもよい。ユーザデータ収集装置101には、ユーザの日常生活を阻害しない範囲で様々なセンサを搭載できる。
ユーザデータ収集装置101は、生体データ計測装置及び運動データ計測装置から計測結果を取得して、生体データ及び運動データを含むユーザデータを生成し、情動推定システム100に送信する。
情報端末102は、スマートフォン及びパーソンルコンピュータ等のユーザが操作する端末である。情動推定システム100は、情動の推定結果、生体データ、及び運動データ等を含むユーザの状態情報を情報端末102に送信する。情報端末102に表示される画面の詳細は後述する。
情動推定システム100は、情動の推定を行い、また、情動の推定に使用する各種モデルの学習を行う。情動推定システム100は、図2に示すような計算機200から構成される。なお、情動推定システム100を構成する計算機200の数は一つでもよいし、二つ以上でもよい。
計算機200は、プロセッサ201、主記憶装置202、副記憶装置203、及びネットワークインタフェース204を有する。各ハードウェア要素は内部バス205を介して互いに接続される。
プロセッサ201は、主記憶装置202に格納されるプログラムを実行する。プロセッサ201がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部(モジュール)として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ201が当該機能部を実現するプログラムを実行していることを示す。
主記憶装置202は、DRAM(Dynamic Random Access Memory)であり、プロセッサ201が実行するプログラム及びプログラムが使用するデータを格納する。主記憶装置202は、また、ワークエリアとしても使用される。
副記憶装置203は、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等であり、データを永続的に格納する。主記憶装置202に格納されるプログラム及びデータは、副記憶装置203に格納されてもよい。この場合、プロセッサ201が副記憶装置203からプログラム及び情報を読み出し、主記憶装置202にロードする。
ネットワークインタフェース204は、ネットワークを介して外部装置と接続するためのインタフェースである。
なお、計算機200のハードウェア構成は一例であってこれに限定されない。キーボード、マウス、タッチパネル等の入力装置を有してもよいし、また、ディスプレイ及びプリンタ等の出力装置を有してもよい。
情動推定システム100は、機能部として、情動推定部110、補正部111、表示部112、及び学習部113を有する。また、情動推定システム100は、ユーザデータ管理DB120、情動推定結果管理DB121、学習データ管理DB122、情動推定モデル123、及び補正モデル124を保持する。
情動推定モデル123は、人の情動を推定するためのモデルである。情動推定モデル123は、平静に近い状態のユーザの生体データを用いて情動を推定するためのモデルであり、例えば、回帰モデル及びニューラルネットワーク等である。平静に近い状態とは、あまり動きがなく、かつ、落ち着いた状態を表す。補正モデル124は、生体データから生成され、かつ、情動推定に用いられる時系列を補正するためのモデルである。補正モデル124は、例えば、回帰モデル及びニューラルネットワーク等である。
ユーザデータ管理DB120は、ユーザデータ収集装置101から受信したユーザデータを格納するデータベースである。情動推定結果管理DB121は、情動推定の結果を格納するデータベースである。学習データ管理DB122は、情動推定モデル123及び補正モデル124の学習に使用する学習データを格納するデータベースである。
補正部111は、運動データ及び補正モデル124を用いて、時系列の補正を行う。本実施例では、運動の影響が低減された時系列に補正される。情動推定部110は、補正された時系列及び情動推定モデル123を用いて、人の情動を推定する。具体的には、情動推定部110は、任意の感情モデルにおける、情動の種類及びレベルを推定し、情動の推定結果を出力する。表示部112は、情動の推定結果及びユーザの状態情報等を提示する。学習部113は、情動推定モデル123及び補正モデル124の学習を行う。
なお、情動推定システム100が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。例えば、学習部113を、情動推定モデル123を学習する学習部と、補正モデル124を学習する学習部とに分けてもよい。また、情動推定部110が補正部111を含んでもよい。
図3は、実施例1のユーザデータ管理DB120に格納されるデータのデータ構造の一例を説明する図である。
ユーザデータ管理DB120には、図3に示すようなテーブル300が格納される。テーブル300は、ユーザID301、時刻302、運動データ303、及び生体データ304を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
ユーザID301は、ユーザの識別情報を格納するフィールドである。時刻302は、ユーザデータが生成された時刻を格納するフィールドである。運動データ303は、運動データ計測装置によって計測された値を格納するフィールド群である。図3では、加速度及び姿勢に関する値が格納される。生体データ304は、生体データ計測装置によって計測された値を格納するフィールド群である。図3では、心拍に関する値が格納される。
図4は、実施例1の情動推定結果管理DB121に格納されるデータのデータ構造の一例を説明する図である。
情動推定結果管理DB121には、図4に示すようなテーブル400が格納される。テーブル400は、ユーザID401、時刻402、及び推定結果403を含むエントリを格納する。一つのエントリは一つの情動推定結果に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
ユーザID401は、ユーザID301と同一のフィールドである。時刻402は、情動推定を行うために使用したユーザデータの時系列の開始時刻を格納するフィールドである。本実施例では、所定の時間幅のユーザデータの時系列を用いて情動の推定が行われる。推定結果403は、情動推定部110から出力された値を格納するフィールド群である。図4の推定結果403には、集中の度合い、及び各感情種別の度合いが格納される。
図5は、実施例1の学習データ管理DB122に格納されるデータのデータ構造の一例を説明する図である。
学習データ管理DB122には、図5に示すようなテーブル500が格納される。テーブル500は、情動推定モデル123を学習するために用いられる学習データを格納するテーブルであって、ユーザID501、時刻502、運動データ503、生体データ504、補正生体データ505、及び推定結果506を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
ユーザID501、時刻502、運動データ503、及び生体データ504は、ユーザID301、時刻302、運動データ303、及び生体データ304と同一のフィールドである。補正生体データ505は、補正された生体データを格納するフィールド群である。推定結果506は、ユーザデータの時系列を用いて推定された情動の推定結果を格納するフィールド群である。一つの推定結果を出力するために用いた時系列を構成するユーザデータに対応するエントリの推定結果506には同じ値が設定される。
ここで、実施例1の情動推定方法について説明する。図6は、実施例1の情動推定システム100が実行する情動推定処理の流れを示す図である。図7は、実施例1の情動推定システム100が実行する情動推定処理の一例を説明するフローチャートである。図8は、実施例1の心拍時系列の一例を示す図である。図9は、実施例1の加速度時系列の一例を示す図である。図10は、実施例1の心拍時系列の周波数スペクトルの一例を示す図である。
以下の説明では、運動データに含まれる加速度及び生体データに含まれる心拍を用いて情動を推定する方法について説明する。
情動推定部110は、所定の時間幅のユーザデータを取得する(ステップS101)。
情動推定部110は、取得した複数のユーザデータに基づいて、加速度に関する時系列(加速度時系列)及び心拍に関する時系列(心拍時系列)を生成する(ステップS102)。図8は心拍時系列の一例である。横軸は時間を表し、縦軸はミリ秒単位時間あたりの心拍回数であるHRVを表す。図9は加速度時系列の一例である。横軸は時間を表し、縦軸は加速度を表す。
情動推定部110は、加速度時系列を運動特徴量生成器601に入力することによって運動特徴量を算出する(ステップS103)。運動特徴量生成器601は、例えば、加速度の正負が入れ代わる頻度(ゼロクラス量)を運動特徴量として算出する。
情動推定部110は、運動特徴量に基づいて運動強度が強い状態であるか否かを判定する(ステップS104)。例えば、運動特徴量が閾値より大きい場合、情動推定部110は、運動強度が強い状態であると判定する。運動強度が強い状態ではない場合、情動推定部110はステップS106に進む。運動強度が一定程度より強い状態の場合、心拍時系列は運動の影響を強く受けている可能性が高いため、運動の影響を低減する補正が行われる。
運動強度が強い状態である場合、情動推定部110は、補正部111を呼び出し、心拍時系列の補正を指示する。このとき、情動推定部110は、運動特徴量及び心拍時系列を補正部111に出力する。補正部111は、運動特徴量及び心拍時系列、並びに、補正モデル124を用いて、心拍時系列を補正する(ステップS105)。本補正によって、運動の影響が低減された心拍時系列に補正される。すなわち、平静状態に近い状態の心拍時系列に補正される。補正部111は、補正された心拍時系列を情動推定部110に出力する。情動推定部110は、補正された心拍時系列を受け付けた場合、ステップS106に進む。
ステップS106では、情動推定部110は、心拍時系列を用いて心拍時系列の周波数スペクトルを算出する(ステップS106)。
図10はHRVの周波数スペクトルの一例である。横軸は周波数を表し、縦軸はHRVのスペクトルパワー密度を表す。
情動推定部110は、心拍時系列及びHRVの周波数スペクトルを生体特徴量生成器602に入力することによって生体特徴量を算出する(ステップS107)。
生体特徴量生成器602は、例えば、HRVの周波数スペクトルを用いて、超低周波VLF、低周波数LF、及び高周波数HFのスペクトルパワー密度を算出し、さらに、各スペクトルパワー密度を用いて、Total Power、LF及びHFのスペクトルパワー密度の比率、LF Norm、並びに、HF Norm等を生体特徴量として算出する。Total Powerは、VLF、LF、及びHFのスペクトルパワー密度の合計値である。LF Normは、LF及びVLFのスペクトルパワー密度を用いて、LFの特徴を強調する値である。HF Normは、HF及びVLFのスペクトルパワー密度を用いて、HFの特徴を強調する値である。
生体特徴量生成器602は、例えば、情動推定部110は、心拍時系列を用いて、HR、SDNN、RMSSD、NN50、pNN50、NN20、及びpNN20等を生体特徴量として算出する。HRは、心拍数の平均値である。SDNNは、HRVの標準偏差である。RMSSDは、連続して隣接するHRVの差の2乗平均の平方根である。NN50は、連続して隣接するHRVの差が50msを超える総数である。pNN50は、連続して隣接するHRVの差が50msを超える心拍の割合である。NN20は、連続して隣接するHRVの差が20msを超える総数である。pNN20は、連続して隣接するHRVの差が20msを超える心拍の割合である。
情動推定部110は、心拍時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル123を用いて情動を推定する(ステップS108)。情動推定部110は、情動推定結果管理DB121に情動の推定結果を格納する。なお、情動推定モデル123は、運動特徴量及び心拍時系列を用いないモデルでもよい。
本実施例では、情動推定部110は、情動推定モデル123から任意の感情モデルのパラメータを取得し、パラメータ及び感情モデルを用いて情動を分類する。
情動推定部110は、ユーザデータ、補正結果、及び情動推定結果を対応づけた学習データを学習データ管理DB122のテーブル500に保存する。
なお、心拍時系列の補正が行われない場合、図6において、補正されていない心拍時系列を用いて周波数スペクトル算出処理が実行される。また、補正されていない時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル123を用いて情動が推定される。
次に、実施例1の情動推定モデル123の学習方法について説明する。図11は、実施例1の情動推定システム100が実行する情動推定モデル123の学習処理の一例を説明するフローチャートである。図12は、実施例1の情動推定システム100に適用される感情モデルの一例を示す図である。
本実施例では、図12に示すように感情次元論に基づくラッセルの感情円環モデル等の感情モデルを用いて情動を推定する。図12に示す感情円環モデルは縦軸が覚醒度を表し、横軸が感情価を表す。また、本実施例では、感情円環モデルの各感情をラベル(Y、Y、Y、Y、Y)で分類する。
学習部113は、ユーザデータ及び情動推定結果を用いて学習データを生成する(ステップS201)。
本実施例では、学習部113は、一つのユーザデータに、所定の時間範囲の時系列を用いて出力された情動推定結果を対応づけることによって、図5に示すようなエントリを生成し、テーブル500に格納する。なお、生成されたエントリの補正生体データ505は空欄でもよい。
学習部113は、学習データに感情円環モデルにおけるラベルを付与する(ステップS202)。学習データに付与されるラベルは、情動推定モデル123の推定結果の正解を表す。
学習部113は、学習データを用いて情動推定モデル123の学習を実行する(ステップS203)。学習部113は、学習結果を情動推定モデル123として格納する。学習方法は公知の手法を用いればよいため詳細な説明は省略する。
次に、実施例1の補正モデル124の学習方法について説明する。図13は、実施例1の情動推定システム100が実行する補正モデル124の学習処理の流れを示す図である。図14は、実施例1の情動推定システム100が実行する補正モデル124の学習処理の一例を説明するフローチャートである。
学習部113は、学習データ管理DB122から学習データ(テーブル500のエントリ群)を取得する(ステップS301)。ここで、学習データは、任意のユーザの、任意の時間幅のユーザデータの時系列と、補正心拍時系列とを含む。
学習部113は、学習データに含まれるユーザデータの時系列を用いて、運動特徴量及び生体特徴量を算出する(ステップS302)。運動特徴量及び生体特徴量の算出方法は情動推定における方法と同一である。
学習部113は、運動特徴量及び生体特徴量を復元器1201に入力することによって復元心拍時系列を生成する(ステップS303)。復元器1201を実現するモデルが補正モデル124である。
学習部113は、第1損失関数を用いて第1損失Gを算出する(ステップS304)。ここで、第1損失関数は、例えば、式(1)で与えられる。
Figure 2023089729000002
図13に示すように、生体特徴量生成器602はオートエンコーダのエンコーダとして機能し、復元器1201はオートエンコーダのデコーダとして機能する。エンコーダが生成する特徴量は、エンコーダに入力されたデータを代表するような特徴量となっている。本実施例のエンコーダは、次元削減により特徴量を算出するものとする。
yは復元器1201が生成した復元心拍時系列を表し、xはユーザデータから生成される心拍時系列を表す。DKL( | )はカルバックライブラー擬距離を表し、μは生体特徴量の平均を表し、σは生体特徴量の分散を表す。Nは確率分布を表す。
学習部113は、復元心拍時系列、及び推定された情動に対応するノイズがない心拍時系列を生体特徴量生成器602に入力することによって、各時系列の生体特徴量を算出する(ステップS305)。ここで、ノイズがない心拍時系列とは、平静状態における、ある情動の心拍時系列である。当該心拍時系列は、予め設定されてもよいし、学習データ管理DB122から検索してもよい。
学習部113は、識別器1202に二つの生体特徴量を入力し、識別器1202の識別結果及び第2損失関数を用いて第2損失Dを算出する(ステップS306)。ここで、識別器1202は、入力された心拍時系列が、ノイズがない心拍時系列であるか否かを識別する。
図13に示すように、復元器1201及び識別器1202は敵対的生成ネットワークを構成する。識別器1202が、復元器1201が生成した復元心拍時系列と、心拍時系列とを識別できなくなるように学習が進む。なお、情動推定システム100は、識別器1202を実現するモデルを保持している。
学習部113は、第1損失G及び第2損失Dを用いて、復元器1201及び識別器1202の各々のモデルを更新する(ステップS307)。
具体的には、学習部113は、式(2)に示す最小化問題の解を求めることによってモデルを更新する。ここで、V(θ,θ)は式(3)のように与えられる。
Figure 2023089729000003
Figure 2023089729000004
ここで、θは勾配を表し、Eはバイナリクスエントロピーを表す。
学習部113は、学習を終了するか否かを判定する(ステップS307)。例えば、更新回数が閾値より大きい場合、学習部113は学習を終了すると判定する。また、評価用のユーザデータに対する情動の予測精度が閾値より高い場合、学習部113は学習を終了すると判定する。
学習を終了しない場合、学習部113は、ステップS301に戻り、新たな学習データに対して同様の処理を実行する。学習を終了する場合、学習部113は補正モデル124の学習処理を終了する。
上記の学習によって、ユーザの運動の影響を低減した心拍時系列を出力する補正モデル124を得ることができる。補正モデル124によって補正された心拍時系列を用いることによって、ユーザの運動の影響を受けることなく、高い精度でユーザの情動を推定することができる。また、生体特徴量を用いることによって、情動推定結果の決定に対する説明性を担保できる。
本実施例によれば、平静状態で取得した心拍データを用いて学習した情動推定モデル123を改編等することなく、高い精度でユーザの情動を推定できる。そのため、開発コスト及び運用コストを低減できるという効果もある。
補正モデル124の学習に用いる敵対的生成ネットワークはドメイン適応の課題解決に寄与するため、ユーザの運動の影響を低減するだけではなく、ユーザの個性及び環境の影響を低減する効果もある。
時系列の補正には、時系列の値の修正、及び時系列における値の補間等の処理が含まれる。
(変形例)
なお、補正モデル124は、脳波、皮膚電位、及び体温等、心拍以外の生体値の時系列を入力としてもよい。図15は、加速度、心拍、及び脳波を扱う補正モデル124の学習の流れを示す図である。脳波時系列から脳波に関する生体特徴量を生成する生体特徴量生成器1501が追加されている点が異なる。この場合、第1損失関数は、例えば、式(4)で与えられる。
Figure 2023089729000005
ここで、DKLa( | )は加速度及び心拍に関するカルバックライブラー擬距離を表し、DKLb( | )は脳波及び心拍に関するカルバックライブラー擬距離を表す。
心拍以外の生体値の時系列を用いることによって、ユーザの運動の影響をより効果的に低減できる可能性がある。
次に、表示部112によって提示される画面について説明する。図16は、実施例1の情動推定システム100が提示する画面の一例を示す図である。
情動推定システム100の表示部112は、情報端末102に図16に示すようなレポート画面1600を表示する。
レポート画面1600には、感情マップ1601、心拍時系列グラフ1602、及び運動強度グラフ1603が表示される。
感情マップ1601は、ユーザの情動の推定結果がマッピングされた感情モデルである。心拍時系列グラフ1602は、情動推定に使用された心拍時系列を示すグラフである。運動強度グラフ1603は、任意期間の運動強度の推移を示すグラフである。
情動推定システム100は、周期的に情動推定処理を実行し、その都度、図16に示すようなレポート画面1600を提示してもよい。このとき、レポート画面1600を表示するための情報は記録していなくてもよい。また、情動推定システム100は、周期的に情動推定処理を実行し、処理結果を蓄積してもよい。この場合、情動推定システム100は、ユーザの要求に応じて、任意の時間の情動の推定結果を提示するレポート画面1600を表示する。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Python、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
100 情動推定システム
101 ユーザデータ収集装置
102 情報端末
110 情動推定部
111 補正部
112 表示部
113 学習部
120 ユーザデータ管理DB
121 情動推定結果管理DB
122 学習データ管理DB
123 情動推定モデル
124 補正モデル
130 心拍センサ
131 加速度センサ
200 計算機
201 プロセッサ
202 主記憶装置
203 副記憶装置
204 ネットワークインタフェース
205 内部バス
601 運動特徴量生成器
602、1501 生体特徴量生成器
1201 復元器
1202 識別器
1600 レポート画面
1601 感情マップ
1602 心拍時系列グラフ
1603 運動強度グラフ

Claims (14)

  1. 少なくとも一つの計算機を備える計算機システムであって、
    前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
    前記プロセッサは、
    ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、
    任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、
    前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、
    前記補正生体信号時系列から算出される第1生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納することを特徴とする計算機システム。
  2. 請求項1に記載の計算機システムであって、
    前記プロセッサは、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正することを特徴とする計算機システム。
  3. 請求項2に記載の計算機システムであって、
    前記プロセッサは、前記運動特徴量、前記補正生体信号時系列、及び前記第1生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
  4. 請求項3に記載の計算機システムであって、
    前記プロセッサは、
    前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定し、
    前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第2生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
  5. 請求項2に記載の計算機システムであって、
    前記記憶装置は、前記補正生体信号時系列を生成するための第1モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第2モデルとを格納し、
    前記プロセッサは、
    前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
    取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第1生体特徴量を前記第1モデルに入力する処理と、
    取得した前記正解生体信号時系列と、前記第1モデルから出力された前記補正生体信号時系列とを前記第2モデルに入力する処理と、
    前記第1モデルの出力及び前記第2モデルの出力から定義される損失関数の値を算出する処理と、
    前記損失関数の値に基づいて、前記第1モデル及び前記第2モデルを更新する処理と、
    を含む学習処理を実行することを特徴とする計算機システム。
  6. 請求項2に記載の計算機システムであって、
    前記生体信号は心拍に関する信号であり、
    前記運動信号は加速度に関する信号であることを特徴とする計算機システム。
  7. 請求項2に記載の計算機システムであって、
    前記プロセッサは、前記ユーザの情動の推定結果を表示するインタフェースを提示することを特徴とする計算機システム。
  8. 少なくとも一つの計算機を有する計算機システムが実行する情動推定方法であって、
    前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
    前記情動推定方法は、
    前記プロセッサが、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納する第1のステップと、
    前記プロセッサが、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成する第2のステップと、
    前記プロセッサが、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正する第3のステップと、
    前記プロセッサが、前記補正生体信号時系列から算出される第1生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する第4のステップと、
    を含むことを特徴とする情動推定方法。
  9. 請求項8に記載の情動推定方法であって、
    前記第3のステップは、前記プロセッサが、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正するステップを含むことを特徴とする情動推定方法。
  10. 請求項9に記載の情動推定方法であって、
    前記第4のステップは、前記プロセッサが、前記運動特徴量、前記補正生体信号時系列、及び前記第1生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
  11. 請求項10に記載の情動推定方法であって、
    前記第2のステップは、前記プロセッサが、前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定するステップを含み、
    前記第4のステップは、前記プロセッサが、前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第2生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
  12. 請求項9に記載の情動推定方法であって、
    前記記憶装置は、前記補正生体信号時系列を生成するための第1モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第2モデルとを格納し、
    前記情動推定方法は、
    前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
    取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第1生体特徴量を前記第1モデルに入力する処理と、
    取得した前記正解生体信号時系列と、前記第1モデルから出力された前記補正生体信号時系列とを前記第2モデルに入力する処理と、
    前記第1モデルの出力及び前記第2モデルの出力から定義される損失関数の値を算出する処理と、
    前記損失関数の値に基づいて、前記第1モデル及び前記第2モデルを更新する処理と、
    を含む学習処理を前記プロセッサが実行するステップを含むことを特徴とする情動推定方法。
  13. 請求項9に記載の情動推定方法であって、
    前記生体信号は心拍に関する信号であり、
    前記運動信号は加速度に関する信号であることを特徴とする情動推定方法。
  14. 請求項9に記載の情動推定方法であって、
    前記プロセッサが、前記ユーザの情動の推定結果を表示するインタフェースを提示するステップを含むことを特徴とする情動推定方法。
JP2021204416A 2021-12-16 2021-12-16 計算機システム及び情動推定方法 Pending JP2023089729A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021204416A JP2023089729A (ja) 2021-12-16 2021-12-16 計算機システム及び情動推定方法
PCT/JP2022/030813 WO2023112384A1 (ja) 2021-12-16 2022-08-12 計算機システム及び情動推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021204416A JP2023089729A (ja) 2021-12-16 2021-12-16 計算機システム及び情動推定方法

Publications (2)

Publication Number Publication Date
JP2023089729A true JP2023089729A (ja) 2023-06-28
JP2023089729A5 JP2023089729A5 (ja) 2024-06-18

Family

ID=86774226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021204416A Pending JP2023089729A (ja) 2021-12-16 2021-12-16 計算機システム及び情動推定方法

Country Status (2)

Country Link
JP (1) JP2023089729A (ja)
WO (1) WO2023112384A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7481060B1 (ja) 2023-12-27 2024-05-10 エグゼヴィータ株式会社 行動取得装置、行動取得方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763312B (zh) * 2023-08-21 2023-12-05 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321571B2 (ja) * 2015-03-10 2018-05-09 日本電信電話株式会社 センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム
CN112006665B (zh) * 2019-05-30 2023-08-08 辽宁工程技术大学 一种基于物联网的景区智能综合服务可穿戴系统
KR20210034724A (ko) * 2019-09-20 2021-03-31 삼성전자주식회사 생체 신호를 추정하는 전자 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7481060B1 (ja) 2023-12-27 2024-05-10 エグゼヴィータ株式会社 行動取得装置、行動取得方法、およびプログラム

Also Published As

Publication number Publication date
WO2023112384A1 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
US11562222B2 (en) Systems and methods of identity analysis of electrocardiograms
WO2023112384A1 (ja) 計算機システム及び情動推定方法
JP7509960B2 (ja) 軽度認知障害判定システム
EP3367883B1 (en) Monitoring activities of daily living of a person
CN105636515B (zh) 用于自动评估失神eeg的计算机程序和评估设备
US20180184960A1 (en) Method and system for monitoring stress conditions
JP7502192B2 (ja) うつ状態を推定する装置、方法及びそのためのプログラム
Guo et al. A supervised machine learning semantic segmentation approach for detecting artifacts in plethysmography signals from wearables
Poddar et al. Automated diagnosis of coronary artery diseased patients by heart rate variability analysis using linear and non-linear methods
Orphanidou et al. Machine learning models for multidimensional clinical data
Vildjiounaite et al. Unsupervised stress detection algorithm and experiments with real life data
JP6767318B2 (ja) 心拍間隔モデリング装置、および異常状態判定方法
WO2020073012A1 (en) Continuous monitoring of a user's health with a mobile device
JP7322818B2 (ja) 推定システム及びシミュレーションシステム
CN113598721B (zh) 可穿戴终端及其核心体温监测方法和计算机可读存储介质
JP7136341B2 (ja) ストレス推定装置、ストレス推定方法およびプログラム
US20230309884A1 (en) Physiological measurement data processing device and physiological measurement data processing method using same
WO2023148145A1 (en) System for forecasting a mental state of a subject and method
US20210196140A1 (en) Information processing apparatus and non-transitory computer readable medium
CN117355907A (zh) 主动隐藏应激源标识和通知
Mohsen et al. Mental Health Monitoring and Detection Based on Machine Learning and IoT Data
KR102506646B1 (ko) 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
JP7521609B2 (ja) 情報処理装置、特徴量選択方法、教師データ生成方法、推定モデル生成方法、ストレス度の推定方法、およびプログラム
JP7556410B2 (ja) 情報処理装置、制御方法及びプログラム
WO2019039261A1 (ja) 睡眠の質判定システム、睡眠の質モデル作成プログラム、および、睡眠の質判定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240610