JP2020190936A - 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 - Google Patents
情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 Download PDFInfo
- Publication number
- JP2020190936A JP2020190936A JP2019096012A JP2019096012A JP2020190936A JP 2020190936 A JP2020190936 A JP 2020190936A JP 2019096012 A JP2019096012 A JP 2019096012A JP 2019096012 A JP2019096012 A JP 2019096012A JP 2020190936 A JP2020190936 A JP 2020190936A
- Authority
- JP
- Japan
- Prior art keywords
- user
- pulse wave
- mental state
- low
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006996 mental state Effects 0.000 title claims abstract description 132
- 230000010365 information processing Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000011156 evaluation Methods 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 10
- 230000000739 chaotic effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 2
- 210000005037 parasympathetic nerve Anatomy 0.000 claims description 2
- 230000002889 sympathetic effect Effects 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims 1
- 239000002184 metal Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 21
- 230000003340 mental effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Abstract
Description
図1は、一実施形態に係る低次メンタル状態推定システムのシステム構成の例を示す図である。低次メンタル状態推定システム100は、ユーザ104の脈波データを検知するウェアラブル端末101と、ユーザ104の低次メンタル状態を推定する情報処理装置110とを含む。
(ウェアラブル端末の外観のイメージ)
図2は、一実施形態に係るウェアラブル端末101の外観のイメージを示す図である。図2の例では、ウェアラブル端末101は、メガネ状のインテリジェントグラスであり、例えば、ユーザ104がウェアラブル端末101を装着したときに、ユーザ104の耳たぶ等にセンサ102が接触するように構成されている。なお、センサ102は、脈波データ以外にも、例えば、ユーザ104が放出する生体ガス、体温、血圧等の様々な生体データを取得可能なものであって良い。
図3は、一実施形態に係る情報処理装置110のハードウェア構成の例を示す図である。情報処理装置110は、物理的には、プロセッサ301、メモリ302、ストレージ303、入力装置304、出力装置305、通信装置306、及びバス307等を含むコンピュータとして構成されても良い。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。
図4は、一実施形態に係るウェアラブル端末のハードウェア構成の例を示す図である。ウェアラブル端末101は、物理的には、プロセッサ401、メモリ402、ストレージ403、入力装置404、出力装置405、通信装置406、生体情報センサ407、及びバス408等を含むコンピュータとして構成されても良い。なお、プロセッサ401、メモリ402、ストレージ403、入力装置404、出力装置405、通信装置406、及びバス408は、前述したプロセッサ301、メモリ302、ストレージ303、入力装置304、出力装置305、通信装置306、及びバス307と同様であるため、ここでは説明を省略する。
携帯端末103は、例えば、図3に示す情報処理装置110のハードウェア構成と同様の構成を有するコンピュータとして構成されても良い。
<機能構成>
図5は、第1の実施形態に係る情報処理装置110の機能構成の例を示す図である。情報処理装置110は、例えば、図3のプロセッサ301で所定のプログラムを実行することにより、通信部501、脈波データ取得部502、フレーム分割部503、抽出部504、評価データ取得部505、構築部506、推定部507、及び記憶部508等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
抽出部504は、フレーム分割部503が分割した脈波データをフーリエ変換し、正規化したパワースペクトルP(f)を算出する。また、抽出部504は、周波数fが0.04Hzから0.15HzまでのP(f)を積算し対数をとった値をLF(Low Frequency)特徴量xLFとして算出する。さらに、抽出部504は、周波数fが0.15Hzから0.40HzまでのP(f)を積算し対数をとった値をHF(High Frequency)特徴量xHFとして算出する。さらにまた、抽出部504は、LF特徴量xLFと、HF特徴量xLFHFとの比であるLF/HF特徴量xLFHFを算出する。
抽出部504は、脈波データ取得部502が時系列データとして受信する脈波データdp(t)における4次の遅れ時間τをとることで、式(1)に示す4次元の状態変数ベクトルP(t)を生成する。
評価データ取得部505は、複数の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を含む評価データ(教師データ)を取得する。例えば、評価データ取得部505は、メンタル情報DB120等に予め登録されているユーザ104の評価データを取得する。
推定部507は、ユーザ104の脈波特徴量と、構築部506が構築した回帰モデルとを用いて、ユーザ104の低次メンタル状態を推定する。
ウェアラブル端末101は、ウェアラブル端末101を装着しているユーザ104の脈波データを取得する機能と、取得したユーザ104の脈波データを携帯端末103、又は情報処理装置110に送信する機能とを有しているものとする。
携帯端末103は、ウェアラブル端末101から送信されたユーザ104の脈波データを受信し、受信したユーザ104の脈波データを情報処理装置110に送信する機能を有しているものとする。また、携帯端末103は、一般的な情報端末と同様に、例えば、ウェブブラウザ機能、音楽再生機能、動画再生機能等の様々な機能を有しているものとする。
続いて、第1の実施形態に係る低次メンタル推定方法の処理の流れについて説明する。
図7は、第1の実施形態に係る低次メンタル状態の推定処理の例を示すフローチャートである。この処理は、例えば、ウェアラブル端末101を装着しているユーザ104が所定のサービスを利用しているときに、情報処理装置110が実行する、低次メンタル状態の推定処理の例を示している。
図8は、評価データの取得処理の一例を示すフローチャートである。情報処理装置110は、例えば、図7に示す低次メンタル状態の推定処理を実行する前に、図8に示すような評価データの取得処理を実行し、ユーザ104の評価データを、メンタル情報DB120等に予め登録しておくものとする。
第2の実施形態では、情報処理装置110が、第1の実施形態で推定した所定のサービスに対するユーザ104の反応(低次メンタル状態)に応じたサービスを、ユーザ104に提供する場合の例について説明する。
図9は、第2の実施形態に係る情報処理装置の機能構成の例を示す図である。図9に示すように、第2の実施形態に係る情報処理装置110は、図5に示す第1の実施形態に係る情報処理装置110の機能構成に加えて、サービス提供部901を有している。
(サービス提供処理1)
図10は、第2の実施形態に係るサービス提供処理の一例を示すフローチャートである。この処理は、サービス提供部901が実行するサービス提供処理の一例を示している。
図11は、第2の実施形態に係るサービス提供処理の別の一例を示す図である。この処理は、情報処理装置110が実行するサービス提供処理の別の一例を示している。
なお、図5、9の機能構成図は、機能単位のブロックを示している。これらの機能ブロックは、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されても良いし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されても良い。
110 情報処理装置
502 脈波データ取得部
504 抽出部
505 評価データ取得部
506 構築部
507 推定部
901 サービス提供部
Claims (10)
- ユーザの脈波データを取得する脈波データ取得部と、
前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、
複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、
前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、
前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、
を有する、情報処理装置。 - 前記評価データ取得部は、前記ユーザに予め定められたコンテンツを提供しているときに、前記コンテンツに対応する低次メンタル状態における前記評価データを取得する、請求項1に記載の情報処理装置。
- 前記コンテンツは、前記ユーザを第1の低次メンタル状態に誘導する第1のコンテンツと、前記ユーザを第2の低次メンタル状態に誘導する第2のコンテンツとを含む、請求項2に記載の情報処理装置。
- 前記第1の低次メンタル状態は、前記ユーザが前記第1のコンテンツに集中している状態、及び/又は前記ユーザがリラックスした状態を含む、請求項3に記載の情報処理装置。
- 前記第2の低次メンタル状態は、前記ユーザが前記第2のコンテンツに退屈している状態、及び/又は前記ユーザがリラックスできない状態を含む、請求項3又は4に記載の情報処理装置。
- 前記脈波特徴量は、前記脈波データから算出したLF/HF系特徴量、及び/又は前記脈波データから算出したカオス系特徴量を含む、請求項1乃至5のいずれか一項に記載の情報処理装置。
- 前記推定部が推定した前記ユーザの低次メンタル状態に応じたサービスを、前記ユーザに提供するサービス提供部を有する、請求項1乃至6のいずれか一項に記載の情報処理装置。
- 前記低次メンタル状態は、交感神経と副交感神経の制御バランスの乱れ度合いを表すメンタル状態である、請求項1乃至7のいずれか一項に記載の情報処理装置。
- ユーザの脈波データを取得する脈波データ取得部と、
前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、
複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、
前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、
前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、
を有する、低次メンタル状態推定システム。 - ユーザの脈波データを取得する処理と、
前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する処理と、
複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する処理と、
前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する処理と、
前記ユーザの脈波データと前記回帰モデルとに基づいて、前記ユーザの低次メンタル状態を推定する処理と、
をコンピュータが実行する、低次メンタル状態推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096012A JP2020190936A (ja) | 2019-05-22 | 2019-05-22 | 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096012A JP2020190936A (ja) | 2019-05-22 | 2019-05-22 | 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020190936A true JP2020190936A (ja) | 2020-11-26 |
Family
ID=73455016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096012A Pending JP2020190936A (ja) | 2019-05-22 | 2019-05-22 | 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020190936A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318973A (ja) * | 2004-05-07 | 2005-11-17 | Sony Corp | 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置 |
US20150216468A1 (en) * | 2014-01-31 | 2015-08-06 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for real-time insight detection using eeg signals |
JP2017100039A (ja) * | 2015-12-01 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 体調推定装置、体調推定システム及びプロセッサ |
-
2019
- 2019-05-22 JP JP2019096012A patent/JP2020190936A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318973A (ja) * | 2004-05-07 | 2005-11-17 | Sony Corp | 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置 |
US20150216468A1 (en) * | 2014-01-31 | 2015-08-06 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for real-time insight detection using eeg signals |
JP2017100039A (ja) * | 2015-12-01 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 体調推定装置、体調推定システム及びプロセッサ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105852B (zh) | 一种电子病历推荐方法、装置、终端及存储介质 | |
US8781991B2 (en) | Emotion recognition apparatus and method | |
CN109918669B (zh) | 实体确定方法、装置及存储介质 | |
CN113807440B (zh) | 利用神经网络处理多模态数据的方法、设备和介质 | |
CN111985240B (zh) | 命名实体识别模型的训练方法、命名实体识别方法及装置 | |
KR20170034154A (ko) | 콘텐츠 제공 방법 및 이를 수행하는 전자 장치 | |
Banos et al. | Mining minds: an innovative framework for personalized health and wellness support | |
WO2023029817A1 (zh) | 医学报告生成方法、模型的训练方法、装置及设备 | |
CN112970013A (zh) | 电子装置及其控制方法 | |
CN111489830A (zh) | 分段预测疫情数据的方法及装置、介质和电子设备 | |
CN113192639B (zh) | 信息预测模型的训练方法、装置、设备及存储介质 | |
US20210192365A1 (en) | Computer device, system, readable storage medium and medical data analysis method | |
CN111462910A (zh) | 项目的匹配方法及装置、电子设备和存储介质 | |
Mukherjee et al. | Edge-based human activity recognition system for smart healthcare | |
CN109710939B (zh) | 用于确定主题的方法和装置 | |
CN109543187B (zh) | 电子病历特征的生成方法、装置及存储介质 | |
JP2020190936A (ja) | 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 | |
CN113343664B (zh) | 图像文本之间的匹配度的确定方法及装置 | |
JP2020074947A (ja) | 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 | |
CN115866291A (zh) | 一种数据处理方法及其装置 | |
KR20160100767A (ko) | 영상 데이터를 재생하는 전자 장치 및 방법 | |
CN111414496B (zh) | 基于人工智能的多媒体文件的检测方法和装置 | |
CN114281937A (zh) | 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置 | |
CN116348950A (zh) | 在执行任何语音命令时从周围环境进行基于ar(增强现实)的选择性声音包括 | |
CN111489260A (zh) | 项目分类方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230808 |