JP2020190936A - 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 - Google Patents

情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 Download PDF

Info

Publication number
JP2020190936A
JP2020190936A JP2019096012A JP2019096012A JP2020190936A JP 2020190936 A JP2020190936 A JP 2020190936A JP 2019096012 A JP2019096012 A JP 2019096012A JP 2019096012 A JP2019096012 A JP 2019096012A JP 2020190936 A JP2020190936 A JP 2020190936A
Authority
JP
Japan
Prior art keywords
user
pulse wave
mental state
low
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019096012A
Other languages
English (en)
Inventor
磯 俊樹
Toshiki Iso
俊樹 磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2019096012A priority Critical patent/JP2020190936A/ja
Publication of JP2020190936A publication Critical patent/JP2020190936A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】サービスを利用するユーザにアンケート、インタビュー等を行わなくても、サービスに対するユーザの反応を容易に把握できる情報処理装置を提供する。【解決手段】情報処理装置は、ユーザの脈波データを取得する脈波データ取得部と、前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、を有する。【選択図】図5

Description

本発明は、情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法に関する。
スマートフォン、タブレット端末等の携帯端末を用いて、ユーザに対して様々なサービスが提供することが行われている。
また、脈波センサで取得した脈波データを用いて、ユーザのメンタル状態を推定するメンタル状態推定装置が知られている(例えば、特許文献1参照)。
特開2013−103072
サービスを提供するサービス提供者が、サービスを利用するユーザの反応を把握したい場合、従来は、ユーザに対するアンケート又はインタビュー等を行い、その結果に基づいてユーザの反応等を分析していた。
また、サービスを提供しているときの生体情報を用いてユーザのメンタル状態を測定することも考えられるが、例えば、特許文献1に開示された技術を用いて、ユーザがサービスを利用しているときにメンタル状態を測定することは困難である。
このような課題を解決する方法として、例えば、時系列ディープラーニング等の手法を用いて学習したモデルを用いて、脈波データからユーザのメンタル状態を推定する方法も考えられるが、モデルの構築に多くの学習データが必要になるという問題がある。
このように、従来の技術では、サービスを利用するユーザにアンケート、インタビュー等を行わずに、サービスに対するユーザの反応を把握することには困難を伴っていた。
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、サービスを利用するユーザにアンケート、インタビュー等を行わなくても、サービスに対するユーザの反応を容易に把握できる情報処理装置を提供する。
上記の課題を解決するため、本発明の一実施形態に係る情報処理装置は、ユーザの脈波データを取得する脈波データ取得部と、前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、を有する。
本発明の一実施形態によれば、サービスを利用するユーザにアンケート、インタビュー等を行わなくても、サービスに対するユーザの反応を容易に把握できる情報処理装置を提供することができる。
一実施形態に係る低次メンタル状態推定システムのシステム構成の例を示す図である。 一実施形態に係るウェアラブル端末の外観のイメージを示す図である。 一実施形態に係る情報処理装置のハードウェア構成の例を示す図である。 一実施形態に係るウェアラブル端末のハードウェア構成の例を示す図である。 第1の実施形態に係る情報処理装置の機能構成の例を示す図である。 ガウス過程における入出力の関係について説明するための図である。 第1の実施形態に係る低次メンタル状態の推定処理の例を示すフローチャートである。 第1の実施形態に係る評価データの取得処理の一例を示すフローチャートである。 第2の実施形態に係る情報処理装置の機能構成の例を示す図である。 第2の実施形態に係るサービス提供処理の一例を示すフローチャートである。 第2の実施形態に係るサービス提供処理の別の一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例であり、本発明が適用される実施の形態は、以下の実施の形態に限られない。
<システム構成>
図1は、一実施形態に係る低次メンタル状態推定システムのシステム構成の例を示す図である。低次メンタル状態推定システム100は、ユーザ104の脈波データを検知するウェアラブル端末101と、ユーザ104の低次メンタル状態を推定する情報処理装置110とを含む。
図1の例では、ウェアラブル端末101は、センサ102を用いてユーザ104の脈波データを検知する検知機能と、検知した脈波データを無線通信で所定の送信先に送信する送信機能とを備えたインテリジェントグラスである場合の例を示している。ただし、これに限られず、ウェアラブル端末101は、ユーザ104の脈波データを検知する検知機能と、検知した脈波データを無線通信で所定の送信先に送信する送信機能とを備え、ユーザ104の身体に装着可能な様々な端末装置であって良い。
ここで、脈波データは、心臓が血液を送り出すことに伴い発生する、血管の容量変化である脈波を波形データとして検知したものであり、例えば、脈波センサ等によって検知される。なお、脈波は容量脈波とも呼ばれる。
ウェアラブル端末101は、センサ102で検知したユーザ104の脈波データを、例えば、近距離無線通信で、ユーザ104が所持する携帯電話又はスマートフォン等の携帯端末103に送信する。また、携帯端末103は、例えば、無線WAN(Wide Area Network)通信で通信ネットワーク105に接続し、ウェアラブル端末101から受信した脈波データを、情報処理装置110に送信する。
別の一例として、ウェアラブル端末101は、携帯端末103を介さずに、センサ102で検知したユーザ104の脈波データを、無線通信で情報処理装置110に送信するものであっても良い。
情報処理装置110は、例えば、通信ネットワーク105に接続されたコンピュータ、又は複数のコンピュータを含むシステムである。情報処理装置110は、ウェアラブル端末101のセンサ102が検知した脈波データを取得し、取得した脈波データから低次メンタル状態に関する脈波特徴量を抽出する機能を有している。
また、情報処理装置110は、複数の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を含む評価データを、メンタル情報DB(Database)120から取得する機能を有している。
好ましくは、情報処理装置110は、複数の低次メンタル状態におけるユーザの脈波データ(又は脈波特徴量)を含む評価データを取得し、メンタル情報DB120に登録する機能を有している。例えば、情報処理装置110は、ユーザ104に予め定められたコンテンツを提供しているときに、当該コンテンツに対応する低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得して評価データ(教師データ)とする。
さらに、情報処理装置110は、例えば、メンタル情報DB120に登録された評価データを用いて、ユーザ104の脈波特徴量と低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する機能を有している。例えば、情報処理装置110は、メンタル情報DB120に登録されたユーザ104の評価データを用いて、ユーザ104の脈波特徴量と低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する。
本実施形態では、ベイズ推定をベースとしたガウス過程による回帰モデルを用いるので、学習データが多く取れない場合でも汎化性が損なわれにくい柔軟なモデル化が可能である。なお、ガウス過程による回帰モデルの構築方法については後述する。
さらにまた、情報処理装置110は、新たに取得したユーザ104の脈波特徴量と、構築した回帰モデルとを用いて、ユーザ104の低次メンタル状態を推定する機能を有している。
ここで、低次メンタル状態とは、小脳レベルで制御している副交感神経と交感神経の制御バランスの乱れ度合いを表している。すなわち、低次メンタル状態は、ユーザ104が集中しているか否か、覚醒しているか否か、リラックスしているか否か等を表すものであり、喜怒哀楽等のような大脳レベルのメンタル状態ではない。
これにより、情報処理装置110は、ユーザ104が所定のサービスを利用しているときの低次メンタル状態を推定し、ユーザ104の所定のサービスに対する反応を判断することができる。例えば、情報処理装置110は、所定のサービスを利用しているユーザ104が、例えば、真剣にウェブ検索しているのか、暇つぶしでウェブ検索しているのか等、所定のサービスに対するユーザ104の食いつき度合いを、低次メンタル状態を用いて判断することができるようになる。
好ましくは、情報処理装置110は、ユーザ104が所定のサービスを利用しているときの低次メンタル状態、すなわち、ユーザ104の所定のサービスに対する反応に応じたサービスを、ユーザ104に提供する機能を有している。
上記の構成により、本実施形態によれば、サービスを利用するユーザ104にアンケート、インタビュー等を行わなくても、サービスに対するユーザ104の反応を容易に把握できる情報処理装置110を提供することができるようになる。
なお、図1に示す低次メンタル状態推定システム100のシステム構成は一例である。例えば、ユーザ104の低次メンタル状態を推定する情報処理装置は、ユーザ104が所持する携帯端末103であっても良い。例えば、携帯端末103は、低次メンタル状態推定システム100に対応するアプリケーションプログラム(以下、アプリと呼ぶ)を実行することにより、上述した情報処理装置110の機能の一部、又は全部を実現するものであっても良い。
また、メンタル情報DB120は、情報処理装置110又は携帯端末103の記憶部に記憶されているものであっても良いし、携帯端末103から、通信ネットワーク105を介してアクセス可能なもの等であっても良い。
<ハードウェア構成>
(ウェアラブル端末の外観のイメージ)
図2は、一実施形態に係るウェアラブル端末101の外観のイメージを示す図である。図2の例では、ウェアラブル端末101は、メガネ状のインテリジェントグラスであり、例えば、ユーザ104がウェアラブル端末101を装着したときに、ユーザ104の耳たぶ等にセンサ102が接触するように構成されている。なお、センサ102は、脈波データ以外にも、例えば、ユーザ104が放出する生体ガス、体温、血圧等の様々な生体データを取得可能なものであって良い。
(情報処理装置のハードウェア構成)
図3は、一実施形態に係る情報処理装置110のハードウェア構成の例を示す図である。情報処理装置110は、物理的には、プロセッサ301、メモリ302、ストレージ303、入力装置304、出力装置305、通信装置306、及びバス307等を含むコンピュータとして構成されても良い。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。
プロセッサ301は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ301は、周辺装置とのインタフェース、制御装置、演算装置、レジスタ等を含む中央処理装置(CPU:Central Processing Unit)で構成されても良い。
また、プロセッサ301は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ303及び/又は通信装置306からメモリ302に読み出し、これらに従って各種の処理を実行する。プログラムとしては、情報処理装置110の動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。情報処理装置110において実行される各種処理は、1つのプロセッサ301で実行されても良いし、2以上のプロセッサ301により同時又は逐次に実行されても良い。プロセッサ301は、1以上のチップで実装されても良い。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ302は、コンピュータ読み取り可能な記憶媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)等の少なくとも1つで構成されても良い。メモリ302は、レジスタ、キャッシュ、メインメモリ(主記憶装置)等と呼ばれても良い。メモリ302は、本発明の一実施の形態に係る低次メンタル状態推定方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュール等を保存することができる。
ストレージ303は、コンピュータ読み取り可能な記憶媒体であり、例えば、CD−ROM(Compact Disc ROM)等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップ等の少なくとも1つで構成されても良い。ストレージ303は、補助記憶装置と呼ばれても良い。上述の記憶媒体は、例えば、メモリ302及び/又はストレージ303を含むデータベース、サーバその他の適切な媒体であっても良い。
入力装置304は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等)である。出力装置305は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプ等)である。なお、入力装置304及び出力装置305は、一体となった構成(例えば、タッチパネルディスプレイ)であっても良い。
通信装置306は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等ともいう。また、通信装置306は、近距離無線通信により、外部装置と直接通信を行う機能を有していても良い。
上記のプロセッサ301やメモリ302等の各装置は、情報を通信するためのバス307で接続される。バス307は、単一のバスで構成されても良いし、装置間で異なるバスで構成されても良い。
(ウェアラブル端末のハードウェア構成)
図4は、一実施形態に係るウェアラブル端末のハードウェア構成の例を示す図である。ウェアラブル端末101は、物理的には、プロセッサ401、メモリ402、ストレージ403、入力装置404、出力装置405、通信装置406、生体情報センサ407、及びバス408等を含むコンピュータとして構成されても良い。なお、プロセッサ401、メモリ402、ストレージ403、入力装置404、出力装置405、通信装置406、及びバス408は、前述したプロセッサ301、メモリ302、ストレージ303、入力装置304、出力装置305、通信装置306、及びバス307と同様であるため、ここでは説明を省略する。
生体情報センサ407は、脈波データ等の様々な生体情報を検知する1つ以上のセンサを含む。なお、生体情報センサ407は、ユーザ104の脈波データを検知するセンサ102の一例である。
(携帯端末のハードウェア構成)
携帯端末103は、例えば、図3に示す情報処理装置110のハードウェア構成と同様の構成を有するコンピュータとして構成されても良い。
[第1の実施形態]
<機能構成>
図5は、第1の実施形態に係る情報処理装置110の機能構成の例を示す図である。情報処理装置110は、例えば、図3のプロセッサ301で所定のプログラムを実行することにより、通信部501、脈波データ取得部502、フレーム分割部503、抽出部504、評価データ取得部505、構築部506、推定部507、及び記憶部508等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
通信部501は、例えば、図3のプロセッサ301で実行されるプログラム、及び通信装置306等によって実現され、情報処理装置110を通信ネットワーク105に接続して、携帯端末103、又はウェアラブル端末101等と通信を行う。
脈波データ取得部502は、例えば、図3のプロセッサ301で実行されるプログラムによって実現され、例えば、ウェアラブル端末101のセンサ102が検知したユーザの脈波データを取得する。例えば、ウェアラブル端末101は、センサ102が検知したユーザの脈波データを、近距離無線通信で携帯端末103に送信する。携帯端末103は、ウェアラブル端末101から送信されるユーザの脈波データを受信し、受信したユーザの脈波データを、通信ネットワーク105を介して情報処理装置110に送信する。情報処理装置110の脈波データ取得部502は、携帯端末103から送信されるユーザの脈波データを、通信部501を介して取得する。
別の一例として、ウェアラブル端末101は、センサ102が検知するユーザの脈波データを無線通信で情報処理装置110へ送信し、情報処理装置110の脈波データ取得部502は、送信されたユーザの脈波データを、通信部501を介して取得しても良い。
フレーム分割部503は、図3のプロセッサ301で実行されるプログラムによって実現され、脈波データ取得部502が取得した脈波データをフレーム単位に分割する。例えば、脈波データ取得部502は、ウェアラブル端末101が検知したユーザ104の脈波データを時系列データとして逐次取得する。また、フレーム分割部503は、時系列データとして取得する脈波データd(t)を所定の時間範囲のフレームに分割する。例えば、フレーム分割部503は、ある時刻tにおける脈波特徴量を算出するために、tの前後tω/2の時間範囲を、時間窓tωのデータとして切り出す。
抽出部504は、例えば、図3のプロセッサ301で実行されるプログラムによって実現され、ユーザ104の脈波データから、低次メンタル状態に関する脈波特徴量を抽出する。
ここでは、脈波特徴量の具体的な一例として、低次メンタル状態を表す有効な特徴量とされるLF/HF系特徴量とカオス系特徴量とを用いて、脈波特徴量(特徴ベクトル)を表す場合の例について説明する。ただし、これに限られず、脈波特徴量は、低次メンタル状態に関する他の脈波特徴量を用いても良い。
(LF/HF系特徴量について)
抽出部504は、フレーム分割部503が分割した脈波データをフーリエ変換し、正規化したパワースペクトルP(f)を算出する。また、抽出部504は、周波数fが0.04Hzから0.15HzまでのP(f)を積算し対数をとった値をLF(Low Frequency)特徴量xLFとして算出する。さらに、抽出部504は、周波数fが0.15Hzから0.40HzまでのP(f)を積算し対数をとった値をHF(High Frequency)特徴量xHFとして算出する。さらにまた、抽出部504は、LF特徴量xLFと、HF特徴量xLFHFとの比であるLF/HF特徴量xLFHFを算出する。
ここで算出した、LF特徴量xLF、HF特徴量xLFHF、及びLF/HF特徴量xLFHFは、LF/HF系特徴量の一例である。
(カオス系特徴量について)
抽出部504は、脈波データ取得部502が時系列データとして受信する脈波データd(t)における4次の遅れ時間τをとることで、式(1)に示す4次元の状態変数ベクトルP(t)を生成する。
Figure 2020190936
このとき、状態変数ベクトルP(t)の軌道は、カオスアトラクタを描く。そして、抽出部504は、この軌道の不安定性をはかる指標としてリアプノフ係数lambda(t)を、式(2)に基づき算出する。
Figure 2020190936
ここで、Dist(t)は、P(t)とP(t−1)との距離を表す。なお、このとき、リアプノフ係数lambda(t)は、次元数(4個)だけ得られる。また、λ(t)はk番目(kは1〜4の整数)に大きいリアプノフ係数を表す。このとき、最大のリアプノフ係数λ(t)、すなわち、xLyapnovを脈波特徴量の1つとして利用する。
さらに、抽出部504は、カオスの予測不能性の指標となるエントロピーH(t)を式(3)に基づいて算出する。
Figure 2020190936
このとき、エントロピーH(t)、すなわち、xentropyを脈波特徴量として利用する。なお、ここで算出した、xLyapnov、及びxentropyは、カオス系特徴量の一例である。
本実施形態では、LF/HF系特徴量であるLF特徴量xLF、HF特徴量xLFHF、LF/HF特徴量xLFHFと、カオス系特徴量xLyapnov、xentropyとを用いて、脈波特徴量(脈波特徴ベクトル)x(t)を式(4)のように定義する。
Figure 2020190936
ここで、図5を参照して、情報処理装置110の機能構成の説明を続ける。
評価データ取得部505は、複数の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を含む評価データ(教師データ)を取得する。例えば、評価データ取得部505は、メンタル情報DB120等に予め登録されているユーザ104の評価データを取得する。
好ましくは、評価データ取得部505は、ユーザ104に予め定められたコンテンツを提供しているときに、当該コンテンツに対応する低次メンタル状態における、ユーザ104の脈波データ又は脈波特徴量を、評価データとして取得し、登録することができる。
具体的な一例として、評価データ取得部505は、ユーザ104を第1の低次メンタル状態に誘導する第1のコンテンツを、ユーザ104に提供しているときに、第1の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得する。ここで、第1のコンテンツには、例えば、「ユーザ104が極めて好むコンテンツ(音楽、映像等)」等を適用することができる。また、第1の低次メンタル状態には、例えば、「ユーザ104が第1のコンテンツに集中している状態」、及び/又は「ユーザ104がリラックスした状態」等を適用することができる。
また、評価データ取得部505は、ユーザ104を第2の低次メンタル状態に誘導する第2のコンテンツを、ユーザ104に提供しているときに、第2の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得する。ここで、第2のコンテンツには、例えば、不快な音や単調なノイズ等の「ユーザ104が不快と感じるコンテンツ(騒音、映像等)」等を適用することができる。また、第2の低次メンタル状態には、例えば、「ユーザ104が第2のコンテンツに退屈している状態」、及び/又は「ユーザ104がリラックスできない状態」等を適用することができる。
さらに、評価データ取得部505は、例えば、第1の低次メンタル状態を「0.9」、第2の低次メンタル状態を「0.1」等に数値化して、取得した脈波データ(又は脈波特徴量)と共に、評価データ(教師データ)として、メンタル情報DB120等に登録する。
ただし、これに限られず、評価データ取得部505は、例えば、3つ以上の低次メンタル状態に対応するユーザ104の脈波データ(又は脈波特徴量)を、評価データとして取得しても良い。
構築部506は、評価データ取得部505が取得した評価データを用いて、前述した脈波特徴量x(t)と、低次メンタル状態y(t)との対応関係を表す回帰モデルを、ガウス過程を用いて構築する。なお、評価データとして、ユーザ104の脈波データを取得した場合、構築部506は、抽出部504を用いて、脈波データから脈波データを抽出しておく。
ここで、ガウス過程(Gaussian Process)とは、入力ベクトルxが似ていれば、出力値yも似ていることを表すための回帰関数の確率モデルである。例えば、図6に示すように、n個(nは自然数)の入力の集合(x,x,・・・・x)について、対応する出力y=(y,y,・・・y)の同時分布p(y)が多変量ガウス分布に従うとき、xとyとの関係はガウス過程に従う。このように、ベイズ推定(Bayesian Estimation)をベースにしたガウス過程による回帰モデルを用いることにより、学習データが多く取れない場合でも汎化性が損なわれにくい柔軟なモデル化が可能になる。
例えば、脈波特徴量x(t)と低次メンタル状態y(t)との間に、式(5)に示す関係があるものとする。
Figure 2020190936
また、ガウス過程、すなわち、平均μ(x)、Knn'=k(x,xn')を要素とするカーネル行列Kを共分散行列とするガウス分布N(μ,K)が、式(6)に示す従関数fから生成されているものとする。
Figure 2020190936
この場合、低次メンタル状態y(t)もガウス過程に従う。ここで、低次メンタル状態y(t)を、平均μ(x)=0となるように規格化すると、式(7)が成り立つ。
Figure 2020190936
ここで、Nはガウス分布を表す。なお、カーネル行列は、例えば、線形カーネル、指数カーネル、周期カーネル等が考えられるが、特に限定されないので、ここでは、式(8)に示す線形カーネルを用いるものとする。
Figure 2020190936
以上より、事前に取得された評価データ(教師データ)を用いた脈波特徴量x(t)と低次メンタル状態y(t)との間の対応関係を表す回帰モデルは、式(8)で算出されたカーネル行列に基づいて、後述する式(9)で求まる。
ここで、図5を参照して、情報処理装置110の機能構成の説明を続ける。
推定部507は、ユーザ104の脈波特徴量と、構築部506が構築した回帰モデルとを用いて、ユーザ104の低次メンタル状態を推定する。
例えば、新たに取り込まれた検証データである脈波特徴量をx(t)とし、推定される低次メンタル状態をy(t)とする。具体的に、低次メンタル状態y(t)を推定するために、教師データと検証データとを合わせた脈波特徴量を用いて、式(8)に基づき算出されるカーネル行列をKとおくと、カーネル行列Kもガウス分布に従う。従って、推定される低次メンタル状態y*(t)は、次の式(9)で表される。
Figure 2020190936
ここで、式(10)、(11)に示す、ガウス分布に従うベクトルに関する公式を用いることにより、低次メンタル状態y(t)が取り得る確率分布を求めることができる。
ガウス分布に従うベクトルy1とy2が、式(10)であるとき、
Figure 2020190936
ベクトルの一部y1が与えられると、y2の確率分布は式(11)で表される。
Figure 2020190936
上記の公式を用いると、評価データ(教師データ)、及びユーザ104の脈波特徴量(検証データ)が与えられたときの低次メンタル状態y(t)が取り得る確率分布は、式(12)で表される。
Figure 2020190936
ここで、k、k**は、それぞれ、式(13)、(14)で表される。
Figure 2020190936
Figure 2020190936
以上より、次の式(15)により、ユーザ104の脈波特徴量(検証データ)が与えられたときの低次メンタル状態y(t)を推定することができる。
Figure 2020190936
記憶部508は、例えば、図3のプロセッサ301で実行されるプログラム、及びメモリ302等によって実現される。構築部506が構築した、ユーザ104の脈波特徴量と、低次メンタル状態との対応関係を表す回帰モデルは、例えば、記憶部508等に記憶される。また、メンタル情報DB120は、記憶部508に記憶されていても良い。
(ウェアラブル端末について)
ウェアラブル端末101は、ウェアラブル端末101を装着しているユーザ104の脈波データを取得する機能と、取得したユーザ104の脈波データを携帯端末103、又は情報処理装置110に送信する機能とを有しているものとする。
(携帯端末について)
携帯端末103は、ウェアラブル端末101から送信されたユーザ104の脈波データを受信し、受信したユーザ104の脈波データを情報処理装置110に送信する機能を有しているものとする。また、携帯端末103は、一般的な情報端末と同様に、例えば、ウェブブラウザ機能、音楽再生機能、動画再生機能等の様々な機能を有しているものとする。
なお、図5に示す情報処理装置110の機能構成は一例であり、本実施形態に係る低次メンタル状態推定システム100は、様々システム構成で実現可能である。
例えば、図5に示す情報処理装置110が備える各機能構成は、携帯端末103が備えていても良い。また、図5に示す情報処理装置110が備える各機能構成は、携帯端末103と、情報処理装置110とに、分散して設けられていても良い。つまり、図5に示す情報処理装置110が備える機能構成の各々は、低次メンタル状態推定システム100に含まれるいずれかの装置が有していれば良い。
<処理の流れ>
続いて、第1の実施形態に係る低次メンタル推定方法の処理の流れについて説明する。
(低次メンタル状態の推定処理)
図7は、第1の実施形態に係る低次メンタル状態の推定処理の例を示すフローチャートである。この処理は、例えば、ウェアラブル端末101を装着しているユーザ104が所定のサービスを利用しているときに、情報処理装置110が実行する、低次メンタル状態の推定処理の例を示している。
なお、ここでは、情報処理装置110が、図7に示す処理を実行するものとして以下の説明を行うが、当該処理は、携帯端末(情報処理装置の別の一例)103が実行するものであっても良い。
ステップS701において、情報処理装置110の脈波データ取得部502は、ウェアラブル端末101、又は携帯端末103からユーザ104の脈波データを取得する。例えば、ウェアラブル端末101は、センサ102で検知したユーザ104の脈波データを携帯端末103、又は情報処理装置110に送信する。また、情報処理装置110の通信部501は、ウェアラブル端末101が送信したユーザ104の脈波データを、携帯端末103を介して、又はウェアラブル端末101から直接受信し、脈波データ取得部502は、通信部501が受信したユーザ104の脈波データを取得する。
ステップS702において、情報処理装置110のフレーム分割部503は、脈波データ取得部502が取得したユーザ104の脈波データをフレーム単位に分割する。例えば、フレーム分割部503は、前述したように、時系列データとして受信する脈波データd(t)を、ある時刻tにおける脈波特徴量を算出するために、tの前後tω/2の時間範囲を、時間窓tωのデータとして切り出す。
ステップS703において、情報処理装置110の抽出部504は、ユーザ104の脈波データから、前述したLF/HF系特徴量と、カオス系特徴量とを算出し、例えば、式(4)に示すような脈波特徴量x(t)を抽出する。
ステップS704において、情報処理装置110の評価データ取得部505は、例えば、図8で後述する評価データの取得処理等により、メンタル情報DB120等に予め登録されているユーザ104の評価データを取得する。この評価データには、複数の低次メンタル状態における、ユーザ104の脈波データ(又は脈波特徴量)が含まれる。
ステップS705において、情報処理装置110の構築部506は、ユーザ104の評価データを用いて、ユーザ104の脈波特徴量と低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する。例えば、構築部506は、式(5)〜(9)で説明したようにして、式(9)に示すような回帰モデルを構築する。
ステップS706において、情報処理装置110の推定部507は、ユーザ104の脈波特徴量と、構築した回帰モデルとを用いて、ユーザの低次メンタル状態を推定する。例えば、推定部507は、式(9)〜(15)で説明したようにして、式(15)によりユーザ104の低次メンタル状態y(t)を推定する。
(評価データの取得処理)
図8は、評価データの取得処理の一例を示すフローチャートである。情報処理装置110は、例えば、図7に示す低次メンタル状態の推定処理を実行する前に、図8に示すような評価データの取得処理を実行し、ユーザ104の評価データを、メンタル情報DB120等に予め登録しておくものとする。
ステップS801において、情報処理装置110の評価データ取得部505は、ユーザ104を第1の低次メンタル状態に誘導する第1のコンテンツを、ユーザ104に提供する。例えば、評価データ取得部505は、「ユーザ104が極めて好むコンテンツ(音楽、映像等)」を、携帯端末103等を介してユーザ104に提供する。
ステップS802において、評価データ取得部505は、第1のコンテンツをユーザ104に提供しているときに、第1の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得する。これにより、評価データ取得部505は、例えば、「ユーザ104が第1のコンテンツに集中している状態」、及び/又は「ユーザ104がリラックスした状態」における、ユーザ104の脈波データ(又は脈波特徴量)を取得することができる。
ステップS803において、情報処理装置110の評価データ取得部505は、ユーザ104を第2の低次メンタル状態に誘導する第2のコンテンツを、ユーザ104に提供する。例えば、評価データ取得部505は、「ユーザ104が不快と感じるコンテンツ(騒音、映像等)」を、携帯端末103等を介してユーザ104に提供する。
ステップS804において、評価データ取得部505は、第2のコンテンツをユーザ104に提供しているときに、第2の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得する。これにより、評価データ取得部505は、例えば、「ユーザ104が第2のコンテンツに退屈している状態」、及び/又は「ユーザ104がリラックスできない状態」における、ユーザ104の脈波データ(又は脈波特徴量)を取得することができる。
なお、ステップS801〜S804に示す処理は一例である。例えば、評価データ取得部505は、3つ以上の低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を取得しても良い。また、評価データ取得部505は、1つ低次メンタル状態に対応する複数の脈波データ(又は脈波特徴量)を取得しても良い。
ステップS805において、評価データ取得部505は、各低次メンタル状態におけるユーザ104の脈波データ(又は脈波特徴量)を、ユーザ104の評価データとして、メンタル情報DB120等に登録する。例えば、評価データ取得部505は、第1の低次メンタル状態を「0.9」、第2の低次メンタル状態を「0.1」等に数値化して、取得した脈波データ(又は脈波特徴量)と共に、評価データ(教師データ)として、メンタル情報DB120に登録する。
情報処理装置110は、例えば、ユーザ104に所定のサービスを提供しているときに、図7に示すような低次メンタル状態の推定処理を実行することにより、所定のサービスに対するユーザ104の反応を容易に把握することができる。
従って、本実施形態によれば、サービスを利用するユーザ104にアンケート、インタビュー等を行わなくても、サービスに対するユーザの反応を容易に把握できる情報処理装置、及び低次メンタル状態推定方法を提供することができる。
また、本実施形態によれば、複数の脈波特徴量(LF/HF系特徴量、カオス系特徴量)を加味して、ユーザ104の低次メンタル状態を推定することができる。
さらに、本実施形態によれば、ベイズ推定をベースとしたガウス過程による回帰モデルを用いているので、学習データ(評価データ)が多く取れない場合でも汎化性が損なわれにくい柔軟なモデル化が可能になる。
[第2の実施形態]
第2の実施形態では、情報処理装置110が、第1の実施形態で推定した所定のサービスに対するユーザ104の反応(低次メンタル状態)に応じたサービスを、ユーザ104に提供する場合の例について説明する。
<機能構成>
図9は、第2の実施形態に係る情報処理装置の機能構成の例を示す図である。図9に示すように、第2の実施形態に係る情報処理装置110は、図5に示す第1の実施形態に係る情報処理装置110の機能構成に加えて、サービス提供部901を有している。
サービス提供部901は、例えば、図3のプロセッサ301で実行されるプログラムによって実現され、推定部507によって推定されたユーザ104の低次メンタル状態に応じたサービスを、ユーザ104に提供する。
なお、上記以外の情報処理装置110の機能構成は、第1の実施形態と同様で良い。また、図9に示す情報処理装置110が備える各機能構成の少なくとも一部は、低次メンタル状態推定システム100に含まれる他の装置(例えば、携帯端末103等)が備えていても良い。
<処理の流れ>
(サービス提供処理1)
図10は、第2の実施形態に係るサービス提供処理の一例を示すフローチャートである。この処理は、サービス提供部901が実行するサービス提供処理の一例を示している。
なお、ここでは、情報処理装置110が、図10に示す処理を実行するものとして以下の説明を行うが、当該処理の少なくとも一部は、情報処理装置110とは異なる情報処理装置(例えば、携帯端末103、サービス提供用のサーバ装置等)が実行しても良い。
ステップS1001において、情報処理装置110は、ユーザ104の携帯端末103に対する着信を検知すると、ステップS1102以降の処理を実行する。
ステップS1002において、情報処理装置110は、図7に示す低次メンタル状態の推定処理を実行し、ユーザの低次メンタル状態を推定する。
ステップS1003において、情報処理装置110のサービス提供部901は、ユーザ104の低次メンタル状態がネガティブであるか否かを判断する。
例えば、サービス提供部901は、ユーザ104の低次メンタル状態が、前述した第2も低次メンタル状態である場合、ユーザ104の低次メンタル状態がネガティブであると判断する。一方、サービス提供部901は、ユーザ104の低次メンタル状態が、前述した第1の低次メンタル状態である場合、ユーザ104の低次メンタル状態がネガティブでない(ポジティブである)と判断する。
ユーザ104の低次メンタル状態がネガティブである場合、サービス提供部901は、処理をステップS1004に移行させる。一方、ユーザ104の低次メンタル状態がネガティブでない場合、サービス提供部901は、処理をステップS1005に移行させる。
ステップS1004に移行すると、サービス提供部901は、例えば、ユーザ104への着信を、自動的にメッセージサービスに切り換える。
一方、ステップS1005に移行すると、サービス提供部901は、例えば、ユーザ104への着信処理を継続する。
上記の処理によれば、情報処理装置110は、ユーザ104への着信(所定のサービスの一例)を検知したとき、ユーザ104に、低次メンタル状態に応じた適切なサービス(例えば、メッセージサービス等)を提供することができる。具体的な例として、情報処理装置110は、ユーザ104が、着信を受けたときにネガティブな反応を示した場合、着信に応答したくないものと判断し、自動的にメッセージサービスに切り換えることができる。
(サービス提供処理2)
図11は、第2の実施形態に係るサービス提供処理の別の一例を示す図である。この処理は、情報処理装置110が実行するサービス提供処理の別の一例を示している。
なお、ここでは、情報処理装置110が、図11に示す処理を実行するものとして以下の説明を行うが、当該処理の少なくとも一部は、情報処理装置110とは異なる情報処理装置(例えば、携帯端末103、サービス提供用のサーバ装置等)が実行しても良い。また、ここでは、図10に示す処理と同様の処理に対する詳細な説明は省略する。
ステップS1101において、情報処理装置110は、例えば、ユーザ104が、携帯端末103のウェブブラウザ等で閲覧中のウェブページに第1の広告を表示するものとする。なお、第1の広告の内容は、任意の内容であって良い。
ステップS1102において、情報処理装置110は、図7に示す低次メンタル状態の推定処理を実行し、ユーザの低次メンタル状態を推定する。
ステップS1103において、情報処理装置110のサービス提供部901は、ユーザ104の低次メンタル状態がネガティブであるか否かを判断する。
ユーザ104の低次メンタル状態がネガティブである場合、サービス提供部901は、処理をステップS1104に移行させる。一方、ユーザ104の低次メンタル状態がネガティブでない場合、サービス提供部901は、処理をステップS1105に移行させる。
ステップS1104に移行すると、サービス提供部901は、例えば、ユーザ104が閲覧しているウェブページへの第1の広告の表示を中止する。
一方、ステップS1105に移行すると、サービス提供部901は、ユーザ104が閲覧しているウェブページに第2の広告を表示する。なお、第2の広告は、第1の広告と異なる内容であっても良いし、第1の広告と同じ内容であっても良い。
上記の処理によれば、情報処理装置110は、ユーザ104に提供した広告(所定のサービス別の一例)に対するユーザ104の低次メンタル状態に応じた適切なサービス(例えば、新たな広告の表示、又は広告の表示を中止等)を提供することができる。具体的な一例として、情報処理装置110は、ユーザ104が閲覧中のウェブページに広告を表示したときに、ユーザ104がネガティブな反応を示した場合、表示した広告が不快であると判断し、表示した広告の表示を中止することができる。また、情報処理装置110は、ユーザ104が閲覧中のウェブページに広告を表示したときに、ユーザ104がポジティブな反応を示した場合、表示した広告に興味を示したと判断し、さらなる広告を表示させることもできる。
なお、図10、11に示すサービス提供処理は一例であり、低次メンタル状態推定システム100は、所定のサービスに対するユーザ104の低次メンタル状態に応じて、様々なサービスを提供することが可能である。
以上、本発明の各実施形態によれば、サービスを利用するユーザ104にアンケート、インタビュー等を行わなくても、サービスに対するユーザ104の反応を容易に把握できる情報処理装置を提供することができる。
また、情報処理装置110は、サービスを利用するユーザ104の反応に応じた適切なサービスをユーザ104に提供することができる。
<補足>
なお、図5、9の機能構成図は、機能単位のブロックを示している。これらの機能ブロックは、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されても良いし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されても良い。
また、図3、4に示す各装置のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されても良いし、一部の装置を含まずに構成されても良い。また、コンピュータ200は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されても良く、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されても良い。例えば、プロセッサ301は、これらのハードウェアの少なくとも1つで実装されても良い。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャート等は、矛盾のない限り、順序を入れ替えても良い。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されても良いし、管理テーブルで管理しても良い。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されても良い。入力された情報等は他の装置へ送信されても良い。
判定は、1ビットで表される値(0か1か)によって行われても良いし、真偽値(Boolean:true又はfalse)によって行われても良いし、数値の比較(例えば、所定の値との比較)によって行われても良い。
本明細書で説明した各態様/実施形態は単独で用いても良いし、組み合わせて用いても良いし、実行に伴って切り替えて用いても良い。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われても良い。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されても良い。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されても良い。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されても良い。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えても良い。
また、本明細書で説明した情報、パラメータなどは、絶対値で表されても良いし、所定の値からの相対値で表されても良いし、対応する別の情報で表されてもよい。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書、或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書、或いは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本開示の全体において、例えば、英語でのa, an, 及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
100 低次メンタル状態推定システム
110 情報処理装置
502 脈波データ取得部
504 抽出部
505 評価データ取得部
506 構築部
507 推定部
901 サービス提供部

Claims (10)

  1. ユーザの脈波データを取得する脈波データ取得部と、
    前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、
    複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、
    前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、
    前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、
    を有する、情報処理装置。
  2. 前記評価データ取得部は、前記ユーザに予め定められたコンテンツを提供しているときに、前記コンテンツに対応する低次メンタル状態における前記評価データを取得する、請求項1に記載の情報処理装置。
  3. 前記コンテンツは、前記ユーザを第1の低次メンタル状態に誘導する第1のコンテンツと、前記ユーザを第2の低次メンタル状態に誘導する第2のコンテンツとを含む、請求項2に記載の情報処理装置。
  4. 前記第1の低次メンタル状態は、前記ユーザが前記第1のコンテンツに集中している状態、及び/又は前記ユーザがリラックスした状態を含む、請求項3に記載の情報処理装置。
  5. 前記第2の低次メンタル状態は、前記ユーザが前記第2のコンテンツに退屈している状態、及び/又は前記ユーザがリラックスできない状態を含む、請求項3又は4に記載の情報処理装置。
  6. 前記脈波特徴量は、前記脈波データから算出したLF/HF系特徴量、及び/又は前記脈波データから算出したカオス系特徴量を含む、請求項1乃至5のいずれか一項に記載の情報処理装置。
  7. 前記推定部が推定した前記ユーザの低次メンタル状態に応じたサービスを、前記ユーザに提供するサービス提供部を有する、請求項1乃至6のいずれか一項に記載の情報処理装置。
  8. 前記低次メンタル状態は、交感神経と副交感神経の制御バランスの乱れ度合いを表すメンタル状態である、請求項1乃至7のいずれか一項に記載の情報処理装置。
  9. ユーザの脈波データを取得する脈波データ取得部と、
    前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する抽出部と、
    複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する評価データ取得部と、
    前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する構築部と、
    前記ユーザの前記脈波特徴量と前記回帰モデルとを用いて、前記ユーザの低次メンタル状態を推定する推定部と、
    を有する、低次メンタル状態推定システム。
  10. ユーザの脈波データを取得する処理と、
    前記脈波データから、前記ユーザの低次メンタル状態に関する脈波特徴量を抽出する処理と、
    複数の低次メンタル状態における前記ユーザの脈波データ又は前記脈波特徴量を含む評価データを取得する処理と、
    前記評価データを用いて、前記脈波特徴量と前記低次メンタル状態との対応関係を表す回帰モデルを、ガウス過程により構築する処理と、
    前記ユーザの脈波データと前記回帰モデルとに基づいて、前記ユーザの低次メンタル状態を推定する処理と、
    をコンピュータが実行する、低次メンタル状態推定方法。
JP2019096012A 2019-05-22 2019-05-22 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法 Pending JP2020190936A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096012A JP2020190936A (ja) 2019-05-22 2019-05-22 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096012A JP2020190936A (ja) 2019-05-22 2019-05-22 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法

Publications (1)

Publication Number Publication Date
JP2020190936A true JP2020190936A (ja) 2020-11-26

Family

ID=73455016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096012A Pending JP2020190936A (ja) 2019-05-22 2019-05-22 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法

Country Status (1)

Country Link
JP (1) JP2020190936A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318973A (ja) * 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
US20150216468A1 (en) * 2014-01-31 2015-08-06 Konica Minolta Laboratory U.S.A., Inc. Method and system for real-time insight detection using eeg signals
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、体調推定システム及びプロセッサ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318973A (ja) * 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
US20150216468A1 (en) * 2014-01-31 2015-08-06 Konica Minolta Laboratory U.S.A., Inc. Method and system for real-time insight detection using eeg signals
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、体調推定システム及びプロセッサ

Similar Documents

Publication Publication Date Title
CN111105852B (zh) 一种电子病历推荐方法、装置、终端及存储介质
US8781991B2 (en) Emotion recognition apparatus and method
CN109918669B (zh) 实体确定方法、装置及存储介质
CN113807440B (zh) 利用神经网络处理多模态数据的方法、设备和介质
CN111985240B (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
KR20170034154A (ko) 콘텐츠 제공 방법 및 이를 수행하는 전자 장치
Banos et al. Mining minds: an innovative framework for personalized health and wellness support
WO2023029817A1 (zh) 医学报告生成方法、模型的训练方法、装置及设备
CN112970013A (zh) 电子装置及其控制方法
CN111489830A (zh) 分段预测疫情数据的方法及装置、介质和电子设备
CN113192639B (zh) 信息预测模型的训练方法、装置、设备及存储介质
US20210192365A1 (en) Computer device, system, readable storage medium and medical data analysis method
CN111462910A (zh) 项目的匹配方法及装置、电子设备和存储介质
Mukherjee et al. Edge-based human activity recognition system for smart healthcare
CN109710939B (zh) 用于确定主题的方法和装置
CN109543187B (zh) 电子病历特征的生成方法、装置及存储介质
JP2020190936A (ja) 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法
CN113343664B (zh) 图像文本之间的匹配度的确定方法及装置
JP2020074947A (ja) 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法
CN115866291A (zh) 一种数据处理方法及其装置
KR20160100767A (ko) 영상 데이터를 재생하는 전자 장치 및 방법
CN111414496B (zh) 基于人工智能的多媒体文件的检测方法和装置
CN114281937A (zh) 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置
CN116348950A (zh) 在执行任何语音命令时从周围环境进行基于ar(增强现实)的选择性声音包括
CN111489260A (zh) 项目分类方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230808