JP2021045568A - System and method - Google Patents
System and method Download PDFInfo
- Publication number
- JP2021045568A JP2021045568A JP2020197078A JP2020197078A JP2021045568A JP 2021045568 A JP2021045568 A JP 2021045568A JP 2020197078 A JP2020197078 A JP 2020197078A JP 2020197078 A JP2020197078 A JP 2020197078A JP 2021045568 A JP2021045568 A JP 2021045568A
- Authority
- JP
- Japan
- Prior art keywords
- stress
- user
- value
- magnitude
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明の実施形態は、メンタルストレスを推定する技術に関する。 Embodiments of the present invention relate to techniques for estimating mental stress.
近年、ウェアラブル型の生体センサデバイスを用いて心拍又は脈拍を計測し、心拍又は脈拍の変動を解析することにより自律神経指標を推定する技術が利用されている。また、メンタルストレスの推定には、常時センサを装着し、データを蓄積し解析する方法や、データを常に解析する方法がある。 In recent years, a technique has been used in which a heartbeat or pulse is measured using a wearable biosensor device and an autonomic nerve index is estimated by analyzing fluctuations in the heartbeat or pulse. Further, for estimating mental stress, there are a method of constantly wearing a sensor and accumulating and analyzing data, and a method of constantly analyzing data.
しかし、このような推定では、メンタルストレスの度合いを高精度に推定できないという課題がある。 However, such an estimation has a problem that the degree of mental stress cannot be estimated with high accuracy.
本発明の一形態は、メンタルストレスの度合いを高精度に推定できるシステム、方法及びプログラムを提供することを目的とする。 One aspect of the present invention is to provide a system, a method and a program capable of estimating the degree of mental stress with high accuracy.
実施形態によれば、システムは、決定手段を具備する。決定手段は、第1作業を開始する前のユーザの第1ストレス値と、前記第1作業中の前記ユーザの第2ストレス値との変化に応じて、前記ユーザのストレスの大きさを判定する。 According to embodiments, the system comprises means of determination. The determining means determines the magnitude of the stress of the user according to the change between the first stress value of the user before starting the first work and the second stress value of the user during the first work. ..
以下、実施の形態について図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.
まず、図1を参照して、一実施形態に係るシステムの構成を説明する。このシステムは、ユーザの慢性的なメンタルストレスを推定し、推定されたストレスに応じた情報を提供するストレス推定システム1である。ユーザに関する情報は、種々のセンシングデバイス2を用いて取得される。センシングデバイス2は、ユーザに対する負荷の低いセンシングが可能なデバイスであり、したがって、さりげないセンシングを実現し、センシングされていることをユーザに意識させないようにすることができる。各センシングデバイス2は、一人のユーザをセンシングするものであってもよいし、複数のユーザをセンシングするものであってもよい。センシングにより得られるデータ(センサデータ)は、複数のセンシングデバイス2の各々によって並行して収集され得る。そして、複数のセンシングデバイス2によって収集された、例えば、時間同期の取れていない複数のセンサデータを統合することにより、マルチモーダルで、高精度なメンタルストレス値をユーザ毎に推定することができる。
First, the configuration of the system according to the embodiment will be described with reference to FIG. This system is a stress estimation system 1 that estimates a user's chronic mental stress and provides information according to the estimated stress. Information about the user is acquired using
センシングデバイス2には、人体装着型のデバイス、携帯型のデバイス、据え置き型のデバイス、自律走行型のデバイス等がある。人体装着型のデバイスは、人体の一部に固定可能(すなわち、常時装着可能)なデバイスであって、例えば、手首(リストバンド型)デバイス、足首デバイス、貼り付けデバイス、パンツ型デバイス、シャツ型デバイスのようなウェアラブルデバイスである。携帯型のデバイスは、把持する、服のポケットに入れる、バッグに入れる等の形態で常時携帯可能なデバイスであって、例えば、スマートフォン、携帯電話機、PDA、タブレットコンピュータ等を含む。据え置き型のデバイスは、特定の場所に配置して利用されるデバイスであって、ノートブック型のコンピュータ(ノートPC)、デスクトップ型のコンピュータ(デスクトップPC)、セキュリティゲート、車載器、監視カメラ等のデバイスを含み、さらに、センサが組み込まれた椅子、トイレ、IoT機器等のデバイスも含み得る。また、自律走行型のデバイスは、例えば、ロボットクリーナーやコミュニケーションロボット等のロボット型デバイスを含む。
The
センシングデバイス2は、人体に接触するセンサと人体に接触しない非接触のセンサの少なくとも一方を備える。接触型のセンシングデバイス2Aには、例えば、脈波(脈拍)を検知する光電脈波センサ、心電図(心拍)を検知する心電センサ、動作(運動、睡眠)を検知する加速度センサ等が含まれる。非接触型のセンシングデバイス2Bには、脈波(脈拍)や動作(運動、表情、睡眠)を検知するための映像を撮影するカメラ、会話量や発話に基づく感情を検出するために音声を録音するマイク、尿や唾液から特定の物質を検知するためのバイオマーカ、環境情報を検知するための温度及び湿度センサ等が含まれる。なお、キーボードやポインティングデバイス、ICタグの読み取り装置等の入力デバイスを、ユーザによる動作を検知するセンサとして用いることもできる。
The
クラウド検査サービスでは、センシングデバイス2を用いて取得されたデータを用いて、ユーザが感じているストレスの度合いを示すストレス値(ストレス指標)が推定される。このクラウド検査サービスは、例えば、ユーザのセンサデータを利用可能なサーバ3によって実現される。サーバ3は、個人健康記録(personal health record:PHR)等のデータベース4に含まれるゲノム検査や産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート、等も用いて、ストレス値を推定してもよい。
In the cloud inspection service, a stress value (stress index) indicating the degree of stress felt by the user is estimated using the data acquired by using the
また、サーバ3は、特定の疾患(例えば、鬱病)を発症した事例のデータを用いて、ストレスとの相関がある有為なファクター(要因)を選定することもできる。サーバ3は、選定されたファクターのデータに基づいて、ユーザのストレス値を推定する。
The
さらに、ストレス値の推定やストレスとの相関があるファクターの選定は、病院、医師、産業医等の医療分野と連携して、ストレス値やファクターを検証することにより、精度や信頼性を高めることができる。サーバ3は、例えば、医療分野でストレス値として既に用いられている唾液や尿に含まれる特定の物質に関する指標、主観アンケート(例えば、状態−特性不安尺度(State−Trait Anxiety Inventory:STAI))に基づく指標等をさらに用いて、ストレス値を推定することもできる。
Furthermore, the estimation of stress values and the selection of factors that correlate with stress should improve accuracy and reliability by verifying stress values and factors in cooperation with the medical field such as hospitals, doctors, and industrial physicians. Can be done. The
サーバ3は、推定されたストレス値に基づいて行動変容プログラムを決定する。行動変容プログラムは、例えば、産業医やカウンセラー、臨床心理士のような専門家によって監修されたプログラムである。サーバ3は、ストレス値が高いユーザに対して、ストレス値が高いことを通知し、ストレスを低減するための情報を提供する。サーバ3は、例えば、ユーザが使用しているスマートフォンに、推奨される行動(マインドフルネス)や勤務形態等のアドバイスを配信してもよい。
The
サーバ3は、ユーザの属性に応じて行動変容プログラムを変更することもできる。サーバ3は、例えば、コールセンターのような対人業務に就く従業員やドライバーである複数のユーザの中に、ストレス値が高いユーザが含まれる場合に、そのユーザのストレス値が低減されるように組み直された勤務シフト(スケジュール)を自動的に生成してもよい。同様に、サーバ3は、特定の疾患に罹患中(例えば、癌患者)、産後、育児中、介護中等のユーザの属性を考慮して、ストレスを低減するための情報を提供したり、勤務シフトを自動生成したりしてもよい。
The
サーバ3によるクラウド検査サービスは、例えば、ストレスチェックの提供会社、対人業務のある企業、保険会社等で利用され得る。
The cloud inspection service by the
次いで、図2から図4を参照して、ストレス推定システム1の構成のいくつかの例について説明する。 Next, some examples of the configuration of the stress estimation system 1 will be described with reference to FIGS. 2 to 4.
まず、図2に示すストレス推定システム1は、複数のデバイス2−1,2−2,2−3と、メンタルストレス推定部31とを備える。
First, the stress estimation system 1 shown in FIG. 2 includes a plurality of devices 2-1, 2, 2-3, and a mental
デバイス2−1はセンサ21−1を有している。センサ21−1は、ユーザがデバイス2−1にアクセスしたログを示すアクセスログ情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−1は、例えば、デスクトップPC、ノートPC、車載器、セキュリティゲート等である。
Device 2-1 has a sensor 21-1. The sensor 21-1 collects access log information indicating a log in which the user has accessed the device 2-1 and outputs (transmits) it to the mental
デバイス2−2はセンサ21−2を有している。センサ21−2は、ユーザによるデバイス2−2の操作を示す操作情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−2は、例えば、手首デバイスのような装着型デバイス、携帯型デバイス、デスクトップPC、ノートPC等である。
Device 2-2 has sensor 21-2. The sensor 21-2 collects operation information indicating the operation of the device 2-2 by the user and outputs (transmits) it to the mental
また、デバイス2−3はセンサ21−3を有している。センサ21−3は、ユーザの生体情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−3は、例えば、手首デバイスのような装着型デバイス、携帯型デバイス、デスクトップPC、ノートPC、ホームIoTデバイス、ホームロボット、セキュリティゲート、車載器、トイレ型デバイス等である。また、生体情報には、例えば、脈波や心拍の解析結果が含まれている。
Further, the device 2-3 has a sensor 21-3. The sensor 21-3 collects the biometric information of the user and outputs (transmits) it to the mental
メンタルストレス推定部31は、デバイス2−1,2−2,2−3により収集されたアクセスログ情報と操作情報と生体情報とを用いて、ユーザのメンタルストレスを示すストレス値を推定する。より具体的には、メンタルストレス推定部31は、例えば、アクセスログ情報を用いてユーザの勤怠状況や活動状況を推定し、また、操作情報を用いてユーザの活動状況や感情を推定する。そして、メンタルストレス推定部31は、推定された勤怠状況、活動状況及び感情と、生体情報とを用いて、ストレス値を推定する。
The mental
なお、ここでは、一つのデバイスに一つのセンサが設けられる例を示したが、一つのデバイスに複数のセンサが設けられてもよい。したがって、複数のセンサを備える一つのデバイスによって、アクセスログ情報と操作情報のような複数種の情報が収集され得る。メンタルストレス推定部31は、少なくとも一つのセンサを備える少なくとも一つのデバイスから得られた情報を用いて、ユーザのストレス値を推定することができる。
Although an example in which one sensor is provided in one device is shown here, a plurality of sensors may be provided in one device. Therefore, one device including a plurality of sensors can collect a plurality of types of information such as access log information and operation information. The mental
次に、図3に示すストレス推定システム1は、図2に示した構成に加えて、デバイス2−4とゲノムデータベース(DB)4−1とを備える。 Next, the stress estimation system 1 shown in FIG. 3 includes a device 2-4 and a genome database (DB) 4-1 in addition to the configuration shown in FIG.
デバイス2−4はセンサ21−4を有している。センサ21−4は、例えば、唾液や尿に含まれる特定の物質の量や濃度等を検知するバイオマーカを含み、このバイオマーカによる検知結果を示すバイオマーカ情報をメンタルストレス推定部31に出力(送信)する。バイオマーカは、例えば、唾液アミラーゼ、唾液クロモグラニン、唾液コルチゾール、尿カテコールアミン等を検知する。デバイス2−4は、例えば、トイレ型デバイス、パンツ型デバイス等である。 Devices 2-4 have sensors 21-4. The sensor 21-4 includes, for example, a biomarker that detects the amount or concentration of a specific substance contained in saliva or urine, and outputs biomarker information indicating the detection result by the biomarker to the mental stress estimation unit 31 ( Send. The biomarker detects, for example, salivary amylase, salivary chromogranin, salivary cortisol, urinary catecholamine, and the like. Devices 2-4 are, for example, toilet-type devices, pants-type devices, and the like.
ゲノムDB4−1は、ユーザがゲノム検査等を受けた際に得られたゲノム解析結果を格納する。メンタルストレス推定部31は、ゲノムDB4−1に格納された情報から、ストレスとの関連性が高い情報を取得する。取得されるゲノム情報により、ストレスへの耐性が判別可能である。取得される情報は、例えば、ストレスに弱い一塩基多型(Single Nucleotide Polymorphism:SNP)情報、躁鬱病の発症に関連している遺伝子情報等である。躁鬱病の発症に関連している遺伝子は特定されているため、その遺伝子を有するユーザをストレスに弱いと判定することができる。
The genome DB4-1 stores the genome analysis result obtained when the user undergoes a genome test or the like. The mental
メンタルストレス推定部31は、デバイス2−1,2−2,2−3により収集されたアクセスログ情報と操作情報と生体情報とに加えて、デバイス2−4により収集されたバイオマーカ情報と、ゲノムDB4−1から取得されたゲノム情報とを用いて、ストレス値を推定する。
The mental
また、図4に示すストレス推定システム1は、ストレス値の推定が関数化される例を示す。メンタルストレス推定部31は、ストレス値を推定する前に、過去の産業医受診状況や鬱病診断状況を用いて、特定の疾患(例えば、鬱病)を発症した事例のセンサデータやゲノム情報等を抽出し、その疾患の発症との関連性が高いパラメータ(ファクター)22(例えば、x1(t),x2(t),……,xn(t))を学習する。そして、メンタルストレス推定部31は、それらパラメータ22を用いて、ストレス値を算出するための関数F(x)を生成する。メンタルストレス推定部31は、この関数F(x)を用いて、新たに得られたセンサデータ等に基づくストレス値y(t)を算出することにより、実際の事例に即したユーザのストレス値を推定することができる。メンタルストレス推定部31は、ユーザ毎に、例えば、毎日、一つのストレス値y(t)を算出し、継続してストレス値が高くなっていること(例えば、基準値を超えていること)、普段とは異なる異常値になっていること等を検知する。
Further, the stress estimation system 1 shown in FIG. 4 shows an example in which the estimation of the stress value is functionalized. Before estimating the stress value, the mental
ストレス推定システム1はさらに、行動変容決定部32を有していてもよい。行動変容決定部32は、算出されたストレス値y(t)に基づいて、ストレスを低減するための情報を出力する。行動変容決定部32は、例えば、継続してストレス値が高くなっている場合や、普段とは異なる異常値になっている場合に、ストレスを低減するための情報を出力する。このような情報は、例えば、メールやスマートフォンのアプリ等を介して、ユーザに提示することができる。
The stress estimation system 1 may further include a behavior
より具体的には、行動変容決定部32は、ストレス値の大きさに応じて、ユーザに対する警告を出力する。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、ストレス値の高さ、慢性ストレスのリスクの高さ等を表示させる。
More specifically, the behavior
また、行動変容決定部32は、ストレス値の大きさに応じて、ストレスを低下させるためにユーザに推奨される行動に関する情報を出力する。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、メンタルフルネスの受講、深呼吸、気分転換になる体操、座禅、運動、自然を眺めること、花鳥風月を愛でること等を促すメッセージを表示させる。また、推奨される行動は、ユーザが特定の疾患(例えば、認知症、癌等)に罹患しているか、あるいは勤労者、育児者、又は介護者であるかと云った属性に応じて決定されてもよい。
In addition, the behavior
さらに、行動変容決定部32は、ストレス値の大きさに応じて、推奨される勤務形態に関する情報を出力し得る。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、時間休憩、年休取得、短期休暇、長期休暇等の取得を推奨するメッセージを表示する。また、行動変容決定部32は、複数のユーザがストレス推定システム1を利用している場合に、例えば、コールセンター業務、ドライバー業務のようなストレスが極めてかかりやすい業務に従事する従業員に対して、ストレス値の大きさに応じて組み替えられた勤務シフト表を提示することもできる。行動変容決定部32は、例えば、高いストレス値のユーザの状態を改善するために、そのユーザの勤務時間が削減された勤務シフト表を自動生成する。また、行動変容決定部32は、例えば、繁忙期の直前に、従業員全体のストレスを低く維持するための勤務シフト表を自動生成する。なお、推奨される勤務形態(勤務シフト)は、ユーザが特定の疾患(例えば、認知症、癌等)に罹患しているか、あるいは勤労者、育児者、又は介護者であるかと云った属性に応じて決定されてもよい。
Further, the behavior
以下では、ストレス推定システム1がサーバ3と一つ以上のデバイス2とによって構成される場合を例示する。サーバ3と各デバイス2とはネットワークを介して相互に通信可能である。一つ以上のデバイス2は、各々に設けられるセンサ21を用いてユーザに関するセンサデータを収集し、サーバ3に送信する。サーバ3は、収集されたセンサデータを用いてストレス値を推定し、そのストレス値に応じてストレスを低減するための情報を生成する。
In the following, a case where the stress estimation system 1 is composed of a
図5は、サーバ3のシステム構成例を示す。サーバ3は、例えば、サーバコンピュータとして実現され得る。サーバ3は、CPU301、主メモリ302、不揮発性メモリ303、BIOS−ROM304、通信モジュール305等を備える。
FIG. 5 shows an example of a system configuration of the
CPU301は、サーバ3内の様々なコンポーネントの動作を制御するプロセッサである。CPU301は、ストレージデバイスである不揮発性メモリ303から主メモリ302にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)302A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、ストレス推定プログラム302Bが含まれている。このストレス推定プログラム302Bには、デバイス2からセンサデータを取得するための命令群、ストレス値を推定するための命令群、ストレス値に基づく行動変容のための命令群等が含まれている。つまり、ストレス推定プログラム302Bは、図2から図4を参照して上述したメンタルストレス推定部31と行動変容決定部32との機能を有している。
The
また、CPU301は、BIOS−ROM304に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
The
通信モジュール305は、有線又は無線通信を実行するように構成されたデバイスである。通信モジュール305は、信号を送信する送信部と、信号を受信する受信部とを含む。
また、図6は、デバイス2のシステム構成例を示す。デバイス2は、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204、センサ21等を備える。
Further, FIG. 6 shows an example of a system configuration of the
CPU201は、デバイス2内の様々なコンポーネントの動作を制御するプロセッサである。CPU201は、ストレージデバイスである不揮発性メモリ203から主メモリ202にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)202A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、ストレス監視プログラム202Bが含まれている。このストレス監視プログラム202Bには、センサ21からデータを収集するための命令群、収集されたデータを解析するための命令群、データをサーバ3に送信するための命令群等が含まれている。
The
通信モジュール204は、有線又は無線通信を実行するように構成されたデバイスである。通信モジュール204は、信号を送信する送信部と、信号を受信する受信部とを含む。なお、デバイス2は、映像出力のためのディスプレイ205や、音声出力のためのスピーカ206をさらに備えていてもよい。
次いで、図7を参照して、サーバ3によって実行されるストレス推定プログラム302Bと各デバイス2−1,2−2,……,2−Nによって実行されるストレス監視プログラム202Bとの機能構成を説明する。デバイス2−1,2−2,……,2−Nの各々は、図6を参照して上述したシステム構成を有している。サーバ3と各デバイス2−1,2−2,……,2−Nとは、ネットワーク15を介して、相互にデータを送受信することができる。
Next, with reference to FIG. 7, the functional configuration of the
各デバイス2−1,2−2,……,2−Nによって実行されるストレス監視プログラム202Bは、例えば、センサ処理部251と表示制御部252とを備える。また、サーバ3によって実行されるストレス推定プログラム302Bは、例えば、蓄積処理部311、ファクター決定部312、ストレス値決定部313、アラート生成部314、及びスケジュール生成部315を備える。
The
デバイス2のセンサ処理部251は、センサ21−1によって出力されたデータに、解析等の特定の処理を施すことにより得られたセンサデータを、通信モジュール204を介してサーバ3に送信する。送信されるデータには、センシング対象のユーザを識別するための情報(ユーザID)と、センシングされた日時を示す情報(タイムスタンプ)とが含まれていてもよい。なお、センサ処理部251は、センサ21−1によって出力されたデータをそのままサーバ3に送信してもよい。その場合、データに解析等の特定の処理を施すためのセンサ処理部251の機能がサーバ3内に設けられる。
The
サーバ3の蓄積処理部311は、通信モジュール305を介して、デバイス2(デバイス2−1,2−2,……,2−N)からセンサデータを受信する。蓄積処理部311は、受信したセンサデータをセンサデータベース35に格納する。センサデータベース35には、例えば、不揮発性メモリ303が用いられる。センサデータベース35には、複数種のデバイス2(又は複数種のセンサ21)を用いて得られたセンサデータがまとめて格納されてもよいし、デバイス2(又はセンサ21)毎にセンサデータを格納するために複数のセンサデータベース35が設けられてもよい。格納されるセンサデータは、センシングされた対象のユーザやセンシングされた日時が識別可能である。また、センサデータベース35は、サーバ3によってセンサデータが利用できる形態であれば、サーバ3の外部に設けられていてもよい。
The
ファクター決定部312は、センサデータベース35に格納されたセンサデータと健康記録データベース4に格納されたデータとを用いて、長期ストレスとの関連性が高いファクター(要因)を決定する。本実施形態では、ユーザにより知覚されるストレスを、ある一期間にわたるストレスの大きさについての指標で表し、またその期間の長さに応じた短期ストレスと長期ストレスとで規定する。長期ストレスの指標(値)は、少なくとも短期ストレスの期間よりも長い期間にわたるストレスの大きさを示す。また、短期ストレスの指標(値)は、少なくとも長期ストレスの期間よりも短い期間にわたるストレスの大きさを示す。一例として、長期とは、1週間以上、2週間、1ヶ月、3ヶ月等の期間であり、短期とは、一週間未満、2〜3日、1日、半日、2〜3時間、1時間、30分、数分、数秒等の期間である。したがって、長期ストレスはユーザの慢性的なストレスであり、短期ストレスはユーザの一時的なストレス(すなわち、瞬時ストレス)であると云える。
The
ファクター決定部312は、例えば、第1の方法によるストレスの大きさの変動度合いと、ストレスに関連する複数の要因の変動度合いとを用いて、それら複数の要因のうち、一つ以上の要因を、長期ストレスの判定に用いる要因とする。この第1の方法は、例えば、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定の内の、少なくとも一つ以上に基づいてストレスを判定する方法である。また、複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する一つ以上の要因、電子機器の操作状況に関する一つ以上の要因、勤怠状況に関する一つ以上の要因、感情に関する一つ以上の要因、人体の動きの状況に関する一つ以上の要因、発話状況に関する一つ以上の要因、睡眠状況に関する一つ以上の要因、及び環境に関する一つ以上の要因の内の、少なくとも二つ以上を含む。なお、上述した第1の方法に、ストレスを判定するための他の方法がさらに含まれていてもよく、また複数の要因に、ユーザをセンシングしたセンサデータに基づく他の要因がさらに含まれていてもよい。また、電子機器は、携帯型のデバイス2又は人体装着型のデバイス2である。
The
ストレス値決定部313は、あるユーザの、センサデータベース35に格納されたセンサデータを用いて、ある短期間における短期ストレスの値を決定した後、さらに、別の短期間における短期ストレスの値を決定する。短期ストレスの値は、ある短期間に、例えば、少なくとも一つのセンサから得られたセンサデータを用いて決定される。そして、ストレス値決定部313は、それら二つの短期ストレスの値の変化に基づいて、そのユーザの長期ストレスの大きさ(例えば、長期ストレス値)を判定する。ストレス値決定部313は、健康記録データベース4に格納されたデータをさらに用いて長期ストレスの大きさを判定してもよい。
The stress
より具体的には、ストレス値決定部313は、特定の作業(例えば、車の運転)を開始する前の短期ストレスが第1値であり、作業中の短期ストレスが第1値よりも大きい第2値であるとき、その作業が終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさ(長期ストレス値)を判定する。ストレス値決定部313は、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。また、ストレス値決定部313は、閾値以上の人体の変動の繰り返し(例えば、貧乏ゆすり)に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。
More specifically, in the stress
アラート生成部314は、ストレス値決定部313によって定められた長期ストレスの大きさに応じて、ユーザに対する警告を生成する。また、アラート生成部314は、定められた長期ストレスの大きさに応じて、ストレスを低下させるためのユーザに推奨される行動に関する情報を生成してもよい。アラート生成部314は、生成された警告や情報を、通信モジュール305を介してデバイス2に送信する。送信先のデバイス2は、例えば、ディスプレイ205を備えるデバイスやユーザによって予め指定されたデバイスである。
The
また、スケジュール生成部315は、ストレス値決定部313によって定められた長期ストレスの大きさ(例えば、長期ストレス値)に応じて、推奨される勤務形態に関する情報を生成する。スケジュール生成部315は、例えば、ある業務に従事する複数の従業員の各々の長期ストレス値が決定された場合、高い長期ストレス値の従業員にかかるストレスが軽減されるように、それら複数の従業員の勤務スケジュールを生成する。スケジュール生成部315は、勤務スケジュールのような勤務形態に関する情報を、通信モジュール305を介してデバイス2に送信する。
In addition, the
デバイス2の表示制御部252は、通信モジュール204を介して、サーバ3から警告や情報を受信する。そして、表示制御部252は、警告や情報をディスプレイ205の画面に表示する。
The
なお、サーバ3内の各部がデバイス2内に設けられていてもよい。その場合、例えば、あるデバイス2に、複数のデバイス2によって取得されたセンサデータが蓄積されてもよい。また、例えば、あるデバイス2によって、センサデータを用いたストレス値の決定、ストレス値に基づく警告や情報の生成等が行われてもよい。
In addition, each part in the
以下では、上述した構成が適用されるいくつかのデバイス2について例示する。
In the following, some
<車載器>
図8から図13を参照して、自動車を運転するユーザのストレス指標が推定される例について説明する。このユーザは、例えば、自動車に搭載されるデバイス2である車載器2−6と装着型デバイス2−5とに設けられるセンサによってセンシングされる。車載器2−6を搭載した自動車は、勤務時間外に利用されてもよいし、配送業務等に従事するユーザの勤務中に利用されてもよい。
<On-board unit>
An example in which a stress index of a user driving a car is estimated will be described with reference to FIGS. 8 to 13. This user is sensed by, for example, sensors provided in the on-board unit 2-6 and the wearable device 2-5, which are
図8は、車載器2−6の外観の例を示す。車載器2−6には、例えば、電源ボタン501、カメラ503、心電センサ504、湿度センサ505、温度センサ506、振動センサ/加速度センサ(図示せず)等が含まれる。
FIG. 8 shows an example of the appearance of the on-board unit 2-6. The on-board unit 2-6 includes, for example, a
電源ボタン501は、例えばハンドルの右側に配置され、自動車のエンジンを始動するために用いられる。電源ボタン501の操作を検知したことに応じて、始動されたエンジン動作を検出することにより、ユーザによる運転に関する情報を取得することができる。電源ボタン501はUIセンサの一種である。カメラ503は、サンバイザ部、あるいはメーター類が設置されるインストルメンタルパネル(インパネ)部に設けられ、自動車を運転するユーザの顔画像(映像)を撮影する。カメラ503はメディアセンサの一種である。
The
心電センサ504は、座席に設けられ、着席したユーザの心拍の波形(心電図)を検知する。心電センサ504は生体センサの一種である。湿度センサ505及び温度センサ506は、例えばインパネ部に設けられ、車内の湿度及び温度を検知する。湿度センサ505及び温度センサ506は環境センサの一種である。また、振動センサ/加速度センサは、車載器2−6に生じる振動/加速度を検知することにより、自動車の動きを検知する。
The
なお、このユーザは、装着型(例えば、リストバンド型)のデバイス2−5を装着していてもよい。デバイス2−5は、例えば、振動センサ/加速度センサ502、マイク、光電脈波センサ、環境センサ等を備えている。車載器2−6は、車載器2−6に設けられる振動センサ/加速度センサに加えて、あるいはその代わりに、デバイス2−5に設けられる振動センサ/加速度センサ502を利用することができる。
In addition, this user may wear a wearable type (for example, a wristband type) device 2-5. Device 2-5 includes, for example, a vibration sensor /
車載器2−6は、このようなセンサ501〜506を利用して、センサデータを収集することができる。車載器2−6には、GPSレシーバ等の他のセンサがさらに設けられていてもよい。また、車載器2−6及び装着型デバイス2−5の各々には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
The on-board unit 2-6 can collect sensor data by using
次いで、図9を参照して、車載器2−6の機能構成について説明する。車載器2−6は、上述したセンサ501〜506やGPSレシーバ507を備え、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
Next, the functional configuration of the vehicle-mounted device 2-6 will be described with reference to FIG. The on-board unit 2-6 includes the above-mentioned
このセンサ処理部251は、例えば、エンジン動作検出部511、顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、顔表情認識部516、心拍ピーク間隔算出部517、自律神経解析部518、環境不快度算出部519、走行/停止検知部520、及びルート解析部510を含む。
The
エンジン動作検出部511は、電源ボタン501の操作によってエンジンが始動されたことに応じて、エンジン動作、各種オドメトリ、自動車の乗車時間、速度等を検出する。エンジン動作検出部511は、このような検出された情報を、車載器2−6へのアクセスログ情報として、メンタルストレス推定部31に出力(送信)する。また、エンジン動作検出部511は、検出された情報に基づいて、エンジンが始動又は停止したことを示す情報を映像脈波算出部513に出力する。
The engine
走行/停止検知部520は、振動センサ/加速度センサ502によって得られた振動データと加速度データの少なくとも一方を用いて、自動車が走行(移動)しているか、それとも停止しているかを検知する。走行/停止検知部520は、さらに、振動データと加速度データの少なくとも一方を用いて、急ハンドル、急加速、急ブレーキのような特定の運転操作を検知することもできる。走行/停止検知部520は、検知された自動車の走行又は停止を示す情報と、運転操作を示す情報とを映像脈波算出部513に出力する。なお、走行/停止検知部520は、振動データ及び/又は加速度データをそのままメンタルストレス推定部31に送信してもよい。
The travel /
顔検出部512は、カメラ503を用いて得られた映像から顔を検出する。顔検出部512は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部512は、検出された顔画像に関する情報を映像脈波算出部513及び顔表情認識部516に出力する。
The
映像脈波算出部513は、顔検出部512により出力された情報を用いて、ユーザの脈波に関する情報を算出する。より具体的には、映像脈波算出部513は、連続した映像フレームから検出された顔画像の変化(例えば、皮膚の色の変化)に基づいて、ユーザの脈波を算出する。
The video pulse
算出されたユーザの脈波には、エンジン動作検出部511によって出力されたエンジンが始動又は停止したことを示す情報と、走行/停止検知部520によって出力された自動車が走行又は停止していることを示す情報と運転操作を示す情報とが関連付けられる。このような情報を用いることにより、自動車の運転を開始する前、運転中、運転を終了した後、ある運転操作が検知されたタイミング等を特定して、情報を抽出することができる。なお、運転の開始、運転中、及び運転の終了を示すタイミングは、車載器2−6又は装着型デバイス2−5に設けられた入力デバイスを用いて、ユーザによって明示的に入力されてもよい。
The calculated user pulse wave includes information output by the engine
脈波ピーク間隔算出部514は、算出された脈波のピーク間隔(PPI)を算出する。そして、自律神経解析部515は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。この自律神経指標は、自律神経のバランスを表している。自律神経解析部515は、自動車の運転を開始する前、運転中、運転を終了した後、ある運転操作が検知されたタイミング等における、脈拍数や脈拍のばらつきを示す自律神経指標を算出してもよい。自律神経解析部515は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
The pulse wave peak
また、顔表情認識部516は、映像から検出された顔画像の表情を認識する。顔表情認識部516は、例えば、喜怒哀楽のような表情の種別だけでなく、眉間のしわ、顔の動き等も認識することができる。顔表情認識部516は、認識された表情の種別等を含む感情情報をメンタルストレス推定部31に送信する。
In addition, the facial
なお、顔検出部512及び顔表情認識部516は、カメラ503を用いて得られた映像から、運転中の手、足、頭等の体の動きを検出し、眠気(例えば、頭の揺れ)や、いら立っている場合に起きやすい動作(例えば、指や足の繰り返し動作)を認識してもよい。認識された動作を示す情報は、感情情報としてメンタルストレス推定部31に送信され得る。
The
次いで、心拍ピーク間隔算出部517は、心電センサ504により計測された波形のピーク間隔である心拍間隔(R−R間隔)を算出する。自律神経解析部518は、算出された心拍間隔を解析することにより、心拍数や心拍のばらつきを示す自律神経指標を算出する。この自律神経指標は、自律神経のバランスを表している。自律神経解析部518は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
Next, the heartbeat peak
環境不快度算出部519は、湿度センサ505により計測された湿度と温度センサ506によって計測された温度とを用いて、環境不快度を算出する。この環境不快度には、例えば、予測温冷感申告(Predicted Mean Vote:PMV)や、暑さ指数(Wet Bulb Globe Temperature:WBGT)が用いられる。環境不快度算出部519は、算出された環境不快度を含む環境情報をメンタルストレス推定部31に送信する。
The environmental
ルート解析部510は、GPSレシーバ507を用いて取得された自動車の位置と、カーナビゲーションシステム等で用いられる地図データとを用いて、自動車が走行している道路を特定する。そして、ルート解析部510は、特定された道路が、いつも走行する道路であるか、それともまれにしか走行しない不慣れな道路であるか、また一般道路と高速道路のいずれであるか、等を示すルート情報を生成し、メンタルストレス推定部31に送信する。
The
メンタルストレス推定部31(ストレス値決定部313)は、車載器2−6によって出力された情報を用いてユーザの短期ストレスの値を決定し、決定された短期ストレスの値を用いてユーザの長期ストレスの大きさを判定する。例えば、メンタルストレス推定部31は、車載器2−6から出力されたデバイスへのアクセスログ情報、生体情報、感情情報、環境情報、及びルート情報の少なくともいずれか一つを用いて、ある短期間における短期ストレスの値を算出する。そして、メンタルストレス推定部31は、ユーザが自動車の運転を開始する前の短期ストレスが第1値であり、自動車の運転中の短期ストレスが第1値よりも大きい第2値であるとき、自動車の運転を終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさ(例えば、長期ストレス値)を判定する。この変化(すなわち、短期ストレス値が下がる速度)が速いほど長期ストレスは小さくなり、変化が遅いほど長期ストレスは大きくなる。これは、長期ストレスが小さいユーザでは、運転等のストレスのかかる作業によって一時的に短期ストレス値が上昇したとしても、その作業が終了すれば平常の短期ストレス値に戻りやすく、一方、長期ストレスが大きいユーザでは、作業によって短期ストレス値が一旦上昇してしまうと、その作業が終了しても平常の短期ストレス値に戻りにくかったり、戻らなかったりすることに基づくものである。したがって、運転中の短期ストレス値(第2値)から、平常(運転開始前)の短期ストレス値(第1値)への運転終了後の戻りやすさに応じて、長期ストレスの大きさを判定することができる。
The mental stress estimation unit 31 (stress value determination unit 313) determines the short-term stress value of the user using the information output by the on-board unit 2-6, and uses the determined short-term stress value to determine the long-term stress value of the user. Determine the magnitude of stress. For example, the mental
自動車の運転を終了した後の第2値から第1値に向かうストレスの値の変化は、例えば、絶対値として表され、例えば、一時間で閾値以上低下したか否か等に基づいて、長期ストレスの大きさ(長期ストレス値)が決定される。また、このストレス値の変化は、相対値で表されてもよい。その場合、例えば、一時間で、第1値から第2値までの上昇分の何割が低下したか等に基づいて、長期ストレスの大きさ(長期ストレス値)が決定される。 The change in the stress value from the second value to the first value after the end of driving the car is expressed as an absolute value, for example, and is long-term based on whether or not the stress value has decreased by more than the threshold value in one hour. The magnitude of stress (long-term stress value) is determined. Further, the change in the stress value may be expressed as a relative value. In that case, for example, the magnitude of long-term stress (long-term stress value) is determined based on what percentage of the increase from the first value to the second value decreases in one hour.
なお、急ハンドルのような運転操作は、ストレスによって注意力散漫となったことにより生じると推定されるので、センサデータから急ハンドル等の運転操作が検知されたことは、メンタルストレス推定部31によって決定される短期ストレス値が高くなる一因となり得る。同様に、メンタルストレス推定部31によって決定される短期ストレス値が高くなる要因として、平常よりも脈拍数/心拍数が高いことや、脈波や心拍のばらつきが大きいこと、怒りのような特定の表情が認識されたこと、眠気やいら立ちを示す動作が認識されたこと、高速道路やまれにしか利用されない道路が走行されたこと、乗車時間が長いこと、環境不快度が高いこと等が含まれ得る。
Since it is estimated that a driving operation such as a sudden steering wheel is caused by distraction due to stress, the mental
また、ストレス値は、車載器2−6及び装着型デバイス2−5によって取得されたセンサデータだけでなく、他のデバイス2(例えば、携帯型デバイス、据え置き型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータも用いて決定されてもよい。その場合、メンタルストレス推定部31は、例えば、自動車の運転時のストレス値と、次の就寝中のストレス値とを比較することによって、長期ストレスの値を算出してもよいし、また自動車の運転時のストレス値と、次の起床後のストレス値とを比較することによって、長期ストレスの値を算出してもよい。
Further, the stress value is not only the sensor data acquired by the on-board unit 2-6 and the wearable device 2-5, but also the other device 2 (for example, a portable device, a stationary device, a toilet type device, an autonomous driving type). It may also be determined using the sensor data acquired by the device or the like). In that case, the mental
図10は、脈波又は心拍の波形データを用いて、ストレス指標が決定される例を示す。上述したように、映像脈波算出部513により算出された脈波521を用いて、脈波ピーク間隔算出部514は脈波ピーク間隔(脈拍間隔)535を算出する。また、心拍ピーク間隔算出部517は、心電センサ504により計測された波形のピーク間隔である心拍間隔536を算出する。自律神経解析部515,518は、算出された脈拍間隔535又は心拍間隔536を周波数解析して、所定の周波数毎のパワースペクトル密度を算出する。高い周波数帯(例えば、0.15ヘルツから0.4ヘルツ)に含まれるパワースペクトル密度の総和(HF)は、副交感神経の働きの度合い、すなわち、リラックス状態の度合いを表す。また、高い周波数帯に含まれるパワースペクトル密度の総和(HF)に対する、低い周波数帯(例えば、0.05ヘルツから0.15ヘルツ)に含まれるパワースペクトル密度の総和(LF)を示す指標(LF/HF)は、交感神経の働きの度合い、すなわち、ストレス状態の度合いを表す。メンタルストレス推定部31は、この指標LF/HFを、短期ストレス(瞬時ストレス)のストレス指標として用いる。
FIG. 10 shows an example in which a stress index is determined using pulse wave or heartbeat waveform data. As described above, the pulse wave peak
図10に示すように、交感神経の働き525と副交感神経の働き526とは逐次変化している。メンタルストレス推定部31は、例えば、交感神経の優位性に応じてストレス指標を算出することができる。
As shown in FIG. 10, the
図11及び図12は、運転時のストレス指標LF/HFの変化を示すグラフである。 11 and 12 are graphs showing changes in the stress index LF / HF during operation.
まず、図11のグラフ527は、高速道路を含む往路を走行した場合のストレス指標の変化を示す。このグラフ527では、出発時(出発直後)の低いストレス指標527−1が、走行中に上昇していることが分かる。特に、高速道路を走行している期間のストレス指標527−2は、高速道路を走行していない期間のストレス指標527−1,527−3よりも相対的に高くなっている。
First,
次に、図12のグラフ528は、不慣れな道路を含む復路を走行した場合のストレス指標の変化を示す。このグラフ528でも、出発時の低いストレス指標528−1が、走行中に上昇していることが分かる。特に、不慣れな道路を走行している期間のストレス指標528−2は、その道路を走行していない期間のストレス指標528−1,528−3よりも相対的に高くなっている。
Next,
また、図13は、医療分野等で既に用いられているストレス指標である唾液アミラーゼ値と主観アンケート結果(STAI)との運転時の変化を示している。図13に示す例では、図11に示したグラフ527に対応する往路の運転開始前及び運転終了後の値と、図12に示したグラフ528に対応する復路の運転開始前及び運転終了後の値とが示されている。唾液アミラーゼとSTAIのいずれも、運転終了後の値は運転開始前の値から上昇していることが分かる。
In addition, FIG. 13 shows changes in the saliva amylase value, which is a stress index already used in the medical field, and the subjective questionnaire result (STAI) during driving. In the example shown in FIG. 13, the values before and after the start of operation of the outward route corresponding to the
メンタルストレス推定部31は、このようなLF/HF、唾液アミラーゼ、STAI等の種々のセンサデータを統合して、短期ストレス値及び長期ストレス値のようなストレス指標を算出することもできる。
The mental
<携帯型デバイス及び装着型デバイス>
図14から図16を参照して、携帯型デバイス2−7を使用し、装着型デバイス2−8を装着するユーザのストレス指標が推定される例について説明する。このユーザは、例えば、携帯型デバイス2−7と装着型デバイス2−8とに設けられるセンサによってセンシングされる。
<Portable devices and wearable devices>
An example in which the stress index of the user who wears the wearable device 2-8 is estimated by using the portable device 2-7 will be described with reference to FIGS. 14 to 16. This user is sensed, for example, by sensors provided on the portable device 2-7 and the wearable device 2-8.
図14は、携帯型デバイス2−7の外観の例を示す。図14では、携帯型デバイス2−7がスマートフォンである場合を例示している。携帯型デバイス2−7は、屋外に持ち出して携帯して使用する電子機器であり、屋内でも使用可能であってもよい。携帯型デバイス2−7は、例えば、マイク601、ボタン602、加速度センサ603、カメラ608等のセンサを有している。
FIG. 14 shows an example of the appearance of the portable device 2-7. FIG. 14 illustrates a case where the portable device 2-7 is a smartphone. The portable device 2-7 is an electronic device that is taken outdoors and carried and used, and may be used indoors. The portable device 2-7 has, for example, sensors such as a
携帯型デバイス2−7の本体60の上面には、ディスプレイ205が設けられている。ディスプレイ205は、例えば、タッチスクリーンディスプレイであり、LCDと、その上面に配置された静電容量型のタッチパネルとで構成されている。ボタン602は、ディスプレイ205の下部と、本体60の左側面に設けられ、携帯型デバイス2−7をロック状態(スリープ状態)に移行する操作や、ロック状態から復帰させる操作等に用いられる。携帯型デバイス2−7は、ディスプレイ205の画面に表示されたGUIのボタン等を用いて操作することもできる。
A
マイク601は、本体60の下側面に設けられ、ユーザによる発話を含む音声を集音する。加速度センサ603は、本体60内の、例えば、下部に設けられ、携帯型デバイス2−7の動きを検知する。また、カメラ608は、ディスプレイ205の上部に設けられ、例えば、ディスプレイ205の画面を見ているときのユーザの顔等を撮影可能である。なお、本体60には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
The
次いで、図15は、装着型デバイス2−8の外観の例を示す。ここでは、装着型デバイス2−8がパンツ型デバイスである場合を例示する。この装着型デバイス2−8は、例えば、二つのマイク601、四つの加速度センサ603、光電脈波センサ604、心電センサ605、超音波センサ609等のセンサを有している。光電脈波センサ604と心電センサ605はいずれか一方であってもよい。また、装着型デバイス2−8に、操作のためのボタンがさらに設けられていてもよい。
Next, FIG. 15 shows an example of the appearance of the wearable device 2-8. Here, a case where the wearable device 2-8 is a pants type device will be illustrated. The wearable device 2-8 has, for example, sensors such as two
装着型デバイス2−8のユーザの腰部に接する収縮部分(例えば、ゴム部)62には、二つのマイク601、二つの加速度センサ603、光電脈波センサ604、及び心電センサ605が設けられている。
The contracted portion (for example, the rubber portion) 62 of the wearable device 2-8 in contact with the user's lumbar region is provided with two
マイク601は、ユーザによる発話やユーザの対話相手の発話、ユーザの動きに伴う音、体内音等を含む音声を集音する。二つのマイク601が配置されることでビームフォーミングにより、ユーザによる発話と対話相手の発話とを識別することもできる。
The
加速度センサ603は、装着型デバイス2−8に生じる加速度を検知することにより、装着型デバイス2−8の動き、すなわち、装着型デバイス2−8を装着するユーザの動きを検知する。収縮部分62には、腹部側と背部側とにそれぞれ一つの加速度センサ603が配置されている。
The
光電脈波センサ604は、例えば、発光ダイオード(LED)と光検出器(Photo
Detector:PD)とで構成され、光電容積脈波法に基づきユーザの脈波を検知する。心電センサ605は、ユーザの心拍の波形(心電図)を検知する。なお、収縮部分62の一部61には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵され得る。
The photoelectric
It is composed of Director: PD) and detects the pulse wave of the user based on the photoelectric volume pulse wave method. The
また、装着型デバイス2−8のユーザの左右の大腿部に接する部分には、各々に加速度センサ603と超音波センサ609とが設けられている。超音波センサ609は、超音波により大腿部の筋肉量を検知する。
Further, an
なお、上述したセンサ601〜609は一例であり、各センサはいずれのデバイス2−7,2−8に設けられていてもよい。また、これらデバイス2−7,2−8に、気圧センサ、照度センサ、感圧センサ(静電センサ)、ジャイロセンサ、温度センサ、湿度センサのような他のセンサがさらに設けられていてもよい。
The above-mentioned
また、ユーザは、図8に示したような別の装着型(例えば、リストバンド型)デバイス2−5を装着していてもよい。デバイス2−5は、例えば、振動センサ/加速度センサ、マイク、光電脈波センサ、環境センサ等を備えている。 In addition, the user may wear another wearable (for example, wristband type) device 2-5 as shown in FIG. Device 2-5 includes, for example, a vibration sensor / acceleration sensor, a microphone, a photoelectric pulse wave sensor, an environment sensor, and the like.
次いで、図16を参照して、携帯型デバイス2−7及び装着型デバイス2−8の機能構成について説明する。例えば、携帯型デバイス2−7及び装着型デバイス2−8は、上述したセンサ601〜605や、湿度センサ606、温度センサ607を備え、ストレス監視プログラム202Bを実行する。なお、湿度センサ606及び温度センサ607は、デバイス2−7,2−8に設けられていてもよいし、環境内に設置されていてもよい。環境内に設置される場合、デバイス2−7,2−8は、例えば、通信モジュール204を介した通信により、これらセンサ606,607から湿度データ及び温度データを取得する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
Next, with reference to FIG. 16, the functional configurations of the portable device 2-7 and the wearable device 2-8 will be described. For example, the portable device 2-7 and the wearable device 2-8 include the above-mentioned
このセンサ処理部251は、例えば、会話量推定部611、声質変化検出部612、変動検知部613、いらいら度算出部614、活動量算出部615、脈波ピーク間隔算出部616、睡眠解析部617、自律神経解析部618、心拍ピーク間隔算出部619、自律神経解析部620、及び環境不快度算出部621を含む。
The
会話量推定部611は、マイク601によって得られた音声データを解析することにより、会話量を推定する。会話量推定部611は、音声から、ユーザによる発話と他者の発話とを識別し、各々の発話量を推定してもよい。会話量推定部611は、会話量(又は発話量)を示す発話情報をメンタルストレス推定部31に送信(出力)する。
The conversation
声質変化検出部612は、マイク601によって得られた音声データを解析することにより、喜怒哀楽や緊張による声質の変化を検出する。声質変化検出部612は、検出された声質の変化を示す発話情報をメンタルストレス推定部31に送信する。
The voice quality
変動検知部613は、加速度センサ603によって得られた加速度データを用いて、閾値以上の人体の変動の繰り返しを検知する。変動検知部613は、いわゆる貧乏ゆすりのような、ストレスに起因する可能性がある体、足、腕、頭等の閾値以上の動き(揺れ、振り)の繰り返しを検知する。
The
加速度センサ603が携帯型デバイス2−7に設けられている場合、変動検知部613は、加速度データに加えて、携帯型デバイス2−7にさらに設けられる気圧センサ、照度センサ、感圧センサ(静電センサ)等により得られるデータを用いて、その携帯型デバイス2−7が、バッグの中にあるか、服のポケットの中にあるか、あるいは手で把持されているかを判別する。この判別結果に基づき、携帯型デバイス2−7が服のポケットの中にあるか、又は手で把持されている場合に、変動検知部613は、閾値以上の人体の変動の繰り返しを検知してもよい。
When the
また、加速度センサ603が装着型デバイス2−8に設けられている場合には、変動検知部613は、例えば、光電脈波センサ604を用いて、ユーザがデバイス2−8を装着していることを識別した後、閾値以上の人体の変動の繰り返しを検知する。
Further, when the
変動検知部613は、さらに、加速度センサ603、気圧センサ、ジャイロセンサ等により得られるデータを用いて、ユーザが座っているか、それとも立っているかを判別してもよい。ユーザが座っていると判別された場合、変動検知部613は、例えば、カメラ608によって得られた映像を解析することにより、せわしなく頭を揺らしている、手(指)を動かしている、髪を触っている等のストレスに起因する可能性がある動作を検知してもよい。
The
いらいら度算出部614は、変動検知部613による検知結果と、ボタン602やディスプレイ(タッチスクリーンディスプレイ)205の画面上に表示されたボタン(GUI)等の操作に基づくデバイス2−7,2−8への操作情報とを用いて、ユーザのいら立ちの度合い(いらいら度)を算出する。
The
例えば、いらいら度算出部614は、ボタン602等の操作に基づいて、デバイス2−7,2−8を操作する頻度や短さ等を算出し、その頻度や短さを用いていらいら度を算出する。より具体的には、いらいら度算出部614は、デバイス2−7,2−8のロックを解除した後、アプリケーションを何等操作することなく、あるいは閾値期間未満のアプリケーションの操作で、再度オフ(ロック)するような、無用な操作が行われる回数や頻度を用いて、いらいら度を算出する。この閾値期間には、デバイス2−7,2−8の有為な操作に必要な時間よりも短い期間が設定され、例えば、数秒、数十秒、数分のような極めて短時間が設定される。つまり、ロックを解除したものの、有用な操作が行われることなく再度オフされるような、無用な操作の回数が多いことは、ユーザのいら立ちや落ち着きの無さから生じると推定されるので、いらいら度算出部614は、この回数が多いほどいらいら度を高く設定する。同様に、いらいら度算出部614は、無用な操作の頻度が高いほどいらいら度を高く設定してもよい。なお、対象のアプリケーションは、特定の種別のアプリケーションであってもよく、例えば、アラーム鳴動、メール受信、メッセージ受信等に応じた操作のような短時間の操作が想定される場合のアプリケーションを除外し、ブラウザを用いたウェブページの閲覧やメール送信時のような、短時間では有為な操作が行われないことが想定される場合のアプリケーションであってもよい。
For example, the
いらいら度算出部614は、このようなデバイス2−7,2−8の操作状況と、閾値以上の人体の変動の繰り返しの有無やその度合いとに基づいて、いらいら度を算出する。いらいら度算出部614は、算出されたいらいら度を含む感情情報をメンタルストレス推定部31に送信する。
The
活動量算出部615は、加速度センサ603によって得られた加速度データを用いてユーザの動きを解析することにより、ユーザの活動量を算出する。この活動量により、ユーザによる活動が活発であるか否かを推定することができる。活動量算出部615は、算出された活動量をメンタルストレス推定部31に送信する。
The activity
脈波ピーク間隔算出部616は、光電脈波センサ604により検知された脈波のピーク間隔(PPI)を算出する。睡眠解析部617は、算出された脈波のピーク間隔を用いて睡眠状態を解析する。睡眠解析部617は、この解析により、例えば、睡眠時間、睡眠の質(例えば、眠りの深さ、周期)等を推定し、推定結果を含む生体情報をメンタルストレス推定部31に送信する。また、自律神経解析部618は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。自律神経解析部618は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
The pulse wave peak
また、心拍ピーク間隔算出部619、自律神経解析部620、及び環境不快度算出部621は、それぞれ、図9を参照して上述した心拍ピーク間隔算出部517、自律神経解析部518、及び環境不快度算出部519と同様に動作する。
Further, the heart rate peak
メンタルストレス推定部31(ストレス値決定部313)は、携帯型デバイス2−7及び装着型デバイス2−8によって出力された情報を用いてユーザの長期ストレスの大きさ(例えば、長期ストレス値)を判定する。メンタルストレス推定部31は、デバイス2−7,2−8から出力された発話情報、感情情報、活動量、生体情報、及び環境情報の少なくともいずれか一つを用いて、長期ストレスの値を算出する。
The mental stress estimation unit 31 (stress value determination unit 313) uses the information output by the portable device 2-7 and the wearable device 2-8 to determine the magnitude of the user's long-term stress (for example, the long-term stress value). judge. The mental
メンタルストレス推定部31は、例えば、感情情報に含まれるいらいら度をさらに用いて、長期ストレスの大きさを判定する。例えば、メンタルストレス推定部31は、いらいら度が高い場合に高い長期ストレス値を決定し、いらいら度が低い場合に低い長期ストレス値を決定する。なお、メンタルストレス推定部31は、閾値以上の人体の変動の繰り返しに関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。例えば、メンタルストレス推定部31は、閾値以上の人体の変動の繰り返しが検知された場合、高い長期ストレス値を決定し、それが検知されない場合、低い長期ストレス値を決定する。また、メンタルストレス推定部31は、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。例えば、メンタルストレス推定部31は、無用な操作が行われる回数(又は頻度)が閾値以上である場合に高い長期ストレス値を決定し、その回数(頻度)が閾値未満である場合に低い長期ストレス値を決定する。
The mental
さらに、メンタルストレス推定部31は、いらいら度、閾値以上の人体の変動の繰り返し、無用な操作が行われる回数(又は頻度)等に基づく短期ストレス値の変化の度合いに基づいて、長期ストレスの大きさ(長期ストレス値)を判定してもよい。例えば、メンタルストレス推定部31は、特定の作業(例えば、車の運転)を開始する前のいらいら度(短期ストレス値)が第1値であり、作業中のいらいら度が第1値よりも大きい第2値であるとき、その作業が終了した後の第2値から第1値に向かういらいら度の変化に応じて、長期ストレスの大きさを判定する。
Further, the mental
同様に、メンタルストレス推定部31によって決定されるストレス値が高くなる要因としては、平常よりも脈拍数/心拍数が高いことや、脈波や心拍のばらつきが大きいこと、会話量や活動量が少ないこと、怒りや緊張のような特定の声質に変化する時間が長いこと、あるいはその頻度が高いこと、睡眠時間が短いことや睡眠の質が悪いこと、環境不快度が高いこと等が含まれ得る。
Similarly, the factors that increase the stress value determined by the mental
また、ストレス値は、携帯型デバイス2−7及び装着型デバイス2−8によって取得されたセンサデータだけでなく、他のデバイス2(例えば、車載器、据え置き型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータも用いて決定されてもよい。 Further, the stress value is not only the sensor data acquired by the portable device 2-7 and the wearable device 2-8, but also another device 2 (for example, an in-vehicle device, a stationary device, a toilet type device, an autonomous driving type). It may also be determined using the sensor data acquired by the device or the like).
<据え置き型コンピュータ>
図17及び図18を参照して、据え置き型コンピュータ2−9を使用するユーザのストレス指標が推定される例について説明する。ユーザは、据え置き型コンピュータ2−9に設けられるセンサによってセンシングされる。
<Stationary computer>
An example in which the stress index of the user who uses the stationary computer 2-9 is estimated will be described with reference to FIGS. 17 and 18. The user is sensed by a sensor provided on the stationary computer 2-9.
図17は、据え置き型コンピュータ2−9の外観の例を示す。図17では、据え置き型コンピュータ2−9がノートブック型のコンピュータである場合を例示している。この据え置き型コンピュータ2−9は、例えば、ユーザの勤務時間内に利用される。据え置き型コンピュータ2−9は、例えば、電源ボタン651、カメラ652、キーボード653、タッチパッド654、入力操作パネル655等のセンサを有している。
FIG. 17 shows an example of the appearance of the stationary computer 2-9. FIG. 17 illustrates a case where the stationary computer 2-9 is a notebook computer. This stationary computer 2-9 is used, for example, during the working hours of the user. The stationary computer 2-9 has, for example, sensors such as a
図17に示すように、据え置き型コンピュータ2−9は、コンピュータ本体68と、ディスプレイユニット69とから構成される。ディスプレイユニット69には、ディスプレイ205が組み込まれている。ディスプレイユニット69は、コンピュータ本体68の上面が露出される開放位置とコンピュータ本体68の上面を覆う閉塞位置との間を回動自在にコンピュータ本体68に取り付けられている。
As shown in FIG. 17, the stationary computer 2-9 is composed of a computer
コンピュータ本体68は、薄い箱形の筐体を有しており、その上面には、キーボード653、据え置き型コンピュータ2−9を電源オン/電源オフするための電源ボタン651、タッチパッド654、入力操作パネル655、スピーカ206などが配置されている。入力操作パネル655上には、各種操作ボタンが設けられている。また、コンピュータ本体68には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
The
次いで、図18を参照して、据え置き型コンピュータ2−9の機能構成について説明する。据え置き型コンピュータ2−9は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
Next, the functional configuration of the stationary computer 2-9 will be described with reference to FIG. The stationary computer 2-9 executes the
このセンサ処理部251は、オン/オフ監視部661、顔検出部662、映像脈波算出部663、脈波ピーク間隔算出部664、自律神経解析部665、顔認証ログイン部666、ステータス監視部667、メール監視部668、及びコミュニケーションツール監視部669を含む。
The
オン/オフ監視部661は、据え置き型コンピュータ2−9の電源オンと電源オフとを検知する。オン/オフ監視部661は、電源オンの日時と電源オフの日時とを含むデバイスへのアクセスログ情報を勤怠データベース351に格納する。勤怠データベース351には、電源オンの日時と電源オフの日時とに加えて、例えば、電源オン/オフの日時に基づく出勤時間、残業時間、無断欠勤等の二次情報を含む勤怠情報が格納される。
The on / off
顔検出部662、映像脈波算出部663、脈波ピーク間隔算出部664、及び自律神経解析部665は、それぞれ、図9を参照して上述した顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515と同様に動作する。したがって、自律神経解析部665は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
The
また、顔認証ログイン部666は、顔検出部662により検出された顔画像を用いて、据え置き型コンピュータ2−9へのログイン処理を行い、顔認証によるログインが行われたことを示すデバイスへの操作情報を操作データベース352に格納する。操作データベース352には、この操作情報に基づいて、例えば、ログインの頻度を示すデータが格納される。
Further, the face
ステータス監視部667は、キーボード653、タッチパッド654、入力操作パネル655等の入力デバイスを用いた操作に基づいて、ユーザのステータスを監視する。ステータス監視部667は、例えば、入力デバイスを用いた操作に基づいて非操作時間の長さを検出する。ステータス監視部667は、非操作時間の長さを含む操作情報を操作データベース352に格納する。
The
メール監視部668は、メーラによってメールが送信又は受信されたことを検知し、メールの送受信回数や送受信頻度を算出する。メール監視部668は、算出されたメールの送受信回数や送受信頻度をメール頻度データベース353に格納する。
The
コミュニケーションツール監視部669は、VoIP電話やチャット用ソフトウェアのようなコミュニケーションツールが利用されたことを検知し、ツールの利用回数や利用頻度を算出する。コミュニケーションツール監視部669は、算出されたツールの利用回数や利用頻度をコミュニケーション頻度データベース354に格納する。
The communication
なお、メール頻度データベース353及びコミュニケーション頻度データベース354に格納されたデータは、操作データベース352内に統合して蓄積されてもよい。また、勤怠データベース351、操作データベース352、メール頻度データベース353、及びコミュニケーション頻度データベース354は、図7に示したセンサデータベース35の一つであり、例えば、サーバ3内に設けられる。各データベース351〜354は、サーバ3によってアクセス可能であれば、サーバ3とは別のサーバ内に設けられていてもよい。
The data stored in the
メンタルストレス推定部31(ファクター決定部312)は、産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート等を用いて、特定の疾患(例えば、鬱病)を発症した事例のセンサデータやゲノム情報等を抽出し、その疾患の発症との関連性が高いファクター(要因)を学習する。産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート等は、例えば、健康記録データベース4から取得される。そして、メンタルストレス推定部31は、それらファクターを用いて、ストレス値を算出するための関数を生成する。メンタルストレス推定部31は、この関数を用いて、新たに得られたセンサデータ等に基づくストレス値を算出することにより、実際の事例に即したユーザのストレス値を推定することができる。
The mental stress estimation unit 31 (factor determination unit 312) uses various diagnostic / test results such as industrial doctor diagnosis and depression diagnosis, medical history, questionnaire, questionnaire, etc. to determine a specific disease (for example, depression). Extract sensor data and genomic information of cases of onset, and learn factors that are highly relevant to the onset of the disease. Various diagnoses / test results such as industrial physician diagnosis and depression diagnosis, medical history, questionnaires, questionnaires, etc. are obtained from, for example, the health record database 4. Then, the mental
より具体的には、メンタルストレス推定部31は、勤怠データベース351から、特定の疾患を発症した事例の勤怠データを抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、出勤時間、残業時間、無断欠勤日数のような複数の勤怠ファクターが含まれている。メンタルストレス推定部31は、多数の発症事例のデータを用いて、各勤怠ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の勤怠ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31は、この関数を用いて、あるユーザの勤怠データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる勤怠状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。
More specifically, the mental
また、メンタルストレス推定部31は、操作データベース352、メール頻度データベース353及びコミュニケーション頻度データベース354から、特定の疾患を発症した事例の操作データを抽出してもよい。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータをこれらデータベース352,353,354から抽出する。抽出されたデータには、例えば、ログイン頻度(回数)、非操作時間の長さ、メールの送受信頻度(回数)、コミュニケーションツールの利用頻度(回数)のような複数の操作ファクターが含まれている。メンタルストレス推定部31は、多数の発症事例のデータを用いて、各操作ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の操作ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザの操作データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる操作状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。
In addition, the mental
なお、メンタルストレス推定部31は、生体情報、勤怠データ及び操作データのような多種のデータを併せて用い、上記の方法と同様にして、長期ストレスの値の決定に用いるファクターを決定し、長期ストレス値を算出するための関数を生成してもよい。また、メンタルストレス推定部31は、勤怠ファクター、操作ファクターのような種類別のファクターに基づく長期ストレス値を算出した後に、複数の長期ストレス値が統合された値を算出してもよい。
The mental
このような発症に関わるリスクを有するファクターの決定や関数の生成には、勤怠データや操作データだけでなく、種々のセンサデータを用いることができる。例えば、他のデバイス2(例えば、携帯型デバイス、装着型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータを用いた場合も同様に、メンタルストレス推定部31は、発症に関わるリスクを有するファクターを決定し、長期ストレス値を算出するための関数を生成することができる。
Not only attendance data and operation data but also various sensor data can be used for determining factors having a risk related to such onset and generating functions. For example, when sensor data acquired by another device 2 (for example, a portable device, a wearable device, a toilet device, an autonomous driving device, etc.) is used, the mental
また、メンタルストレス推定部31は、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定の少なくとも一つ以上に基づくストレスの大きさの変動度合いと、ストレスに関連する複数のファクター(要因)の変動度合いとを用いて、それら複数のファクターのうち、一つ以上のファクターを、長期ストレスの判定又は長期ストレス値の算出に用いる要因に決定してもよい。複数のファクターは、人間の心拍又は脈拍の少なくとも一方に関する一つ以上のファクター、電子機器の操作状況に関する一つ以上のファクター、勤怠状況に関する一つ以上のファクター、感情に関する一つ以上のファクター、人体の動きの状況に関する一つ以上のファクター、発話状況に関する一つ以上のファクター、睡眠状況に関する一つ以上のファクター、及び環境に関する一つ以上のファクターの内の、少なくとも二つ以上を含む。なお、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定(判定結果を示すデータ)は、例えば、診断や検査時に健康記録データベース4に格納され、メンタルストレス推定部31は、健康記録データベース4からこの判定結果を示すデータを取得することができる。
In addition, the mental
<セキュリティゲート>
図19及び図20を参照して、セキュリティゲート2−10を利用するユーザのストレス指標が推定される例について説明する。セキュリティゲート2−10は、据え置き型デバイスの一種であり、建物や部屋の出入口等に設置される。
<Security Gate>
An example in which the stress index of the user who uses the security gate 2-10 is estimated will be described with reference to FIGS. 19 and 20. The security gate 2-10 is a kind of stationary device, and is installed at the entrance / exit of a building or a room.
図19に示すように、セキュリティゲート2−10は、ゲート部を構成する筐体70と、カメラ702とで構成される。筐体70の上面には、このセキュリティゲート2−10を通過しようとするユーザがICカード701Aを接触又は近接させるICタグ受け部701が設けられている。ICタグ受け部701は、UIセンサの一種である。ICタグ受け部701は、接触(近接)されたICカード701Aからデータを読み出す。また、筐体70内には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。カメラ702は、セキュリティゲート2−10を通過しようとするユーザを撮影可能な位置に取り付けられている。カメラ702による撮影で取得された映像データは、例えば、筐体70内のCPU201等によって処理される。
As shown in FIG. 19, the security gate 2-10 is composed of a
次いで、図20を参照して、セキュリティゲート2−10の機能構成について説明する。セキュリティゲート2−10は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、ICカード認証部711、顔検出部712、顔認証部713、映像脈波算出部714、脈波ピーク間隔算出部715、自律神経解析部716、及び顔表情認識部717を含む。
Next, the functional configuration of the security gate 2-10 will be described with reference to FIG. Security Gate 2-10 executes the
ICカード認証部711は、ICタグ受け部701によって読み出されたICカード701A内のデータを用いて、ユーザの認証処理を行う。ICカード認証部711は、認証されたユーザがセキュリティゲート2−10を通過したことを示すアクセスログ情報を勤怠データベース351又はアクティビティデータベース355に格納する。これにより、勤怠データベース351又はアクティビティデータベース355に、ユーザが活動しているか否かのようなアクティビティに関する情報が格納される。また、建物や部屋の出入口に設置されたセキュリティゲート2−10での認証により、例えば、ユーザの入室や退室を検知し、タイムレコーダーのように出勤時刻や退勤時刻を勤怠データベース351に入力することもできる。
The IC
顔検出部712は、カメラ702を用いて得られた映像から顔を検出する。顔検出部712は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部712は、検出された顔画像に関する情報を顔認証部713、映像脈波算出部714及び顔表情認識部717に出力する。
The
顔認証部713は、顔検出部712により検出された顔画像を用いて顔認証処理を行う。顔認証部713は、予め用意された複数の人物(例えば、社員)に対応する複数の顔特徴量を用いて、セキュリティゲート2−10を通過しようとする人物を特定する。顔認証部713は、ICカード認証部711と同様に、特定されたユーザがセキュリティゲート2−10を通過したことを示すアクセスログ情報を勤怠データベース351又はアクティビティデータベース355に格納することができる。
The
映像脈波算出部714、脈波ピーク間隔算出部715、自律神経解析部716、及び顔表情認識部717は、それぞれ、図9を参照して上述した映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、及び顔表情認識部516と同様に動作する。したがって、自律神経解析部716は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。また、顔表情認識部717は、認識された表情の種別(例えば、喜怒哀楽)等を含む感情情報をメンタルストレス推定部31に送信する。
The image pulse
なお、勤怠データベース351及びアクティビティデータベース355は、図7に示したセンサデータベース35の一つであり、例えば、サーバ3内に設けられる。各データベース351,355は、サーバ3によってアクセス可能であれば、サーバ3とは別のサーバ内に設けられていてもよい。
The
メンタルストレス推定部31(ファクター決定部312)は、図18に示した据え置き型コンピュータ2−9の例と同様にして、勤怠データベース351(又はアクティビティデータベース355)から、特定の疾患を発症した事例の勤怠データ(又はアクティビティデータ)を抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、出勤時間、残業時間、無断欠勤日数のような複数の勤怠ファクターが含まれている。なお、抽出されたデータを解析することにより得られたデータがファクターとして用いられてもよい。例えば、出勤時間を示すデータに基づいて算出された出勤時間のばらつきがファクターとして用いられ得る。
The mental stress estimation unit 31 (factor determination unit 312) has developed a specific disease from the attendance database 351 (or activity database 355) in the same manner as the example of the stationary computer 2-9 shown in FIG. Extract attendance data (or activity data). The mental
メンタルストレス推定部31は、多数の発症事例のデータを用いて、各勤怠ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の勤怠ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。
The mental
メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザの勤怠データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる勤怠状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。 The mental stress estimation unit 31 (stress value determination unit 313) uses this function to calculate a long-term stress value based on the attendance data of a certain user. Based on this long-term stress value, it is possible to determine whether or not the attendance status of the user is likely to develop a specific disease.
<自律移動型ロボット>
図21及び図22を参照して、自律移動型ロボット2−11を利用するユーザのストレス指標が推定される例について説明する。自律移動型ロボット2−11は、例えば、家庭内で利用されるホームロボットである。
<Autonomous mobile robot>
An example in which the stress index of the user who uses the autonomous mobile robot 2-11 is estimated will be described with reference to FIGS. 21 and 22. The autonomous mobile robot 2-11 is, for example, a home robot used in a home.
図21は、自律移動型ロボット2−11の外観の例を示す。図21では、人型の自律移動型ロボット2−11を例示している。自律移動型ロボット2−11は、例えば、マイク751、カメラ752、湿度センサ753、温度センサ754等のセンサを有している。
FIG. 21 shows an example of the appearance of the autonomous mobile robot 2-11. FIG. 21 illustrates a humanoid autonomous mobile robot 2-11. The autonomous mobile robot 2-11 has, for example, sensors such as a
自律移動型ロボット2−11は、頭部75にマイク751とカメラ752とスピーカ206とを備え、胴体部76に湿度センサ753と温度センサ754とを備えている。また、胴体部76の前面には、ディスプレイ(タッチスクリーンディスプレイ)205が取り付けられている。また、頭部75及び/又は胴体部76内には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
The autonomous mobile robot 2-11 is provided with a
マイク751は、自律移動型ロボット2−11の周囲にいるユーザによる発話を含む音声を集音する。カメラ752は、自律移動型ロボット2−11の周囲(例えば、前方)を撮影する。自律移動型ロボット2−11は、ユーザが顔をカメラ752に向けるような処理を行うことができる。例えば、対話処理によってスピーカ206から出力される音声でユーザに話しかけること、頭部75や胴体部76に接続された腕部77,78の動きにより可愛らしいしぐさをすること、ディスプレイ205の画面にユーザの興味を引くような画像を表示することが可能である。湿度センサ753及び温度センサ754は、湿度と温度とを検知する。
The
次いで、図22を参照して、自律移動型ロボット2−11の機能構成について説明する。自律移動型ロボット2−11は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、会話量推定部761、声質変化検出部762、顔検出部763、映像脈波算出部764、脈波ピーク間隔算出部765、自律神経解析部766、顔表情認識部767、及び環境不快度算出部768を含む。
Next, the functional configuration of the autonomous mobile robot 2-11 will be described with reference to FIG. The autonomous mobile robot 2-11 executes the
会話量推定部761、声質変化検出部762は、それぞれ、図16を参照して上述した会話量推定部611、声質変化検出部612と同様に動作する。顔検出部763、映像脈波算出部764、脈波ピーク間隔算出部765、自律神経解析部766、顔表情認識部767、及び環境不快度算出部768は、それぞれ、図9を参照して上述した顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、顔表情認識部516、及び環境不快度算出部519と同様に動作する。
The conversation
したがって、会話量推定部761は、会話量(又は発話量)を示す発話情報をメンタルストレス推定部31に送信する。声質変化検出部762は、検出された声質の変化を示す発話情報をメンタルストレス推定部31に送信する。自律神経解析部766は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。顔表情認識部767は、認識された表情の種別(例えば、喜怒哀楽)等を含む感情情報をメンタルストレス推定部31に送信する。また、環境不快度算出部768は、算出された環境不快度(例えば、PMV、WBGT等)を含む環境情報をメンタルストレス推定部31に送信する。送信された発話情報、生体情報、感情情報、及び環境情報は、例えば、サーバ3内のセンサデータベース35に格納される。
Therefore, the conversation
メンタルストレス推定部31は、センサデータベース35に格納されたデータを用いて、会話量、声質変化、自律神経指標、表情の種別、環境不快度のような複数のファクターの内の少なくとも一つに基づいて、ストレスの大きさ(例えば、長期ストレス値)を判定する。より具体的には、メンタルストレス推定部31(ファクター決定部312)は、センサデータベース35から、特定の疾患を発症した事例のセンサデータを抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、会話量、声質変化、自律神経指標、表情の種別、環境不快度のような複数のファクターが含まれている。なお、抽出されたデータを解析することにより得られたデータがファクターとして用いられてもよい。例えば、表情の種別を示すデータに基づいて算出された笑顔の回数や頻度がファクターとして用いられ得る。
The mental
メンタルストレス推定部31は、多数の発症事例のデータを用いて、各ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数のファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。
The mental
メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザのセンサデータに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザが特定の疾患を発症しやすい状況にあるかどうかを判断することができる。 The mental stress estimation unit 31 (stress value determination unit 313) uses this function to calculate a long-term stress value based on the sensor data of a certain user. Based on this long-term stress value, it is possible to determine whether the user is predisposed to developing a particular disease.
<トイレ型デバイス>
図23から図26を参照して、トイレ型デバイス2−12,2−13を利用するユーザのストレス指標が推定される例について説明する。なお、このユーザは、マイク等を備える装着型デバイス(例えば、手首デバイス)を装着していてもよい。
<Toilet type device>
An example in which the stress index of the user who uses the toilet type devices 2-12 and 2-13 is estimated will be described with reference to FIGS. 23 to 26. The user may be wearing a wearable device (for example, a wrist device) including a microphone or the like.
図23は、第1のトイレ型デバイス2−12の外観の例を示す。図23では、トイレ型デバイス2−12が小便器の形状を有する場合を例示する。 FIG. 23 shows an example of the appearance of the first toilet-type device 2-12. FIG. 23 illustrates a case where the toilet type device 2-12 has the shape of a urinal.
トイレ型デバイス2−12は、便器83とカメラ803とで構成される。便器83の上部には水洗ボタン804と人感センサ801とが設けられ、便器83内の下部には尿センサ802が設けられている。人感センサ801は、例えば、赤外線(IR)センサであり、ユーザが便器83に近付いたことを検知する。尿センサ802は、バイオセンサ(バイオマーカ)の一種であり、便器83内に排泄された尿に含まれる成分やその成分に関する指標(例えば、濃度等)を検知する。カメラ803は、便器83を使用するユーザの顔を撮影するように設置される。また、便器83には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等を含むモジュールが内蔵又は取り付けられている。
The toilet type device 2-12 is composed of a
次いで、図24を参照して、トイレ型デバイス2−12の機能構成について説明する。トイレ型デバイス2−12は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、バイオマーカ検知部811、顔検出部812、映像脈波算出部813、脈波ピーク間隔算出部814、及び自律神経解析部815を含む。
Next, the functional configuration of the toilet-type device 2-12 will be described with reference to FIG. 24. The toilet-type device 2-12 executes the
バイオマーカ検知部811は、人感センサ801により有人が検知されたことに応じて、尿センサ802から尿データを取得し、水洗ボタン804が押し下げられたことに応じて尿データの取得を終了する。尿データには、例えば、尿カテコールアミンの指標が含まれている。バイオマーカ検知部811は、尿データを含むバイオマーカ情報をメンタルストレス推定部31に送信する。
The
顔検出部812は、人感センサ801により有人が検知された時点から、水洗ボタン804が押し下げられるまで、カメラ803を用いて得られた映像から顔を検出する。顔検出部812は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部812は、検出された顔画像に関する情報を映像脈波算出部813に出力する。
The
映像脈波算出部813は、顔検出部812により出力された情報を用いて、ユーザの脈波に関する情報を算出する。より具体的には、映像脈波算出部813は、連続した映像フレームから検出された顔画像の変化(例えば、皮膚の色の変化)に基づいて、ユーザの脈波を算出する。
The video pulse
脈波ピーク間隔算出部814は、算出された脈波のピーク間隔を算出する。そして、自律神経解析部815は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。自律神経解析部815は、排泄中の少なくとも一部の期間、排泄後の期間のような特定の期間の自律神経指標を算出してもよい。自律神経解析部815は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。送信されたバイオマーカ情報及び生体情報は、例えば、サーバ3内のセンサデータベース35に格納される。
The pulse wave peak interval calculation unit 814 calculates the calculated peak interval of the pulse wave. Then, the autonomic
また、図25は、第2のトイレ型デバイス2−13の外観の例を示す。図25では、トイレ型デバイス2−13が大便器の形状を有する場合を例示する。 Further, FIG. 25 shows an example of the appearance of the second toilet type device 2-13. FIG. 25 illustrates a case where the toilet type device 2-13 has the shape of a toilet bowl.
トイレ型デバイス2−13は、便器871、便座872、操作パネル873等で構成される。操作パネル873上には、水洗ボタン873−1等のいくつかのボタンが配置されている。ユーザがトイレ型デバイス2−13を使用するとき、便器871の上部には便座872が配置されている。この便座872には、ユーザが着座した際に接触する位置に接触センサ851が設けられ、着座したユーザの大腿部に接する位置に心電センサ853が設けられている。また、便器871内の下部には尿センサ852が設けられている。接触センサ851は、ユーザが便座872に接触(着座)したことを検知する。心電センサ853は、着座したユーザの心拍の波形(心電図)を検知する。尿センサ852は、便器871内に排泄された尿に含まれる成分やその成分に関する指標(例えば、濃度等)を検知する。
The toilet type device 2-13 is composed of a
図26を参照して、トイレ型デバイス2−13の機能構成について説明する。トイレ型デバイス2−13は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、バイオマーカ検知部861、心拍ピーク間隔算出部862、及び自律神経解析部863を含む。
The functional configuration of the toilet-type device 2-13 will be described with reference to FIG. 26. Toilet-type device 2-13 executes the
バイオマーカ検知部811は、接触センサ851により有人が検知されたことに応じて、尿センサ852から尿データを取得し、水洗ボタン873−1が押し下げられたことに応じて尿データの取得を終了する。尿データには、例えば、尿カテコールアミンの指標が含まれている。バイオマーカ検知部861は、尿データを含むバイオマーカ情報をメンタルストレス推定部31に送信する。
The
心拍ピーク間隔算出部862は、心電センサ853により計測された波形のピーク間隔である心拍間隔を算出する。自律神経解析部863は、算出された心拍間隔を解析することにより、心拍数や心拍のばらつきを示す自律神経指標を算出する。自律神経解析部863は、排泄中の少なくとも一部の期間、排泄後の期間のような特定の期間の自律神経指標を算出してもよい。自律神経解析部863は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。送信されたバイオマーカ情報及び生体情報は、例えば、サーバ3内のセンサデータベース35に格納される。
The heartbeat peak
なお、各トイレ型デバイス2−12,2−13は、ユーザが装着している装着型デバイス(例えば、手首デバイス2−5、パンツ型デバイス2−8)と連携して動作してもよい。これらトイレ型デバイス2−12,2−13と装着型デバイスとは、近距離無線通信によりデータを送受信する。その場合、装着型デバイスは、装着型デバイスに設けられたマイクで得られた音声データから水洗音を認識し、水洗音が認識されたことをトイレ型デバイス2−12,2−13に通知する。バイオマーカ検知部811,861、顔検出部812、及び心拍ピーク間隔算出部862は、この通知に基づいて、尿データの取得と映像からの顔検出を終了することもできる。なお、トイレ型デバイス2−12,2−13は、装着型デバイスから音声データ又は音声特徴量を受信し、デバイス2−12,2−13上で水洗音を認識してもよい。
Note that each toilet-type device 2-12, 2-13 may operate in cooperation with a wearable device (for example, wrist device 2-5, pants-type device 2-8) worn by the user. The toilet-type devices 2-12 and 2-13 and the wearable device transmit and receive data by short-range wireless communication. In that case, the wearable device recognizes the flush sound from the voice data obtained by the microphone provided in the wearable device, and notifies the toilet devices 2-12 and 2-13 that the flush sound is recognized. .. Based on this notification, the
メンタルストレス推定部31(ストレス値決定部313)は、バイオマーカ情報と生体情報とを用いて、例えば、排泄(放尿)前、排泄中、及び排泄後の短期ストレス値を算出する。排泄中の少なくとも一部の期間(例えば、後半)や排泄後の期間には、ユーザが平常心(すなわち、心理的に無の状態)になりやすいので、メンタルストレス推定部31は、その期間の生体情報を用いて、基準(ベースライン)となる短期ストレス値を算出することができる。このストレス値は、例えば、一日毎の基準となる短期ストレス値である。なお、事前の尿検査等により、バイオマーカを用いて尿カテコールアミンの指標を取得し、これを基準値(リファレンス)としてもよい。
The mental stress estimation unit 31 (stress value determination unit 313) calculates short-term stress values before, during, and after excretion (urination), for example, using biomarker information and biometric information. During at least a part of the period during excretion (for example, the latter half) and the period after excretion, the user tends to have a normal mind (that is, a psychologically empty state), so that the mental
メンタルストレス推定部31は、排泄中の少なくとも一部の期間、又は排泄後の期間のストレスの値に基づいて、長期ストレスの有無や長期ストレスの大きさ(例えば、長期ストレス値)を判定する。また、メンタルストレス推定部31は、排泄前の短期ストレス値と、排泄中の短期ストレス値と、排泄後の短期ストレス値とを用いて、それら値の相違や変化の度合いに基づいて、長期ストレスの有無や長期ストレスの大きさを判定してもよい。例えば、排泄前と排泄後で短期ストレス値が下降していなければ、長期ストレス(慢性ストレス)があると判定され、またそれら短期ストレス値の差が小さいほど、長期ストレスが大きくなる。
The mental
さらに、メンタルストレス推定部31(ファクター決定部312)は、バイオマーカ情報と生体情報とを用いて、長期ストレスの値を算出するための関数を生成してもよい。バイオマーカ情報に含まれる尿カテコールアミンの指標は、医療分野等で慢性ストレスを示す指標として用いられている。そのため、メンタルストレス推定部31は、尿カテコールアミンの指標と、その他のファクターとを照らし合わせ、慢性ストレスに関わる有為なファクターを探索する。なお、その他のファクターとしては、トイレ型デバイス2−12で得られた自律神経指標のような生体ファクターに限らず、上述した勤怠ファクター、操作ファクター、環境不快度等の環境ファクター、表情の種別のような感情ファクター、会話量や声質変化のような発話ファクター等の、センサデータに基づくあらゆるファクターが含まれ得る。メンタルストレス推定部31は、例えば、尿カテコールアミンの指標と関連(連動)するファクターを特定し、その関連の度合いを算出する。
Further, the mental stress estimation unit 31 (factor determination unit 312) may generate a function for calculating a long-term stress value by using the biomarker information and the biometric information. The index of urinary catecholamine included in the biomarker information is used as an index showing chronic stress in the medical field and the like. Therefore, the mental
メンタルストレス推定部31は、複数のファクターの内、尿カテコールアミンの指標と関連するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応する関連の度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザのセンサデータに基づく長期ストレス値を算出することができる。
The mental
ストレス推定システム1は、例示したデバイス2−5〜2−13のような複数のデバイス2の少なくとも一つで取得されたセンサデータを用いて、ユーザのストレス値を推定し、ストレス値やストレスを低減するための情報を提供できる。また、ストレス推定システム1は、複数のデバイス2から得られた複数のセンサデータを統合して、ユーザのストレス値を推定し、ストレス値やストレスを低減するための情報を提供できる。
The stress estimation system 1 estimates the stress value of the user by using the sensor data acquired by at least one of the plurality of
以上説明したように、本実施形態によれば、メンタルストレスの度合いを高精度に推定することができる。メンタルストレス推定部31は、車の運転を開始する前の短期ストレスが第1値であり、車の運転中の短期ストレスが第1値よりも大きい第2値であるとき、車の運転を終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する。これにより、運転中の短期ストレス値(第2値)から、平常(運転開始前)の短期ストレス値(第1値)への運転終了後の戻りやすさに応じて、長期ストレスの大きさを判定することができるので、メンタルストレスの度合いを高精度に推定できる。
As described above, according to the present embodiment, the degree of mental stress can be estimated with high accuracy. The mental
また、本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。 Further, each of the various functions described in the present embodiment may be realized by a circuit (processing circuit). Examples of processing circuits include programmed processors such as central processing units (CPUs). This processor executes each of the described functions by executing a computer program (instruction group) stored in the memory. This processor may be a microprocessor including an electric circuit. Examples of processing circuits also include digital signal processors (DSPs), application specific integrated circuits (ASICs), microcontrollers, controllers, and other electrical circuit components. Each of the components other than the CPU described in this embodiment may also be realized by a processing circuit.
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Further, since various processes of the present embodiment can be realized by a computer program, the present embodiment and the present embodiment can be obtained only by installing and executing the computer program on a computer through a computer-readable storage medium in which the computer program is stored. A similar effect can be easily achieved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
1…ストレス推定システム、15…ネットワーク、2…センシングデバイス、3…サーバ(クラウド検査サービス)、4…健康記録データベース(PHR)、201…CPU、202…主メモリ、202A…OS、202B…ストレス監視プログラム、203…不揮発性メモリ、204…通信モジュール、205…ディスプレイ、206…スピーカ、251…センサ処理部、252…表示制御部、301…CPU、302…主メモリ、302A…OS、302B…ストレス推定プログラム、303…不揮発性メモリ、304…BIOS−ROM、305…通信モジュール、31…メンタルストレス推定部、32…行動変容決定部、311…蓄積処理部、312…ファクター決定部、313…ストレス値決定部、314…アラート生成部、315…スケジュール生成部。 1 ... Stress estimation system, 15 ... Network, 2 ... Sensing device, 3 ... Server (cloud inspection service), 4 ... Health record database (PHR), 201 ... CPU, 202 ... Main memory, 202A ... OS, 202B ... Stress monitoring Program, 203 ... Non-volatile memory, 204 ... Communication module, 205 ... Display, 206 ... Speaker, 251 ... Sensor processing unit, 252 ... Display control unit, 301 ... CPU, 302 ... Main memory, 302A ... OS, 302B ... Stress estimation Program, 303 ... Non-volatile memory, 304 ... BIOS-ROM, 305 ... Communication module, 31 ... Mental stress estimation unit, 32 ... Behavioral transformation determination unit, 311 ... Accumulation processing unit, 312 ... Factor determination unit, 313 ... Stress value determination Department, 314 ... Alert generation unit, 315 ... Schedule generation unit.
Claims (17)
前記電子機器は、携帯型の機器であるか、人体装着型の機器である請求項1記載のシステム。 The determination means further uses information about the frequency of operation of the electronic device to determine the magnitude of the stress of the user.
The system according to claim 1, wherein the electronic device is a portable device or a human body-worn device.
前記第1の方法とは、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、唾液に基づくストレスの判定の少なくとも1以上に基づいてストレスを判定する方法であり、
前記複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する1以上の要因、電子機器の操作状況に関する1以上の要因、勤怠状況に関する1以上の要因、感情に関する1以上の要因、人体の動きの状況に関する1以上の要因、発話状況に関する1以上の要因、睡眠状況に関する1以上の要因、及び環境に関する1以上の要因の内の少なくとも2以上を含む請求項1乃至請求項3のいずれか一項に記載のシステム。 Using the degree of variation in the magnitude of stress according to the first method and the degree of variation in a plurality of factors related to stress, the determining means determines the stress of the user with respect to one or more of the plurality of factors. The value is used to determine the magnitude of stress of the user.
The first method is a method of determining stress based on at least one of a doctor's determination of stress, a questionnaire-based stress determination, a urine-based stress determination, and a saliva-based stress determination.
The plurality of factors include one or more factors related to at least one of human heartbeat or pulse, one or more factors related to the operation status of electronic devices, one or more factors related to attendance status, one or more factors related to emotions, and movements of the human body. Any one of claims 1 to 3, which includes at least two of one or more factors related to the situation, one or more factors related to the speaking situation, one or more factors related to the sleeping situation, and one or more factors related to the environment. The system described in.
前記電子機器は、携帯型の機器であるか、人体装着型の機器である請求項9記載の方法。 The determination includes determining the magnitude of stress of the user by the computer using further information about the frequency of operation of the electronic device.
The method according to claim 9, wherein the electronic device is a portable device or a human body-worn device.
前記第1の方法とは、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、唾液に基づくストレスの判定の少なくとも1以上に基づいてストレスを判定する方法であり、
前記複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する1以上の要因、電子機器の操作状況に関する1以上の要因、勤怠状況に関する1以上の要因、感情に関する1以上の要因、人体の動きの状況に関する1以上の要因、発話状況に関する1以上の要因、睡眠状況に関する1以上の要因、及び環境に関する1以上の要因の内の少なくとも2以上を含む請求項9乃至請求項11のいずれか一項に記載の方法。 The determination is made by the computer using one or more of the plurality of factors, using the degree of variation in the magnitude of stress according to the first method and the degree of variation in a plurality of factors related to stress. Including using the stress value of the user with respect to the determination of the magnitude of the stress of the user.
The first method is a method of determining stress based on at least one of a doctor's determination of stress, a questionnaire-based stress determination, a urine-based stress determination, and a saliva-based stress determination.
The plurality of factors include one or more factors related to at least one of human heartbeat or pulse, one or more factors related to the operation status of electronic devices, one or more factors related to attendance status, one or more factors related to emotions, and movements of the human body. Any one of claims 9 to 11, which includes at least two of one or more factors related to the situation, one or more factors related to the speech situation, one or more factors related to the sleeping situation, and one or more factors related to the environment. The method described in.
第1作業を開始する前のユーザの第1ストレス値と、前記第1作業中の前記ユーザの第2ストレス値との変化に応じて、前記ユーザのストレスの大きさを判定する手順を前記コンピュータに実行させるプログラム。 A program executed by a computer, said program
The computer performs a procedure for determining the magnitude of stress of the user according to a change between the first stress value of the user before starting the first work and the second stress value of the user during the first work. Program to be executed by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020197078A JP7048709B2 (en) | 2020-11-27 | 2020-11-27 | System and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020197078A JP7048709B2 (en) | 2020-11-27 | 2020-11-27 | System and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017120560A Division JP6803299B2 (en) | 2017-06-20 | 2017-06-20 | System and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021045568A true JP2021045568A (en) | 2021-03-25 |
JP7048709B2 JP7048709B2 (en) | 2022-04-05 |
Family
ID=74877123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020197078A Active JP7048709B2 (en) | 2020-11-27 | 2020-11-27 | System and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7048709B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4063130A1 (en) | 2021-03-19 | 2022-09-28 | Seiko Epson Corporation | Cartridge |
EP4063129A1 (en) | 2021-03-19 | 2022-09-28 | Seiko Epson Corporation | Cartridge |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1119075A (en) * | 1997-07-04 | 1999-01-26 | Nissan Motor Co Ltd | Mental stress judging apparatus |
JP2001344352A (en) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | Life assisting device, life assisting method and advertisement information providing method |
JP2006266721A (en) * | 2005-03-22 | 2006-10-05 | Hamamatsu Kagaku Gijutsu Kenkyu Shinkokai | Method and device for determining health condition using salivary uric acid as index |
WO2016074036A1 (en) * | 2014-11-11 | 2016-05-19 | Global Stress Index Pty Ltd | A system and a method for generating stress level and stress resilience level information for an individual |
US20160338640A1 (en) * | 2012-10-30 | 2016-11-24 | Vital Connect, Inc. | Psychological acute stress measurement using a wireless sensor |
-
2020
- 2020-11-27 JP JP2020197078A patent/JP7048709B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1119075A (en) * | 1997-07-04 | 1999-01-26 | Nissan Motor Co Ltd | Mental stress judging apparatus |
JP2001344352A (en) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | Life assisting device, life assisting method and advertisement information providing method |
JP2006266721A (en) * | 2005-03-22 | 2006-10-05 | Hamamatsu Kagaku Gijutsu Kenkyu Shinkokai | Method and device for determining health condition using salivary uric acid as index |
US20160338640A1 (en) * | 2012-10-30 | 2016-11-24 | Vital Connect, Inc. | Psychological acute stress measurement using a wireless sensor |
WO2016074036A1 (en) * | 2014-11-11 | 2016-05-19 | Global Stress Index Pty Ltd | A system and a method for generating stress level and stress resilience level information for an individual |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4063130A1 (en) | 2021-03-19 | 2022-09-28 | Seiko Epson Corporation | Cartridge |
EP4063129A1 (en) | 2021-03-19 | 2022-09-28 | Seiko Epson Corporation | Cartridge |
Also Published As
Publication number | Publication date |
---|---|
JP7048709B2 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6803299B2 (en) | System and method | |
US20180253991A1 (en) | Methods and Systems for Improving a Presentation Function of a Client Device | |
US10709388B2 (en) | Biometric, physiological or environmental monitoring using a closed chamber | |
JP5870646B2 (en) | A simple way to collect mood information from patients | |
JP5862226B2 (en) | Method for tracking, recording or analyzing body sensations in 3D | |
Al-Mardini et al. | Classifying obstructive sleep apnea using smartphones | |
Haouij et al. | AffectiveROAD system and database to assess driver's attention | |
EP2457500B1 (en) | Inductively-powered ring-based sensor | |
US8622900B2 (en) | Calculating and monitoring the efficacy of stress-related therapies | |
US20150182160A1 (en) | Function operating method based on biological signals and electronic device supporting the same | |
US20120290215A1 (en) | Calculating and Monitoring a Composite Stress Index | |
US20120289793A1 (en) | Continuous Monitoring of Stress Using Accelerometer Data | |
EP2457505A1 (en) | Diagnosis and monitoring of dyspnea | |
US20120289794A1 (en) | Continuous Monitoring of Stress Using a Stress Profile Created by Renal Doppler Sonography | |
US20120289792A1 (en) | Creating a Personalized Stress Profile Using Renal Doppler Sonography | |
JP2012110714A (en) | Sensor-based diagnosis of statin-induced myopathy and other medical disorder | |
JP7048709B2 (en) | System and method | |
Bachmann et al. | How to use smartphones for less obtrusive ambulatory mood assessment and mood recognition | |
WO2018116703A1 (en) | Display control device, display control method, and computer program | |
Artikis et al. | Supporting tele-health and AI-based clinical decision making with sensor data fusion and semantic interpretation: The USEFIL case study | |
Uniyal et al. | Pervasive healthcare-a comprehensive survey of tools and techniques | |
CN114449945A (en) | Information processing apparatus, information processing system, and information processing method | |
CN110268480A (en) | A kind of biometric data storage method, electronic equipment and system | |
Mahmood | A package of smartphone and sensor-based objective measurement tools for physical and social exertional activities for patients with illness-limiting capacities | |
RU2818831C1 (en) | Computerized decision support tool and medical device for detection of scratches and prediction of redness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |