JP2019004924A - システム及び方法 - Google Patents

システム及び方法 Download PDF

Info

Publication number
JP2019004924A
JP2019004924A JP2017120560A JP2017120560A JP2019004924A JP 2019004924 A JP2019004924 A JP 2019004924A JP 2017120560 A JP2017120560 A JP 2017120560A JP 2017120560 A JP2017120560 A JP 2017120560A JP 2019004924 A JP2019004924 A JP 2019004924A
Authority
JP
Japan
Prior art keywords
stress
value
long
unit
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017120560A
Other languages
English (en)
Other versions
JP6803299B2 (ja
Inventor
隆 須藤
Takashi Sudo
隆 須藤
康裕 鹿仁島
Yasuhiro Kanishima
康裕 鹿仁島
章 馬瀬
Akira Base
章 馬瀬
祥恵 山内
Sachie Yamauchi
祥恵 山内
早弥香 秋山
Sayaka Akiyama
早弥香 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017120560A priority Critical patent/JP6803299B2/ja
Publication of JP2019004924A publication Critical patent/JP2019004924A/ja
Application granted granted Critical
Publication of JP6803299B2 publication Critical patent/JP6803299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】 メンタルストレスの度合いを高精度に推定できるシステムを実現する。【解決手段】 実施形態によれば、システムは、決定手段を具備する。決定手段は、車の運転を開始する前の短期ストレスが第1値であり、前記車の運転中の短期ストレスが前記第1値よりも大きい第2値であるとき、前記車の運転を終了した後の前記第2値から前記第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する。【選択図】図1

Description

本発明の実施形態は、メンタルストレスを推定する技術に関する。
近年、ウェアラブル型の生体センサデバイスを用いて心拍又は脈拍を計測し、心拍又は脈拍の変動を解析することにより自律神経指標を推定する技術が利用されている。また、メンタルストレスの推定には、常時センサを装着し、データを蓄積し解析する方法や、データを常に解析する方法がある。
特開2011−123579号公報
しかし、このような推定では、メンタルストレスの度合いを高精度に推定できないという課題がある。
本発明の一形態は、メンタルストレスの度合いを高精度に推定できるシステム、方法及びプログラムを提供することを目的とする。
実施形態によれば、システムは、決定手段を具備する。決定手段は、車の運転を開始する前の短期ストレスが第1値であり、前記車の運転中の短期ストレスが前記第1値よりも大きい第2値であるとき、前記車の運転を終了した後の前記第2値から前記第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する。
実施形態に係るシステムを説明するための概念図。 同実施形態のシステムの構成の例を示すブロック図。 同実施形態のシステムの構成の別の例を示すブロック図。 同実施形態のシステムの構成のさらに別の例を示すブロック図。 同実施形態のシステムに設けられるサーバのシステム構成例を示すブロック図。 同実施形態のシステムに設けられるデバイス(センシングデバイス)のシステム構成例を示すブロック図。 図5のサーバと図6のデバイスとの機能構成例を示すブロック図。 同実施形態のシステムに設けられる車載のデバイス(車載器)の外観の例を示す斜視図。 図8のデバイスの機能構成を示すブロック図。 図8のデバイスを用いて推定されるストレス値を説明するための図。 図10のストレス値の変動の例を示す図。 図10のストレス値の変動の別の例を示す図。 図10及び図11のストレス値に対応する、唾液アミラーゼとSTAIとの結果を示す図。 同実施形態のシステムに設けられる携帯型のデバイスの外観の例を示す斜視図。 同実施形態のシステムに設けられる装着型のデバイスの外観の例を示す斜視図。 図14及び図15のデバイスの機能構成を示すブロック図。 同実施形態のシステムに設けられる据え置き型のデバイスであるノートPCの外観の例を示す斜視図。 図17のノートPCの機能構成を示すブロック図。 同実施形態のシステムに設けられる据え置き型のデバイスであるセキュリティゲートの外観の例を示す斜視図。 図19のセキュリティゲートの機能構成を示すブロック図。 同実施形態のシステムに設けられる自律走行デバイスの外観の例を示す斜視図。 図21の自律走行デバイスの機能構成を示すブロック図。 同実施形態のシステムに設けられるトイレ型のデバイスの外観の例を示す斜視図。 図23のトイレ型のデバイスの機能構成を示すブロック図。 同実施形態のシステムに設けられるトイレ型のデバイスの外観の別の例を示す斜視図。 図25のトイレ型のデバイスの機能構成を示すブロック図。
以下、実施の形態について図面を参照して説明する。
まず、図1を参照して、一実施形態に係るシステムの構成を説明する。このシステムは、ユーザの慢性的なメンタルストレスを推定し、推定されたストレスに応じた情報を提供するストレス推定システム1である。ユーザに関する情報は、種々のセンシングデバイス2を用いて取得される。センシングデバイス2は、ユーザに対する負荷の低いセンシングが可能なデバイスであり、したがって、さりげないセンシングを実現し、センシングされていることをユーザに意識させないようにすることができる。各センシングデバイス2は、一人のユーザをセンシングするものであってもよいし、複数のユーザをセンシングするものであってもよい。センシングにより得られるデータ(センサデータ)は、複数のセンシングデバイス2の各々によって並行して収集され得る。そして、複数のセンシングデバイス2によって収集された、例えば、時間同期の取れていない複数のセンサデータを統合することにより、マルチモーダルで、高精度なメンタルストレス値をユーザ毎に推定することができる。
センシングデバイス2には、人体装着型のデバイス、携帯型のデバイス、据え置き型のデバイス、自律走行型のデバイス等がある。人体装着型のデバイスは、人体の一部に固定可能(すなわち、常時装着可能)なデバイスであって、例えば、手首(リストバンド型)デバイス、足首デバイス、貼り付けデバイス、パンツ型デバイス、シャツ型デバイスのようなウェアラブルデバイスである。携帯型のデバイスは、把持する、服のポケットに入れる、バッグに入れる等の形態で常時携帯可能なデバイスであって、例えば、スマートフォン、携帯電話機、PDA、タブレットコンピュータ等を含む。据え置き型のデバイスは、特定の場所に配置して利用されるデバイスであって、ノートブック型のコンピュータ(ノートPC)、デスクトップ型のコンピュータ(デスクトップPC)、セキュリティゲート、車載器、監視カメラ等のデバイスを含み、さらに、センサが組み込まれた椅子、トイレ、IoT機器等のデバイスも含み得る。また、自律走行型のデバイスは、例えば、ロボットクリーナーやコミュニケーションロボット等のロボット型デバイスを含む。
センシングデバイス2は、人体に接触するセンサと人体に接触しない非接触のセンサの少なくとも一方を備える。接触型のセンシングデバイス2Aには、例えば、脈波(脈拍)を検知する光電脈波センサ、心電図(心拍)を検知する心電センサ、動作(運動、睡眠)を検知する加速度センサ等が含まれる。非接触型のセンシングデバイス2Bには、脈波(脈拍)や動作(運動、表情、睡眠)を検知するための映像を撮影するカメラ、会話量や発話に基づく感情を検出するために音声を録音するマイク、尿や唾液から特定の物質を検知するためのバイオマーカ、環境情報を検知するための温度及び湿度センサ等が含まれる。なお、キーボードやポインティングデバイス、ICタグの読み取り装置等の入力デバイスを、ユーザによる動作を検知するセンサとして用いることもできる。
クラウド検査サービスでは、センシングデバイス2を用いて取得されたデータを用いて、ユーザが感じているストレスの度合いを示すストレス値(ストレス指標)が推定される。このクラウド検査サービスは、例えば、ユーザのセンサデータを利用可能なサーバ3によって実現される。サーバ3は、個人健康記録(personal health record:PHR)等のデータベース4に含まれるゲノム検査や産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート、等も用いて、ストレス値を推定してもよい。
また、サーバ3は、特定の疾患(例えば、鬱病)を発症した事例のデータを用いて、ストレスとの相関がある有為なファクター(要因)を選定することもできる。サーバ3は、選定されたファクターのデータに基づいて、ユーザのストレス値を推定する。
さらに、ストレス値の推定やストレスとの相関があるファクターの選定は、病院、医師、産業医等の医療分野と連携して、ストレス値やファクターを検証することにより、精度や信頼性を高めることができる。サーバ3は、例えば、医療分野でストレス値として既に用いられている唾液や尿に含まれる特定の物質に関する指標、主観アンケート(例えば、状態−特性不安尺度(State−Trait Anxiety Inventory:STAI))に基づく指標等をさらに用いて、ストレス値を推定することもできる。
サーバ3は、推定されたストレス値に基づいて行動変容プログラムを決定する。行動変容プログラムは、例えば、産業医やカウンセラー、臨床心理士のような専門家によって監修されたプログラムである。サーバ3は、ストレス値が高いユーザに対して、ストレス値が高いことを通知し、ストレスを低減するための情報を提供する。サーバ3は、例えば、ユーザが使用しているスマートフォンに、推奨される行動(マインドフルネス)や勤務形態等のアドバイスを配信してもよい。
サーバ3は、ユーザの属性に応じて行動変容プログラムを変更することもできる。サーバ3は、例えば、コールセンターのような対人業務に就く従業員やドライバーである複数のユーザの中に、ストレス値が高いユーザが含まれる場合に、そのユーザのストレス値が低減されるように組み直された勤務シフト(スケジュール)を自動的に生成してもよい。同様に、サーバ3は、特定の疾患に罹患中(例えば、癌患者)、産後、育児中、介護中等のユーザの属性を考慮して、ストレスを低減するための情報を提供したり、勤務シフトを自動生成したりしてもよい。
サーバ3によるクラウド検査サービスは、例えば、ストレスチェックの提供会社、対人業務のある企業、保険会社等で利用され得る。
次いで、図2から図4を参照して、ストレス推定システム1の構成のいくつかの例について説明する。
まず、図2に示すストレス推定システム1は、複数のデバイス2−1,2−2,2−3と、メンタルストレス推定部31とを備える。
デバイス2−1はセンサ21−1を有している。センサ21−1は、ユーザがデバイス2−1にアクセスしたログを示すアクセスログ情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−1は、例えば、デスクトップPC、ノートPC、車載器、セキュリティゲート等である。
デバイス2−2はセンサ21−2を有している。センサ21−2は、ユーザによるデバイス2−2の操作を示す操作情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−2は、例えば、手首デバイスのような装着型デバイス、携帯型デバイス、デスクトップPC、ノートPC等である。
また、デバイス2−3はセンサ21−3を有している。センサ21−3は、ユーザの生体情報を収集し、メンタルストレス推定部31に出力(送信)する。デバイス2−3は、例えば、手首デバイスのような装着型デバイス、携帯型デバイス、デスクトップPC、ノートPC、ホームIoTデバイス、ホームロボット、セキュリティゲート、車載器、トイレ型デバイス等である。また、生体情報には、例えば、脈波や心拍の解析結果が含まれている。
メンタルストレス推定部31は、デバイス2−1,2−2,2−3により収集されたアクセスログ情報と操作情報と生体情報とを用いて、ユーザのメンタルストレスを示すストレス値を推定する。より具体的には、メンタルストレス推定部31は、例えば、アクセスログ情報を用いてユーザの勤怠状況や活動状況を推定し、また、操作情報を用いてユーザの活動状況や感情を推定する。そして、メンタルストレス推定部31は、推定された勤怠状況、活動状況及び感情と、生体情報とを用いて、ストレス値を推定する。
なお、ここでは、一つのデバイスに一つのセンサが設けられる例を示したが、一つのデバイスに複数のセンサが設けられてもよい。したがって、複数のセンサを備える一つのデバイスによって、アクセスログ情報と操作情報のような複数種の情報が収集され得る。メンタルストレス推定部31は、少なくとも一つのセンサを備える少なくとも一つのデバイスから得られた情報を用いて、ユーザのストレス値を推定することができる。
次に、図3に示すストレス推定システム1は、図2に示した構成に加えて、デバイス2−4とゲノムデータベース(DB)4−1とを備える。
デバイス2−4はセンサ21−4を有している。センサ21−4は、例えば、唾液や尿に含まれる特定の物質の量や濃度等を検知するバイオマーカを含み、このバイオマーカによる検知結果を示すバイオマーカ情報をメンタルストレス推定部31に出力(送信)する。バイオマーカは、例えば、唾液アミラーゼ、唾液クロモグラニン、唾液コルチゾール、尿カテコールアミン等を検知する。デバイス2−4は、例えば、トイレ型デバイス、パンツ型デバイス等である。
ゲノムDB4−1は、ユーザがゲノム検査等を受けた際に得られたゲノム解析結果を格納する。メンタルストレス推定部31は、ゲノムDB4−1に格納された情報から、ストレスとの関連性が高い情報を取得する。取得されるゲノム情報により、ストレスへの耐性が判別可能である。取得される情報は、例えば、ストレスに弱い一塩基多型(Single Nucleotide Polymorphism:SNP)情報、躁鬱病の発症に関連している遺伝子情報等である。躁鬱病の発症に関連している遺伝子は特定されているため、その遺伝子を有するユーザをストレスに弱いと判定することができる。
メンタルストレス推定部31は、デバイス2−1,2−2,2−3により収集されたアクセスログ情報と操作情報と生体情報とに加えて、デバイス2−4により収集されたバイオマーカ情報と、ゲノムDB4−1から取得されたゲノム情報とを用いて、ストレス値を推定する。
また、図4に示すストレス推定システム1は、ストレス値の推定が関数化される例を示す。メンタルストレス推定部31は、ストレス値を推定する前に、過去の産業医受診状況や鬱病診断状況を用いて、特定の疾患(例えば、鬱病)を発症した事例のセンサデータやゲノム情報等を抽出し、その疾患の発症との関連性が高いパラメータ(ファクター)22(例えば、x1(t),x2(t),……,xn(t))を学習する。そして、メンタルストレス推定部31は、それらパラメータ22を用いて、ストレス値を算出するための関数F(x)を生成する。メンタルストレス推定部31は、この関数F(x)を用いて、新たに得られたセンサデータ等に基づくストレス値y(t)を算出することにより、実際の事例に即したユーザのストレス値を推定することができる。メンタルストレス推定部31は、ユーザ毎に、例えば、毎日、一つのストレス値y(t)を算出し、継続してストレス値が高くなっていること(例えば、基準値を超えていること)、普段とは異なる異常値になっていること等を検知する。
ストレス推定システム1はさらに、行動変容決定部32を有していてもよい。行動変容決定部32は、算出されたストレス値y(t)に基づいて、ストレスを低減するための情報を出力する。行動変容決定部32は、例えば、継続してストレス値が高くなっている場合や、普段とは異なる異常値になっている場合に、ストレスを低減するための情報を出力する。このような情報は、例えば、メールやスマートフォンのアプリ等を介して、ユーザに提示することができる。
より具体的には、行動変容決定部32は、ストレス値の大きさに応じて、ユーザに対する警告を出力する。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、ストレス値の高さ、慢性ストレスのリスクの高さ等を表示させる。
また、行動変容決定部32は、ストレス値の大きさに応じて、ストレスを低下させるためにユーザに推奨される行動に関する情報を出力する。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、メンタルフルネスの受講、深呼吸、気分転換になる体操、座禅、運動、自然を眺めること、花鳥風月を愛でること等を促すメッセージを表示させる。また、推奨される行動は、ユーザが特定の疾患(例えば、認知症、癌等)に罹患しているか、あるいは勤労者、育児者、又は介護者であるかと云った属性に応じて決定されてもよい。
さらに、行動変容決定部32は、ストレス値の大きさに応じて、推奨される勤務形態に関する情報を出力し得る。行動変容決定部32は、例えば、ユーザが使用するデバイス2の画面上に、時間休憩、年休取得、短期休暇、長期休暇等の取得を推奨するメッセージを表示する。また、行動変容決定部32は、複数のユーザがストレス推定システム1を利用している場合に、例えば、コールセンター業務、ドライバー業務のようなストレスが極めてかかりやすい業務に従事する従業員に対して、ストレス値の大きさに応じて組み替えられた勤務シフト表を提示することもできる。行動変容決定部32は、例えば、高いストレス値のユーザの状態を改善するために、そのユーザの勤務時間が削減された勤務シフト表を自動生成する。また、行動変容決定部32は、例えば、繁忙期の直前に、従業員全体のストレスを低く維持するための勤務シフト表を自動生成する。なお、推奨される勤務形態(勤務シフト)は、ユーザが特定の疾患(例えば、認知症、癌等)に罹患しているか、あるいは勤労者、育児者、又は介護者であるかと云った属性に応じて決定されてもよい。
以下では、ストレス推定システム1がサーバ3と一つ以上のデバイス2とによって構成される場合を例示する。サーバ3と各デバイス2とはネットワークを介して相互に通信可能である。一つ以上のデバイス2は、各々に設けられるセンサ21を用いてユーザに関するセンサデータを収集し、サーバ3に送信する。サーバ3は、収集されたセンサデータを用いてストレス値を推定し、そのストレス値に応じてストレスを低減するための情報を生成する。
図5は、サーバ3のシステム構成例を示す。サーバ3は、例えば、サーバコンピュータとして実現され得る。サーバ3は、CPU301、主メモリ302、不揮発性メモリ303、BIOS−ROM304、通信モジュール305等を備える。
CPU301は、サーバ3内の様々なコンポーネントの動作を制御するプロセッサである。CPU301は、ストレージデバイスである不揮発性メモリ303から主メモリ302にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)302A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、ストレス推定プログラム302Bが含まれている。このストレス推定プログラム302Bには、デバイス2からセンサデータを取得するための命令群、ストレス値を推定するための命令群、ストレス値に基づく行動変容のための命令群等が含まれている。つまり、ストレス推定プログラム302Bは、図2から図4を参照して上述したメンタルストレス推定部31と行動変容決定部32との機能を有している。
また、CPU301は、BIOS−ROM304に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
通信モジュール305は、有線又は無線通信を実行するように構成されたデバイスである。通信モジュール305は、信号を送信する送信部と、信号を受信する受信部とを含む。
また、図6は、デバイス2のシステム構成例を示す。デバイス2は、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204、センサ21等を備える。
CPU201は、デバイス2内の様々なコンポーネントの動作を制御するプロセッサである。CPU201は、ストレージデバイスである不揮発性メモリ203から主メモリ202にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)202A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、ストレス監視プログラム202Bが含まれている。このストレス監視プログラム202Bには、センサ21からデータを収集するための命令群、収集されたデータを解析するための命令群、データをサーバ3に送信するための命令群等が含まれている。
通信モジュール204は、有線又は無線通信を実行するように構成されたデバイスである。通信モジュール204は、信号を送信する送信部と、信号を受信する受信部とを含む。なお、デバイス2は、映像出力のためのディスプレイ205や、音声出力のためのスピーカ206をさらに備えていてもよい。
次いで、図7を参照して、サーバ3によって実行されるストレス推定プログラム302Bと各デバイス2−1,2−2,……,2−Nによって実行されるストレス監視プログラム202Bとの機能構成を説明する。デバイス2−1,2−2,……,2−Nの各々は、図6を参照して上述したシステム構成を有している。サーバ3と各デバイス2−1,2−2,……,2−Nとは、ネットワーク15を介して、相互にデータを送受信することができる。
各デバイス2−1,2−2,……,2−Nによって実行されるストレス監視プログラム202Bは、例えば、センサ処理部251と表示制御部252とを備える。また、サーバ3によって実行されるストレス推定プログラム302Bは、例えば、蓄積処理部311、ファクター決定部312、ストレス値決定部313、アラート生成部314、及びスケジュール生成部315を備える。
デバイス2のセンサ処理部251は、センサ21−1によって出力されたデータに、解析等の特定の処理を施すことにより得られたセンサデータを、通信モジュール204を介してサーバ3に送信する。送信されるデータには、センシング対象のユーザを識別するための情報(ユーザID)と、センシングされた日時を示す情報(タイムスタンプ)とが含まれていてもよい。なお、センサ処理部251は、センサ21−1によって出力されたデータをそのままサーバ3に送信してもよい。その場合、データに解析等の特定の処理を施すためのセンサ処理部251の機能がサーバ3内に設けられる。
サーバ3の蓄積処理部311は、通信モジュール305を介して、デバイス2(デバイス2−1,2−2,……,2−N)からセンサデータを受信する。蓄積処理部311は、受信したセンサデータをセンサデータベース35に格納する。センサデータベース35には、例えば、不揮発性メモリ303が用いられる。センサデータベース35には、複数種のデバイス2(又は複数種のセンサ21)を用いて得られたセンサデータがまとめて格納されてもよいし、デバイス2(又はセンサ21)毎にセンサデータを格納するために複数のセンサデータベース35が設けられてもよい。格納されるセンサデータは、センシングされた対象のユーザやセンシングされた日時が識別可能である。また、センサデータベース35は、サーバ3によってセンサデータが利用できる形態であれば、サーバ3の外部に設けられていてもよい。
ファクター決定部312は、センサデータベース35に格納されたセンサデータと健康記録データベース4に格納されたデータとを用いて、長期ストレスとの関連性が高いファクター(要因)を決定する。本実施形態では、ユーザにより知覚されるストレスを、ある一期間にわたるストレスの大きさについての指標で表し、またその期間の長さに応じた短期ストレスと長期ストレスとで規定する。長期ストレスの指標(値)は、少なくとも短期ストレスの期間よりも長い期間にわたるストレスの大きさを示す。また、短期ストレスの指標(値)は、少なくとも長期ストレスの期間よりも短い期間にわたるストレスの大きさを示す。一例として、長期とは、1週間以上、2週間、1ヶ月、3ヶ月等の期間であり、短期とは、一週間未満、2〜3日、1日、半日、2〜3時間、1時間、30分、数分、数秒等の期間である。したがって、長期ストレスはユーザの慢性的なストレスであり、短期ストレスはユーザの一時的なストレス(すなわち、瞬時ストレス)であると云える。
ファクター決定部312は、例えば、第1の方法によるストレスの大きさの変動度合いと、ストレスに関連する複数の要因の変動度合いとを用いて、それら複数の要因のうち、一つ以上の要因を、長期ストレスの判定に用いる要因とする。この第1の方法は、例えば、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定の内の、少なくとも一つ以上に基づいてストレスを判定する方法である。また、複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する一つ以上の要因、電子機器の操作状況に関する一つ以上の要因、勤怠状況に関する一つ以上の要因、感情に関する一つ以上の要因、人体の動きの状況に関する一つ以上の要因、発話状況に関する一つ以上の要因、睡眠状況に関する一つ以上の要因、及び環境に関する一つ以上の要因の内の、少なくとも二つ以上を含む。なお、上述した第1の方法に、ストレスを判定するための他の方法がさらに含まれていてもよく、また複数の要因に、ユーザをセンシングしたセンサデータに基づく他の要因がさらに含まれていてもよい。また、電子機器は、携帯型のデバイス2又は人体装着型のデバイス2である。
ストレス値決定部313は、あるユーザの、センサデータベース35に格納されたセンサデータを用いて、ある短期間における短期ストレスの値を決定した後、さらに、別の短期間における短期ストレスの値を決定する。短期ストレスの値は、ある短期間に、例えば、少なくとも一つのセンサから得られたセンサデータを用いて決定される。そして、ストレス値決定部313は、それら二つの短期ストレスの値の変化に基づいて、そのユーザの長期ストレスの大きさ(例えば、長期ストレス値)を判定する。ストレス値決定部313は、健康記録データベース4に格納されたデータをさらに用いて長期ストレスの大きさを判定してもよい。
より具体的には、ストレス値決定部313は、特定の作業(例えば、車の運転)を開始する前の短期ストレスが第1値であり、作業中の短期ストレスが第1値よりも大きい第2値であるとき、その作業が終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさ(長期ストレス値)を判定する。ストレス値決定部313は、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。また、ストレス値決定部313は、閾値以上の人体の変動の繰り返し(例えば、貧乏ゆすり)に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。
アラート生成部314は、ストレス値決定部313によって定められた長期ストレスの大きさに応じて、ユーザに対する警告を生成する。また、アラート生成部314は、定められた長期ストレスの大きさに応じて、ストレスを低下させるためのユーザに推奨される行動に関する情報を生成してもよい。アラート生成部314は、生成された警告や情報を、通信モジュール305を介してデバイス2に送信する。送信先のデバイス2は、例えば、ディスプレイ205を備えるデバイスやユーザによって予め指定されたデバイスである。
また、スケジュール生成部315は、ストレス値決定部313によって定められた長期ストレスの大きさ(例えば、長期ストレス値)に応じて、推奨される勤務形態に関する情報を生成する。スケジュール生成部315は、例えば、ある業務に従事する複数の従業員の各々の長期ストレス値が決定された場合、高い長期ストレス値の従業員にかかるストレスが軽減されるように、それら複数の従業員の勤務スケジュールを生成する。スケジュール生成部315は、勤務スケジュールのような勤務形態に関する情報を、通信モジュール305を介してデバイス2に送信する。
デバイス2の表示制御部252は、通信モジュール204を介して、サーバ3から警告や情報を受信する。そして、表示制御部252は、警告や情報をディスプレイ205の画面に表示する。
なお、サーバ3内の各部がデバイス2内に設けられていてもよい。その場合、例えば、あるデバイス2に、複数のデバイス2によって取得されたセンサデータが蓄積されてもよい。また、例えば、あるデバイス2によって、センサデータを用いたストレス値の決定、ストレス値に基づく警告や情報の生成等が行われてもよい。
以下では、上述した構成が適用されるいくつかのデバイス2について例示する。
<車載器>
図8から図13を参照して、自動車を運転するユーザのストレス指標が推定される例について説明する。このユーザは、例えば、自動車に搭載されるデバイス2である車載器2−6と装着型デバイス2−5とに設けられるセンサによってセンシングされる。車載器2−6を搭載した自動車は、勤務時間外に利用されてもよいし、配送業務等に従事するユーザの勤務中に利用されてもよい。
図8は、車載器2−6の外観の例を示す。車載器2−6には、例えば、電源ボタン501、カメラ503、心電センサ504、湿度センサ505、温度センサ506、振動センサ/加速度センサ(図示せず)等が含まれる。
電源ボタン501は、例えばハンドルの右側に配置され、自動車のエンジンを始動するために用いられる。電源ボタン501の操作を検知したことに応じて、始動されたエンジン動作を検出することにより、ユーザによる運転に関する情報を取得することができる。電源ボタン501はUIセンサの一種である。カメラ503は、サンバイザ部、あるいはメーター類が設置されるインストルメンタルパネル(インパネ)部に設けられ、自動車を運転するユーザの顔画像(映像)を撮影する。カメラ503はメディアセンサの一種である。
心電センサ504は、座席に設けられ、着席したユーザの心拍の波形(心電図)を検知する。心電センサ504は生体センサの一種である。湿度センサ505及び温度センサ506は、例えばインパネ部に設けられ、車内の湿度及び温度を検知する。湿度センサ505及び温度センサ506は環境センサの一種である。また、振動センサ/加速度センサは、車載器2−6に生じる振動/加速度を検知することにより、自動車の動きを検知する。
なお、このユーザは、装着型(例えば、リストバンド型)のデバイス2−5を装着していてもよい。デバイス2−5は、例えば、振動センサ/加速度センサ502、マイク、光電脈波センサ、環境センサ等を備えている。車載器2−6は、車載器2−6に設けられる振動センサ/加速度センサに加えて、あるいはその代わりに、デバイス2−5に設けられる振動センサ/加速度センサ502を利用することができる。
車載器2−6は、このようなセンサ501〜506を利用して、センサデータを収集することができる。車載器2−6には、GPSレシーバ等の他のセンサがさらに設けられていてもよい。また、車載器2−6及び装着型デバイス2−5の各々には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
次いで、図9を参照して、車載器2−6の機能構成について説明する。車載器2−6は、上述したセンサ501〜506やGPSレシーバ507を備え、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
このセンサ処理部251は、例えば、エンジン動作検出部511、顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、顔表情認識部516、心拍ピーク間隔算出部517、自律神経解析部518、環境不快度算出部519、走行/停止検知部520、及びルート解析部510を含む。
エンジン動作検出部511は、電源ボタン501の操作によってエンジンが始動されたことに応じて、エンジン動作、各種オドメトリ、自動車の乗車時間、速度等を検出する。エンジン動作検出部511は、このような検出された情報を、車載器2−6へのアクセスログ情報として、メンタルストレス推定部31に出力(送信)する。また、エンジン動作検出部511は、検出された情報に基づいて、エンジンが始動又は停止したことを示す情報を映像脈波算出部513に出力する。
走行/停止検知部520は、振動センサ/加速度センサ502によって得られた振動データと加速度データの少なくとも一方を用いて、自動車が走行(移動)しているか、それとも停止しているかを検知する。走行/停止検知部520は、さらに、振動データと加速度データの少なくとも一方を用いて、急ハンドル、急加速、急ブレーキのような特定の運転操作を検知することもできる。走行/停止検知部520は、検知された自動車の走行又は停止を示す情報と、運転操作を示す情報とを映像脈波算出部513に出力する。なお、走行/停止検知部520は、振動データ及び/又は加速度データをそのままメンタルストレス推定部31に送信してもよい。
顔検出部512は、カメラ503を用いて得られた映像から顔を検出する。顔検出部512は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部512は、検出された顔画像に関する情報を映像脈波算出部513及び顔表情認識部516に出力する。
映像脈波算出部513は、顔検出部512により出力された情報を用いて、ユーザの脈波に関する情報を算出する。より具体的には、映像脈波算出部513は、連続した映像フレームから検出された顔画像の変化(例えば、皮膚の色の変化)に基づいて、ユーザの脈波を算出する。
算出されたユーザの脈波には、エンジン動作検出部511によって出力されたエンジンが始動又は停止したことを示す情報と、走行/停止検知部520によって出力された自動車が走行又は停止していることを示す情報と運転操作を示す情報とが関連付けられる。このような情報を用いることにより、自動車の運転を開始する前、運転中、運転を終了した後、ある運転操作が検知されたタイミング等を特定して、情報を抽出することができる。なお、運転の開始、運転中、及び運転の終了を示すタイミングは、車載器2−6又は装着型デバイス2−5に設けられた入力デバイスを用いて、ユーザによって明示的に入力されてもよい。
脈波ピーク間隔算出部514は、算出された脈波のピーク間隔(PPI)を算出する。そして、自律神経解析部515は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。この自律神経指標は、自律神経のバランスを表している。自律神経解析部515は、自動車の運転を開始する前、運転中、運転を終了した後、ある運転操作が検知されたタイミング等における、脈拍数や脈拍のばらつきを示す自律神経指標を算出してもよい。自律神経解析部515は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
また、顔表情認識部516は、映像から検出された顔画像の表情を認識する。顔表情認識部516は、例えば、喜怒哀楽のような表情の種別だけでなく、眉間のしわ、顔の動き等も認識することができる。顔表情認識部516は、認識された表情の種別等を含む感情情報をメンタルストレス推定部31に送信する。
なお、顔検出部512及び顔表情認識部516は、カメラ503を用いて得られた映像から、運転中の手、足、頭等の体の動きを検出し、眠気(例えば、頭の揺れ)や、いら立っている場合に起きやすい動作(例えば、指や足の繰り返し動作)を認識してもよい。認識された動作を示す情報は、感情情報としてメンタルストレス推定部31に送信され得る。
次いで、心拍ピーク間隔算出部517は、心電センサ504により計測された波形のピーク間隔である心拍間隔(R−R間隔)を算出する。自律神経解析部518は、算出された心拍間隔を解析することにより、心拍数や心拍のばらつきを示す自律神経指標を算出する。この自律神経指標は、自律神経のバランスを表している。自律神経解析部518は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
環境不快度算出部519は、湿度センサ505により計測された湿度と温度センサ506によって計測された温度とを用いて、環境不快度を算出する。この環境不快度には、例えば、予測温冷感申告(Predicted Mean Vote:PMV)や、暑さ指数(Wet Bulb Globe Temperature:WBGT)が用いられる。環境不快度算出部519は、算出された環境不快度を含む環境情報をメンタルストレス推定部31に送信する。
ルート解析部510は、GPSレシーバ507を用いて取得された自動車の位置と、カーナビゲーションシステム等で用いられる地図データとを用いて、自動車が走行している道路を特定する。そして、ルート解析部510は、特定された道路が、いつも走行する道路であるか、それともまれにしか走行しない不慣れな道路であるか、また一般道路と高速道路のいずれであるか、等を示すルート情報を生成し、メンタルストレス推定部31に送信する。
メンタルストレス推定部31(ストレス値決定部313)は、車載器2−6によって出力された情報を用いてユーザの短期ストレスの値を決定し、決定された短期ストレスの値を用いてユーザの長期ストレスの大きさを判定する。例えば、メンタルストレス推定部31は、車載器2−6から出力されたデバイスへのアクセスログ情報、生体情報、感情情報、環境情報、及びルート情報の少なくともいずれか一つを用いて、ある短期間における短期ストレスの値を算出する。そして、メンタルストレス推定部31は、ユーザが自動車の運転を開始する前の短期ストレスが第1値であり、自動車の運転中の短期ストレスが第1値よりも大きい第2値であるとき、自動車の運転を終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさ(例えば、長期ストレス値)を判定する。この変化(すなわち、短期ストレス値が下がる速度)が速いほど長期ストレスは小さくなり、変化が遅いほど長期ストレスは大きくなる。これは、長期ストレスが小さいユーザでは、運転等のストレスのかかる作業によって一時的に短期ストレス値が上昇したとしても、その作業が終了すれば平常の短期ストレス値に戻りやすく、一方、長期ストレスが大きいユーザでは、作業によって短期ストレス値が一旦上昇してしまうと、その作業が終了しても平常の短期ストレス値に戻りにくかったり、戻らなかったりすることに基づくものである。したがって、運転中の短期ストレス値(第2値)から、平常(運転開始前)の短期ストレス値(第1値)への運転終了後の戻りやすさに応じて、長期ストレスの大きさを判定することができる。
自動車の運転を終了した後の第2値から第1値に向かうストレスの値の変化は、例えば、絶対値として表され、例えば、一時間で閾値以上低下したか否か等に基づいて、長期ストレスの大きさ(長期ストレス値)が決定される。また、このストレス値の変化は、相対値で表されてもよい。その場合、例えば、一時間で、第1値から第2値までの上昇分の何割が低下したか等に基づいて、長期ストレスの大きさ(長期ストレス値)が決定される。
なお、急ハンドルのような運転操作は、ストレスによって注意力散漫となったことにより生じると推定されるので、センサデータから急ハンドル等の運転操作が検知されたことは、メンタルストレス推定部31によって決定される短期ストレス値が高くなる一因となり得る。同様に、メンタルストレス推定部31によって決定される短期ストレス値が高くなる要因として、平常よりも脈拍数/心拍数が高いことや、脈波や心拍のばらつきが大きいこと、怒りのような特定の表情が認識されたこと、眠気やいら立ちを示す動作が認識されたこと、高速道路やまれにしか利用されない道路が走行されたこと、乗車時間が長いこと、環境不快度が高いこと等が含まれ得る。
また、ストレス値は、車載器2−6及び装着型デバイス2−5によって取得されたセンサデータだけでなく、他のデバイス2(例えば、携帯型デバイス、据え置き型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータも用いて決定されてもよい。その場合、メンタルストレス推定部31は、例えば、自動車の運転時のストレス値と、次の就寝中のストレス値とを比較することによって、長期ストレスの値を算出してもよいし、また自動車の運転時のストレス値と、次の起床後のストレス値とを比較することによって、長期ストレスの値を算出してもよい。
図10は、脈波又は心拍の波形データを用いて、ストレス指標が決定される例を示す。上述したように、映像脈波算出部513により算出された脈波521を用いて、脈波ピーク間隔算出部514は脈波ピーク間隔(脈拍間隔)535を算出する。また、心拍ピーク間隔算出部517は、心電センサ504により計測された波形のピーク間隔である心拍間隔536を算出する。自律神経解析部515,518は、算出された脈拍間隔535又は心拍間隔536を周波数解析して、所定の周波数毎のパワースペクトル密度を算出する。高い周波数帯(例えば、0.15ヘルツから0.4ヘルツ)に含まれるパワースペクトル密度の総和(HF)は、副交感神経の働きの度合い、すなわち、リラックス状態の度合いを表す。また、高い周波数帯に含まれるパワースペクトル密度の総和(HF)に対する、低い周波数帯(例えば、0.05ヘルツから0.15ヘルツ)に含まれるパワースペクトル密度の総和(LF)を示す指標(LF/HF)は、交感神経の働きの度合い、すなわち、ストレス状態の度合いを表す。メンタルストレス推定部31は、この指標LF/HFを、短期ストレス(瞬時ストレス)のストレス指標として用いる。
図10に示すように、交感神経の働き525と副交感神経の働き526とは逐次変化している。メンタルストレス推定部31は、例えば、交感神経の優位性に応じてストレス指標を算出することができる。
図11及び図12は、運転時のストレス指標LF/HFの変化を示すグラフである。
まず、図11のグラフ527は、高速道路を含む往路を走行した場合のストレス指標の変化を示す。このグラフ527では、出発時(出発直後)の低いストレス指標527−1が、走行中に上昇していることが分かる。特に、高速道路を走行している期間のストレス指標527−2は、高速道路を走行していない期間のストレス指標527−1,527−3よりも相対的に高くなっている。
次に、図12のグラフ528は、不慣れな道路を含む復路を走行した場合のストレス指標の変化を示す。このグラフ528でも、出発時の低いストレス指標528−1が、走行中に上昇していることが分かる。特に、不慣れな道路を走行している期間のストレス指標528−2は、その道路を走行していない期間のストレス指標528−1,528−3よりも相対的に高くなっている。
また、図13は、医療分野等で既に用いられているストレス指標である唾液アミラーゼ値と主観アンケート結果(STAI)との運転時の変化を示している。図13に示す例では、図11に示したグラフ527に対応する往路の運転開始前及び運転終了後の値と、図12に示したグラフ528に対応する復路の運転開始前及び運転終了後の値とが示されている。唾液アミラーゼとSTAIのいずれも、運転終了後の値は運転開始前の値から上昇していることが分かる。
メンタルストレス推定部31は、このようなLF/HF、唾液アミラーゼ、STAI等の種々のセンサデータを統合して、短期ストレス値及び長期ストレス値のようなストレス指標を算出することもできる。
<携帯型デバイス及び装着型デバイス>
図14から図16を参照して、携帯型デバイス2−7を使用し、装着型デバイス2−8を装着するユーザのストレス指標が推定される例について説明する。このユーザは、例えば、携帯型デバイス2−7と装着型デバイス2−8とに設けられるセンサによってセンシングされる。
図14は、携帯型デバイス2−7の外観の例を示す。図14では、携帯型デバイス2−7がスマートフォンである場合を例示している。携帯型デバイス2−7は、屋外に持ち出して携帯して使用する電子機器であり、屋内でも使用可能であってもよい。携帯型デバイス2−7は、例えば、マイク601、ボタン602、加速度センサ603、カメラ608等のセンサを有している。
携帯型デバイス2−7の本体60の上面には、ディスプレイ205が設けられている。ディスプレイ205は、例えば、タッチスクリーンディスプレイであり、LCDと、その上面に配置された静電容量型のタッチパネルとで構成されている。ボタン602は、ディスプレイ205の下部と、本体60の左側面に設けられ、携帯型デバイス2−7をロック状態(スリープ状態)に移行する操作や、ロック状態から復帰させる操作等に用いられる。携帯型デバイス2−7は、ディスプレイ205の画面に表示されたGUIのボタン等を用いて操作することもできる。
マイク601は、本体60の下側面に設けられ、ユーザによる発話を含む音声を集音する。加速度センサ603は、本体60内の、例えば、下部に設けられ、携帯型デバイス2−7の動きを検知する。また、カメラ608は、ディスプレイ205の上部に設けられ、例えば、ディスプレイ205の画面を見ているときのユーザの顔等を撮影可能である。なお、本体60には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
次いで、図15は、装着型デバイス2−8の外観の例を示す。ここでは、装着型デバイス2−8がパンツ型デバイスである場合を例示する。この装着型デバイス2−8は、例えば、二つのマイク601、四つの加速度センサ603、光電脈波センサ604、心電センサ605、超音波センサ609等のセンサを有している。光電脈波センサ604と心電センサ605はいずれか一方であってもよい。また、装着型デバイス2−8に、操作のためのボタンがさらに設けられていてもよい。
装着型デバイス2−8のユーザの腰部に接する収縮部分(例えば、ゴム部)62には、二つのマイク601、二つの加速度センサ603、光電脈波センサ604、及び心電センサ605が設けられている。
マイク601は、ユーザによる発話やユーザの対話相手の発話、ユーザの動きに伴う音、体内音等を含む音声を集音する。二つのマイク601が配置されることでビームフォーミングにより、ユーザによる発話と対話相手の発話とを識別することもできる。
加速度センサ603は、装着型デバイス2−8に生じる加速度を検知することにより、装着型デバイス2−8の動き、すなわち、装着型デバイス2−8を装着するユーザの動きを検知する。収縮部分62には、腹部側と背部側とにそれぞれ一つの加速度センサ603が配置されている。
光電脈波センサ604は、例えば、発光ダイオード(LED)と光検出器(Photo Detector:PD)とで構成され、光電容積脈波法に基づきユーザの脈波を検知する。心電センサ605は、ユーザの心拍の波形(心電図)を検知する。なお、収縮部分62の一部61には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵され得る。
また、装着型デバイス2−8のユーザの左右の大腿部に接する部分には、各々に加速度センサ603と超音波センサ609とが設けられている。超音波センサ609は、超音波により大腿部の筋肉量を検知する。
なお、上述したセンサ601〜609は一例であり、各センサはいずれのデバイス2−7,2−8に設けられていてもよい。また、これらデバイス2−7,2−8に、気圧センサ、照度センサ、感圧センサ(静電センサ)、ジャイロセンサ、温度センサ、湿度センサのような他のセンサがさらに設けられていてもよい。
また、ユーザは、図8に示したような別の装着型(例えば、リストバンド型)デバイス2−5を装着していてもよい。デバイス2−5は、例えば、振動センサ/加速度センサ、マイク、光電脈波センサ、環境センサ等を備えている。
次いで、図16を参照して、携帯型デバイス2−7及び装着型デバイス2−8の機能構成について説明する。例えば、携帯型デバイス2−7及び装着型デバイス2−8は、上述したセンサ601〜605や、湿度センサ606、温度センサ607を備え、ストレス監視プログラム202Bを実行する。なお、湿度センサ606及び温度センサ607は、デバイス2−7,2−8に設けられていてもよいし、環境内に設置されていてもよい。環境内に設置される場合、デバイス2−7,2−8は、例えば、通信モジュール204を介した通信により、これらセンサ606,607から湿度データ及び温度データを取得する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
このセンサ処理部251は、例えば、会話量推定部611、声質変化検出部612、変動検知部613、いらいら度算出部614、活動量算出部615、脈波ピーク間隔算出部616、睡眠解析部617、自律神経解析部618、心拍ピーク間隔算出部619、自律神経解析部620、及び環境不快度算出部621を含む。
会話量推定部611は、マイク601によって得られた音声データを解析することにより、会話量を推定する。会話量推定部611は、音声から、ユーザによる発話と他者の発話とを識別し、各々の発話量を推定してもよい。会話量推定部611は、会話量(又は発話量)を示す発話情報をメンタルストレス推定部31に送信(出力)する。
声質変化検出部612は、マイク601によって得られた音声データを解析することにより、喜怒哀楽や緊張による声質の変化を検出する。声質変化検出部612は、検出された声質の変化を示す発話情報をメンタルストレス推定部31に送信する。
変動検知部613は、加速度センサ603によって得られた加速度データを用いて、閾値以上の人体の変動の繰り返しを検知する。変動検知部613は、いわゆる貧乏ゆすりのような、ストレスに起因する可能性がある体、足、腕、頭等の閾値以上の動き(揺れ、振り)の繰り返しを検知する。
加速度センサ603が携帯型デバイス2−7に設けられている場合、変動検知部613は、加速度データに加えて、携帯型デバイス2−7にさらに設けられる気圧センサ、照度センサ、感圧センサ(静電センサ)等により得られるデータを用いて、その携帯型デバイス2−7が、バッグの中にあるか、服のポケットの中にあるか、あるいは手で把持されているかを判別する。この判別結果に基づき、携帯型デバイス2−7が服のポケットの中にあるか、又は手で把持されている場合に、変動検知部613は、閾値以上の人体の変動の繰り返しを検知してもよい。
また、加速度センサ603が装着型デバイス2−8に設けられている場合には、変動検知部613は、例えば、光電脈波センサ604を用いて、ユーザがデバイス2−8を装着していることを識別した後、閾値以上の人体の変動の繰り返しを検知する。
変動検知部613は、さらに、加速度センサ603、気圧センサ、ジャイロセンサ等により得られるデータを用いて、ユーザが座っているか、それとも立っているかを判別してもよい。ユーザが座っていると判別された場合、変動検知部613は、例えば、カメラ608によって得られた映像を解析することにより、せわしなく頭を揺らしている、手(指)を動かしている、髪を触っている等のストレスに起因する可能性がある動作を検知してもよい。
いらいら度算出部614は、変動検知部613による検知結果と、ボタン602やディスプレイ(タッチスクリーンディスプレイ)205の画面上に表示されたボタン(GUI)等の操作に基づくデバイス2−7,2−8への操作情報とを用いて、ユーザのいら立ちの度合い(いらいら度)を算出する。
例えば、いらいら度算出部614は、ボタン602等の操作に基づいて、デバイス2−7,2−8を操作する頻度や短さ等を算出し、その頻度や短さを用いていらいら度を算出する。より具体的には、いらいら度算出部614は、デバイス2−7,2−8のロックを解除した後、アプリケーションを何等操作することなく、あるいは閾値期間未満のアプリケーションの操作で、再度オフ(ロック)するような、無用な操作が行われる回数や頻度を用いて、いらいら度を算出する。この閾値期間には、デバイス2−7,2−8の有為な操作に必要な時間よりも短い期間が設定され、例えば、数秒、数十秒、数分のような極めて短時間が設定される。つまり、ロックを解除したものの、有用な操作が行われることなく再度オフされるような、無用な操作の回数が多いことは、ユーザのいら立ちや落ち着きの無さから生じると推定されるので、いらいら度算出部614は、この回数が多いほどいらいら度を高く設定する。同様に、いらいら度算出部614は、無用な操作の頻度が高いほどいらいら度を高く設定してもよい。なお、対象のアプリケーションは、特定の種別のアプリケーションであってもよく、例えば、アラーム鳴動、メール受信、メッセージ受信等に応じた操作のような短時間の操作が想定される場合のアプリケーションを除外し、ブラウザを用いたウェブページの閲覧やメール送信時のような、短時間では有為な操作が行われないことが想定される場合のアプリケーションであってもよい。
いらいら度算出部614は、このようなデバイス2−7,2−8の操作状況と、閾値以上の人体の変動の繰り返しの有無やその度合いとに基づいて、いらいら度を算出する。いらいら度算出部614は、算出されたいらいら度を含む感情情報をメンタルストレス推定部31に送信する。
活動量算出部615は、加速度センサ603によって得られた加速度データを用いてユーザの動きを解析することにより、ユーザの活動量を算出する。この活動量により、ユーザによる活動が活発であるか否かを推定することができる。活動量算出部615は、算出された活動量をメンタルストレス推定部31に送信する。
脈波ピーク間隔算出部616は、光電脈波センサ604により検知された脈波のピーク間隔(PPI)を算出する。睡眠解析部617は、算出された脈波のピーク間隔を用いて睡眠状態を解析する。睡眠解析部617は、この解析により、例えば、睡眠時間、睡眠の質(例えば、眠りの深さ、周期)等を推定し、推定結果を含む生体情報をメンタルストレス推定部31に送信する。また、自律神経解析部618は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。自律神経解析部618は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
また、心拍ピーク間隔算出部619、自律神経解析部620、及び環境不快度算出部621は、それぞれ、図9を参照して上述した心拍ピーク間隔算出部517、自律神経解析部518、及び環境不快度算出部519と同様に動作する。
メンタルストレス推定部31(ストレス値決定部313)は、携帯型デバイス2−7及び装着型デバイス2−8によって出力された情報を用いてユーザの長期ストレスの大きさ(例えば、長期ストレス値)を判定する。メンタルストレス推定部31は、デバイス2−7,2−8から出力された発話情報、感情情報、活動量、生体情報、及び環境情報の少なくともいずれか一つを用いて、長期ストレスの値を算出する。
メンタルストレス推定部31は、例えば、感情情報に含まれるいらいら度をさらに用いて、長期ストレスの大きさを判定する。例えば、メンタルストレス推定部31は、いらいら度が高い場合に高い長期ストレス値を決定し、いらいら度が低い場合に低い長期ストレス値を決定する。なお、メンタルストレス推定部31は、閾値以上の人体の変動の繰り返しに関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。例えば、メンタルストレス推定部31は、閾値以上の人体の変動の繰り返しが検知された場合、高い長期ストレス値を決定し、それが検知されない場合、低い長期ストレス値を決定する。また、メンタルストレス推定部31は、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定してもよい。例えば、メンタルストレス推定部31は、無用な操作が行われる回数(又は頻度)が閾値以上である場合に高い長期ストレス値を決定し、その回数(頻度)が閾値未満である場合に低い長期ストレス値を決定する。
さらに、メンタルストレス推定部31は、いらいら度、閾値以上の人体の変動の繰り返し、無用な操作が行われる回数(又は頻度)等に基づく短期ストレス値の変化の度合いに基づいて、長期ストレスの大きさ(長期ストレス値)を判定してもよい。例えば、メンタルストレス推定部31は、特定の作業(例えば、車の運転)を開始する前のいらいら度(短期ストレス値)が第1値であり、作業中のいらいら度が第1値よりも大きい第2値であるとき、その作業が終了した後の第2値から第1値に向かういらいら度の変化に応じて、長期ストレスの大きさを判定する。
同様に、メンタルストレス推定部31によって決定されるストレス値が高くなる要因としては、平常よりも脈拍数/心拍数が高いことや、脈波や心拍のばらつきが大きいこと、会話量や活動量が少ないこと、怒りや緊張のような特定の声質に変化する時間が長いこと、あるいはその頻度が高いこと、睡眠時間が短いことや睡眠の質が悪いこと、環境不快度が高いこと等が含まれ得る。
また、ストレス値は、携帯型デバイス2−7及び装着型デバイス2−8によって取得されたセンサデータだけでなく、他のデバイス2(例えば、車載器、据え置き型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータも用いて決定されてもよい。
<据え置き型コンピュータ>
図17及び図18を参照して、据え置き型コンピュータ2−9を使用するユーザのストレス指標が推定される例について説明する。ユーザは、据え置き型コンピュータ2−9に設けられるセンサによってセンシングされる。
図17は、据え置き型コンピュータ2−9の外観の例を示す。図17では、据え置き型コンピュータ2−9がノートブック型のコンピュータである場合を例示している。この据え置き型コンピュータ2−9は、例えば、ユーザの勤務時間内に利用される。据え置き型コンピュータ2−9は、例えば、電源ボタン651、カメラ652、キーボード653、タッチパッド654、入力操作パネル655等のセンサを有している。
図17に示すように、据え置き型コンピュータ2−9は、コンピュータ本体68と、ディスプレイユニット69とから構成される。ディスプレイユニット69には、ディスプレイ205が組み込まれている。ディスプレイユニット69は、コンピュータ本体68の上面が露出される開放位置とコンピュータ本体68の上面を覆う閉塞位置との間を回動自在にコンピュータ本体68に取り付けられている。
コンピュータ本体68は、薄い箱形の筐体を有しており、その上面には、キーボード653、据え置き型コンピュータ2−9を電源オン/電源オフするための電源ボタン651、タッチパッド654、入力操作パネル655、スピーカ206などが配置されている。入力操作パネル655上には、各種操作ボタンが設けられている。また、コンピュータ本体68には、図6を参照して上述したように、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
次いで、図18を参照して、据え置き型コンピュータ2−9の機能構成について説明する。据え置き型コンピュータ2−9は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。
このセンサ処理部251は、オン/オフ監視部661、顔検出部662、映像脈波算出部663、脈波ピーク間隔算出部664、自律神経解析部665、顔認証ログイン部666、ステータス監視部667、メール監視部668、及びコミュニケーションツール監視部669を含む。
オン/オフ監視部661は、据え置き型コンピュータ2−9の電源オンと電源オフとを検知する。オン/オフ監視部661は、電源オンの日時と電源オフの日時とを含むデバイスへのアクセスログ情報を勤怠データベース351に格納する。勤怠データベース351には、電源オンの日時と電源オフの日時とに加えて、例えば、電源オン/オフの日時に基づく出勤時間、残業時間、無断欠勤等の二次情報を含む勤怠情報が格納される。
顔検出部662、映像脈波算出部663、脈波ピーク間隔算出部664、及び自律神経解析部665は、それぞれ、図9を参照して上述した顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515と同様に動作する。したがって、自律神経解析部665は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。
また、顔認証ログイン部666は、顔検出部662により検出された顔画像を用いて、据え置き型コンピュータ2−9へのログイン処理を行い、顔認証によるログインが行われたことを示すデバイスへの操作情報を操作データベース352に格納する。操作データベース352には、この操作情報に基づいて、例えば、ログインの頻度を示すデータが格納される。
ステータス監視部667は、キーボード653、タッチパッド654、入力操作パネル655等の入力デバイスを用いた操作に基づいて、ユーザのステータスを監視する。ステータス監視部667は、例えば、入力デバイスを用いた操作に基づいて非操作時間の長さを検出する。ステータス監視部667は、非操作時間の長さを含む操作情報を操作データベース352に格納する。
メール監視部668は、メーラによってメールが送信又は受信されたことを検知し、メールの送受信回数や送受信頻度を算出する。メール監視部668は、算出されたメールの送受信回数や送受信頻度をメール頻度データベース353に格納する。
コミュニケーションツール監視部669は、VoIP電話やチャット用ソフトウェアのようなコミュニケーションツールが利用されたことを検知し、ツールの利用回数や利用頻度を算出する。コミュニケーションツール監視部669は、算出されたツールの利用回数や利用頻度をコミュニケーション頻度データベース354に格納する。
なお、メール頻度データベース353及びコミュニケーション頻度データベース354に格納されたデータは、操作データベース352内に統合して蓄積されてもよい。また、勤怠データベース351、操作データベース352、メール頻度データベース353、及びコミュニケーション頻度データベース354は、図7に示したセンサデータベース35の一つであり、例えば、サーバ3内に設けられる。各データベース351〜354は、サーバ3によってアクセス可能であれば、サーバ3とは別のサーバ内に設けられていてもよい。
メンタルストレス推定部31(ファクター決定部312)は、産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート等を用いて、特定の疾患(例えば、鬱病)を発症した事例のセンサデータやゲノム情報等を抽出し、その疾患の発症との関連性が高いファクター(要因)を学習する。産業医診断、鬱病診断のような各種の診断・検査結果、既往歴、問診票、アンケート等は、例えば、健康記録データベース4から取得される。そして、メンタルストレス推定部31は、それらファクターを用いて、ストレス値を算出するための関数を生成する。メンタルストレス推定部31は、この関数を用いて、新たに得られたセンサデータ等に基づくストレス値を算出することにより、実際の事例に即したユーザのストレス値を推定することができる。
より具体的には、メンタルストレス推定部31は、勤怠データベース351から、特定の疾患を発症した事例の勤怠データを抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、出勤時間、残業時間、無断欠勤日数のような複数の勤怠ファクターが含まれている。メンタルストレス推定部31は、多数の発症事例のデータを用いて、各勤怠ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の勤怠ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31は、この関数を用いて、あるユーザの勤怠データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる勤怠状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。
また、メンタルストレス推定部31は、操作データベース352、メール頻度データベース353及びコミュニケーション頻度データベース354から、特定の疾患を発症した事例の操作データを抽出してもよい。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータをこれらデータベース352,353,354から抽出する。抽出されたデータには、例えば、ログイン頻度(回数)、非操作時間の長さ、メールの送受信頻度(回数)、コミュニケーションツールの利用頻度(回数)のような複数の操作ファクターが含まれている。メンタルストレス推定部31は、多数の発症事例のデータを用いて、各操作ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の操作ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザの操作データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる操作状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。
なお、メンタルストレス推定部31は、生体情報、勤怠データ及び操作データのような多種のデータを併せて用い、上記の方法と同様にして、長期ストレスの値の決定に用いるファクターを決定し、長期ストレス値を算出するための関数を生成してもよい。また、メンタルストレス推定部31は、勤怠ファクター、操作ファクターのような種類別のファクターに基づく長期ストレス値を算出した後に、複数の長期ストレス値が統合された値を算出してもよい。
このような発症に関わるリスクを有するファクターの決定や関数の生成には、勤怠データや操作データだけでなく、種々のセンサデータを用いることができる。例えば、他のデバイス2(例えば、携帯型デバイス、装着型デバイス、トイレ型デバイス、自律走行型デバイス等)によって取得されたセンサデータを用いた場合も同様に、メンタルストレス推定部31は、発症に関わるリスクを有するファクターを決定し、長期ストレス値を算出するための関数を生成することができる。
また、メンタルストレス推定部31は、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定の少なくとも一つ以上に基づくストレスの大きさの変動度合いと、ストレスに関連する複数のファクター(要因)の変動度合いとを用いて、それら複数のファクターのうち、一つ以上のファクターを、長期ストレスの判定又は長期ストレス値の算出に用いる要因に決定してもよい。複数のファクターは、人間の心拍又は脈拍の少なくとも一方に関する一つ以上のファクター、電子機器の操作状況に関する一つ以上のファクター、勤怠状況に関する一つ以上のファクター、感情に関する一つ以上のファクター、人体の動きの状況に関する一つ以上のファクター、発話状況に関する一つ以上のファクター、睡眠状況に関する一つ以上のファクター、及び環境に関する一つ以上のファクターの内の、少なくとも二つ以上を含む。なお、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、及び唾液に基づくストレスの判定(判定結果を示すデータ)は、例えば、診断や検査時に健康記録データベース4に格納され、メンタルストレス推定部31は、健康記録データベース4からこの判定結果を示すデータを取得することができる。
<セキュリティゲート>
図19及び図20を参照して、セキュリティゲート2−10を利用するユーザのストレス指標が推定される例について説明する。セキュリティゲート2−10は、据え置き型デバイスの一種であり、建物や部屋の出入口等に設置される。
図19に示すように、セキュリティゲート2−10は、ゲート部を構成する筐体70と、カメラ702とで構成される。筐体70の上面には、このセキュリティゲート2−10を通過しようとするユーザがICカード701Aを接触又は近接させるICタグ受け部701が設けられている。ICタグ受け部701は、UIセンサの一種である。ICタグ受け部701は、接触(近接)されたICカード701Aからデータを読み出す。また、筐体70内には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。カメラ702は、セキュリティゲート2−10を通過しようとするユーザを撮影可能な位置に取り付けられている。カメラ702による撮影で取得された映像データは、例えば、筐体70内のCPU201等によって処理される。
次いで、図20を参照して、セキュリティゲート2−10の機能構成について説明する。セキュリティゲート2−10は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、ICカード認証部711、顔検出部712、顔認証部713、映像脈波算出部714、脈波ピーク間隔算出部715、自律神経解析部716、及び顔表情認識部717を含む。
ICカード認証部711は、ICタグ受け部701によって読み出されたICカード701A内のデータを用いて、ユーザの認証処理を行う。ICカード認証部711は、認証されたユーザがセキュリティゲート2−10を通過したことを示すアクセスログ情報を勤怠データベース351又はアクティビティデータベース355に格納する。これにより、勤怠データベース351又はアクティビティデータベース355に、ユーザが活動しているか否かのようなアクティビティに関する情報が格納される。また、建物や部屋の出入口に設置されたセキュリティゲート2−10での認証により、例えば、ユーザの入室や退室を検知し、タイムレコーダーのように出勤時刻や退勤時刻を勤怠データベース351に入力することもできる。
顔検出部712は、カメラ702を用いて得られた映像から顔を検出する。顔検出部712は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部712は、検出された顔画像に関する情報を顔認証部713、映像脈波算出部714及び顔表情認識部717に出力する。
顔認証部713は、顔検出部712により検出された顔画像を用いて顔認証処理を行う。顔認証部713は、予め用意された複数の人物(例えば、社員)に対応する複数の顔特徴量を用いて、セキュリティゲート2−10を通過しようとする人物を特定する。顔認証部713は、ICカード認証部711と同様に、特定されたユーザがセキュリティゲート2−10を通過したことを示すアクセスログ情報を勤怠データベース351又はアクティビティデータベース355に格納することができる。
映像脈波算出部714、脈波ピーク間隔算出部715、自律神経解析部716、及び顔表情認識部717は、それぞれ、図9を参照して上述した映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、及び顔表情認識部516と同様に動作する。したがって、自律神経解析部716は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。また、顔表情認識部717は、認識された表情の種別(例えば、喜怒哀楽)等を含む感情情報をメンタルストレス推定部31に送信する。
なお、勤怠データベース351及びアクティビティデータベース355は、図7に示したセンサデータベース35の一つであり、例えば、サーバ3内に設けられる。各データベース351,355は、サーバ3によってアクセス可能であれば、サーバ3とは別のサーバ内に設けられていてもよい。
メンタルストレス推定部31(ファクター決定部312)は、図18に示した据え置き型コンピュータ2−9の例と同様にして、勤怠データベース351(又はアクティビティデータベース355)から、特定の疾患を発症した事例の勤怠データ(又はアクティビティデータ)を抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、出勤時間、残業時間、無断欠勤日数のような複数の勤怠ファクターが含まれている。なお、抽出されたデータを解析することにより得られたデータがファクターとして用いられてもよい。例えば、出勤時間を示すデータに基づいて算出された出勤時間のばらつきがファクターとして用いられ得る。
メンタルストレス推定部31は、多数の発症事例のデータを用いて、各勤怠ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数の勤怠ファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。
メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザの勤怠データに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザによる勤怠状況が特定の疾患を発症しやすい状況であるかどうかを判断することができる。
<自律移動型ロボット>
図21及び図22を参照して、自律移動型ロボット2−11を利用するユーザのストレス指標が推定される例について説明する。自律移動型ロボット2−11は、例えば、家庭内で利用されるホームロボットである。
図21は、自律移動型ロボット2−11の外観の例を示す。図21では、人型の自律移動型ロボット2−11を例示している。自律移動型ロボット2−11は、例えば、マイク751、カメラ752、湿度センサ753、温度センサ754等のセンサを有している。
自律移動型ロボット2−11は、頭部75にマイク751とカメラ752とスピーカ206とを備え、胴体部76に湿度センサ753と温度センサ754とを備えている。また、胴体部76の前面には、ディスプレイ(タッチスクリーンディスプレイ)205が取り付けられている。また、頭部75及び/又は胴体部76内には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等が内蔵されている。
マイク751は、自律移動型ロボット2−11の周囲にいるユーザによる発話を含む音声を集音する。カメラ752は、自律移動型ロボット2−11の周囲(例えば、前方)を撮影する。自律移動型ロボット2−11は、ユーザが顔をカメラ752に向けるような処理を行うことができる。例えば、対話処理によってスピーカ206から出力される音声でユーザに話しかけること、頭部75や胴体部76に接続された腕部77,78の動きにより可愛らしいしぐさをすること、ディスプレイ205の画面にユーザの興味を引くような画像を表示することが可能である。湿度センサ753及び温度センサ754は、湿度と温度とを検知する。
次いで、図22を参照して、自律移動型ロボット2−11の機能構成について説明する。自律移動型ロボット2−11は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、会話量推定部761、声質変化検出部762、顔検出部763、映像脈波算出部764、脈波ピーク間隔算出部765、自律神経解析部766、顔表情認識部767、及び環境不快度算出部768を含む。
会話量推定部761、声質変化検出部762は、それぞれ、図16を参照して上述した会話量推定部611、声質変化検出部612と同様に動作する。顔検出部763、映像脈波算出部764、脈波ピーク間隔算出部765、自律神経解析部766、顔表情認識部767、及び環境不快度算出部768は、それぞれ、図9を参照して上述した顔検出部512、映像脈波算出部513、脈波ピーク間隔算出部514、自律神経解析部515、顔表情認識部516、及び環境不快度算出部519と同様に動作する。
したがって、会話量推定部761は、会話量(又は発話量)を示す発話情報をメンタルストレス推定部31に送信する。声質変化検出部762は、検出された声質の変化を示す発話情報をメンタルストレス推定部31に送信する。自律神経解析部766は、脈拍数や脈拍のばらつきを示す自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。顔表情認識部767は、認識された表情の種別(例えば、喜怒哀楽)等を含む感情情報をメンタルストレス推定部31に送信する。また、環境不快度算出部768は、算出された環境不快度(例えば、PMV、WBGT等)を含む環境情報をメンタルストレス推定部31に送信する。送信された発話情報、生体情報、感情情報、及び環境情報は、例えば、サーバ3内のセンサデータベース35に格納される。
メンタルストレス推定部31は、センサデータベース35に格納されたデータを用いて、会話量、声質変化、自律神経指標、表情の種別、環境不快度のような複数のファクターの内の少なくとも一つに基づいて、ストレスの大きさ(例えば、長期ストレス値)を判定する。より具体的には、メンタルストレス推定部31(ファクター決定部312)は、センサデータベース35から、特定の疾患を発症した事例のセンサデータを抽出する。メンタルストレス推定部31は、例えば、鬱病と診断されたユーザの、その診断前後のデータを勤怠データベース351から抽出する。抽出されたデータには、例えば、会話量、声質変化、自律神経指標、表情の種別、環境不快度のような複数のファクターが含まれている。なお、抽出されたデータを解析することにより得られたデータがファクターとして用いられてもよい。例えば、表情の種別を示すデータに基づいて算出された笑顔の回数や頻度がファクターとして用いられ得る。
メンタルストレス推定部31は、多数の発症事例のデータを用いて、各ファクターが発症に関わるリスクの有無や、そのリスクの度合いを学習する。メンタルストレス推定部31は、複数のファクターの内、発症に関わるリスクを有するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応するリスクの度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。
メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザのセンサデータに基づく長期ストレス値を算出する。この長期ストレス値に基づき、そのユーザが特定の疾患を発症しやすい状況にあるかどうかを判断することができる。
<トイレ型デバイス>
図23から図26を参照して、トイレ型デバイス2−12,2−13を利用するユーザのストレス指標が推定される例について説明する。なお、このユーザは、マイク等を備える装着型デバイス(例えば、手首デバイス)を装着していてもよい。
図23は、第1のトイレ型デバイス2−12の外観の例を示す。図23では、トイレ型デバイス2−12が小便器の形状を有する場合を例示する。
トイレ型デバイス2−12は、便器83とカメラ803とで構成される。便器83の上部には水洗ボタン804と人感センサ801とが設けられ、便器83内の下部には尿センサ802が設けられている。人感センサ801は、例えば、赤外線(IR)センサであり、ユーザが便器83に近付いたことを検知する。尿センサ802は、バイオセンサ(バイオマーカ)の一種であり、便器83内に排泄された尿に含まれる成分やその成分に関する指標(例えば、濃度等)を検知する。カメラ803は、便器83を使用するユーザの顔を撮影するように設置される。また、便器83には、図6を参照して上述したような、CPU201、主メモリ202、不揮発性メモリ203、通信モジュール204等を含むモジュールが内蔵又は取り付けられている。
次いで、図24を参照して、トイレ型デバイス2−12の機能構成について説明する。トイレ型デバイス2−12は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、バイオマーカ検知部811、顔検出部812、映像脈波算出部813、脈波ピーク間隔算出部814、及び自律神経解析部815を含む。
バイオマーカ検知部811は、人感センサ801により有人が検知されたことに応じて、尿センサ802から尿データを取得し、水洗ボタン804が押し下げられたことに応じて尿データの取得を終了する。尿データには、例えば、尿カテコールアミンの指標が含まれている。バイオマーカ検知部811は、尿データを含むバイオマーカ情報をメンタルストレス推定部31に送信する。
顔検出部812は、人感センサ801により有人が検知された時点から、水洗ボタン804が押し下げられるまで、カメラ803を用いて得られた映像から顔を検出する。顔検出部812は、映像を構成する連続した映像フレームの各々から、例えば、予め用意された顔特徴量に類似する特徴量を有する領域を検出することにより、映像フレーム上の顔画像を検出する。顔検出部812は、検出された顔画像に関する情報を映像脈波算出部813に出力する。
映像脈波算出部813は、顔検出部812により出力された情報を用いて、ユーザの脈波に関する情報を算出する。より具体的には、映像脈波算出部813は、連続した映像フレームから検出された顔画像の変化(例えば、皮膚の色の変化)に基づいて、ユーザの脈波を算出する。
脈波ピーク間隔算出部814は、算出された脈波のピーク間隔を算出する。そして、自律神経解析部815は、算出された脈波のピーク間隔を解析することにより、脈拍数や脈拍のばらつきを示す自律神経指標を算出する。自律神経解析部815は、排泄中の少なくとも一部の期間、排泄後の期間のような特定の期間の自律神経指標を算出してもよい。自律神経解析部815は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。送信されたバイオマーカ情報及び生体情報は、例えば、サーバ3内のセンサデータベース35に格納される。
また、図25は、第2のトイレ型デバイス2−13の外観の例を示す。図25では、トイレ型デバイス2−13が大便器の形状を有する場合を例示する。
トイレ型デバイス2−13は、便器871、便座872、操作パネル873等で構成される。操作パネル873上には、水洗ボタン873−1等のいくつかのボタンが配置されている。ユーザがトイレ型デバイス2−13を使用するとき、便器871の上部には便座872が配置されている。この便座872には、ユーザが着座した際に接触する位置に接触センサ851が設けられ、着座したユーザの大腿部に接する位置に心電センサ853が設けられている。また、便器871内の下部には尿センサ852が設けられている。接触センサ851は、ユーザが便座872に接触(着座)したことを検知する。心電センサ853は、着座したユーザの心拍の波形(心電図)を検知する。尿センサ852は、便器871内に排泄された尿に含まれる成分やその成分に関する指標(例えば、濃度等)を検知する。
図26を参照して、トイレ型デバイス2−13の機能構成について説明する。トイレ型デバイス2−13は、ストレス監視プログラム202Bを実行する。以下では、まず、ストレス監視プログラム202Bに含まれるセンサ処理部251の機能構成について述べる。センサ処理部251は、バイオマーカ検知部861、心拍ピーク間隔算出部862、及び自律神経解析部863を含む。
バイオマーカ検知部811は、接触センサ851により有人が検知されたことに応じて、尿センサ852から尿データを取得し、水洗ボタン873−1が押し下げられたことに応じて尿データの取得を終了する。尿データには、例えば、尿カテコールアミンの指標が含まれている。バイオマーカ検知部861は、尿データを含むバイオマーカ情報をメンタルストレス推定部31に送信する。
心拍ピーク間隔算出部862は、心電センサ853により計測された波形のピーク間隔である心拍間隔を算出する。自律神経解析部863は、算出された心拍間隔を解析することにより、心拍数や心拍のばらつきを示す自律神経指標を算出する。自律神経解析部863は、排泄中の少なくとも一部の期間、排泄後の期間のような特定の期間の自律神経指標を算出してもよい。自律神経解析部863は、算出された自律神経指標を含む生体情報をメンタルストレス推定部31に送信する。送信されたバイオマーカ情報及び生体情報は、例えば、サーバ3内のセンサデータベース35に格納される。
なお、各トイレ型デバイス2−12,2−13は、ユーザが装着している装着型デバイス(例えば、手首デバイス2−5、パンツ型デバイス2−8)と連携して動作してもよい。これらトイレ型デバイス2−12,2−13と装着型デバイスとは、近距離無線通信によりデータを送受信する。その場合、装着型デバイスは、装着型デバイスに設けられたマイクで得られた音声データから水洗音を認識し、水洗音が認識されたことをトイレ型デバイス2−12,2−13に通知する。バイオマーカ検知部811,861、顔検出部812、及び心拍ピーク間隔算出部862は、この通知に基づいて、尿データの取得と映像からの顔検出を終了することもできる。なお、トイレ型デバイス2−12,2−13は、装着型デバイスから音声データ又は音声特徴量を受信し、デバイス2−12,2−13上で水洗音を認識してもよい。
メンタルストレス推定部31(ストレス値決定部313)は、バイオマーカ情報と生体情報とを用いて、例えば、排泄(放尿)前、排泄中、及び排泄後の短期ストレス値を算出する。排泄中の少なくとも一部の期間(例えば、後半)や排泄後の期間には、ユーザが平常心(すなわち、心理的に無の状態)になりやすいので、メンタルストレス推定部31は、その期間の生体情報を用いて、基準(ベースライン)となる短期ストレス値を算出することができる。このストレス値は、例えば、一日毎の基準となる短期ストレス値である。なお、事前の尿検査等により、バイオマーカを用いて尿カテコールアミンの指標を取得し、これを基準値(リファレンス)としてもよい。
メンタルストレス推定部31は、排泄中の少なくとも一部の期間、又は排泄後の期間のストレスの値に基づいて、長期ストレスの有無や長期ストレスの大きさ(例えば、長期ストレス値)を判定する。また、メンタルストレス推定部31は、排泄前の短期ストレス値と、排泄中の短期ストレス値と、排泄後の短期ストレス値とを用いて、それら値の相違や変化の度合いに基づいて、長期ストレスの有無や長期ストレスの大きさを判定してもよい。例えば、排泄前と排泄後で短期ストレス値が下降していなければ、長期ストレス(慢性ストレス)があると判定され、またそれら短期ストレス値の差が小さいほど、長期ストレスが大きくなる。
さらに、メンタルストレス推定部31(ファクター決定部312)は、バイオマーカ情報と生体情報とを用いて、長期ストレスの値を算出するための関数を生成してもよい。バイオマーカ情報に含まれる尿カテコールアミンの指標は、医療分野等で慢性ストレスを示す指標として用いられている。そのため、メンタルストレス推定部31は、尿カテコールアミンの指標と、その他のファクターとを照らし合わせ、慢性ストレスに関わる有為なファクターを探索する。なお、その他のファクターとしては、トイレ型デバイス2−12で得られた自律神経指標のような生体ファクターに限らず、上述した勤怠ファクター、操作ファクター、環境不快度等の環境ファクター、表情の種別のような感情ファクター、会話量や声質変化のような発話ファクター等の、センサデータに基づくあらゆるファクターが含まれ得る。メンタルストレス推定部31は、例えば、尿カテコールアミンの指標と関連(連動)するファクターを特定し、その関連の度合いを算出する。
メンタルストレス推定部31は、複数のファクターの内、尿カテコールアミンの指標と関連するファクターを、長期ストレスの値の決定に用いるファクターに決定する。また、メンタルストレス推定部31は、各ファクターに対応する関連の度合いを用いて、長期ストレスの値を算出するための関数を生成してもよい。メンタルストレス推定部31(ストレス値決定部313)は、この関数を用いて、あるユーザのセンサデータに基づく長期ストレス値を算出することができる。
ストレス推定システム1は、例示したデバイス2−5〜2−13のような複数のデバイス2の少なくとも一つで取得されたセンサデータを用いて、ユーザのストレス値を推定し、ストレス値やストレスを低減するための情報を提供できる。また、ストレス推定システム1は、複数のデバイス2から得られた複数のセンサデータを統合して、ユーザのストレス値を推定し、ストレス値やストレスを低減するための情報を提供できる。
以上説明したように、本実施形態によれば、メンタルストレスの度合いを高精度に推定することができる。メンタルストレス推定部31は、車の運転を開始する前の短期ストレスが第1値であり、車の運転中の短期ストレスが第1値よりも大きい第2値であるとき、車の運転を終了した後の第2値から第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する。これにより、運転中の短期ストレス値(第2値)から、平常(運転開始前)の短期ストレス値(第1値)への運転終了後の戻りやすさに応じて、長期ストレスの大きさを判定することができるので、メンタルストレスの度合いを高精度に推定できる。
また、本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…ストレス推定システム、15…ネットワーク、2…センシングデバイス、3…サーバ(クラウド検査サービス)、4…健康記録データベース(PHR)、201…CPU、202…主メモリ、202A…OS、202B…ストレス監視プログラム、203…不揮発性メモリ、204…通信モジュール、205…ディスプレイ、206…スピーカ、251…センサ処理部、252…表示制御部、301…CPU、302…主メモリ、302A…OS、302B…ストレス推定プログラム、303…不揮発性メモリ、304…BIOS−ROM、305…通信モジュール、31…メンタルストレス推定部、32…行動変容決定部、311…蓄積処理部、312…ファクター決定部、313…ストレス値決定部、314…アラート生成部、315…スケジュール生成部。

Claims (17)

  1. 車の運転を開始する前の短期ストレスが第1値であり、前記車の運転中の短期ストレスが前記第1値よりも大きい第2値であるとき、前記車の運転を終了した後の前記第2値から前記第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する決定手段を備えるシステム。
  2. 前記決定手段は、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定し、
    前記電子機器は、携帯型の機器であるか、人体装着型の機器である請求項1記載のシステム。
  3. 前記決定手段は、閾値以上の人体の変動の繰り返しに関する情報をさらに用いて、長期ストレスの大きさを判定する請求項1または請求項2に記載のシステム。
  4. 第1の方法によるストレスの大きさの変動度合いと、ストレスに関連する複数の要因の変動度合いとを用いて、前記決定手段は、前記複数の要因のうち、1以上の要因を、長期ストレスの判定に用いる要因とし、
    前記第1の方法とは、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、唾液に基づくストレスの判定の少なくとも1以上に基づいてストレスを判定する方法であり、
    前記複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する1以上の要因、電子機器の操作状況に関する1以上の要因、勤怠状況に関する1以上の要因、感情に関する1以上の要因、人体の動きの状況に関する1以上の要因、発話状況に関する1以上の要因、睡眠状況に関する1以上の要因、及び環境に関する1以上の要因の内の少なくとも2以上を含む請求項1乃至請求項3のいずれか一項に記載のシステム。
  5. 前記決定手段は、排泄中の少なくとも一部の期間、又は排泄後の期間のストレスの値に基づいて、長期ストレスの大きさを判定する請求項1乃至請求項4のいずれか一項に記載のシステム。
  6. 前記決定手段によって定められた長期ストレスの大きさに応じて、ユーザに対する警告を出力する出力手段をさらに備える請求項1乃至請求項5のいずれか一項に記載のシステム。
  7. 前記決定手段によって定められた長期ストレスの大きさに応じて、ストレスを低下させるためのユーザに推奨される行動に関する情報を出力する出力手段をさらに備える請求項1乃至請求項5のいずれか一項に記載のシステム。
  8. 前記決定手段によって定められた長期ストレスの大きさに応じて、推奨される勤務形態に関する情報を出力する出力手段をさらに備える請求項1乃至請求項5のいずれか一項に記載のシステム。
  9. 車の運転を開始する前の短期ストレスが第1値であり、前記車の運転中の短期ストレスが前記第1値よりも大きい第2値であるとき、前記車の運転を終了した後の前記第2値から前記第1値に向かうストレスの値の変化に応じて、コンピュータにより、長期ストレスの大きさを判定する方法。
  10. 前記判定することは、電子機器の操作の頻度に関する情報をさらに用いて、長期ストレスの大きさを判定し、
    前記電子機器は、携帯型の機器であるか、人体装着型の機器である請求項9記載の方法。
  11. 前記判定することは、閾値以上の人体の変動の繰り返しに関する情報をさらに用いて、長期ストレスの大きさを判定する請求項9または請求項10に記載の方法。
  12. 第1の方法によるストレスの大きさの変動度合いと、ストレスに関連する複数の要因の変動度合いとを用いて、前記判定することは、前記複数の要因のうち、1以上の要因を、長期ストレスの判定に用いる要因とし、
    前記第1の方法とは、医者によるストレスの判定、問診票に基づくストレスの判定、尿に基づくストレスの判定、唾液に基づくストレスの判定の少なくとも1以上に基づいてストレスを判定する方法であり、
    前記複数の要因は、人間の心拍又は脈拍の少なくとも一方に関する1以上の要因、電子機器の操作状況に関する1以上の要因、勤怠状況に関する1以上の要因、感情に関する1以上の要因、人体の動きの状況に関する1以上の要因、発話状況に関する1以上の要因、睡眠状況に関する1以上の要因、及び環境に関する1以上の要因の内の少なくとも2以上を含む請求項9乃至請求項11のいずれか一項に記載の方法。
  13. 前記判定することは、排泄中の少なくとも一部の期間、又は排泄後の期間のストレスの値に基づいて、長期ストレスの大きさを判定する請求項9乃至請求項12のいずれか一項に記載の方法。
  14. 前記判定することによって定められた長期ストレスの大きさに応じて、ユーザに対する警告を出力する請求項9乃至請求項13のいずれか一項に記載の方法。
  15. 前記判定することによって定められた長期ストレスの大きさに応じて、ストレスを低下させるためのユーザに推奨される行動に関する情報を出力する請求項9乃至請求項13のいずれか一項に記載の方法。
  16. 前記判定することによって定められた長期ストレスの大きさに応じて、推奨される勤務形態に関する情報を出力する請求項9乃至請求項13のいずれか一項に記載の方法。
  17. コンピュータにより実行されるプログラムであって、前記プログラムは、
    車の運転を開始する前の短期ストレスが第1値であり、前記車の運転中の短期ストレスが前記第1値よりも大きい第2値であるとき、前記車の運転を終了した後の前記第2値から前記第1値に向かうストレスの値の変化に応じて、長期ストレスの大きさを判定する手順を前記コンピュータに実行させるプログラム。
JP2017120560A 2017-06-20 2017-06-20 システム及び方法 Active JP6803299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017120560A JP6803299B2 (ja) 2017-06-20 2017-06-20 システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120560A JP6803299B2 (ja) 2017-06-20 2017-06-20 システム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020197078A Division JP7048709B2 (ja) 2020-11-27 2020-11-27 システム及び方法

Publications (2)

Publication Number Publication Date
JP2019004924A true JP2019004924A (ja) 2019-01-17
JP6803299B2 JP6803299B2 (ja) 2020-12-23

Family

ID=65026110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120560A Active JP6803299B2 (ja) 2017-06-20 2017-06-20 システム及び方法

Country Status (1)

Country Link
JP (1) JP6803299B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146345A (ja) * 2019-03-15 2020-09-17 キヤノンメディカルシステムズ株式会社 患者監視装置
JP2020170382A (ja) * 2019-04-04 2020-10-15 株式会社Nttドコモ 推定処理装置及び推定モデル構築装置
JP2020185322A (ja) * 2019-05-17 2020-11-19 旭化成株式会社 コンテンツ配信装置、ユーザー機器、システム、コンテンツ配信方法、プログラム、および、コンピュータ可読記憶媒体
JP6913803B1 (ja) * 2020-08-25 2021-08-04 株式会社オプティム プログラム、方法、及びシステム
WO2021199271A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 ストレス発散度算出装置、ストレス発散度算出方法、及びコンピュータ読み取り可能な記録媒体
WO2022176808A1 (ja) * 2021-02-17 2022-08-25 道央 横山 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
WO2022259464A1 (ja) * 2021-06-10 2022-12-15 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
WO2023276525A1 (ja) * 2021-06-29 2023-01-05 浩士 中村 生体情報取得装置及びそれを用いた生体状態警告システム
WO2023204218A1 (ja) * 2022-04-18 2023-10-26 幸男 篠崎 認知力推定装置、及びプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7341682B2 (ja) 2019-03-15 2023-09-11 キヤノンメディカルシステムズ株式会社 患者監視装置
JP2020146345A (ja) * 2019-03-15 2020-09-17 キヤノンメディカルシステムズ株式会社 患者監視装置
JP7297236B2 (ja) 2019-04-04 2023-06-26 株式会社Nttドコモ 推定処理装置及び推定モデル構築装置
JP2020170382A (ja) * 2019-04-04 2020-10-15 株式会社Nttドコモ 推定処理装置及び推定モデル構築装置
JP2020185322A (ja) * 2019-05-17 2020-11-19 旭化成株式会社 コンテンツ配信装置、ユーザー機器、システム、コンテンツ配信方法、プログラム、および、コンピュータ可読記憶媒体
JP7416215B2 (ja) 2020-03-31 2024-01-17 日本電気株式会社 ストレス発散度算出装置、ストレス発散度算出方法、及びプログラム
WO2021199271A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 ストレス発散度算出装置、ストレス発散度算出方法、及びコンピュータ読み取り可能な記録媒体
WO2022043980A3 (ja) * 2020-08-25 2022-04-14 株式会社オプティム プログラム、方法、及びシステム
JP2022037828A (ja) * 2020-08-25 2022-03-09 株式会社オプティム プログラム、方法、及びシステム
JP6913803B1 (ja) * 2020-08-25 2021-08-04 株式会社オプティム プログラム、方法、及びシステム
WO2022176808A1 (ja) * 2021-02-17 2022-08-25 道央 横山 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
WO2022259464A1 (ja) * 2021-06-10 2022-12-15 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
WO2023276525A1 (ja) * 2021-06-29 2023-01-05 浩士 中村 生体情報取得装置及びそれを用いた生体状態警告システム
WO2023204218A1 (ja) * 2022-04-18 2023-10-26 幸男 篠崎 認知力推定装置、及びプログラム

Also Published As

Publication number Publication date
JP6803299B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
JP6803299B2 (ja) システム及び方法
US20210196188A1 (en) System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US11259707B2 (en) Methods, systems and devices for measuring heart rate
US8781791B2 (en) Touchscreen with dynamically-defined areas having different scanning modes
US8768648B2 (en) Selection of display power mode based on sensor data
Khusainov et al. Real-time human ambulation, activity, and physiological monitoring: Taxonomy of issues, techniques, applications, challenges and limitations
Haouij et al. AffectiveROAD system and database to assess driver's attention
US8827906B2 (en) Methods, systems and devices for measuring fingertip heart rate
CN104755020B (zh) 精神压力测量系统
US8751194B2 (en) Power consumption management of display in portable device based on prediction of user input
US20150182160A1 (en) Function operating method based on biological signals and electronic device supporting the same
US20140247146A1 (en) Mobile device that monitors an individuals activities, behaviors, habits or health parameters
US20140247155A1 (en) Methods using a mobile device to monitor an individual's activities, behaviors, habits or health parameters
Booth et al. Multimodal human and environmental sensing for longitudinal behavioral studies in naturalistic settings: Framework for sensor selection, deployment, and management
JP5958825B2 (ja) 感性評価システム、感性評価方法、およびプログラム
JP6742380B2 (ja) 電子装置
JP7048709B2 (ja) システム及び方法
WO2018116703A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
US10426394B2 (en) Method and apparatus for monitoring urination of a subject
CN114080180A (zh) 检测和测量打鼾
CN110446458B (zh) 信息处理装置和信息处理程序
CN114449945A (zh) 信息处理装置、信息处理系统和信息处理方法
CN110446460B (zh) 信息处理装置和存储介质
Howell et al. A low-power wearable substance monitoring device
CN110268480A (zh) 一种生物测定数据存储方法、电子设备及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201130

R151 Written notification of patent or utility model registration

Ref document number: 6803299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151