JP2021037033A - ドライバーの状態推定方法及びシステム - Google Patents

ドライバーの状態推定方法及びシステム Download PDF

Info

Publication number
JP2021037033A
JP2021037033A JP2019159790A JP2019159790A JP2021037033A JP 2021037033 A JP2021037033 A JP 2021037033A JP 2019159790 A JP2019159790 A JP 2019159790A JP 2019159790 A JP2019159790 A JP 2019159790A JP 2021037033 A JP2021037033 A JP 2021037033A
Authority
JP
Japan
Prior art keywords
driver
data
state
psychological
state estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019159790A
Other languages
English (en)
Inventor
能生 丸山
Yoshio Maruyama
能生 丸山
敏弘 丸山
Toshihiro Maruyama
敏弘 丸山
荻野 晃
Akira Ogino
晃 荻野
鉄軍 苗
Tiejun Miao
鉄軍 苗
昭勝 神谷
Akikatsu Kamiya
昭勝 神谷
外史 東田
Sotofumi Higashida
外史 東田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hazama Ando Corp
Taos Institute Inc
Original Assignee
Hazama Ando Corp
Taos Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hazama Ando Corp, Taos Institute Inc filed Critical Hazama Ando Corp
Priority to JP2019159790A priority Critical patent/JP2021037033A/ja
Publication of JP2021037033A publication Critical patent/JP2021037033A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】輸送系車両、建設機械のドライバーを含む各種のドライバー毎に、各ドライバーに合致する状態推定式を導入して、運転に適した状態か否かを的確に判定する。【解決手段】この方法及びシステムは、ドライバーから脈波を含む生理データ等を測定し、この生理データ等からドライバーの心理状態を推定する状態推定式を用いて、ドライバーの運転に関して心理データを作成してドライバーの状態の適・不適を推定するもので、ドライバー毎にドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと生理データ等とに基づいてドライバー毎に状態推定式を作成、更新する。【選択図】図6

Description

本発明は、ダンプカーなどの輸送系車両やブルドーザーなどの建設重機を含む各種の車両のドライバーの眠気、疲労、ストレスなど車両の運転に不適な状態を推定(又は判定)するドライバーの状態推定方法及びシステムに関する。
除染土壌などの輸送において、これまでもヒューマンエラー対策が図られてきたが、交通事故やルート逸脱などのトラブルが発生している。今後、輸送量はますます増大し、ハード面のみならず、ソフト面からもリスク低減対策が必要になっている。
ところで、近年、交通事故などの予防策として、車両の運転手の運転中の生体状態を推定(又は判定)する方法や装置が注目されている。この種の方法や装置が特許文献1などにより提案されている。
特許文献1は自動車運転者居眠り防止装置に関するもので、この装置は、ハンドルに運転者からの情報を検知するための複数のセンサー(緊握センサー、脈波センサー、心電センサー)から構成される運転者状態検知手段を有し、車輌の内部に車両の走行状態を検知するための複数のセンサーから構成される車輌状態検知手段を備え、また、車輌状態検知手段は運転者状態検知手段からの検知情報に基づいて、運転者の眠気状態を判定する情報処理装置を有し、この情報処理装置は、判定の結果、眠気が発生していると判定された場合に、車輌状態検知手段からの情報に応じて運転者に対して警告するか否かを判定する。この場合、脈波間隔、心電波形が覚醒時、たとえば市街地走行時の脈波、心電間隔と比べて長いと検知した場合、もしくは、脈波、心電間隔の揺らぎの周波数分析を行い、大よそ0.15〜0.4(Hz)の周波数帯域の成分が覚醒時に比べて増加していると検知した場合、もしくは、共に検知した場合、運転者に眠気が発生しているとして判定する。
また、この文献1以外にも、種々のセンサーで集めたドライバーに関するデータからドライバーの眠気や疲労の程度を検知してドライバーの状態を判定するドライバーの状態推定方法が多数提案されている(例えば特許文献2、3など参照)。
特開2011−8457号公報 特開2007−94542号公報 特開2015−189402号公報
しかしながら、特許文献1の装置では、脈波間隔、心電波形が覚醒時、たとえば市街地走行時の脈波、心電間隔と比べて長いと検知した場合、もしくは、脈波、心電間隔の揺らぎの周波数分析を行い、大よそ0.15〜0.4(Hz)の周波数帯域の成分が覚醒時に比べて増加していると検知した場合、運転者に眠気が発生していると判定するが、「脈波間隔、心電波形が覚醒時の脈波、心電間隔と比べて長い」、「脈波、心電間隔の揺らぎの周波数帯域の成分が覚醒時に比べて増加している」との判断には、予め設けられた判定閾値(状態推定式)を使っており、生体データは健康状態や精神状態による変動よりも、健常時の個人差の方が大きいところ、複数のドライバーの状態を同じ(共通)の閾値(状態推定式)で判定することは誤った判定を引き起こす危険性がある、という問題がある。この種の他のドライバーの状態推定方法においても同様の問題がある。
本発明は、このような従来の問題を解決するもので、この種のドライバーの状態推定方法及びシステムにおいて、輸送系車両、建設機械のドライバーを含む各種のドライバー毎に、各ドライバーに合致する状態推定式を導入して、運転に適した状態か否かを可及的に正しく判定することを目的とする。
上記目的を達成するために、本発明のドライバーの状態推定方法は、
輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、前記環境データ及び/又は前記行動データ及び/又は前記生理データから、ドライバーの心理状態を推定するための各種の状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定するドライバーの状態推定方法において、
ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、前記ドライバーの自己判定による心理データと、前記環境データ及び/又は前記行動データ及び/又は前記生理データとに基づいて、ドライバー毎に前記状態推定式を作成、更新する、
ことを要旨とする。
この場合、測定した環境データ及び/又は行動データ及び/又は生理データを測定時刻と共に記録し、ドライバーの自己判定による心理データを作成時刻と共に記録し、前記各データを一定期間蓄積した後、前記ドライバーの自己判定による心理データと同じ時刻の前記環境データ及び/又は前記行動データ及び/又は前記生理データを抜き出し、前記環境データ及び/又は前記行動データ及び/又は前記生理データと前記ドライバーの自己判定による心理データを原因と結果を表す教師データとして、機械学習により、状態推定式を自動調整し、これを繰り返す。
上記目的を達成するために、本発明のドライバーの状態推定システムは、
輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定する測定器及び前記測定機をコントロールするコントロールユニットと、
前記測定機に前記コントロールユニットを介して接続され、前記環境データ及び/又は前記行動データ及び/又は前記生理データから、ドライバーの心理状態を推定するための各種の状態推定式により、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する状態推定器と、
前記状態推定器に接続され、前記環境データ及び/又は前記行動データ及び/又は前記生理データを測定時刻と共に記録するデータの記憶部と、
前記状態推定器に接続され、ドライバーの心理状態を推定するための各種の状態推定式を記録する状態推定式の記憶部と、
ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを入力する心理データ入力デバイスと、
前記心理データ入力デバイスに接続され、前記ドライバーの自己判定による心理データを記録する心理データの記憶部と、
前記心理データの記憶部と、前記データの記憶部と、前記状態推定式の記憶部との間に接続され、前記ドライバーの自己判定による心理データと、前記環境データ及び/又は前記行動データ及び/又は前記生理データとに基づいて、前記状態推定式の記憶部の前記状態推定式をドライバー毎の前記状態推定式として作成、更新する状態推定式更新器と、
を備え、
前記環境データ及び/又は前記行動データ及び/又は前記生理データと前記ドライバーの自己判定による心理データとに基づいて作成、更新されたドライバー毎の前記状態推定式により、ドライバー毎にドライバーの運転についてドライバーの状態の適・不適を推定する、
ことを要旨とする。
この場合、状態推定器、データの記憶部、状態推定式の記憶部、心理データの記憶部、及び状態推定式更新器はパソコン又はタブレット、スマートフォンを含むモバイル端末で構成され、測定器がコントロールユニットを介して前記パソコン又は前記モバイル端末に無線で接続され、心理データ入力デバイスは専用機器として、又はタブレット、スマートフォンを含むモバイル端末で構成され、前記状態推定器側の前記パソコン又は前記モバイル端末に無線で接続される。
また、この場合、状態推定器に通信手段を介して接続され、前記状態推定器においてドライバーの運転に関して正常以外の状態が推定されたときに、ドライバーに向けてドライバーの心理状態を示す情報及び/又はドライバーの行動に介入する情報を出力する介入器を併せて備える。この介入器は専用機器として又はタブレット、スマートフォンを含むモバイル端末として構成され、状態推定器に無線で接続されることが望ましい。
さらに、この場合、介入器と心理データ入力デバイスは別体又は一体に構成される。
本発明の方法及びシステムによれば、輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定するための各種の状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定するドライバーの状態推定方法及びシステムにおいて、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと、環境データ及び/又は行動データ及び/又は生理データとに基づいて、ドライバー毎に状態推定式を作成、更新するようにしたので、輸送系車両、建設機械のドライバーを含む各種のドライバー毎に、各ドライバーに合致する状態推定式を導入して、運転に適した状態か否かを可及的に正しく判定することができる、という本発明独自の格別な効果を奏する。
本発明の一実施の形態に係るドライバーの状態推定方法及びシステムに関連する先の出願による作業員の疲労状況評価方法に用いる評価装置の全体的な構成を示すブロック図 同評価装置の要部の構成を示すブロック図 本発明の一実施の形態に係るドライバーの状態推定方法及びシステムに関連する先の別の出願によるドライバーの状態推定方法及び装置のイメージを示す図 同推定装置の全体的な構成を示すブロック図 同推定装置の要部の構成を示すブロック図 本発明の一実施の形態に係るドライバーの状態推定方法に用いるシステムの構成を示すブロック図 同システムによる状態推定式を更新する流れを示す図 同システムによる状態推定式の更新に使用する教師データの作成例を示す図 同システムによりクラスタリングを使って状態推定式を更新する場合のクラスタリングを模式的に示す図 同システムによりニューラルネットワークを使って状態推定式を更新する場合のニューラルネットワークを模式的に示す図
次に、この発明を実施するための形態について図を用いて説明する。
このドライバーの状態推定方法(以下、本方法という。)及びシステム(以下、本システムという。)は、輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定するための各種の状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定することを基本とするもので、本方法及び本システムでは、特に、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと、環境データ及び/又は行動データ及び/又は生理データとに基づいて、ドライバー毎に状態推定式を作成、更新するものとした。
まず、本方法及び本システムで基本とするドライバーの状態推定方法及びシステムは、本願出願人が先の特許出願(特願2018−019187)により提案した作業員の疲労状況評価方法及び装置、また、先の特許出願(特願2018−207994)で提案したドライバーの状態推定方法及びシステムなどを含むもので、その概要は次のとおりである。
前者の特許出願の作業員の疲労状況評価方法は、作業員、すなわち、被検者の身体的状態を構成する自律神経系の状態と精神的な状態の両方の状態を測定する一方で、熱疲労についても測定し、これらの測定結果に基づいてその人間の疲労状況を評価するもので、この方法では、リアプノフ指数と従来から取り入れられていた指標(例えば身体的疲労指標やWBGT)を組み合わせることで、被検者の精神的状態を考慮した疲労の評価を行う。
そこで、被検者の疲労状況評価方法として、被検者を疲労状態に導く要素である「熱疲労」、「精神的疲労」、「身体的疲労」の3項目をもって評価する。その中で、熱疲労は被検者から測定した脈波のリアプノフ指数とWBGT(体感暑さ指数)を使って評価し、精神的疲労は被検者から測定した脈波のリアプノフ指数と心拍ゆらぎを使って評価し、身体的疲労は、体動面積、体動量および心拍ゆらぎから評価する。脈波のリアプノフ指数は脈波の測定値からカオス解析で求める。心拍ゆらぎは脈波の測定値から脈拍数の変動や脈拍の間隔の変動を計算して求められる。WBGTは被検者の周囲環境の気温、湿度、全天日射量、平均風速から求める。体動面積と体動量は被検者に装着された加速度計の測定値を演算して求める。
上記熱疲労等の、より具体的な疲労の求め方を挙げると、
熱疲労の危険度は以下の式で求める。
(WBGT > 28℃且つリアプノフ指数 > S1)または(WBGT > 28℃且つリアプノフ指数 < S2)
精神的疲労の危険度は以下の式で求める。
リアプノフ指数 > S1、 且つ 心拍ゆらぎ> S3
身体的疲労の危険度は以下の式で求める。
体動面積 > S4、 且つ 活動量> S5、 且つ 心拍ゆらぎ> S3
ここで、S1〜S5は閾値である。
この評価方法に用いる作業員の疲労状況評価装置を図1、図2に示す。この評価装置は、被検者から脈波を測定する脈波測定部1と、被検者の周囲の環境事項である温度や湿度等を測定する環境測定部2と、被検者の身体の動作事項を測定する体動測定部3と、脈波測定部1により測定した脈波を基にリアプノフ指数を求めるリアプノフ指数算出部11と、脈波測定部1に接続され当該脈波測定部1により測定された脈波を基に心拍ゆらぎを求める心拍算出部12、心拍ゆらぎ算出部13と、環境測定部2に接続され当該環境測定部2により測定された温度や湿度等を基にWBGT(体感暑さ指数)を求めるWBGT算出部15と、体動測定部3に接続され当該体動測定部3により測定された被検者の動作測定値を基に身体的疲労に関する指標である体動データを求める体動データ算出部18、19と、リアプノフ指数、心拍ゆらぎ、体動データ、およびWBGTのデータを格納し、またこれらのデータの対応関係を記憶する記憶部5と、リアプノフ指数算出部11とWBGT算出部15とに接続され、リアプノフ指数とWBGTから熱疲労に対応する熱中症の危険度を評価する熱中症危険評価部16と、リアプノフ指数算出部11と心拍ゆらぎ算出部13とに接続され、リアプノフ指数と心拍ゆらぎから精神的疲労を評価する精神的疲労評価部14と、体動データ算出部17、18、19と心拍ゆらぎ算出部13とに接続され、体動データと心拍ゆらぎから身体的疲労に対応する行動面による危険度を評価する行動危険評価部20と、熱中症危険評価部16、精神的疲労評価部14、および行動危険評価部20に接続され、これら熱中症危険評価部16、精神的疲労評価部14、および行動危険評価部20による評価結果を出力する出力部6と、を備える。
この場合、この評価装置は、体動測定部3に接続され、当該体動測定部3により測定された被検者の動作測定値から被検者のX,Y,Z座標を求めるX,Y,Z座標算出部17を備え、また、体動データ算出部18、19は、X,Y,Z座標算出部17に接続され、X,Y,Z座標値を基に被検者の体動面積を求める体動面積算出部18と、X,Y,Z座標算出部17に接続され、X,Y,Z座標値を基に被検者の体動量を求める体動量算出部19とからなる。
また、この場合、リアプノフ指数算出部11は、脈波の測定値からカオス解析でリアプノフ指数を求め、心拍ゆらぎ算出部13は、脈波の測定値から脈拍数の変動を計算して心拍ゆらぎ求め、WBGT算出部15は、被検者の周囲環境における気温、湿度、全天日射量、平均風速からWBGTを求め、体動データ算出部18、19は、X,Y,Z座標算出部17で算出されたX,Y,Z座標を基に体動面積と体動量を求め、
熱中症危険評価部16は、次の式、
(WBGT > 28℃且つリアプノフ指数 > S1)または(WBGT > 28℃且つリアプノフ指数 < S2)
ここで、S1〜S2は閾値、
により熱中症の危険度を評価し、
精神的疲労評価部14は、次の式、
リアプノフ指数 > S1、 且つ 心拍ゆらぎ> S3
ここで、S1、S3は閾値、
により精神的疲労を評価し、また、
行動危険評価部20は、次の式、
体動面積 > S4、 且つ 活動量> S5、 且つ 心拍ゆらぎ> S3
ここで、S3〜S5は閾値、
により行動面による危険度を評価する。
このようにしてリアプノフ指数と、従来から取り入れられていた指標(例えば身体的疲労指標やWBGT)とを組み合わせて被検者の疲労状況評価を行うことで、環境条件による疲労評価に被検者の精神的状態を考慮した疲労を加味した評価を行うことができ、より一層現実に即した対策を採ることができる。
なお、この作業員の疲労状況評価方法及び装置の詳細については、特願2018−019187の明細書を参照されたい。
後者の特許出願のドライバーの状態推定方法は、輸送系車両、建設機械のドライバーを含む各種のドライバーの脈波を測定し、当該脈波から心拍変動ゆらぎ、カオスゆらぎの2種類の生体ゆらぎを計測し、2種類の生体ゆらぎに基づいて、各種のドライバーの運転に支障を及ぼす「適応力低下・落込み状態」、「眠気・疲労状態」、「緊張・気分高揚状態」、「ストレス状態」の4つの状態を推定するものとした。
この方法では、
各種のドライバーの2種類の生体ゆらぎを計測するため、各種のドライバーの脈波から次の指標を計算する、
(1)心拍数(HR)
(2)リアプノフ指数(Lya)
(3)心拍変動の高周波成分(HF)
(4)心拍変動の低周波成分(LF)
「適応力低下・落込み状態」は、HR及びLyaを使い、次式により推定する、
Lya<S1 且つ HR<S2
ここで、S1、S2は閾値、
「眠気・疲労状態」は、HR、HF及びLFを使い、次式により推定する、
HF>S3 且つ HR<S4 且つ LF/HF<S5
ここで、S3、S4、S5は閾値、
「緊張・気分高揚状態」は、HRとLyaを使い、次式により推定する、
HR>S6 かつ Lya>S7
ここで、S6、S7は閾値、
「ストレス状態」は、HF及びLFを使い、次式により推定する、
LF/HF>S8 且つ HF<S9
ここで、S8、S9は閾値。
また、この場合、HF、LF/HFに代えてln(HF)、ln(LF/HF)を使ってもよい。ここでlnは自然対数である。自然対数を使った場合は、閾値も変わる。
この推定方法に用いるドライバーの状態推定装置を図3、図4、及び図5に示す。この推定装置は、各種のドライバーから脈波を測定する脈波測定器1と、脈波測定器1に接続され、当該脈波測定器1により測定した脈波を基にリアプノフ指数を求めるリアプノフ指数算出部21と、脈波測定器1に接続され、当該脈波測定器1により測定された脈波を基に心拍数を求める心拍数算出部22と、脈波測定器1に接続され、当該脈波測定器1により測定された脈波を基に心拍変動の低周波成分、高周波成分、及び低・高周波成分の比を算出する心拍変動の低周波成分・高周波成分算出部23と、リアプノフ指数、心拍数、心拍変動の低周波成分、高周波成分、及び低・高周波成分の比を格納し、またこれらのデータの対応関係を記憶する記憶部3と、リアプノフ指数算出部21と心拍数算出部22とに接続され、リアプノフ指数と心拍数から適応力低下・落込み状態を判定する適応力低下・落込み状態判定部24と、心拍数算出部22と低周波成分・高周波成分算出部23とに接続され、心拍数と心拍変動の低周波成分、高周波成分、低・高周波成分の比から眠気・疲労状態を判定する眠気・疲労状態判定部25と、リアプノフ指数算出部21と心拍数算出部22とに接続され、リアプノフ指数と心拍数から緊張・気分高揚状態を判定する緊張・気分高揚状態判定部26と、低周波成分・高周波成分算出部23に接続され、心拍変動の低周波成分、高周波成分、低・高周波成分の比からストレス状態を判定するストレス状態判定部27と、適応力低下・落込み状態判定部24、眠気・疲労状態判定部25、緊張・気分高揚状態判定部26、及びストレス状態判定部27に接続され、これら適応力低下・落込み状態判定部24、眠気・疲労状態判定部25、緊張・気分高揚状態判定部26、及びストレス状態判定部27による判定結果を出力する出力部4と、を備える。
この場合、心拍変動の低周波成分・高周波成分算出部23は、脈波測定器1に接続され、脈波測定器1により測定された脈波を基に脈波のピークの間隔を求める脈波ピーク間隔算出部231と、脈波ピーク間隔算出部231に接続され、脈波測定器1により求められた時系列データから脈波ピーク間隔のパワースペクトル密度を算出する脈波ピーク間隔のパワースペクトル密度算出部232と、パワースペクトル密度算出部232に接続され、パワースペクトル密度算出部232により求められた脈波ピーク間隔のパワースペクトル密度から心拍変動の低周波成分、高周波成分及び低・高周波成分の比を算出する心拍変動の低周波成分・高周波成分・低周波成分/高周波成分算出部233とにより構成される。
また、この場合、リアプノフ指数算出部21は、脈波の測定値からカオス解析でリアプノフ指数を求め、心拍数算出部22は、脈波の測定値から脈拍数を計算して心拍数を求め、心拍変動の低周波成分・高周波成分算出部23は、脈波の測定値から脈波のピーク間隔を求め、当該脈波のピーク間隔の時系列データを周波数解析して、心拍変動の低周波成分、高周波成分及び低・高周波成分の比を求め、
適応力低下・落込み状態判定部24は、次式、
Lya<S1 且つ HR<S2
ここで、S1、S2は閾値、
により適応力低下・落込み状態を判定する、
眠気・疲労状態判定部25は、次式、
HF>S3 且つ HR<S4 且つ LF/HF<S5
ここで、S3−S5は閾値、
により眠気・疲労状態を判定する、
緊張・気分高揚状態判定部26は、次式、
HR>S6 かつ Lya>S7
ここで、S6、S7は閾値、
により緊張・気分高揚状態を判定する、
ストレス状態判定部27は、次式、
LF/HF>S8 且つ HF<S9
ここで、S8、S9は閾値、
によりストレス状態を判定する。
この場合、HF、LF/HFに代えてln(HF)、ln(LF/HF)を使ってもよい。ここでlnは自然対数である。自然対数を使った場合は、閾値も変わる。
このように輸送系車両、建設機械のドライバーを含む各種のドライバーの脈波を測定し、当該脈波から心拍変動ゆらぎ、カオスゆらぎの2種類の生体ゆらぎを計測し、2種類の生体ゆらぎに基づいて、各種のドライバーの運転に支障を及ぼす「適応力低下・落込み状態」、「眠気・疲労状態」、「緊張・気分高揚状態」、「ストレス状態」の4つの状態を推定することで、従来のような眠気や疲労のみの評価、あるいは眠気と緊張、疲労と緊張といった身体状態と精神状態の一部分だけの評価と異なり、各種のドライバーの状態をより広範かつ詳細に測定して、運転に適した状態か否かを的確に判定することができ、安全管理上、ヒューマンエラー対策上より一層現実に即したきめ細かい対策を採ることができ、しかも、この評価に使う指標はすべて脈波の測定値から算出できることから、脈波センサー以外にセンサーは必要がなく、ドライバーが装着するウエラブルセンサーとしてはシンプルな装置構成とすることができる。
なお、このドライバーの状態推定方法及び装置の詳細は特願2018−207994の明細書を参照されたい。
本方法及び本システムは、上記前者の作業員の疲労状況評価方法及び装置、並びに上記後者のドライバーの状態推定方法及び装置など、この種の方法及び装置であって、精神的健康度を示す脈波のリアプノフ指数と生体データ(心拍数(HR)、心拍変動の高周波成分(HF)、心拍変動の低周波成分(LF)、心拍変動の低周波成分と高周波成分の比率(LF/HF)など)を組み合わせることによって、ドライバーの状態を推定し、ドライバーが車両の運転に不適の状態に陥っているか否かを判定するもの、すなわち、ドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定するための各種の状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定することを基本方法及び基本装置として採用するもので、本方法及び本システムでは、上記の基本方法及び基本装置において、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと、環境データ及び/又は行動データ及び/又は生理データとに基づいて、ドライバー毎にドライバーの状態推定式を作成、更新するものになっている。
まず、本方法について詳述する。本方法では、上記の基本方法において、ドライバーの状態推定に用いる状態推定式を、ドライバーの生体データと心理データを使って自動的に作成、更新する。
この場合のドライバーの状態推定式を作成、更新する具体的な手順は次のとおりである。なお、この場合、ドライバーから測定する測定データは環境データ、行動データ、生理データの全部でもよく、また、その一部又は一部の組み合わせでもよい。ここでは環境データ、行動データ、生理データの全部を測定するものとする。また、この場合、ドライバーの状態推定式はドライバーの心理状態を推定するために必要な数式やパラメータなどで、数式は機械学習のやり方に応じて代数式、関数式、不等式、if−thenルールなどのいずれでもよい。
(手順1)
まず、ドライバーの環境データ、行動データ、生理データを測定する。環境データはドライバーが乗車する車両の運転席の温度、湿度などを測定対象とし、その測定に温度計や湿度計を使用する。行動データは、ドライバーの運転中の動作の機敏さ、不規則動作などを測定対象とし、その測定に三次元加速度計といったセンサーを使用する。生理データはドライバーの脈波、心電、体表面温度などを測定対象とし、脈波や心電の測定に脈波計測器や心電計、体表面温度の測定に体表面温度測定用ユニットを使用する。測定した環境データ、行動データ、生理データは測定時刻と共に記録しておく。
(手順2)
次に、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成する。この場合、ドライバーの心理状態を、正常で特に問題なし、眠い、緊張している、ストレスを感じるなどに分け、これらの状態をドライバーの管理者側へ送信できる通信機器又は専用機器を各トライバーに携帯させて、ドライバーが正常以外の状態、つまり、眠いときは眠くなったときに、緊張しているときは緊張したときに、ストレスがあるときはストレスを感じたときに、その状態を既述の通信機器又は専用機器に入力して管理者側へ送信する。この心理状態の入力、送信は予め決められた時刻や一定時間間隔で行ってもよい。また、管理者側で、適時のタイミングで、又はドライバーに正常以外の心理状態が推定されたとき若しくは確認されたときに、管理者側からドライバーに既述の通信機器や専用機器を使って音声や音などで心理状態の入力を要求(催促)してもよい。測定した心理データは測定時刻と共に記録しておく。
(手順3)
そして、環境データ、行動データ、生理データ、及び心理データを一定期間蓄積した後、ドライバーの自己判定による入力済みの心理データと同じ時刻の環境データ、行動データ、生理データを抜き出し、これら環境データ、行動データ、生理データとドライバーの自己判定による心理データを原因と結果を表す教師データとして、機械学習により、状態推定式を自動調整し、これを繰り返す。この場合、測定した環境データ、行動データ、生理データ、及び心理データを一定期間蓄積した後、この蓄積した各データから、入力済みの心理データと、この心理データと同じ時刻の環境データ、行動データ、生理データを抜き出し、次のように両者の組を作る。
(環境データ、行動データ、生理データ、心理データ)
これを原因(環境データ、行動データ、生理データ)と結果(心理データ)を表す教師データとして、機械学習により、環境、行動、生理の各データからドライバーの心理状態を推定するモデル、すなわち状態推定式を作成、更新する。
この手順1から手順3を繰り返すことにより、ドライバーの心理状態を推定するために用いる初期の状態推定式をドライバー毎の特性に合致させていく。
続いて、本方法に用いる本システムについて図6を用いて詳述する。
図6に示すように、本システムは、ドライバーの状態を推定する装置としての測定器61及びコントロールユニット62、状態推定器63、出力部64、データの記憶部65、状態推定式の記憶部66と、ドライバーの状態推定式を更新する装置としての心理データ入力デバイス67、心理データの記憶部68、状態推定式更新器69と、併せてドライバーの心理状態に応じてドライバーの行動に介入する装置としての介入器70とを備え、測定器61は各種のセンサを有する複数のデータ測定デバイスとからなり、状態推定器63、出力部64、データの記憶部65、状態推定式の記憶部66、心理データの記憶部68、及び状態推定式更新器69はパソコンのハードウェアとソフトウェアとにより構成され、測定器61がコントロールユニット62を介してパソコンに無線で接続され、心理データ入力デバイス67、介入器70はそれぞれ(別体の)専用機器として構成され、パソコン(の出力部64(通信装置))に無線で接続される。
測定器61は輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定する装置で、この場合、環境データ測定デバイス、行動データ測定デバイス、生理データ測定デバイスからなり、これらの測定デバイスで、車両の運転席の温湿度、ドライバーの3次元加速度、脈波、心電などドライバーの状態推定に利用するデータを測定する。環境データ測定デバイスは温度センサ、湿度センサを有する温度、湿度測定用ユニットで、ドライバーが乗車する車両の運転席の温度、湿度などを自動的に測定する機能を有する。行動データ測定デバイスは三次元加速度計を有するドライバーの動作測定用ユニットで、ドライバーの運転中の動作の機敏さ、不規則動作などを自動的に測定する機能を有する。生理データ測定デバイスは脈波センサを有する脈波測定用ユニットで、ドライバーの脈波や心電を自動的に測定する機能を有する。なお、この生理データ測定デバイスとして体表面温度測定センサを有するユニットが併せて設けられて、ドライバーの体表面温度を自動的に測定するようにしてもよい。コントロールユニット62は測定器61をコントロールするもので、各測定デバイス他コントロールユニット62の各部を制御し、各測定デバイスで測定された測定信号を取り出す制御部、測定信号をA/D変換するA/D変換部、A/D変換後のデータを状態推定器63(パソコン)へ無線送信するための通信部、電源を必要とする各部に電源を供給する電源部などからなり、各測定デバイスにセンサーケーブルを介して(電気的に)接続されて、各測定デバイスで測定された測定データをデジタルデータにして状態推定器63(パソコン)へ送信する機能を有する。
状態推定器63は測定器61にコントロールユニット62を介して無線で接続され、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定するための状態推定式により、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する装置で、この場合、状態推定器はパソコン全体の動作をコントロールするとともに各種処理プログラム及び各種測定データや演算データを用いてデータ処理を行うパソコンのCPUからなる制御部により実現され、各測定デバイスで測定されデジタル化されて送信された各測定データと記憶部66に別途記憶している状態推定式(閾値)とによりその送信時点でのドライバーの心理状態、ここでは、ドライバーの(1)正常状態(2)適応力低下・落込み状態(3)眠気・疲労状態(4)緊張・高揚状態(5)ストレス状態から該当する心理状態を推定し、この心理状態を示す情報と、この心理状態を示す情報に基づいて注意喚起のメッセージや警報などドライバーの行動に介入する情報とを生成する機能を有する。
出力部64は状態推定器63に接続され、状態推定器63で推定されたドライバーの心理状態を示す情報及びドライバーの行動に介入する情報を出力する装置で、パソコンのディスプレイ、スピーカー、プリンター、無線、インターネット回線若しくは通信回線を含む通信装置などにより実現され、ドライバーの心理状態を示す情報及びドライバーの行動に介入する情報を、画像で表示する機能、音声で知らせる機能、紙面に印字する機能を有し、とりわけ、通信装置にあっては、心理データ入力デバイス67から送信される情報を受信する機能、及びドライバーの心理状態を示す情報及びドライバーの行動に介入する情報を画像信号、音声信号若しくは音信号、また振動信号などにして介入器70へ送信する機能を有する。
データの記憶部65は状態推定器63に接続され、環境データ及び/又は行動データ及び/又は生理データを測定時刻と共に記録する装置で、パソコンの記憶部により実現される。
状態推定式の記憶部66は状態推定器63に接続され、ドライバーの心理状態を推定するために必要な状態推定式(数式やパラメータなど)を記録する装置で、パソコンの記憶部により実現される。
介入器70はディスプレイ、スピーカー、バイブレーターなどを有し、状態推定器63から出力部64(通信装置)により送信された各種の信号を受信して、状態推定器63から送信された各種の情報を画像、音声、音、振動などにして出力する専用機器として構成され、状態推定器63においてドライバーの運転に関して正常以外の状態が推定されて状態推定器63から出力部64を通じて送信されたドライバーの心理状態を示す情報及びドライバーの行動に介入する情報を受信して、これらの情報をディスプレイに画像で、スピーカーから音声又は音で、バイブレーターにより振動などで知らせる機能を有する。この介入器70は車両の運転室でドライバーの視界に入りやすい位置、音声が届きやすい位置に設置され、この介入器70の各機能により、例えば眠気におそわれたドライバーを覚醒させたり、疲れの出ているドライバーに休憩、休息を促したりして、ドライバーの行動に介入する。
心理データ入力デバイス67はドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを入力する専用通信機器として構成される。この場合、心理データ入力デバイス67はタッチパネル式の表示画面を有し、この表示画面に正常、適応力低下、眠気、緊張、ストレスの状態を入力するための5つのボタンをアイコンで表示し、これら5つのボタンからドライバーが自己の状態に合致するボタンを選んでタッチして送信する形式にするとよい。なお、この心理データ入力デバイス67は正常、適応力低下、眠気、緊張、ストレスの状態を入力するための機械的な5つの押しボタンを付けた通信機器としてもよい。また、この場合、このドライバーの心理データが入力されたときに、同時に環境データ、行動データ、生理データを測定、記録する運用とすることが好ましい。このようにすることで、心理データの入力時刻に近い時刻に環境、行動、生理の各データが必ず得られるので、教師データを必ず作成することができる。
心理データの記憶部68は心理データ入力デバイス67に無線で接続され、ドライバーにより入力された自己判定による心理データを記録する装置で、パソコンの記憶部により実現される。
状態推定式更新器69は、心理データの記憶部68と、データの記憶部65と、状態推定式の記憶部66との間に接続され、ドライバーの自己判定による心理データと、環境データ及び/又は行動データ及び/又は生理データとに基づいて、状態推定式の記憶部66の状態推定式をドライバー毎の状態推定式として作成、更新する装置で、この場合、状態推定式更新器69はパソコンのCPUからなる制御部により実現され、環境データ、行動データ、生理データと、心理データを教師データとし、k−近傍法などのクラスタリング技術やニューラルネットワークなどを用いた機械学習を使って、状態推定器63で使う状態推定式を作成、更新する機能を有する。
本システムはかかる構成を備え、輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定するための状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定するもので、環境データ及び/又は行動データ及び/又は生理データとドライバーの自己判定による心理データとに基づいて作成、更新されたドライバー毎の状態推定式により、ドライバー毎にドライバーの運転についてドライバーの状態の適・不適を推定するようになっている。
図7に本システムによる状態推定式を更新する手順を示している。
本システムでは、まず、測定器61で環境・行動・生理データを測定し、これらのデータを測定時刻とともにデータの記憶部65に記録し(ステップ1)、状態推定式の記憶部66の状態推定式を使ってドライバーの状態を推定して(ステップ2)、推定内容に応じてドライバーへ介入する(ステップ3)。
この間に、ドライバーが心理データ入力デバイスの心理データを入力するためのボタンを押していなければ(ステップ4)、再び測定器61で環境・行動・生理の各データを測定し、これらのデータを測定時刻とともにデータの記憶部65に記録して、ステップ1−3を繰り返す。
ステップ1−3を繰り返す間に、ドライバーが心理データ入力デバイス67の心理データを入力するためのボタンを押すと(ステップ4)、入力された心理データを時刻と共に心理データの記憶部68に記録する(ステップ5)。
状態推定式の記憶部66に別途定めておく状態推定式の更新時刻と現在時刻を比較し(ステップ6)、更新時刻に達していなければ、入力された心理データを測定時刻と共に心理データの記憶部68に記録した後、通常の状態推定のループへ戻り、別途定めておく状態推定式の更新時刻と現在時刻を比較し(ステップ6)、更新時刻に達していれば、データの記憶部65に記録された環境・行動・生理の各データと心理データの記憶部67に記憶された心理データを読み出し、これらのデータから教師データを作り(ステップ7)、この教師データに基づいて状態推定式の記憶部66の状態推定式を作成、更新し(ステップ8)、その後、通常の状態推定のループへ戻る。
なお、ステップ6の状態推定式の更新時刻は、1週間に1回、毎週金曜日の業務終了後の一定の時刻、教師データが50データを超えた日の業務終了後の一定の時刻など、別途定めておく。
本方法及び本システムにおいて、状態推定式の更新は、蓄積した既述の各データから教師データを作成し、それを使って初期に作成した状態推定式を継続的に更新することであり、その具体的な手順は推定式をどのような形式で作成するかによって異なる。
初めに、教師データの作成について説明し、その次に、状態推定式の作成についてクラスタリング技術による場合とニューラルネットワークによる場合の二つに分けて説明する。
まず、教師データの作成手順から説明する。図8に教師データの作成例を示している。なお、図8は教師データの作成手順を説明するためのもので、実際のデータとは異なる。また、ここでは教師データの作成手順について説明を簡単にするため、4種類の生体データ、この場合、脈波のリアプノフ指数(Lya)、心拍数(HR)、心拍変動の低周波成分(LF)と高周波成分(HF)の比率(LF/HF)、心拍変動の標準偏差(SNDD)から教師データを作成する。心理データは、正常、適応力低下、眠気・疲労、緊張・高揚、ストレスの5種類とする。
図8は上からLya、LF/HF、HR、SNDDの値を示している。ここで、横軸は時刻であり、時刻t1からt8にそれぞれ以下のような心理データが入力されたものと仮定する。
時刻t1:適応力低下
時刻t2:緊張・高揚
時刻t3:ストレス
時刻t4:眠気・疲労
時刻t5:適応力低下
時刻t6:緊張・高揚
時刻t7:眠気・疲労
時刻t8:ストレス
(手順1)
「適応力低下」のボタンが押された時刻t1の生体データを取り出す。このときに時刻t1(とぴったり)の測定データがなければ、時刻t1に最も近い時刻のデータを取り出す。
(手順2)
取り出したデータをLya=x1(t1)、LF/HF=x2(t1)、HR=x3(t1)、SNDD=x4(t1)とする。ここで、xi(tj)は時刻tjのデータであることを示す。iは1がLya、2がLF/HF、3がHR、4がSNDDを意味している。ただし、番号の付け方や順番はこれに拘らない。
(手順3)
取り出したデータをリストにする。
リスト1番:(x1(t1),x2(t1),x3(t1),x4(t1),適応力低下)
(手順4)
以下同様に、心理データを入力するボタンが押される都度データのリストを作る。図8の例では以下のようなリストが作成される。
リスト2番:(x1(t2),x2(t2),x3(t2),x4(t2),緊張・高揚)
リスト3番:(x1(t3),x2(t3),x3(t3),x4(t3),ストレス)
リスト4番:(x1(t4),x2(t4),x3(t4),x4(t4),眠気・疲労)
リスト5番:(x1(t5),x2(t5),x3(t5),x4(t5),適応力低下)
リスト6番:(x1(t6),x2(t6),x3(t6),x4(t6),緊張・高揚)
リスト7番:(x1(t7),x2(t7),x3(t7),x4(t7),眠気・疲労)
リスト8番:(x1(t8),x2(t8),x3(t8),x4(t8),ストレス)
(手順5)
このようにして作成したデータの組を教師データとする。
続いて、心理状態の推定と状態推定式の作成、更新について説明する。
ここでは、7種類の生体データ、すなわち、リアプノフ指数Lya、心拍数HR、心拍変動の標準偏差SDNN、心拍変動のトータルパワーTP、心拍変動の低周波成分LF、心拍変動の高周波成分HF、心拍変動の低周波成分LFと高周波成分HF両者の比LF/HFから、5種類の心理状態、すなわち、正常、適応力低下、眠気・疲労、緊張・高揚、ストレス状態を推定する。この場合、以下のような教師データが蓄積されているはずである。
時刻t1:(x1(t1),x2(t1),x3(t1),x4(t1),x5(t1),x6(t1),x7(t1),心理状態(t1))
時刻t2:(x1(t2),x2(t2),x3(t2),x4(t2),x5(t2),x6(t2),x7(t2),心理状態(t2))
時刻t3:(x1(t3),x2(t3),x3(t3),x4(t3),x5(t3),x6(t3),x7(t3),心理状態(t3))
… …
時刻tj:(x1(tj),x2(tj),x3(tj),x4(tj),x5(tj),x6(tj),x7(tj),心理状態(tj))
… …
時刻tN:(x1(tN),x2(tN),x3(tN),x4(tN),x5(tN),x6(tN),x7(tN),心理状態(tN))
ここでxi(tj)は時刻tjにおけるi番目の生体データを示す。例えば1がLya、2がLF/HF、3がHR、4がSNDD、5がTP、6がLF、7がHFとする。ただし、番号の付け方や順番はこれに拘らない。
(クラスター分析を使って状態推定式を更新する場合)
クラスター分析はデータ全体をいくつかの集団(クラスター)に分類する方法である。仮に2種類の生体データとそれに対応する心理状態のデータがいくつかあったとする。
Figure 2021037033
これを簡単に図解するために図9に2次元平面で領域分割を例示した。実際には、7種類の生体データLya(リアプノフ指数)、HR(心拍数)、SDNN(心拍変動の標準偏差)、TP(心拍変動のトータルパワー)、LF(心拍変動の低周波成分)、HF(心拍変動の高周波成分)、LF/HF(心拍変動の低周波成分と高周波成分の比率))から5種類の心理状態(正常、適応力低下、眠気・疲労、緊張・高揚、ストレス状態)を推定するには、7次元空間を5つの領域に分割するようなクラスタリングが必要である。
このように、クラスター分析では、教師データを使って領域分割することが状態推定式の作成であり、出来上がった領域分割を使って生体データから心理状態を求めることが心理状態推定であり、システム運用中に集めた教師データを最初の教師データに追加して領域分割することが状態推定式の更新(作り直し)となる。
(クラスター分岐の教師データ)
データファイルの中には次のような教師データが蓄積されている。
時刻t1:(x1(t1),x2(t1),x3(t1),x4(t1),x5(t1),x6(t1),x7(t1),心理状態(t1))
時刻t2:(x1(t2),x2(t2),x3(t2),x4(t2),x5(t2),x6(t2),x7(t2),心理状態(t2))
時刻t3:(x1(t3),x2(t3),x3(t3),x4(t3),x5(t3),x6(t3),x7(t3),心理状態(t3))

時刻tj:(x1(tj),x2(tj),x3(tj),x4(tj),x5(tj),x6(tj),x7(tj),心理状態(tj))

時刻tN:(x1(tN),x2(tN),x3(tN),x4(tN),x5(tN),x6(tN),x7(tN),心理状態(tN))
この場合、
x1=リアプノフ指数(Lya)
x2=LFとHFの比率(LF/HF)
x3=心拍数(HR)
x4=心拍変動の標準偏差(SDNN)
x5=心拍変動のトータルパワー(TP)
x6=心拍変動の低周波成分(LF)
x7=心拍変動の高周波成分(HF)
とする。また心理状態は正常、適応力低下、眠気・疲労、緊張・高揚、ストレス状態の5種類とする。
クラスター分析のための教師データは、基本的には蓄積されたデータをそのまま使用する。ただし、心理状態だけは番号付けなどを行って数値解析できるようにする。例えば、
正常=1番
適応力低下=2番
眠気・疲労=3番
緊張・高揚=4番
ストレス状態=5番
とする。ただし番号の付け方はこれに限らない。
次に上記の番号付けに従って蓄積されたデータの心理状態部分を書き換える。
仮に、
心理状態(t1)=適応力低下
心理状態(t2)=眠気・疲労
心理状態(t3)=緊張・高揚
であれば、
時刻t1:(x1(t1),x2(t1),x3(t1),x4(t1),x5(t1),x6(t1),x7(t1),2)
時刻t2:(x1(t2),x2(t2),x3(t2),x4(t2),x5(t2),x6(t2),x7(t2),3)
時刻t3:(x1(t3),x2(t3),x3(t3),x4(t3),x5(t3),x6(t3),x7(t3),4)
となる。
以下同様にして蓄積したデータの心理状態を番号に書き換える。
なお、教師データを分類したりクラスタリングしたりする手法は、サポートベクターマシン(SVM)やk−meansなど、既に数多くのものが提案されており、先行の技術文献で知ることができる。
(ニューラルネットワークを使って状態推定式を更新する場合)
Figure 2021037033
図10にニューラルネットワークによる状態推定のモデルを示している。
Figure 2021037033
(ニューラルネットワークの教師データ)
ニューラルネットワークによる教師データの作成について説明する。
Figure 2021037033
(教師データによるニューラルネットワークの作成)
Figure 2021037033
(状態推定式の更新に際しての教師データの使い方)
本システムの運用を始めて一定期間の後にN個の教師データが蓄積されたものとする。
*蓄積されたデータ
時刻t1:(x1(t1),x2(t1),x3(t1),x4(t1),x5(t1),x6(t1),x7(t1),心理状態(t1))
時刻t2:(x1(t2),x2(t2),x3(t2),x4(t2),x5(t2),x6(t2),x7(t2),心理状態(t2))
時刻t3:(x1(t3),x2(t3),x3(t3),x4(t3),x5(t3),x6(t3),x7(t3),心理状態(t3))

時刻tj:(x1(tj),x2(tj),x3(tj),x4(tj),x5(tj),x6(tj),x7(tj),心理状態(tj))

時刻tN:(x1(tN),x2(tN),x3(tN),x4(tN),x5(tN),x6(tN),x7(tN),心理状態(tN))
最初のニューラルネットワークの作成、最初のクラスタリングの作成はこれらN個の教師データを使って行う。
次の一定期間にM個の教師データが蓄積されると、2回目の学習は最初のN個のデータと合わせたN+M個を教師データとすることもできるし、新たに入手したM個だけを使って行うこともできる。これはニューラルネットワークもクラスタリングも同じであり、3回目以降も同様である。新たに得られたデータ数が十分に大きければM個のデータだけを使って2回目の学習を行ってもよい。特にニューラルネットワークの場合は1回目の学習結果を初期値にして2回目の学習を積み上げることができるので、2回目以降は新たに蓄積した教師データだけを使えば十分である。また、ドライバー個々人の特性も時間の経過に応じて変化していくことが考えられる。この場合、古い教師データが現状に合わなくなっている可能性がある。このような場合は一定期間経過した教師データを削除することで特性の変化に対応することができる。
以上説明したように、本方法及び本システムによれば、輸送系車両、建設機械のドライバーを含む各種のドライバーからドライバーの脈波を含む生理データを測定し、この生理データから、ドライバーの心理状態を推定するための状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する方法、装置において、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと、環境データ及び/又は行動データ及び/又は生理データとに基づいて、ドライバー毎に状態推定式を作成、更新するようにしたので、輸送系車両、建設機械のドライバーを含む各種のドライバー毎に、各ドライバーに合致する状態推定式を導入して、運転に適した状態か否かを的確に判定することができる。言い換えれば、ヒトの生体データはヒトの健康状態や精神状態による変動よりも、健常時での変動の方が個人差が大きいため、同じ状態推定式で複数のドライバーの個々の心理状態を適切に推定することが非常に難しいと言わざるを得ないところ、本方法及び本システムを使えば、ドライバーの状態推定式を各々のドライバーに合わせて調整していくことができる。その結果、どのドライバーに対しても可及的に正しい心理状態を推定することができるようになり、各ドライバーの心理状態に応じて適切な介入を実施することができる。
なお、この実施の形態では、ドライバーの状態を推定する装置としての測定器及びコントロールユニット、状態推定器、出力部、データの記憶部、状態推定式の記憶部と、ドライバーの状態推定式を更新する装置としての心理データ入力デバイス、心理データの記憶部、状態推定式更新器と、ドライバーの心理状態に応じてドライバーの行動に介入する装置としての介入器とを備え、測定器は各種のセンサを有する複数のデータ測定デバイスからなり、状態推定器、出力部、データの記憶部、状態推定式の記憶部、心理データの記憶部、及び状態推定式更新器はパソコンのハードウェアとソフトウェアとにより構成され、測定器がコントロールユニットを介してパソコンに無線で接続され、心理データ入力デバイス、介入器はそれぞれ専用機器として構成され、パソコンに無線で接続されるものとしたが、状態推定器、出力部、データの記憶部、状態推定式の記憶部、心理データの記憶部、及び状態推定式更新器はパソコンに代えてタブレット、スマートフォンを含むモバイル端末のハードウェアとソフトウェアとにより構成されて、測定器がコントロールユニットを介してモバイル端末に無線で接続され、心理データ入力デバイス、介入器はそれぞれ専用機器に代えてタブレット、スマートフォンを含むモバイル端末のハードウェアとソフトウェアで構成され、状態推定器側のパソコン又はモバイル端末に無線で接続されるものとしてもよい。さらに、介入器と心理データ入力デバイスはそれぞれ別体に構成されるものとしたが、介入器と心理データ入力デバイスは、専用機器として又はタブレット、スマートフォンを含むモバイル端末として、一体に構成されてもよい。
このようにしても上記実施の形態と同様の作用効果を奏することができる。
また、この実施の形態では、ドライバーから運転室の温度、湿度を含む環境データ、ドライバーの運転状況を含む行動データ、ドライバーの脈波を含む生理データを測定し、これらのデータから、ドライバーの心理状態を推定するための状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する方法、装置において、ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、ドライバーの自己判定による心理データと、環境データ、行動データ、生理データとに基づいて、ドライバー毎に状態推定式を作成、更新するものとしたが、本方法及び本システムは、ドライバーから、運転室の温度、湿度を含む環境データ、ドライバーの運転状況を含む行動データ、ドライバーの脈波を含む生理データから任意のデータを又は任意のデータを組み合わせて測定し、環境データ及び/又は行動データ及び/又は生理データから、ドライバーの心理状態を推定する状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する各種のドライバーの状態推定方法及び装置にも同様に適用でき、上記実施の形態と同様の作用効果を奏することができる。
A 疲労状況評価装置
1 脈波測定部
2 環境測定部
3 体動測定部
4 制御部
5 記憶部
6 出力部
11 リアプノフ指数算出部
12 心拍算出部
13 心拍ゆらぎ算出部
14 精神的疲労評価部
15 体感暑さ指数(WBGT)算出部
16 熱中症危険評価部
17 X、Y、Z座標算出部
18 体動面積算出部
19 体動量算出部
20 行動危険評価部
A ドライバーの状態推定装置(本装置)
1 脈波測定器
2 制御部
21 リアプノフ指数算出部
22 心拍数算出部
23 心拍変動の低周波成分・高周波成分算出部
231 脈波ピーク間隔算出部(RRI算出部)
232 脈波ピーク間隔のパワースペクトル密度算出部(RRIのスペクトル密度算出部)
233 心拍変動の低周波成分・高周波成分・低周波成分/高周波成分算出部(LF、HF、LF/HF算出部)
24 適応力低下・落込み状態判定部
25 眠気・疲労状態判定部
26 緊張・気分高揚状態判定部
27 ストレス状態判定部
3 記憶部
4 出力部
61 測定器
62 コントロールユニット
63 状態推定器
64 出力部
65 データの記憶部
66 状態推定式の記憶部
67 心理データ入力デバイス
68 心理データの記憶部
69 状態推定式更新器
70 介入器

Claims (7)

  1. 輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定し、前記環境データ及び/又は前記行動データ及び/又は前記生理データから、ドライバーの心理状態を推定するための各種の状態推定式を用いて、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定するドライバーの状態推定方法において、
    ドライバー毎に、ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを作成し、前記ドライバーの自己判定による心理データと、前記環境データ及び/又は前記行動データ及び/又は前記生理データとに基づいて、ドライバー毎に前記状態推定式を作成、更新する、
    ことを特徴とするドライバーの状態推定方法。
  2. 測定した環境データ及び/又は行動データ及び/又は生理データを測定時刻と共に記録し、ドライバーの自己判定による心理データを作成時刻と共に記録し、前記各データを一定期間蓄積した後、前記ドライバーの自己判定による心理データと同じ時刻の前記環境データ及び/又は前記行動データ及び/又は前記生理データを抜き出し、前記環境データ及び/又は前記行動データ及び/又は前記生理データと前記ドライバーの自己判定による心理データを原因と結果を表す教師データとして、機械学習により、状態推定式を自動調整し、これを繰り返す請求項1に記載のドライバーの状態推定方法。
  3. 輸送系車両、建設機械のドライバーを含む各種のドライバーから、運転室の温度、湿度を含む環境データ及び/又はドライバーの運転状況を含む行動データ及び/又はドライバーの脈波を含む生理データを測定する測定器及び前記測定機をコントロールするコントロールユニットと、
    前記測定機に前記コントロールユニットを介して接続され、前記環境データ及び/又は前記行動データ及び/又は前記生理データから、ドライバーの心理状態を推定するための各種の状態推定式により、ドライバーの運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの心理データを作成して、ドライバーの運転についてドライバーの状態の適・不適を推定する状態推定器と、
    前記状態推定器に接続され、前記環境データ及び/又は前記行動データ及び/又は前記生理データを測定時刻と共に記録するデータの記憶部と、
    前記状態推定器に接続され、ドライバーの心理状態を推定するための各種の状態推定式を記録する状態推定式の記憶部と、
    ドライバーの実際の運転に関して正常、適応力低下、眠気、緊張、ストレスを含むドライバーの自己判定による心理データを入力する心理データ入力デバイスと、
    前記心理データ入力デバイスに接続され、前記ドライバーの自己判定による心理データを記録する心理データの記憶部と、
    前記心理データの記憶部と、前記データの記憶部と、前記状態推定式の記憶部との間に接続され、前記ドライバーの自己判定による心理データと、前記環境データ及び/又は前記行動データ及び/又は前記生理データとに基づいて、前記状態推定式の記憶部の前記状態推定式をドライバー毎の前記状態推定式として作成、更新する状態推定式更新器と、
    を備え、
    前記環境データ及び/又は前記行動データ及び/又は前記生理データと前記ドライバーの自己判定による心理データとに基づいて作成、更新されたドライバー毎の前記状態推定式により、ドライバー毎にドライバーの運転についてドライバーの状態の適・不適を推定する、
    ことを特徴とするドライバーの状態推定装置。
  4. 状態推定器、データの記憶部、状態推定式の記憶部、心理データの記憶部、及び状態推定式更新器はパソコン又はタブレット、スマートフォンを含むモバイル端末で構成され、測定器がコントロールユニットを介して前記パソコン又は前記モバイル端末に無線で接続され、心理データ入力デバイスは専用機器として、又はタブレット、スマートフォンを含むモバイル端末で構成され、前記状態推定器側の前記パソコン又は前記モバイル端末に無線で接続される請求項3に記載のドライバーの状態推定装置。
  5. 状態推定器に通信手段を介して接続され、前記状態推定器においてドライバーの運転に関して正常以外の状態が推定されたときに、ドライバーに向けてドライバーの心理状態を示す情報及び/又はドライバーの行動に介入する情報を出力する介入器を併せて備える請求項3又は4に記載のドライバーの状態推定装置。
  6. 介入器は専用機器として又はタブレット、スマートフォンを含むモバイル端末として構成され、状態推定器に無線で接続される請求項5に記載のドライバーの状態推定装置。
  7. 介入器と心理データ入力デバイスは別体又は一体に構成される請求項5又は6に記載のドライバーの状態推定装置。
JP2019159790A 2019-09-02 2019-09-02 ドライバーの状態推定方法及びシステム Pending JP2021037033A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019159790A JP2021037033A (ja) 2019-09-02 2019-09-02 ドライバーの状態推定方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019159790A JP2021037033A (ja) 2019-09-02 2019-09-02 ドライバーの状態推定方法及びシステム

Publications (1)

Publication Number Publication Date
JP2021037033A true JP2021037033A (ja) 2021-03-11

Family

ID=74847606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019159790A Pending JP2021037033A (ja) 2019-09-02 2019-09-02 ドライバーの状態推定方法及びシステム

Country Status (1)

Country Link
JP (1) JP2021037033A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11964664B2 (en) 2022-03-25 2024-04-23 Logisteed, Ltd. Driving assistance method, driving assistance system, and server

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008000497A (ja) * 2006-06-26 2008-01-10 Xanavi Informatics Corp 機器制御装置
WO2014147828A1 (ja) * 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2017530757A (ja) * 2014-09-09 2017-10-19 トーヴェック・インコーポレーテッド 装着型装置を用いて個人の注意力を監視し通知を提供するための方法及び装置
JP2019069207A (ja) * 2018-12-26 2019-05-09 パイオニア株式会社 眠気算出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008000497A (ja) * 2006-06-26 2008-01-10 Xanavi Informatics Corp 機器制御装置
WO2014147828A1 (ja) * 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
US20160029940A1 (en) * 2013-03-22 2016-02-04 Toyota Jidosha Kabushiki Kaisha Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method
JP2017530757A (ja) * 2014-09-09 2017-10-19 トーヴェック・インコーポレーテッド 装着型装置を用いて個人の注意力を監視し通知を提供するための方法及び装置
JP2019069207A (ja) * 2018-12-26 2019-05-09 パイオニア株式会社 眠気算出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11964664B2 (en) 2022-03-25 2024-04-23 Logisteed, Ltd. Driving assistance method, driving assistance system, and server

Similar Documents

Publication Publication Date Title
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
Begum Intelligent driver monitoring systems based on physiological sensor signals: A review
JPWO2004082479A1 (ja) 心身状態判定システム
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
CN112441009B (zh) 状态推算装置、状态推算方法和存储介质
CN101340846A (zh) 医学状况的检测和报警装置
JP7217576B2 (ja) ドライバーの状態推定方法及び装置
US10877444B1 (en) System and method for biofeedback including relevance assessment
Melnicuk et al. Towards hybrid driver state monitoring: Review, future perspectives and the role of consumer electronics
JP2014100227A (ja) 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法
US20230211780A1 (en) Operation support method, operation support system, and operation support server
CN108447545A (zh) 确定生理状态调整策略的方法及装置
JP7437241B2 (ja) 運行支援方法、運行支援システム及び運行支援サーバ
JP2021037033A (ja) ドライバーの状態推定方法及びシステム
Magana et al. Toward safer highways: predicting driver stress in varying conditions on habitual routes
WO2022190686A1 (ja) コンテンツリコメンデーションシステム、コンテンツリコメンデーション方法、コンテンツライブラリ、コンテンツライブラリの生成方法及びターゲットインプットユーザインタフェース
JP6910919B2 (ja) システム及び意思疎通を図るために行うアクションの評価方法
JP7256380B2 (ja) 情報処理装置、危険状況検出システム、および危険状況検出方法
JP6466729B2 (ja) 活性判定システム
JP2022051216A (ja) 安全運行支援方法、安全運行支援システム及び安全運行支援サーバ
Gabrielli et al. A framework to study autonomous driving user acceptance in the wild
JP6713324B2 (ja) イベント発生報知システム及びイベント発生報知用プログラム
US11964664B2 (en) Driving assistance method, driving assistance system, and server
US20230397890A1 (en) Fatigue level estimation apparatus, fatigue level estimation method, and computer-readable recording medium
Razak et al. Driver-centered pervasive application for heart rate measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905