JP2007117608A

JP2007117608A - 人の状態検出装置

Info

Publication number: JP2007117608A
Application number: JP2005316773A
Authority: JP
Inventors: Kazuhide Shigefuji; 和英重藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-10-31
Filing date: 2005-10-31
Publication date: 2007-05-17
Anticipated expiration: 2025-10-31
Also published as: US20100076273A1; JP4497081B2; KR101023512B1; US8199018B2; EP1929950B1; EP1929950A4; CN101296657B; KR20080064199A; EP1929950A1; WO2007052729A1; CN101296657A

Abstract

【課題】負荷を与えることなく、人の状態を高精度に検出する人の状態検出装置を提供することを課題とする。
【解決手段】人の状態検出装置１において、被験者に対して参照情報取得のための刺激を与える第１刺激付与手段１０と、被験者に対して状態情報取得のための刺激を与える第２刺激付与手段１０と、第１刺激付与手段１０で与えた刺激及び第２刺激付与手段１０で与えた刺激に対する被験者の反応を被験者の生態指標によって検出する刺激反応検出手段２０と、第１刺激付与手段１０で与えた刺激に対する被験者の反応と第２刺激付与手段１０で与えた刺激に対する被験者の反応との比較に基づいて被験者の状態を判定する状態判定手段４１とを備えることを特徴とする。
【選択図】図２

Description

本発明は、刺激に対する生体反応から人の状態を高精度に検出する人の状態検出装置に関する。

運転中の安全性向上などに利用するために、覚醒状態、心理状態、疲労状態などの人の状態を判定する装置が各種提案されている。例えば、覚醒状態の判定方法として、運転者などの人に対して所定の刺激を与え、その人が刺激に対してボタン操作などの作業を行い、その反応時間に基づいて覚醒状態を推定する方法がある（特許文献１参照）。
特許第３３６９２０１号公報

上記した状態の推定方法の場合、状態を推定される人が能動的な作業を行う必要がある。したがって、その人の主観的な反応に基づく状態推定となり、高い推定精度を望めない。また、人が主作業を行っている場合（例えば、車両の運転者が運転操作を行っている場合）、その刺激に対する作業を直ちに行うことができないときがあり、正確に状態を推定することができない。さらに、運転操作などの主作業以外に別の能動的な作業を行うので、その人に対して負荷を与え、刺激に対する作業に気を取られて主作業がおろそかになる可能性がある。

そこで、本発明は、負荷を与えることなく、人の状態を高精度に検出する人の状態検出装置を提供することを課題とする。

本発明に係る人の状態検出装置は、被験者に対して参照情報取得のための刺激を与える第１刺激付与手段と、被験者に対して状態情報取得のための刺激を与える第２刺激付与手段と、第１刺激付与手段で与えた刺激及び第２刺激付与手段で与えた刺激に対する被験者の反応を被験者の生態指標によって検出する刺激反応検出手段と、第１刺激付与手段で与えた刺激に対する被験者の反応と第２刺激付与手段で与えた刺激に対する被験者の反応との比較に基づいて被験者の状態を判定する状態判定手段とを備えることを特徴とする。

この人の状態検出装置では、第１刺激付与手段により被験者に対して刺激を与え、刺激反応検出手段によりその刺激に対する被験者の反応を生理指標によって検出する。この被験者の反応が、被験者の定常状態での刺激に対する生理反応であり、状態を判定するための基準値となる参照情報である。また、人の状態検出装置では、第２刺激付与手段により被験者に対して刺激を与え、刺激反応検出手段によりその刺激に対する被験者の反応を生理指標によって検出する。この被験者の反応が、被験者の状態を検出するための刺激に対する生理反応であり、状態を判定するための評価値となる状態情報である。そして、人の状態検出装置では、状態判定手段により第１刺激付与手段で与えた刺激に対する生理反応と第２刺激付与手段で与えた刺激に対する生理反応とを比較し、その生理反応の変化から被験者の状態を判定する。このように、この人の状態検出装置では、人の刺激に対する生理反応という客観的な情報を用いて（人の主観的な情報を用いない）、状態検出用の刺激に対する生理反応（評価値）を平常状態での刺激に対する生理反応（基準値）と相対的に比較することにより、人の状態を高精度に検出することができる。また、この人の状態検出装置では、刺激に対する人の生体反応によって状態を判定するので、人が能動的な作業を行う必要がなく、人に対して負荷を与えない。このように負荷を与えないので、運転などの主作業を行っている場合、その主作業を実施しているときでも状態の検出精度が低下することがなく、状態検出中にその主作業の実施がおろそかになることもない。

なお、生理指標は、人から生体計測できる様々な指標であり、例えば、眼電（ＥＯＧ[Electrooculogram]）による生理指標（瞬目など）、脳波（ＥＥＧ［Electroencephalogram］）による生理指標（α波、β波など）、心電（ＥＣＧ［Electrocardiogram］）による生理指標（心拍数など）、皮膚電気活動（ＥＤＡ［Electro Dermal Activity］による生理指標（皮膚電位反応（ＳＰＲ[Skin Potential Response]）など）、筋電（ＥＭＧ［Electromyogram］））による生理指標がある。人の状態は、例えば、覚醒状態、心理状態（焦り、イライラなど）、疲労状態である。第１刺激付与手段で与える刺激と第２刺激付与手段で与える刺激とは、同じ刺激でもよいし、異なる刺激でもよく、同じ刺激の場合には強さ、周波数などのパラメータを変えて与えてもよい。第２刺激付与手段で与える刺激は、物理的な刺激（例えば、振動、音、光）以外にも、被験者を取り巻く環境や被験者自体の状況などの刺激（例えば、満腹のとき、空腹のとき、車両の運転者の場合には渋滞中、高速道路走行、雨中走行、深夜走行、事故の目撃）でもよい。したがって、第２刺激付与手段は、物理的な刺激を発生させるもの以外に、それら環境や状況などによる刺激を与えるものも含む。

本発明の上記人の状態検出装置では、第１刺激付与手段で与える刺激は、周期的に与えられる構成としてもよい。

この人の状態検出装置では、第１刺激付与手段により被験者に対して周期的に刺激を与え、刺激反応検出手段によりその刺激に対する被験者の反応を生理指標によって検出する。このように第１刺激付与手段によって周期的に刺激を与えることによって、人の定常状態における刺激に対する生体反応（基準値）を定期的に把握できる。そのため、人の状態が時々刻々と変化し、刺激に対する生理反応も大きく反応したりあるいは小さく反応したりしている場合でも、そのときそのときの人の状態における正確な基準値を取得することができる。その結果、人の状態をより高精度に検出することができる。

本発明の上記人の状態検出装置では、第１刺激付与手段で与える刺激は、第２刺激付与手段で刺激を与える以前に与えられる構成としてもよい。

この人の状態検出装置では、第１刺激付与手段により被験者に対して刺激を与え、刺激反応検出手段によりその刺激に対する被験者の反応を生理指標によって検出する。その後に、人の状態検出装置では、第２刺激付与手段により被験者に対して刺激を与え、刺激反応検出手段によりその刺激に対する被験者の反応を生理指標によって検出する。このように人の状態を判定するための刺激の前に第１刺激付与手段によって刺激を与えることによって、特定のタイミングで、状態を判定する直前での人の定常状態での刺激に対する生体反応（基準値）を取得できる。その結果、人の状態をより高精度に検出することができる。例えば、ある刺激によって人の状態が変化すると予想されるような場合（例えば、車両を運転中に、高速道路に入ったり、あるいは、渋滞に巻き込まれると予測される場合）、その刺激を受ける前に第１刺激付与手段による刺激を与えて基準値を取得しておくことにより、その刺激を受けたときの人の状態を高精度に検出することができる。

本発明は、人に負荷を与えることなく、人の状態を高精度に検出することができる。

以下、図面を参照して、本発明に係る人の状態検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る人の状態検出装置を、車両に搭載され、運転者の覚醒状態を推定する状態推定システムに適用する。本発明に係る状態推定システムでは、運転者に対してリファレンス用の微振動と状態推定用の微振動又は環境を与え、その各刺激に対する生理反応として皮膚電気活動（ＥＤＡ）（特に、皮膚電位反応（ＳＰＲ））を検出する。そして、本発明に係る状態推定システムでは、リファレンス用の皮膚電位反応と状態推定用の皮膚電位反応との変化に基づいて運転者の覚醒状態を推定し、覚醒状態が低い場合には運転者に対して注意喚起する。本実施の形態には、リファレンス用の微振動を発生させるタイミングの違いにより２つの形態があり、第１の実施の形態がリファレンス用の微振動を周期的に与える形態であり、第２の実施の形態がイベント（例えば、渋滞、高速道路）の発生や状態推定が必要な運転状況（例えば、長時間走行、深夜走行）の場合の特定のタイミングでリファレンス用の微振動を与える形態である。

２つの実施形態について具体的に説明する前、図１を参照して、状態推定システムにおける状態推定方法について説明しておく。図１は、本実施の形態に係る状態推定方法の概要を示す図である。

運転者に対してリファレンス用の物理刺激として微振動ＲＳ，ＲＳ，ＲＳを与え、その微振動ＲＳ，ＲＳ，ＲＳに対する生理指標として皮膚電気活動ＲＡ，ＲＡ，ＲＡをそれぞれ検出する。そして、この各皮膚電気活動ＲＡの処理区間Δｔにおける変化の最大値又は平均を求める。さらに、その複数個の最大値又は平均を平均化し、その平均値をリファレンス用の皮膚電位反応Ａとして設定する。このリファレンス用の皮膚電位反応Ａは、運転者の平常状態における物理刺激に対する生理反応であり、覚醒状態を推定するための基準値となる。リファレンス用の物理刺激を数回（図１の例では、３回）与えるのは、基準値として安定した値を得るためであり、生理指標にノイズが含まれる場合でもそのノイズの影響を抑制できる。

また、運転者に対して状態推定用の物理刺激として微振動ＤＳを与え、その微振動ＤＳに対する生理指標として皮膚電気活動ＤＡを検出する。そして、この皮膚電気活動ＤＡから処理区間ΔＴにおける変化の最大値又は平均を求め、この最大値又は平均を状態推定用の皮膚電位反応ｘとして設定する。この状態推定用の皮膚電位反応ｘは、運転者が受けた刺激に対する生理反応であり、状態を推定するための評価値となる。

リファレンス用の微振動ＲＳと状態推定用の微振動ＤＳとは、区別するために、振動の強さ、周波数、振動を与える時間などのパラメータを変える。図１に示す例では、状態推定用の微振動ＤＳの方が振動を与える時間が長くなっている。なお、第２の実施の形態では、物理刺激でなく、渋滞、高速道路での走行などの運転者を取り巻く環境が運転者に対して刺激として与えられる場合もある。

状態推定用の皮膚電位反応ｘを設定すると、状態推定用の皮膚電位反応ｘにその直前に設定されているリファレンス用の皮膚電位反応Ａを対応付け、状態推定用の皮膚電位反応ｘをリファレンス用の皮膚電位反応Ａで除算する。この皮膚電位反応の相対値（ｘ／Ａ）は、状態推定用の皮膚電位反応をリファレンス用の皮膚電位反応を基準にして正規化した正規化値である。したがって、皮膚電位反応の相対値（ｘ／Ａ）は、１を基準にして運転者の覚醒状態を容易に推定することができ、１前後が平常状態であり、１より大きくなるほど覚醒度が高くなる傾向にあり、１より小さくなるほど覚醒度が小さくなる傾向にある。

皮膚電気活動は、精神性発汗を電気的に測定する生理指標である。皮膚電気活動の中でも皮膚電位反応を用いるのは、覚醒状態や焦り、イライラなどの心理状態の変化を精度良く表現することができる生理指標であり、変化に対して生理反応の時定数も小さいと一般的に考えられているからである。

なお、このようにして求められる皮膚電位反応の相対値に基づく覚醒状態の推定の妥当性を評価するために、様々な被験者に対して、微振動を与えて皮膚電位反応の相対値を求めるとともに官能評価も実施した。そして、皮膚電位反応の相対値と官能評価値とを比較すると、皮膚電位反応の相対値に基づく覚醒状態と官能評価値による覚醒状態とが同様の傾向が得られ、良好な結果が得られた。官能評価は、被験者による能動的なタスク（例えば、刺激に対するボタン操作、質問に対する回答）を課すことによる主観的な評価と被験者の顔を撮像した画像に基づく顔の表情の変化による客観的な評価とを総合的に判断して得られたものである。

それでは、図２〜図５を参照して、第１の実施の形態に係る状態推定システム１について説明する。図２は、第１の実施の形態に係る状態推定システムの構成図である。図３は、第１の実施の形態に係る状態変化のプロセスの一例であり、（ａ）が状態推定用物理刺激の入力タイミングであり、（ｂ）が皮膚電気活動（ＥＤＡ）の時間変化であり、（ｃ）が（ｂ）で示す皮膚電気活動（ＥＤＡ）のフィルタ処理後（直流成分除去後）の時間変化である。図４は、第１の実施の形態に係る皮膚電位反応（ＳＰＲ）の時間変化の一例である。図５は、第１の実施の形態に係る皮膚電位反応（ＳＰＲ）の相対値の時間変化の一例である。

状態推定システム１は、定期的に運転者の覚醒状態を推定する。そのために、状態推定システム１では、運転者に対して周期的にリファレンス用の微振動を与え、リファレンス用の皮膚電位反応を定期的に取得する。さらに、状態推定システム１では、リファレンス用の微振動を与えた後に状態推定用の微振動を与え、状態推定用の皮膚電位反応を取得する。状態推定システム１は、振動発生装置１０、皮膚電気活動センサ２０、増幅器２１、スピーカ３０、ディスプレイ３１及びＥＣＵ[Electronic Control Unit]４１を備えている。

なお、第１の実施の形態では、振動発生装置１０が特許請求の範囲に記載する第１刺激付与手段及び第２刺激付与手段に相当し、皮膚電気活動センサ２０が特許請求の範囲に記載する刺激反応検出手段に相当し、ＥＣＵ４１が特許請求の範囲に記載する状態判定手段に相当する。

振動発生装置１０は、振動を発生させる装置であり、運転者にリファレンス用の微振動と状態推定用の微振動及び注意喚起用の振動を与える。振動発生装置１０は、運転席のシートの数箇所に内蔵される。内蔵する位置や個数は、任意であり、例えば、運転者の背中、腰、太もも部分の左右１箇所ずつ計６個内蔵する。振動発生装置１０は、発生させる振動の強さ、周波数、発生させる時間などのパラメータが可変である。振動発生装置１０では、ＥＣＵ４１から振動発生信号を受信すると、その振動発生信号に示されるパラメータに応じた振動を発生させる。

振動発生装置１０で発生させる全ての振動は、車両で発生する振動と区別するために、車両で発生する振動とは明らかに異なる強さ、周波数のパラメータが設定される。リファレンス用と状態推定用の微振動は、運転者に対して不快感を与えないために、小さい強さのパラメータが設定される。また、リファレンス用の微振動と状態推定用の微振動とは、区別するために、周波数や微振動与える時間が異なるパラメータが設定される。注意喚起用の振動は、運転者の覚醒状態を上昇させる必要があるので、大きい強さのパラメータが設定される。

皮膚電気活動センサ２０は、皮膚電気活動（特に、皮膚電位活動（ＳＰＡ[Skin Potential Activity]）を検出するセンサである。皮膚電気活動センサ２０は、運転者の精神性発汗を検出するために、運転者の掌が接触するステアリングホイールの左右にそれぞれ取り付けられる。皮膚電気活動センサ２０では、皮膚電気活動を検出すると、その検出信号を増幅器２１に送信する。増幅器２１では、検出信号を増幅し、その増幅した検出信号をＥＣＵ４１に送信する。ちなみに、人は、覚醒状態が高いときには刺激に対して精神性発汗が出易い傾向にあり、覚醒状態が低いときには精神性発汗が出難い傾向にある。

スピーカ３０、ディスプレイ３１は、車両内の各システムと共用で利用され、状態推定システム１では運転者に対する注意喚起を行う際に利用される。スピーカ３０では、ＥＣＵ４１から音声信号を受信すると、その音声信号に応じて音声を出力する。ディスプレイ３１では、ＥＣＵ４１からの画像信号を受信すると、その画像信号に応じて画像を表示する。

ＥＣＵ４１は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random AccessMemory]などからなり、状態推定システム１を統括制御する。ＥＣＵ４１では、リファレンス用の微振動を発生させるための振動発生信号を周期的に送信するとともに、状態推定用の微振動を発生させるための振動発生信号を振動発生装置１０に送信する。そして、ＥＣＵ４１では、皮膚電気活動センサ２０の検出信号を増幅器２１で増幅した信号を受信し、その信号に基づいてリファレンス用の皮膚電位反応と状態推定用の皮膚電位反応から運転者の覚醒状態を推定する。さらに、ＥＣＵ４１では、覚醒状態が運転に支障をきたすレベルの場合、スピーカ３０、ディスプレイ３１及び振動発生装置１０を用いて運転者に対して注意喚起する。

ＥＣＵ４１では、所定周期が経過する毎に、リファレンス用の微振動のパラメータを示した振動発生信号を振動発生装置１０に送信する。この際、ＥＣＵ４１では、一定時間毎に、規定回数分の振動発生信号を送信する。所定周期は、運転者の平常状態における皮膚電位反応を定期的に取得するための周期であり、任意の時間（例えば、数１０分）でよい。一定時間は、リファレンス用の微振動を与えた後に皮膚電位反応を検出可能な時間より少し余裕をもたせた時間である。規定回数は、運転者の定常状態における微振動に対する皮膚電位反応として安定した値を取得するための回数であり、任意の回数（例えば、数回）でよい。

ＥＣＵ４１では、所定タイミングで、状態推定用の微振動のパラメータを示した振動発生信号を振動発生装置１０に送信する。所定タイミングは、リファレンス用の微振動の発生タイミングにリンクしたタイミングでもよいし、リファレンス用の微振動の発生タイミングにリンクしないタイミングでもよい。図３（ａ）には、運転者の覚醒状態を推定するための物理刺激の入力タイミングである状態推定用の微振動の発生のトリガの一例を示している。このトリガはリファレンス用の微振動の発生のトリガにリンクしており、リファレンス用の微振動の発生のトリガがこの状態推定用のトリガの直前にある。

ＥＣＵ４１では、リファレンス用の微振動及び状態推定用の微振動を発生させる毎に、同様の方法により、増幅器２１からの増幅検出信号（皮膚電気活動）に基づいて各微振動に対する皮膚電位反応を検出する。図３（ｂ）には、皮膚電気活動の時間変化の一例を示している。まず、ＥＣＵ４１では、皮膚電気活動をフィルタ処理し、皮膚電気活動から直流成分（皮膚電位水準）を除去する。図３（ｃ）には、（ｂ）の皮膚電気活動から直流成分を除去した信号の時間変化を示しており、０を中心にして変動している。

そして、ＥＣＵ４１では、その直流成分を除去した皮膚電気活動の各処理区間（リファレンス用の微振動を発生直後の処理区間Δｔ又は状態推定用の微振動を発生直後の処理区間ΔＴ）から最大値と最小値を抽出し、その最大値と最小値の差（絶対最大値：つまり、処理区間におけるＰｅａｋ−ｔｏ−Ｐｅａｋ）を算出する。この絶対最大値が、各微振動に対する皮膚電位反応である。特に、リファレンス用の場合、ＥＣＵ４１では、規定回数分のリファレンス用の皮膚電位反応をそれぞれ求め、その平均値を算出し、その平均値をリファレンス用の皮膚電位反応とする。図４には、状態推定用の微振動を発生させた後に検出した皮膚電位反応の一例を示している。

ＥＣＵ４１では、状態推定用の皮膚電位反応を検出する毎に、その検出した直前に検出しているリファレンス用の皮膚電位反応を用いて、状態推定用の皮膚電位反応をリファレンス用の皮膚電位反応で除算し、皮膚電位反応の相対値（正規化値）を求める。皮膚電位反応の相対値が１前後の場合、運転者が平常状態にあると推定できる。皮膚電位反応の相対値が１より大きいほど、運転者が平常状態のときより大きな生体反応を示しており、覚醒状態が高い傾向にあると推定できる。皮膚電位反応の相対値が１より小さいほど、運転者が平常状態のときより小さな生体反応しか示しておらず、覚醒度が低い傾向にあると推定できる。図５には、皮膚電位反応の相対値の時間変化の一例を示している。

ＥＣＵ４１では、皮膚電位反応の相対値を求める毎に、その相対値が閾値以下か否かを判定する。閾値は、運転者が運転に支障をきたすほど覚醒度が低いレベル（注意力が低下しているレベル）であるか否かを判定するための閾値であり、１未満の値が設定される。ＥＣＵ４１では、皮膚電位反応の相対値が閾値以下と判定した場合、運転者に対して注意喚起するための音声メッセージ及び画像を生成し、その音声データからなる音声信号をスピーカ３０に送信するとともにその画像データからなる画像信号をディスプレイ３１に送信する。また、ＥＣＵ４１では、運転者に対して覚醒状態を上昇させるための比較的強い振動を発生させるためのパラメータの振動発生信号を設定し、振動発生装置１０に送信する。なお、皮膚電位反応の相対値を判定するための閾値としては、１段階だけ設定してもよいし、あるいは、複数段階設定し、表示、音声、振動による注意喚起を段階的に与えるようにしてもよい。

図２を参照し、図６のフローチャートに沿って、状態推定システム１の動作について説明する。ここでは、リファレンス用微振動を発生させる毎に状態推定用微振動も発生させる場合について説明する。図６は、図２の状態推定システムにおける処理の流れを示すフローチャートである。

皮膚電気活動センサ２０では、運転者の掌からの発汗を検出し、その検出信号を増幅器２１に送信している。増幅器２１では、皮膚電気活動センサ２０からの検出信号を増幅し、その増幅した検出信号をＥＣＵ４１に送信している。

ＥＣＵ４１では、状態推定処理を終了するか否かを判定する（Ｓ１０）。Ｓ１０にて終了と判定した場合、ＥＣＵ４１では、状態推定処理を終了する。なお、覚醒状態の推定は、運転中の全ての期間で実施してもよいし、あるいは、運転中の所定期間だけ実施してもよい。

Ｓ１０にて終了しないと判定している間、ＥＣＵ４１では、前回リファレンス用の微振動を発生させてから所定周期が経過したか否かを判定し（Ｓ１１）、所定周期経過していない場合には所定周期経過するまで待つ。Ｓ１１にて所定周期が経過したと判定すると、ＥＣＵ４１では、リファレンス用の微振動を発生させるための振動発生信号を設定し、振動発生装置１０に送信する（Ｓ１２）。この振動発生信号を受信すると、振動発生装置１０では、リファレンス用の微振動を発生させる（Ｓ１２）。ＥＣＵ４１では、リファレンス用の振動発生信号を送信後の一定時間経過する毎に、リファレンス用微振動を規定回数発生させたか否かを判定し、規定回数発生させていない場合にはＳ１２の処理に戻る（Ｓ１３）。これによって、運転者は、定期的に、シートから微振動を数回感じる。

ＥＣＵ４１では、リファレンス用の微振動を発生させる毎に、増幅器２１からの増幅検出信号に基づいてリファレンス用の微振動発生直後の皮膚電気活動を解析し、リファレンス用の微振動に対する皮膚電位反応を検出する（Ｓ１４）。そして、ＥＣＵ４１では、規定回数分のリファレンス用の微振動に対する各皮膚電位反応を平均化し、その平均値を今回のリファレンス用の皮膚電位反応として設定する（Ｓ１４）。ここで、定期的に、運転者の平常状態における微振動に対する皮膚電位反応が求められたことになる。

続いて、ＥＣＵ４１では、状態推定用の微振動を発生させるための振動発生信号を設定し、振動発生装置１０に送信する（Ｓ１５）。この振動発生信号を受信すると、振動発生装置１０では、状態推定用の微振動を発生させる（Ｓ１５）。これによって、運転者は、定期的に、シートから微振動を１回感じる。

ＥＣＵ４１では、状態推定用の微振動を発生させる毎に、増幅器２１からの増幅検出信号に基づいて状態推定用の微振動発生直後の皮膚電気信号を解析し、状態推定用の微振動に対する皮膚電位反応を設定する（Ｓ１６）。ここで、運転者の覚醒状態を判定するための微振動に対する皮膚電位反応が求められてことになる。

状態推定用の皮膚電位反応を求めると、ＥＣＵ４１では、この状態推定用の皮膚電位反応をその直前のリファレンス用の皮膚電位反応で除算し、皮膚電位反応の相対値を算出する（Ｓ１７）。ここで、最も直近に求められた運転者の平常状態での皮膚電位反応を基準として、運転者の覚醒状態を判定するための指標が求められたことになる。

そして、ＥＣＵ４１では、この皮膚電位反応の相対値に基づいて運転者の覚醒度を推定し（Ｓ１８）、運転者の状態が運転に支障レベル以下か否か（具体的には、皮膚電位反応の相対値が閾値以下か否か）を判定する（Ｓ１９）。Ｓ１９にて運転に支障ないと判定した場合、ＥＣＵ４１では、Ｓ１０の処理に戻る。

Ｓ１９にて運転に支障があると判定した場合、ＥＣＵ４１では、注意喚起するための案内を行う音声メッセージ及び画像を生成し、その音信信号をスピーカ３０に送信するとともに画像信号をディスプレイ３１に送信するとともに（Ｓ２０）。この音声信号を受信すると、スピーカ３０では、音声信号に応じて注意喚起メッセージを出力する（Ｓ２０）。また、この画像信号を受信すると、ディスプレイ３１では、画像信号に応じて注意喚起画像を表示する（Ｓ２０）。さらに、ＥＣＵ４１では、運転者の覚醒度を上昇させるための振動発生信号を生成し、その振動発生信号を振動発生装置１０に送信する（Ｓ２０）。この振動発生信号を受信すると、振動発生装置１０では、強い振動を発生する。これらの音声、表示、振動によって、運転者は、覚醒度が上昇し、運転に対する注意力が増す。

この状態推定システム１によれば、運転者に不快を与えない刺激を与え、その刺激に対する皮膚電位反応の変化から状態を推定しているので、運転者に負荷を与えず（つまり、運転者が能動的なタスクを行う必要がなく）、運転者の覚醒状態を客観的な情報に基づいて高精度に推定できる。運転者は、状態推定によって運転自体がおろそかになることがなく、覚醒状態が低下したときには注意喚起される。これによって、安全性が向上する。

特に、状態推定システム１では、運転者に対して所定周期毎に微振動を与えるので、運転者の平常状態における微振動に対する皮膚電位反応を定期的に把握することができる。そのため、運転者の覚醒状態を推定するときにはその直近で取得した運転者の平常状態における微振動に対する皮膚電位反応（基準値）を利用することにより、運転者の覚醒状態をより高精度に推定することができる。運転者の状態は時々刻々と変化しており、微振動に対する生理反応も大きく反応するときもあれば、小さくしか反応しないときもある。したがって、状態を判定するときの直近での基準値を用いることにより、運転者の覚醒状態を正確に推定することができる。

図７を参照して、第２の実施の形態に係る状態推定システム２について説明する。図７は、第２の実施の形態に係る状態推定システムの構成図である。状態推定システム２では、第１の実施の形態に係る状態推定システム１と同様の構成については同一の符号を付し、その説明を省略する。

状態推定システム２は、運転者の状態を推定する必要のあるときにだけ運転者の覚醒状態を推定する。そのために、状態推定システム２では、イベントが発生することが予想される毎にそのイベント発生前にリファレンス用の微振動を与え、リファレンス用の皮膚電位反応を取得する。さらに、状態推定システム２では、イベントが発生すると、そのイベント発生中に状態推定用の皮膚電位反応を取得する。このイベントとしては、運転中に運転者が置かれる環境であり、例えば、渋滞、高速道路での走行である。また、状態推定システム２では、状態推定が必要な状況のときにリファレンス用の微振動を与え、リファレンス用の皮膚電位反応を取得する。さらに、状態推定システム２では、リファレンス用の皮膚電位反応を取得後に状態推定用の微振動を与え、状態推定用の皮膚電位反応を取得する。この状態推定が必要な状況としては、運転者の運転状況であり、例えば、運転開始後長時間経過、深夜運転である。状態推定システム２は、振動発生装置１０、ナビゲーションシステム１１、ＶＩＣＳ[Vehicle Information and CommunicationSystem]受信装置１２、皮膚電気活動センサ２０、増幅器２１、スピーカ３０、ディスプレイ３１及びＥＣＵ４２を備えている。

なお、第２の実施の形態では、振動発生装置１０が特許請求の範囲に記載する第１刺激付与手段及び第２刺激付与手段に相当し、走行中に運転者が置かれる環境自体も特許請求の範囲に記載する第２刺激付与手段に相当し、皮膚電気活動センサ２０が特許請求の範囲に記載する刺激反応検出手段に相当し、ＥＣＵ４２が特許請求の範囲に記載する状態判定手段に相当する。

ナビゲーションシステム１１は、自車の現在位置及び進行を検出するとともに、設定された目的地までの経路を探索し、その経路に沿って走行するように音声や表示によって案内を行う。ナビゲーションシステム１１では、現在走行している道路情報や目的地までの経路情報などを含むナビ信号をＥＣＵ４２に送信する。ＶＩＣＳ受信装置１２は、路上に設置されるビーコンからのＶＩＣＳ信号又はＦＭ多重放送によるＶＩＣＳ信号を受信し、そのＶＩＣＳ信号を復調し、復調したＶＩＣＳ信号をＥＣＵ４２に送信する。なお、ナビゲーションシステム１１でＶＩＣＳ信号を受信している場合、ナビゲーションシステム１１からＶＩＣＳ情報を取得してもよく、その場合にはＶＩＣＳ受信装置１２は必要ない。

ＥＣＵ４２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなり、状態推定システム２を統括制御する。ＥＣＵ４２では、ナビゲーションシステム１１からのナビ信号やＶＩＣＳ受信装置１２からのＶＩＣＳ信号を受信し、イベント（渋滞など）が発生する場合にはそのイベント発生前にリファレンス用の微振動を発生させるための振動発生信号を振動発生装置１０に送信する。また、ＥＣＵ４２では、運転状況が状態推定が必要な状況（例えば、長時間走行など）のときにはリファレンス用の微振動を発生させるための振動発生信号を振動発生装置１０に送信するとともに、その後に状態推定用の微振動を発生させるための振動発生信号を振動発生装置１０に送信する。そして、ＥＣＵ４２では、皮膚電気活動センサ２０の検出信号を増幅器２１で増幅した信号を受信し、その信号に基づいてリファレンス用の皮膚電位反応と状態推定用の皮膚電位反応から運転者の覚醒状態を推定する。さらに、ＥＣＵ４２では、覚醒状態が運転に支障をきたすレベルの場合、スピーカ３０、ディスプレイ３１及び振動発生装置１０を用いて運転者に対して注意喚起する。

まず、イベント対応の処理について説明する。ＥＣＵ４２では、ナビ信号による経路情報、道路情報やＶＩＣＳ信号による渋滞情報に基づいてイベントが所定時間以内に発生するか否かを判定する。イベントは、運転者の覚醒状態が低下する可能性のある運転環境であり、例えば、高速道路への進入、渋滞への進入である。所定時間は、リファレンス用の微振動を規定回数与え、リファレンス用の皮膚電位反応を検出可能な時間より余裕をもたせた時間である。ＥＣＵ４２では、所定時間以内にイベントが発生する場合、第１の実施の形態と同様に、リファレンス用の微振動のパラメータを示した振動発生信号を振動発生装置１０に規定回数分送信する。

ＥＣＵ４２では、リファレンス用の微振動を発生させた場合及びイベントが発生中に、第１の実施の形態と同様の方法により、リファレンス用の皮膚電位反応と状態推定用の皮膚電位反応をそれぞれ検出する。なお、状態検出用の皮膚電位反応としてイベント発生中の皮膚電位反応を検出するので、ＥＣＵ４２では、ナビ信号やＶＩＣＳ信号に基づいてイベント発生中か否かを判定し、イベントが発生しているときの皮膚電気活動から状態推定用の皮膚電位反応を検出する。

次に、運転状況対応の処理について説明する。ＥＣＵ４２では、運転開始からの時間経過や運転中の時刻などから運転状況として状態推定が必要な状況か否かを判定する。状態推定が必要な状況としては、運転者の覚醒状態が低下すると予測される運転状況であり、例えば、運転開始後から数時間が経過した場合（長時間運転）、午前０時〜早朝の間での運転の場合（深夜運転）、午後０時前後や午後７時前後に運転を開始した場合（食後運転）である。ＥＣＵ４２では、状態推定が必要な状況の場合、第１の実施の形態と同様に、リファレンス用の微振動のパラメータを示した振動発生信号を振動発生装置１０に規定回数分送信する。さらに、ＥＣＵ４２では、リファレンス用の微振動を発生させた後、第１の実施の形態と同様に、状態推定用の微振動のパラメータを示した振動発生信号を振動発生装置１０に送信する。

ＥＣＵ４２では、リファレンス用の微振動を発生させた場合及び状態推定用の微振動を発生させた場合、第１の実施の形態と同様の方法により、リファレンス用の皮膚電位反応と状態推定用の皮膚電位反応をそれぞれ検出する。

ＥＣＵ４２では、状態推定用の皮膚電位反応を検出すると、検出したリファレンス用の皮膚電位反応と状態推定用の皮膚電位反応を用いて、第１の実施の形態と同様の方法により、皮膚電位反応の相対値を求める。そして、ＥＣＵ４２では、第１の実施の形態と同様に、皮膚電位反応の相対値と閾値との判定を行い、皮膚電位反応の相対値が閾値以下と判定した場合には注意喚起するための各信号を送信する。

図７を参照して、状態推定システム２の動作について説明する。ここでは、まず、図８のフローチャートに沿ってイベント発生対応の動作について説明し、次に、図９のフローチャートに沿って運転状況対応の動作について説明する。図８は、図７の状態推定システムにおけるイベント対応の処理の流れを示すフローチャートである。図９は、図７の状態推定システムにおける運転状況対応の処理の流れを示すフローチャートである。

第１の実施の形態と同様に、皮膚電気活動センサ２０で運転者の掌からの発汗を検出し、その検出信号が増幅器２１で増幅され、増幅した検出信号がＥＣＵ４２に送信されている。また、ナビゲーションシステム１１では、現在位置検出や経路案内などを行い、道路情報や経路情報などを含むナビ信号をＥＣＵ４２に送信している。ＶＩＣＳ受信装置１２では、ＶＩＣＳ信号を受信し、復調したＶＩＣＳ信号をＥＣＵ４２に送信している。

まず、イベント対応の処理について説明する。ＥＣＵ４２では、状態推定処理を終了するか否かを判定する（Ｓ３０）。Ｓ３０にて終了と判定した場合、ＥＣＵ４２では、状態推定処理を終了する。

Ｓ３０にて終了しないと判定している間、ＥＣＵ４２では、ナビ信号やＶＩＣＳ信号に基づいて所定時間以内にイベントが発生するか否かを判定し（Ｓ３１）、所定時間以内にイベントが発生しない場合にはイベントが発生するまで待つ。Ｓ３１にて所定時間以内にイベントが発生すると判定すると、ＥＣＵ４２では、第１の実施の形態におけるＳ１２、Ｓ１３と同様の処理により、規定回数分のリファレンス用の振動発生信号を振動発生装置１０に送信する（Ｓ３２，Ｓ３３）。すると、振動発生装置１０では、リファレンス用の微振動を規定回数発生させる（Ｓ３２）。これによって、運転者は、イベント発生前に、シートから微振動を数回感じる。

ＥＣＵ４２では、リファレンス用の微振動を発生させると、第１の実施の形態におけるＳ１４と同様の処理により、皮膚電気信号を解析し、リファレンス用の皮膚電位反応を設定する（Ｓ３４）。ここで、イベント直前に、運転者の平常状態における微振動に対する皮膚電位反応が求められたことになる。

ＥＣＵ４２では、ナビ信号やＶＩＣＳ信号に基づいてイベントが発生しているか否かを判定する。そして、イベント発生中と判定した場合、ＥＣＵ４２では、第１の実施の形態におけるＳ１６と同様の処理により、皮膚電気信号を解析し、状態推定用の皮膚電位反応を設定する（Ｓ３５）。ここで、運転者のイベント発生中における皮膚電位反応が求められてことになる。

状態推定用の皮膚電位反応を求めると、ＥＣＵ４２では、イベント発生中の状態推定用の皮膚電位反応をイベント発生直前のリファレンス用の皮膚電位反応で除算し、皮膚電位反応の相対値を算出する（Ｓ３６）。ここで、イベント直前に求められた運転者の平常状態での皮膚電位反応を基準として、イベント発生中の運転者の覚醒状態を判定するための指標が求められたことになる。

なお、Ｓ３７〜Ｓ３９における各動作については、第１の実施の形態におけるＳ１８〜Ｓ２０における各動作と同様の動作なので、その説明を省略する。

次に、運転状況対応の処理について説明する。ＥＣＵ４２では、状態推定処理を終了するか否かを判定する（Ｓ４０）。Ｓ４０にて終了と判定した場合、ＥＣＵ４２では、状態推定処理を終了する。

Ｓ４０にて終了しないと判定している間、ＥＣＵ４２では、運転状況が状態推定が必要な状況か否かを判定し（Ｓ４１）、状態推定が必要でない場合にはそういう運転状況になるまで待つ。Ｓ４１にて状態推定が必要な状況と判定すると、ＥＣＵ４２では、第１の実施の形態におけるＳ１２、Ｓ１３と同様の処理により、規定回数分のリファレンス用の振動発生信号を振動発生装置１０に送信する（Ｓ４２，Ｓ４３）。すると、振動発生装置１０では、リファレンス用の微振動を規定回数発生させる（Ｓ４２）。これによって、運転者は、覚醒状態が低下する可能性のある運転状況下で、シートから微振動を数回感じる。

ＥＣＵ４２では、リファレンス用の微振動を発生させると、第１の実施の形態におけるＳ１４と同様の処理により、皮膚電気信号を解析し、リファレンス用の皮膚電位反応を設定する（Ｓ４４）。ここで、覚醒状態が低下する可能性のある運転状況下での基準となる皮膚電位反応が求められたことになる。

ＥＣＵ４２では、リファレンス用の皮膚電位反応を設定後、第１の実施の形態におけるＳ１５と同様の処理により、状態推定用の振動発生信号を振動発生装置１０に送信する（Ｓ４５）。すると、振動発生装置１０では、状態推定用の微振動を発生させる（Ｓ４５）。これによって、運転者は、シートから微振動を１回感じる。

ＥＣＵ４２では、状態推定用の微振動を発生させると、第１の実施の形態におけるＳ１６と同様の処理により、皮膚電気信号を解析し、状態推定用の皮膚電位反応を設定する（Ｓ４６）。ここで、覚醒状態が低下する可能性のある運転状況下での運転者の覚醒状態を判定するための皮膚電位反応が求められてことになる。

状態推定用の皮膚電位反応を求めると、ＥＣＵ４２では、この状態推定が必要な運転状況における状態推定用の皮膚電位反応をリファレンス用の皮膚電位反応で除算し、皮膚電位反応の相対値を算出する（Ｓ４７）。ここで、覚醒状態が低下する可能性のある運転状況下での運転者の覚醒状態を判定するための指標が求められたことになる。

なお、Ｓ４８〜Ｓ５０における各動作については、第１の実施の形態におけるＳ１８〜Ｓ２０における各動作と同様の動作なので、その説明を省略する。

この状態推定システム２によれば、第１の実施の形態と同様に、運転者に負荷を与えず、運転者の覚醒状態を客観的な情報に基づいて高精度に推定できる。特に、状態推定システム２では、イベントや運転状況に基づく特定のタイミングでリファレンス用の微振動を与えるので、その特定のタイミングでの基準となる皮膚電位反応を把握することができる。そのため、運転者の状態を推定したい環境や運転状況のときには何時でも、運転者の覚醒状態を高精度に推定することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載され、車両の運転者の状態として覚醒度（覚醒状態）を推定する装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の状態を推定するために利用してもよいし、覚醒状態以外に心理状態（焦り、イライラ、退屈）、疲労状態などの他の状態を推定する装置に適用してもよい。

また、本実施の形態では人に与える物理刺激として座席から発生させた振動を利用したが、物理刺激としては様々なものを利用でき、例えば、音、光などの他の物理刺激を発生させてもよいし、あるいは、機器から定常的に出ている振動、光、音などを利用してもよい。

また、本実施の形態ではシステム側からリファレンス用と状態推定用の両方の物理刺激を与える場合には座席からの微振動による同じ物理刺激（同じ物理刺激ではあるが、振動を与える時間、振動の強さ、振動の周期などのパラメータをリファレンス用と状態推定用で変えている）を与える構成としたが、異なる物理刺激を与える構成としてもよい。

また、本実施の形態では生理指標として皮膚電気活動（ＥＤＡ）、特に、皮膚電位反応（ＳＰＲ）を利用したが、様々な生理指標を利用でき、例えば、眼電（ＥＯＧ）による生理指標（瞬目など）、脳波（ＥＥＧ）による生理指標（α波、β波など）、心電（ＥＣＧ）による生理指標（心拍数など）、筋電（ＥＭＧ）による生理指標などを利用してもよく、また、皮膚電気活動の中でも皮膚抵抗水準（ＳＲＬ）、皮膚抵抗反応（ＳＲＲ）、皮膚電位水準（ＳＰＬ）などの他の生理指標を利用してもよい。さらに、１つの生理指標だけで状態を推定するのではなく、複数の生理指標を組み合わせて状態を推定するようにしてもよい。

また、本実施の形態では覚醒状態が運転に支障レベル以下になった場合には画像表示、音声出力、振動などによって注意喚起する構成としたが、警報ブザーなどの他の手段で注意喚起する構成としてもよいし、あるいは、状態が運転に支障レベル以下になった場合には運転支援システム（例えば、プリクラッシュセーフティシステム、アダプティブクルーズコントロールシステム、レーンキープシステム）の制御タイミングや制御閾値を変えるなどして、より安全性を高めるように車両側で制御するようにしてもよい。また、人の状態を検出し、その検出した人の状態を出力する構成としてもよい。

また、第２の実施の形態ではナビゲーションシステム、ＶＩＣＳなどを利用して運転環境が変わることが予想されるイベントを検出する構成としたが、ラジオによる交通情報受信など他の手段でイベントを検出する構成としてもよい。

本実施の形態に係る状態推定方法の概要を示す図である。第１の実施の形態に係る状態推定システムの構成図である。第１の実施の形態に係る状態変化のプロセスの一例であり、（ａ）が状態推定用物理刺激の入力タイミングであり、（ｂ）が皮膚電気活動（ＥＤＡ）の時間変化であり、（ｃ）が（ｂ）で示す皮膚電気活動（ＥＤＡ）のフィルタ処理後（直流成分除去後）の時間変化である。第１の実施の形態に係る皮膚電位反応（ＳＰＲ）の時間変化の一例である。第１の実施に形態に係る皮膚電位反応（ＳＰＲ）の相対値の時間変化の一例である。図２の状態推定システムにおける処理の流れを示すフローチャートである。第２の実施の形態に係る状態推定システムの構成図である。図７の状態推定システムにおけるイベント対応の処理の流れを示すフローチャートである。図７の状態推定システムにおける運転状況対応の処理の流れを示すフローチャートである。

符号の説明

１，２…状態推定システム、１０…振動発生装置、１１…ナビゲーションシステム、１２…ＶＩＣＳ受信装置、２０…皮膚電気活動センサ、２１…増幅器、３０…スピーカ、３１…ディスプレイ、４１，４２…ＥＣＵ

Claims

被験者に対して参照情報取得のための刺激を与える第１刺激付与手段と、
被験者に対して状態情報取得のための刺激を与える第２刺激付与手段と、
前記第１刺激付与手段で与えた刺激及び前記第２刺激付与手段で与えた刺激に対する被験者の反応を被験者の生態指標によって検出する刺激反応検出手段と、
前記第１刺激付与手段で与えた刺激に対する被験者の反応と前記第２刺激付与手段で与えた刺激に対する被験者の反応との比較に基づいて被験者の状態を判定する状態判定手段と
を備えることを特徴とする人の状態検出装置。
前記第１刺激付与手段で与える刺激は、周期的に与えられることを特徴とする請求項１に記載する人の状態検出装置。
前記第１刺激付与手段で与える刺激は、前記第２刺激付与手段で刺激を与える以前に与えられることを特徴とする請求項１に記載する人の状態検出装置。