JP2004089272A - 生体状態推定方法及び装置、プログラム - Google Patents
生体状態推定方法及び装置、プログラム Download PDFInfo
- Publication number
- JP2004089272A JP2004089272A JP2002251468A JP2002251468A JP2004089272A JP 2004089272 A JP2004089272 A JP 2004089272A JP 2002251468 A JP2002251468 A JP 2002251468A JP 2002251468 A JP2002251468 A JP 2002251468A JP 2004089272 A JP2004089272 A JP 2004089272A
- Authority
- JP
- Japan
- Prior art keywords
- biological
- biological signal
- parameter
- relational expression
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
【課題】作業前の事前拘束を強いたり、作業中の安全性を低下させたりすることなく、どの作業者に対しても生体信号から生体状態を正しく推定できるようにする。
【解決手段】生体信号パラメータ生成部１２にて、まぶたの開度が基準値に対応する開度以下となる時間割合を表わす生体信号パラメータを生成し、この生体信号パラメータと、関係式記憶部１４に記憶された関係式とに基づいて、作業能力パラメータを求める。生体信号パラメータ生成部１２では、ドライバーが覚醒状態にあることが期待できる作業開始初期に取得した生体信号から基準値を設定し、この基準値に対する生体信号の大小時間割合を生体信号パラメータとする。つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、全てのドライバーに共通の関係式を適用できるようにする。
【選択図】 図１
【解決手段】生体信号パラメータ生成部１２にて、まぶたの開度が基準値に対応する開度以下となる時間割合を表わす生体信号パラメータを生成し、この生体信号パラメータと、関係式記憶部１４に記憶された関係式とに基づいて、作業能力パラメータを求める。生体信号パラメータ生成部１２では、ドライバーが覚醒状態にあることが期待できる作業開始初期に取得した生体信号から基準値を設定し、この基準値に対する生体信号の大小時間割合を生体信号パラメータとする。つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、全てのドライバーに共通の関係式を適用できるようにする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、作業者の生体信号に基づいて該作業者の生体状態を推定する生体状態推定方法及び装置、プログラムに関する。
【０００２】
【従来の技術】
従来より、作業者の覚醒度や疲労度等の生体状態を、その作業者のまぶたや眼球の運動を表す生体信号から推定する技術が知られている。但し、生体状態を直接的に評価することが困難であるため、生体状態と強い相関関係を有する作業能力を測定し、この作業能力から生体状態を定量的に評価することが考えられている。
【０００３】
例えば、作業者が車両運転中のドライバー、生体状態が覚醒度である場合を考えると、ドライバーの覚醒度が低下するに従い、目が泳ぎ、まぶたが垂れて目が半開きの状態となり、最終的にはまぶたが閉じられてしまう。これと共に、ドライバーの運転能力（作業能力）が低下し、車両がふらつくことにより、車両の目標走行軌跡に対する横ずれ量が大きくなる。
【０００４】
つまり、まぶたや眼球の運動を表わす生体信号と、ドライバーの運転能力に密接に関係した車両の横ずれ量との関係を測定し、その測定結果から両者の関係式を予め求めておけば、その関係式を用いて、生体信号からドライバーの運転能力のレベル、ひいては生体状態を評価できるのである。
【０００５】
この場合、生体信号と車両の横ずれ量との関係式を精度良く求めることが重要となる。但し、生体信号には個人差があるため、生体信号から生体状態を評価するための関係式は、作業者毎に異なったものとなる。
このため、例えば特開平５−９２０３９号公報には、実際に生体信号から生体状態（覚醒度）の推定を行う前に、その対象となる各作業者に簡単な作業を行わせて、その作業結果から、作業能力に密接に関係する物理量（刺激に対する反応時間）と生体信号との関係式を作業者毎に予め求めておく方法が開示されている。
【０００６】
また、特開平８−２２５０２８号公報には、作業（自動車の運転）開始からしばらくの時間内に、生体信号（瞬きパラメータ）と作業能力に密接に関係する物理量（運転挙動）との相関関係を学習し、その学習により得られた情報に基づいて関係式を求める方法が開示されている。
【０００７】
【発明が解決しようとする課題】
しかし、前者では、作業を開始する前に、各作業者に対して、関係式を求めるための事前拘束を強いることになるという問題があった。
一方、後者では、各作業者に合わせた関係式を求めるための学習が、その作業（車両の運転）中になされるため、事前拘束の必要はないが、覚醒度が低下した状態の時のデータも、その作業中に取得しなければならないため、必要なデータが完備するまでの間は作業の安全性を充分に確保することができないという問題があった。
【０００８】
本発明は、上記問題点を解決するために、作業者の生体信号から作業者の生体状態を推定する生体状態推定方法及び装置において、作業前の事前拘束を強いたり、作業中の安全性を低下させることなく、どの作業者に対しても生体信号から生体状態を正しく推定できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するための発明である請求項１記載の生体状態推定方法では、被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと、被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式を予め定義しておく。
【００１０】
そして、対象となる作業者から抽出した生体信号に基づいて生体信号パラメータを生成し、その生体信号パラメータから、上述の関係式に基づいて作業能力パラメータを求めることにより、作業者の生体状態を推定する。
つまり、作業者に応じて個別の関係式を用いるのではなく、規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全ての作業者について共通の関係式を適用できるようにされている。
【００１１】
従って、本発明の生体状態推定方法によれば、各作業者に対応した個別の関係式を作成する必要がないため、作業者に事前拘束を強いることがなく、また、作業の初期から精度のよい生体状態の推定結果を得ることができる。
次に請求項２記載の生体状態推定装置では、関係式記憶手段に、被験者の生体信号から生成され、生体信号の個人差が吸収されるように規格化された生体信号パラメータと被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式が記憶されている。
【００１２】
そして、パラメータ生成手段が、作業者から抽出した生体信号から生体信号パラメータを生成し、生体状態推定手段が、関係式記憶手段に記憶された関係式に基づいて、パラメータ生成手段が生成した生体信号パラメータから作業能力パラメータを求めることにより、作業者の生体状態を推定する。
【００１３】
つまり本発明の生体状態推定装置は、請求項１記載の方法を実現するものであり、従って、その方法を実施した場合と同様の効果を得ることができる。
なお、関係式記憶手段に記憶される関係式としては、例えば請求項３記載のように、生体信号パラメータと作業能力パラメータとの相関関係の測定結果を表す散布図から回帰分析（生体信号パラメータが複数ある場合には重回帰分析）をすることで求めた回帰式を用いることができる。
【００１４】
ここで、パラメータ生成手段は、例えば請求項４記載のように構成することができる。即ち、特徴値生成手段が、生体信号から該生体信号の特徴を表す特徴値を生成し、基準値設定手段が、作業開始後の一定時間内に特徴値生成手段にて生成される特徴値に基づいて、該特徴値についての基準値を設定する。そして、相対値算出手段が、その設定された基準値に対する特徴値の相対値を求め、その算出された相対値に基づいて、演算手段が生体信号パラメータを求める。
【００１５】
つまり、作業者の生体状態（例えば覚醒度）が、その作業（例えば車両の運転）を行うのに適した状態（覚醒状態）にあることが期待できる作業開始後の一定時間内に、その作業者の基準値を求め、この基準値からの相対変化を求めることで、生体信号に含まれる個人差分が除去された生体信号パラメータを得ているのである。
【００１６】
なお、この場合、作業開始後の一定時間の間は、基準値を求めるための情報収集を行う必要があるが、作業開始後に関係式を学習する場合とは異なり、生体状態が作業の遂行に好ましくない状態に変化した時の情報を収集する必要がないため、安全に且つ短期間で必要な情報を得ることができる。
【００１７】
ところで、生体信号としては、例えば請求項５記載のように、まぶたの動きを表す信号を用いることができる。この場合、例えば請求項６記載のように、特徴値生成手段は、特徴値として、上まぶたと下まぶたとの間隔を生体信号から求め、基準値設定手段は、その特徴値の平均値に０以上１未満に設定された係数を乗じた値を基準値とするように構成することができる。
【００１８】
即ち、基準値設定手段が生成する特徴値の平均値は、作業者が覚醒状態にあると期待できる間に取得された特徴値に基づくものであるため、１である係数を乗じた基準値とはまぶたが完全に開いた時の特徴値、０である係数を乗じた基準値とは、まぶたが完全に閉じた時の特徴値に相当する。つまり、まぶたが完全に閉じた状態、または半開きの状態を表わす特徴値が基準値として設定されることになる。
【００１９】
但し、まぶたが完全に開いた状態は変動が大きいため、その変動領域に基準値が設定されてしまうことがないように、係数は、請求項７記載のように、０以上０．５以下（より好ましくは０．３５程度）であることが望ましい。
また、このように平均的なまぶたの開度を検出する場合、まぶたの開度を瞬時的に変化させる瞬きはノイズ成分となるため、特徴値生成手段は、請求項８記載のように、特徴値から瞬きに対応するものを排除するように構成することが望ましい。
【００２０】
そして、演算手段は、例えば請求項９記載のように、特徴値が基準値より大又は小である期間の時間割合から生体信号パラメータを求めるように構成することができる。また、この場合、時間割合そのものを生体信号パラメータとしてもよいが、例えば請求項１０記載のように、時間割合の移動平均を生体信号パラメータとしてもよい。
【００２１】
また、特徴値生成手段は、請求項１１記載のように、生体信号を周波数解析した結果を特徴値としてもよい。この場合、演算手段は、請求項１２記載のように、特徴値に基づき、いわゆる主成分分析等の統計的な手法を用いることで、各特徴値に共通する変化の傾向を記述する一乃至複数の主成分を生体信号パラメータとして求めるようにしてもよい。
【００２２】
また、この場合、生体信号としては、例えば請求項１３記載のように、眼球運動を表す信号を用いることができる。
なお、作業者が車両のドライバーである場合には、請求項１４記載のように、車両の横ずれ量を作業能力パラメータとして用いることができる。
【００２３】
なお、請求項２乃至請求項１５いずれか記載の生体状態推定装置を構成する各手段は、コンピュータをこれら各手段として動作させるためのプログラムにて構成してもよい。
【００２４】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１は、車両に搭載され、ドライバーの生体信号からその作業能力を推定することで、ドライバーの覚醒度や疲労度等の生体状態を推定する第１実施形態の生体状態推定装置１の構成を示すブロック図である。
【００２５】
図１（ａ）に示すように、本実施形態の生体状態推定装置１は、ＣＣＤカメラからドライバーの眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部１０と、生体信号取得部１０にて取得された生体信号から、後述する生体信号パラメータを生成するパラメータ生成手段としての生体信号パラメータ生成部１２と、生体信号パラメータと覚醒度や疲労度等の生体状態に応じて変化する物理量である作業能力パラメータとの相関関係を定義した関係式を記憶する関係式記憶手段としての関係式記憶部１４と、関係式記憶部１４に記憶された関係式に基づき、生体信号パラメータ生成部１２にて生成された生体信号パラメータから作業能力パラメータを求める生体状態推定手段としての作業能力推定部１６とを備えている。
【００２６】
そして、生体信号パラメータ生成部１２は、図１（ｂ）に示すように、生体信号取得部１０にて取得された生体信号から、周知の画像処理手法を用いて上まぶたと下まぶたとの間隔を求めることで、まぶたの開度を表わした特徴データを抽出する特徴データ抽出部２０と、特徴データ抽出部２０が抽出した特徴データから、瞬きに対応するものを除去するフィルタ部２１とを備えている。
【００２７】
なお、特徴データ抽出部２０では、上まぶたと下まぶたとの間の画素数を特徴データとして抽出し、また、フィルタ部２１では、例えば、１００ｍｓｅｃ以下の時間範囲内で、高速に変化するデータを瞬きに基づくものであると判断し、これを瞬きノイズとして除去するように構成されている。
【００２８】
また、生体信号パラメータ生成部１２は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間（本実施形態では３分間）内の特徴データの平均値を求める平均値算出部２３と、平均値算出部２３での算出値に予め設定された係数（本実施形態では０．３５）を乗じることにより、特徴データの基準値を求める係数乗算部２４とからなる基準値生成部２２を備えている。
【００２９】
つまり、平均値算出部２３が算出する特徴データの平均値は、覚醒状態にあるドライバーのまぶたの開き度合いを表わしており、係数乗算部２４にて係数を乗じることにより、まぶたが特定の半開きの状態が基準となるようにされている。更に、生体信号パラメータ生成部１２は、瞬きノイズが除去された特徴データと上述の基準値とを比較する比較部２５と、比較部２５での比較結果に従い、基準値以下となる特徴データが占める時間割合を単位時間（本実施形態では１０秒）毎に算出する時間割合算出部２６と、時間割合算出部２６での算出結果に従って、図２に示すように、３０秒間の窓を２０秒毎にシフトさせた時間割合の移動平均を算出する移動平均算出部２７とを備えおり、移動平均算出部２７から２０秒間隔で算出される時間割合の移動平均を、生体信号パラメータとして出力する。つまり、時間割合の移動平均からなる生体信号パラメータは０〜１の実数値をとる。
【００３０】
なお、生体信号パラメータ生成部１２において、特徴データ抽出部２０及びフィルタ部２１が特徴値抽出手段、基準値生成部２２が基準値設定手段、比較部２５が相対値算出手段、時間割合算出部２６及び移動平均算出部２７が演算手段に相当する。
【００３１】
このように構成された本実施形態の生体状態推定装置１では、生体信号パラメータ生成部１２にて、まぶたの開度が基準値に対応する開度以下となる時間割合を表わす生体信号パラメータが生成され、この生体信号パラメータと、関係式記憶部１４に記憶された関係式とに基づいて、作業能力パラメータが求められる。
【００３２】
なお、上述の生体状態推定装置１では、基準値を求めるためのデータを収集する一定時間を３分、生体信号パラメータを求めるために相対値の移動平均を求める際の移動窓の幅を３０秒、窓の移動量を２０秒としたが、これらの値に限定されるものではなく、使用する生体信号等に応じて適宜設定すればよい。
【００３３】
次に、関係式記憶部１４に記憶される関係式の生成方法について説明する。
図３はドライビングシミュレータを利用して関係式を生成するためのデータを収集するデータ収集装置３の構成を表わすブロック図、図４は関係式の生成手順を示すフローチャートである。
【００３４】
図３に示すように、データ収集装置３は、ドライビングシミュレータから車線中央からの車両の横ずれ量を評価データとして取得する評価データ取得部３０と、評価データ取得部３０が取得した評価データの移動平均を算出する移動平均算出部３４からなり、移動平均算出部３４での算出値を作業能力パラメータとして出力する作業能力パラメータ生成部３２とを備えている。
【００３５】
なお、移動平均算出部３４は、生体信号パラメータ生成部１２が相対値の移動平均を算出する場合と同様に、２０秒ずつシフトさせた３０秒間分の評価データの平均値を連続的に求めるように構成されている（図２参照）。但し、作業能力パラメータの最大値は６［ｍ］に制限されている。これは、運転している車両が中央分離帯や路側壁を乗り越えて飛び出してしまった状態に相当し、実験的にも、作業能力パラメータが６［ｍ］以上の時には、ドライバーが居眠り状態になっていることが確認されている。
【００３６】
また、データ収集装置３は、ＣＣＤカメラからドライビングシミュレータを操作する被験者の眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部４０と、生体信号取得部４０にて取得された生体信号から生体信号パラメータを生成する生体信号パラメータ生成部４２とを備えている。
【００３７】
なお、生体信号取得部４０及び生体信号パラメータ生成部４２は、生体状態推定装置１における生体信号取得部１０及び生体信号パラメータ生成部１２と全く同様に構成されているため、ここでは説明を省略する。
このように構成されたデータ収集装置３では、ドライビングシミュレータを使用する被験者の生体信号と、被験者の操作に基づく評価データ（車両横ずれ量）とを同時に取得し、これら生体信号及び評価データに基づいて、生体信号パラメータ及び作業能力パラメータを生成する。
【００３８】
そして、図４に示すように、関係式を生成する際には、データ収集装置３を使用して複数の被験者についての生体信号パラメータ及び作業能力パラメータを取得する第１のステップＳ１と、これら取得したパラメータを同一の散布図上に表わす第２のステップＳ２と、散布図上のパラメータに対して公知の回帰分析を実施することで回帰直線を求め、この回帰直線を表わす回帰式を求める第３のステップＳ３とを実行し、この第３のステップＳ３にて得られた回帰式を関係式として、関係式記憶部１４に記憶する。
【００３９】
但し、第２のステップＳ２にて散布図を作成する際に、作業能力パラメータの最大値が１となるように規格化を行う。即ち、作業能力パラメータは、覚醒度が高い状態では０であり、覚醒度が低下するほど値は大きくなり、居眠り状態では１となるように変換される。
【００４０】
従って、散布図においては、作業能力パラメータが０に近づくほど、車両横ずれ量も小さく、ドライバの覚醒度が高いことを意味し、また作業能力パラメータが１に近づくほど、車両横ずれ量も大きく、ドライバーの覚醒度が低いことを意味する。
【００４１】
ここで、図５は、データ収集装置３を使用して３人の被験者から生体信号パラメータ及び作業能力パラメータを取得し、生体信号パラメータを横軸、作業能力パラメータを縦軸に取って作成した散布図、及び散布図に基づいて求められた回帰直線を表わすグラフである。
【００４２】
なお、両パラメータを取得する際にドライビングシミュレータの設定を、他の車両が走行していない高速道路を１００ｋｍ／ｈの定速走行する走行場面とした。
また、被験者には、走行車線中央に沿って走行するように６０分間ハンドル操作だけを行わせた。この状態で、走行車線中央からの車両の横ずれ量を１０ｍｓ周期（サンプリング周波数１００Ｈｚ）で取得したものを評価データとし、同様に特徴データも、生体信号に基づいて１０ｍｓ周期で生成した。
【００４３】
つまり、評価データに、被験者の作業能力とは関係のない、いわゆる外乱（路上の障害物回避など）により生じる車両の横ずれ量が含まれないように条件を設定した。
この結果、図５に示されているように、回帰直線は、２本の直線からなる折線、即ち２つの関係式にて近似されるという結果を得た。なお、折線の屈曲点は、生体信号パラメータが約０．１（３／３０）のところにあり、この屈曲点までの間は直線の傾きが小さく、この屈曲点を超えると、直線の傾きが大きくなる。但し、屈曲点に対応する生体信号パラメータは、基準値を求めるための係数に依存し、この係数に応じて１／３０〜７／３０の間で変化する。
【００４４】
次に、このようにして得られた関係式が関係式記憶部１４に格納された生体状態推定装置１を用いて、被験者とは異なるドライバーの作業能力、ひいては覚醒度も推定できることを検証した。
即ち、関係式を導いた際に測定した被験者とは異なる被験者の生体信号から、同様の方法で時系列の生体信号パラメータを求め、前述の関係式に入力し、時系列の車両の横ずれ量の推定値を算出する。この推定した車両横ずれ量と、生体信号取得の際に同時に取得した実際の車両横ずれ量とを比較した。図９は、両者を同じグラフに示したものであり、両者が非常に良く一致している（相関値：０．８１）ことがわかる。
【００４５】
これにより、異なる作業者においても、共通の関係式を用いて、作業者の生体信号パラメータから作業能力が検出できることが実証された。
以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に、各人の基準となる生体信号を取得し、基準値に対する生体信号の大小時間割合を生体信号パラメータとしている。
【００４６】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされている。
【００４７】
従って、本実施形態によれば、各ドライバーに対応した個別の関係式を作成する必要がないため、ドライバーに関係式を求めるための事前拘束を強いることがなく、また、運転初期からドライバーの作業能力、ひいては覚醒度や疲労度を精度よく推定することができる。
【００４８】
また、本実施形態では、生体信号から抽出した特徴データ（まぶたの開度データ）から、瞬き時に抽出された特徴データを除去するようにされているため、基準値や生体信号パラメータの生成精度を高めることができ、その結果、推定精度をより向上させることができる。
【００４９】
更に、本実施形態では、関係式を求めるためのデータの収集に、ドライビングシミュレータを利用しているため、覚醒度の高い状態（横ずれ量小）から、覚醒度の大幅な低下状態（居眠り状態：横ずれ量大）までのデータを安全に取得することができる。しかも、生体状態とは関係のない外乱による車両の横ずれを確実に排除できるため、車両横ずれ量が覚醒度の低下状態と非常に強い相関を持つデータを得ることができ、精度のよい関係式を得ることができる。
【００５０】
なお、本実施形態では、回帰式を２本の直線からなる折線で近似したが、曲線による近似を用いてもよいことは自明である。
［第２実施形態］
次に、第２実施形態について説明する。
【００５１】
本実施形態では、生体信号として、ＣＣＤカメラからドライバーの眼部周辺を撮像してなる画像データの代わりに、目尻の両端に電極を貼った、いわゆるＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｍ ）からの眼球運動に対応して変動する信号を用いる点で第１実施形態とは異なっている。
【００５２】
具体的には、生体状態推定装置１及びデータ収集装置３を構成する生体信号パラメータ生成部の構成、及び生体信号パラメータと作業能力パラメータとから関係式を求める手順が、第１実施形態とは異なるだけであるため、この相違する部分を中心に説明する。
【００５３】
即ち、本実施形態では、生体信号パラメータ生成部１２，４２の代わりに、図６に示す生体信号パラメータ生成部５２が用いられている。この生体信号パラメータ生成部５２は、生体信号をサンプリングすると共に、１２８個のサンプリングデータからなる眼球運動データを、２０秒毎に生成するデータ抽出部６０と、データ抽出部６０にて生成された眼球運動データに対してＦＦＴ処理を施すことにより周波数解析部６１と、周波数解析部６１での解析により得られた眼球運動スペクトルを構成する各周波数成分の振幅をＬＯＧ（常用対数）変換するＬＯＧ変換部６２とを備えている。
【００５４】
なお、データ抽出部６０では、図７に示すように、１０ｍｓ周期（サンプリング周波数１００Ｈｚ）にて生体信号をサンプリングし、瞬きに対応したスパイク状のノイズを含まない連続した１２８個のサンプリングデータを２０秒毎に過去３０秒間分のサンプリングデータの中から抽出することで眼球運動データを生成する。
【００５５】
また生体信号パラメータ生成部５２は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間（本実施形態では３分間）内で生成された眼球運動スペクトルの平均値を求めることで、基準スペクトルを生成する平均値算出部６３と、平均値算出部６３からの基準スペクトルに対するＬＯＧ変換部６２からの眼球運動スペクトルの相対値を求める相対値算出部６４と、眼球運動スペクトルの相対値を、後述する変換式を用いて、複数（本実施形態では４）個の主成分に変換する主成分変換部６５とを備え、この主成分変換部６５にて変換された主成分を生体信号パラメータとして出力する。
【００５６】
但し、データ収集装置３を構成する生体信号パラメータ生成部５２では、主成分変換部６５が省略され、相対値算出部６４が算出した眼球運動スペクトルの相対値を出力するように構成されている。
なお、生体状態推定装置１を構成する生体信号パラメータ生成部５２において、データ抽出部６０，周波数解析部６１，ＬＯＧ変換部６２が特徴値生成手段、平均値算出部６３が平均値算出手段、相対値算出部６４が相対値算出手段、主成分変換部６５が演算手段に相当する。
【００５７】
次に、関係式の生成手順について説明する。
関係式を生成する際には、図８に示すように、記生体信号パラメータ生成部５２にて構成されたデータ収集装置３を使用して複数の被験者についての眼球運動スペクトルの相対値及び作業能力パラメータを取得する第１のステップＳ１１と、これら取得した眼球運動スペクトルの相対値とこれに対応する作業能力パラメータ（車両横ずれ量）とを、多次元空間の散布図上に表わす第２のステップＳ１２と、散布図上のパラメータに対して公知の主成分分析を行い、眼球運動スペクトルの共通的特徴を表わす第１〜第４主成分まで求めるための変換式を得る第３のステップＳ１３と、この変換式に基づき多次元空間上の全点を主成分に変換する第４のステップＳ１４と、第４のステップＳ１４にて得られた４つの主成分（生体信号パラメータ）と作業能力パラメータとからなる５次元空間上の散布図に基づき、両者の関係式を公知の重回帰分析により求める第５のステップＳ１５とを実行する。
【００５８】
そして、第３のステップＳ１３にて得られる変換式を主成分変換部６５に設定し、第５のステップＳ１５にて得られる関係式を関係式記憶部１４に記憶する。以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に取得した生体信号から、各人の基準となる基準スペクトルを求め、この基準スペクトルに対する眼球運動スペクトルの相対値を、主成分に変換したものを生体信号パラメータとするようにされている。
【００５９】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされ、また、生体信号から瞬きに対応するデータを除去して眼球運動スペクトルを求めるようにされている。
【００６０】
従って、本実施形態によれば、第１実施形態の場合と同様の効果を得ることができる。
なお、本実施形態において、生体信号パラメータ生成部５２では、眼球運動スペクトルに対してＬＯＧ変換を施し、更に基準スペクトルに対する眼球運動スペクトルの相対値を求めているが、これに限らず、各ドライバー（作業者）毎に基準値を設定し、この基準値を基に生体信号の相対変化を求め、どのドライバーの生体信号であっても同じ重みで処理できるようにされていればよい。
【００６１】
また、関係式を求める際の作業者数やＦＦＴ処理に使用するサンプリングデータの個数、主成分分析の次数などは、上述の値に限るものではなく、各種条件に応じて適宜設定すればよい。
また、眼球運動スペクトルの相対値から共通適特徴を抽出する方法としては、主成分分析に限るものではなく、その他の特徴抽出が行える既存の手段、アルゴリズムを用いてもよい。
【００６２】
以上本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
例えば、上記実施形態では、ドライビングシミュレータを使用して取得した評価データから関係式を求めているが、ドライビングシミュレータの代わりに、実際の道路を走行した時に得られる車両横ずれ量を評価データとして用いてもよい。この場合、評価データから外乱（路上の障害物回避など）に基づくものを除去するように構成することが望ましい。またこの場合、車両横ずれ量は、例えば時々刻々と得られる車速と操舵角とから求めるようにすればよい。
【００６３】
また、ドライビングシミュレータを使用する代わりに、例えば、パソコンディスプレイ上を移動するターゲットに追従して、マウスを操作することで、ポインターを追従操作させることで、生体信号と作業能力との関係を測定して、関係式を求めるようにしてもよい。この場合、作業能力、すなわち移動するターゲットに対してマウス操作によるポインターの追従誤差は、ほぼ覚醒度の低下のみの影響を受けて増大し、外乱成分は含まれないため、精度の高い関係式を得ることができる。
【００６４】
更に、上記実施形態では、生体状態推定装置１による推定対象の作業者を、車両のドライバーとしたが、これに限らず、他の分野の作業者、例えば、工業プラントの監視業務や、他の交通手段の操縦者（航空機のパイロットや船舶の操船者等）等であってもよい。こえらの場合、それぞれのオペレーション操作を代表する作業における作業能力を測定し、生体信号との関係を示す関係式を求めればよい。いずれの作業も、覚醒度の低下と共に作業能力が低下する相関関係が認められるものであればよい。
【図面の簡単な説明】
【図１】第１実施形態における生体状態推定装置の構成を示すブロック図である。
【図２】生体信号パラメータの算出方法及びタイミングを示す説明図である。
【図３】第１実施形態におけるデータ収集装置の構成を示すブロック図である。
【図４】第１実施形態における関係式の生成手順を示すフローチャートである。
【図５】生体信号パラメータと作業能力パラメータとの測定結果を示す散布図である。
【図６】第２実施形態における生体状態推定装置及びデータ収集装置を構成する生体信号パラメータ生成部の構成を示すブロック図である。
【図７】ＦＦＴ処理に使用するサンプリングデータを示す説明図である。
【図８】第２実施形態における関係式の生成手順を示すフローチャートである。
【図９】生体信号から推定した車両横ずれ量と、実際の車両横ずれ量との関係を示すグラフである。
【符号の説明】
１…生体状態推定装置、３…データ収集装置、１０…生体信号取得部、１２…生体信号パラメータ生成部、１４…関係式記憶部、１６…作業能力推定部、２０…特徴データ抽出部、２１…フィルタ部、２２…基準値生成部、２３…平均値算出部、２４…係数乗算部、２５…比較部、２６…時間割合算出部、２７…移動平均算出部、３０…評価データ取得部、３２…作業能力パラメータ生成部、３４…移動平均算出部、４０…生体信号取得部、４２…生体信号パラメータ生成部、５２…生体信号パラメータ生成部、６０…データ抽出部、６１…周波数解析部、６２…ＬＯＧ変換部、６３…平均値算出部、６４…相対値算出部、６５…主成分変換部。
【発明の属する技術分野】
本発明は、作業者の生体信号に基づいて該作業者の生体状態を推定する生体状態推定方法及び装置、プログラムに関する。
【０００２】
【従来の技術】
従来より、作業者の覚醒度や疲労度等の生体状態を、その作業者のまぶたや眼球の運動を表す生体信号から推定する技術が知られている。但し、生体状態を直接的に評価することが困難であるため、生体状態と強い相関関係を有する作業能力を測定し、この作業能力から生体状態を定量的に評価することが考えられている。
【０００３】
例えば、作業者が車両運転中のドライバー、生体状態が覚醒度である場合を考えると、ドライバーの覚醒度が低下するに従い、目が泳ぎ、まぶたが垂れて目が半開きの状態となり、最終的にはまぶたが閉じられてしまう。これと共に、ドライバーの運転能力（作業能力）が低下し、車両がふらつくことにより、車両の目標走行軌跡に対する横ずれ量が大きくなる。
【０００４】
つまり、まぶたや眼球の運動を表わす生体信号と、ドライバーの運転能力に密接に関係した車両の横ずれ量との関係を測定し、その測定結果から両者の関係式を予め求めておけば、その関係式を用いて、生体信号からドライバーの運転能力のレベル、ひいては生体状態を評価できるのである。
【０００５】
この場合、生体信号と車両の横ずれ量との関係式を精度良く求めることが重要となる。但し、生体信号には個人差があるため、生体信号から生体状態を評価するための関係式は、作業者毎に異なったものとなる。
このため、例えば特開平５−９２０３９号公報には、実際に生体信号から生体状態（覚醒度）の推定を行う前に、その対象となる各作業者に簡単な作業を行わせて、その作業結果から、作業能力に密接に関係する物理量（刺激に対する反応時間）と生体信号との関係式を作業者毎に予め求めておく方法が開示されている。
【０００６】
また、特開平８−２２５０２８号公報には、作業（自動車の運転）開始からしばらくの時間内に、生体信号（瞬きパラメータ）と作業能力に密接に関係する物理量（運転挙動）との相関関係を学習し、その学習により得られた情報に基づいて関係式を求める方法が開示されている。
【０００７】
【発明が解決しようとする課題】
しかし、前者では、作業を開始する前に、各作業者に対して、関係式を求めるための事前拘束を強いることになるという問題があった。
一方、後者では、各作業者に合わせた関係式を求めるための学習が、その作業（車両の運転）中になされるため、事前拘束の必要はないが、覚醒度が低下した状態の時のデータも、その作業中に取得しなければならないため、必要なデータが完備するまでの間は作業の安全性を充分に確保することができないという問題があった。
【０００８】
本発明は、上記問題点を解決するために、作業者の生体信号から作業者の生体状態を推定する生体状態推定方法及び装置において、作業前の事前拘束を強いたり、作業中の安全性を低下させることなく、どの作業者に対しても生体信号から生体状態を正しく推定できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するための発明である請求項１記載の生体状態推定方法では、被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと、被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式を予め定義しておく。
【００１０】
そして、対象となる作業者から抽出した生体信号に基づいて生体信号パラメータを生成し、その生体信号パラメータから、上述の関係式に基づいて作業能力パラメータを求めることにより、作業者の生体状態を推定する。
つまり、作業者に応じて個別の関係式を用いるのではなく、規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全ての作業者について共通の関係式を適用できるようにされている。
【００１１】
従って、本発明の生体状態推定方法によれば、各作業者に対応した個別の関係式を作成する必要がないため、作業者に事前拘束を強いることがなく、また、作業の初期から精度のよい生体状態の推定結果を得ることができる。
次に請求項２記載の生体状態推定装置では、関係式記憶手段に、被験者の生体信号から生成され、生体信号の個人差が吸収されるように規格化された生体信号パラメータと被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、生体信号パラメータと作業能力パラメータとの関係について各被験者に共通する変化の傾向を記述した関係式が記憶されている。
【００１２】
そして、パラメータ生成手段が、作業者から抽出した生体信号から生体信号パラメータを生成し、生体状態推定手段が、関係式記憶手段に記憶された関係式に基づいて、パラメータ生成手段が生成した生体信号パラメータから作業能力パラメータを求めることにより、作業者の生体状態を推定する。
【００１３】
つまり本発明の生体状態推定装置は、請求項１記載の方法を実現するものであり、従って、その方法を実施した場合と同様の効果を得ることができる。
なお、関係式記憶手段に記憶される関係式としては、例えば請求項３記載のように、生体信号パラメータと作業能力パラメータとの相関関係の測定結果を表す散布図から回帰分析（生体信号パラメータが複数ある場合には重回帰分析）をすることで求めた回帰式を用いることができる。
【００１４】
ここで、パラメータ生成手段は、例えば請求項４記載のように構成することができる。即ち、特徴値生成手段が、生体信号から該生体信号の特徴を表す特徴値を生成し、基準値設定手段が、作業開始後の一定時間内に特徴値生成手段にて生成される特徴値に基づいて、該特徴値についての基準値を設定する。そして、相対値算出手段が、その設定された基準値に対する特徴値の相対値を求め、その算出された相対値に基づいて、演算手段が生体信号パラメータを求める。
【００１５】
つまり、作業者の生体状態（例えば覚醒度）が、その作業（例えば車両の運転）を行うのに適した状態（覚醒状態）にあることが期待できる作業開始後の一定時間内に、その作業者の基準値を求め、この基準値からの相対変化を求めることで、生体信号に含まれる個人差分が除去された生体信号パラメータを得ているのである。
【００１６】
なお、この場合、作業開始後の一定時間の間は、基準値を求めるための情報収集を行う必要があるが、作業開始後に関係式を学習する場合とは異なり、生体状態が作業の遂行に好ましくない状態に変化した時の情報を収集する必要がないため、安全に且つ短期間で必要な情報を得ることができる。
【００１７】
ところで、生体信号としては、例えば請求項５記載のように、まぶたの動きを表す信号を用いることができる。この場合、例えば請求項６記載のように、特徴値生成手段は、特徴値として、上まぶたと下まぶたとの間隔を生体信号から求め、基準値設定手段は、その特徴値の平均値に０以上１未満に設定された係数を乗じた値を基準値とするように構成することができる。
【００１８】
即ち、基準値設定手段が生成する特徴値の平均値は、作業者が覚醒状態にあると期待できる間に取得された特徴値に基づくものであるため、１である係数を乗じた基準値とはまぶたが完全に開いた時の特徴値、０である係数を乗じた基準値とは、まぶたが完全に閉じた時の特徴値に相当する。つまり、まぶたが完全に閉じた状態、または半開きの状態を表わす特徴値が基準値として設定されることになる。
【００１９】
但し、まぶたが完全に開いた状態は変動が大きいため、その変動領域に基準値が設定されてしまうことがないように、係数は、請求項７記載のように、０以上０．５以下（より好ましくは０．３５程度）であることが望ましい。
また、このように平均的なまぶたの開度を検出する場合、まぶたの開度を瞬時的に変化させる瞬きはノイズ成分となるため、特徴値生成手段は、請求項８記載のように、特徴値から瞬きに対応するものを排除するように構成することが望ましい。
【００２０】
そして、演算手段は、例えば請求項９記載のように、特徴値が基準値より大又は小である期間の時間割合から生体信号パラメータを求めるように構成することができる。また、この場合、時間割合そのものを生体信号パラメータとしてもよいが、例えば請求項１０記載のように、時間割合の移動平均を生体信号パラメータとしてもよい。
【００２１】
また、特徴値生成手段は、請求項１１記載のように、生体信号を周波数解析した結果を特徴値としてもよい。この場合、演算手段は、請求項１２記載のように、特徴値に基づき、いわゆる主成分分析等の統計的な手法を用いることで、各特徴値に共通する変化の傾向を記述する一乃至複数の主成分を生体信号パラメータとして求めるようにしてもよい。
【００２２】
また、この場合、生体信号としては、例えば請求項１３記載のように、眼球運動を表す信号を用いることができる。
なお、作業者が車両のドライバーである場合には、請求項１４記載のように、車両の横ずれ量を作業能力パラメータとして用いることができる。
【００２３】
なお、請求項２乃至請求項１５いずれか記載の生体状態推定装置を構成する各手段は、コンピュータをこれら各手段として動作させるためのプログラムにて構成してもよい。
【００２４】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１は、車両に搭載され、ドライバーの生体信号からその作業能力を推定することで、ドライバーの覚醒度や疲労度等の生体状態を推定する第１実施形態の生体状態推定装置１の構成を示すブロック図である。
【００２５】
図１（ａ）に示すように、本実施形態の生体状態推定装置１は、ＣＣＤカメラからドライバーの眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部１０と、生体信号取得部１０にて取得された生体信号から、後述する生体信号パラメータを生成するパラメータ生成手段としての生体信号パラメータ生成部１２と、生体信号パラメータと覚醒度や疲労度等の生体状態に応じて変化する物理量である作業能力パラメータとの相関関係を定義した関係式を記憶する関係式記憶手段としての関係式記憶部１４と、関係式記憶部１４に記憶された関係式に基づき、生体信号パラメータ生成部１２にて生成された生体信号パラメータから作業能力パラメータを求める生体状態推定手段としての作業能力推定部１６とを備えている。
【００２６】
そして、生体信号パラメータ生成部１２は、図１（ｂ）に示すように、生体信号取得部１０にて取得された生体信号から、周知の画像処理手法を用いて上まぶたと下まぶたとの間隔を求めることで、まぶたの開度を表わした特徴データを抽出する特徴データ抽出部２０と、特徴データ抽出部２０が抽出した特徴データから、瞬きに対応するものを除去するフィルタ部２１とを備えている。
【００２７】
なお、特徴データ抽出部２０では、上まぶたと下まぶたとの間の画素数を特徴データとして抽出し、また、フィルタ部２１では、例えば、１００ｍｓｅｃ以下の時間範囲内で、高速に変化するデータを瞬きに基づくものであると判断し、これを瞬きノイズとして除去するように構成されている。
【００２８】
また、生体信号パラメータ生成部１２は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間（本実施形態では３分間）内の特徴データの平均値を求める平均値算出部２３と、平均値算出部２３での算出値に予め設定された係数（本実施形態では０．３５）を乗じることにより、特徴データの基準値を求める係数乗算部２４とからなる基準値生成部２２を備えている。
【００２９】
つまり、平均値算出部２３が算出する特徴データの平均値は、覚醒状態にあるドライバーのまぶたの開き度合いを表わしており、係数乗算部２４にて係数を乗じることにより、まぶたが特定の半開きの状態が基準となるようにされている。更に、生体信号パラメータ生成部１２は、瞬きノイズが除去された特徴データと上述の基準値とを比較する比較部２５と、比較部２５での比較結果に従い、基準値以下となる特徴データが占める時間割合を単位時間（本実施形態では１０秒）毎に算出する時間割合算出部２６と、時間割合算出部２６での算出結果に従って、図２に示すように、３０秒間の窓を２０秒毎にシフトさせた時間割合の移動平均を算出する移動平均算出部２７とを備えおり、移動平均算出部２７から２０秒間隔で算出される時間割合の移動平均を、生体信号パラメータとして出力する。つまり、時間割合の移動平均からなる生体信号パラメータは０〜１の実数値をとる。
【００３０】
なお、生体信号パラメータ生成部１２において、特徴データ抽出部２０及びフィルタ部２１が特徴値抽出手段、基準値生成部２２が基準値設定手段、比較部２５が相対値算出手段、時間割合算出部２６及び移動平均算出部２７が演算手段に相当する。
【００３１】
このように構成された本実施形態の生体状態推定装置１では、生体信号パラメータ生成部１２にて、まぶたの開度が基準値に対応する開度以下となる時間割合を表わす生体信号パラメータが生成され、この生体信号パラメータと、関係式記憶部１４に記憶された関係式とに基づいて、作業能力パラメータが求められる。
【００３２】
なお、上述の生体状態推定装置１では、基準値を求めるためのデータを収集する一定時間を３分、生体信号パラメータを求めるために相対値の移動平均を求める際の移動窓の幅を３０秒、窓の移動量を２０秒としたが、これらの値に限定されるものではなく、使用する生体信号等に応じて適宜設定すればよい。
【００３３】
次に、関係式記憶部１４に記憶される関係式の生成方法について説明する。
図３はドライビングシミュレータを利用して関係式を生成するためのデータを収集するデータ収集装置３の構成を表わすブロック図、図４は関係式の生成手順を示すフローチャートである。
【００３４】
図３に示すように、データ収集装置３は、ドライビングシミュレータから車線中央からの車両の横ずれ量を評価データとして取得する評価データ取得部３０と、評価データ取得部３０が取得した評価データの移動平均を算出する移動平均算出部３４からなり、移動平均算出部３４での算出値を作業能力パラメータとして出力する作業能力パラメータ生成部３２とを備えている。
【００３５】
なお、移動平均算出部３４は、生体信号パラメータ生成部１２が相対値の移動平均を算出する場合と同様に、２０秒ずつシフトさせた３０秒間分の評価データの平均値を連続的に求めるように構成されている（図２参照）。但し、作業能力パラメータの最大値は６［ｍ］に制限されている。これは、運転している車両が中央分離帯や路側壁を乗り越えて飛び出してしまった状態に相当し、実験的にも、作業能力パラメータが６［ｍ］以上の時には、ドライバーが居眠り状態になっていることが確認されている。
【００３６】
また、データ収集装置３は、ＣＣＤカメラからドライビングシミュレータを操作する被験者の眼部周辺を撮像してなる画像データを生体信号として取得する生体信号取得部４０と、生体信号取得部４０にて取得された生体信号から生体信号パラメータを生成する生体信号パラメータ生成部４２とを備えている。
【００３７】
なお、生体信号取得部４０及び生体信号パラメータ生成部４２は、生体状態推定装置１における生体信号取得部１０及び生体信号パラメータ生成部１２と全く同様に構成されているため、ここでは説明を省略する。
このように構成されたデータ収集装置３では、ドライビングシミュレータを使用する被験者の生体信号と、被験者の操作に基づく評価データ（車両横ずれ量）とを同時に取得し、これら生体信号及び評価データに基づいて、生体信号パラメータ及び作業能力パラメータを生成する。
【００３８】
そして、図４に示すように、関係式を生成する際には、データ収集装置３を使用して複数の被験者についての生体信号パラメータ及び作業能力パラメータを取得する第１のステップＳ１と、これら取得したパラメータを同一の散布図上に表わす第２のステップＳ２と、散布図上のパラメータに対して公知の回帰分析を実施することで回帰直線を求め、この回帰直線を表わす回帰式を求める第３のステップＳ３とを実行し、この第３のステップＳ３にて得られた回帰式を関係式として、関係式記憶部１４に記憶する。
【００３９】
但し、第２のステップＳ２にて散布図を作成する際に、作業能力パラメータの最大値が１となるように規格化を行う。即ち、作業能力パラメータは、覚醒度が高い状態では０であり、覚醒度が低下するほど値は大きくなり、居眠り状態では１となるように変換される。
【００４０】
従って、散布図においては、作業能力パラメータが０に近づくほど、車両横ずれ量も小さく、ドライバの覚醒度が高いことを意味し、また作業能力パラメータが１に近づくほど、車両横ずれ量も大きく、ドライバーの覚醒度が低いことを意味する。
【００４１】
ここで、図５は、データ収集装置３を使用して３人の被験者から生体信号パラメータ及び作業能力パラメータを取得し、生体信号パラメータを横軸、作業能力パラメータを縦軸に取って作成した散布図、及び散布図に基づいて求められた回帰直線を表わすグラフである。
【００４２】
なお、両パラメータを取得する際にドライビングシミュレータの設定を、他の車両が走行していない高速道路を１００ｋｍ／ｈの定速走行する走行場面とした。
また、被験者には、走行車線中央に沿って走行するように６０分間ハンドル操作だけを行わせた。この状態で、走行車線中央からの車両の横ずれ量を１０ｍｓ周期（サンプリング周波数１００Ｈｚ）で取得したものを評価データとし、同様に特徴データも、生体信号に基づいて１０ｍｓ周期で生成した。
【００４３】
つまり、評価データに、被験者の作業能力とは関係のない、いわゆる外乱（路上の障害物回避など）により生じる車両の横ずれ量が含まれないように条件を設定した。
この結果、図５に示されているように、回帰直線は、２本の直線からなる折線、即ち２つの関係式にて近似されるという結果を得た。なお、折線の屈曲点は、生体信号パラメータが約０．１（３／３０）のところにあり、この屈曲点までの間は直線の傾きが小さく、この屈曲点を超えると、直線の傾きが大きくなる。但し、屈曲点に対応する生体信号パラメータは、基準値を求めるための係数に依存し、この係数に応じて１／３０〜７／３０の間で変化する。
【００４４】
次に、このようにして得られた関係式が関係式記憶部１４に格納された生体状態推定装置１を用いて、被験者とは異なるドライバーの作業能力、ひいては覚醒度も推定できることを検証した。
即ち、関係式を導いた際に測定した被験者とは異なる被験者の生体信号から、同様の方法で時系列の生体信号パラメータを求め、前述の関係式に入力し、時系列の車両の横ずれ量の推定値を算出する。この推定した車両横ずれ量と、生体信号取得の際に同時に取得した実際の車両横ずれ量とを比較した。図９は、両者を同じグラフに示したものであり、両者が非常に良く一致している（相関値：０．８１）ことがわかる。
【００４５】
これにより、異なる作業者においても、共通の関係式を用いて、作業者の生体信号パラメータから作業能力が検出できることが実証された。
以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に、各人の基準となる生体信号を取得し、基準値に対する生体信号の大小時間割合を生体信号パラメータとしている。
【００４６】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされている。
【００４７】
従って、本実施形態によれば、各ドライバーに対応した個別の関係式を作成する必要がないため、ドライバーに関係式を求めるための事前拘束を強いることがなく、また、運転初期からドライバーの作業能力、ひいては覚醒度や疲労度を精度よく推定することができる。
【００４８】
また、本実施形態では、生体信号から抽出した特徴データ（まぶたの開度データ）から、瞬き時に抽出された特徴データを除去するようにされているため、基準値や生体信号パラメータの生成精度を高めることができ、その結果、推定精度をより向上させることができる。
【００４９】
更に、本実施形態では、関係式を求めるためのデータの収集に、ドライビングシミュレータを利用しているため、覚醒度の高い状態（横ずれ量小）から、覚醒度の大幅な低下状態（居眠り状態：横ずれ量大）までのデータを安全に取得することができる。しかも、生体状態とは関係のない外乱による車両の横ずれを確実に排除できるため、車両横ずれ量が覚醒度の低下状態と非常に強い相関を持つデータを得ることができ、精度のよい関係式を得ることができる。
【００５０】
なお、本実施形態では、回帰式を２本の直線からなる折線で近似したが、曲線による近似を用いてもよいことは自明である。
［第２実施形態］
次に、第２実施形態について説明する。
【００５１】
本実施形態では、生体信号として、ＣＣＤカメラからドライバーの眼部周辺を撮像してなる画像データの代わりに、目尻の両端に電極を貼った、いわゆるＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｍ ）からの眼球運動に対応して変動する信号を用いる点で第１実施形態とは異なっている。
【００５２】
具体的には、生体状態推定装置１及びデータ収集装置３を構成する生体信号パラメータ生成部の構成、及び生体信号パラメータと作業能力パラメータとから関係式を求める手順が、第１実施形態とは異なるだけであるため、この相違する部分を中心に説明する。
【００５３】
即ち、本実施形態では、生体信号パラメータ生成部１２，４２の代わりに、図６に示す生体信号パラメータ生成部５２が用いられている。この生体信号パラメータ生成部５２は、生体信号をサンプリングすると共に、１２８個のサンプリングデータからなる眼球運動データを、２０秒毎に生成するデータ抽出部６０と、データ抽出部６０にて生成された眼球運動データに対してＦＦＴ処理を施すことにより周波数解析部６１と、周波数解析部６１での解析により得られた眼球運動スペクトルを構成する各周波数成分の振幅をＬＯＧ（常用対数）変換するＬＯＧ変換部６２とを備えている。
【００５４】
なお、データ抽出部６０では、図７に示すように、１０ｍｓ周期（サンプリング周波数１００Ｈｚ）にて生体信号をサンプリングし、瞬きに対応したスパイク状のノイズを含まない連続した１２８個のサンプリングデータを２０秒毎に過去３０秒間分のサンプリングデータの中から抽出することで眼球運動データを生成する。
【００５５】
また生体信号パラメータ生成部５２は、ドライバーの覚醒度が高い状態であることが期待できる運転開始後、一定時間（本実施形態では３分間）内で生成された眼球運動スペクトルの平均値を求めることで、基準スペクトルを生成する平均値算出部６３と、平均値算出部６３からの基準スペクトルに対するＬＯＧ変換部６２からの眼球運動スペクトルの相対値を求める相対値算出部６４と、眼球運動スペクトルの相対値を、後述する変換式を用いて、複数（本実施形態では４）個の主成分に変換する主成分変換部６５とを備え、この主成分変換部６５にて変換された主成分を生体信号パラメータとして出力する。
【００５６】
但し、データ収集装置３を構成する生体信号パラメータ生成部５２では、主成分変換部６５が省略され、相対値算出部６４が算出した眼球運動スペクトルの相対値を出力するように構成されている。
なお、生体状態推定装置１を構成する生体信号パラメータ生成部５２において、データ抽出部６０，周波数解析部６１，ＬＯＧ変換部６２が特徴値生成手段、平均値算出部６３が平均値算出手段、相対値算出部６４が相対値算出手段、主成分変換部６５が演算手段に相当する。
【００５７】
次に、関係式の生成手順について説明する。
関係式を生成する際には、図８に示すように、記生体信号パラメータ生成部５２にて構成されたデータ収集装置３を使用して複数の被験者についての眼球運動スペクトルの相対値及び作業能力パラメータを取得する第１のステップＳ１１と、これら取得した眼球運動スペクトルの相対値とこれに対応する作業能力パラメータ（車両横ずれ量）とを、多次元空間の散布図上に表わす第２のステップＳ１２と、散布図上のパラメータに対して公知の主成分分析を行い、眼球運動スペクトルの共通的特徴を表わす第１〜第４主成分まで求めるための変換式を得る第３のステップＳ１３と、この変換式に基づき多次元空間上の全点を主成分に変換する第４のステップＳ１４と、第４のステップＳ１４にて得られた４つの主成分（生体信号パラメータ）と作業能力パラメータとからなる５次元空間上の散布図に基づき、両者の関係式を公知の重回帰分析により求める第５のステップＳ１５とを実行する。
【００５８】
そして、第３のステップＳ１３にて得られる変換式を主成分変換部６５に設定し、第５のステップＳ１５にて得られる関係式を関係式記憶部１４に記憶する。以上説明したように、本実施形態では、ドライバーが覚醒状態にあることが期待できる作業開始初期に取得した生体信号から、各人の基準となる基準スペクトルを求め、この基準スペクトルに対する眼球運動スペクトルの相対値を、主成分に変換したものを生体信号パラメータとするようにされている。
【００５９】
つまり、ドライバーに応じて個別の関係式を用いるのではなく、基準値を用いて規格化された生体信号パラメータを用いることで、生体信号の持つ個人差に関係なく、全てのドライバーについて共通の関係式を適用できるようにされ、また、生体信号から瞬きに対応するデータを除去して眼球運動スペクトルを求めるようにされている。
【００６０】
従って、本実施形態によれば、第１実施形態の場合と同様の効果を得ることができる。
なお、本実施形態において、生体信号パラメータ生成部５２では、眼球運動スペクトルに対してＬＯＧ変換を施し、更に基準スペクトルに対する眼球運動スペクトルの相対値を求めているが、これに限らず、各ドライバー（作業者）毎に基準値を設定し、この基準値を基に生体信号の相対変化を求め、どのドライバーの生体信号であっても同じ重みで処理できるようにされていればよい。
【００６１】
また、関係式を求める際の作業者数やＦＦＴ処理に使用するサンプリングデータの個数、主成分分析の次数などは、上述の値に限るものではなく、各種条件に応じて適宜設定すればよい。
また、眼球運動スペクトルの相対値から共通適特徴を抽出する方法としては、主成分分析に限るものではなく、その他の特徴抽出が行える既存の手段、アルゴリズムを用いてもよい。
【００６２】
以上本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
例えば、上記実施形態では、ドライビングシミュレータを使用して取得した評価データから関係式を求めているが、ドライビングシミュレータの代わりに、実際の道路を走行した時に得られる車両横ずれ量を評価データとして用いてもよい。この場合、評価データから外乱（路上の障害物回避など）に基づくものを除去するように構成することが望ましい。またこの場合、車両横ずれ量は、例えば時々刻々と得られる車速と操舵角とから求めるようにすればよい。
【００６３】
また、ドライビングシミュレータを使用する代わりに、例えば、パソコンディスプレイ上を移動するターゲットに追従して、マウスを操作することで、ポインターを追従操作させることで、生体信号と作業能力との関係を測定して、関係式を求めるようにしてもよい。この場合、作業能力、すなわち移動するターゲットに対してマウス操作によるポインターの追従誤差は、ほぼ覚醒度の低下のみの影響を受けて増大し、外乱成分は含まれないため、精度の高い関係式を得ることができる。
【００６４】
更に、上記実施形態では、生体状態推定装置１による推定対象の作業者を、車両のドライバーとしたが、これに限らず、他の分野の作業者、例えば、工業プラントの監視業務や、他の交通手段の操縦者（航空機のパイロットや船舶の操船者等）等であってもよい。こえらの場合、それぞれのオペレーション操作を代表する作業における作業能力を測定し、生体信号との関係を示す関係式を求めればよい。いずれの作業も、覚醒度の低下と共に作業能力が低下する相関関係が認められるものであればよい。
【図面の簡単な説明】
【図１】第１実施形態における生体状態推定装置の構成を示すブロック図である。
【図２】生体信号パラメータの算出方法及びタイミングを示す説明図である。
【図３】第１実施形態におけるデータ収集装置の構成を示すブロック図である。
【図４】第１実施形態における関係式の生成手順を示すフローチャートである。
【図５】生体信号パラメータと作業能力パラメータとの測定結果を示す散布図である。
【図６】第２実施形態における生体状態推定装置及びデータ収集装置を構成する生体信号パラメータ生成部の構成を示すブロック図である。
【図７】ＦＦＴ処理に使用するサンプリングデータを示す説明図である。
【図８】第２実施形態における関係式の生成手順を示すフローチャートである。
【図９】生体信号から推定した車両横ずれ量と、実際の車両横ずれ量との関係を示すグラフである。
【符号の説明】
１…生体状態推定装置、３…データ収集装置、１０…生体信号取得部、１２…生体信号パラメータ生成部、１４…関係式記憶部、１６…作業能力推定部、２０…特徴データ抽出部、２１…フィルタ部、２２…基準値生成部、２３…平均値算出部、２４…係数乗算部、２５…比較部、２６…時間割合算出部、２７…移動平均算出部、３０…評価データ取得部、３２…作業能力パラメータ生成部、３４…移動平均算出部、４０…生体信号取得部、４２…生体信号パラメータ生成部、５２…生体信号パラメータ生成部、６０…データ抽出部、６１…周波数解析部、６２…ＬＯＧ変換部、６３…平均値算出部、６４…相対値算出部、６５…主成分変換部。
Claims (15)
- 被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと前記被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、前記生体信号パラメータと前記作業能力パラメータとの関係について、各被験者に共通する変化の傾向を記述した関係式を予め定義しておき、
作業者から抽出した生体信号から前記生体信号パラメータを生成し、該生体信号パラメータから前記関係式に基づいて前記作業能力パラメータを求めることにより、前記作業者の生体状態を推定することを特徴とする生体状態推定方法。 - 被験者の生体信号から生成され、該生体信号の個人差が吸収されるように規格化された生体信号パラメータと前記被験者の生体状態に応じて変化する作業能力のレベルを表す作業能力パラメータとの相関関係を１人又は複数人の被験者について測定した結果に基づいて、前記生体信号パラメータと前記作業能力パラメータとの関係について、各被験者に共通する変化の傾向を記述した関係式を記憶する関係式記憶手段と、
作業者から抽出した生体信号から前記生体信号パラメータを生成するパラメータ生成手段と、
前記関係式記憶手段に記憶された関係式に基づいて、前記パラメータ生成手段が生成した生体信号パラメータから前記作業能力パラメータを求めることにより、前記作業者の生体状態を推定する生体状態推定手段と、
を備えることを特徴とする生体状態推定装置。 - 前記関係式記憶手段に記憶される関係式は、前記生体信号パラメータと前記作業能力パラメータとの相関関係の測定結果を表す散布図から求めた回帰式であることを特徴とする請求項２記載の生体状態推定装置。
- 前記パラメータ生成手段は、
前記生体信号から該生体信号の特徴を表す特徴値を生成する特徴値生成手段と、 作業開始後の一定時間内に前記特徴値生成手段にて生成される特徴値に基づいて、該特徴値についての基準値を設定する基準値設定手段と、
該基準値設定手段にて設定された基準値に対する前記特徴値の相対値を求める相対値算出手段と、
該相対値算出手段にて算出された相対値に基づいて、前記生体信号パラメータを求める演算手段と、
を備えることを特徴とする請求項２又は請求項３記載の生体状態推定装置。 - 前記生体信号は、まぶたの動きを表す信号であることを特徴とする請求項４記載の生体状態推定装置。
- 前記特徴値生成手段は、上まぶたと下まぶたとの間隔を前記特徴値として求め、
前記基準値設定手段は、前記特徴値の平均値に０以上１未満に設定された係数を乗じた値を前記基準値とすることを特徴とする請求項５記載の生体状態推定装置。 - 前記係数は０以上０．５以下であることを特徴とする請求項６記載の生体状態推定装置。
- 前記特徴値生成手段は、前記特徴値から瞬きに対応するものを排除することを特徴とする請求項６又は請求項７記載の生体状態推定装置。
- 前記演算手段は、前記特徴値が前記基準値より大又は小である期間の時間割合から前記生体信号パラメータを求めることを特徴とする請求項４乃至請求項８いずれか記載の生体状態推定装置。
- 前記演算手段は、前記時間割合の移動平均を前記生体信号パラメータとすることを特徴とする請求項９記載の生体状態推定装置。
- 前記特徴値生成手段は、前記生体信号を周波数解析した結果を前記特徴値とすることを特徴とする請求項４記載の生体状態推定装置。
- 前記演算手段は、前記生体信号パラメータとして、前記特徴値に基づき、各特徴値に共通する変化の傾向を記述する一乃至複数の主成分を求めることを特徴とする請求項１１記載の生体状態推定装置。
- 前記生体信号は、眼球運動を表す信号であることを特徴とする請求項１１又は請求項１２記載の生体状態推定装置。
- 前記作業者は、車両のドライバーであり、
前記作業能力パラメータは、車両の横ずれ量であることを特徴とする請求項２乃至請求項１３いずれか記載の生体状態推定装置。 - コンピュータを、請求項２乃至請求項１４いずれか記載の生体状態推定装置を構成する各手段として動作させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002251468A JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002251468A JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004089272A true JP2004089272A (ja) | 2004-03-25 |
| JP3960168B2 JP3960168B2 (ja) | 2007-08-15 |
Family
ID=32058039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002251468A Expired - Fee Related JP3960168B2 (ja) | 2002-08-29 | 2002-08-29 | 生体状態推定方法及び装置、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3960168B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261502A (ja) * | 2006-03-29 | 2007-10-11 | Toyota Motor Corp | 車両用制御装置 |
| JP2008246013A (ja) * | 2007-03-30 | 2008-10-16 | National Univ Corp Shizuoka Univ | 眠気検知装置 |
| JP2010250577A (ja) * | 2009-04-16 | 2010-11-04 | Nec Corp | 情報処理装置およびプログラムおよび携帯型無線通信機器および居眠り防止システムおよび居眠り検知方法 |
| US8045766B2 (en) | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
| JP2017006675A (ja) * | 2015-06-22 | 2017-01-12 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 目の開度のための参照レベルを供給する方法および装置 |
| US11407422B2 (en) | 2017-02-28 | 2022-08-09 | Panasonic Intellectual Property Management Co., Ltd. | Operation appropriateness determination system, method for determining operation appropriateness, and non-transitory computer readable medium storing program for determining operation appropriateness |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63125624U (ja) * | 1987-02-09 | 1988-08-16 | ||
| JPH04250171A (ja) * | 1990-06-06 | 1992-09-07 | Agency Of Ind Science & Technol | 車両用ヒューマンマシンシステム |
| JPH08112253A (ja) * | 1994-10-14 | 1996-05-07 | Nissan Motor Co Ltd | 覚醒状態低下判定装置 |
| JPH08225028A (ja) * | 1995-02-20 | 1996-09-03 | Toyota Central Res & Dev Lab Inc | 運転者の覚醒度検出装置 |
| JPH1040361A (ja) * | 1996-07-18 | 1998-02-13 | Nissan Motor Co Ltd | 居眠り状態検出装置 |
| JPH1119075A (ja) * | 1997-07-04 | 1999-01-26 | Nissan Motor Co Ltd | メンタルストレス判定装置 |
| JP2001225666A (ja) * | 2000-02-15 | 2001-08-21 | Niles Parts Co Ltd | 眼の状態検出装置 |
-
2002
- 2002-08-29 JP JP2002251468A patent/JP3960168B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63125624U (ja) * | 1987-02-09 | 1988-08-16 | ||
| JPH04250171A (ja) * | 1990-06-06 | 1992-09-07 | Agency Of Ind Science & Technol | 車両用ヒューマンマシンシステム |
| JPH08112253A (ja) * | 1994-10-14 | 1996-05-07 | Nissan Motor Co Ltd | 覚醒状態低下判定装置 |
| JPH08225028A (ja) * | 1995-02-20 | 1996-09-03 | Toyota Central Res & Dev Lab Inc | 運転者の覚醒度検出装置 |
| JPH1040361A (ja) * | 1996-07-18 | 1998-02-13 | Nissan Motor Co Ltd | 居眠り状態検出装置 |
| JPH1119075A (ja) * | 1997-07-04 | 1999-01-26 | Nissan Motor Co Ltd | メンタルストレス判定装置 |
| JP2001225666A (ja) * | 2000-02-15 | 2001-08-21 | Niles Parts Co Ltd | 眼の状態検出装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007261502A (ja) * | 2006-03-29 | 2007-10-11 | Toyota Motor Corp | 車両用制御装置 |
| US8045766B2 (en) | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
| JP2008246013A (ja) * | 2007-03-30 | 2008-10-16 | National Univ Corp Shizuoka Univ | 眠気検知装置 |
| JP2010250577A (ja) * | 2009-04-16 | 2010-11-04 | Nec Corp | 情報処理装置およびプログラムおよび携帯型無線通信機器および居眠り防止システムおよび居眠り検知方法 |
| JP2017006675A (ja) * | 2015-06-22 | 2017-01-12 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 目の開度のための参照レベルを供給する方法および装置 |
| US11407422B2 (en) | 2017-02-28 | 2022-08-09 | Panasonic Intellectual Property Management Co., Ltd. | Operation appropriateness determination system, method for determining operation appropriateness, and non-transitory computer readable medium storing program for determining operation appropriateness |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3960168B2 (ja) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Solovey et al. | Classifying driver workload using physiological and driving performance data: two field studies | |
| US8862581B2 (en) | Method and system for concentration detection | |
| CN102098955B (zh) | 检测微入睡事件的方法和设备 | |
| US8400313B2 (en) | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device | |
| EP2087841B1 (en) | Arousal level judging method and arousal level judging program | |
| Picot et al. | Drowsiness detection based on visual signs: blinking analysis based on high frame rate video | |
| WO2018122633A1 (en) | Emotion estimation apparatus, method, and program | |
| WO2010001962A1 (ja) | 眠気検出装置 | |
| JP6375496B2 (ja) | 眠気検出方法及び眠気検出装置 | |
| US11317840B2 (en) | Method for real time analyzing stress using deep neural network algorithm | |
| JP4701694B2 (ja) | 覚醒度判定装置及び覚醒度判定方法 | |
| JP2012061222A (ja) | 運転者状態推定装置 | |
| Baccour et al. | Camera-based driver drowsiness state classification using logistic regression models | |
| JP3960168B2 (ja) | 生体状態推定方法及び装置、プログラム | |
| Vasudevan et al. | Driver drowsiness monitoring by learning vehicle telemetry data | |
| Dehzangi et al. | Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors | |
| Albalawi et al. | Single-channel real-time drowsiness detection based on electroencephalography | |
| CN114435373B (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
| CN113616194B (zh) | 一种监测手部震颤频率和强度的装置及方法 | |
| Rodríguez-Ibáñez et al. | Synchrosqueezing index for detecting drowsiness based on the respiratory effort signal | |
| JP2010012100A (ja) | 眠気検出装置 | |
| JP2001198113A (ja) | 疲労度演算装置 | |
| WO2021014632A1 (ja) | 運転者状態判断装置および運転者状態判断方法 | |
| Wu et al. | EEG-based fuzzy neural network estimator for driving performance | |
| Avramidis et al. | Multimodal Estimation of Change Points of Physiological Arousal in Drivers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |