JP2009528600A5 - - Google Patents

Download PDF

Info

Publication number
JP2009528600A5
JP2009528600A5 JP2008556612A JP2008556612A JP2009528600A5 JP 2009528600 A5 JP2009528600 A5 JP 2009528600A5 JP 2008556612 A JP2008556612 A JP 2008556612A JP 2008556612 A JP2008556612 A JP 2008556612A JP 2009528600 A5 JP2009528600 A5 JP 2009528600A5
Authority
JP
Japan
Prior art keywords
eye
incapacity
measurement
monitoring
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008556612A
Other languages
English (en)
Other versions
JP2009528600A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/AU2007/000219 external-priority patent/WO2007098530A1/en
Publication of JP2009528600A publication Critical patent/JP2009528600A/ja
Publication of JP2009528600A5 publication Critical patent/JP2009528600A5/ja
Pending legal-status Critical Current

Links

Description

無能力モニタ
この発明は、車両の運転手又は機械類のオペレータの不注意、特に無能力のモニタリングに関する。
眠気は幅広い機器のオペレータの能力を損なうので、眠気の検出は重要なことであり、この幅広い機器は、自動車、航空機、及びボート、並びに産業用設備を含んでいる。
WO03/039358は、赤外光を用いて瞼と目の動きの振幅及び速度を測定し、スケール上の眠気の測定を実現する覚醒度モニタを開示している。このモニタは、オペレータの覚醒度の較正された測定を行うことが可能なリアルタイム警戒モニタを提供することを目指している。眠気だけでなく、運転手の注意散漫の問題に対する懸念が近年存在する。注意散漫により、運転手の運転タスクからの視覚的注意の焦点移動が起き、この移動は、非視覚的タスク(例えば、車両内で他人と話すこと、又は携帯電話を使うこと)、又は一時的に運転の安全性を低下させる別の視覚的タスク(地図又はナビゲーション・システムを読むこと、CDプレイヤー又はラジオを調整すること等)のどちらかへのものである。このように運転手の注意散漫は、安全運転に対し、方向と継続時間において不適切に集中する注意に関係している。運転手の無能力の概念は、そもそも鉄道産業において適用されるようである。運転手の意識を失わせる幾つかの医療上の状況又は他の状況が言及されており、それらは単に、眠い状態を容易に反転可能な眠りに入ること、又は注意散漫になることではない。このことは、運転手が心臓麻痺により死亡したにもかかわらず、列車はそのまま進んで脱線し、乗客を殺したという列車衝突の後、オーストラリアにおいて主要な話題の焦点となっている。そのような事件に関わる可能性の最も高いこれら医療上の状況は、突然死(例えば心臓麻痺又は心臓発作)、糖尿病における低血糖、及びてんかん性の発作である。
列車における覚醒検出のシステムが現在存在し、このシステムは、列車の制御(速度を変更すること、ブレーキを加えること等)のため、(約)90秒ごとにボタンを押すこと又は幾つかの調整をすることを運転手に伴わせ、そうしないとサイレンが鳴り、ブレーキが加えられて列車が停止するというものである。しかし、これら運転手は、90秒の期間の任意の時点でボタンを押すために、約1秒間、適度に警戒しなければならないだけである。彼らは、一度に1分間、繰返し眠ることが容易に可能であり、このことは現行のシステムによって検出されない。
米国特許6102870は、オペレータの精神状態を暗示する凝視又はサッカード等のアイ・トラッカー・データを使用しており、このオペレータの精神状態は、精査(scanning)、読み(reading)、検索(searching)、思考(thinking)、及び選択の意思(an intention to select)等である。それは、コンピュータ・ソフトウェアの反応性を向上させるためのシステムである。
米国特許6346887は、ビデオベースのアイ・トラッキング・システムを使用しており、このビデオベースのアイ・トラッキング・システムは、目の活動並びに瞳孔の直径及び位置を追跡し、警戒を推定するために使用可能な目の活動を表す信号を生成する。
この発明の目的は、WO03/039358にて開示した種類の無能力を扱うことが可能な警戒モニタであって、改善されたものを提供することである。
この目的のため、本発明は
a)目及び瞼の動きを測定するための手段と、
b)前記の測定値を継続的に記録するための記憶手段と、
c)目の静止及び閉瞼の継続時間の一方又は双方の測定を実現するために目及び瞼の動きを分析し、警戒対象に対する既定値からの偏差を測定するためのデータ・プロセッサと、
d)前記の測定値が既定値に達することでトリガされる警報手段と
を備えた無能力を監視するためのシステムを提供する。
時に運転手は、目を広く開いて一見すると真っ直ぐ前方を見ているが、実際には他のところへ(例えば、ストレスのある煩わしい思考を伴って)意識を集中させていることがある。また、眠気のある状態において、彼らは目を開いているが、何も見ておらず、何も気付いていないかもしれない。これらの状況は、何れもビデオカメラで検出できない。しかし、WO03/039358にて開示した赤外線検出システムは、継続的に眠気のレベルを測定可能である。車両が動いているとき又は機械が稼動しているとき、警告をトリガすべき「注意散漫」の最適継続時間は、2から5秒のオーダーである。
WO03/039358にて開示した赤外線検出システムはまた、目又は瞼の動きがないときの期間を測定可能である。目の静止が長くなることは、「無能力」の良いしるしである。1分あたりの平均の目の静止の継続時間(DOQ)は、任意の種類の連続した目及び瞼の動きの間の間隔の平均であり、この任意の種類の目及び瞼の動きは、サッカード、瞬き、前庭動眼運動等である。比較的長い期間の目の静止は、多くの対象にとって、典型的な眠気のある状態である。この発明は、路上のトラック運転手及び実際に列車を運転している列車運転手に対する、そのような間隔の継続時間の分析に部分的に基づいている。運転手は普通、何らかの目又は瞼の動き(サッカード、瞬き、前庭動眼運動等)を、1秒あたり数回起こしている。
約6秒より長い目の静止の期間はまれであり、この発明においては「潜在的無能力」警告のためのトリガとして使用する。このことは、運転手の更なる特定のテスティングの前であることが好ましく、この運転手の更なる特定のテスティングは、上記の警告が与えられた後、できる限り早くにボタンを押すよう求めることによる。このことは、誤った正の警告及び不適切に加えられるブレーキという時々の問題を克服する。時々長くなる目の静止の期間によって生じ、無能力によって生じない警告は、オペレータが上記の潜在的無能力警告に対する適切な応答を与えることにより容易に否定される。
目の静止によってトリガされる潜在的無能力警告の各々は、オペレータからの応答を要求する。オペレータによるそのような行動は、この警告が誤った正のものであったことを指し示し、場合によってはそのオペレータの注意を運転又は機械操作のタスクに戻して集中させる。
オペレータが応答しない場合、緊急の手順を実行可能である。この緊急の手順は、操作されている車両又は機械の種類によって異なるものになり、車両にブレーキをかけ停止させること及び中央制御ポスト(a central control post)に報告を送ることの一方又は双方を含むことができる。
従って別の態様において、この発明は、そのオペレータが監視されている車両又は機械を制御する方法を提供し、それは
a)前記のオペレータの少なくとも1眼におけるサッカード及び瞬きを含む、目及び瞼の動きの1以上を継続的に監視するステップと、
b)目の静止の測定を実現するために前記目及び瞼の動きを分析し、警戒対象に対する既定値からの偏差を測定するステップと、
c)前記の測定が既定量を逸脱したとき、警告を与えるステップであって、前記の警告は、既定期間内の応答を要求する、ステップと、
d)前記の既定時間内に応答がなされなかった場合、緊急手順を適用するステップと
による。
瞼の動き及びサッカードは、任意の適当な技術を使用して監視することができ、この任意の適当な技術は、適当な目の動きを識別し測定するためのビデオ又はデジタルカメラ技術を含んでいる。しかし、WO03/039358にて開示した装置及びアルゴリズムが好ましい。
この発明で用いるアイ・モニタリング装置は、本発明者の以前の特許出願WO03/039358において説明したのと同じ種類のものである。
WO03/039358は、両眼に変換器(IR−LEDとフォトトランジスタ)を備えた眼鏡を説明した。このことの理由は、両眼協調が眠気に伴い変化することであり、それは両眼から記録することが必要不可欠だったからである。しかし、本発明者の更なる研究に基づき、両眼協調の測定値は、眠気が増すにつれより不正確になることが明らかとなった。従って、両眼協調の測定値が必要でない場合、1眼からの記録は、全ての他のパラメータに対して十分である。
今は、2つの赤外線エミッタと、1眼の下にある下フレーム部に設置した少なくとも1つのフォトトランジスタ検出器とを置くことが好ましい。個人がこのデバイスを装着している間、最良の信号を供給するエミッタが、その個人に対し選ばれる。
現在、眠気を監視するためのビデオカメラの方法は、実際的問題と理論的問題との両方を抱えている。後者の幾つかは、将来的に、カメラのフレーム・レートを約500Hzに増やすことができ、速度及びAVRを測定可能になれば、克服できる。このとき、赤外線の発光と検出は好ましい技術となる。
図1は、4時間に渡る、2人の列車の運転手の、目又は瞼の動きのない59,310間隔の頻度ヒストグラムである。図2は、6時間に渡る、7人の車の運転手の、目又は瞼の動きのない141278間隔の頻度ヒストグラムである。図1及び2において図示されているこの調査の結果からわかるように、4又は5秒以上の目の静止の期間は十分にまれであり、オペレータからの応答を要求する警告は、苛立たせるほど頻繁ではない。各種車両又は機械に対する運転手又はオペレータのサンプルの予備的調査を行うことによって、適当な時間は決定可能である。
図3は、この発明に従う無能力モニタの動作のフロー図であり、この無能力モニタは列車での使用に対し設計されたものである。周期的な手順における最初のステップは、エミッタ及び検出器を備えた眼鏡フレームが身に付けられたかをチェックすることである。もし身に付けられておらず、且つ列車の速度が事前設定の(操車場等での)最小速度より高かった場合、列車の運転手がこの眼鏡をかけることを促すよう、警告が与えられる。応答を受けなかった場合、ブレーキの警告が与えられ、さらに応答が発せられなかった場合、列車のブレーキング・システムが自動的に作動する。
既定期間より長い目の静止の期間を検出すると、ボタンを押すことを列車の運転手に要求する警告が与えられ、この応答は検出器を通常の検出サイクルに戻す。
もし適当な既定期間(約2秒)内に応答が発せられなかった場合、列車のブレーキング・システムが作動する。
もし既定の最大より長い目の静止の期間が検出されなかった場合、警告は与えられない。
この目の静止の期間及び応答のために必要とされる時間は、事故のリスクを増加させることのない、より少ない警告を与えるであろう値を選択することによって決定可能である。
上述の説明から、本発明は、無能力の独特の測定と、機械類又は車両を操作するための個人の能力の信頼性ある予測器を提供することがわかる。
この発明の核となる教示から逸脱することなしに、説明した以外の装置及び方法論の実施形態によって、この発明の利益が達成可能であることを当業者は理解するであろう。
列車の運転手の、目の静止の様々な期間の頻度を図示する、頻度ヒストグラムである。 車の運転手の、目の静止の様々な期間の頻度を図示する、頻度ヒストグラムである。 この発明に従う、無能力モニタの一実施形態のフロー図である。

Claims (7)

  1. 機械又は車両のオペレータの無能力を監視するためのシステムであって、
    a)前記オペレータの少なくとも1眼におけるサッカード及び瞬きを含む、目及び瞼の動きの1以上を測定するための手段と、
    b)前記測定の値を継続的に記録するための記憶手段と、
    c)前記目又は瞼の動きを分析して目の静止の期間の測定を実現するためのデータ・プロセッサと、
    d)目の静止の期間の測定値が既定値に達することでトリガされる警報手段と
    を備えたシステム。
  2. 瞼の動きを測定するための前記の手段は、デジタル・カメラである、請求項1に記載の無能力監視用システム。
  3. 瞼の動きを測定するための前記の手段は、眼鏡フレームに搭載された少なくとも赤外線エミッタと、同様に前記眼鏡フレームに搭載された少なくとも1つの赤外線検出器とを備えた、請求項1に記載の無能力監視用システム。
  4. 前記の警報に応答するための作動手段を備えた、請求項1、2又3に記載の無能力監視用システム。
  5. 前記の警報への応答がなされなかった場合、緊急手順を始動させるための手段を備えた、請求項4に記載の無能力監視用システム。
  6. 前記緊急手順は、前記車両のブレーキング・システムを始動させる、列車で使用するための請求項5に記載の無能力監視用システム。
  7. a)オペレータの少なくとも1眼におけるサッカード及び瞬きを含む、目及び瞼の動きの1以上を継続的に監視するステップと、
    b)前記目及び瞼の動きを分析して目の静止の期間の測定を実現するステップと、
    c)目の静止の期間の測定値が既定値に達したとき警告を与えるステップであって、前記の警告は既定期間内の応答を要求する、ステップと、
    d)既定間隔内に応答がなされなかった場合、緊急手順を適用するステップと
    を含む、対象の無能力を監視する方法。
JP2008556612A 2006-03-01 2007-02-28 無能力モニタ Pending JP2009528600A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2006901016A AU2006901016A0 (en) 2006-03-01 Attention Monitor
PCT/AU2007/000219 WO2007098530A1 (en) 2006-03-01 2007-02-28 Incapacity monitor

Publications (2)

Publication Number Publication Date
JP2009528600A JP2009528600A (ja) 2009-08-06
JP2009528600A5 true JP2009528600A5 (ja) 2012-05-17

Family

ID=38458565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008556612A Pending JP2009528600A (ja) 2006-03-01 2007-02-28 無能力モニタ

Country Status (14)

Country Link
US (1) US8311284B2 (ja)
EP (1) EP1988815B1 (ja)
JP (1) JP2009528600A (ja)
KR (1) KR101259663B1 (ja)
CN (1) CN101426418B (ja)
AU (1) AU2007219703B2 (ja)
BR (1) BRPI0708414A2 (ja)
CA (1) CA2644053C (ja)
IL (1) IL193456A (ja)
MX (1) MX2008010625A (ja)
NZ (1) NZ570352A (ja)
RU (1) RU2008138893A (ja)
WO (1) WO2007098530A1 (ja)
ZA (1) ZA200807032B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ570352A (en) * 2006-03-01 2012-03-30 Optalert Pty Ltd Monitoring incapacity of machine or vehicle operator using measurement of the period of ocular quiescence
US8040247B2 (en) * 2009-03-23 2011-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. System for rapid detection of drowsiness in a machine operator
CN102393796B (zh) * 2011-07-25 2014-06-18 金宇 基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜
ES2436699B1 (es) * 2012-06-29 2014-12-22 Nil BARNOSELL MORERA Sistema de detección de somnolencia o distracción del conductor de un vehículo automóvil
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9103688B2 (en) * 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
DE102015217339A1 (de) * 2015-09-10 2017-03-16 Siemens Aktiengesellschaft Gesichtsfelderkennung in Schienenfahrzeugen
JP7318475B2 (ja) * 2019-10-10 2023-08-01 マツダ株式会社 運転者状態判定装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
US4665385A (en) * 1985-02-05 1987-05-12 Henderson Claude L Hazardous condition monitoring system
US4953111A (en) * 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
JP3036319B2 (ja) * 1993-09-22 2000-04-24 松下電器産業株式会社 運転者状態監視装置
JP3374613B2 (ja) * 1995-09-25 2003-02-10 三菱電機株式会社 覚醒低下警報装置
AU1589797A (en) 1995-10-21 1997-05-07 Joachim Patz Method and device for preventing drivers, etc. from falling asleep and for monitoring people's reactions
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6070098A (en) * 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
US5745038A (en) * 1997-03-21 1998-04-28 Vance; David L. Awakening alarm for motor vehicle operators
WO1998049028A1 (en) 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
WO1999018842A1 (en) 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
FR2784887B1 (fr) * 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
DE19983911B4 (de) * 1999-01-27 2018-09-06 Compumedics Sleep Pty. Ltd. Wachsamkeitsüberwachungssystem
US6243015B1 (en) * 1999-06-17 2001-06-05 Hyundai Motor Company Driver's drowsiness detection method of drowsy driving warning system
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6147612A (en) * 1999-11-10 2000-11-14 Ruan; Ying Chao Dual function optic sleep preventing device for vehicle drivers
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
CN2448644Y (zh) * 2000-10-19 2001-09-19 温宇彬 防瞌睡提醒器
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
GB2381586A (en) * 2001-11-01 2003-05-07 Oxford Biosignals Ltd Electro-Oculographic Sleep Monitoring
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
CN1960670B (zh) * 2004-04-01 2011-02-23 威廉·C·托奇 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法
WO2006024129A1 (en) * 2004-09-03 2006-03-09 Canadian Space Agency System and method for mental workload measurement based on rapid eye movement
MX2007010513A (es) * 2005-03-04 2008-01-16 Sleep Diagnostics Pty Ltd Medicion de estado de alerta.
NZ570352A (en) * 2006-03-01 2012-03-30 Optalert Pty Ltd Monitoring incapacity of machine or vehicle operator using measurement of the period of ocular quiescence
JP4921374B2 (ja) * 2006-03-27 2012-04-25 パナソニック株式会社 ユーザ支援装置および困惑状態判定装置
US20090062680A1 (en) * 2007-09-04 2009-03-05 Brain Train Artifact detection and correction system for electroencephalograph neurofeedback training methodology
US8462949B2 (en) * 2007-11-29 2013-06-11 Oculis Labs, Inc. Method and apparatus for secure display of visual content

Similar Documents

Publication Publication Date Title
JP2009528600A5 (ja)
KR101259663B1 (ko) 무력상태 모니터
KR101189008B1 (ko) 경계 상태 측정 방법
JP6627684B2 (ja) 運転手状態判定装置、車両制御システム
KR101646418B1 (ko) 심박 신호 기반 운전자 상태 판단 장치 및 방법
KR101338041B1 (ko) Ssvep 기반 차량 안전 주행 제어 시스템 및 방법
JP2011180873A (ja) 運転支援装置、及び運転支援方法
JP4977856B2 (ja) 覚醒状態検知方法および覚醒状態検知装置
Kumari et al. A survey on drowsy driver detection system
KR20130039150A (ko) 운전자 졸음 방지 시스템 및 방법
AU2006220243B2 (en) Measuring alertness
RU2814302C1 (ru) Автоматизированная система непрерывного контроля бдительности машиниста поезда и способ непрерывного контроля бдительности машиниста поезда с помощью этой системы
Kumar et al. A Comparative Study on Different Measures to Identify Driver States
Kitazaki Evaluation of Driver Drowsiness While Using Automated Driving Systems on Driving Simulator, Test Course and Public Roads
Abirami et al. An In-Depth Exploration of Advanced Driver Drowsiness Detection Systems for Enhanced Road Safety
Muralidharan et al. Smart Safety and Accident Prevention System
US20180021575A1 (en) Universal method for preventing falling asleep and improving human performance