JP2007531090A - 運転者の知覚適性検査の方法およびシステム - Google Patents

運転者の知覚適性検査の方法およびシステム Download PDF

Info

Publication number
JP2007531090A
JP2007531090A JP2007504347A JP2007504347A JP2007531090A JP 2007531090 A JP2007531090 A JP 2007531090A JP 2007504347 A JP2007504347 A JP 2007504347A JP 2007504347 A JP2007504347 A JP 2007504347A JP 2007531090 A JP2007531090 A JP 2007531090A
Authority
JP
Japan
Prior art keywords
driver
stimulus
eye
equipment
perceptual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007504347A
Other languages
English (en)
Other versions
JP4551925B2 (ja
Inventor
ヴィクター,トレント
ラルッソン,ペッテル
Original Assignee
ボルボ テクノロジー コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ボルボ テクノロジー コーポレイション filed Critical ボルボ テクノロジー コーポレイション
Publication of JP2007531090A publication Critical patent/JP2007531090A/ja
Application granted granted Critical
Publication of JP4551925B2 publication Critical patent/JP4551925B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/036Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters for testing astigmatism
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1015Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/18Arrangement of plural eye-testing or -examining apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)

Abstract


運転者および/または他の任意の、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置の操作者に対して知的適性検査(PST)を実施する方法およびシステムが開示される。この方法およびシステムは特に、その操作が特に環境および/または他者に一般的および/または潜在的な危険を呈する可能性のある乗り物、設備、および/または装置のための知覚障害イグニッションインターロック装置(PERCEPTIIID)を有効または無効にするために提供される。
【選択図】図1

Description

本発明は、運転者および/または他の任意の、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置の操作者に対して知覚適性検査(PST)を実施する方法およびシステムに関する。本発明は特に、その操作が特に環境および/または他者に一般的および/または潜在的な危険を呈する可能性のある乗り物、設備、および/または装置のための知覚障害イグニッションインターロック装置(PERCEPTIIID)を有効または無効にするために提供される。
幹線道路のすべての事故の約80%は知覚エラーが原因であると報告されており(Treatら、1977年)、衝突の主な原因は不注意であると報告されており(Wangら、1996年)、交通錯綜の発見遅れは、運転者の基本的なエラーである(Rumar、1990年)。自動車、列車、航空機、船舶、原子炉、化学プロセス等のような設備の操作中の、アルコール、違法薬物および処方薬、健康状態、または他の、身体に障害を引き起こす病気の影響を原因とする事故やエラーは、社会にとって甚大な損失である(本発明は、運転以外の状況にも関連するが、本発明では運転に関する例をとりあげる)。
「アルコール、薬物と交通安全に関する国際会議」(International Council on Alcohol, Drugs and Traffic Safety(ICADTS))は、アルコール、違法薬物と運転に関する諸問題の概要を、特に以下の非特許文献で提供している。
(1)非特許文献1、(2)非特許文献2、(3)非特許文献3
特に、知覚および眼球運動に対する薬物およびアルコールの影響に関しては、以下を参照している。
(4)非特許文献4、(5)非特許文献5、(6)非特許文献6、(7)非特許文献7
非特許文献(4)および(5)ならびに他の調査によれば、知覚および眼球運動に影響を及ぼす薬物(ここでの「薬物」は、アルコール、処方薬、および違法薬物を含む)は、中枢神経系抑制剤、吸入剤、およびフェンシクリジン(PCP)を含め、多数存在する。眼球運動に対する影響としては、水平および垂直方向の注視眼振(眼振は、物を注視しているときの眼球の、不随意の、目に見える痙動を意味する)、両眼転導運動の低下、瞳孔の大きさの変化、ぼんやりした顔などがある(非特許文献(4)および(5)を参照)。興味深いことに、水平方向の注視眼振の検査が、アルコール摂取の最良の指標として示されていた(非特許文献(4))。非特許文献(5)の561〜564頁には、眼球運動に対する薬物の多くの影響がリストされており、これらの発見の出典が示されている。他の影響として、指示を記憶して従うことが困難になること、注意を分散する能力が低下すること、感覚運動の協調の低下、または瞳孔の大きさの変化などがある(これらの機能低下のいくつか、特に応答時間としての感覚運動の協調の低下は、同様のイグニッションインターロック特許で利用されている)。健康状態が異なれば、それによって引き起こされる眼振のタイプも異なる可能性がある。
非特許文献(4)では、「薬物認識エキスパート」(Drug Recognition Expert (DRE))プログラムおよび「薬物評価分類プログラム」(Drug Evaluation and Classification Program (DECP))の概要が示されている。DREプログラムは、ロサンゼルス市警(LAPD)で開始され、一連の調査の形で発展した(たとえば、非特許文献(6)および(7))。DRE法が最初に必要とされた理由の一部は、血中アルコール濃度(BAC)呼気検査の結果が法定レベルを下回っていても、なぜか被験者が薬物によって悪い状態になっているように見えることがあったからである。DREでは、各カテゴリに多数の薬物が入る7つのカテゴリを有する薬物分類システムを用いる。各カテゴリ内では全体的な作用は同じである。その7つのカテゴリは、1.中枢神経系抑制剤、2.吸入剤、3.フェンシクリジン(PCP)、4.大麻、5.中枢神経系興奮剤、6.幻覚剤、7.麻薬性鎮痛薬である。複数の薬物が使用されている場合は、「多重薬物使用」という追加カテゴリを用いる。
眼球運動および知覚は、薬物以外にも、発作、癲癇、多発性硬化症、コントロール不良の糖尿病などの様々な健康状態または危機、およびその他の、操作者の状態の影響を受ける可能性がある。そのような影響に関しては、それらが薬物障害と同等に作用すると見なされるべきである(非特許文献(4))。特許文献1の段落79〜82に、そのような例のいくつかが、健康状態、心理状態、および行動状態に関して開示されている。
さらに、以下の先行技術を参照する。
特許文献2、特許文献3、特許文献4、特許文献5、特許文献6、特許文献7、特許文献8、特許文献9、特許文献10、特許文献11、および特許文献12。
全体として、これらの文献のほとんどは、乗り物の運転手が運転開始前に何らかの検査を実行しなければならないイグニッションインターロック装置または同様の装置について述べている。しかしながら、運転手が自らそのような検査を実行しなければならないのは好ましくない。さらにまた、開示されている障害測定には、他にも不利点がいくつかある。
アルコールイグニッションインターロックに関するICADTSワーキンググループ:Alcohol Ignition Interlock Devices I:ポジションペーパー(2001年)、ISBN: 90−802908−4−x(参照箇所は特に、11頁の最後の段落から12頁の最後の段落まで) 違法薬物と運転に関するICADTSワーキンググループ:Working Group Report: Illegal Drugs and Driving(2000年)、ISBN:90−802908−2−3 運転動作に影響を及ぼす医薬品の処方および調剤に関するICADTSワーキンググループ:Prescribing and Dispensing Guidelines for Medicinal Drugs Affecting Driving Performance(2001年)、ISBN 90−802908−3−1 Page,T.E.(1998年):The Drug Recognition Expert (DRE) Response to the Drug Impaired Driver:An Overview of the DRE Program,Officer,and Procedures. Los Angeles Police Department(http://www.ci.la.ca.us/LAPD/traffic/dre/drgdrvr.htm) Leigh,R.J.、Zee,D.S.ら:The Neurology of Eye Movements,third edition,Oxford University Press(1999年) Adler,E.V.、Burns,M.ら(1994年):Drug Recognition Expert(DRE)Validation Study. Final report to Governor's office of Highway Safety,State of Arizona Bigelow,G.E.,ら(1984年):Identifying Types of Drug Intoxication:Laboratory Evaluation of a Subject Examination Procedure.NHTSA,DOT HS 806 753 (1985年) Carpenter,R.H.S.「Movements of the Eyes,2nd Edition」(Pion:London、1998年、) Seeing MachinesのFaceLAB(www.seeingmachines.comを参照) ReyおよびGalianaの「Parametric classification of segments in ocular nystagmus」(IEEE Tans. Biomed. Eng.、vol.38(1991年)、142〜48頁) E.Kowler編「Eye movements and their role in visual and cognitive processes」(Elsevier)所収のPavel,M.(1990年)「Predictive contol of eye movement」 米国特許出願公開第2001/0028309A1号パンフレット 米国特許第3780311号明細書 米国特許第4901058号明細書 米国特許第4912458号明細書 米国特許第3665447号明細書 国際公開第87/07724号パンフレット 米国特許出願公開第2003/0037064A1号明細書 米国特許第4983125号明細書 米国特許第3755776号明細書 米国特許第3886540号明細書 米国特許第6229908号明細書 米国特許第3735381号明細書 国際公開第2004/034905A1号パンフレット 米国特許第5422690号明細書 米国特許出願公開第2002/0188219A1号明細書 米国特許第6089714号明細書
したがって、本発明は、運転者または他の任意の、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置の操作者の知覚障害に関して適性検査を自動的に実行する方法およびシステムを提供することを全般的な目的としている。
さらに、本発明は、運転者または他の任意の、前述の設備および/または装置の操作の従事者の薬物認識エキスパート(DRE)を自動的に実行する方法およびシステムを提供することを目的としている。
本発明の別の目的は、発作、癲癇、多発性硬化症、コントロール不良の糖尿病などの健康状態または危機と、その他の、操作者の状態との少なくともいずれかに関連して、運転者または他の任意の、前述の設備および/または装置の操作の従事者の知覚障害に関して適性検査を自動的に実行する方法およびシステムを提供することである。
本発明の別の目的は、運転者または他の任意の、前述の設備および/または装置の操作の従事者の知覚適性または知覚障害に関して、薬物および/またはアルコールおよび/または(発作、癲癇、多発性硬化症、コントロール不良の糖尿病などの)健康状態または危機および他のそのような状態の影響を自動的に検査する方法およびシステムを提供することである。
さらにまた、本発明の目的は、運転者(または他の任意の、設備および/または装置の操作者)の一定レベルの知覚適性が検知されない場合に、乗り物(または他の任意の、前述の設備および/または装置)のイグニッションインターロック装置として自動的に機能することが可能な方法およびシステムを提供することである。
本発明の別の目的は、乗り物の運転者、または設備または装置の操作者の前記知覚適性検査を、それぞれ、乗り物の運転中、および設備または危機の操作中に自動的に実施する方法およびシステムを提供することである。
最後に、本発明の目的は、乗り物の運転者、または他の任意の、前述の設備および/または装置の操作者の前記適性検査を、その運転者または操作者の眼球および/または頭部の運動または反応に基づいて自動的に実行する方法およびシステムを提供することである。
これらの目的は、請求項1による方法と、請求項15によるシステムとによって解決される。
各従属項は、本発明による方法およびシステムの有利な実施形態を開示する。
以下の概略図面と併せての、本発明の例示的実施形態の後述の説明により、本発明のさらなる詳細、特徴、および利点を示す。
アルコール、薬物、または他の、身体に障害を引き起こす病気の影響下にある人物に、自動車や他の乗り物のような潜在的に危険な設備を始動または操作させないようにする安全装置の形で、本発明によるシステムを例示的に説明する。この装置は、操作者が知覚適性検査を完了するまで、乗り物を操作できないようにする。たとえば、検査結果および/またはバイパスイベントは、単にタコグラフ、運転者スマートカード、運行管理システムなどにログ記録したり、何らかの通信(たとえば、GPRSまたはGSMデータ)によって事務所に送り返したりすることが可能である。本発明による装置はまた、乗り物または設備が使用状態になってからも、同様の障害について連続的に検査する。また、この装置を、たとえば、警察が疑わしい薬物使用者を検査するために用いる可搬機器として使用することも可能である。
基本的な考え方は、運転などの作業を実施する操作者の知覚適性を評価するということである。知覚能力は、アルコール、薬物、および健康状態の影響を受けるほか、年齢や経験など、他の要因の影響も受ける。したがって、本発明の主題は、アルコール、薬物等の知覚作用を検査することであって、アルコール、薬物等のそれ自体の存在を検査することではない。このことは、たとえば、薬物の特定濃度が異なれば作用がまったく異なる可能性があるという理由から、特に重要である。薬物の作用は、用量、使用者の耐性、代謝作用、薬物の管理方法、薬物の純度、使用者の期待、合併症、疲労、他の薬物または物質の存在など、多くの付加要因に依存する。
本発明は、薬物乱用の十分に確定している作用を検知するために、一般に認められた医学手法を用いる。本発明は、薬物およびアルコールの既知の作用(たとえば、前述の非特許文献(5)を参照)の検知と、新しい評価手順および既知の評価手順の両方とを組み合わせることを提案する。DRE法の要素を自動化することが可能であり、他の調査からの新しい補足刺激を、新しい刺激および方法と併せて用いることが可能である。本発明は、それを行うために、技術の新規な組み合わせを用いる。この技術の使用は、血中アルコールイグニッションインターロック装置の使用方法(非特許文献(1)(特に11頁の最後の段落から12頁の最後の段落まで)を参照。これはこの開示の一部を参照することによって行われる)に類似しており、また、(前述の米国特許のうちの少なくとも1つによる)他のイグニッションインターロック装置の使用方法にも類似している。
眼球運動に関する背景情報:
眼球運動は、2つの基本カテゴリ、すなわち、急速相眼球運動および緩徐相眼球運動に分けられる。サッカード(衝動性眼球運動)は急速相眼球運動であり、凝視、円滑追跡、両眼転導、および前庭動眼反射は緩徐相眼球運動である。以下の定義の出典は、非特許文献8である。
凝視は、眼が情報を吸収できる情報提供領域の上での一時停止として定義される。有効な凝視であるためには、この一時停止は少なくとも150ミリ秒程度続かなくてはならない。この時間は脳がその情報を利用するために必要な時間である。「凝視」と称されてはいるが、物体または領域に対して「固定」されながら、眼球は動き続けており、ドリフト(一般には毎秒4度以内)、トレモア(一般には毎秒20〜40度以内)、マイクロサッカード(一般には毎秒200度以内)のような微小な動きを呈している。これらの微小な動きは、振幅が非常に小さいか、非常に低速であり、凝視の定義の一部である。
円滑追跡は、凝視のサブカテゴリであって、動いている対象に対する凝視、または観察者が動きながらの、固定物(または動いている物体)に対する凝視である。対象を追跡する場合、眼球は、最初にサッカードを行って中心窩を対象に向け、その後、より低速の連続的な動きで対象を追跡する(この動きは対象の速さに依存する)。この、毎秒80〜160度の速度を有する、低速の連続的な動きが円滑追跡を形成する。重要なことに、円滑に動く対象がない場合には、円滑追跡運動または円滑追跡を意のままに起こすことができない。すなわち、円滑追跡が実効可能であるためには、円滑に動く目標が必要である。固定視野内で円滑追跡を自分で実施しようとすると、一連のサッカードが起こる。つまり、円滑追跡は、自由意志ではなく刺激の制御下で動作する感覚運動反射であって、サッカードとは異なる。
サッカードは、注視を2点間で切り替えたときに起こる急速眼球運動である。サッカードの動きは、振幅、継続時間、速度、および方向が様々である。振幅が視角約5度より大きいサッカードの継続時間は約20〜30ミリ秒であり、その後は、1度増えるごとに2ミリ秒長くなる可能性がある。ピーク速度は、一般的には、振幅が0.1度未満であれば毎秒10度程度であり、大きな振幅であれば毎秒700度を超える。さらに、サッカードは、円滑追跡運動のようには目標に追従しない。したがって、特許文献13では、円滑追跡運動ではなく衝動性眼球運動(サッカード)を、刺激を用いて誘発および検査する方法を開示している。
図1は、運転者が座っている、自動車の運転室を横から見た様子と、この運転室に設置されている、本発明によるシステムの好ましい例示的実施形態とを示している。このシステムは、刺激発生装置1と、眼球運動および/または頭部運動および/または瞳孔反応記録装置2と、計算、制御、および出力装置3と、音響発生装置4とを備える。
図2は、本発明によるシステムの、より詳細な代替構成の概略ブロック図である。このシステムは、1つまたは複数のカメラ21と状態ディスプレイ22と手動コントロール23とからの入力信号を受け取るように接続されている計算および制御装置20を備える。計算および制御装置20は、たとえば、自動車イグニッション装置24、タコグラフ25、および/または通信装置26を制御する出力信号を発生させる。さらに計算および制御装置20は、視覚刺激発生装置27、1つまたは複数の眼球照明装置28、および/または音響発生装置29を制御する出力信号を発生させる。
図1に示した構成と対応させると、刺激発生装置1は、好ましくは装置27および28を含み、記録装置2は、好ましくは装置21を含み、計算、制御、および出力装置3は、好ましくは装置20を含む。音響発生装置4は、装置29に対応する。
刺激発生装置1:
刺激発生装置1の一例は、先行技術において既知であるカラー画像刺激を発生させることが可能な市販ダイオードレーザ(www.lasershow.seを参照)を含む。画像刺激は、画像の印象が形成されるように高速で動き回る単一レーザビームで構成される。このビームは、2つの小さな電磁モータ(x軸およびy軸)によって制御され、モータの軸には小さな鏡が付いている。赤色レーザ、青色レーザ、緑色レーザなどを含む、多数の様々なレーザが実用可能である。多数の人を前にしたプレゼンテーションで用いるポインティング装置によく用いられるような、シンプルで廉価なレーザを用いることが可能である。最終的な製品には自動車グレードのレーザが用いられよう。従来のコンピュータディスプレイや発光ダイオード(LED)など、他の刺激発生装置は、運転者の前で使用することが可能である。一般的なフラッシュ装置(特に高輝度LED型フラッシュ装置)を含め、任意の光源が使用可能である。
刺激発生装置1の別の例は、会議のプレゼンテーション用に用いられるようなコンピュータプロジェクタ(たとえば、Barco製のもの)である。このタイプのプロジェクタは、将来には、より小さく、より廉価な自動車グレードになるであろう。
さらに、透明であって選択的に反射性であるフィルムをフロントガラスの全面または一部に貼り、刺激発生装置1からの光刺激をそこに投影することが可能である。このフィルムは、本発明に最適である特定波長だけを反射するように選択されることが可能である。
眼球追跡記録性能を向上させるために運転者の顔を照らすこと、および、たとえば、瞳孔が反応する短いフラッシュ光を作成することのために、ダッシュボードに取り付けた眼球照明装置を用いることが好ましい。瞳孔反応の計算例が、特許文献14に記載されている。しかしながら、この特許文献14との大きな違いとして、本発明によれば、光刺激に対する瞳孔反応は、後述するように、離れて取り付けられたカメラで検出される。
刺激発生装置1は、自動車の内部に対して必ずしも校正されていなければならないわけではない。しかしながら、レーザが車内の特定物をポイントできるように校正することが可能である。たとえば、運転者が押すべきボタンをレーザでポイントすることが可能であろう。
眼球/頭部運動/瞳孔反応記録装置2:
記録装置2としては、(非特許文献9などの)眼球および頭部追跡センサや、(Tobii Technology、Smarteye、SensoriMotoric Instruments、Siemens、Applied Science Laboratories、Delphiなどからの)眼球および頭部追跡装置など、市販されている多くのもののなかから選択して利用することが可能であろう。眼球および頭部追跡装置は、格付けされる眼球運動の時空間特性で決まる精度要件を満たさなければならない。眼球および頭部に関する当該測定項目としては、片眼または両眼のピッチおよびヨー注視角、片眼または両眼の平均ピッチおよびヨー注視角、頭部位置(三次元)、頭部方向(三次元)、眼瞼閉鎖、瞳孔サイズなどがあるが、これらに限定されない。適用可能な眼球運動記録装置2の他の例として、単眼鏡タイプまたは頭部マウントタイプの眼球追跡装置がある(これは特許文献1(Torch)で他の多くの例とともに開示されているうちの1つである)。本発明による好ましい実施形態では、画像解像度が高く、周囲光測定が可能な、自動車グレードの眼球運動センサを用いる。
離れて取り付けられる眼球運動記録装置2に関しては、実質的に2つの問題を考慮しなければならない。第1に、どのようなカメラでも、眼球とカメラとの距離が長くなるほど、眼球の画像細部の画質が低下する。カメラは、眼球のそばではなく、(たとえば、自動車のダッシュボード内またはダッシュボード上に)離れて取り付けられるので、より高解像度のカメラや、よりロバストな検出アルゴリズムを用いれば、画像細部の画質低下を補償することが可能である。本発明によれば、高解像度カメラとロバストな検出アルゴリズムの両方を用いることが好ましい。現代および未来の高解像度カメラは、カメラが運転者から非常に離れた場所に取り付けられていても、特許文献14に記載されているものに匹敵する画像細部を提供することが可能である。さらに、離れて取り付けられたカメラが、(カメラ方向をx次元およびy次元で制御する)2つのサーボ機構で動作し、ズームレンズを搭載している場合は、運転者または操作者の頭部の動きにアクティブに追従することが可能である。そして、コンピュータビジョンソフトウェアが、ズームインされた眼球画像を安定化し、眼球に対して与えられた高解像度に基づいて高品質の測定を行うことが好ましい。
瞳孔反射の検出に特に影響を及ぼす、離れた場所でのセットアップに起因する第2の問題は、周囲光の問題である。特許文献14で開示されているセットアップ(および特許文献15で開示されているような同様の方法)では、眼球を周囲光から遮蔽して、暗い環境を瞳孔反射の開始点として形成する。暗い環境での瞳孔の休止状態では、瞳孔が大きく開いており、したがって、短いフラッシュ光に対する反応は、たとえば、休止状態が昼の光の中であった場合より大きい。周囲光がある状態で瞳孔反応を検査する場合は、周囲光の測定が必要であり、周囲光がある状態に適応するアルゴリズムが必要である。周囲光の測定は、カメラセンサか、運転者の顔のそばに取り付けられたフォトトランジスタを用いて光測定を行うことで可能である。S/N比も、暗い状態で最高であり、周囲光に応じて低下する。S/N比が低くなるほど検出は困難になるが、十分大きな作用の正確な格付けは、周囲光の測定が行われる限り、可能である。
計算、制御、および出力装置3:
計算、制御、および出力装置3は、以下を行うための関数およびソフトウェアプログラムを含む、市販の電子構成要素を含むことが好ましい。
a)刺激発生装置1によって発生する刺激の制御
b)眼球/頭部運動/瞳孔反応記録装置2によって検出される眼球/頭部運動/瞳孔反応データの格付け
c)知覚障害の判断
d)計算、制御、および出力装置3での出力実行
以下では、これらの構成要素および関数について詳細に説明する。
a)刺激発生装置1(刺激発生)によって発生する刺激の制御については、後で、誘発される眼球運動の(または眼球の)能力インジケータごとに詳述する。
b)眼球/頭部運動/瞳孔反応記録装置2によって検出される眼球/頭部運動/瞳孔反応データを格付けすることは、運転者の1つまたは複数の眼球能力インジケータを検出および計算または判断することによって定量化することと、定量化されたインジケータから知覚適性の値を定量化することとを含む。
知覚適性の定量化:
知覚適性(PS)は、次式のように、円滑追跡(SP)、瞳孔反射(PR)、頭部協調(HC)、両眼転導(V)、サッカード速度(SV)、および他の眼球運動(O)の能力の関数である。
PS=f(SP,PR,HC,V,SV,O)
PS関数を実装する一例示的方法は、次のとおりである。
PS=A*SP+B*PR+C*HC+D*V+E*SV+F*O
A,B,C,D,E,F∈[0,...1]
関数の目的に応じて、この関数を実装するために(パラメータの二乗やパラメータの平方根などのような)他の関数を使用することも可能である。
眼球インジケータSP、PR、HC、V、SV、およびOは、以下で説明するように、個別に検出および計算または判断されて定量化される。各インジケータの範囲は、一般に、0〜100である(適宜正規化されている場合)。PS関数は、これらのインジケータの重み付け総和である。重み付け係数A〜Fは、所与の状況(たとえば、ある特定の設置(カメラセンサ、刺激発生装置、運転室環境等)および/または環境状態(日中/夜間、直射日光)および/または他の条件など)に対して、インジケータ(SP、PR、HC、V、SV、およびO)の組み合わせが運転者の知覚適性の最大限の良好な定量化を与えるように選択される。重み付け係数は、負の値および/または関数であってもよい。
重み付け係数は、ニューラルネットワーク、インジケータの統計的解析、測定値におけるノイズ含有率、(ノイズ含有率および測定精度によって計算される)インジケータの信頼度など、様々な方法によって調整可能である。場合によって、たとえば、あるインジケータが与える情報の精度が十分でない場合、および/またはS/N比が低い場合、および/またはより単純または廉価な方法/システムが実現されなければならない場合には、1つまたは複数の係数(最大で、1つを除くすべての係数)をゼロにすることが可能である。
運転者に提示される刺激によって、特定時点において検知および評価が可能なインジケータが決まる。たとえば、円滑追跡動作の能力は、刺激が、追跡可能な目標を、適切な円滑追跡速度で描く場合およびその逆の場合のみ計算可能である。ある刺激パターン、たとえば、方向が急にシフトする円滑追跡パターンは、複数のインジケータ計算(このケースではSP、SV、およびOの能力)に同時に入力を与える可能性がある。したがって、インジケータ計算は、刺激の発生によって駆動される。
したがって、前述のように、知覚適性の関数を、選択された能力インジケータの重み付け組み合わせとともに用いることによって、運転者または操作者の知覚適性が定量化される。
最もシンプルな方法およびシステム構成の場合は、円滑追跡刺激提示のみを行い、知覚適性PS=f(SP)を計算する。円滑追跡(SP)は、アルコールならびに他のいくつかの薬物を検出するための好ましい眼球インジケータとして選択可能である(非特許文献(4)、(5)、および(7)を参照)。そのようなシンプルな方法およびシステム構成の利点として、検査時間が短いこと(円滑追跡刺激だけを検出および評価するため)、ハードウェアがシンプルであること(たとえば、瞳孔の測定が不要なので画像解像度は高くなくてもよく、したがって、廉価なカメラ構成が可能である)、ソフトウェアがシンプルであること(判断時に他のインジケータを考慮しなくてもよい)などが挙げられる。
しかしながら、この方法およびシステムは、前述の眼球インジケータを追加すると、より高感度になり、よりロバストになる。したがって、この方法およびシステムは、複数のバージョンが考えられる。たとえば、円滑追跡に基づく計算だけを含む方法およびシステム、円滑追跡および瞳孔反射を組み合わせた計算を含む方法およびシステム、円滑追跡、瞳孔反射、および頭部協調を組み合わせた計算を含む方法およびシステムなどである。あるいは、すべての眼球インジケータを用いる方法およびシステムも実現可能である。
円滑追跡(SP)能力の定量化:
円滑追跡の定量化は、本発明の中心的態様である。特許文献16および非特許文献10において行われているような、眼振の要素のセグメント化および識別を試みる代わりに、本発明では、円滑追跡能力を不良〜良の尺度で定量化する。したがって、円滑追跡能力は、円滑追跡の誘発に適した速度で動く目標に対する注視の安定化特性である。運転者に障害が生じると、動く目標に対する注視安定度がドリフトし始め、眼が目標に追従できなくなり、目標から外れ始める。結果として、ドリフトを補償するために、中心窩を目標に合わせようと動作する、方向転換または「追い上げ」サッカードの数が増える。簡単に言うと、障害が生じている運転者は、眼を目標に追従させることがうまくできない。このような不随意(反射)の眼球運動特性は、それらが現れるのを誘発することによって評価される。
これを、眼振の眼球運動構成要素に関して示したものが図3である。眼球は、運転者に提示された所与のパターン(カーブa)を追跡している。カーブ(e)は、運転者の眼球を観察しているカメラ2;21で生成された全検出信号を示している。この信号は、運転者の眼球のサッカードと円滑追跡(眼振)の両方を含む。全信号(カーブe)からサッカード(カーブesa)を除去した場合、結果のカーブ(esm)は、サッカード(カーブesa)より、提示された理想パターン(カーブa)に近い、眼球の円滑追跡動作だけを示す(非特許文献8の55頁を参照)。
円滑追跡の検査のために、運転者は、サッカード速度以下で動く目標を目で追うことを求められる。目標は、たとえば、視角1.5度のサイズのハッピーフェイスである。目標は、刺激発生装置1;27によって、自動車のダッシュボード、車内、および/またはフロントガラスに投影される。本発明の重要な一態様は、円滑追跡刺激の難度を変化させることである。この難度は、2つの主要要素(目標速度および目標予測可能性)からなる。したがって、本発明の別の重要な態様は、円滑追跡を誘発する目標の動きの予測可能性の度合いを変化させることである。たとえば、目標の動きを、3つの正弦曲線(たとえば、0.3、0.6、および1.2Hzの正弦曲線)の混合によって制御することが可能である。刺激速度および周波数の精密な組み合わせを変化させることにより、動きの予測可能性または眼による追跡の容易さを高くしたり低くしたりできる。速度を上げ、周波数の組み合わせを複雑にすると、追従が非常に困難になり、速度を下げ、周波数の組み合わせを簡単にすると、追従が容易になる。円滑追跡検査に好適な、目標の予測不可能な動きを発生させる別の方法は、目標の動きをローパス(1.25Hz)ガウスランダムプロセスで発生させることである。また、特に(視野の周辺部の)高い視角で、刺激をランダムに停止させると、追跡の難度がさらに上がる。このように、刺激の難度を変化させることが可能である。
円滑追跡眼球運動における予測の重要性、および円滑追跡眼球運動に好適な、ランダム化された目標の動きの発生に関しては、非特許文献11を参照している。
SP能力は、刺激(基準信号)および反応(測定された注視信号)によって定義される関数である。
能力(SP)=f(刺激,反応)
SP能力の計算(定量化)は、いくつかの方法を用いて行うことが可能であり、それらの方法は、以下のように、少しの変更で他の眼球インジケータの計算にも適用できる。
−基準信号と注視信号との間の角度の差またはRMS値(二乗平均平方根値):
システムは、カメラおよび刺激発生装置の位置および方向の関係を認識している。したがって、システムは、運転者の眼球の位置および方向に対してどの角度で刺激を発生させたかを認識している。角度差は、刺激角度と注視角度との相対差である。相対角度(すなわち、誤差)がほとんど変わらなければ、障害の生じていない被験者が精度の高い追跡を行っていることになり、相対角度が大きければ、被験者に障害が生じていることになる。この方法は、注視位置および刺激位置ではなく注視角度および刺激角度を比較することにより、注視位置および刺激位置を比較する場合であれば投影された刺激までの距離によって導入されるノイズに対してロバストである。投影が遠くで行われるほど、測定値に存在するノイズが多くなる。
−パターン認識:
刺激と、運転者に障害が生じていることを示す反応との組み合わせを認識させるように、ニューラルネットワーク(NN)をトレーニングすることが可能である。異なる特性(すなわち、円滑追跡とサッカード)に対して、異なるNNを用いることが可能である。
−反応角度と基準角度との相互相関:
角度差の場合と同じ原理に従うが、基準信号との相互相関をとることにより、運転者がどの程度うまく基準を追跡するかの測定値を取得する。
SPの、測定された注視湾曲とあらかじめ定義された湾曲との相互相関をとることも可能である。これは特に、刺激が、システムの制御外にある道路標識および他の物体である場合の一般的な運転動作におけるSPを測定する場合に有用である。
−一般的なモデルの反応:
刺激に対する、予測される、障害が生じていない眼球運動反応を数学的に説明できるモデルがある。刺激は、運転者とモデルの両方に供給され、その2つの出力が比較される。障害が生じていない運転者のように反応するよう調整されたモデルの場合は、モデルの反応と運転者の反応との間の誤差が小さければ、運転者に障害が生じていることになり、誤差が大きければ、運転者に障害が生じていることになる。
−トレーニングされたモデルの反応:
一般的なモデルの反応の場合と同様であるが、モデルは、検査を実施する特定の運転者に適応されている。適応を行うには、障害が生じていないSPを記録し、モデルのパラメータを最良適合に調整する。そのような情報を、(デジタルタコグラフ内の)運転者カードまたは顔認識および/または虹彩認識を介して、運転者の識別情報とリンクさせることが可能である。
前述の方法に用いるタイミングは、相互相関関数により、目標と注視位置とのピーク相関から取得可能である。
前述の方法は、わずかな変更だけで、PR、HC、V、SV、およびOの能力計算(定量化)にも適用可能である。
瞳孔反応(PR)能力の定量化:
特許文献14で概説されているものと同様の手順を用いることが可能である。しかしながら、大きな違いとして、ここでは、休止状態の瞳孔サイズに対する周囲光の影響、ならびに瞳孔反応時の周囲光の干渉をアルゴリズムで処理しなければならない。これらは、既に述べたように処理することが可能である。
運転者が円滑追跡作業を実施している間、(瞳孔の最適画像を取得するために)目標をカメラの位置で停止させたり、目標を瞬間的に停止させたりすることが可能である。眼球照明装置でフラッシュ光を管理して瞳孔反応を測定し、その後、円滑追跡目標を動かすことが可能である。後述の「サッカードの定量化」では、瞳孔反応を誘発する刺激の提示方法の別の例を示す。
前述のように、PRは、周囲光を基準にして測定しなければならず、周囲光の測定は、カメラセンサか、運転者の顔のそばに取り付けられたフォトトランジスタを用いて光測定を行うことで可能である。突然発光したフラッシュに対して測定された相対PRを、障害が生じていない運転者の既知の反応と比較して、PRの能力測定値を計算する。
PRの能力を定量化する方法の例は、SPについて前述した相互相関、パターン認識、一般的なモデルの反応、トレーニングされたモデルの反応である。
両眼転導(V)能力の定量化:
両眼転導を誘発する刺激を形成するには、2つの画像を重ねて三次元効果をもたらす手法を用いる。
Vの能力を定量化する方法の例は、SPについて前述したパターン認識、一般的なモデルの反応、トレーニングされたモデルの反応である。
サッカード速度(SV)能力の定量化:
円滑追跡検査を実施している間、円滑追跡目標に対して、様々な視角で、突然の視覚イベントをトリガすることが可能である。目標のそばでの突然の視覚イベントは、円滑追跡に対する注意をそらすものとして機能することが可能である。注意をそらす視覚イベントの知覚的突出度に応じて、運転者は、その視覚的に注意をそらすものに対して、サッカードを行うか、無視するか、かつ/または瞳孔で反応するかを選択する。サッカードが行われた場合は、たとえば特許文献14で説明されているように、サッカード速度特性の適切な解析を行うことが可能である。瞳孔反応が誘発された場合は、特許文献14で概説されているものと同様の手順を用いることが可能である。
末梢障害の潜在的インジケータである、運転者の末梢感受性を、運転中または静止時に検査することが可能である。この検査は、目標方向へのサッカードの形での定位反射を誘発する突出刺激を提示することによって行うことが可能である。障害が生じている運転者は、末梢感受性が低下しているため、周辺視野において提示される刺激に対する感度が低下している。刺激としては、サイズ、輝度、ちらつき、動き、および形状が大きくなる小さなドットを用いることが可能である。周辺視野の感度を検知するために、刺激を提示しながら視角を大きくしていく。検知までの反応時間およびヒット率(失敗率)が、障害の正確な測定値を与える。検知までの反応時間は、刺激に対する眼球の動きを検知すること、または瞳孔サイズの変化を監視することによって測定可能である。
SVの能力を定量化する方法の例は、SPについて前述した相互相関、角度差、パターン認識、一般的なモデルの反応、トレーニングされたモデルの反応である。
頭部協調(HC)能力の定量化:
既に概説した円滑追跡の間は、可能な限り、頭部を静止状態にしておくことが求められる。したがって、必要なのは静止状態からのずれの測定値であり、この値が、障害が生じていることを表している。頭部協調の定量化には、SPについて既に概説したものと同様の方法を用いる。この場合、基準信号は、頭部の開始位置、または前を向いているモデルの方向である。
目標に対して頭部を固定することを促すガイダンスを、目標からのずれを示す音を音響発生装置4から発生させることによって与えることが可能である。たとえば、頭部が目標の位置からずれ始めた場合に、頭部の姿勢および位置が所望の状態からずれるにつれて、音を徐々に大きくしていくことが可能である。代替として、頭部が追従すべき目標と比較しての頭部の回転または位置のずれを示す目標およびクロスヘアを投影することによって、頭部を固定しておくことの支援を与えることが可能である。
頭部運動の目標も動いていることが可能なので、音を聞いて所望の頭部位置に追従することを運転者に求めることが可能である。イベントに対して運転者の頭部が反応するよう求めることが可能である。たとえば、動いている刺激ドットを、2つまたは3つのオン/オフの時間的バリエーションの間でランダムに変化させることが可能である。運転者には、頭部を様々な方向に動かして、これらの時間的バリエーションの予想される変化に反応することを求める。
他の眼球運動(O)または能力インジケータ:
眼球運動利得の定量化:
眼球運動利得は、眼球がどのくらいうまく目標に追いつくかの測定値である。緩徐相目標(円滑追跡に関して前述した目標)および急速相目標(サッカード速度に関して前述した目標)の両方を用いることが可能である。
利得は、円滑追跡目標およびサッカード目標の両方、または両方の組み合わせの定量化に用いることが可能なので、この測定は本セクション「他の眼球インジケータ」に含まれる。
利得は、眼球運動制御システムの感度の測定値を与える。利得は、目標基本周波数における注視と目標との相対振幅の測定値である。利得は、周波数領域において、高速フーリエ変換(FFT)を用いて解析される。目標の運動の周辺の、測定された信号の時間サンプルが切り出され、その周波数成分が解析される。一般に、障害が生じている運転者は、利得がやや低く、したがって、円滑追跡および追い上げサッカードの周波数成分は主に低いほうの周波数にある。障害が生じていない運転者は、より高い高周波成分を有する。
眼球運動利得を求める別の方法は、目標基本周波数において注視および目標のFFT解析を実施することである。利得が高い、障害が生じていない運転者は、注視周波数成分が目標の基本周波数に近く、障害が生じている運転者は、周波数成分がより広がっている。
図4は、周波数領域において刺激の基本周波数(矢印で表されている)を基準に解析した場合の、障害が生じていない運転者(カーブB)に対する、障害が生じている運転者(カーブA)の利得差を示している。
c)知覚障害の判断:
前述のインジケータおよび重み付け係数のうちの少なくとも1つから知覚適性の値を定量化した後は、実際に運転者に障害が生じているかどうか(および、たとえば、自動車の運転が不可能かどうか)を判断しなければならない。
判断は、2つのステップで実施するのが好ましい。第1のステップでは、平均的な複雑さの目標を用いて短時間の格付けを行う。刺激を所定の時間にわたって提示し、頭部/眼球追跡装置2;21がデータを収集する。インジケータの計算はオンラインで(すなわち、測定中に)行うことも、測定後にオフラインで行うことも可能である。各インジケータを、0〜100の能力値に正規化してから(100は、良好な能力を表す)、前述のPS関数の式に従って、まとめて重み付けすることが好ましい。この結果を、運転者ごとに設定されたしきい値、またはPS関数のテストおよび統計的解析によってあらかじめ決められたしきい値と比較する。また、能力しきい値をインジケータごとに設定し、PS関数を組み合わせの論理式に変換することも可能である。刺激に対する運転者の反応が十分あれば、検査結果は負になり、運転者に障害が生じていない。
結果に何らかの不確かさがある場合(障害の疑いがある場合)は、格付けを第2のステップに進める。第2のステップでは、より長時間(おそらくは数分)の検査を、十分な量のデータがシステムによって収集されるまで実施する。第2のステップは、より複雑な追跡作業を含み、刺激は、不確かさがあったインジケータに特に注目したパターンを描く。たとえば、第1のステップの判断の間にSP能力がグレーゾーンにあった場合(判断を下せるほど十分に良くも悪くもなかった場合)は、SP能力測定に関連するデータを取得するための特定パターンを刺激によって実行することが可能である。
第2のステップの間は、刺激パターンの速度、周波数、変調、予測可能性、および方向が変化する。運転者に障害が生じている場合は、パターンが複雑になるほど、誤差が多く検出される。
前述の2つのステップの方式を用いることに対する代替実施形態は、可動時間窓上でベース計算および刺激発生を行う方式である。たとえば、1分の時間窓を60Hzシステムで用いることが可能である(したがって、可動時間窓は、その窓内に60個のデータサンプルを含む)。最初の60個のデータサンプルの間、システムは、平均的な複雑さの刺激を発生させる。データサンプル番号が60の時点で、システムは、知覚適性についての判断を計算する。運転者に障害が生じていない場合は、運転者に運転が許可される。運転者に障害が生じていることが判明した場合、またはその疑いがある場合、システムは、別の刺激サンプルを提示し、(信号処理分野の当業者であれば周知である可動式または連続式時間窓の使い方に従って)現在のデータサンプルを追加して最も古いデータサンプルを除去した窓データについて新しい計算を実施する。
この可動時間窓ベースの提示および計算プロセスを、運転者が知覚適性検査にパスするまで続ける。制限時間が課せられない場合、障害が生じている運転者は、時間とともに薬物またはアルコールの影響が薄れて、障害が生じていない状態になるまで、検査を続けることが可能である。当初の検査で疑いが出ていたか、障害が生じているとされた運転者が現在は障害がなくなっていることをよりしっかり確かめるために、刺激の難度を時間とともに高くすることが可能である。
d)計算、制御、および出力装置3での出力実行:
運転者は、自分の自動車のドアを開け、座席に座り、イグニッションをオンにする。ある構成では、知覚適性検査がパスされない限り、エンジンが始動しない。別の構成では、エンジンは始動するものの、自動車は動くことを阻止される。トラック運転者の場合は、この構成が好ましいであろう。主たるポイントは、運転者が知覚的に運転に適していることが証明されない限り、自動車を動かすことができないことである。
システムは、キーがイグニッションに差し込まれた時点でオンになる。「検査中」と表示する表示ランプがオンになる。運転者は、刺激発生装置1;27が発生させる刺激を見つめることだけを求められる。目的は、検査対象となる種類の眼球運動の挙動を運転者から引き出すのに最も効果的な刺激を提示することである。研究で用いた刺激と類似する刺激を用い、現在の要求を満たすようにさらに発展させることが可能である。
出力については、自動車イモビライザ(たとえば、自動車イグニッション24の一部)に送ってそれを有効にしたり、タコグラフ25にログ記録したり、通信装置26を用いて送信したりすることが可能である。計算、制御、および出力装置20;3への入力を管理するには、いくつかの従来方法がある。各種ボタンおよびコントロール23を装置20;3に取り付けることが可能であり、それに通信ケーブルまたは無線通信を用いることが可能である。
検査を受けているのが運転者に間違いないことを確認するために、システムを、顔認識システムや虹彩認識システムなどの運転者識別ソフトウェアとともに用いることが可能である。
運転中の使用:
重要なことに、本発明のシステムは、運転中または他の機器の使用中でも、運転者の知覚障害の検査を続けることが可能である。運転中の自然な眼球運動から知覚障害を検出することは、まったく可能である。たとえば、運転している現在の眼球および頭部の運動を、障害が生じている知覚動作の記述またはそれを表すしきい値と比較することが可能である。アルコール、薬物、および健康状態を原因とする眼球運動の変化は、文献において確立している。たとえば、Belt(1969年)は、血中アルコール濃度が0.08mg/cmのときに眼球運動パターンの顕著な集中または空間的注視の集中があることを発見している。運転者は、知覚障害が生じていると、周辺視野の欠落に対する「中心窩補償」をより多く呈する可能性がある。すなわち、運転者は、自動車に近い、両側の車線区分線をより多く見るようになる可能性がある。これはおそらく、周辺視野に対する感度が失われているためである。円滑追跡の周波数の顕著な低下が見られる場合もある。本発明では、この格付けをオンラインで実施することを提案する。
自然な眼球運動の低下が見られる場合は、運転者に障害が生じているかどうかをさらに検査する特定の刺激の提示をトリガし、正しい格付けが行われているか(または行われてきたか)を確認することがさらに可能である。したがって、運転中も、刺激発生装置1(27)を用いて刺激を発生させることが可能である。刺激が運転の妨げにならないように、充分な注意を払わなければならないであろう。一方、自然な眼球運動の低下が検出された場合は、警告を与えること、イベントをログ記録すること、イベントを別のソースに送信すること、自動車を停止させることなどが可能である。
運転者が運転可能かどうかを運転前に検査することの代替機能性は、イグニッションインターロックとともに行われるものであって、運転者に自動車の始動および運転の開始を許可するものの、運転中の最初の数分間に、または運転の全体を通して継続的に、または運転中にランダムに管理される検査にパスすることを運転者に求めることである。これは、運転者に対してはあまり不便ではないが、障害が生じていることが判明した場合には、自動車の停止、燃料のカット等が行われる。
図5および6は、本発明によってシステムが実施するそのような方法の好ましい実施形態を示している。
本方法は、運転者が自動車に乗り込み、イグニッションキーを回した後のステップ500から始まる。ステップ501で、イモビライザまたはイグニッションインターロックスイッチをオンにする。ステップ502で、始動および電源投入テストルーチンを実施する。このテストが成功したら、ステップ503でディスプレイステータステストを実施する。さらに、ステップ507で、刺激発生装置を起動する。
オプションで、バイパステストを実施する。ステップ504でボタンを押すと、ステップ505でバイパスイベントがタコグラフにログ記録されるか、かつ/またはステップ506でメッセージが、たとえば、運行管理システムまたは外部ソースに送信される。
ステップ508〜512の少なくとも1つにおいて、刺激発生装置を用いて、円滑追跡刺激、瞳孔反射刺激、頭部協調刺激、両眼転導刺激、および/またはサッカード/視覚イベント刺激を発生させる。
前述のように、運転者の検出された反応から、前述の能力眼球インジケータのうちの少なくとも1つを定量化または計算する。より詳細には、ステップ513〜518の少なくとも1つにおいて、円滑追跡能力、瞳孔反射能力、頭部協調能力、両眼転導能力、サッカード能力、および/または他の眼球能力のインジケータを計算する。
次にステップ519で、前述のPSの公式に従い、これらのインジケータの重み付け組み合わせによって、運転者の知覚適性を定量化(計算)し、定量化された値から、運転者に障害が生じているとみなすべきか、生じていないとみなすべきかを判断する。
運転者に障害が生じていない場合は、該当するステータス表示「検査合格」をステップ522で表示し、ステップ523で、イモビライザおよび/またはイグニッションインターロックスイッチをオフにする。ステップ524に進み、図6に従う。
ステップ519で、運転者に障害が生じているとみなすべきであることが判明した場合、または運転者に障害が生じていないことが確定しない場合は、該当するステータス表示「検査失格」をステップ520で表示する。さらにステップ521で、前述のように、刺激の難度を上げた検査を起動および実施し、ステップ507に戻って、ルーチンを再度実施して、そのような刺激を発生させる。
ステップ525で、運転者の眼球能力インジケータのうちの少なくとも1つを運転中に監視する。ステップ527で、これらのインジケータを、たとえば所定のしきい値と比較して、顕著な変化がないかどうかを検査する。顕著な変化がない場合は、ステップ525に進む。顕著な変化が発生した場合は、ステップ528で、少なくとも1つの刺激を発生させる。これとは別に、ステップ526で、ランダムな時間間隔で刺激発生をオンにすることが可能である。
ステップ508〜512と同様に、少なくとも1つの眼球能力インジケータに対応する刺激を発生させ、運転者の反応から、当該インジケータ能力を、ステップ529〜532のうちの少なくとも1つを用いて計算または定量化する。より詳細には、これらのインジケータは、ここでも、円滑追跡能力、頭部協調能力、瞳孔反射能力、および/またはサッカード能力である。
ステップ519と同様に、ステップ533でも、これらのインジケータの重み付け組み合わせによって、運転者の知覚適性を定量化(計算)し、定量化された値から、運転者に障害が生じているとみなすべきか、生じていないとみなすべきかを判断する。運転者に障害が生じていない場合はステップ538に進み、そこからステップ524に進む。
ステップ533で、運転者に障害が生じていることが判明した場合、または運転者に障害が生じていないことが確定しない場合は、ステップ534で、しかるべき対策を開始する。たとえば、そのような対策として、外部ユニットにメッセージを送信すること(ステップ535)、および/または運転者に警告信号を提示すること(ステップ536)、および/または自動車をシャットダウンすること(ステップ537)が可能である。
本発明によるシステムの好ましい実施形態の基本的な構成要素を示す図である。 本発明によるシステムの例示的実施形態の概略ブロック図である。 眼振の各眼球運動構成要素の概略カーブを示す図である。 障害が発生している人と発生していない人についての利得の、周波数領域におけるカーブを示す図である。 人の知覚適性検査の実施方法のフローチャートの第1の部分である。 図5に示したフローチャートの第2の部分である。

Claims (19)

  1. 運転者または他の任意の、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置の操作者の知覚障害に関して適性検査を自動的に実行する方法であって、
    −少なくとも1つの光刺激を前記運転者に提示するステップと、
    −前記刺激に対する反応である、円滑追跡(SP)、サッカード速度(SV)、両眼転導(V)、瞳孔反射(PR)、および/または頭部協調(HC)のような、前記運転者の少なくとも1つの眼球能力インジケータを検出および定量化するステップと、
    −前記運転者の知覚適性(PS)の値を、式
    PS=A*SP+B*PR+C*HC+D*V+E*SV
    (ただし、A、B、C、D、Eは、所定の重み付け係数または関数)によって定量化するステップと、
    −前記運転者に障害が生じているかいないかの判断を生成するために、知覚適性(PS)の前記値を、少なくとも1つのしきい値と比較するステップ
  2. 前記設備および/または装置の始動時および/または操作中に所定の時間間隔で自動的に実行される、請求項1に記載の方法。
  3. 前記少なくとも1つの光刺激パターンが、ダイオードレーザを用いて前記パターンを投影することによって前記運転者に提示される、請求項1に記載の方法。
  4. 本方法を実施するシステムの所与の実装および/または環境状態および/または他の、前記知覚適性(PS)の前記定量化の結果に影響を及ぼす条件の影響を少なくとも最小化するために、前記重み付け係数または関数が選択される、請求項1に記載の方法。
  5. 前記重み付け係数または関数が、本方法の繰り返し実行の途中または間に調整される、請求項1に記載の方法。
  6. 前記重み付け係数または関数が、ニューラルネットワークによって、かつ/または、前記能力インジケータの解析および/または前記インジケータの検出値におけるノイズ含有率および/またはインジケータの信頼度に基づいて調整される、請求項5に記載の方法。
  7. 前記円滑追跡能力インジケータを検出するために、前記運転者が刺激を追跡する難度が可変である、請求項1に記載の方法。
  8. 前記円滑追跡能力インジケータを検出するために前記運転者に提示される刺激の予測可能性の度合いが、多数の正弦波および/またはローパスガウスランダムプロセスの組み合わせを変化させることによって、かつ/または、特に前記運転者の視野の周辺部において前記刺激をランダムに停止させることによって変わる、請求項1に記載の方法。
  9. 前記眼球能力インジケータのうちの少なくとも1つが、角度のRMS値を用いて計算される、請求項1に記載の方法。
  10. 前記眼球能力インジケータのうちの少なくとも1つが、注視方向と、標識を追跡するなどの、通常の運転において一般的な、前記運転者の眼球の所定の動きとの間の相互相関によって計算される、請求項1に記載の方法。
  11. 前記眼球能力インジケータのうちの少なくとも1つが、一般的なモデルの反応を用いて計算される、請求項1に記載の方法。
  12. 前記眼球能力インジケータのうちの少なくとも1つが、トレーニングされたモデルの反応を用いて計算され、前記モデルが前記運転者の識別情報とリンクされている、請求項1に記載の方法。
  13. 前記瞳孔反射能力インジケータを検出するために周囲光が補償される、請求項1に記載の方法。
  14. 様々な視角でトリガされる突然の視覚イベントに対する反応であるサッカード速度および/または瞳孔反射の能力インジケータを用いて、前記運転者の末梢感受性が解析される、請求項1に記載の方法。
  15. 運転者または他の任意の、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置の操作者の知覚障害に関して適性検査を自動的に実行する、特に前記に記載の請求項のうち少なくとも一つに記載の方法を実行するためのシステム。
  16. その操作が特に、環境および/または他者に一般的および/または潜在的な危険を呈する可能性のある、自動車、列車、航空機、船舶、原子炉、プラント、化学プロセス等のような設備および/または装置であって、請求項15に記載のシステムを含む設備および/または装置。
  17. プログラム可能なマイクロコンピュータにおいて実行されたときに、請求項1から14の少なくともいずれか一項に記載の方法を実行するように適応されたコンピュータプログラムコード手段を含むコンピュータプログラム。
  18. インターネットに接続されたコンピュータで実行されたときに、請求項15に記載のシステムまたはそのいずれかの構成要素にダウンロードされるように適応された、請求項17に記載のコンピュータプログラム。
  19. 請求項17に記載のコンピュータプログラムコード手段を含み、コンピュータ可読媒体に格納されたコンピュータプログラム製品。
JP2007504347A 2004-03-22 2005-03-22 運転者の知覚適性検査の方法およびシステム Expired - Fee Related JP4551925B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/EP2004/003009 WO2005098777A1 (en) 2004-03-22 2004-03-22 Method and system for perceptual suitability test of a driver
PCT/EP2005/003053 WO2005093679A1 (en) 2004-03-22 2005-03-22 Method and system for perceptual suitability test of a driver

Publications (2)

Publication Number Publication Date
JP2007531090A true JP2007531090A (ja) 2007-11-01
JP4551925B2 JP4551925B2 (ja) 2010-09-29

Family

ID=34957266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007504347A Expired - Fee Related JP4551925B2 (ja) 2004-03-22 2005-03-22 運転者の知覚適性検査の方法およびシステム

Country Status (8)

Country Link
US (1) US7455405B2 (ja)
EP (1) EP1730710B1 (ja)
JP (1) JP4551925B2 (ja)
CN (1) CN100550075C (ja)
AT (1) ATE377819T1 (ja)
BR (1) BRPI0509050A (ja)
DE (1) DE602005003214T2 (ja)
WO (2) WO2005098777A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009197977A (ja) * 2008-02-25 2009-09-03 Denso Corp シフトレンジ切替制御装置
JP2009245434A (ja) * 2008-03-28 2009-10-22 Valeo Systemes Thermiques ユーザの覚醒状態に応じた車両の使用制限方法およびシステム
JP2010128669A (ja) * 2008-11-26 2010-06-10 Toyota Central R&D Labs Inc 運転支援装置及びプログラム
JP2015138383A (ja) * 2014-01-22 2015-07-30 株式会社豊田中央研究所 覚醒維持装置及びプログラム
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
KR20210025158A (ko) * 2019-08-26 2021-03-09 경남대학교 산학협력단 자동차 안전 시동 장치

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7821421B2 (en) 2003-07-07 2010-10-26 Sensomatix Ltd. Traffic information system
JP4497305B2 (ja) * 2004-12-08 2010-07-07 株式会社デンソー 運転者状態判定装置
EP2359748B1 (en) * 2008-09-18 2020-04-08 Chubu University Educational Foundation Sleepiness signal detector
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
CN102427766B (zh) * 2009-03-20 2015-11-25 瓦洛里萨申-雷彻切有限合伙公司 用于测量轻度知觉损伤的设备和方法
CZ303192B6 (cs) * 2010-07-12 2012-05-23 Univerzita Karlova v Praze, Lékarská fakulta v Hradci Králové Zrakový stimulátor
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
GB201200122D0 (en) * 2012-01-05 2012-02-15 Univ Aberdeen An apparatus and a method for psychiatric evaluation
GB2498742A (en) * 2012-01-25 2013-07-31 Haul It Nationwide Ltd Personal activity recording terminal and personnel management system
US10537240B2 (en) 2012-03-09 2020-01-21 Ocuspecto Oy Method for assessing function of the visual system and apparatus thereof
JP6366510B2 (ja) 2012-03-09 2018-08-01 オキュスペクト オサケ ユキチュア 視覚系の機能を評価するためのシステムの作動方法および装置
PL2844146T3 (pl) * 2012-04-24 2016-12-30 Układ i sposób pomiaru uwagi
WO2014028377A2 (en) * 2012-08-12 2014-02-20 Insurance Services Office, Inc. Apparatus and method for detecting driving performance data
DE102012214617A1 (de) 2012-08-17 2014-02-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Pupillenreaktionsfähigkeit
US9113786B2 (en) * 2012-10-25 2015-08-25 Po Yiu Pauline Li Devices, systems and methods for identifying potentially dangerous oncoming cars
US20150353014A1 (en) * 2012-10-25 2015-12-10 Po Yiu Pauline Li Devices, systems and methods for identifying potentially dangerous oncoming cars
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US8981942B2 (en) 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US8930269B2 (en) 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9002067B2 (en) * 2013-03-28 2015-04-07 Bytelogics Inc. Systems and methods for detecting blood alcohol level
WO2015011527A1 (en) * 2013-07-25 2015-01-29 Desarrollo E Investigación Tecnológica Axon Intelligence Co S.A. System and procedure to recognize, notice and identify a deficiency in the eye-motor function coordination of a motor vehicle driver
CN105705094B (zh) 2013-09-02 2019-12-31 奥斯派克特公司 阈值的测试和确定
JP6273823B2 (ja) * 2013-12-19 2018-02-07 株式会社デンソー 状態推定装置、および状態推定プログラム
CA2984222A1 (en) * 2014-04-29 2015-11-05 Dignity Health Systems and methods for non-intrusive drug impairment detection
US10376183B2 (en) 2014-04-29 2019-08-13 Dignity Health Systems and methods for non-intrusive drug impairment detection
US10743806B2 (en) 2014-06-11 2020-08-18 Dignity Health Systems and methods for non-intrusive deception detection
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
CN104665849B (zh) * 2014-12-11 2017-03-01 西南交通大学 一种基于多生理信号多模型交互的高铁调度员应激检测方法
US9613515B2 (en) * 2015-02-27 2017-04-04 Ford Global Technologies, Llc Method and apparatus for occupant customized wellness monitoring
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
US10678897B2 (en) * 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
ES2557804B1 (es) * 2015-05-14 2016-05-19 Renfe Operadora Dispositivo de alerta ante señales de salida de vehículos de transporte ferroviarios
TWI547909B (zh) * 2015-05-15 2016-09-01 吳鍾達 眼球動態追蹤裝置
CN106274478A (zh) * 2015-06-05 2017-01-04 昆达电脑科技(昆山)有限公司 行车安全检测方法
CN105365824A (zh) * 2015-10-27 2016-03-02 东莞酷派软件技术有限公司 车辆的控制方法、信息处理方法及相关装置
FR3048543A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule de transport
EP3438948B1 (en) * 2016-05-11 2023-08-30 Sony Group Corporation Image processing apparatus, image processing method, and mobile body
CN109478369A (zh) * 2016-07-22 2019-03-15 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
EP3500466A2 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for using an attention buffer to improve resource allocation management
WO2018035531A1 (en) 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
CN106344049B (zh) * 2016-08-30 2020-02-04 西南交通大学 驾驶员空间记忆能力的测试方法与系统
FR3063703B1 (fr) * 2017-03-13 2022-08-12 Alstom Transp Tech Procede d'aide a la conduite d'un vehicule ferroviaire et vehicule ferroviaire equipe d'un systeme de supervision pour la mise en oeuvre de ce procede
JP6939533B2 (ja) * 2017-12-26 2021-09-22 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3591589A1 (en) * 2018-07-05 2020-01-08 Aptiv Technologies Limited Identifying autonomous vehicles and passengers
DK201870683A1 (en) 2018-07-05 2020-05-25 Aptiv Technologies Limited IDENTIFYING AND AUTHENTICATING AUTONOMOUS VEHICLES AND PASSENGERS
SE543249C2 (en) * 2018-12-12 2020-11-03 Lincoding Ab Alcolock device using mapping gaze and motion parameters
WO2020152678A1 (en) * 2019-01-22 2020-07-30 Adam Cogtech Ltd. Detection of cognitive state of a driver
CN109938757A (zh) * 2019-03-11 2019-06-28 长安大学 一种营运车辆驾驶人的安全适宜性检测装置及方法
US11529082B2 (en) 2019-05-22 2022-12-20 Bi Incorporated Systems and methods for impairment baseline learning
US11807090B2 (en) 2020-03-17 2023-11-07 GM Global Technology Operations LLC Motor vehicle with cognitive response test system for preemptively detecting potential driver impairment
FR3121347B1 (fr) * 2021-04-01 2023-06-02 Faurecia Interieur Ind Dispositif électronique et procédé de surveillance du comportement d’un conducteur lors de la conduite d’un véhicule, système électronique de supervision et programme d’ordinateur associés
US11772603B2 (en) 2021-05-18 2023-10-03 Motional Ad Llc Passenger authentication and entry for autonomous vehicles
DE102021214751A1 (de) 2021-12-20 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug
DE102022129975A1 (de) 2022-11-14 2024-05-16 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen
US20240293080A1 (en) * 2023-03-03 2024-09-05 Magna Electronics, Llc Systems and methods for confirmation of intoxication determination

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422690A (en) * 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2830901A (en) 1955-04-22 1958-04-15 Polaroid Corp Photographic product
US3665447A (en) 1969-12-05 1972-05-23 Dennis P Bidwell Method and apparatus for preventing inebriated persons from operating vehicles
US3706403A (en) 1971-10-26 1972-12-19 Robert L F Sikes Gun holding device
US3755776A (en) 1972-04-07 1973-08-28 Gen Motors Corp Vehicle operation inhibitor control system
US3780311A (en) 1972-06-14 1973-12-18 Environmental Metrology Corp Breath alcohol detector and automotive ignition interlock employing same
US3886540A (en) 1973-09-07 1975-05-27 Us Transport Condition responsive control apparatus
US4889422A (en) * 1986-01-28 1989-12-26 George Pavlidis Method and means for detecting dyslexia
GB8614514D0 (en) 1986-06-14 1986-07-23 Lion Lab Ltd Alcohol breath detecting devices
DE3803916A1 (de) * 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers
US4983125A (en) 1988-02-10 1991-01-08 Systems Technology, Inc. Device for measuring human performance
US4901058A (en) 1988-06-17 1990-02-13 Guardian Technologies, Inc. Sobriety interlock with bypass detection
US6229908B1 (en) 1996-04-26 2001-05-08 Edmonds, Iii Dean Stockett Driver alcohol ignition interlock
SE9602244L (sv) * 1996-06-06 1997-12-06 Hoek Instr Ab System för kontroll av fordonsförares uppmärksamhet
WO1999009881A1 (en) * 1997-08-22 1999-03-04 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
IL143597A0 (en) * 2001-06-06 2002-04-21 Suchard Eytan Method and apparatus for inferring physical/mental fitness through eye response analysis
US7380938B2 (en) * 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422690A (en) * 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009197977A (ja) * 2008-02-25 2009-09-03 Denso Corp シフトレンジ切替制御装置
JP2009245434A (ja) * 2008-03-28 2009-10-22 Valeo Systemes Thermiques ユーザの覚醒状態に応じた車両の使用制限方法およびシステム
JP2010128669A (ja) * 2008-11-26 2010-06-10 Toyota Central R&D Labs Inc 運転支援装置及びプログラム
JP2015138383A (ja) * 2014-01-22 2015-07-30 株式会社豊田中央研究所 覚醒維持装置及びプログラム
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
JP2020194576A (ja) * 2014-12-12 2020-12-03 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
US11054824B2 (en) 2014-12-12 2021-07-06 Sony Corporation Automatic driving control device and automatic driving control method, and program
JP7173105B2 (ja) 2014-12-12 2022-11-16 ソニーグループ株式会社 自動運転制御装置、自動運転制御方法、プログラム、および自動運転制御システム
US11718329B2 (en) 2014-12-12 2023-08-08 Sony Group Corporation Automatic driving control device and automatic driving control method, and program
US12077192B2 (en) 2014-12-12 2024-09-03 Sony Group Corporation Automatic driving control device and automatic driving control method, and program
KR20210025158A (ko) * 2019-08-26 2021-03-09 경남대학교 산학협력단 자동차 안전 시동 장치
KR102301194B1 (ko) * 2019-08-26 2021-09-13 진익수 자동차 안전 시동 장치

Also Published As

Publication number Publication date
WO2005098777A1 (en) 2005-10-20
BRPI0509050A (pt) 2007-08-21
CN1934596A (zh) 2007-03-21
CN100550075C (zh) 2009-10-14
WO2005093679A1 (en) 2005-10-06
US20070132950A1 (en) 2007-06-14
ATE377819T1 (de) 2007-11-15
DE602005003214D1 (de) 2007-12-20
US7455405B2 (en) 2008-11-25
EP1730710B1 (en) 2007-11-07
JP4551925B2 (ja) 2010-09-29
EP1730710A1 (en) 2006-12-13
DE602005003214T2 (de) 2008-09-11

Similar Documents

Publication Publication Date Title
JP4551925B2 (ja) 運転者の知覚適性検査の方法およびシステム
EP2648618B1 (en) System for monitoring a vehicle driver
US10836403B2 (en) Distractedness sensing system
US8356899B2 (en) Sleepiness signal detector
Di Stasi et al. Saccadic velocity as an arousal index in naturalistic tasks
Dawson et al. Look before you (s) leep: evaluating the use of fatigue detection technologies within a fatigue risk management system for the road transport industry
US5422690A (en) Fitness impairment tester
US7202793B2 (en) Apparatus and method of monitoring a subject and providing feedback thereto
Hartley et al. Review of fatigue detection and prediction technologies
WO2015175435A1 (en) Driver health and fatigue monitoring system and method
EP2237237A1 (en) Eye closure detection using structured illumination
US20200029880A1 (en) Non-invasive systems and methods for detecting mental impairment
CN105144199A (zh) 支持多种功能的基于成像装置的乘坐者监控系统
Barr et al. A review and evaluation of emerging driver fatigue detection measures and technologies
Ellis Eye tracking metrics for workload estimation in flight deck operations
US11317861B2 (en) Vestibular-ocular reflex test and training system
WO1998049028A1 (en) An alertness monitor
EP1799483A1 (en) A security device
US20020188219A1 (en) Method and apparatus for inferring physical/mental fitness through eye response analysis
CA2984222A1 (en) Systems and methods for non-intrusive drug impairment detection
Fors et al. Camera-based sleepiness detection: final report of the project SleepEYE
CN118786059A (zh) 驾驶员醉酒测试系统和方法
Mallis et al. Monitoring alertness by eyelid closure
Danno et al. Measurement of driver’s visual attention capabilities using real-time ufov method
Hammoud et al. On driver eye closure recognition for commercial vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees