JP2018537787A - 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 - Google Patents

車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 Download PDF

Info

Publication number
JP2018537787A
JP2018537787A JP2018530725A JP2018530725A JP2018537787A JP 2018537787 A JP2018537787 A JP 2018537787A JP 2018530725 A JP2018530725 A JP 2018530725A JP 2018530725 A JP2018530725 A JP 2018530725A JP 2018537787 A JP2018537787 A JP 2018537787A
Authority
JP
Japan
Prior art keywords
eye
eye opening
data set
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018530725A
Other languages
English (en)
Other versions
JP6731481B2 (ja
Inventor
ヴルフ，フェリックス
ファンドンメル，チャールク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018537787A publication Critical patent/JP2018537787A/ja
Application granted granted Critical
Publication of JP6731481B2 publication Critical patent/JP6731481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Emergency Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

【課題】
本発明は、搭乗者（１０４）の眠気検出および／またはマイクロスリープ検出のために、車両の搭乗者（１０４）の少なくとも１つの目（２０２，２４２）の開眼データ（２０８）を分類する方法に関する。
【解決手段】
この方法は、スライドするタイムスロットの中の第１の測定時点で第１の開眼データセット（２２０）が生起されるステップを含み、第１の開眼データセット（２２０）は第１の測定時点での搭乗者（１０４）の目（２０２，２４２）の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの測定点（２２２）を有し、スライドするタイムスロットの中の第２の測定時点で第２の開眼データセット（２２８）が検出されるステップを含み、第２の開眼データセット（２２８）は第２の測定時点での搭乗者（１０４）の目（２０２，２４２）の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの検出点（２３０）を有し、および、少なくとも第１の開眼データセット（２２０）および／または第２の開眼データセット（２２８）を第１のデータクラスタ（２３６）に割り当てて開眼データ（２０８）を分類するために、少なくとも１つの測定点（２２２）および少なくとも１つの検出点（２３０）を利用したうえでクラスタ分析が実行されるステップを含み、第１のデータクラスタ（２３６）は搭乗者（１０４）の目（２０２，２４２）の開放状態を表す。
【選択図】 図２

Description

本発明は、独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。
操舵時の眠気やマイクロスリープは、しばしば危険な状況や事故につながる。現代の眠気認識システムは、運転者が何らかの眠気限界値を超えたときに警告を出力する。そして運転者の視野に、眠気限界値を超えたことを指摘するために、
たとえばコーヒーカップのような記号がフェードインされる。
現在シリーズ生産されている眠気認識システムは、たとえば運転者の疲労を運転挙動から間接的に見積る。同様に、ビデオカメラのデータから、目の現在の開度を認識することができるシステムも知られている。このことは、相応の画像処理アルゴリズムを用いて行われる。その場合、両方の目についてそれぞれ開眼レベルが検知される。
特許文献１は、事前定義されたモデル化された信号で開眼信号をフィッティングして、まばたき事象を認識し、そこから運転者の注意力に関する推定を引き出すシステムを記載している。
特許文献２は、開眼信号からまばたき事象を認識するために、「正常な」まばたき事象についてのいわゆる標準振幅を利用するシステムを記載している。
文献では、まばたき事象の特性と、眠気との間の関連性がすでに議論されている。非特許文献１を参照のこと。
国際公開第２０１４／０３１０４２号 国際公開第２００６／０９２０２２号
Ｈａｒｇｕｔｔ著、「作業行動時の注意力プロセス・疲労プロセスを表す指標としての眼瞼閉止挙動」、２００２年
以上を背景としたうえで、ここで提案される取組みにより、車両の搭乗者の少なくとも１つの目の開眼データを分類する方法、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法、さらにはこれらの方法を適用した装置、ならびに、最後にこれらに対応するコンピュータプログラムが主請求項に基づいて提案される。従属請求項に記載されている方策により、独立請求項に記載されている装置の好ましい発展例や改良が可能である。
スライドするタイムスロットでの開眼データないし開眼信号の検出、および、これらのデータのクラスタ分析の引き続いての実行は、車両搭乗者の目のまばたき指標の認識品質の改善を可能にする。
１つの発展例では、ここで提案されるコンセプトは、ＡＯＮないしＥＯＮ（英語Eye Opening Niveau）と略称される、現在の開眼レベルを計算する改良された方法を含んでいる。
搭乗者の眠気検出および／またはマイクロスリープ検出のために車両の搭乗者の少なくとも１つの目の開眼データを分類する方法が提案され、この方法は次の各ステップを有する：
スライドするタイムスロットの中の第１の測定時点で第１の開眼データセットが生起され、第１の開眼データセットは第１の測定時点での搭乗者の目の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの測定点を有し；
スライドするタイムスロットの中の第２の測定時点で第２の開眼データセットが検出され、第２の開眼データセットは第２の測定時点での搭乗者の目の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの検出点を有し；
少なくとも第１の開眼データセットおよび／または第２の開眼データセットを第１のデータクラスタに割り当てて開眼データを分類するために、少なくとも１つの測定点および少なくとも１つの検出点を利用したうえでクラスタ分析が実行され、第１のデータクラスタは搭乗者の目の開放状態を表す。
開眼データは、１つの時点での目の目開度のデータ、ならびに目の目蓋の運動の速度および／または加速度のデータを含むことができる。目開度は、第１ないし第２の測定時点での搭乗者の目の上目蓋から下目蓋までの、メートルないしセンチメートルまたはミリメートルの単位で決定されるべき間隔であり得る。開眼データは、複数の測定時点を通じて信号の形態で提供することができる。開眼データの分類とは、目の状態の事前設定されたカテゴリーに開眼データを割り当てることであると理解することができる。たとえば目の状態を開、閉として区別し、あるいは開放段階または閉止段階で区別することができる。第１ないし第２の開眼データセットは、判定ないし検出された、座標系で表現可能な搭乗者の目の状態の値を表すことができる。第１の開眼データセットは、搭乗者の目の第１の目開度、第１の目蓋運動速度、および第１の目蓋運動加速度のデータからなる適当な組み合わせを含むことができる。同様のことを、第２の開眼データセットにもこれに準じて当てはめることができる。測定点は、第１の開眼データセットを表現するための座標軸上の値を形成することができる。それに応じて検出点は、第２の開眼データセットを表現するための座標軸上の値を形成することができる。第２の測定時点は、スライドするタイムスロットの中で、第１の測定時点よりも時間的に後に位置することができる。クラスタ分析とは、開眼データセットのデータストックの中で類似性構造を発見するための方法であると理解される。クラスタ分析は、たとえば密度クラスタ分析であり得る。このときデータの所与の類似性構造が、座標系におけるデータのクラスタ形成によって−すなわち座標空間内でデータがデータクラスタへとグループ化されることによって−表されていてよい。目の開放状態により、搭乗者の目がどれだけ広く開いているか、ないしは閉じているかを示すことができる。
この方法は、たとえばソフトウェアまたはハードウェアで、もしくはソフトウェアとハードウェアの混合形態で、たとえば制御機器や装置にインプリメントされていてよい。
１つの実施形態では、生起のステップで第１の開眼データセットは、測定点によって表されない第１の測定時点での搭乗者の目の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの別の測定点を有することができる。その代替または追加として、検出のステップで第２の開眼データセットは、検出点によって表されない第２の測定時点での搭乗者の目の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの別の検出点を有することができる。さらに、それに応じて実行のステップで、別の測定点および／または別の検出点を利用したうえでクラスタ分析を実行することができる。別の測定点ないし別の検出点は、搭乗者の目運動指標のロバスト性の高い認識に貢献できるという利点がある。このとき別の測定点は、搭乗者の目の目開度、第１の目蓋運動速度、および／または第１の目蓋運動加速度の各パラメータの集合に属する、測定点とは異なるパラメータを表しており、それにより第１の開眼データセットの測定点は、さまざまに異なる物理量を表す測定点に依拠することになる。これに準じて別の検出点は、搭乗者の目の目開度、目蓋運動速度、および／または目蓋運動加速度の各パラメータの集合に属する、検出点とは異なるパラメータを表しており、それにより第２の開眼データセットの検出点は、さまざまに異なる物理量を表す検出点に依拠することになる。
さらにこの方法は、第１の開眼データセットと第２の開眼データセットが第１のデータクラスタに割り当てられるときに、測定点および検出点を利用したうえで平均化をするステップを有することができる。したがって第１のデータクラスタの第１の特性量を形成することができ、測定点および検出点が目の目開度を表すとき、第１の特性量は搭乗者の目の開眼レベルについての値を表すことができる。このとき測定点および検出点は同じ物理量を表すのがよい。開眼レベルとは、スライドするタイムスロットの内部での平均的な目開度であると理解される。開眼レベルはメートルの単位で検出することができる。この実施形態では、搭乗者の眠気やマイクロスリープの認識にとって本質的である開眼レベルを、迅速かつ高いロバスト性で判定することができる。
１つの実施形態では、第１の特性量を決定するために、平均化のステップで測定点および検出点を重みづけして平均化することができる。このようにして開眼レベルをいっそう高い信頼度で決定することができる。
たとえば平均化のステップで、第１の特性量を決定するために、測定点を検出点に依存して重みづけすることができる。特に、第１の特性量を決定するために、測定点を検出点の１つの値に依存して重みづけすることができる。このとき測定点を検出点の１つの値に依存して、特に、測定値の値と検出点の値との差異に依存して、重みづけすることができる。このとき特に、このような差異の大きさを測定点および／または検出点の重みづけに利用することができる。このような種類の密度依存的な重みづけにより、測定誤差や測定不正確さが、判定されるべき開眼レベルの結果を狂わせるのを防止できるという利点がある。
１つの実施形態では、本方法は、第２の開眼データセットが第１のデータクラスタに割り当てられていないとき、第２の開眼データセットが破棄されるステップを有することができる。そのようにして、特に第２の開眼データセットが場合により測定誤差によって使い物にならないとき、本方法の計算コストを容易に節減することができる。
別の実施形態では、実行のステップで、開眼データを分類するために、第１の開眼データセットが第１のデータクラスタに割り当てられ、第２の開眼データセットが第２のデータクラスタに割り当てられ、第２のデータクラスタは搭乗者の目の別の開放状態を表す。それぞれ異なるデータクラスタへの開眼データセットの割当は、たとえば搭乗者のまばたき運動やタコメータ視認のような目運動指標の簡単でロバスト性の高い認識を可能にする。
たとえば実行のステップで、開放状態は搭乗者の開いた目を表し、別の開放状態は搭乗者の閉じた目を表す。
別の実施形態では、本方法は、スライドするタイムスロットの中の第３の測定時点で第３の開眼データセットが読み込まれるステップを含んでいる。第３の開眼データセットは、第３の測定時点での搭乗者の目の第３の目開度および／または第３の目蓋運動速度および／または第３の目蓋運動加速度を表す少なくとも１つの判定点を有することができる。それに応じて実行のステップで、少なくとも第３の開眼データセットを第３のデータクラスタに割り当てて開眼データを分類するために、第３の開眼データセットの少なくとも１つの判定点を利用したうえでクラスタ分析を実行することができる。第３のデータクラスタは、搭乗者の目の移行状態を表すことができる。判定点は、第３の開眼データセットを表現するための座標軸上の値を形成することができる。この実施形態では、異なる目運動指標の区別をさらに大幅に改良することができる。
搭乗者の目の移行状態は、目の開放段階または閉止段階を表すことができる。
さらに、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法が提案され、この方法は次の各ステップを有している：
以上に記載した各実施形態のうちの１つに基づく方法に基づいて分類された開眼データを利用したうえで眠気および／またはマイクロスリープが判定される。
さらに、ここで提案される取組みは、ここで提案される方法の１つの変化態様の各ステップを相応のデバイスで実施し、制御し、ないしは具体化するために構成された装置を提供する。
装置の形態における本発明のこのような変化実施態様によっても、本発明の根底にある課題を迅速かつ効率的に解決することができる。
そのためにこの装置は、信号またはデータを処理するための少なくとも１つの計算ユニット、信号またはデータを記憶するための少なくとも１つの記憶ユニット、センサのセンサ信号を読み込むため、またはデータ信号もしくは制御信号をアクチュエータへ出力するための、センサまたはアクチュエータへの少なくとも１つのインターフェース、および／または通信プロトコルに埋め込まれたデータを読み込むため、または出力するための少なくとも１つの通信インターフェースを有することができる。計算ユニットは、たとえば信号プロセッサ、マイクロコントローラなどであってよく、記憶ユニットはフラッシュメモリ、ＥＰＲＯＭ、または磁気メモリユニットであってよい。通信インターフェースは、データを無線式および／または有線式に読み込むため、または出力するために構成されていてよく、有線式のデータを読み込むことができる、または出力することができる通信インターフェースは、このようなデータをたとえば電気式または光学式に相応のデータ伝送回線から読み込むことができ、または相応のデータ伝送回線へ出力することができる。
装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアの構成の場合、インターフェースは、たとえば装置の多種多様な機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であるか、または少なくとも部分的に離散したコンポーネントから構成されることも可能である。ソフトウェアとしての構成の場合、インターフェースは、たとえば他のソフトウェアモジュールと並んでマイクロコントローラに存在するソフトウェアモジュールであってよい。
１つの好ましい実施形態では、本装置は、眠気認識ないしマイクロスリープ認識のために開眼信号から搭乗者の少なくとも１つの目の目運動指標ないし目特徴をフィルタリング抽出するために、密度クラスタ分析を利用する。
半導体メモリ、ハードディスクメモリ、または光学メモリのような機械読取り可能な担体または記憶媒体に保存されていてよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されたときに、上に説明した実施形態のうちの１つに基づく本方法の各ステップを実施、具体化、および／または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。
本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す：
１つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを検出する装置を有する車両を示す模式図である。 １つの実施例に基づく、車両の搭乗者の開眼データを分類する装置のブロック図である。 １つの実施例に基づく、車両の搭乗者の開眼データを分類する方法のフローチャートである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法のフローチャートである。 １つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを監視するための総合システムのアーキテクチャを示す図である。
本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、そのような部材について繰り返し説明することはしない。
図１は、１つの実施例に基づく、車両１０２の搭乗者１０４の眠気および／またはマイクロスリープを検出する装置１０２を有する車両１００の模式図を示している。車両１００は乗用車である。別案として、車両１００はそれ以外の道路走行車両、たとえばトラックであってもよい。搭乗者１０４は、ここでは車両１００の運転者１０４である。
ここでは装置１０２は、運転者１０４の目を検出する、車両１００に設置されたカメラ１０６と接続されている。特に、カメラ１０６は運転者１０４の目の目蓋の位置を検出し、たとえば、少なくとも一方の目の目蓋の間の間隔や、少なくとも一方の目の目蓋の運動の速度ないし加速度を検出する。これらの情報を集約して開眼データとし、ここで提案される取組みに基づいてこれを分類して、車両１００の運転者１０４の眠気状態またはマイクロスリープを認識するために装置１０２で処理することができる。
図２は、１つの実施例に基づく、車両の搭乗者１０４の開眼データを分類する装置２００のブロック図を示している。装置２００により分類された開眼データを、眠気ないしマイクロスリープを認識するための図１に示す装置で利用することができる。装置２００は、眠気ないしマイクロスリープを認識するための図１に示す装置の一部であるか、またはこれと結合されており、ないしは結合可能である。装置２００は、搭乗者１０４の少なくとも１つの目２０２の、本例では右目２０２の、開眼データを分類するために構成されている。
搭乗者１０４の目に向けられたカメラ１０６が、搭乗者１０４の右目２０２の開眼信号２０４を受信する。開眼信号２０４は、複数の測定時点にわたっての目２０２の目蓋の運動の測定を含んでいる。それに伴って開眼信号２０４は、複数の時点にわたっての開眼データの推移を表す。
適当なインターフェースを介して、装置２００の読込みデバイス２０６が、開眼信号２０４を形成する開眼データ２０８を装置２００に読み込む。開眼データ２０８は、目２０２の検出中の１つの測定時点での目開度、目２０２の目蓋の速度ならびに加速度に関する情報を含んでいる。開眼データ２０８ないし開眼信号２０４は、スライドするタイムスロットの中でカメラ１０６により検出され、またはカメラ１０６と結合されたデバイスにより検出される。
目開度とは、測定時点における目２０２の上目蓋２１０から下目蓋２１２までの間隔であると理解される。目開度はメートルの単位で検出される。目蓋２１０，２１２の速度ならびに加速度は、目蓋２１０，２１２の完全もしくは不完全な開放段階ないし閉止段階で検出される。
装置２００は読込みデバイス２０６のほかに、生起デバイス２１４、検出デバイス２１６、および実行デバイス２１８を有している。
生起デバイス２１４は、スライドするタイムスロットの中の第１の測定時点で、開眼データ２０８を基礎として第１の開眼データセット２２０を生起するために構成されている。第１の開眼データセット２２０は、１つの実施例では、測定点２２２と、別の測定点２２４と、第２の別の測定点２２６とを有する。たとえば、測定点２２２は第１の測定時点での目２０２の第１の目開度を表し、別の測定点２２４は第１の測定時点での搭乗者１０４の目蓋２１０，２１２のうち少なくとも一方の目蓋運動速度を表し、第２の別の測定点２２６は第１の測定時点での搭乗者１０４の目２０２の目蓋運動加速度を表す。
検出デバイス２１６は、スライドするタイムスロットの中の第２の測定時点で、開眼データ２０８を基礎として第２の開眼データセット２２８を検出するために構成されている。第２の開眼データセット２２８は、１つの実施例では、検出点２３０と、別の検出点２３２と、第２の別の検出点２３４とを有する。たとえば、検出点２３０は第２の測定時点での目２０２の第２の目開度を表し、別の検出点２３２は第２の測定時点での搭乗者１０４の目蓋２１０，２１２のうち少なくとも一方の目蓋運動速度を表し、第２の別の検出点２３４は第２の測定時点での搭乗者１０４の目２０２の目蓋運動加速度を表す。
各実施例において、それぞれ３つよりも多い、または少ない測定点２２２，２２４，２２６および検出点２３０，２３２，２３４が開眼データセット２２０，２２８の形成のために存在することができる。開眼データセット２２０，２２８は、装置２００の実施例に応じて、目２０２の目開度、目蓋運動速度、および目蓋運動加速度のそれぞれ異なる組み合わせで形成することができる。これらの情報の一部だけが開眼データセット２２０，２２８に含まれていてもよい。
実行デバイス２１８は、測定点２２２，２２４，２２６および検出点２３０，２３２，２３４を利用したうえで、適当なアルゴリズムを適用して、開眼データセット２２０，２２８のクラスタ分析を実行するために構成されている。クラスタ分析の結果に応じて、実行デバイス２１８は第１の開眼データセット２２０を複数のデータクラスタのうち第１のデータクラスタ２３６に割り当てるとともに、第２の開眼データセット２２８を複数のデータクラスタのうち第２のデータクラスタ２３８に割り当てる。１つの実施例では、両方の開眼データセット２２０，２２８をたとえば第１のデータクラスタ２３６に割り当てることもできる。このことが該当するのは、たとえば第１の測定時点２２２と第２の測定時点２２４が互いに時間的に非常に近くに位置するとき、および／または第１の検出点２３０と第２の検出点２３２が互いに時間的に非常に近くに位置するときである。
別案の実施例では実行デバイス２１８は、第２の開眼データセット２２８が第１のデータクラスタ２３６に割り当てられないとき、第２の開眼データセット２２８を破棄するために構成されていてよい。
データクラスタ２３６，２３８への開眼データセット２２０，２２８の割当てをもって開眼データセット２２０，２２８が分類され、すなわち、カメラ１０６により検出された目２０２の複数の開放状態または移行状態のうちの１つに割り当てられる。たとえば第１のデータクラスタ２３６は、目２０２が開いている、目２０２の考えられる第１の開放状態を定義し、第２のデータクラスタ２３８は、目２０２が閉じている、目２０２の考えられる第２の開放状態を定義する。各実施例において、第３のデータクラスタが、目２０２が開放段階にある、目２０２の考えられる第１の移行状態を定義することができ、第４のデータクラスタが、目２０２が閉止段階にある、目２０２の考えられる第２の移行状態を定義することができる。
当然ながら、装置２００は、そのデバイス２０６，２１４，２１６，２１８を利用して、２つよりも多いデータセット２２０，２８０を処理して１つまたは複数のデータクラスタ２３６，２３８に割り当てるためにも構成されていてよい。
ここで提案されるコンセプトの１つの実施例では、実行デバイス２１８または装置２００のその他のデバイスは、−第１の開眼データセット２２０と第２の開眼データセット２２８が第１のデータクラスタ２３６に割り当てられるケースについて、および、測定点２２２と検出点２３０がそれぞれ目開度を表すケースについて−、測定点２２２，２２４，２２６および検出点２３０，２３２，２３４のうち少なくとも１つを利用したうえで、開眼データセット２２０，２２８を平均化プロセスにかけるために構成される。そのようにして、搭乗者１０４の目２０２の開眼レベルについて、非常にロバスト性の高い値を表す特性量２４０が第１のデータクラスタ２３６について形成される。
開眼レベル−英語の呼称“Eye Opening Niveau”を略してＡＯＮないしＥＯＮ−は、１つのタイムスロットの内部における平均的な目開度についての値であり、目が完全に開いていない時点、たとえばまばたきないしまばたき事象またはタコメータ視認などは度外視される。開眼レベルはメートルの単位で検出され、図１に示す装置による眠気またはマイクロスリープのできる限り誤りのない認識にとって本質的なものである。
１つの実施例では、第１のデータクラスタ２３６について特性量２４０を決定するために装置２００で実行される平均化プロセスは、重みづけされた平均化プロセスである。
上で説明した手順に準じて、装置２００で既存のすべてのデータクラスタ２３６，２３８について、これらに割り当てられる特性量を計算することができる。
実行デバイス２１８が密度クラスタ分析を実行する一例としてのケースについては、重みづけされる平均化プロセスで、測定点２２２ないし別の測定点２２４，２２６を、検出点２３０ないし別の検出点２３２，２３４に依存して重みづけすることができる。１つまたは複数の測定点２２２，２２４，２２６が、特性量２４０を決定するために、１つまたは複数の検出点２３０，２３２，２３４との近さに依存して重みづけされると特別に好ましい。
当然ながら、装置２００は上で説明した手順に準じて、その追加または代替として、右目２０２についての計算と同時に、または時間的にずらして、搭乗者１０４の左目２４２についての開眼データを分類し、それにより搭乗者１０４の眠気分析またはマイクロスリープ分析を準備ないしサポートすることができる。
図３は、車両の搭乗者の開眼データを分類する方法３００のフローチャートの実施例を示している。方法３００は、図２に示す分類をする装置ないしそのデバイスにより実施することができる。
生起３０２のステップで、スライドするタイムスロットの中の第１の測定時点で、少なくとも１つの測定点を有する第１の開眼データセットが生起される。検出３０４のステップで、スライドするタイムスロットの中の第２の測定時点で、少なくとも１つの検出点を有する第２の開眼データセットが検出される。実行３０６のステップで、第１の開眼データセットおよび／または第２の開眼データセットを第１のデータクラスタに割り当てて開眼データを分類するために、測定点および検出点を利用したうえでクラスタ分析が実行される。
１つの実施例では、方法３００は、第１のデータクラスタの第１の特性量を形成するために、測定点および検出点を利用したうえで第１の開眼データセットおよび第２の開眼データセットを平均化３０８するステップを有する。
図４から７は、１つの実施例に基づく、図３の計算方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフを示している。それぞれ示されているのは、計算方法に基づいて判定された複数のデータクラスタが模式的にクラウドとして表示されている座標系である。図４から７のすべてのグラフの根底にただ１つの計算があり、それぞれのグラフがこれを異なる視角から示している。
図４は、３次元のデカルト座標系を示している。横軸４４０に、目蓋運動速度が１秒毎のメートル（ｍ／ｓ）を単位としてプロットされている。縦軸４０２には、目開度がメートル（ｍ）を単位としてプロットされている。垂直軸４０４には、目蓋運動加速度が平方秒毎のメートル（ｍ／ｓ２）を単位としてプロットされている。図４の座標系は、計算方法に基づいて作成された、ないしは割り当てられた、車両搭乗者の開眼データの多数のデータセットを示している。開眼データセットの多くが、観察者の目によって互いに明確に区別可能であるデータクラスタとしてグループ分けされている。
各々のデータクラスタは、図４の図面ではデータクラウドの形態で、着目する車両搭乗者の目ないし目蓋の異なる状態の複数のカテゴリーの１つを表す。したがって、円によって記号で示す複数のデータセットのグループ分けから形成される、すでに図２との関連で説明した第１のデータクラスタ２３６は、１つの目または複数の目が開いている、車両搭乗者の１つの目または複数の目の第１の開放状態を表す。
正方形によって記号で示す複数のデータセットのグループ分けから形成される、同じくすでに図２との関連で説明した第２のデータクラスタ２３８は、１つの目または複数の目が閉じている、車両搭乗者の１つの目または複数の目の第２の開放状態を表す。
三角形によって記号で示す複数のデータセットのグループ分けから形成される第３のデータクラスタ４０６は、１つの目または複数の目が開放段階にある、車両搭乗者の１つの目または複数の目の第１の移行状態を表す。
菱形によって記号で示す複数のデータセットのグループ分けから形成される第４のデータクラスタ４０８は、１つの目または複数の目が閉止段階にある、車両搭乗者の１つの目または複数の目の第２の移行状態を表す。
検出された開眼データの外れ値を表すデータセット４１０は、バツ印によって図４の座標系に記入されている。
図４の図面に示すように、個々のデータクラスタ２３６，２３８，４０６，４０８は異なる個別の密度によって、および異なる個別の分布領域によって、座標系の中で特徴づけられる。したがってデータクラスタ２３６および２３８は特別に稠密に、かつ空間的に狭く区切られている。それに対して、データクラスタ４０６および４０８はこれよりも低い密度を有するとともに、データクラスタ２３６および２３８の場合よりも明らかに弱く区切られた比較的広い三次元空間に延びている。個々のデータクラスタ２３６，２３８，４０６，４０８は容易に互いに区別することができ、特に、外れ値４１０を容易に識別することができるので、誤測定によって比較的損なわれることがない眠気認識ないしマイクロスリープ認識のための、車両搭乗者の目状態ないし開眼状態のロバスト性の高い分離と割当が可能である。
図５は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の横軸４００と縦軸４０２の観点から２次元の図で示している。ここでは、データクラスタ２３６，２３８，４０６，４０８の間の空間的な分離をよく見ることができる。
図６は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の横軸４００と垂直軸４０４の観点から別の二次元の図で示している。この図面では、閉じた目を表す第２のデータクラスタ２３８が、ほぼ同じ大きさと同じ形状をした、開いた目を表す第１のデータクラスタ２３６に重なり合う。さらに、閉じつつある目を表す第４のデータクラスタ４０８は、開きつつある目を表す第３のデータクラスタ４０６よりも大幅に広い空間にばらついていることがわかる。
図７は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の縦軸４０２と垂直軸４０４の観点から、別の２次元の図で示している。ここでも、データクラスタ２３６および２３８の高い密度をよく認めることができる。
図４から７に示す、ここで提案される新規の計算方法について、以下において、実施例を取り上げながら再度理解しやすくまとめる。まず、たとえば５分の時間を有するスライドするタイムスロットの中で、タイムスロットの各々の測定時点について開眼データが検出される。１つの実施例では、開眼データは後に続く図９で詳しく説明する閉眼前処理ユニットないしＥＣＰユニットで処理することができる。
次いで、上に説明したスライドするタイムスロットに属する、開眼データから形成された開眼データセットないしその測定点または検出点が、密度クラスタ分析にかけられる。このときデータセットが存在している空間が、高い密度のデータセットを有している区域がないかどうか探索される。このような区域のすべてのデータセットが、共通のクラスタ２３６，２３８，４０６または４０８に割り当てられる。密度クラスタ分析の１つの考えられる具体化は、ＯＰＴＩＣＳアルゴリズムである（Ankerst, Mihael, et al.著“OPTICS: ordering points to identify the dustering structure.” ACM Sigmond Record. Vol.28. No.2. ACM, 1999参照）。
このような複数のクラスタ２３６，２３８，４０６または４０８を識別することができ、このことは、所属するデータセットをそれぞれ異なるカテゴリーに振り分けることを可能にする。したがって第１のデータクラスタ２３６は、車両搭乗者の目が開いている第１のカテゴリーを特徴づける。第２のデータクラスタ２３８は、車両搭乗者の目が閉じている第２のカテゴリーを特徴づける。第３のデータクラスタ４０６は、車両搭乗者の目が開放段階にある第３のカテゴリーを特徴づける。第４のデータクラスタ４０８は、車両搭乗者の目が閉止段階にある第４のカテゴリーを特徴づける。測定時の外れ値４１０も、同じく図像で表示される。さらに別の測定点および検出点に依拠するさらに別のクラスタの表示も、当然ながら可能である。たとえば別のクラスタは、タコメータに向けた車両搭乗者の視線を特徴づけることができる。
ここで提案されるコンセプトのすでに言及した発展例では、データクラスタ２３６，２３８，４０６，４０８の各々について特性量が決定される。決定にあたっては、それぞれのデータクラスタ２３６，２３８，４０６，４０８の中心に着目することができ、それにより、クラスタ２３６，２３８，４０６，４０８の内部にあるすべてのデータセットの平均値から特性量を決定する。別案として、重心決定を基礎として特性量を判定することもできる。その場合、クラスタ２３６，２３８，４０６，４０８の内部にあるすべてのデータセットの重みづけされた平均値が基礎となる。各々のデータセットについての重みづけは、当該データセットが存在している区域の密度によって与えられる。
このような特性量は、その根底にあるデータセットと同じ３次元空間に位置するので、目開度、搭乗者の目蓋の運動速度、および運動加速度についての値に分解することができる。すなわちクラスタ２３６，２３８，４０６，４０８の特性量から目開度についての値を読み取ることができ、これを開眼レベルないしＥＯＮ値として眠気認識ないしマイクロスリープ認識のために利用することができる。このようなＥＯＮ値は、従来式の手法で決定されるＥＯＮ値よりも明らかに安定的であり、すなわち低い変動しか付随しない。なぜならまばたき事象、タコメータ視認などが計算に取り入れられないからである。いっそうロバスト性の高いＥＯＮ値のほか、ここで提案される方法のさらに別の利点は、まばたき事象、タコメータ視認などを開眼信号で見出すために、さまざまなクラスタ２３６，２３８，４０６，４０８の情報を利用できることにある。
図８は、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法８００の実施例のフローチャートを示している。判定８０２のステップで、上に説明した開眼データを分類する方法に基づいて分類された開眼データを利用したうえで、搭乗者の眠気および／またはマイクロスリープが判定される。
図９は、１つの実施例に基づく、眠気および／またはマイクロスリープに関して車両の運転者を監視するための総合システム９００のアーキテクチャの図を示している。
総合システム９００は３つの主要構成要素９０２，９０４および９０６を有している。第１の主要構成要素９０２は眠気分類部と呼ばれる。第２の主要構成要素９０４はマイクロスリープ認識部と呼ばれる。第３の主要構成要素９０６は、眠気分類部９０２およびマイクロスリープ認識部９０４により共同で利用されるモジュール９０８と、開眼レベルないしＥＯＮを提供する装置９１０とを含んでいる。モジュール９０８は、閉眼前処理ユニットないしＥＣＰユニット（ＥＣＰ；英語Eye Closure Preprocessing）９０８と呼ぶことができる。閉眼前処理ユニット９０８は、右と左の閉眼の検出部と、閉眼のフィルタリング部と、閉眼の速度検出部と、閉眼の加速度検出部と、ＥＯＮを提供するための装置９１０と、妥当性確認部とを含んでいる。
閉眼前処理ユニット９０８は、現在の閉眼、閉眼速度、およびＥＯＮを出力する。
眠気分類９０２では、これらの値がまばたき事象検知部９１２で利用されて、まばたき事象がまばたき指標計算部９１４へ転送される。
まばたき指標計算部９１４はまばたき指標を、個人的なまばたき指標認識部９１６と眠気分類のためのモジュール９１８とへ出力する。モジュール９１８はまばたき指標認識部９１６から個人的なまばたき挙動を読み込んで、眠気レベルを出力する。
マイクロスリープ認識部９０４では、個人的な閉眼認識部９２０、閉眼認識部９２２、およびマイクロスリープ認識のためのモジュール９２４で値が利用される。
個人的な閉眼認識部９２０は、個人的な開眼レベルと個人的な閉眼レベルとを出力する。この両者が閉眼認識部９２２で利用されて、バイナリーの開眼値をモジュール９２４のために提供する。モジュール９２４はマイクロスリープ事象を出力する。
１つの実施例では、ここで提案されるコンセプトに基づいて判定されるロバスト性の高いＥＯＮを、眠気および／またはマイクロスリープを認識するための総合システム９００へ容易に組み入れることができる。別案として、ＥＯＮの計算を、閉眼前処理の枠内においてＥＣＰユニット９０８で行うことができる。引き続き、まばたき事象検出とまばたき指標計算の枠内においてＥＯＮが利用される。
すでに説明したとおり、ＥＯＮは、開いた状態の目蓋の平均的な現在の間隔がどれだけ大きいかを表す。ＥＯＮの計算にあたって重要なのは、考えられるまばたき事象、タコメータ視認などが、計算される値に入り込まないことである。そうしないと、まばたき頻度やまばたき時間などによって、計算される値が影響を受けることになるからである。その場合、まばたき事象の頻度と時間が増すにつれて、そこから得られるＥＯＮは低い結果となる。
ここで提案されるコンセプトに基づいてロバスト性が高く少ない変動しか付随しないＥＯＮの存在は、いくつもの利点をもたらす。したがって、ＥＯＮに対して相対的に定義される限界値を有する、簡単でロバスト性の高いまばたき事象の検知を保証することができる。さらに、たとえばまばたき振幅のようなまばたき事象の特定の指標の簡単な計算が可能である。ＥＯＮの９０百分順位を最大開度として基準とするＰＥＲＣＬＯＳ値のロバスト性の高い計算をする可能性も得られる。
１つの実施例が第１の構成要件と第２の構成要件の間に「および／または」結合を含んでいるとき、このことは、その実施例が１つの実施形態では第１の構成要件と第２の構成要件をいずれも有しており、別の実施形態では第１の構成要件または第２の構成要件だけを有していると読まれるべきである。
１００ 車両
１０２ 装置
１０４ 搭乗者
２００ 装置
２０２ 目
２０８ 開眼データ
２２０ 開眼データセット
２２２ 測定点
２２４ 測定点
２２８ 開眼データセット
２３０ 検出点
２３２ 検出点
２３６ データクラスタ
２３８ データクラスタ
２４０ 特性量
２４２ 目
３００ 方法
３０２ 生起
３０４ 検出
３０６ 実行
３０８ 平均化
４０６ 第３のデータクラスタ
８００ 方法
８０２ 判定

Claims (14)

  1. 搭乗者（１０４）の眠気検出および／またはマイクロスリープ検出のために車両（１００）の搭乗者（１０４）の少なくとも１つの目（２０２，２４２）の開眼データ（２０８）を分類する方法（３００）において、前記方法（３００）は次の各ステップを有し、すなわち、
    スライドするタイムスロットの中の第１の測定時点で第１の開眼データセット（２２０）が生起（３０２）され、前記第１の開眼データセット（２２０）は第１の測定時点での前記搭乗者（１０４）の前記目（２０２，２４２）の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの測定点（２２２）を有し、
    スライドするタイムスロットの中の第２の測定時点で第２の開眼データセット（２２８）が検出（３０４）され、前記第２の開眼データセット（２２８）は第２の測定時点での前記搭乗者（１０４）の前記目（２０２，２４２）の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの検出点（２３０）を有し、
    少なくとも前記第１の開眼データセット（２２０）および／または第２の開眼データセット（２２８）を第１のデータクラスタ（２３６）に割り当てて前記開眼データ（２０８）を分類するために、少なくとも１つの前記測定点（２２２）および少なくとも１つの前記検出点（２３０）を利用したうえでクラスタ分析が実行（３０６）され、前記第１のデータクラスタ（２３６）は前記搭乗者（１０４）の前記目（２０２，２４２）の開放状態を表す方法（３００）。
  2. 前記生起（３０２）のステップで前記第１の開眼データセット（２２０）は測定点によって表されない第１の測定時点での前記搭乗者（１０４）の前記目（２０２，２４２）の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの別の測定点（２２４）を有し、および／または前記検出（３０４）のステップで前記第２の開眼データセット（２２８）は検出点によって表されない第２の測定時点での前記搭乗者（１０４）の前記目（２０２，２４２）の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの別の検出点（２３２）を有し、前記実行（３０６）のステップでさらに前記別の測定点（２２４）および／または前記別の検出点（２３２）を利用したうえでクラスタ分析が実行されることを特徴とする、請求項１に記載の方法（３００）。
  3. 前記第１の開眼データセット（２２０）と前記第２の開眼データセット（２２８）が前記第１のデータクラスタ（２３６）に割り当てられるときに、前記第１のデータクラスタ（２３６）の第１の特性量（２４０）を形成するために、前記測定点（２２２）および前記検出点（２３０）を利用したうえで平均化（３０８）をするステップを有し、前記第１の特性量（２４０）は前記搭乗者（１０４）の前記目（２０２，２４２）の開眼レベルについての値を表すことを特徴とする、先行請求項１〜２のうちいずれか１項に記載の方法（３００）。
  4. 前記第１の特性量（２４０）を決定するために、前記平均化（３０８）のステップで前記測定点（２２２）および前記検出点（２３０）が重みづけされて平均化されることを特徴とする、請求項３に記載の方法（３００）。
  5. 前記平均化（３０８）のステップで、前記測定点（２２２）が前記検出点（２３０）に依存して重みづけされ、特に、前記第１の特性量（２４０）を決定するために、前記測定点（２２２）が前記検出点（２３０）の１つの値に依存して重みづけされることを特徴とする、請求項４に記載の方法（３００）。
  6. 前記第２の開眼データセット（２２８）が前記第１のデータクラスタ（２３６）に割り当てられていないとき、前記第２の開眼データセット（２２８）が破棄されるステップを有することを特徴とする、先行請求項１〜５のうちいずれか１項に記載の方法（３００）。
  7. 前記実行（３０６）のステップで、前記開眼データ（２０８）を分類するために、前記第１の開眼データセット（２２０）が前記第１のデータクラスタ（２３６）に割り当てられ、前記第２の開眼データセット（２２８）が第２のデータクラスタ（２３８）に割り当てられ、前記第２のデータクラスタ（２３８）は前記搭乗者（１０４）の前記目（２０２，２４２）の別の開放状態を表すことを特徴とする、先行請求項１〜６のうちいずれか１項に記載の方法（３００）。
  8. 前記実行（３０６）のステップで、開放状態は前記搭乗者（１０４）の開いた眼（２０２，２４２）を表し、別の開放状態は前記搭乗者（１０４）の閉じた目（２０２，２４２）を表すことを特徴とする、請求項７に記載の方法（３００）。
  9. スライドするタイムスロットの中の第３の測定時点で第３の開眼データセットが読み込まれるステップを有し、前記第３の開眼データセットは第３の測定時点での前記搭乗者（１０４）の前記目（２０２，２４２）の第３の目開度および／または第３の目蓋運動速度および／または第３の目蓋運動加速度を表す少なくとも１つの判定点を有し、少なくとも前記第３の開眼データセットを第３のデータクラスタ（４０６）に割り当てて前記開眼データ（２０８）を分類するために、前記実行（３０６）のステップで前記第３の開眼データセットの少なくとも１つの判定点を利用したうえでクラスタ分析が実行され、前記第３のデータクラスタ（４０６）は前記搭乗者（１０４）の前記目（２０２，２４２）の移行状態を表すことを特徴とする、先行請求項１〜８のうちいずれか１項に記載の方法（３００）。
  10. 移行状態は前記搭乗者（１０４）の前記目（２０２，２４２）の開放段階または前記搭乗者（１０４）の前記目（２０２，２４２）の閉止段階を表すことを特徴とする、請求項９に記載の方法（３００）。
  11. 車両（１００）の搭乗者（１０４）の眠気および／またはマイクロスリープを検出する方法（８００）において、前記方法（８００）は次の各ステップを有し、すなわち、
    先行請求項のうちいずれか１項に記載の方法（３００）に基づいて分類された開眼データ（２０８）を利用したうえで眠気および／またはマイクロスリープが判定（８０２）される方法。
  12. 先行請求項のうちいずれか１項に記載の方法（３００；８００）の各ステップを相応のユニットで実施するためにセットアップされている装置（１０２；２００）。
  13. 先行請求項のうちいずれか１項に記載の方法（３００；８００）を実施するためにセットアップされているコンピュータプログラム。
  14. 請求項１３に記載のコンピュータプログラムが記憶されている機械読取り可能な記憶媒体。
JP2018530725A 2015-12-14 2016-11-10 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 Active JP6731481B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015225109.8A DE102015225109A1 (de) 2015-12-14 2015-12-14 Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
DE102015225109.8 2015-12-14
PCT/EP2016/077248 WO2017102186A1 (de) 2015-12-14 2016-11-10 Verfahren und vorrichtung zum klassieren von augenöffnungsdaten zumindest eines auges eines insassen eines fahrzeugs und verfahren und vorrichtung zum erfassen einer schläfrigkeit und/oder eines sekundenschlafes eines insassen eines fahrzeugs

Publications (2)

Publication Number Publication Date
JP2018537787A true JP2018537787A (ja) 2018-12-20
JP6731481B2 JP6731481B2 (ja) 2020-07-29

Family

ID=57286488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530725A Active JP6731481B2 (ja) 2015-12-14 2016-11-10 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置

Country Status (6)

Country Link
US (1) US10891503B2 (ja)
EP (1) EP3391349A1 (ja)
JP (1) JP6731481B2 (ja)
CN (1) CN108369768B (ja)
DE (1) DE102015225109A1 (ja)
WO (1) WO2017102186A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023105970A1 (ja) * 2021-12-10 2023-06-15 パナソニックＩｐマネジメント株式会社 推定装置、推定方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023596A (ko) * 2019-08-23 2021-03-04 현대자동차주식회사 차량의 주행 제어 장치, 방법 및 시스템
DE102021101208A1 (de) 2021-01-21 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem sowie Kraftfahrzeug mit einem Fahrerassistenzsystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
JP2009540459A (ja) * 2006-06-11 2009-11-19 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143819B2 (ja) * 1994-05-20 2001-03-07 株式会社豊田中央研究所 まぶたの開度検出装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
AU2003280136A1 (en) * 2002-06-28 2004-01-19 Alza Corporation A reservoir for use in an electrotransport drug delivery device
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
EP1748387B1 (en) * 2004-05-21 2018-12-05 Asahi Kasei Kabushiki Kaisha Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium
JP2006209582A (ja) * 2005-01-31 2006-08-10 Konica Minolta Holdings Inc 開眼度推定装置および開眼度推定方法
JP2008531142A (ja) 2005-03-04 2008-08-14 スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド 覚醒の測定
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
JP4259585B2 (ja) 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置，プログラムおよび眠気判定方法
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
CN102316805B (zh) * 2009-02-13 2014-01-29 丰田自动车株式会社 生理状态推测装置和车辆控制装置
JP5262819B2 (ja) 2009-02-20 2013-08-14 日産自動車株式会社 覚醒度推定装置
CN101872171B (zh) * 2009-04-24 2012-06-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN101593425B (zh) * 2009-05-06 2011-01-12 深圳市汉华安道科技有限责任公司 一种基于机器视觉的疲劳驾驶监控方法及系统
JP5444898B2 (ja) * 2009-07-09 2014-03-19 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
DE112011105439B4 (de) * 2011-07-11 2021-06-17 Toyota Jidosha Kabushiki Kaisha Rote-Augen-Erfassungsvorrichtung
JP2013257691A (ja) 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
US9220454B2 (en) 2012-08-20 2015-12-29 Autoliv Development Ab Device and method for detecting drowsiness using eyelid movement
CN104424752B (zh) * 2013-08-20 2018-10-19 径卫视觉科技（上海）有限公司 车辆疲劳驾驶预警方法及系统
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
DE102014207807A1 (de) * 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Personenbezogene Fahrerunterstützung
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009540459A (ja) * 2006-06-11 2009-11-19 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023105970A1 (ja) * 2021-12-10 2023-06-15 パナソニックＩｐマネジメント株式会社 推定装置、推定方法及びプログラム

Also Published As

Publication number Publication date
US10891503B2 (en) 2021-01-12
JP6731481B2 (ja) 2020-07-29
EP3391349A1 (de) 2018-10-24
WO2017102186A1 (de) 2017-06-22
US20200265251A1 (en) 2020-08-20
CN108369768B (zh) 2021-04-20
DE102015225109A1 (de) 2017-06-14
CN108369768A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
US10235768B2 (en) Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
Ahlstrom et al. Processing of eye/head-tracking data in large-scale naturalistic driving data sets
CN107697069A (zh) 汽车驾驶员疲劳驾驶智能控制方法
KR20200063193A (ko) 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
US20160159217A1 (en) System and method for determining drowsy state of driver
CN107405121B (zh) 用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法和装置
CN104269028A (zh) 一种疲劳驾驶检测方法及系统
Costa et al. Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system
JP6731481B2 (ja) 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置
EP3786919A1 (en) Method and system for determining awareness data
CN106257549B (zh) 用于提供眼睛睁开距离用的参考水平的方法和装置
Jeong et al. Detection of lateral hazardous driving events using in-vehicle gyro sensor data
GB2595895A (en) Method for detecting safety relevant driving distraction
KR102401607B1 (ko) 운전자의 운행 집중도 레벨 분석방법
WO2023108364A1 (zh) 驾驶员状态检测方法、装置及存储介质
Kashevnik et al. Dangerous situations determination by smartphone in vehicle cabin: Classification and algorithms
Qureshi et al. An Effective IOT based Driver's Drowsiness Detection and Monitoring System to Avoid Real-Time Road Accidents
Xie et al. Revolutionizing Road Safety: YOLOv8-Powered Driver Fatigue Detection
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
JP6563526B2 (ja) 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置
Jyothi et al. Drowsiness Detection of Driver
Draz et al. An Embedded Solution of Gaze Estimation for Driver Assistance using Computer Vision
Ito et al. A Study of Safety Driving Support System focusing on Driver's Head Posture Categorization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R150 Certificate of patent or registration of utility model

Ref document number: 6731481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250