JP2020515309A - 方法および車両内で方法を実行するための装置 - Google Patents

方法および車両内で方法を実行するための装置 Download PDF

Info

Publication number
JP2020515309A
JP2020515309A JP2019547786A JP2019547786A JP2020515309A JP 2020515309 A JP2020515309 A JP 2020515309A JP 2019547786 A JP2019547786 A JP 2019547786A JP 2019547786 A JP2019547786 A JP 2019547786A JP 2020515309 A JP2020515309 A JP 2020515309A
Authority
JP
Japan
Prior art keywords
driver
vehicle
monitoring device
detected
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019547786A
Other languages
English (en)
Other versions
JP7045387B2 (ja
Inventor
ゲルハルト ツィンザー
ゲルハルト ツィンザー
ティルマン オットー
ティルマン オットー
Original Assignee
ハイデルベルク エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング
ハイデルベルク エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハイデルベルク エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング, ハイデルベルク エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical ハイデルベルク エンジニアリング ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2020515309A publication Critical patent/JP2020515309A/ja
Application granted granted Critical
Publication of JP7045387B2 publication Critical patent/JP7045387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • A61B3/0325Devices for presenting test symbols or characters, e.g. test chart projectors provided with red and green targets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両(2)の運転者(4)を認識および/もしくは表示するための、ならびに/または車両(2)の運転者(4)の視覚認知能力の制限を認識および/もしくは表示するための、ならびに/または運転者(4)によって車両(2)を操作するための方法であって、以下の方法、すなわち、− 監視装置(3)によって、運転者(4)の少なくとも1つの目の少なくとも一部、および/または顔の少なくとも一部を検出するステップと、− 監視装置(3)によって検出されたデータを評価するステップと、− 検出されたデータに基づいて、運転者(4)を識別し、ならびに/または運転者(4)の視覚認知能力および/もしくは目を検査し、ならびに/または車両2の機器を操作するステップとを含む方法が、運転者の視覚認知能力の制限および/または変化の監視、認識、および表示、運転者の識別、ならびに車両操作の簡素化という課題を解決する。

Description

本発明は、請求項1に記載の方法、およびこの方法を実行するための車両内の装置に関する。
独国特許出願公開第102004035896号明細書からは、車両の装置を用いて、車両の運転者の目が開いているかを検査することが知られている。
独国特許出願公開第102013003047号明細書には、まばたきのパターン、特に二度のまばたきを確認することができる車両の装置が示されている。二度のまばたきによって、運転者は例えばラジオ放送局を選択できる。
欧州特許出願公開第2564766号明細書には、運転者の動き、および運転者周辺の物体を検出し、運転者の視線方向を推測する方法が開示されている。
独国特許出願公開第102012221647号明細書には、異なる大きさの数字が表示される、車両の運転者の視力試験方法が示されている。また、色覚を試験することも公知である。
人間の目は、その屈折力を特定の状況に適合させることができる。けれども、人間の目のこの適応性が、画像を網膜上で鮮明に結像するのに充分でない場合、その画像はぼやけて知覚される。特に、細かい細部は最適に解像できなくなる。
目の屈折力は、実質的に、角膜外面の曲率と、適応レンズの曲率とによって与えられる。これらの身体部分の幾何学的形状は、光学的な観点では、ほとんどの場合決して最適には形成されていない。これらの身体部分の光学的特性は、特に中心光軸から半径方向外側に向かって常に悪くなる。
例えば夕暮れ時または夜間には、大きく開いた瞳孔の結像特性が大幅に損なわれている可能性があり、ひいては視覚明瞭度(視力)の低下を招き得る。
網膜上への光学的な結像が最適に行われない場合、人間は本能的に目を細める。これにより、瞳孔の有効サイズが減少され、ひいては光学的結像の鮮明度が向上する。ここでは、特に暗さのために瞳孔が大きく開いている場合に、ピンホールカメラの原理が適用される。
しかし、人間が車両を運転している場合、人間の視覚認知の制限または変化が危険な状況に至る可能性がある。したがって、車両を運転し、これを操作するのに適した運転者を識別する必要もある。
したがって、本発明は、運転者の視覚認知能力の制限および/または変化を監視し、認識し、および表示すること、運転者を識別すること、ならびに車両の操作を簡素化することを課題としている。
本発明は、前述の課題を特許請求項1の特徴によって解決する。
本発明によれば、運転者の運動特性、または目の構造に関する適切な情報を得るために、監視装置が、運転者の少なくとも片方の目の少なくとも一部、および/または運転者の顔面の少なくとも一部を検出しなければならないことが認められた。そして、運転者を識別するために、および/または、場合によって、運転者の視覚認知力および/または目を検査するために、監視装置が検出したデータを評価しなければならないことが認められた。さらに、車両機器の操作、またはこれらの機器との通信が、検出されたデータに基づいて可能であることが認められた。
運転者の識別後、具体的な車両に関する特定のプロセス、またはフローを有効にすることができる。例えば、運転者の安全性の高い生体識別が考えられる。
人体の様々な領域が、人の生体識別の実行に適している。通常は、この目的のために指紋が使用されるが、人間の虹彩、特に、唯一無二の構造を有する網膜も、識別に非常に良く適している。
指紋は、日常環境の至るところに残され、ひいては安全上重要な情報を不利な方法で漏らしてしまう。さらに、イメージング生体監視装置、例えばカメラには、生体対象物の画像を生体対象物のコピーの画像から区別することは、純粋に理論的には不可能である。
ここで、網膜は唯一の生体構造として、網膜構造の認識中に、生体監視装置と通信する可能性を提供する。情報交換は、網膜へのパターンの投影と、意識的な目の運動とを介して行うことができる。例えば、移動ターゲット、またはコード入力用のPINパッドが使用できる。この通信は、盗聴を防止しながら目と生体監視装置との間で行うことができる。この通信は、最大限に突破に対する耐性がある(ueberwindungssicher)。この背景に対して、米国特許第8184867号明細書が参照される。
運転者の識別後、車両の始動を行うことができる。安全な識別は、金銭的取引、およびその他の取引、または契約を、運転者の署名なしに法的に安全にすることも可能である。したがって、PINおよびTANの入力、またはSMS認証は必要なくなる。運転者の目、または目の構造のデータメモリへの最初の記憶は、車両の販売店において身分証明書を用いて行うことができる。
車両機器の制御、または車両機器との通信は、運転者の視線方向によって行うことができる。車両の監視装置が運転者の視線方向を認識できる状態にあると、運転者は、スクリーン、またはヘッドアップディスプレイの領域に照準を合わせることによって、かつ、一度、または二度のまばたきによって、特定の機能を起動できるか、またはこれらの領域における追加情報の投影を起動できる。音声コマンドに加えて、視覚的に監視された動きが検出されて利用されるため、これはマルチメディアコンポーネント、およびナビゲーションコンポーネントの、より速くより効率的な操作を可能にする。
監視装置は、車両の静止時、および/または走行中に、目および/または顔の一部の動きを検出するカメラを含むことができる。カメラを用いて、走行中に運転者の目を観察できる。この時、運転者がより長時間目を細めているか、および/または交通標識を異常に長く見ているかを検知できる。これらの検出データは、運転者が交通標識を読むのが困難であると思われる兆候として評価される。特に、監視装置のそのような検出データが蓄積する際、この監視装置、または車両の装置は、車両内での視覚明瞭度の試験を提供できる。
このような背景に対して、異なる大きさの記号、好ましくは数字および/または文字を、ヘッドアップディスプレイ、または車両のスクリーンに表示することによって、視覚認知能力の検査を行うことができる。この時、音声信号を検出でき、運転者によって認識されるべき各記号がマークされ、そして、その記号と対応する音声信号が検出されると、マークは別の記号に移動する。具体的には、運転者の音声を音声信号として検出でき、運転者によって認識されるべき各記号がマークされ、そして、運転者がその認識されるべき記号を認識し、運転者の音声で識別した場合、マークは別の記号に移動する。これにより、運転者の視力をほとんど付随的に、すなわち車両の利用中に試験することが可能である。視力試験を実行するために、運転者のほかに別の人は必要ない。好ましくは、車載ヘッドアップディスプレイを介して視力検査画像が表示される。
ヘッドアップディスプレイ、または車両のスクリーンに、第1の記号、好ましくは数字および/または文字を、赤緑のコントラスト画像で表示することによって、視覚認知能力の検査を行うことができる。この時、音声信号を検出でき、かつ、第1の記号に対応する音声信号が検出されると、別の記号および/または別のコントラスト画像を表示できる。ここで、具体的には、運転者が認識されるべき第1の記号を認識して、運転者の音声で識別した場合、運転者の音声を音声信号として検出でき、別の記号および/または別のコントラスト画像を表示できる。これにより、運転者の色覚異常を、ほとんど付随的に、すなわち車両の利用中に試験することが可能である。色覚異常の試験を実行するために、運転者のほかに別の人は必要ない。
好ましくは、車載ヘッドアップディスプレイを介してコントラスト画像が表示される。個々のコントラスト画像の色のコントラストを異なる強さにすることで、赤/緑の色覚異常の程度が算出できる。
視覚認知能力の検査は、運転者の視野、および/または中心視野を検査することによって行うことができる。こうして目の疾患を認識できる。
視覚認知能力の検査は、ヘッドアップディスプレイまたは車両のスクリーンにおいて、その中心に点を有するラスターグリッドを表示することによって行うことができる。これにより、中心視野の試験が可能である。いわゆるアムスラーグリッドとして構成されたラスターグリッドは、例えば、加齢による黄斑変性症、または網膜中心の他の滲出性もしくは変性の過程における中心視野の欠損を調べるための自己試験を可能にする。
試験は、好ましくは、検査中に固定される必要がある点を中心に有する、大きな正方形のラスターグリッドを利用する。それぞれもう片方の目は通常、平らな手で完全に覆われる。相当する所見があれば、被検者は、ラスターグリッドのラスターにある外見上の穴、またはラスターグリッドのパターンの暗い箇所に気付くことができる。場合によって、ラスター線の波、または歪みも被検者によって認知される。そのような認知は、常に眼科医による即時の管理に至るのが望ましい。
運転者の視野を検査することによって、視覚認知能力の検査を行うことができる。これにより、緑内障疾患を認識できる。特に、グリーンスターとも呼ばれるいわゆる緑内障疾患においては、いわゆる視野が欠損する可能性がある。これらの欠損は、この疾患の典型的な兆候の1つである。
緑内障疾患が気付かれないままであるか、または医学的に充分に治療されない場合、該当者は自分の視力を完全に失い、失明することさえもあり得る。緑内障は、世界的に失明の2番目に最も多い原因である。ドイツでは、約100万人が該当し、潜在的な症例数も同じ規模で推定される。ここで説明した方法を用いて、走行中に、運転者が危惧される人物であるかを検査できる。
このような背景に対して、規定の期間にわたって、走行中の運転者の視線方向を検出できる。こうして、視野欠損の付随的な測定が可能とされている。監視装置、または車両の装置は、運転者の視線方向を検出できる。これは、1つまたは複数のカメラを介して行うことができる。この時、頭部の位置合わせ、ならびに頭部に対する瞳孔および/または虹彩の相対的な位置は、画像処理装置を用いて検出する必要がある。高精度の測定を達成するために、場合によっては一回、各運転者に対して較正プロセスを行う必要がある。
監視装置、または装置は、好ましくは、走行中の運転者の視線方向を持続的に観察する。興味を引く物体が、運転者の現在の視線方向とは離れて認知されるとすぐに、これをより正確に解像し、視認できるように、運転者の注視、および/または視線方向がこの物体に向けられる。目の解像度は、すなわち、視野の中心部ではさらに外側の周辺部に比べて著しく高い。
運転者の視線挙動を常に観察することで、視野マップを生成できる。数時間、数日間、数週間にわたって、たとえば非常に密集したマップが生成され、マップでは、視野欠損(暗点)、つまり局所的に制限された視覚的限界、または盲目を認識できる。刺激の明るさ、すなわち車両環境に応じて、複数の視野マップを作成することもできる。このようにして、制限の程度でさえも定量化できる。視野欠損の疑いがある場合、監視装置、または車両の装置によって、眼科医の診断が推奨される。
視覚認知能力の検査は、運転者に変化するパターンを表示し、監視装置が運転者の瞳孔径の変化を検出することによって行うことができる。これにより、瞳孔測定による中心視野測定が可能である。
運転者は、ヘッドアップディスプレイ、または車両のスクリーンに表示される可変パターンを、数分間見ることができる。同時に、両目の瞳孔径をカメラで測定できる。刺激パターンとして機能するパターンに反応した瞳孔径の時間的変化の大きさから、視野について逆推論できる。
この方法を実行できるために、充分に暗く、均質的な背景が必要である。そのような背景は、夜間または夜間走行中に与えられている。瞳孔径は高精度で測定されなければならない。
視覚認知能力の検査は、監視装置から網膜画像を検出することによって行うことができる。そうして、網膜画像、すなわち眼底像を生成できる。網膜の多くの疾患が、赤外線照明を備えたレーザー走査システムで記録できる眼底画像において示される。
この背景に対して、監視装置は、レンズフードの領域内に、またはレンズフードの後ろに網膜スキャナを含むことができる。したがって、レンズフードはスペーサ、または保持装置として利用できる。微小電気機械システムの走査ミラー(MEMS)を用いると、2D走査システムを非常にコンパクトに構成できる。しかしながら、眼底の充分に大きな領域を記録できるようにするためには、一方では頭部を比較的安定して保持し、他方では、走査ヘッドのレンズを用いて、頭部を目の比較的近くに近づける必要がある。距離は約1〜2cmであるのが望ましい。
頭部を保持するために、斜めに折り畳まれたレンズフードを、前頭装置として使用できる。これに加え、レンズフード内における前頭部の位置決めのため、小さい窪み、および/または広がりを設けることができる。運転者は、電動シートを介してヘッドレストに近づくことができる。その後、走査ヘッドを交互に電動化し、両目の前で位置決めし、かつ、それぞれ網膜の画像を撮影できる。または、2つのスキャナ、または網膜スキャナを使用して、両目の画像を同時に撮影できる。
撮影された画像は、画像解析装置を用いて、監視装置、もしくは車両の装置によって評価されるか、またはサーバに遠隔測定によって伝送され、そこで自動的に、もしくは専門家によって評価されることができる。
検査の最後に、運転者の視覚認知能力の判定を行うことができる、および/または医師を受診することの推奨を表示できる。これにより、運転者は車両での走行直後に、または走行中に、自分自身および他人のための健康に関する潜在危険性を指摘される可能性がある。
本明細書に記載された種類の方法を実行するための車両の装置は、監視装置を含むことができる。装置は、ヘッドアップディスプレイ、および/またはその他の装置をさらに含むことができる。装置は、様々な協働する装置の配置として構成されていてもよい。
本明細書に記載の方法が実行可能である監視装置を備えた装置を含む、車両、すなわち乗用車またはトラックの概略図である。 視覚明瞭度の試験を実行するために、車両内のヘッドアップディスプレイによって表示される、異なる大きさの数字の視覚的表現である。 色覚異常の試験の実行を可能にする図であり、左側の図では赤/緑色盲を、右側の図では赤/緑の視覚異常を診断できる。 中心視野の検査を可能にする図であり、左側に試験パターンが示され、右側に病理学的認知例が示されている。 視野マップとともに、視野欠損の付随的な測定の概略図である。 左側が正常な眼底画像、右側が病的変化を示す網膜画像である。
図1は、以下に記載した種類の方法を実行するための、車両2、すなわち自動車の装置1を示している。装置1は、監視装置3と、ヘッドアップディスプレイ5とを含む。自動車は、乗用車またはトラックである。
この方法は、車両2の運転者4の認識および/または表示のために機能する。この方法は、車両2の運転者4の視覚認知能力の制限の認識および/または表示のためにも機能する。最後に、この方法は、運転者4によって車両2を操作するために機能する。この方法は、以下のステップを含む。
− 監視装置3によって、運転者4の少なくとも1つの目の少なくとも一部、および/または顔の少なくとも一部を検出すること、
− 監視装置3によって検出されたデータを評価すること、
− 検出されたデータに基づいて、運転者4を識別し、ならびに/または運転者4の視覚認知能力および/もしくは目を検査し、ならびに/または車両2の機器を操作すること。
監視装置3は、車両2の静止中、および走行中に、運転者4の目の動きおよび/または顔の一部の動きを検出するカメラを含む。
図2〜図6は、車両2の運転者4の視覚認知能力の制限の認識および/または表示方法を概略的に示している。
そのような方法は、以下のステップを含む。監視装置3によって、運転者4の少なくとも1つの目の少なくとも一部、および/または顔の少なくとも一部を検出すること、監視装置3によって検出されたデータを評価すること、ならびに、検出されたデータに基づいて、運転者4の視覚認知能力および/または目を検査すること。
図2は、異なる大きさの記号、すなわち数字を車両2のヘッドアップディスプレイ5に表示することにより、視覚認知能力の検査が実行されることを示している。
音声信号が検出され、運転者4に認識されるべき各記号がフレームによってマークされ、その記号に対応する音声信号が検出されると、マークまたはフレームは別の記号に移動する。
運転者4の音声は音声信号として検出され、運転者4によって認識されるべき各記号はフレームによってマークされ、運転者4が、認識されるべき記号を認識して、運転者4の音声によって識別した場合、マークは別の記号に移動する。
図3は、赤緑のコントラスト画像6において車両2のヘッドアップディスプレイ5に数字を表示することによって、視覚認知能力の検査が行われることを示している。
この時、音声信号が検出され、第1の数字に対応する音声信号が検出されると、別の数字と、別のコントラスト画像7とが表示される。
その際、運転者4の音声は音声信号として検出され、運転者4が第1のコントラスト画像6内の認識すべき数字を認識して、運転者4の音声で識別した場合、別のコントラスト画像7が表示される。
図4は、車両2のヘッドアップディスプレイ5において、中心に点9を有するラスターグリッド8を表示することによって、視覚認知能力の検査が行われることを示している。いわゆるアムスラーグリッドが示されている。
試験中、大きい正方形のラスターグリッド8の中心の点9は、片目で固定される。それぞれもう片方の目は、平らな手で完全に覆われる。
相当する所見があれば、被検者は、ラスターにある外見上の穴、またはグリッドパターンの暗い箇所に気付くことができ、場合によって、ラスター線の波、または歪みにも気付くことができる。これは、歪んだラスターグリッド10にグラフィック表示されている。
図5は、運転者4の視野を検査することにより、視覚認知能力の検査が行われることを示している。
運転者4の視線方向は、規定の期間にわたって走行中に検出される。
装置1および/または監視装置3は、運転者4の視線方向を検出する。これは、1つまたは複数のカメラを介して行うことができる。ここで、頭部の位置合わせ、ならびに頭部に対する瞳孔および/または虹彩の相対的な位置は、画像処理装置を用いて決定される。高精度の測定を達成するために、一回運転者4に対して較正プロセスが行われる。
監視装置3は、走行中に運転者4の視線方向を持続的に観察する。興味を引く物体が、運転者の現在の視線方向とは離れて認知されると、これをより正確に解像し、視認できるように、運転者4の注視、および/または視線方向がこの物体に向けられる。目の解像度は、視野の中心部ではさらに外側の周辺部に比べて著しく高い。
図5の上の画像では、現在の視線方向が第1の点11に向けられていること、すなわち、視野の中心がそこにあることが示されている。視線方向が第2の点12に移動すると、装置1または監視装置3は、周辺視野内のこの箇所で、第1の点1に対して相対的に、視線変更が動機づけられていること、つまり、そこで視覚機能が損なわれていないことを検出する。
第1の点11に対する第2の点12の相対位置は、運転者固有の視野マップ13に入力される。数時間、数日間、数週間にわたって、たとえば非常に密集したマップが生成され、マップでは、視野欠損14(暗点)、つまり局所的に制限された視覚的限界、または盲目を認識できる。
刺激の明るさ、すなわち車両環境に応じて、複数のマップを作成することもできる。このようにして、制限の程度でさえも定量化できる。視野欠損の疑いがある場合、車両2の装置1によって眼科医の診断が推奨される。
図示されていないのは、運転者4に変化パターンが示され、監視装置3が運転者4の瞳孔径の変化を検出することによって、視覚認知能力の検査を行っていることである。
運転者4は、ヘッドアップディスプレイ5に表示される変化パターンを数分間見る。同時に、両目の瞳孔径をカメラで測定する。刺激パターンとして機能するパターンに反応した瞳孔径の時間的変化の大きさから、視野について逆推論できる。
この方法を機能させるために、充分に暗く、均質的な背景が必要である。瞳孔径は高精度で測定される。
運転者4によって車両2を操作するための方法は図示されていない。この方法は、以下のステップを含む。すなわち、監視装置3によって、運転者4の少なくとも1つの目の少なくとも一部、および/または顔の少なくとも一部を検出すること、監視装置3によって検出されたデータを評価すること、ならびに、検出されたデータに基づいて、車両2の機器を操作すること。
図示されていないのは、操作、すなわち、特に車両機器の制御および/またはこれらとの通信が、視線方向によって、または視線方向に基づいて行われることである。機器の制御は、データ、すなわち視線方向または運転者4のまばたきが検出された後に、装置1によって行われる。
装置1、および/または監視装置3は、運転者4の視線方向を認識できる。したがって、運転者4は、スクリーン、もしくはヘッドアップディスプレイの領域に照準を合わせることによって、および/または、一度、もしくは二度のまばたきによって、特定の機能を起動でき、またはこれらの領域における追加情報を投影できる。
図6は、監視装置3により網膜画像を検出することにより、視覚認知能力の検査を行うことを示している。具体的には、3つの網膜画像が示されている。
監視装置3は、レンズフードの領域内、またはレンズフードの後ろに網膜スキャナを含む。
ここでは、微小電気機械システムの走査ミラー(MEMS)が使用される。眼底の充分に大きな領域を記録できるようにするためには、頭部を安定して保持し、走査ヘッドのレンズを用いて、目の比較的近くに近づける。距離は約1〜2cmが選択される。
頭部を保持するために、斜めに折り畳まれたレンズフードが、前頭装置として使用される。ここに、前頭部の位置決めのための窪みと、広がりとが設けられている。
運転者4は、電動シートを介してヘッドレストに近づく。その後、走査ヘッドが交互に電動化され、両目の前で位置決めされ、かつ、それぞれ網膜の画像が撮影される。
撮影された画像は、画像解析装置を介して装置1自体によって評価されるか、またはサーバに遠隔測定によって伝送され、そこで自動的に、もしくは専門家によって評価される。
本明細書に記載された各検査の最後に、運転者4の視覚認知能力の判定が行われ、および/または医師を受診することの推奨が表示される。
判定、および/または推奨は、音声信号として、電子音声の形態で、またはヘッドアップディスプレイ5、もしくはスクリーンに表示できる。
車両2の運転者4の認識および/または表示方法は図示されていない。この方法は、以下のステップを含む。すなわち、監視装置3によって、運転者4の少なくとも1つの目の少なくとも一部および/または顔の少なくとも一部を検出すること、監視装置3によって検出されたデータを評価すること、ならびに、検出されたデータに基づいて、運転者4を識別すること。
この方法は、車両2の運転者4を認識するために使用される。運転者の安全性の高い生体識別が可能である。人間の虹彩と、唯一無二の構造を有する網膜とは、識別に非常に良く適している。
網膜は生体構造として、網膜構造の認識中に、装置1および/または監視装置3と通信する可能性を提供する。情報交換は、網膜、すなわち移動するターゲットへのパターンの投影と、意識的な目の運動とを介して行われる。この通信は、盗聴を防止しながら、目と、装置1および/または監視装置3との間で行われる。運転者4の識別は、車両2を始動させるために使用される。
ヘッドアップディスプレイ5は、情報が自分の視野に投影されるため、情報が光学的に伝達される場合に、運転者4が自分の頭部の姿勢、または視線方向を保つことを可能にする表示装置である。
1 装置
2 車両
3 監視装置
4 運転者
5 ヘッドアップディスプレイ
6 第1のコントラスト画像
7 別のコントラスト画像
8 ラスターグリッド
9 8にある点
10 歪んだラスターグリッド
11 第1の点
12 第2の点
13 視野マップ
14 視野欠損

Claims (12)

  1. 車両(2)の運転者(4)を認識および/もしくは表示するための、ならびに/または車両(2)の運転者(4)の視覚認知能力の制限を認識および/もしくは表示するための、ならびに/または運転者(4)によって車両(2)を操作するための方法であって、以下のステップ、すなわち、
    − 監視装置(3)によって、前記運転者(4)の少なくとも1つの目の少なくとも一部、および/または顔の少なくとも一部を検出するステップと、
    − 前記監視装置(3)によって検出されたデータを評価するステップと、
    − 前記検出されたデータに基づいて、前記運転者(4)を識別し、ならびに/または前記運転者(4)の視覚認知能力および/もしくは目を検査し、ならびに/または前記車両(2)の機器を操作するステップと
    を含む方法。
  2. 前記監視装置(3)は、前記車両(2)の静止時、および/または走行中に、前記運転者(4)の目および/または顔の一部の動きを検出するカメラを含むことを特徴とする、
    請求項1に記載の方法。
  3. 異なる大きさの記号、好ましくは数字および/または文字が、ヘッドアップディスプレイ(5)、または前記車両(2)のスクリーンに表示されることによって、前記視覚認知能力の前記検査が行われ、この際、音声信号が検出され、前記運転者(4)によって認識されるべき各記号がマークされ、前記記号と対応する音声信号が検出されると、前記マークは別の記号に移動することを特徴とする、
    請求項1または2に記載の方法。
  4. ヘッドアップディスプレイ(5)、または前記車両(2)のスクリーンに、第1の記号、好ましくは数字および/または文字が、赤緑のコントラスト画像(6)で表示されることによって、前記視覚認知能力の前記検査が行われ、この際、音声信号が検出され、前記第1の記号に対応する音声信号が検出されると、別の記号および/または別のコントラスト画像(7)が表示されることを特徴とする、
    請求項1から3までのいずれか1項に記載の方法。
  5. 前記運転者(4)の視野、および/または中心視野が検査されることによって、前記視覚認知能力の前記検査が行われることを特徴とする、
    請求項1から4までのいずれか1項に記載の方法。
  6. ヘッドアップディスプレイ(5)または前記車両(2)のスクリーンにおいて、その中心に点(9)を有するラスターグリッド(8)が表示されることによって、前記視覚認知能力の前記検査が行われることを特徴とする、
    請求項1から5までのいずれか1項に記載の方法。
  7. 規定の期間にわたって、走行中の前記運転者(4)の視線方向が検出されることを特徴とする、
    請求項1から6までのいずれか1項に記載の方法。
  8. 前記運転者(4)に変化パターンが示され、前記監視装置(3)が前記運転者(4)の瞳孔径の変化を検出することによって、前記視覚認知能力の前記検査が行われることを特徴とする、
    請求項1から7までのいずれか1項に記載の方法。
  9. 前記監視装置(3)から網膜画像が検出されることによって、前記視覚認知能力の前記検査が行われることを特徴とする、請求項1から8までのいずれか1項に記載の方法。
  10. 前記監視装置(3)は、レンズフードの領域内に、またはレンズフードの後ろに1つまたは2つの網膜スキャナを含むことを特徴とする、請求項9に記載の方法。
  11. 前記検査の最後に、前記運転者(4)の前記視覚認知能力の判定が行われ、および/または医師を受診することの推奨が表示されることを特徴とする、請求項1から10までのいずれか1項に記載の方法。
  12. 監視装置(3)を含む、請求項1から11までのいずれか1項に記載の方法を実行するための車両(2)の装置(1)。
JP2019547786A 2017-01-05 2017-11-30 車両の運転者の視覚認知能力の制限を認識するための方法、及び、装置 Active JP7045387B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017100172 2017-01-05
DE102017100172.7 2017-01-05
PCT/EP2017/080974 WO2018127330A1 (de) 2017-01-05 2017-11-30 Verfahren und vorrichtung zur durchführung des verfahrens in einem fahrzeug

Publications (2)

Publication Number Publication Date
JP2020515309A true JP2020515309A (ja) 2020-05-28
JP7045387B2 JP7045387B2 (ja) 2022-04-01

Family

ID=60484395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019547786A Active JP7045387B2 (ja) 2017-01-05 2017-11-30 車両の運転者の視覚認知能力の制限を認識するための方法、及び、装置

Country Status (5)

Country Link
US (1) US11931103B2 (ja)
EP (1) EP3566090A1 (ja)
JP (1) JP7045387B2 (ja)
DE (1) DE102017129067A1 (ja)
WO (1) WO2018127330A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
DE102019219944A1 (de) * 2019-12-18 2021-06-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Durchführung eines Astigmatismus-Sehtests in einem Fahrzeug
DE102021114028A1 (de) 2021-05-31 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Messen individueller Seh- und Reaktionsfähigkeiten des Fahrers und zum entsprechenden Anpassen integrierter Fahrzeugeinrichtungen
US20230080085A1 (en) * 2021-09-10 2023-03-16 Aptiv Technologies Limited Driver vision assistance systems and methods
CN114005261B (zh) * 2021-10-16 2023-04-18 温州医科大学附属眼视光医院 一种基于智能感应的红绿灯提醒仪

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62109539A (ja) * 1985-11-08 1987-05-20 スタンレー電気株式会社 視力判別装置
JPH10510187A (ja) * 1994-12-09 1998-10-06 ジョスリン ダイアビーティーズ センター インコーポレイテッド 網膜検査及び治療のための電子造影装置
JPH11316884A (ja) * 1998-01-28 1999-11-16 Daimler Benz Ag 覚醒状態を求める装置
JP2005095572A (ja) * 2003-08-21 2005-04-14 Nissan Motor Co Ltd 有効視野計測装置
JP2008212359A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 視線検出装置
EP1997667A1 (de) * 2007-05-31 2008-12-03 Volkswagen AG Informationsvermittlungsvorrichtung und Verfahren zur Vermittlung von Informationen
JP2009169486A (ja) * 2008-01-11 2009-07-30 Seiko Epson Corp 運転情報記録システム及び運転情報記録方法
JP2016038843A (ja) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 視線状態判定装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422690A (en) * 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester
US6386706B1 (en) 1996-07-31 2002-05-14 Virtual-Eye.Com Visual function testing with virtual retinal display
DE102004035896A1 (de) 2004-07-23 2006-03-16 Robert Bosch Gmbh Vorrichtung zur Erfassung von Informationen über ein Messobjekt in einem Fahrzeug
WO2007017207A1 (de) 2005-08-05 2007-02-15 Heidelberg Engineering Gmbh Verfahren xmd system zur lebenderkennung bei retinaerkennung
US7993003B2 (en) * 2009-01-23 2011-08-09 Eye Care And Cure Pte. Ltd Computerized method for colorblindness testing
US8047652B1 (en) * 2009-05-19 2011-11-01 Ernesto Collazo Portable electronic amsler test
EP2564766B1 (en) 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
CA2848748A1 (en) * 2011-09-16 2013-03-21 Alan Boate System and method for assessing retinal functionality
DE102012106522A1 (de) * 2012-07-18 2014-01-23 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Authentifizierung eines Fahrers in einem Kraftfahrzeug
DE102012221647A1 (de) * 2012-11-27 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Testen der Sehfähigkeit eines Fahrers eines Kraftfahrzeugs
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62109539A (ja) * 1985-11-08 1987-05-20 スタンレー電気株式会社 視力判別装置
JPH10510187A (ja) * 1994-12-09 1998-10-06 ジョスリン ダイアビーティーズ センター インコーポレイテッド 網膜検査及び治療のための電子造影装置
JPH11316884A (ja) * 1998-01-28 1999-11-16 Daimler Benz Ag 覚醒状態を求める装置
JP2005095572A (ja) * 2003-08-21 2005-04-14 Nissan Motor Co Ltd 有効視野計測装置
JP2008212359A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 視線検出装置
EP1997667A1 (de) * 2007-05-31 2008-12-03 Volkswagen AG Informationsvermittlungsvorrichtung und Verfahren zur Vermittlung von Informationen
JP2009169486A (ja) * 2008-01-11 2009-07-30 Seiko Epson Corp 運転情報記録システム及び運転情報記録方法
JP2016038843A (ja) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 視線状態判定装置

Also Published As

Publication number Publication date
US11931103B2 (en) 2024-03-19
US20210282636A1 (en) 2021-09-16
JP7045387B2 (ja) 2022-04-01
WO2018127330A1 (de) 2018-07-12
EP3566090A1 (de) 2019-11-13
DE102017129067A1 (de) 2018-07-05

Similar Documents

Publication Publication Date Title
JP7045387B2 (ja) 車両の運転者の視覚認知能力の制限を認識するための方法、及び、装置
US9844317B2 (en) Method and system for automatic eyesight diagnosis
US11967075B2 (en) Application to determine reading/working distance
WO2020262206A1 (ja) 視覚検査装置及び視覚検査方法
CN114025659A (zh) 眼睛的屈光不正确定
US20220083786A1 (en) Method and system for monitoring a person using infrared and visible light
WO2017123710A1 (en) System and method for performing objective perimetry and diagnosis of patients with retinitis pigmentosa and other ocular diseases
KR20200002702A (ko) 시야장애 평가 및 안구 운동장애 평가 결과에 기반한 뇌병변 진단 장치
US10188292B2 (en) Device for screening convergence insufficiency and related computer implemented methods
JP2017000223A (ja) 視覚検査装置
WO2016167091A1 (ja) 視覚検査装置、視覚検査装置の視標補正方法、および表示装置
US20220022743A1 (en) Portable device for visual function testing
JP2024135588A (ja) 視力検査装置
Valencia et al. Color image analysis of the optic disc to assist diagnosis of glaucoma risk and evolution
KR20200101696A (ko) 검안데이터 전송방법 및 검안시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220318

R150 Certificate of patent or registration of utility model

Ref document number: 7045387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150