JP2014515291A - 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法 - Google Patents

頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法 Download PDF

Info

Publication number
JP2014515291A
JP2014515291A JP2014512906A JP2014512906A JP2014515291A JP 2014515291 A JP2014515291 A JP 2014515291A JP 2014512906 A JP2014512906 A JP 2014512906A JP 2014512906 A JP2014512906 A JP 2014512906A JP 2014515291 A JP2014515291 A JP 2014515291A
Authority
JP
Japan
Prior art keywords
wearer
eye
head
response
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014512906A
Other languages
English (en)
Other versions
JP2014515291A5 (ja
JP6129161B2 (ja
Inventor
パブリカヴァー,ネルソン,ジー.
シー. トーチ,ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyefluence Inc
Original Assignee
Eyefluence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyefluence Inc filed Critical Eyefluence Inc
Publication of JP2014515291A publication Critical patent/JP2014515291A/ja
Publication of JP2014515291A5 publication Critical patent/JP2014515291A5/ja
Application granted granted Critical
Publication of JP6129161B2 publication Critical patent/JP6129161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

頭部、眼、眼瞼の動き、および/または瞳孔の幾何学的形状の変化に対する反応時間および/または応答を測定するためのシステムおよび方法が提供される。このシステムは、ユーザの少なくとも1つの眼の位置ならびに幾何学的形状およびその構成要素をモニタリングするための1つ以上のアイトラッキングカメラと、ユーザの環境をモニタリングするための1つ以上のシーンカメラと、反応時間を決定するための1つ以上のプロセッサと、を備えるアイウェアまたはヘッドウェアを備える。所望により、このシステムは、頭部の動きをモニタリングするための1つ以上の多軸加速度計、視覚的に喚起された応答をトリガするための光源、および/または外部基準事象の発生時間を示すために用いられ得る電子入力を備える。測定された反応時間および他の測定値は様々な範囲の用途に用いられるためにモニタリングされ得る。応答および反応時間は長期間にわたり継続的に測定され、さらには加齢プロセスの結果を測定するために生涯にわたってさえ測定され得る。
【選択図】図1

Description

本発明は、装置装着者の一般的な環境下で発生する事象に伴う反応時間および/または他の応答、ならびに装置装着者の頭部、眼、眼瞼および/または瞳孔に結果的に生じる変化を、目立たずに測定するための装置および方法に関する。
自然発生的または意図的に発生した事象に対する個人の応答は、検知、伝導性神経路、シナプス接続、認識、認知および神経筋制御などを含む多くの複雑な神経学的および生理学的な段階が関わる。こうした段階、ならびに生理学的認識および訓練に伴う解剖学的構造または化学的な作用の何れかにおける正常な活動または障害は、個人の応答の大きさおよび反応時間に影響を及ぼす可能性がある。個人の反応時間および/または他の応答を短期間(すなわち、数十秒から数分)または長期間(すなわち、数日または数年にまで及ぶ)にわたって測定する目立たない装置は、医療、スポーツ訓練、人的要因、安全、診断、軍事、法的執行、ゲームおよびその他の用途など、多くの用途がある。
感知および機械的視覚が関与する用途は、ますます一般的になっている。このことは、部分的には、電子工学およびソフトウェア開発産業における技術的進歩の結果生じたことであり、センサ、カメラおよび情報処理装置のコストを低下させている。例えば、微小電気機械システム(MEMS)技術に基づく加速度計の近年の進歩により、それらが、安価、小型、高感度、頑強、低電力、(単一のパッケージで)多軸型で、かつ使い易くなっている。加速度計は、重力方向ならびに多次元的な動きを検出するのに使用することができる。
同様に、カメラ相補型金属酸化膜半導体(CMOS)または電荷結合デバイス(CCD)方式を採用するカメラは、安価、小型、光学的高感度、低電力、頑強および高解像度であり得る。このようなカメラおよび画像処理ユニットを使用することで、自動式の対象識別および追跡は、診断、人間性能、商用目的および制御に関する多くの用途でますます使用されるようになっている。
頭部の外傷を引き起こすような事象を除き、頭部の動きの大部分は、比較的低速である(例えば約10ヘルツ(10Hz)未満)。したがって、頭部の動きを正確に監視するサンプルレートは、数十サンプル/秒の範囲でもよい。同様に、反応時間が1秒から数秒に10回の範囲内であり得る眼、眼瞼および瞳孔の応答および反応時間の測定のほとんどは、現代の、身近なカメラおよびビデオ表示装置で一般的に使用されるフレーム率(すなわち、毎秒30―120フレーム)を必要とする。研究室および何らかの他の用途では、より高いサンプルレートが可能ではあるけれどもコストのかかる加速度計およびカメラから測定する必要があることがあるが、眼鏡型およびヘッドウェアは、普通に利用可能な小型、低電力のカメラおよび感知構成装置を利用することができる。
頭部および視標追跡システムの多くは、装着者の頭部からかなり離れて(例えば、約10センチメートル(10cm)超)設置されるカメラおよび照明器を使用する。装着者の頭部から離れる距離が大きくなるほど、頭部/アイトラッキング装置は、一般的には目立たなくなるが、より高度なカメラの空間解像度が必要とされるため、装着者の頭部および/または眼の位置を正確に測定することが、一層困難になる。さらに、頭部が広範囲に動くと、装着者の眼およびその構成要素の位置を追跡する能力を完全に失う可能性もある。
今日超小型電子工学および微小光学が出現したことで、米国特許第6,163,281号、第6,542,081号、第7,488,294号または第7,515,054号に開示された該当する装置を含め、アイウェア(例えば、眼鏡フレーム)またはヘッドウェア(例えば、ヘルメット、マスク、ゴーグル、仮想現実表示装置)上で反応時間または他の応答を測定する構成要素を目立たず目立たずに取り付けることは可能になった。低電力かつ小型のカメラ、センサおよび電子機器の使用することで、ヘッドマウント式システムは、電池電源の(任意で)使用を通じて、繋ぎ留められなくてもよくなった。その上、無線通信の最近の進歩により、反応時間結果が他の計算装置、データ記憶装置またはコントローラにリアルタイムに送信されることが可能になった。多くの分野のこうした技術的進歩の結果、アイウェア、またはヘッドウェアをベースとする応答および反応時間モニタシステムは、目障りではなく、軽量、低電力、可搬式で、かつ使うのに便利であり得る。
生理学的モニタおよび医療診断用非侵襲性ツールは、診療所、病院、研究室および家および公共区域(例えば食料品店および薬局)でも、ますます一般的になっている。このようなツールが、目障りではなく、使用し易く、可搬式に構築されれば、これらのツールは、一般的な社会に受け入れられるさらなる可能性、およびより長期の(1回限りまたは「スナップショット」測定と比べて)応答傾向を監視するその後の用途を獲得する。これは、一定の条件に遭遇した場合、例えば車両運転中に嗜眠状態と判定される場合には、それらがリアルタイムに反応する能力に付加される。
頭部および眼の応答を監視することは、中枢神経および末梢神経系両方の生理機能および障害を評価するのに特に役立つ。例えば、瞳孔の反応時間および/または他の応答は、感光性の神経節細胞および視神経内の網膜視床下部路、上部中脳内の視蓋前野核、および、軸索が、虹彩の収縮筋を刺激する毛様体神経節神経にシナプスによってつながっている左右の動眼神経に沿って走っているエーディンガー―ウェストファル核を含む一連の解剖学的構造によって影響される。この一連の範囲内の組織体のいずれかに影響を及ぼす障害または条件(例えば、バルビツール酸塩の存在)は、非侵襲的に、かつ目立たずに監視され得る反応時間および/または他の応答に結果的に変化をもたらす可能性がある。アルコールまたはオピオイドによる瞳孔の最初の収縮、またはリゼルギン酸ジエチルアミド(LSD)、コカイン、アンフェタミン、3、4−メチレンジオキシメタンフェタミン(MDMA(別名エクスタシー))、メスカリン、その他を含む多様な薬による拡大も、測定される応答および反応時間に影響を及ぼす可能性がある。
反応時間および/または他の応答は、いっそう脳の認識機能の中をより深く探索するのに使用され得る。頭部および眼の反応時間および/または他の応答を実質的には、継続的に監視するための目立たないツールは、我々全てが精通している認識、例えば、恐れ、警報、または、誰かが真実を言っているかどうかの感知などに有用な定量的測定値を与え得る。これにより、診断目的ならびに緊急事態を判定する際の入力のために高齢者を実質的には、継続的に監視することを含む多くの用途が生じ得る。臨床医がこのような測定値の定量的性質を利用し得る用途の例は、心的外傷後ストレス障害(PTSD)などの、多くの不安障害の評価でみられる。驚愕する事象に対する誇大な応答に伴う回避行動および集中困難の測定は、監視されて、このような障害の評価および追跡のために使用され得る。
誘発された瞳孔応答の測定値は、「思考負荷」または「精神的な労力」および関連付けられる障害の多様な評価で使用されてきた。通常の生理学的条件下では、複数の刺激が時限式シーケンスで提示されると、瞳孔の拡大応答を増やす可能性がある。この影響が増すと、種々の形の痴呆症を表す場合がある。
反対に、スポーツ訓練の目的は、反応時間を減少させて性能を高めることである。予測および経験はそれぞれ、(一般的に考えられるように)何らかの決定時間を短縮して、シナプス接続を強化することで、反応時間を短縮し得る。長時間にわたって反応時間および/または他の応答を測定する目障りではない装置は、例えば訓練計画の効果などを監視することにおいて有用であり得る。
本発明は、装置装着者の反応時間および/または他の応答を判定するためのシステム、装置および方法を対象とする。例示的な実施形態において、本明細書の装置、システムおよび方法は、反応時間、および/または、例えばさまざまな用途に関する頭部、眼、眼瞼および/または瞳孔の応答の大きさなどの他の応答を測定する方法およびシステムを提供し得る。
例えば、本明細書における装置、システムおよび方法は、1)装置装着者の環境において起こる事象の発生時間、ならびに/あるいは2)それに伴う頭部の動き、および/または眼瞼および眼変位および/または瞳孔の幾何学的形状の変化を含む装置装着者の少なくとも片眼の小さな動き、を識別するために、例えば装着者の応答を測定、解析、および/または判定するために、機械視覚および他の技術を使用することに関する。環境事象の発生の時間と装置装着者の応答の時間の差は、一般に「反応時間」または「応答時間」と呼ばれる。「反応時間」という用語は、自発的に発生する事象に対する結果的な応答を表すために多用している。眼運動または瞳孔の応答が光源または何らかの他の手段を用いて意図的に誘発される場合には、「応答時間」という用語は、科学的および医学的な文献では一層一般的である。
全体を通して、本明細書における「反応時間」という用語は、事象の時間と、その事象に対する反応が検出され、反応が所定の閾値を超える時間との間の差を指すのに使用され、例えば、反応におけるバイナリ変化に関連付けられる時間の長さとなる。「反応時間」という用語の使用は、「応答時間」、「応答遅延」、「反射時間」および他の等価語を含むことを意図するものと理解されたい。
同様に、応答の「大きさ」も、応答の「反応時間」に加えてまたはその代わりに測定および/または分析され得る。応答の大きさの例として、装置使用者の解剖学的構造(例えば、眼または眼瞼)の総空間変位などの測定値、頭部を回すことによって発生するような回転運動、解剖学的構造の速度または加速度の変化の振幅、瞳孔の拡大または収縮の際に経験されるような面積または容積の変化、などが含まれる。
同様に、下記の説明では、装置装着者の頭部の動きを検出することへの言及は、さらに、装置装着者に着用されたときに同時に動き、アイウェアまたはヘッドウェアによって検出される頭部の任意の組織体または構成要素を含み得る。これには、例えば頭蓋骨、脳、毛髪、耳、額、眼窩、鼻、頬、あご、顎などが含まれる。同じ方針に沿って、装置装着者の目の応答および移動への言及は、眼、虹彩、角膜、レンズ、強膜、毛様体、硝子体などを含む目の全ての下位構成要素を包含するものである。装置装着者の瞳孔の応答および変化への言及は、レンズ、網膜、中心窩、視神経円板、瞳孔括約筋、瞳孔散大筋などの瞳孔画像の中に結像され得る構造体および構成要素を含む。同様に、装置装着者の眼瞼の動きおよび変化への言及は、睫毛、眉、眼瞼の範囲の皺などを監視することを含む。
応答および反応時間を繰り返し測定し得る、低コストの、目立たない、可搬式プラットホームには、多様な用途がある。少数の例には、個人の疲労度を監視すること、運転者またはパイロットの覚醒状態を評価すること、薬またはアルコールの作用を評価すること、心的外傷後ストレス障害を診断すること、経年的に人間性能を追跡すること、訓練または運動の効果を判定すること、競技大会のさまざまな面を管理すること、神経学的または認識力の障害を評価するために基礎的な臨床データを取得すること、変性した眼の状態を診断および監視すること、他の方法では情報交換することが不可能な個人または動物の意識を監視すること、が含まれる。反応時間測定値を使用する部門および産業には、医薬、軍隊、法の執行、保安、人間性能、スポーツ医学、リハビリテーション工学、警察、研究室および玩具が含まれる。
1つの実施形態では、反応時間および/または他の応答を判定するシステムは、人の頭部に装着されるように構成された装置と、基準時間を判定する入力と、装置に載置されて、装置の装着者の第1の眼を閲覧するように配置されたアイトラッキングカメラと、アイトラッキングカメラ画像内で解剖学的構造の位置を判定するプロセッサと、基準時間およびアイトラッキング位置を用いて装着者の眼、眼瞼および/または瞳孔の反応時間および/または他の応答を判定するプロセッサと、を含む。
いくつかの実施形態では、装置装着者の反応時間は、関連事象の発生時間およびそれに伴う装置装着者による応答時間を判定することによって、算出され得る。装置およびシステムは、本明細書において、時間的参照標識を提供するかまたはアイウェアまたはヘッドウェアに取り付けられた1つ以上のシーンカメラを使用して、環境内で変化の発生した時間を光学的に識別する電子信号を受け入れる。例示的な実施形態では、装置は、頭部の多軸的な動きを測定するために加速度計を含んでいてもよく、1つ以上の目立たないアイトラッキングカメラが、アイウェアまたはヘッドウェアに載置されて、装置装着者の1つ以上の眼の動きまたは変化を追跡し得る。装置装着者の反応時間および/または他の応答測定値は、医学、法律、保安、スポーツ、コンピュータゲームおよび人間的要素を含む多様な分野で使用され得る。
例えば、本明細書におけるシステムおよび方法は、アイウェアまたはヘッドウェアに取り付けられたアイトラッキングカメラを使用して、本明細書で他に識別される関連部分に記載される実施形態と同様に、片方または両方の眼の位置を追跡し得る。アイトラッキングカメラおよび1つ以上の付随する処理ユニットを使用して、アイトラッキングカメラ画像内で基準位置を識別して追跡し得る。基準位置には、例えば、瞳孔の中心、瞳孔の縁部、虹彩の中央、虹彩の縁部および白眼または強膜の位置が含まれる。反応時間測定値のために、基準位置の有意な動きが始まる時に、特有の注意が払われる。
本明細書におけるシステムおよび方法は、アイウェアまたはヘッドウェアに取り付けられたアイトラッキングカメラを追加的に使用して、片方または両方の眼瞼の位置を追跡し得る。アイトラッキングカメラおよび1つ以上の付随する処理ユニットは、眼の組織体(例えば、瞳孔、虹彩、強膜)および/または閉瞼の結果生じる眼の領域の色、輝度および/またはテクスチャの変化を曖昧にすること、利用してもよい。一般的には、神経筋の障害がなければ、眼瞼は、眼モニタカメラ画像内で中断する水平偏波として視界を通過する。反応または応答時間測定のためには、眼瞼が最初に閉じて瞳孔を含む眼を被覆する時および/または眼瞼が再び開く際に、特有の注意が払われる。
本明細書におけるシステムおよび方法は、アイウェアまたはヘッドウェアに取り付けられたアイトラッキングカメラを追加的に使用して、片方または両方の瞳孔の大きさを追跡し得る。アイトラッキングカメラおよび1つ以上の付随する処理ユニットは、瞳孔の縁部を、虹彩と比べて輝度またはテクスチャに高い空間対比が存在する領域として検出し得る。幾何学的形状、例えば円または楕円は、画像上で重ね合されて、瞳孔の縁部と重なり合う最適な大きさを判定することができる。次いで、幾何学的形状用の周知の公式に基づいて、領域が算出され得る。
追加的または代替的に、瞳孔によって占められる領域は、有意な数の他のダークピクセルが存在する領域において特定の暗さレベルを超えている、などの特定の画像認識基準を満たすピクセル数を判定することによって算出される。これは、ほとんどの照明条件下では、瞳孔が暗色で、特定のサイズの範囲内で見えるという事実を利用している。次いで、領域は、例えば、ダークピクセルの比較的大きい領域内で隣接するダークピクセルの数の計数に基づいて算出される。
追加的または代替的に、頭部の側から経皮的にまたは直接的に瞳孔に向く(角膜の表面への垂線の約±3度(3°)の範囲で)ように、照明を注意深く制御することで、いわゆる「白色眼」、「赤色眼」または「白色瞳孔」を生成することが可能である。これらの条件下では、ブライトピクセルの数に基づいておよび/または明るい瞳孔領域の縁部を検出することによって、領域を算出することが可能である。
反応または応答時間の測定のために、瞳孔が収縮または膨張し始める時に注意が払われ得る。眼および眼瞼の応答時間と比較して、瞳孔の応答は、一般的には遅れる、すなわち、反応または応答時間が長くなる。
反応時間を測定するために、反応の原因となる事象の発生時間(すなわち、基準時間)を判定する必要がある。頭部、眼、眼瞼および/または瞳孔による応答を引き起こす事象には、多くの潜在的な発生源が存在する。それらには、画像、音、閃光、移動、鈍力などが含まれる。アイウェアまたはヘッドウェアプラットホームは、こうしたさまざまなモダリティから基準時間測定のためにさまざまな入力を受け取るように設計される。
例示的な実施形態によれば、1つ以上のシーンカメラを使用して装置装着者周囲の環境を光学的に監視するシステムおよび方法が提供される。シーンカメラおよび1つ以上の付随する処理ユニットを使用して、シーンカメラ画像内で基準対象を識別して追跡する。機械視覚技術に基づく対象認識は、周知の技術であり、対象の輝度、大きさ、形状、色、など、ある対象の画像内で識別可能な特性、またはそれらの特性の組み合わせを用いてもよい。背景内での対象の有無、例えばコンピュータモニタ上の不意の表示または写真の明示などは、例えば時間的基準として使用され得る。
別の実施形態によれば、シーンカメラ画像の1つ以上の対象の位置を用いて、基準時間を判定するシステムおよび方法が提供される。例えば、対象がシーンカメラ画像内である場所または領域に入ると、基準時間が始動される。スポーツ関連の例では、例えば野球ボールなどの投射物がシーンカメラ画像内で選択位置(例えば、打者の近く)に到達するときの基準時間を記録する。同様に、対象がシーンカメラ画像内で特定の速度または加速度に達成する基準時間を記録し得る。さらに、基準時間は、シーンカメラ画像における輝度レベル、色、大きさ、形状、などの対象特性に変化が生じたときに、始動され得る。
追加的にまたは代替的には、装置装着者周辺で環境を観察する、1つ以上のシーンカメラを使用して、シーンカメラ画像内で特化対象を追跡することによって基準時間を判定し、かつ頭部の動きが結果的に発生したことを判定してもよい。装置装着者の頭部が動いたことで、1つ以上のシーンカメラが動く例では、シーンカメラ画像の中のほとんどの領域は、徐々に動かされている(すなわち、背景全体が変わっている)ようである。一定のビデオフレームレートでは、(頭部の動きが、壁のような隣接する背景に直接向かう場合、またはそれから離れる場合を除いて)頭部が高速で動くほど、シーンカメラ画像の背景はより大きく移動することになる。これは、基準時間判定を行うのに用い得るシーンカメラ画像の中のより小さい特定の対象の動きとは対照的である。
さらに別の実施形態によれば、頭部の動きを監視するために、加速度計をアイウェアまたはヘッドウェア一式の中に含めてもよい。始動事象に応答する頭部の動きを用いて、頭部の反応時間および/または他の応答を測定することができる。例えば、最大で3つの直交方向まで加速度を検出するMEMSまたは他の技術を用いる多軸加速度計を、頭部の加速度、ならびに地球の重力場に対する総合的な頭部の向きを検出するのに使用してもよい。そうした加速度を、時間と統合化して、それぞれの次元の相対的な頭部速度ならびに頭部変位(すなわち、時間との第2の統合化に続く)を取得することができる。多くの用途で、首を中心とした頭部(すなわち、加速度計を含むアイウェアまたはヘッドウェアに固定されている)の回転運動を算出できれば好都合である。
別の実施形態によれば、汎用入力コネクタが、アイウェアまたはヘッドウェアの中に含まれており、多様なセンサシグナルを基準時間用の源として使用することが可能になっていてもよい。例えば、マイクロフォンを接続して、聴覚器官入力から基準時間を生成するのに使用してもよい。これによって、装置は、音の発生に対する反応時間および/または他の応答を測定することができる。音声基準時間を記録する簡便な方法は、鮮明な音の発生を監視することである。このような音の源の例には、拍手、爆発、スタータ式銃、ドラム鼓動、メトロノーム、クリック音、などが含まれる。より高度な音声認識技術およびアルゴリズムは、従来技術において周知であり、特定の言葉、音調または音声シーケンスの発生を認識するものが含まれる。
他の実施形態では、アナログ信号(すなわち、電流または電圧の振幅において連続的に変動する変化として表示される信号)が、基準時間用源として使用されてもよい。例として、これらには、対象(例えば、ドア、レバー)の位置、周辺光の強度、温度、などを感知することが含まれる。時間的基準は、アナログ信号の振幅が選択閾値を超えたとき、または他の波形認識技術によって記録される。
他の実施形態では、デジタル信号が、基準時間用源として使用されてもよい。一般的には、このような信号で低から高および/または高から低への移行、すなわち、バイナリ移行が発生した時間が、時間記録を意味する。デジタル信号は、例として、コンピュータなどの他のコントローラによって生成される、スイッチまたは押しボタンで発生される、画像の表示と同期される、触覚または電気刺激と同時に発生する、などがあり得る。
さらに他の実施形態によれば、測定可能な応答を誘発するために、アイウェアまたはヘッドウェアで直接的に刺激を発生させることが可能である。この構成は、瞳孔の応答および反応時間を測定することにおいて特に有用である。例えば、光の刺激は、1つ以上の軽量および低電力の発光ダイオード(LED)を片方または両方の眼に照射することによって提供されてもよい。LEDまたは他の光源は、波長および/または強度を変えることができるように作られ得る。追加的にまたは代替的には、1つ以上のスピーカは、例えば、装置にまたは装置と分離して提供されてもよく、スピーカは、所定の音を生成して、その後の反応時間が監視され得る。
瞳孔の応答および反応時間の有無を測定することは、医学的な診断スクリーニングにおいて特に有用である。瞳孔の応答の遅れまたは中断は、多くの神経筋または思考力に関する障害を表す可能性がある。例えば、通常の生理学的条件下では、十分な量の光を片眼に向けて投射すると、他方の眼の瞳孔収縮が起きるはずである。このような応答の欠如または遅延は、例えば、中枢神経系内の病変または特定の部類の薬が存在している結果生じている可能性がある。
反応時間および/または応答性の程度の正確な評価は、例えば、薬および/またはアルコールの作用に関するスクリーニングテスト中の法の執行において特に有用であり得る。この用途では、可視光または、通常「不可視」である、すなわち可視スペクトルを越えている光を使用して、瞳孔の応答を誘発することが可能である。瞳孔の応答を誘発するために、約390ナノメートルから750ナノメートルまでの波長帯の可視光を使用してもよく、閾値振幅は、幾分波長依存的であることが報告されている。
さらに、近赤外スペクトル、例えば800ナノメートル付近の不可視光を使用して、装置装着者が、測定が実施されていることを意識していない時に、装置装着者の誘発された瞳孔拡大を測定することができる。このプロトコルは、応答を隠そうと試みることで装置装着者が法の執行を欺こうとしていることを見抜くのに使用され得る。誘発反応は、さらに、例えばアイウェアまたはヘッドウェアで引き起こされてもよく、または眼の領域全体にせん光灯を当てることを伴う従来の法の執行方法のような外部源から引き起こされてもよく、この場合、せん光灯が眼に向けられる時の基準時間が、シーンカメラまたはアイトラッキングカメラのいずれかによって感知されて記録されることが可能である。
照明コントローラが、1つ以上の光源に連結されて、測定可能な瞳孔の応答の有無に基づいて輝度を判定するように構成されてもよい。輝度レベルを繰り返し調整することによって、誘発された瞳孔の応答に関する閾値レベル、すなわち所与の波長で瞳孔の収縮または拡大を引き起こす光源レベルの最小変化、を判定することが可能である。このような測定は、医学的な診断および生理学的モニタで使用される場合がある。目立たないアイウェアプラットホームは、いくつかの型の変性眼疾患の進行または長期間(すなわち、数ヶ月または数年)に亘る加齢を分類することにおいて特に有用である。背景処理ユニットおよびアイトラッキング処理ユニットは、別々の照明コントローラを備えた1つ以上の別々のプロセッサであってもよく、または単一のプロセッサで、照明コントローラを含んでいてもよい。
1つの実施形態では、照明コントローラは、眼で所望の輝度レベルを提供するために、少なくとも電流および/または電圧の振幅変調を光源に対して行うように構成されてもよい。追加的にまたは代替的には、コントローラは、所望の輝度レベルを提供するために、電流および電圧の少なくとも1つのパルス幅変調を光源に対して行うように構成されてもよい。
こうした実施形態のいずれかでは、照明、反応時間測定、頭部追跡、眼追跡および/または凝視追跡は、実質的には、継続的にまたは断続的に作動され得る。プロセッサ、カメラ、照明および/または他の電子機器は、例えば節電するために、使用していない時動作を停止していてもよい。照明光源および他の電子機器は、さらに、低電力化されても、または安全性を高めるためにオフにされてもよい。
さらに他の実施形態によれば、任意的に、追加のアイトラッキングカメラを、アイウェアまたはヘッドウェアプラットホーム上に設けて、例えば、両眼の領域の応答を同時に追跡してもよい。健常な個人では、両眼の構成要素の反応時間は、ほぼ同じはずである。個人で左右の眼の反応時間が異なる場合、測定値を、生理学的な異常または疾患の診断に役立てることができる。例えば、両眼の遅延応答は、中枢神経系の認知または組織的な障害を示している可能性があり、一方、単一の眼または眼瞼の遅延応答は、周辺神経筋の異常を示している可能性がある。
別の実施形態によれば、遠隔サイトと情報を送受信するように、無線通信をアイウェアまたはヘッドウェアに追加してもよい。例えば、画像および測定値を、より詳しい分析および表示のために遠隔コンピュータ装置に送信することができる。逆に、頭部、眼、眼瞼および/または瞳孔の測定された応答と関係付ける始動事象の基準時間および/または大きさを示す無線信号が、アイウェアまたはヘッドウェアプラットホームに送信され得る。
さらに別の実施形態によれば、反応時間、応答の大きさおよび/または他の応答を判定するために、システムが提供され、このシステムは、装着者の頭部に装着されるように構成された装置と、第1の眼のアイトラッキング画像をキャプチャするために、装着者の第1の眼に向けられた装置に取り付けられたアイトラッキングカメラと、アイトラッキングカメラ画像内で第1の眼の剖学的構造を特定するために、アイトラッキングカメラに連結された1つ以上のプロセッサと、を備える。1つ以上のプロセッサが、外部事象の基準時間を識別し、基準時間後にアイトラッキング画像を解析するために構成されてもよく、第1の眼、眼瞼および瞳孔の外部事象に対する応答を判定することができる。例えば、プロセッサは、アイトラッキング画像からのa)1次元以上の次元における瞳孔および虹彩の少なくとも1つの位置、b)瞳孔の大きさ、c)瞳孔の形状、d)眼瞼の位置、から選択された2つ以上のパラメータを識別して、2つ以上のパラメータの変化を検出し、装着者の外部事象への反応時間または他の応答を判定することができる。
任意的に、システムは、外部事象を検出して基準時間を提供するための1つ以上の装置を含んでいてもよい。例えば、1つの実施形態では、シーンカメラは、装着者の環境を閲覧して、環境のシーンカメラ画像をキャプチャするために装着者から離れて配置される装置に載置されてもよい。プロセッサは、シーンカメラ画像で検出される変化から、基準時間を識別し得る。例えば、プロセッサは、対象認識アルゴリズムを使用して、シーンカメラ画像からシーンカメラの視界内で対象の位置を識別し、所定の対象がシーンカメラ画像の所定の場所に存在している時間、または存在していない時間に基づいて基準時間を識別することができる。追加的にまたは代替的には、プロセッサは、背景の動きに関するシーンカメラ画像を解析して、装着者の頭部の動きを判定し、基準時間で特有の頭部の動きを識別してもよい。
別の実施形態では、システムは、装着者の環境の範囲内で音または他の活動を監視するための検出器を含んでいてもよい。例えば、マイクロフォンは、音を検出する装置に載置されてもよく、プロセッサは、装着者の環境を監視して所定の音を識別し、基準時間を所定の音と関連付けるためにマイクロフォンに連結されてもよい。
さらに別の実施形態によれば、反応時間、応答の大きさおよび/または他の応答を判定するために、システムが設けられており、システムは、装着者の頭部に装着されるように構成された装置と、第1の眼のアイトラッキング画像をキャプチャするために、装着者の第1の眼に向けられた装置に取り付けられたアイトラッキングカメラと、装着者の環境を閲覧して、環境のシーンカメラ画像をキャプチャするために装着者から離れて配置される装置に取り付けられたシーンカメラと、を備える。1つ以上のプロセッサは、アイトラッキング画像の第1の眼の剖学的構造を特定するためのアイトラッキングカメラおよび/またはシーンカメラ画像から装着者の環境の所定の事象を識別するためのシーンカメラに連結されていてもよい。例えば、1つ以上のプロセッサは、所定の事象がシーンカメラ画像から識別される基準時間を識別し、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、装着者の所定の事象に対する反応時間または他の応答を判定することができる。
例示的な実施形態では、プロセッサは、シーンカメラ画像を監視して、シーンカメラ画像から装着者の環境における対象を識別することができ、対象を監視して、対象がシーンカメラ画像の所定の場所に存在しているとき、または存在していないときを識別することができる。この例では、基準時間は、対象が所定の場所に存在している、または存在していないことをプロセッサが識別する時間であってもよい。別の例示的な実施形態では、システムは、表示装置を含む電子物体を含んでいてもよく、プロセッサは、シーンカメラ画像を監視して、所定の画像が表示装置に表示された時点を識別し得る。この例では、基準時間は、所定の画像が表示される最初の時間であってもよい。
さらに別の実施形態によれば、反応時間または他の応答を判定するために、システムが設けられており、このシステムは、装着者の頭部に装着されるように構成された装置と、第1の眼のアイトラッキング画像をキャプチャするために、装着者の第1の眼に向けられた装置に取り付けられたアイトラッキングカメラと、装着者の環境の範囲内で音を検出するためのマイクロフォンと、を備える。1つ以上のプロセッサは、アイトラッキング画像の第1の眼の剖学的構造を特定するためのアイトラッキングカメラと、装着者の環境の範囲内で発生する所定の音を検出するためのマイクロフォンと、に連結されてもよい。例えば、プロセッサは、所定の音が検出される基準時間を識別し、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、装着者の所定の音に対する反応時間または他の応答を判定することができる。
さらに別の実施形態によれば、反応時間または他の応答を判定するために、システムが設けられており、システムは、装着者の頭部に装着されるように構成された装置と、第1の眼のアイトラッキング画像をキャプチャするために、装着者の第1の眼に向けられた装置に取り付けられたアイトラッキングカメラと、装着者に向けて検出可能な信号を発する発生器と、装着者の頭部の方向を提供するために装置に取り付けられたセンサと、を備える。1つ以上のプロセッサは、アイトラッキング画像の第1の眼の剖学的構造を特定するためのアイトラッキングカメラと、および装着者の頭部の向きを監視するためのセンサと、に連結されてもよい。
プロセッサは、発生器が活性化される基準時間を識別し、基準時間の後、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、第1の眼の反応時間または他の応答を判定することができる。さらに、プロセッサは、基準時間の後、装着者の頭部の向きの変化を監視して、装着者の頭部の反応時間または他の応答を判定することができる。任意的に、プロセッサは、判定された反応時間の1つ以上を解析して、装着者に関する情報を判定してもよい。例として、装着者の頭部の反応時間は、第1の眼の反応時間と比較されて、装着者の身体的状態または心理的状態の少なくとも1つを決定することができる。
例示的な実施形態では、発生器は、起動時、光を第1の眼に向かって発するために装置に取り付けられた1つ以上の光源を含んでいてもよい。別の例示的な実施形態では、発生器は、所定の音を生成するために、装置に取り付けられた1つ以上のスピーカを含んでいてもよい。
任意的に、1つ以上のプロセッサは、発生器を活性化するために発生器に接続されるコントローラを含んでいてもよい。例えば、コントローラは、発生器を断続的に活性化するために構成され得るので、それによって、一連の基準時間を提供している。プロセッサは、それぞれの基準時間の後、装着者の頭部の反応時間または他の応答を第1の眼の反応時間または他の応答と比較して、例えば、装着者の身体的状態または心理的状態の少なくとも1つを決定することができる。1つの実施形態では、コントローラは、発生器を周期的に、または、ランダムに活性化させてもよい。他の実施形態では、システムは、コントローラに接続される装置に受信器を含んでいてもよく、コントローラは、例えば、受信器によって受信される指令に基づいて発生器を活性化するようにコントローラに指示するコマンドを遠隔地から受信し得る。
さらに別の実施形態によれば、反応時間または他の応答を判定するための方法が提供されており、方法は、装置を装着者の頭部にすることであって、装置は、装着者から離れた向きに配置されるシーンカメラおよび装着者の第1の眼に向けられたアイトラッキングカメラを備えている、装置を装着者の頭部にすることと、アイトラッキングカメラからのアイトラッキング画像を監視して、第1の眼の剖学的構造を特定することと、シーンカメラからのシーンカメラ画像を監視して、装着者の環境の所定の事象を識別することと、を含む。例えば、所定の事象がシーンカメラ画像から識別されるときの基準時間が、識別されてもよく、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化が監視されると、所定の事象に対する装着者の反応時間または他の応答を判定することができる。
さらに別の実施形態によれば、反応時間または他の応答を判定するための方法が提供されており、方法は、装置を装着者の頭部にすることであって、装置は、装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備えている、装置を装着者の頭部にすることと、アイトラッキングカメラからのアイトラッキング画像を監視して、第1の眼の剖学的構造を特定することと、装着者の環境の範囲内で音を監視して、環境の範囲内で所定の事象を識別することと、を含む。例えば、所定の音が環境の範囲内で検出されるときの基準時間が、識別されてもよく、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、所定の音に対する装着者の反応時間または他の応答を判定することができる。
別の実施形態によれば、反応時間または他の応答を判定するための方法が提供されており、方法は、装置を装着者の頭部にすることであって、装置は、装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備えている、装置を装着者の頭部にすることと、アイトラッキングカメラからのアイトラッキング画像を監視して、第1の眼の剖学的構造を特定することと、装着者の頭部の向きを監視することと、を含む。装着者および装着者の環境の少なくとも1つを監視して、例えば、所定の事象を識別することができ、所定の事象が検出されると、基準時間が識別され得る。基準時間の後、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、装着者の所定の事象に対する反応時間または他の応答を判定することができる、および/または基準時間の後、装着者の頭部の向きの変化を監視して、装着者の頭部の所定の事象に対する反応時間または他の応答を判定することができる。例として、反応時間または他の応答は、比較されて、例えば、装着者の身体的状態または心理的状態の少なくとも1つを決定することができる。
さらに別の実施形態によれば、反応時間または他の応答を判定するための方法が提供されており、方法は、装置を装着者の頭部にすることであって、装置は、装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備えている、装置を装着者の頭部にすることと、アイトラッキングカメラからのアイトラッキング画像を監視して、第1の眼の剖学的構造を特定することと、を含む。検出可能な信号、例えば音または光を、基準時間に装着者に向けて発してもよく、基準時間の後、アイトラッキング画像で識別される解剖学的特徴の1つ以上の変化を監視して、装着者の検出可能な信号に対する反応時間または他の応答を判定することができる。追加的にまたは代替的には、基準時間の後、装着者の頭部の向きの変化を監視して、装着者の頭部の検出可能な信号に対する反応時間または他の応答を判定することができ、例えば、装着者の物理的および/または精神的状態を判定し得る。
本発明の他の態様および特徴は、後続の説明を添付図面と併せて考察すれば明らかとなろう。
図面は、本発明の例示的な実施形態を図示する。
図1は、装着者の頭部、眼、眼瞼および/または瞳孔の反応時間を測定するために眼鏡フレームに取り付けられたシステムの例の斜視図である。 図2は、図1のシステムの一部の破断側面図であり、処理ユニット、加速度計、シーンカメラ、アイトラッキングカメラおよび他の構成要素間の接続を示す。 図3は、閃光に応答する装着者の眼の動き、頭部の動きおよび瞳孔の収縮の、測定された応答および反応時間の例である。 図4Aは、対象(すなわち、野球ボール)を追跡するシーンカメラによって収集されるカメラ画像の例であり、図4Bは、対象が、選択された背景の基準位置を通過する際の基準時間を識別する例示的な方法を示すグラフである。 図5は、鮮明な音に応答する装着者の眼瞼、眼および頭部の、測定された反応時間の例である。 図6A−図6Cは、表示装置モニタ上の仮想対象の画像表示に起因する装着者の眼の動きおよび瞳孔の反応時間の例を示す。 図7Aおよび図7Bは、仮想対象(すなわち、カーソル)が表示装置モニタ上で動き回る間、仮想対象を目で追うことに応答する装着者の眼の動きの反応時間を繰り返し測定する例を示す。
図面を参照すると、図1は、シーンカメラ12を備えた一連の眼鏡フレーム11、および2つのアイトラッキングカメラ13、13bを含むシステム10の例示的な実施形態を示す。シーンカメラ12は、フレーム11上で、装置装着者の領域の環境15を追跡するために装着者の頭部14から離れた空間を閲覧するような向きに配置される。例として、シーンカメラ12を使用して、さらに後述するように、例えば反応時間測定用の基準時間を決めるために、フットボール16などの対象の動き、または対象のまたはカメラサブ領域の大きさ、輝度、幾何学的形状、色などの何らかの識別可能な変化を識別することができる。アイトラッキングカメラ13aおよび13bは、フレーム11に、装着者の頭部14に向けて配置されて、片方または両方の眼の装着者の眼瞼、瞳孔および/または他の基準点、例えば瞳孔、虹彩または強膜(図示せず)などの位置を追跡する。
この実施形態では、単一の処理ユニット17は、フレーム11によって担送されて、シーンカメラ12ならびにアイトラッキングカメラ13a、13bから画像を取得しているが、別個のプロセッサ(図示せず)が、フレーム11に、またはフレーム11と通信する遠隔地(図示せず)に設けられてもよいことを理解されたい。自己収容電源(例えば、電池)18が、フレーム11によって担送されておりもよく、例えば、その収容処理ユニット17の反対側のフレーム11のステムに収められる。
例示的な実施形態では、シーンカメラ12およびアイトラッキングカメラ13a、13bの各々は、画像を捕えて、画像を表現するビデオ信号を生成するために、CCDまたはCMOSまたは例えば長方形または他の形のピクセル活性領域アレイを含む他の検出器を含んでいてもよい。カメラ12、13a、13bの活性領域は、任意の所望の形状、例えば、方形または角胴形などを有していてもよい。さらに、カメラ12、13a、13bは、例えば、活性領域に画像の焦点を合わせる、光の望ましくない強度および/または波長にフィルタをかける、などの目的で、必要に応じて1つ以上のフィルタ、レンズなどを含んでいてもよい。
図1に図示される実施形態では、シーンカメラ12は、フレーム11のノーズブリッジに目立たずに位置しているので、それによって、装着者の正常視への干渉が最小限に抑えられる。装着者の頭部14の後方、上方および側方を含む任意の方向に向けられる複数のシーンカメラを含んでいてもよいことを理解されたい。例として、2つのシーンカメラ19a、19bが、例えばシーンカメラ12に加えてまたはその代わりに、フレーム11の外縁部付近の位置に取り付けられてもよい。追加的にまたは代替的には、シーンカメラは、例えば装置装着者(図示せず)の側方および/または後方の環境を閲覧するために、フレーム11に位置していてもよい。ヘッドウェアの場合、シーンカメラは、例えば装着者の頭部14の頂上に位置していてもよい。最後に、全体またはその一部が、反射する、静止したまたは可動する面(図示せず)をさらに使用して、視界をさまざまな方向で1つ以上のシーンカメラの活性領域に向けてもよい。
互いに間隔を空けて配置されており、および/または装置装着者の周囲の複数の領域の方へ向けられており、別々のまたは重複する視界を提供し得る複数のシーンカメラが、設けられてもよいことを理解されたい。複数のシーンカメラは、例えば、シーンカメラ12に加えてまたはその代わりに、より高度な空間解像度、さまざまな照明条件下での感度上昇および/またはより広い視界を提供し得る。例えば、複数のシーンカメラを使用して、任意の方向から装置装着者に接近している対象(例えば、投射物)を検出することができる。追加的にまたは代替的には、複数のシーンカメラを使用する別の考えられる利点は、各カメラでさまざまな光学フィルタを使用して着目対象を分離する性能であり、対象は、色が異なっている、または、電磁放射線のさまざまな波長を用いて選択的に照らされる。
図2は、図1に示したシステム10の破断図および背側を示す。この斜視図を見れば、フレーム11の中に取り付けられたシーンカメラ12とアイトラッキングカメラ13bの間のX、YおよびZ方向の固定空間変位を理解し易いであろう。この変位を計算で利用して、本明細書で他に識別される関連部分に記載される実施形態と同様に、眼凝視―追跡ベクトルを判定することができる。例えば、反応時間測定の間の凝視―追跡は、装置装着者が、環境15(図1)内で、反応を始動させる事象の方に目を向けているか、または、それから離れた方に目を向けているのかを判定するのに使用され得る。対象または画像の方に目を向けていることと、それらから離れた方に目を向けていることの対比は、例えば、装着者が背景に引きつけられているのか、または特有の型の視覚映像の回避があるのかを評価するのに使用され得る。
図2は、さらに、情景解析およびアイトラッキング用処理ユニット17をフレーム11のステム24の中に埋め込むことができる位置の例を示している。この例示的な実施形態では、単一の処理ユニット17は、フィールドプログラマブルゲートアレイ(FPGA)の形であるが、代わりに、処理ユニット17は、特定用途向け集積回路(ASIC)または他の処理デバイスでもよい。
処理ユニット17は、1つ以上のコントローラまたはプロセッサを含んでいてもよく、例えば、システム10の各種構成要素を作動させるための1つ以上のハードウェア構成要素および/またはソフトウェアモジュールである。例えば、処理ユニット17は、光源またはカメラ12、13bを制御するため、受信または処理カメラ12、13bからの信号を受信するおよび/または処理するため、加速度計28からの信号を受信するおよび/または処理するため、無線通信のため、などの目的で別個の(図示せず)または統合したコントローラを含んでいてもよい。任意的に、プロセッサ17の1つ以上の構成要素は、本明細書で他に識別される関連部分に記載される実施形態と同様に、ステム24上で、フレーム11のレンズ支持体、ノーズブリッジおよび/またはアイウェアまたはヘッドウェアの中の他の位置で担送され得る。図2に示される例示的な実施形態では、単一の処理ユニット17は、画像獲得で使用され、反応時間測定用の他のセンサおよび電子機器と同様に、背景識別および眼追跡機能の両方のための処理を行う。
ケーブル26は、カメラ12、13b、電池18(図1)、光源、および/またはフレーム11上の他の構成要素、および処理ユニット17に接続される、個別のケーブルまたはワイヤのセットを含んでいてもよい。例えば、個別のケーブルまたはワイヤのセット(図示せず)は、例えばカメラ12、13bなどから縁沿いに、ケーブル26内でしっかり接続されるまでフレーム11に埋め込まれて、要望通りに、例えばフレーム11の全体的断面を縮小する、および/またはアイウェアまたはヘッドウェア内で任意のヒンジ結合領域または角部27周辺に信号を導く、ことができる。ケーブルおよび小型電子機器が埋め込まれることで、アイウェアまたはヘッドウェアが目立ちにくくなる(例えば、重量、大きさおよび/または装置装着者の潜在的視野の妨害物を縮小する)。
処理ユニット17は、カメラ12、13bからの映像信号、映像信号を編集および/または加工するためのフィルタの測定値などを記憶するためのメモリ(図示せず)をさらに含んでいてもよい。任意的に、フレーム11および/または処理ユニット17は、データを送信する、命令を受信するなどのための1つ以上の送信器および/または受信器(図示せず)を含んでいてもよい。追加的にまたは代替的には、少なくとも何らかの処理は、本明細書で他に識別される関連部分に記載される実施形態と同様に、搭載された処理ユニット17およびフレーム11から離れた構成要素によって実行されてもよい。例えば、システム10は、処理ユニット17および/またはフレーム11から遠く離れた位置にある、例えば、同じ室内、近くのモニタ位置、または、より遠い位置にある1つ以上の受信器、プロセッサおよび/または表示装置(図示せず)を含んでいてもよい。そのような表示装置は、シーンカメラ12またはアイトラッキングカメラ13bによって生成される視界および/またはグラフまたは測定値の表を含み得る。
例えば、加速度計28はフレーム11に設けられてもよく、処理ユニット17の近く、あるいはアイウェアまたはヘッドウェアの中の他の場所に配置される。3つの直交方向まで加速度を検出する多軸加速度計を使用して、装着者の頭部14(図1に示される)の動きならびに地球の重力場に対する総合的な頭部の向きを検出してもよい。加速度計28は、装着者の頭部14が動く際に普通に遭遇する重力加速度(例えば、2G未満のもの)に同調させてもよい。特殊目的設計は、特定の状況のために開発することができることを理解されたい。例えば、高い感度は、乳児または小動物の要件であり得るが、一方、瞬間的な力が、9Gを超える可能性がある軍の戦闘機パイロットの頭部の動きを監視するためには、より大きい範囲が必要であり得る。
図2をさらに参照すると、コネクタ29は、任意的に、フレーム11に設けられて、例えば、コネクタ29によってシステム10に接続される装置から、基準時間情報を備えた電子信号を取得し得る。例えば、マイクロフォン(図示せず)を、コネクタ29に接続して、入力信号を提供してもよく、装着者の眼、眼瞼、頭部および/または瞳孔の反応時間または他の応答(例えば、経時的な応答の大きさ)は、音または一連の音の生成に応答して測定され得る。あるいは、1つ以上のマイクロフォン(図示せず)が、処理ユニット17に接続されるフレーム11に載置されて、例えば、所定の音に関して装着者の環境または装着者を実質的には、継続的にまたは断続的に監視することができる。騒音レベルが閾値に達すると、基準時間は、例えば記録され得る。他の実施形態では、波形認識技術を使用して、特定の単語または語句に応答する反応時間を測定してもよい。例えば、マイクロフォンを使用すれば、装着者の話を聞くことができ、処理ユニット17が、いつ装着者が所定の単語または音を発したのかを検出し、検出事象に伴う基準時間の後、装着者の反応時間または他の応答を測定することができる。追加的にまたは代替的には、処理ユニット17は、マイクロフォン信号を監視して、いつ所定の音が装着者の環境範囲内で生成されたのかを検出することができ、装着者の反応時間または他の応答は、検出事象に伴う基準時間から判定され得る。
他の実質的には連続したまたは断続的なアナログ信号は、例えば位置検出器、ひずみゲージ、空気流量センサ、温度計などによって生成される際に、同様に使用することができ、例えば、信号が選ばれた閾値電圧または閾値電流に達すると、時間基準が生成される。例えば、特有の一連の電圧または電流、あるいは波形に遭遇するときにも、時間基準が生成される。追加的にまたは代替的には、低から高および/または高から低への移行、すなわち、バイナリ移行を伴うデジタル信号を、同様に基準時間入力として使用してもよい。
図2をさらに参照すると、任意的に、アイウェアまたはヘッドウェアに1つ以上の光源25が備えられており、1つ以上の選ばれた時間に突発的に光を発して、例えば、瞳孔応答を誘発するおよび/または装置装着者の反応時間および応答を測定することができる。この例示的な実施形態では、基準時間(すなわち、光源を起動させる)は、光源を制御する処理ユニットによって制御されてもよく、光源25は、発光ダイオード(LED)でもよい。
アイウェアまたはヘッドウェアのフレーム11周辺のさまざまな場所に配置され得る複数の光源が、含まれていてもよい。類似の照明特性を有する複数の光源を使用して、応答を誘発するために装着者の眼をより広範囲に照らすことができる。複数の光源を使用して、片眼ずつ、または同時に両眼で応答を誘発してもよい。追加的にまたは代替的には、異なる特性を有する複数の光源を使用して、例えば、眼にさまざまな波長の光を照射することができる。電磁放射線の波長は、可視スペクトル内であっても、または、可視スペクトル外であってもよい。
1つ以上の光源25を制御するのに使用される電流または電圧は、さらに、振幅または期間を変えて光の強さを制御することができる。例えば、光源の強さを変えることを用いて、瞳孔の応答を誘発する閾値強度(例えば、選択された波長で)を判定してもよい。追加的にまたは代替的には、1つ以上のスピーカ(図示せず)を、例えば、装置にまたは装置から離して設けてもよく、スピーカは、光源25のアクティブ化と共に、またはアクティブ化とは別に所定の音を発し得る。
図3を参照すると、事象の例示的なシーケンスが示され、閃光に応答した装着者の眼の動き、頭部の動きおよび/または瞳孔大きさの反応時間を測定するために用いることができる。この例では、光は、選ばれた時間30aに発光ダイオード30cによって発せられるので、それによって、その後検出される応答と比較され得る基準時間を提供している。例えば、図2に示すように、応答を誘発するのに使用される1つ以上の光源25は、光源25によって発される光が装着者の眼に向けられるように、必要に応じて、アイウェアまたはヘッドウェアに取り付けてもよい。追加的にまたは代替的には、光源は、装置装着者から離れて、または、装置装着者の外面に設けられてもよい。これらの条件下で、閃光の発生時間および光の強さ30bは、1つ以上のシーンカメラで測定されて、必要に応じて、例えば、装着者による1つ以上の応答を検出するおよび/または監視するために基準時間を判定することができる。
図3は、装置装着者の眼の動き31cの例を例示しており、例えば、1つ以上のアイトラッキングカメラ13b(図2に示す)を使用して、装着者の眼上の1つ以上の基準位置(例えば、瞳孔または虹彩の縁部、瞳孔または虹彩の中心、強膜領域の位置など)を追跡することができ、例えば1次元または2次元の眼の動き31cを監視し得る。眼の位置のトレース31bは、そのような1次元の、例えば、垂直または「y」軸(図2に示す)に沿った動きを表している。図示のように、意味のある眼の動きは、光源30aのアクティブ化の後、時間31aで起こり始めている。時間30aに光源を起動させ、時間31aに装着者の眼の有意な動きを検出する間の時間差が、装着者の眼、すなわち、瞳孔および虹彩などの眼の構成要素の反応時間または応答時間32であり、アイトラッキングカメラ画像から識別される。さらに、示すように、装着者の眼の応答の大きさ、例えば1次元以上の次元における位置は、例えば、最初の反応が検出された時間31aの後、経時的に測定され得る。
図3は装着者の頭部の動き33cをモニタリングおよび/または特定する一例も示す。例えば、多軸加速度計28(図2に示す)は1次元以上の次元における頭部14(図1)の相対的変位を測定するために用いられ得る。頭部変位追跡33bは1つの係る次元における(例えば、図2に示すように、水平面内での、および/または垂直軸すなわち「Y」軸に対して垂直な)動きを表す。図示のように、有意な頭部の動きは、時間30aにおける光源の活性化の後、時間33aにおいて生じ始める。光源の活性化30aと時間33aにおける装着者の頭部の有意な動きの検出との間の時間的差異は装着者の頭部の反応時間34である。加えて、所望により、眼31と同様に、装着者の頭部の応答の大きさ(例えば、チューニングの程度、チューニングの速度、その他)は時間の経過とともに(例えば初期反応が検出された時間33a以後)測定され得る。
図3は、増加された光線レベルに対する瞳孔応答35cも表す。なお例えば、1つ以上のアイトラッキングカメラ13b(図2に示す)は、装置装着者の瞳孔の1つまたは両方の大きさおよび/または幾何学的形状を追跡するために用いられ得る。瞳孔大きさ追跡35bは、アイトラッキングカメラ13bおよび関連する処理ユニット17(図2に示す)により測定された1つの眼により占められる面積の変化を表す。光源の活性化30aに応答して装着者の瞳孔は時間35aにおいて収縮を始め、光線がON状態にあるかぎり収縮状態を継続する。時間30aにおける光源の活性化と時間35aにおける有意な瞳孔収縮の開始との間の時間的差異は装着者の瞳孔反応時間36である。加えて、装着者の瞳孔の応答の大きさ(例えば、瞳孔の大きさおよび/または形状)は時間の経過とともに(例えば初期反応が検出された時間35a以後)測定され得る。
図4を参照すると、シーン内の対象の動きに基づいて1つ以上の時間的基準点を生成するためにシーンカメラ12(例えば図1に示す)を用いる例示的な方法が示される。シーンカメラ12(図1に示す)を用いて収集された一連のビデオシーケンスから選択された画像40a、40b、40c、40dが示される。この場合において野球ボール41として表される対象はシーンを通過し、シーンカメラ12により取得された画像において、例えば当該技術分野で周知のマシンビジョン技術を用いて、特定および/または定位され得る。例えば、処理ユニット17(例えば図1に示す)は、既知のテンプレート(例えば既知の対象を、その形状および/または色を特定するデータに関連付けるテーブル)のデータベースを含むか、または係るデータベースに別様にアクセスし得る。このデータベースは、特定の物理的対象にマッピングされた、既知の対象の基準点、基準対象に関する詳細な色および/または形状の情報等を含み得る。それにより、野球ボール41等の遭遇した対象を特定するための十分な情報が処理ユニットに提供される。対象がカメラ画像40a、40b、40c、40dにおいて選択された基準場所または領域42に到達すると、基準時間が登録される。
図4をさらに参照すると、時間追跡43を用いてカメラ画像内の選択された場所42における対象41の存在または不在を可視化することが可能である。この場合、時間追跡における低状態46は、特定可能な対象が選択された場所42において不在であることを表す。逆に、高状態47は、特定可能な対象が選択された場所または領域42において存在することを表す。低高遷移44は、対象がその位置に到着したことに対する時間的基準点を提供する。高低遷移45も、所望により対象の離脱を示す時間的基準点として用いられ得る。同様のストラテジーが、1つ以上のシーンカメラにより生成される画像内で、複数の方向に進行し複数の基準場所または領域を横断する、および/または複数の方向に進行する、複数の対象を追跡するために用いられ得る。
図5を参照すると、音響的基準に基づいて(例えば鋭い音の発生にしたがって)応答時間を測定する追加的な例示的な方法が示される。システム10はマイクロフォン(図示せず)を備え得る。なおこのマイクロフォンは、例えばフレーム12にまたはアイウェアもしくはヘッドウェア上の他の箇所に取り付けられてもよく、または信号がアイウェアもしくはヘッドウェアおよび/または装着者に向かって供給もしくは方向付けられる状態で遠隔に配置されてもよい。このマイクロフォンは音時間トレース50bにより表される音を生成するために用いられ得る。音の発生はトレース50bの振動(すなわち空気中を進行する圧縮波により生成され、マイクロフォンにより検出される)の存在として検出され得る(例えば鋭い音50aの到来が時間的基準点として用いられてもよい)。また特定の波形も、複数の特定的なおよび/または周期的な時間的基準点を生成するために特定され得る。例えば単語の形成に関する音が、特定の単語を特定し1つ以上の時間的基準点をトリガするために、当該技術分野で周知の音声認識技術を用いて特定され得る。
アイウェアまたはヘッドウェアに取り付けられた1つ以上のアイトラッキングカメラ13b(図2)は、眼瞼位置追跡51bを生成するために、装着者の眼瞼の1つまたは両方の動きを追跡するように用いられ得る。この場合、一方の眼瞼の閉塞は時間51aにおいて始まる眼瞼位置追跡51bにおける下向きの偏向として表される。図5において、音の発生(例えば時間50aにおけるマイクロフォンの活性化)と時間51aにおける眼瞼の有意な動きとの間の時間的差異は眼瞼の反応時間52である。
アイウェアまたはヘッドウェアに取り付けられた同一の(または異なる)アイトラッキングカメラ(例えば図1に示すカメラ13aおよび13b)は、例えば1次元以上の次元において眼球位置追跡を生成するために、装着者の眼の1つまたは両方(例えば本明細書における他の実施形態と同様に瞳孔の縁部、虹彩の構造、その他)の基準位置の動きを追跡するように用いられ得る。図5をさらに参照すると、眼球位置時間追跡53bとして1つの眼の1次元における(例えば垂直軸または「y」軸に沿った)位置を表す代表的な追跡が示される。音の発生50aと時間53aにおける眼の有意な動きとの間の時間的差異は眼の反応時間54である。この具体例において、追跡51bにおいて示される虹彩および瞳孔上の眼瞼の閉塞は、アイトラッキングカメラ画像内において虹彩および瞳孔の閲覧が遮断されるため、眼の動きがモニタリングされない短い時間(例えば時間的スパン55)を生成する。
前述のように、多次元加速度計28(図2に示す)はアイウェアまたはヘッドウェアに取り付けられ、頭部の動きをモニタリングするために用いられ得る。前述のように、例えばMEMS技術に基づく加速度計は、3つの直交する次元の全てにおける加速度を略同時にモニタリングし得る。図5をさらに参照すると、選択された次元における頭部の動きを示す代表的な追跡が頭部位置時間追跡56bとして示される。時間50aにおける音の発生と時間56aにおける頭部の有意な動きとの間の時間的差異は頭部の反応または応答時間57である。
図6A〜図6Cを参照すると、1つ以上の仮想的物体の表示(例えば画像、書籍、コンピュータモニタ、モバイル計算装置、テレビ、劇場スクリーン、看板、その他を介して表される)に応答しての眼の構造物の反応時間(および/または所望による他の応答)を測定するための他の例示的な方法が示される。この場合、図6Aおよび図6Bに示すように、ユーザまたは装着者(図示せず。例えばシステム10は図1に図示)をモニタリングするためのアイウェアまたはヘッドウェア装置と、装着者に画像を表示するためのコンピュータディスプレイモニタ60aおよび60bを備えるシステムと、を備えるシステムが提供され得る。図6Bに示すように、モニタ60bは、爆発または他の突然的な画像61の発生を表示させ、例えば図6Aに示すモニタ60aに表される他の以前の画像(図示せず)と置き換えるために、用いられ得る。爆発61の初期画像がモニタ60bに表示された時間は、例えば画像を生成するためのモニタ60に連結されたコンピュータ、プロセッサ、または他の電子装置により提供される基準時間としてシステムにより記録されるかまたは別様に知られ得る。基準時間は例えばシステム10のフレーム12(図1に示す)または他の箇所におけるプロセッサに伝達され得、1つ以上のシーンカメラ12(例えば図1に示す)を用いるシーン画像からの画像認識は、突然的な画像61の第1出現時間を測定しそれにより基準時間を登録するために用いられ得る。爆発表示基準時間は図6Cの画層表示時間追跡66b上において低高遷移66aとして示される。
図6A〜図6Cは仮想的な爆発61の表示に対する装着者の眼62による反応をさらに示す。例えば、仮想的な爆発61の表示に先立ち、アイトラッキングカメラ13aおよび13b(例えば図1に示す)は、室内光または他の環境状態に対して例示的な大きさの瞳孔63aを有する眼62aを示す画像を取得し得る。瞳孔63aは虹彩64により包囲され、次に虹彩64は「白眼」または強膜65により包囲される。爆発61の表示に次いで、アイトラッキングカメラにより取得された画像から眼62bを測定することにより、瞳孔63bの中心点が移動したこと、および/または瞳孔63bが顕著に拡大したことが明らかになり得る。選択された次元における(例えば垂直軸または「y」軸に沿った)眼の動きは図6Cにおける眼球位置時間追跡67bに示され、仮想的な爆発に応答しての初期の眼の動きの発生時間は時間67aにおいて登録される。時間66aにおける爆発61の表示と時間67aにおける眼の有意な動きとの間の時間的差異は眼の反応または応答時間67cである。
加えてまたは代替的に、瞳孔63の大きさはアイトラッキングカメラ13aおよび13b(例えば図1に示す)を用いて追跡され得、図6Cにおける時間追跡68bとして示され得る。なお時間追跡68bにおいて、仮想的な爆発61に応答しての瞳孔拡大の到来時間は68aとして印される。時間66aにおける爆発61の表示と時間68aにおける有意な瞳孔拡大との間の時間的差異は瞳孔反応または応答時間68cである。画像の表示に対する応答が、画像に対する魅力(すなわち集束)または嫌悪を生じさせるかどうかの組み合わせを追跡すること、ならびに瞳孔拡大の度合いを測定することは、例えば心的外傷後ストレス障害の診断を、および/または広告の有効性を測定すること、を支援する。したがって、装着者による複数の応答の反応時間および/または規模の統合は、眼の動きまたは他のパラメータのみをモニタリングするよりも、装着者の挙動を正確に診断、予測、および/または分析するためにモニタリングされ得る。
図7Aおよび図7Bは、反復的な反応時間測定を実行するための本明細書に説明するシステムおよび方法の能力を示す。この場合、システム(図1のシステム10等)の装置装着者は、図7Aに示すように、ディスプレイモニタ70のスクリーンにおいて仮想的物体(例えばコンピュータカーソル71)を視覚的に追跡するよう要求され得る。装置装着者は、カーソル71が1つの時間的期間にわたり一連の位置72a、72b、72c、72d、72eを進められるにつれてカーソル71を追随するよう命令され得る。カーソル位置72a、72b、72c、72d、72eが変化される時間は表示を生成するコンピュータに知られ、システム10に伝達され得る。また1つ以上のシーンカメラ12(例えば図1に示す)を用いる画像認識は一連の基準時間を生成するためにカーソル位置における移動を測定するために用いられ得る。
画像が2次元スクリーン70上に表示される図7Aをさらに参照すると、カーソル位置72a、72b、72c、72d、72eは、スクリーン70の平面内で一対の直交座標(例えば「X」(例えば水平)次元および「Y」(例えば垂直)次元を表す)により記述され得る。X方向における動きは、図7Bに示すように、X軸変位に対する時間追跡73を生成するために用いられ得る。眼の動きは、アイトラッキングカメラ13aおよび13b(例えば図1に示される)を用いて追跡され得る。X方向における眼による変位は、図7Bにも示すように、眼球位置時間追跡74を生成するために用いられ得る。X方向におけるカーソルの動きの発生時間とX方向における眼の対応する初動時間との間の差異は一連のX方向反応時間75a、75b、75cを生成するために用いられ得る。
同様に、Y方向における動きは、Y軸変位に対する眼球位置時間追跡76を生成するために用いられ得る。Y方向において測定される眼による変位は、図7Bにも示すように、追加的な眼球位置時間追跡77を生成するために用いられ得る。Y方向におけるカーソルの動きの発生時間とY方向における眼の対応する初動時間との間の差異は装置装着者の一連のY方向反応時間78a、78b、78cを生成するために用いられ得る。水平方向および垂直方向における反応時間の差異は筋疾患または神経疾患の存在を示し得る。長期間にわたるX方向反応時間およびY方向反応時間の変化は、例えば、疲労を評価するために用いられ得る。
代表的な実施形態の前述の開示は例示目的および説明目的のために提示されてきた。係る開示は、全てを網羅することを意図するものでも、本発明を、開示された正確な形に限定することを意図するものでもない。本明細書に説明する実施形態の多くの変形例および改変例は、上記の開示を考慮すれば、当業者には明らかになるであろう。
さらに、代表的な実施形態を説明するにあたり、本明細書では、方法および/またはプロセスを特定順序のステップとして提示してきた。しかし、これらの方法またはプロセスが、本明細書で説明される特定順序のステップに依存しないかぎり、これらの方法またはプロセスは説明する特定順序のステップに限定されるべきではない。当業者が理解するように、他の順序のステップも可能である。したがって、本明細書で説明される特定順序のステップは請求項に対する限定であると解釈すべきではない。
本発明は様々な改変例および代替的形態の余地があるものの、本発明の具体的な例が、図面において示され、本明細書において詳細に説明されてきた。しかし、本発明が、開示された特定の形態または方法に限定されることを意図するものではなく、むしろ本発明は添付の請求項の範囲に含まれる全ての改変例、等価物、および代替物を含むことを理解すべきである。

Claims (85)

  1. 対象の応答を決定するためのシステムであって、
    装着者の頭部に装着されるように構成された装置と、
    前記装着者の第1の眼のアイトラッキング画像をキャプチャするために前記第1の眼に向けられた前記装置に取り付けられたアイトラッキングカメラと、
    前記アイトラッキングカメラ画像内で前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラに連結された1つ以上のプロセッサとを備え、前記1つ以上のプロセッサは、前記外部事象に対する前記第1の眼、眼瞼、および瞳孔の応答の大きさおよび反応時間の少なくとも1つを決定するために、外部事象の基準時間を特定し前記基準時間後に前記アイトラッキング画像を分析するように構成されている、
    システム。
  2. 前記1つ以上のプロセッサは、前記アイトラッキング画像からのa)1次元以上の次元における前記瞳孔および虹彩の少なくとも1つの位置、b)前記瞳孔の大きさ、c)前記瞳孔の形状、およびd)前記眼瞼の位置、から選択された2つ以上のパラメータを特定するように構成され、前記1つ以上のプロセッサは、前記装着者の応答の大きさおよび反応時間の少なくとも1つを決定するために前記2つ以上のパラメータの変化を検出する、請求項1に記載のシステム。
  3. 前記装着者の環境を閲覧し前記環境のシーンカメラ画像をキャプチャするために前記装着者から離れる向きに前記装置に取り付けられたシーンカメラをさらに備え、前記1つ以上プロセッサは前記シーンカメラ画像において検出された変化から基準時間を特定する、請求項1に記載のシステム。
  4. 前記1つ以上のプロセッサは、前記シーンカメラ画像から前記シーンカメラの視野内で対象の位置を特定するために対象認識アルゴリズムを用い、前記1つ以上のプロセッサは、所定の対象が前記シーンカメラ画像における所定の場所に存在している時間、または存在していない時間に基づいて基準時間を特定する、請求項3に記載のシステム。
  5. 前記対象認識アルゴリズムは前記対象の形状に少なくとも部分的に基づいて前記対象を特定する、請求項4に記載のシステム。
  6. 前記対象認識アルゴリズムは前記対象の色に少なくとも部分的に基づいて前記対象を特定する、請求項4に記載のシステム。
  7. 前記対象認識アルゴリズムは前記対象の輝度に少なくとも部分的に基づいて前記対象を特定する、請求項4に記載のシステム。
  8. 前記1つ以上のプロセッサは、基準時間を生成するために、前記シーンカメラ画像における選択された位置における対象の有無を特定するバイナリ信号を生成するように構成されている、請求項4に記載のシステム。
  9. 前記1つ以上のプロセッサは、前記装着者の頭部の動きを決定するために、シーンの動きに関して前記シーンカメラ画像を分析するように構成されている、請求項3に記載のシステム。
  10. 前記1つ以上のプロセッサは、前記装着者の頭部の応答の大きさおよび反応時間の少なくとも1つを決定するために、基準時間と前記装着者の頭部の動きとを用いるように構成されている、請求項9に記載のシステム。
  11. 前記装着者の環境内で音を検出するためのマイクロフォンをさらに備え、前記1つ以上のプロセッサは、前記装着者の環境からの所定の音を基準時間として特定するために前記マイクロフォンに連結されている、請求項1に記載のシステム。
  12. デジタル信号を生成するための音発生器をさらに備え、前記1つ以上のプロセッサは、前記音発生器の活性化を基準時間として特定するために前記音発生器に連結されている、請求項1に記載のシステム。
  13. アナログ信号を生成するための環境センサをさらに備え、前記1つ以上のプロセッサは、前記環境センサの活性化を基準時間として特定するために前記環境センサに連結されている、請求項1に記載のシステム。
  14. 前記アイトラッキングカメラは、電荷結合素子(CCD)および相補型金属酸化物半導体(CMOS)検出器の1つを備える、請求項1に記載のシステム。
  15. 前記プロセッサはフィールドプログラマブルゲートアレイ(FPGA)および特定用途向け集積回路(ASIC)の1つを備える、請求項1に記載のシステム。
  16. 前記装着者の前記環境の画像をキャプチャするために少なくとも1つの追加的なシーンカメラをさらに備える、請求項1に記載のシステム。
  17. 前記装着者の第2の眼のアイトラッキング画像をキャプチャするために前記第2の眼に向けられた前記装置に取り付けられた第2アイトラッキングカメラをさらに備え、前記1つ以上のプロセッサは前記外部事象に対する前記第2の眼、前記眼瞼、および前記瞳孔の応答の大きさおよび反応時間の少なくとも1つを決定するために前記基準時間後に前記アイトラッキング画像を分析する、請求項1に記載のシステム。
  18. 前記第1の眼に向かって光を放出するために前記装置に取り付けられた光源をさらに備え、前記1つ以上のプロセッサは、前記光源の活性化を基準時間として特定するために前記光源に連結されている、請求項1に記載のシステム。
  19. 前記光源は1つ以上の発光ダイオード(LED)を備える、請求項18に記載のシステム。
  20. 前記第1の眼に向かって光を放出するために前記装置に取り付けられた1つ以上の追加的な光源をさらに備える、請求項18に記載のシステム。
  21. 前記第2の眼に向かって光を放出するために前記装置に取り付けられた1つ以上の追加的な光源をさらに備える、請求項18に記載のシステム。
  22. 輝度レベルを調節しそれにより所望の輝度レベルが提供されるよう前記光源を変調するために前記光源に連結されたコントローラをさらに備え、前記1つ以上のプロセッサは、前記光源の活性化時における前記第1の眼による応答を測定するために前記コントローラに連結されている、請求項18に記載のシステム。
  23. 前記コントローラは、前記所望の輝度レベルを提供するために、前記光源への電流および電圧の少なくとも1つの振幅変調を行うように構成されている、請求項22に記載のシステム。
  24. 前記コントローラは、前記所望の輝度レベルを提供するために、前記光源への電流および電圧の少なくとも1つのパルス幅変調を行うように構成されている、請求項22に記載のシステム。
  25. 前記装置に取り付けられた加速度計をさらに備え、前記1つ以上のプロセッサは、前記装置および前記装着者の頭部の動きをモニタリングするために前記加速度計に連結されている、請求項1に記載のシステム。
  26. 前記1つ以上のプロセッサは、前記装着者の頭部の加速度を3次元以下の次元において測定するために前記加速度計に連結されている、請求項25に記載のシステム。
  27. 前記1つ以上のプロセッサは、前記装着者の頭部の応答の大きさおよび反応時間の少なくとも1つを決定するために、前記基準時間と測定された加速度とを用いるように構成されている、請求項26に記載のシステム。
  28. 対象の応答を決定するためのシステムであって、
    装着者の頭部に装着されるように構成された装置と、
    前記装着者の第1の眼のアイトラッキング画像をキャプチャするために前記第1の眼に向けられた前記装置に取り付けられたアイトラッキングカメラと、
    前記装着者の環境を閲覧し前記環境のシーンカメラ画像をキャプチャするために前記装着者から離れる向きに前記装置に取り付けられたシーンカメラと、
    前記アイトラッキング画像における前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラに連結され、前記シーンカメラ画像から前記装着者の前記環境における所定の事象を特定するために前記シーンカメラに連結された、1つ以上のプロセッサと、を備え、前記1つ以上のプロセッサは、前記所定の事象に対する前記装着者の応答の大きさおよび反応時間の少なくとも1つを決定するために、前記所定の事象が前記シーンカメラ画像から特定された基準時間を特定し前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化をモニタリングするように構成されている、
    システム。
  29. 前記1つ以上のプロセッサは、前記シーンカメラ画像から前記装着者の前記環境における対象を特定するために前記シーンカメラ画像をモニタリングするように構成され、前記1つ以上のプロセッサは、前記対象が前記シーンカメラ画像における所定の場所に存在または不在であるときを特定するために前記対象をモニタリングし、前記基準時間は前記対象が前記所定の場所に存在または不在であることを前記1つ以上のプロセッサが特定した時間である、請求項28に記載のシステム。
  30. 既知の対象を前記それぞれの対象に関連する形状、色、および大きさの少なくとも1つにマッピングするテンプレートのデータベースをさらに備え、前記1つ以上のプロセッサは、前記シーンカメラ画像から特定された前記対象の前記形状、前記色、および前記大きさの少なくとも1つに基づいて前記対象を特定するために前記データベースに連結されている、請求項29に記載のシステム。
  31. ディスプレイを備える電子装置をさらに備え、前記1つ以上のプロセッサは、所定の画像が前記ディスプレイに表示されたときを特定するために前記シーンカメラ画像をモニタリングするように構成され、前記所定の画像が表示される初期時間は前記基準時間を含む、請求項28に記載のシステム。
  32. 前記装着者の頭部の方向を提供するために前記装置に取り付けられたセンサをさらに備え、前記1つ以上のプロセッサは、前記所定の事象に対する前記装着者の頭部の応答の大きさおよび反応時間の少なくとも1つを決定するために、前記基準時間後に前記装着者の頭部の前記方向の変化をモニタリングするように前記センサに連結されている、請求項28に記載のシステム。
  33. 前記1つ以上のプロセッサは、前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために、前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上における前記変化に基づいて前記装着者の頭部の前記反応時間と前記装着者の前記反応時間とを比較するように構成されている、請求項32に記載のシステム。
  34. 前記センサは加速度計を含む、請求項32に記載のシステム。
  35. 前記解剖学的特徴の1つ以上における前記変化は、前記第1の眼の前記瞳孔または前記虹彩の位置の変化、前記瞳孔の大きさの変化、および前記第1の眼の前記眼瞼の位置の変化、の少なくとも1つを含む、請求項28に記載のシステム。
  36. 前記1つ以上のプロセッサの少なくとも1つは前記装着者により装着される前記装置に取り付けられている、請求項28に記載のシステム。
  37. 前記1つ以上のプロセッサの少なくとも1つは前記装着者により装着される前記装置から遠隔に配置されている、請求項28に記載のシステム。
  38. 前記装置から遠隔に配置された前記少なくとも1つのプロセッサと無線通信するために送信器を前記装置にさらに備える、請求項37に記載のシステム。
  39. 対象の応答を決定するためのシステムであって、
    装着者の頭部に装着されるように構成された装置と、
    前記装着者の第1の眼のアイトラッキング画像をキャプチャするために前記第1の眼に向けられた前記装置に取り付けられたアイトラッキングカメラと、
    前記装着者の環境内で音を検出するためのマイクロフォンと、
    前記アイトラッキング画像における前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラに連結され、前記装着者の前記環境内において生成される所定の音を検出するために前記マイクロフォンに連結された、1つ以上のプロセッサと、を備え、前記1つ以上のプロセッサは、前記所定の音に対する前記装着者の応答の大きさおよび反応時間の少なくとも1つを決定するために、所定の音が検出された基準時間を特定し前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化をモニタリングするように構成されている、
    システム。
  40. 前記マイクロフォンは前記装着者により発せられる音を取得するために前記装置に取り付けられ、前記1つ以上のプロセッサは前記装着者が所定の音を発したときを特定するように構成されている、請求項39に記載のシステム。
  41. 反応時間を決定するためのシステムであって、
    装着者の頭部に装着されるように構成された装置と、
    前記装着者の第1の眼のアイトラッキング画像をキャプチャするために前記第1の眼に向けられた前記装置に取り付けられたアイトラッキングカメラと、
    前記装着者に向かって検出可能な信号を放出するための発生器と、
    前記装着者の頭部の方向を提供するために前記装置に取り付けられたセンサと、
    前記アイトラッキング画像における前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラに連結され、前記装着者の頭部の前記方向をモニタリングするために前記センサに連結された、1つ以上のプロセッサと、を備え、前記1つ以上のプロセッサは、前記第1の眼の反応時間を決定するために前記発生器が活性化された基準時間を特定し前記基準時間後に前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化をモニタリングするように構成され、前記装着者の頭部の反応時間を決定するために前記基準時間後に前記装着者の頭部の前記方向の変化をモニタリングする、
    システム。
  42. 前記1つ以上のプロセッサは、前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために、前記装着者の頭部の前記反応時間と前記第1の眼の前記反応時間とを比較するように構成されている、請求項41に記載のシステム。
  43. 前記発生器は活性化時に前記第1の眼に向かって光を放出するために前記装置に取り付けられた光源を備える、請求項41に記載のシステム。
  44. 前記発生器は所定の音を生成するために前記装置に取り付けられたスピーカを備える、請求項41に記載のシステム。
  45. 前記1つ以上のプロセッサは前記発生器を活性化させるために前記発生器に連結されたコントローラを備える、請求項41に記載のシステム。
  46. 前記コントローラは前記発生器を断続的に活性化させそれにより一連の基準時間が提供されるよう構成され、前記1つ以上のプロセッサは、前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために前記基準時間のそれぞれの後に前記装着者の頭部の前記反応時間と前記第1の眼の前記反応時間とを比較するように構成されている、請求項45に記載のシステム。
  47. 前記コントローラは周期的にまたはランダムに前記発生器を活性化させるように構成されている、請求項46に記載のシステム。
  48. 前記コントローラに連結され、遠隔場所からコマンドを受信するように構成された受信器を前記装置にさらに備え、前記コントローラは前記受信器により受信されたコマンドに基づいて前記発生器を活性化させるように構成されている、請求項46に記載のシステム。
  49. 対象の応答を決定するための方法であって、
    装着者の第1の眼に向けられたアイトラッキングカメラを備える装置を前記装着者の頭部にすることと、
    基準時間を決定するために入力を利用することと、
    前記アイトラッキングカメラにより取得されたアイトラッキングカメラ画像内で前記装置を装着する前記人物の解剖学的構造の位置を決定することと、
    前記装着者の眼、眼瞼、および瞳孔の応答の大きさおよび反応時間の少なくとも1つを決定するために、前記基準時間と前記アイトラッキングカメラ画像から決定された前記位置とを用いることと、
    を含む方法。
  50. 前記装置は前記装着者の環境のシーンカメラ画像を取得するために前記装着者から離れる向きにシーンカメラを備える、請求項49に記載の方法。
  51. 前記シーンカメラ画像において検出された前記装着者の環境の変化から基準時間を決定することをさらに含む、請求項50に記載の方法。
  52. 前記入力は、視野内で対象の位置を特定するために対象認識を用い、それにより前記基準時間を提供することを含む、請求項51に記載の方法。
  53. 前記対象認識は前記対象の形状に少なくとも部分的に基づく、請求項52に記載の方法。
  54. 前記対象認識は前記対象の色に少なくとも部分的に基づく、請求項52に記載の方法。
  55. 前記対象認識は前記対象の輝度に少なくとも部分的に基づく、請求項52に記載の方法。
  56. 基準時間は、前記シーンカメラ画像内の選択された位置における対象の有無に基づいて特定される、請求項51に記載の方法。
  57. 前記シーンカメラ画像における動きは前記装着者の頭部の動きを決定するために用いられる、請求項51に記載の方法。
  58. 前記装着者の頭部の動きは、基準時間を特定し前記装着者の頭部の反応時間を決定するために用いられる、請求項57に記載の方法。
  59. マイクロフォンが基準時間入力として用いられる、請求項49に記載の方法。
  60. デジタル信号が基準時間入力として用いられる、請求項49に記載の方法。
  61. アナログ信号を生成する環境センサが基準時間入力として用いられる、請求項49に記載の方法。
  62. 少なくとも2つのシーンカメラが前記環境のシーンカメラ画像を取得するために用いられる、請求項49に記載の方法。
  63. 前記装着者の第2の眼の位置を追跡するために第2アイトラッキングカメラを利用することをさらに含む、請求項49に記載の方法。
  64. 前記第1の眼に光を誘導するために光源を活性化することをさらに含み、前記光源の活性化は基準時間を含む、請求項49に記載の方法。
  65. 前記第1の眼に光を誘導するために1つ以上の光源を活性化することをさらに含み、前記1つ以上の光源の活性化は1つ以上の基準時間を含む、請求項64に記載の方法。
  66. 前記装着者の第2の眼に光を誘導するために1つ以上の光源を活性化することをさらに含む、請求項65に記載の方法。
  67. 輝度レベルを調節しそれにより前記第1の眼による応答を測定するために所望の輝度レベルが提供されるよう前記光源を変調することをさらに含む、請求項65の方法。
  68. 前記光源は、前記所望の輝度レベルを提供するために、前記光源への電流および電圧の少なくとも1つの振幅変調を少なくとも部分的に用いて変調される、請求項67に記載の方法。
  69. 前記光源は、前記所望の輝度レベルを提供するために、前記光源への電流および電圧の少なくとも1つのパルス幅変調を少なくとも部分的に用いて変調される、請求項67に記載の方法。
  70. 3次元以下の次元において前記装着者の頭部の加速度を測定することをさらに含む、請求項49に記載の方法。
  71. 前記装着者の頭部の反応時間を決定するために基準時間と測定された加速度とを用いることをさらに含む、請求項70に記載の方法。
  72. 対象の応答を決定するための方法であって、
    装着者から離れる向きにシーンカメラおよび前記装着者の第1の眼に向けられたアイトラッキングカメラを備える装置を前記装着者の頭部にすることと、
    前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラからのアイトラッキング画像をモニタリングすることと、
    前記装着者の前記環境における所定の事象を特定するために前記シーンカメラからのシーンカメラ画像をモニタリングすることと、
    所定の事象が前記シーンカメラ画像から特定された基準時間を特定することと、
    前記所定の事象に対する前記装着者の応答の大きさおよび反応時間の少なくとも1つを決定するために前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化をモニタリングすることと、
    を含む方法。
  73. 前記シーンカメラ画像は前記装着者の前記環境における対象を特定するためにモニタリングされ、基準時間を特定することは前記対象が前記シーンカメラ画像における所定の場所に存在または不在であるときを特定することを含む、請求項72に記載の方法。
  74. 前記対象は、既知の対象を前記それぞれの対象に関連する形状、色、および大きさの少なくとも1つにマッピングするテンプレートのデータベースにアクセスすることにより特定される、請求項73に記載の方法。
  75. ディスプレイを備える電子装置を提供することをさらに含み、前記シーンカメラ画像は所定の画像が前記ディスプレイ上に提示されるときを特定するためにモニタリングされ、前記所定の画像が表示される初期時間は前記基準時間を含む、請求項72に記載の方法。
  76. 前記所定の事象に対する前記装着者の頭部の反応時間を決定するために前記基準時間後に前記装着者の頭部の方向をモニタリングすることと、前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化に基づいて前記装着者の頭部の前記反応時間と前記装着者の前記反応時間とを比較することと、をさらに含む、請求項72に記載の方法。
  77. 対象の応答を決定するための方法であって、
    装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備える装置を前記装着者の頭部にすることと、
    前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラからのアイトラッキング画像をモニタリングすることと、
    前記装着者の環境内で所定の事象を特定するために前記環境内の音をモニタリングすることと、
    所定の音が前記環境内で検出された基準時間を特定することと、
    前記所定の音に対する前記装着者の応答の大きさおよび反応時間の少なくとも1つを決定するために前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化をモニタリングすることと、
    を含む方法。
  78. 前記環境内の前記音は前記装置のマイクロフォンを用いてモニタリングされる、請求項77に記載の方法。
  79. 反応時間を決定するための方法であって、
    装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備える装置を前記装着者の頭部にすることと、
    前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラからのアイトラッキング画像をモニタリングすることと、
    前記装着者の頭部の方向をモニタリングすることと、
    所定の事象を特定するために前記装着者および前記装着者の環境の少なくとも1つをモニタリングすることと、
    所定の事象が検出された基準時間を特定することと、
    前記所定の事象に対する前記装着者の反応時間を決定するために前記基準時間後に前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化を検出することと、
    前記所定の事象に対する前記装着者の頭部の反応時間を決定するために前記基準時間後に前記装着者の頭部の方向の変化を検出することと、
    を含む方法。
  80. 前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために前記装着者の頭部の前記反応時間と前記第1の眼の前記反応時間とを比較することをさらに含む、請求項79に記載の方法。
  81. 反応時間を決定するための方法であって、
    装着者の眼の少なくとも1つに向けられたアイトラッキングカメラを備える装置を前記装着者の頭部にすることと、
    前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラからのアイトラッキング画像をモニタリングすることと、
    基準時間において前記装着者に向かって検出可能な信号を放出することと、
    前記検出可能な信号に対する前記装着者の反応時間を決定するために前記基準時間後に前記アイトラッキング画像において特定された前記解剖学的特徴の1つ以上の変化を検出することと、
    前記検出可能な信号に対する前記装着者の頭部の反応時間を決定するために前記基準時間後に前記装着者の頭部の前記方向の変化を検出することと、
    を含む方法。
  82. 前記装着者の身体的状態または心理的状態の少なくとも1つを決定するために前記装着者の頭部の前記反応時間と前記第1の眼の前記反応時間とを比較することをさらに含む、請求項81に記載の方法。
  83. 検出可能な信号を放出することは前記第1の眼に向かって光を放出することを含む、請求項81に記載の方法。
  84. 検出可能な信号を放出することは前記装着者に向かって音を生成することを含む、請求項81に記載の方法。
  85. 応答の大きさを決定するためのシステムであって、
    装着者の頭部に装着されるように構成された装置と、
    前記装着者の第1の眼のアイトラッキング画像をキャプチャするために前記第1の眼に向けられた前記装置に取り付けられたアイトラッキングカメラと、
    前記アイトラッキングカメラ画像内で前記第1の眼の解剖学的構造を特定するために前記アイトラッキングカメラに連結された1つ以上のプロセッサと、を備え、前記1つ以上のプロセッサは、前記外部事象に対する前記第1の眼、眼瞼、および瞳孔の応答の大きさを決定するために、外部事象の基準時間を特定し前記基準時間後に前記アイトラッキング画像を分析するように構成されている、
    システム。
JP2014512906A 2011-05-20 2012-05-19 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法 Active JP6129161B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/113,006 US8911087B2 (en) 2011-05-20 2011-05-20 Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US13/113,006 2011-05-20
PCT/US2012/038744 WO2012162205A2 (en) 2011-05-20 2012-05-19 Systems and methods for measuring reactions of head, eyes, eyelids and pupils

Publications (3)

Publication Number Publication Date
JP2014515291A true JP2014515291A (ja) 2014-06-30
JP2014515291A5 JP2014515291A5 (ja) 2015-07-09
JP6129161B2 JP6129161B2 (ja) 2017-05-17

Family

ID=47174698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014512906A Active JP6129161B2 (ja) 2011-05-20 2012-05-19 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法

Country Status (6)

Country Link
US (3) US8911087B2 (ja)
EP (1) EP2710515B1 (ja)
JP (1) JP6129161B2 (ja)
CN (1) CN103748599B (ja)
CA (1) CA2836779C (ja)
WO (1) WO2012162205A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021260829A1 (ja) * 2020-06-24 2021-12-30
WO2021260830A1 (ja) * 2020-06-24 2021-12-30 日本電信電話株式会社 情報入力装置

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
TW201330827A (zh) * 2012-01-19 2013-08-01 Utechzone Co Ltd 依據駕駛反射動作之注意力偵測裝置及其方法
US9188644B1 (en) 2012-09-25 2015-11-17 The Boeing Company Latency measurement system and method
US9514664B2 (en) * 2012-09-25 2016-12-06 The Boeing Company Measuring latency in a test system using captured images
US20190272029A1 (en) * 2012-10-05 2019-09-05 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
JP6068964B2 (ja) * 2012-12-07 2017-01-25 公立大学法人首都大学東京 人の状態推定装置およびそれを備えた輸送機器
KR102391405B1 (ko) * 2013-03-15 2022-04-27 퍼셉트 테크놀러지스, 아이엔씨. 개선된 광학적 및 지각적 디지털 안경류
US11181740B1 (en) 2013-03-15 2021-11-23 Percept Technologies Inc Digital eyewear procedures related to dry eyes
WO2014168492A1 (en) * 2013-04-10 2014-10-16 Auckland Uniservices Limited Head and eye tracking
WO2014179558A1 (en) * 2013-05-01 2014-11-06 Musc Foundation For Research Development Monitoring neurological functional status
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) * 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) * 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
DE102013212877A1 (de) * 2013-07-02 2015-01-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung des Zustandes eines Kraftfahrzeugführers
EP2821839A1 (de) * 2013-07-03 2015-01-07 Airbus Defence and Space GmbH HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US9851568B2 (en) 2013-09-25 2017-12-26 Logitech Europe S.A. Retinal display projection device
AU2014331520B2 (en) * 2013-10-03 2018-11-01 Neuroscience Research Australia (Neura) Improved systems and methods for diagnosis and therapy of vision stability dysfunction
WO2015060869A1 (en) * 2013-10-25 2015-04-30 Intel Corporation Dynamic optimization of light source power
US10359839B2 (en) * 2013-11-08 2019-07-23 Sony Corporation Performing output control based on user behaviour
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
JP6462209B2 (ja) 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
US20150289813A1 (en) * 2014-04-15 2015-10-15 Eugene Lipov System and Method for the Biological Diagnosis of Post-Traumatic Stress Disorder: PTSD Electronic Device Application
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN105100580B (zh) * 2014-05-12 2020-10-02 索尼公司 监视系统以及用于监视系统的控制方法
US10206568B2 (en) * 2014-05-23 2019-02-19 Natus Medical Incorporated Head mountable device for measuring eye movement
CN106572795A (zh) * 2014-07-02 2017-04-19 皇家飞利浦有限公司 眼睛状况确定系统
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
US9946361B2 (en) 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
US10806341B2 (en) * 2014-08-20 2020-10-20 California Baptist University Systems and methods for monitoring eye health
EP3182878B1 (en) * 2014-08-21 2020-06-17 Cagno, Andrea Apparatus for detecting, diagnosing and exercising an individual's functionalities
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
CN104325930A (zh) * 2014-11-05 2015-02-04 无锡悟莘科技有限公司 一种防止疲劳驾驶的汽车控制系统
CN106922182B (zh) * 2014-11-14 2020-01-24 依视路国际公司 确定眼睛的显著点的位置和跟踪眼镜配戴者的注视方向的设备和方法
TWI554246B (zh) * 2014-12-23 2016-10-21 國立交通大學 雙瞳孔量測方法以及雙瞳孔量測裝置
EP3954270A1 (en) 2015-01-20 2022-02-16 Green C.Tech Ltd Method and system for automatic eyesight diagnosis
US9851564B2 (en) * 2015-01-20 2017-12-26 Microsoft Technology Licensing, Llc Head-mounted display device with protective visor
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
KR102322029B1 (ko) * 2015-03-27 2021-11-04 삼성전자주식회사 생체 정보 획득 방법 및 이를 위한 장치
US11160479B2 (en) * 2015-04-23 2021-11-02 Sony Corporation Information processing device and control method
US11158403B1 (en) * 2015-04-29 2021-10-26 Duke University Methods, systems, and computer readable media for automated behavioral assessment
KR101679969B1 (ko) * 2015-05-07 2016-12-06 현대자동차주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법
CN108024768B (zh) * 2015-05-27 2021-02-05 斋藤粮三 可移动终端压力评估程序及包含该程序的可移动终端
TWI580396B (zh) * 2015-06-01 2017-05-01 國立交通大學 視覺生理用頭戴式系統
TWI616188B (zh) * 2015-06-04 2018-03-01 神經元科技股份有限公司 腦疾病快速篩檢裝置
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
USD772343S1 (en) * 2015-06-22 2016-11-22 Stichting Preventieve Merkenbescherming Social game
US9921645B2 (en) * 2015-06-29 2018-03-20 Logitech Europe S.A. Retinal projection device and method for activating a display of a retinal projection device
CN106333643B (zh) * 2015-07-10 2020-04-14 中兴通讯股份有限公司 用户健康的监测方法、监测装置以及监测终端
FR3041230B1 (fr) * 2015-09-18 2022-04-15 Suricog Procede de determination de parametres anatomiques
CN105380590B (zh) * 2015-10-27 2017-11-07 杭州镜之镜科技有限公司 一种具有眼位检测功能的设备及其实现方法
CN108369338B (zh) * 2015-12-09 2021-01-12 快图有限公司 图像采集系统
CN105740847A (zh) * 2016-03-02 2016-07-06 同济大学 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
JP6920329B2 (ja) * 2016-03-07 2021-08-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. バイオメトリックセキュリティのための青色光調節
EP4273615A3 (en) 2016-04-08 2024-01-17 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
WO2017205789A1 (en) * 2016-05-27 2017-11-30 Pelz Jeff B System and method for eye tracking
CN107536598A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 双目视觉瞳孔定位方法及相关设备
WO2018013398A1 (en) * 2016-07-11 2018-01-18 Jardeleza Maria Stephanie Device, method and system for vertigo therapy
CN106037626B (zh) * 2016-07-12 2017-11-03 吴越 一种头戴式视野检查仪
US10043420B1 (en) * 2016-08-04 2018-08-07 Aldo Catsaros Screwless system for supporting articles
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer
CN106175663A (zh) * 2016-08-29 2016-12-07 马敏 眼部检测装置、眼部检测方法及系统
WO2018057947A1 (en) 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
RU2638437C1 (ru) * 2016-09-22 2017-12-13 Автономная некоммерческая организация высшего образования "Межрегиональный открытый социальный институт" Устройство оценки времени реакции человека на движущийся объект
US11064882B2 (en) 2016-09-23 2021-07-20 Nova-Sight Ltd. Screening apparatus and method
EP3300655A1 (en) * 2016-09-28 2018-04-04 Stichting IMEC Nederland A method and system for emotion-triggered capturing of audio and/or image data
CN109863502A (zh) * 2016-11-10 2019-06-07 纽诺创科技术公司 将图像拍摄设备与人类用户相关联以分析认知能力的方法和系统
WO2018100589A1 (en) * 2016-11-30 2018-06-07 Secretary, Department Of Biotechnology Ocular screening
CN106669139B (zh) * 2016-12-03 2019-12-27 浙江大学台州研究院 一种电竞比赛选手的辅助选拔方法
CN106725530B (zh) * 2016-12-03 2019-12-24 深圳市博沃思文化传播有限公司 基于视线的心理辅助分析系统和方法
JP6344747B2 (ja) * 2016-12-26 2018-06-20 ヤマハ発動機株式会社 演算処理装置及び人の状態推定方法
CA3048068A1 (en) * 2017-01-10 2018-07-19 Biostream Technologies, Llc Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality
US10368740B2 (en) * 2017-02-03 2019-08-06 Sangmyung University Industry-Academy Cooperation Foundation Method and system for noncontact vision-based 3D cognitive fatigue measuring by using task evoked pupillary response
EP4328865A3 (en) 2017-02-23 2024-06-05 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CN106725290A (zh) * 2017-03-10 2017-05-31 三峡大学 一种缆机驾驶员应激能力测试方法
CN106773069A (zh) * 2017-03-30 2017-05-31 郭田生 一种自动调节光照强度与频率来缓解心理疾病的vr眼镜
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US9910298B1 (en) 2017-04-17 2018-03-06 Vision Service Plan Systems and methods for a computerized temple for use with eyewear
RU175661U1 (ru) * 2017-05-05 2017-12-13 Автономная некоммерческая организация высшего образования "Межрегиональный открытый социальный институт" Устройство тестирования сенсомоторной реакции
RU2668463C1 (ru) * 2017-07-03 2018-10-01 Автономная некоммерческая организация высшего образования"Межрегиональный открытый социальный институт" Способ тестирования реакции человека на движущийся объект
CN107238003A (zh) * 2017-07-19 2017-10-10 广州新诚生物科技有限公司 智能头灯
CN107392153B (zh) * 2017-07-24 2020-09-29 中国科学院苏州生物医学工程技术研究所 人体疲劳度判定方法
CN107519622A (zh) * 2017-08-21 2017-12-29 南通大学 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN107518871A (zh) * 2017-10-09 2017-12-29 中山大学中山眼科中心 眼组织测量装置及系统
CN107944355B (zh) * 2017-11-13 2018-08-28 厦门云顶伟业信息技术有限公司 大数据采集和处理方法
CN109839653B (zh) * 2017-11-29 2023-06-23 中国辐射防护研究院 一种个人眼晶体剂量测量装置及测量方法
WO2019111257A1 (en) * 2017-12-07 2019-06-13 Eyefree Assisting Communication Ltd. Communication methods and systems
USD898385S1 (en) * 2017-12-29 2020-10-13 Qiang Xu Lighted glasses
US10380801B1 (en) * 2018-02-07 2019-08-13 Rockwell Collins, Inc. Head wearable device, system, and method for displaying teamed asset information
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10949969B1 (en) * 2018-03-20 2021-03-16 Welch Allyn, Inc. Pupil edge region removal in digital imaging
US12004846B2 (en) 2018-04-10 2024-06-11 Cerenetex, Inc. Non-invasive systems and methods for the improved evaluation of patients suffering from undiagnosed headaches
CA3096680A1 (en) 2018-04-10 2019-10-17 Cerenetex, Inc. Systems and methods for the identification of medical conditions, and determination of appropriate therapies, by passively detecting acoustic signals
US20210259621A1 (en) * 2018-06-27 2021-08-26 Cortexxus Inc. Wearable system for brain health monitoring and seizure detection and prediction
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US11813054B1 (en) 2018-11-08 2023-11-14 Duke University Methods, systems, and computer readable media for conducting an automatic assessment of postural control of a subject
US11580874B1 (en) 2018-11-08 2023-02-14 Duke University Methods, systems, and computer readable media for automated attention assessment
CN109725714B (zh) 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
WO2020147948A1 (en) * 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN109602587A (zh) * 2019-01-31 2019-04-12 河南云睛视光科技有限公司 一种智能化多功能视光训练仪
CN110151184A (zh) * 2019-04-19 2019-08-23 昆明依利科特科技有限公司 非接触式吸毒人员快速检测系统及方法
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
GB201909175D0 (en) * 2019-06-26 2019-08-07 Royal College Of Art Apparatus for monitoring
US11224339B2 (en) 2019-07-16 2022-01-18 International Business Machines Corporation Dynamic eye condition self-diagnosis
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
CN112396805B (zh) * 2019-07-31 2022-10-25 Oppo广东移动通信有限公司 疲劳驾驶提醒的方法、装置、终端及存储介质
WO2021125992A1 (ru) * 2019-12-16 2021-06-24 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Устройство определения направления взгляда
WO2021125993A1 (ru) * 2019-12-16 2021-06-24 Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" Способ определения направления взгляда
CN111028599A (zh) * 2019-12-24 2020-04-17 中国人民解放军第四军医大学 一种基于vr技术的军事飞行员口颌心理应激训练系统
US11918382B2 (en) 2020-04-13 2024-03-05 International Business Machines Corporation Continual background monitoring of eye health
CN116113867B (zh) * 2020-05-14 2024-04-26 视觉系统有限责任公司 用于确定瞳孔中心的方法和眼镜
CN111714081A (zh) * 2020-07-08 2020-09-29 岭南师范学院 基于多波长led光学无损特殊儿童检测仪及检测方法
CN112244763A (zh) * 2020-10-20 2021-01-22 垒途智能教科技术研究院江苏有限公司 一种便于调整的头戴眼镜式眼动仪
WO2022162469A1 (en) * 2021-01-29 2022-08-04 Xr Health Il Ltd Systems and methods for assessing partial impulsivity in virtual or augmented reality
CN113017632B (zh) * 2021-03-17 2022-11-11 陈思 一种智慧校园心理咨询辅助方法及系统
RU2771489C1 (ru) * 2021-06-04 2022-05-05 Общество с ограниченной ответственностью "Зеница" Устройство для регистрации зрачковой реакции глаза
WO2023021509A1 (en) * 2021-08-17 2023-02-23 Brainwatch Tech Ltd. Methods, systems, and devices for determining a status of brain and/or nerve functions of a patient
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
JP2023102822A (ja) * 2022-01-13 2023-07-26 キヤノン株式会社 表示装置、ファインダ装置、および撮像装置
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US12118138B2 (en) 2022-02-14 2024-10-15 Tectus Corporation Vergence authentication
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
CN114690909B (zh) * 2022-06-01 2022-08-16 润芯微科技(江苏)有限公司 一种ai视觉自适应的方法、装置、系统、计算机可读介质
CN116982927B (zh) * 2023-08-14 2024-05-03 深圳大学附属华南医院 一种多镜头眼科检查设备及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62249637A (ja) * 1986-01-28 1987-10-30 ジヨ−ジ パブリテイス 神経障害の決定方法および装置
US5555895A (en) * 1993-01-29 1996-09-17 Centre National De La Recherche Scientifique Process and device for eye movement analysis
US5748113A (en) * 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
JP2002541959A (ja) * 1999-04-23 2002-12-10 ニューロプティックス・インコーポレイテッド 瞳孔不規則性検出・瞳孔追跡・瞳孔反応検出機能、緑内障検査機能、角膜解剖学的測定機能、頭蓋内圧検出機能、および、眼異常測定機能を備えた瞳孔計
JP2003533801A (ja) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
US20040006287A1 (en) * 2002-07-03 2004-01-08 Epley John M. Comprehensive vertigo management
US20040239878A1 (en) * 2001-06-05 2004-12-02 Gordon Bradley Apparatus and method for testing visual response
JP2005143684A (ja) * 2003-11-13 2005-06-09 Kao Corp リラックス感評価用瞳孔対光反応計測具
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
JP2007531579A (ja) * 2004-04-01 2007-11-08 ウィリアム・シー・トーチ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP3137375U (ja) * 2007-09-10 2007-11-22 株式会社ニューオプト 瞳孔撮像装置
JP2008000205A (ja) * 2006-06-20 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> 知覚情報提示装置
US20080309616A1 (en) * 2007-06-13 2008-12-18 Massengill R Kemp Alertness testing method and apparatus
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
JP2010063621A (ja) * 2008-09-10 2010-03-25 Koichi Kikuchi 視認情景に対する視認者感性反応装置
JP2013505811A (ja) * 2009-09-29 2013-02-21 フェビアン ウィリアム 応用キネシオロジーフィードバックを得るためのシステムおよび方法

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4595990A (en) 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
US4439157A (en) 1982-05-03 1984-03-27 The United States Of America As Represented By The Secretary Of The Navy Helmet mounted display projector
US4568159A (en) 1982-11-26 1986-02-04 The United States Of America As Represented By The Secretary Of The Navy CCD Head and eye position indicator
EP0125808A3 (en) 1983-04-18 1986-01-29 Lee S. Weinblatt Eye movement monitoring technique
FR2604732B1 (fr) 1986-10-03 1989-02-03 Inst Textile De France Procede et dispositif d'ajustement et d'introduction automatique de deux angles de pieces textiles sur une machine a coudre
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
JPH03109030A (ja) 1989-09-22 1991-05-09 Canon Inc 注視点検出装置
JP3137375B2 (ja) 1990-09-20 2001-02-19 株式会社東芝 圧接型半導体装置
US5367315A (en) 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5331149A (en) 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
US5583590A (en) 1992-05-04 1996-12-10 Wabash Scientific Corp. Alert monitoring system
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
GB9323970D0 (en) 1993-11-22 1994-01-12 Toad Innovations Ltd Safety device
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US6373961B1 (en) 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US5861936A (en) 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6070098A (en) 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
WO1998049028A1 (en) 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
WO1999005988A2 (en) 1997-07-30 1999-02-11 Applied Science Laboratories An eye tracker using an off-axis, ring illumination source
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US6055322A (en) 1997-12-01 2000-04-25 Sensor, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination
US6088470A (en) 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6614408B1 (en) 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6091378A (en) 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
US6282553B1 (en) 1998-11-04 2001-08-28 International Business Machines Corporation Gaze-based secure keypad entry system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US7120880B1 (en) 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6820979B1 (en) 1999-04-23 2004-11-23 Neuroptics, Inc. Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6864912B1 (en) 1999-12-16 2005-03-08 International Business Machines Corp. Computer system providing hands free user input via optical means for navigation or zooming
US6758563B2 (en) 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6873314B1 (en) 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
GB0023172D0 (en) 2000-09-20 2000-11-01 Minter Kemp Martin J Wakeup vizor
JP2002143094A (ja) 2000-11-07 2002-05-21 Nac Image Technology Inc 視線検出装置
EP1357831A2 (en) 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
DE10108064A1 (de) 2001-02-20 2002-09-05 Siemens Ag Verknüpfte Eye-Tracking-Information innerhalb eines Augmented-Reality-Systems
GB2372683A (en) 2001-02-23 2002-08-28 Ibm Eye tracking display apparatus
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US20030043268A1 (en) 2001-06-26 2003-03-06 Mann W. Stephen G. EyeTap vehicle or vehicle controlled by headworn camera, or the like
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US6997556B2 (en) 2001-10-01 2006-02-14 Ernst Pfleger Method for detecting, evaluating, and analyzing look sequences
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
WO2003053228A2 (en) 2001-12-21 2003-07-03 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US6919907B2 (en) 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20150150455A9 (en) 2002-07-03 2015-06-04 Epley Research, Llc Stimulus-evoked vestibular evaluation system, method and apparatus
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
NL1021496C2 (nl) 2002-09-19 2004-03-22 Joannes Hermanus Heiligers Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen.
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7206022B2 (en) 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
AU2003901528A0 (en) 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
JP2004310470A (ja) 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7145550B2 (en) 2003-08-08 2006-12-05 Lucent Technologies Inc. Method and apparatus for reducing repetitive motion injuries in a computer user
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
US7331671B2 (en) 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US20110077548A1 (en) 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7549743B2 (en) * 2005-01-06 2009-06-23 University Of Rochester Systems and methods for improving visual discrimination
US7676063B2 (en) 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
RU2411586C2 (ru) 2005-08-11 2011-02-10 Слип Дайэгностикс Пти. Лтд Очки с контролем внимательности
US7580545B2 (en) 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
US8602791B2 (en) 2005-11-04 2013-12-10 Eye Tracking, Inc. Generation of test stimuli in visual media
JP4921486B2 (ja) 2005-11-30 2012-04-25 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
US7747068B1 (en) 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
WO2007085682A1 (en) 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
WO2007089198A1 (en) 2006-02-01 2007-08-09 Tobii Technology Ab Generation of graphical feedback in a computer system
WO2007092512A2 (en) 2006-02-07 2007-08-16 Attention Technologies, Inc. Driver drowsiness and distraction monitor
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
US7646422B2 (en) 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US7783077B2 (en) 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US20080166052A1 (en) 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
EP2150170B1 (en) 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
US7556377B2 (en) 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
WO2009101238A1 (en) 2008-02-14 2009-08-20 Nokia Corporation Device and method for determining gaze direction
TW200947262A (en) 2008-05-05 2009-11-16 Utechzone Co Ltd Non-contact type cursor control method using human eye, pupil tracking system and storage media
TW201001236A (en) 2008-06-17 2010-01-01 Utechzone Co Ltd Method of determining direction of eye movement, control device and man-machine interaction system
EP2306891A1 (en) 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
US20100021806A1 (en) * 2008-07-09 2010-01-28 Mphase Technologies, Inc. Reserve Battery
JP2011528242A (ja) 2008-07-18 2011-11-17 オプタラート・プロプライアタリー・リミテッド 覚醒状態の感知装置
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
TWI432172B (zh) 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media
KR20100052278A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 디스플레이 시스템과, 디스플레이장치 및 그 제어 방법
US8730266B2 (en) 2008-11-13 2014-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
US20100128118A1 (en) 2008-11-26 2010-05-27 Locarna Systems, Inc. Identification of visual fixations in a video stream
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
DK2389095T3 (da) 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US7819525B2 (en) 2009-02-15 2010-10-26 International Business Machines Corporation Automatic direct gaze detection based on pupil symmetry
WO2010102037A2 (en) 2009-03-03 2010-09-10 The Ohio State University Gaze tracking measurement and training system and method
US20120007772A1 (en) 2009-03-16 2012-01-12 Paerssinen Aarno Tapio Controller for a Directional Antenna and Associated Apparatus and Methods
TWI398796B (zh) 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
EP2237237B1 (en) 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
EP2236074B1 (en) 2009-04-01 2021-05-26 Tobii AB Visual display with illuminators for gaze tracking
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100295774A1 (en) 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20100321482A1 (en) 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
ES2746378T3 (es) 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
TWI397865B (zh) 2009-08-12 2013-06-01 Utechzone Co Ltd Security personnel to monitor the degree of focus monitoring system
WO2011024134A1 (en) 2009-08-26 2011-03-03 Ecole Polytechnique Federale De Lausanne (Epfl) Wearable systems for audio, visual and gaze monitoring
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
EP3611555A1 (en) 2009-11-19 2020-02-19 eSight Corporation Image magnification on a head mounted display
US20110170061A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8552850B2 (en) 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
US20110262887A1 (en) 2010-04-21 2011-10-27 Lc Technologies Inc. Systems and methods for gaze based attention training
CN101901485B (zh) 2010-08-11 2014-12-03 华中科技大学 3d自由头动式视线跟踪系统
WO2012021967A1 (en) 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP6197613B2 (ja) 2013-12-02 2017-09-20 富士通株式会社 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62249637A (ja) * 1986-01-28 1987-10-30 ジヨ−ジ パブリテイス 神経障害の決定方法および装置
US5555895A (en) * 1993-01-29 1996-09-17 Centre National De La Recherche Scientifique Process and device for eye movement analysis
US5748113A (en) * 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
JP2002541959A (ja) * 1999-04-23 2002-12-10 ニューロプティックス・インコーポレイテッド 瞳孔不規則性検出・瞳孔追跡・瞳孔反応検出機能、緑内障検査機能、角膜解剖学的測定機能、頭蓋内圧検出機能、および、眼異常測定機能を備えた瞳孔計
JP2003533801A (ja) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
US20040239878A1 (en) * 2001-06-05 2004-12-02 Gordon Bradley Apparatus and method for testing visual response
US20040006287A1 (en) * 2002-07-03 2004-01-08 Epley John M. Comprehensive vertigo management
JP2005143684A (ja) * 2003-11-13 2005-06-09 Kao Corp リラックス感評価用瞳孔対光反応計測具
JP2007531579A (ja) * 2004-04-01 2007-11-08 ウィリアム・シー・トーチ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
JP2008000205A (ja) * 2006-06-20 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> 知覚情報提示装置
US20080309616A1 (en) * 2007-06-13 2008-12-18 Massengill R Kemp Alertness testing method and apparatus
JP3137375U (ja) * 2007-09-10 2007-11-22 株式会社ニューオプト 瞳孔撮像装置
JP2010063621A (ja) * 2008-09-10 2010-03-25 Koichi Kikuchi 視認情景に対する視認者感性反応装置
JP2013505811A (ja) * 2009-09-29 2013-02-21 フェビアン ウィリアム 応用キネシオロジーフィードバックを得るためのシステムおよび方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021260829A1 (ja) * 2020-06-24 2021-12-30
WO2021260830A1 (ja) * 2020-06-24 2021-12-30 日本電信電話株式会社 情報入力装置
WO2021260829A1 (ja) * 2020-06-24 2021-12-30 日本電信電話株式会社 情報入力装置
JP7409502B2 (ja) 2020-06-24 2024-01-09 日本電信電話株式会社 情報入力装置

Also Published As

Publication number Publication date
WO2012162205A3 (en) 2013-03-14
WO2012162205A2 (en) 2012-11-29
CN103748599B (zh) 2017-10-10
EP2710515A2 (en) 2014-03-26
CN103748599A (zh) 2014-04-23
US20120293773A1 (en) 2012-11-22
US8911087B2 (en) 2014-12-16
CA2836779C (en) 2019-09-24
US10820850B2 (en) 2020-11-03
EP2710515A4 (en) 2015-02-18
EP2710515B1 (en) 2018-04-11
US20180184958A1 (en) 2018-07-05
US9931069B2 (en) 2018-04-03
JP6129161B2 (ja) 2017-05-17
US20160166190A1 (en) 2016-06-16
CA2836779A1 (en) 2012-11-29

Similar Documents

Publication Publication Date Title
JP6129161B2 (ja) 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
US11389059B2 (en) Ocular-performance-based head impact measurement using a faceguard
US9101312B2 (en) System for the physiological evaluation of brain function
US20200000334A1 (en) Monitoring neurological functional status
US10039445B1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
CA2967756C (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10602927B2 (en) Ocular-performance-based head impact measurement using a faceguard
KR101536348B1 (ko) 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치
JP4179968B2 (ja) リラックス感評価用瞳孔対光反応計測具
US20230103276A9 (en) Impairement screening system and method
US20240350051A1 (en) Systems and methods for using eye imaging on a wearable device to assess human health
US20240156189A1 (en) Systems and methods for using eye imaging on face protection equipment to assess human health
Malla Automated video-based measurement of eye closure using a remote camera for detecting drowsiness and behavioural microsleeps
KR20160100654A (ko) 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6129161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250