JP2017537366A5 - - Google Patents

Download PDF

Info

Publication number
JP2017537366A5
JP2017537366A5 JP2017515108A JP2017515108A JP2017537366A5 JP 2017537366 A5 JP2017537366 A5 JP 2017537366A5 JP 2017515108 A JP2017515108 A JP 2017515108A JP 2017515108 A JP2017515108 A JP 2017515108A JP 2017537366 A5 JP2017537366 A5 JP 2017537366A5
Authority
JP
Japan
Prior art keywords
eye
image
illumination
reflection
emitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017515108A
Other languages
English (en)
Other versions
JP2017537366A (ja
JP6560748B2 (ja
Filing date
Publication date
Priority claimed from US14/509,976 external-priority patent/US9946339B2/en
Application filed filed Critical
Publication of JP2017537366A publication Critical patent/JP2017537366A/ja
Publication of JP2017537366A5 publication Critical patent/JP2017537366A5/ja
Application granted granted Critical
Publication of JP6560748B2 publication Critical patent/JP6560748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 眼を照明するように構成されたエミッタを含む照明システムと、
    前記眼の1つまたは複数の画像を取得するように構成されたカメラと、
    前記カメラおよび前記照明システムに動作可能に結合されたプロセッサおよび関連付けられたコンピューターメモリであって、前記コンピューターメモリは、前記プロセッサによって、
    前記カメラから、第1のパワーレベルでの前記エミッタによる前記眼の照明下で前記眼の第1の画像を取得するように実行可能な命令と、
    前記カメラから、前記エミッタによる前記眼の照明下で取得された前記眼の第2の画像を得るように実行可能な命令であって、前記エミッタは、第2の異なるパワーレベルで動作する、命令と、
    前記第1の画像および前記第2の画像の対応するピクセルの明度を比較して、前記眼による前記照明の反射を、アイウェアによる前記照明の反射と区別するように実行可能な命令であって、前記眼からの不飽和の再帰性反射明瞳孔反応を明らかにするように、前記カメラによって取得された3つ以上の前記眼の画像のうちの前記第1の画像および第2の画像を、前記エミッタの互いに異なるパワーレベルで選択することを含む、命令と、
    前記眼による前記照明の前記反射に基づいて、かつ前記アイウェアによる前記照明の前記反射から独立して、入力をコンピューターシステムに供給するように実行可能な命令と、
    を保持する、コンピューターメモリと、
    を備える、システム。
  2. 前記眼の前記第1の画像および前記眼の前記第2の画像のうちの1つまたは複数を、複数の露出において捕捉するように実行可能な命令を更に含む、請求項1に記載のシステム。
  3. 前記命令は、前記カメラから前記眼の前記第1の画像および前記眼の前記第2の画像を読み出す前に、前記眼の前記第1の画像および前記眼の前記第2の画像を連続して取得するように実行可能である、請求項1に記載のシステム。
  4. 前記照明システムは、30ミリ秒以下で、前記エミッタの前記第1のパワーレベルを提供することから、前記エミッタの前記第2のパワーレベルを提供することへ遷移するように構成される、請求項1に記載のシステム。
  5. 視覚システムに動作可能に結合されたコンピューターシステムにおいて実施される、視線方向を表す入力を供給する方法であって、
    前記視覚システムのカメラから、第1のパワーレベルで動作するエミッタによる眼の照明下で取得された前記眼の第1の画像を得ることと、
    前記視覚システムの前記カメラから、前記エミッタによる前記眼の照明下で取得された前記眼の第2の画像を得ることであって、前記エミッタは、第2の異なるパワーレベルで動作する、ことと、
    前記第1の画像および前記第2の画像の対応するピクセルの明度を比較して、前記眼による前記照明の反射を、アイウェアによる前記照明の反射と区別することであって、前記眼からの不飽和の再帰性反射明瞳孔反応を明らかにするように、前記カメラによって取得された3つ以上の前記眼の画像のうちの前記第1の画像および第2の画像を、前記エミッタの互いに異なるパワーレベルで選択することを含む、ことと、
    前記眼による前記照明の前記反射に基づいて、前記入力を供給することと、
    を含む、方法。
  6. 前記眼による前記照明の前記反射は、前記眼の網膜からの反射を含み、前記反射は前記眼の瞳孔を通過して戻り、前記第1の画像において、前記瞳孔が周囲の虹彩に対して明るく見えるようにする、請求項5に記載の方法。
  7. 前記眼による前記反射は、前記眼の虹彩による反射を含み、前記第1の画像において、前記眼の瞳孔が前記虹彩に対して暗く見えるようにする、請求項5に記載の方法。
  8. 前記第1の画像において、前記アイウェアによる前記照明の前記反射に関連付けられたピクセルを除外しながら、前記眼の前記照明の前記反射のロケーションに基づいて前記入力を計算することを更に含む、請求項5に記載の方法。
  9. 前記第1の画像を得ることと前記第2の画像を得ることとの間での前記眼の動きを補償するための運動モデルに基づいて前記入力を補正することを更に含む、請求項8に記載の方法。
  10. 前記眼の前記第2の画像を得ることは、前記第1の画像の各非飽和ピクセルの明るさを乗算係数と乗算して前記第2の画像の対応するピクセルを得ることを含む、請求項5に記載の方法。
  11. 前記供給された入力は、前記眼の視線方向を定義する方位角および仰角を含む、請求項5に記載の方法。
  12. 前記第1の画像および前記第2の画像の前記対応するピクセルを、そのようなピクセルの前記明度が閾値量を超えて異なる場合に、前記眼による前記照明の前記反射と関連付けることと、
    前記第1の画像および前記第2の画像の前記対応するピクセルを、そのようなピクセルの前記明度が閾値未満で異なる場合に、前記アイウェアによる前記照明の前記反射と関連付けることと、
    を更に含む、請求項5に記載の方法。
  13. 前記第1の画像および前記第2の画像の前記対応するピクセルを、前記第1および第2の画像の対応するピクセルが双方飽和している場合に、前記アイウェアによる前記照明の前記反射と関連付けることを更に含む、請求項5に記載の方法。
  14. 前記第1のパワーレベルは、前記眼から明瞳孔反応を刺激して区別する機能に基づいて選択される、請求項5に記載の方法。
  15. 前記第1のパワーレベルは、周囲光条件に基づいて選択される、請求項5に記載の方法。
JP2017515108A 2014-10-08 2015-10-06 アイウェアを通じた視線追跡 Active JP6560748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/509,976 US9946339B2 (en) 2014-10-08 2014-10-08 Gaze tracking through eyewear
US14/509,976 2014-10-08
PCT/US2015/054102 WO2016057435A1 (en) 2014-10-08 2015-10-06 Gaze tracking through eyewear

Publications (3)

Publication Number Publication Date
JP2017537366A JP2017537366A (ja) 2017-12-14
JP2017537366A5 true JP2017537366A5 (ja) 2018-10-18
JP6560748B2 JP6560748B2 (ja) 2019-08-14

Family

ID=54360538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515108A Active JP6560748B2 (ja) 2014-10-08 2015-10-06 アイウェアを通じた視線追跡

Country Status (11)

Country Link
US (1) US9946339B2 (ja)
EP (1) EP3204891B1 (ja)
JP (1) JP6560748B2 (ja)
KR (1) KR102455734B1 (ja)
CN (1) CN107209551B (ja)
AU (1) AU2015328317B2 (ja)
BR (1) BR112017005648A2 (ja)
CA (1) CA2964099C (ja)
MX (1) MX2017004450A (ja)
RU (1) RU2705432C2 (ja)
WO (1) WO2016057435A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3230825B1 (en) * 2014-12-10 2019-05-29 Telefonaktiebolaget LM Ericsson (publ) Device for and method of corneal imaging
US20160300108A1 (en) * 2015-04-08 2016-10-13 Motorola Mobility Llc Iris acquisition using visible light imaging
EP3308188A4 (en) * 2015-06-09 2019-01-23 Nokia Technologies Oy TRIGGERING ACTIVE SCAN
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
JP7532249B2 (ja) 2017-08-23 2024-08-13 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳-コンピュータインタフェース
KR102410834B1 (ko) * 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR20200098524A (ko) 2017-11-13 2020-08-20 뉴레이블 인크. 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스
JP2021511567A (ja) 2018-01-18 2021-05-06 ニューラブル インコーポレイテッド 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
US10288879B1 (en) 2018-05-31 2019-05-14 Tobii Ab Method and system for glint/reflection identification
EP3801196B1 (en) * 2018-05-31 2022-06-01 Tobii AB Method and system for glint/reflection identification
US10324529B1 (en) 2018-05-31 2019-06-18 Tobii Ab Method and system for glint/reflection identification
EP3627194A1 (en) * 2018-09-20 2020-03-25 Essilor International An optical device with reduced reflection in deep red, near infrared and visible ranges
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
CN113132643B (zh) * 2019-12-30 2023-02-07 Oppo广东移动通信有限公司 图像处理方法及相关产品
US11205069B1 (en) * 2020-02-20 2021-12-21 Facebook Technologies, Llc Hybrid cornea and pupil tracking
WO2022066478A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Glint analysis using multi-zone lens
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP3465336B2 (ja) * 1994-02-04 2003-11-10 三菱電機株式会社 顔画像撮影装置
AUPP048097A0 (en) 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
SE0004741D0 (sv) 2000-12-21 2000-12-21 Smart Eye Ab Image capturing device with reflex reduction
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
RU2395228C2 (ru) * 2004-04-01 2010-07-27 Уилльям С. ТОРЧ Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
US7773111B2 (en) 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US8457352B2 (en) 2007-05-23 2013-06-04 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
EP2242419B1 (en) * 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
US10178290B2 (en) 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN103842941B (zh) * 2011-09-09 2016-12-07 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
JP6011173B2 (ja) * 2012-09-06 2016-10-19 株式会社Jvcケンウッド 瞳孔検出装置および瞳孔検出方法
WO2014181775A1 (ja) * 2013-05-08 2014-11-13 国立大学法人静岡大学 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法
KR20140147748A (ko) * 2013-06-19 2014-12-30 한국전자통신연구원 시력 보조 기구 착용시에도 안정적인 시선 추적 방법
WO2015048026A1 (en) * 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using dynamic lighting position
WO2015070182A2 (en) * 2013-11-09 2015-05-14 Firima Inc. Optical eye tracking
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Similar Documents

Publication Publication Date Title
JP2017537366A5 (ja)
RU2017111831A (ru) Отслеживание взляда через очковую оптику
US9962078B2 (en) Gaze tracking variations using dynamic lighting position
US9844119B2 (en) Dynamic lighting for head mounted device
CN111868737A (zh) 使用神经网络的基于事件相机的注视跟踪
US10013952B2 (en) Adjusting brightness of a display based on an intensity of light reflected by a user's eye
IL299642A (en) Camera system with exposure and rotating light spread and synchronized rolling shutter
IL272891B2 (en) Collection, selection and combination of an eye image
EP2950521A3 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US9563982B2 (en) Image generating device, image generating method, program, and computer-readable information storage medium
JP2014183558A5 (ja)
JP2016506707A5 (ja)
CN105765558A (zh) 低功率眼睛跟踪系统和方法
CN106030660A (zh) 具有动态光照以用于眼睛追踪的计算阵列相机
RU2015135388A (ru) Прозрачное устройство отображения и его способ
JPWO2020047486A5 (ja)
JP2017015768A5 (ja)
JP6767482B2 (ja) 視線検出方法
JP2014155005A5 (ja)
JP2016086246A5 (ja)
CN113545028A (zh) 用于面部认证的增益控制
JP2017028376A5 (ja)
JP2016133799A (ja) 照明システム
JP2018514977A5 (ja)
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye