JP2017537366A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017537366A5 JP2017537366A5 JP2017515108A JP2017515108A JP2017537366A5 JP 2017537366 A5 JP2017537366 A5 JP 2017537366A5 JP 2017515108 A JP2017515108 A JP 2017515108A JP 2017515108 A JP2017515108 A JP 2017515108A JP 2017537366 A5 JP2017537366 A5 JP 2017537366A5
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- illumination
- reflection
- emitter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 claims 19
- 230000000875 corresponding Effects 0.000 claims 7
- 210000001747 Pupil Anatomy 0.000 claims 6
- 210000000554 Iris Anatomy 0.000 claims 3
- 210000001525 Retina Anatomy 0.000 claims 1
- 230000004424 eye movement Effects 0.000 claims 1
Claims (15)
- 眼を照明するように構成されたエミッタを含む照明システムと、
前記眼の1つまたは複数の画像を取得するように構成されたカメラと、
前記カメラおよび前記照明システムに動作可能に結合されたプロセッサおよび関連付けられたコンピューターメモリであって、前記コンピューターメモリは、前記プロセッサによって、
前記カメラから、第1のパワーレベルでの前記エミッタによる前記眼の照明下で前記眼の第1の画像を取得するように実行可能な命令と、
前記カメラから、前記エミッタによる前記眼の照明下で取得された前記眼の第2の画像を得るように実行可能な命令であって、前記エミッタは、第2の異なるパワーレベルで動作する、命令と、
前記第1の画像および前記第2の画像の対応するピクセルの明度を比較して、前記眼による前記照明の反射を、アイウェアによる前記照明の反射と区別するように実行可能な命令であって、前記眼からの不飽和の再帰性反射明瞳孔反応を明らかにするように、前記カメラによって取得された3つ以上の前記眼の画像のうちの前記第1の画像および第2の画像を、前記エミッタの互いに異なるパワーレベルで選択することを含む、命令と、
前記眼による前記照明の前記反射に基づいて、かつ前記アイウェアによる前記照明の前記反射から独立して、入力をコンピューターシステムに供給するように実行可能な命令と、
を保持する、コンピューターメモリと、
を備える、システム。 - 前記眼の前記第1の画像および前記眼の前記第2の画像のうちの1つまたは複数を、複数の露出において捕捉するように実行可能な命令を更に含む、請求項1に記載のシステム。
- 前記命令は、前記カメラから前記眼の前記第1の画像および前記眼の前記第2の画像を読み出す前に、前記眼の前記第1の画像および前記眼の前記第2の画像を連続して取得するように実行可能である、請求項1に記載のシステム。
- 前記照明システムは、30ミリ秒以下で、前記エミッタの前記第1のパワーレベルを提供することから、前記エミッタの前記第2のパワーレベルを提供することへ遷移するように構成される、請求項1に記載のシステム。
- 視覚システムに動作可能に結合されたコンピューターシステムにおいて実施される、視線方向を表す入力を供給する方法であって、
前記視覚システムのカメラから、第1のパワーレベルで動作するエミッタによる眼の照明下で取得された前記眼の第1の画像を得ることと、
前記視覚システムの前記カメラから、前記エミッタによる前記眼の照明下で取得された前記眼の第2の画像を得ることであって、前記エミッタは、第2の異なるパワーレベルで動作する、ことと、
前記第1の画像および前記第2の画像の対応するピクセルの明度を比較して、前記眼による前記照明の反射を、アイウェアによる前記照明の反射と区別することであって、前記眼からの不飽和の再帰性反射明瞳孔反応を明らかにするように、前記カメラによって取得された3つ以上の前記眼の画像のうちの前記第1の画像および第2の画像を、前記エミッタの互いに異なるパワーレベルで選択することを含む、ことと、
前記眼による前記照明の前記反射に基づいて、前記入力を供給することと、
を含む、方法。 - 前記眼による前記照明の前記反射は、前記眼の網膜からの反射を含み、前記反射は前記眼の瞳孔を通過して戻り、前記第1の画像において、前記瞳孔が周囲の虹彩に対して明るく見えるようにする、請求項5に記載の方法。
- 前記眼による前記反射は、前記眼の虹彩による反射を含み、前記第1の画像において、前記眼の瞳孔が前記虹彩に対して暗く見えるようにする、請求項5に記載の方法。
- 前記第1の画像において、前記アイウェアによる前記照明の前記反射に関連付けられたピクセルを除外しながら、前記眼の前記照明の前記反射のロケーションに基づいて前記入力を計算することを更に含む、請求項5に記載の方法。
- 前記第1の画像を得ることと前記第2の画像を得ることとの間での前記眼の動きを補償するための運動モデルに基づいて前記入力を補正することを更に含む、請求項8に記載の方法。
- 前記眼の前記第2の画像を得ることは、前記第1の画像の各非飽和ピクセルの明るさを乗算係数と乗算して前記第2の画像の対応するピクセルを得ることを含む、請求項5に記載の方法。
- 前記供給された入力は、前記眼の視線方向を定義する方位角および仰角を含む、請求項5に記載の方法。
- 前記第1の画像および前記第2の画像の前記対応するピクセルを、そのようなピクセルの前記明度が閾値量を超えて異なる場合に、前記眼による前記照明の前記反射と関連付けることと、
前記第1の画像および前記第2の画像の前記対応するピクセルを、そのようなピクセルの前記明度が閾値未満で異なる場合に、前記アイウェアによる前記照明の前記反射と関連付けることと、
を更に含む、請求項5に記載の方法。 - 前記第1の画像および前記第2の画像の前記対応するピクセルを、前記第1および第2の画像の対応するピクセルが双方飽和している場合に、前記アイウェアによる前記照明の前記反射と関連付けることを更に含む、請求項5に記載の方法。
- 前記第1のパワーレベルは、前記眼から明瞳孔反応を刺激して区別する機能に基づいて選択される、請求項5に記載の方法。
- 前記第1のパワーレベルは、周囲光条件に基づいて選択される、請求項5に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/509,976 US9946339B2 (en) | 2014-10-08 | 2014-10-08 | Gaze tracking through eyewear |
US14/509,976 | 2014-10-08 | ||
PCT/US2015/054102 WO2016057435A1 (en) | 2014-10-08 | 2015-10-06 | Gaze tracking through eyewear |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017537366A JP2017537366A (ja) | 2017-12-14 |
JP2017537366A5 true JP2017537366A5 (ja) | 2018-10-18 |
JP6560748B2 JP6560748B2 (ja) | 2019-08-14 |
Family
ID=54360538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017515108A Active JP6560748B2 (ja) | 2014-10-08 | 2015-10-06 | アイウェアを通じた視線追跡 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9946339B2 (ja) |
EP (1) | EP3204891B1 (ja) |
JP (1) | JP6560748B2 (ja) |
KR (1) | KR102455734B1 (ja) |
CN (1) | CN107209551B (ja) |
AU (1) | AU2015328317B2 (ja) |
BR (1) | BR112017005648A2 (ja) |
CA (1) | CA2964099C (ja) |
MX (1) | MX2017004450A (ja) |
RU (1) | RU2705432C2 (ja) |
WO (1) | WO2016057435A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3230825B1 (en) * | 2014-12-10 | 2019-05-29 | Telefonaktiebolaget LM Ericsson (publ) | Device for and method of corneal imaging |
US20160300108A1 (en) * | 2015-04-08 | 2016-10-13 | Motorola Mobility Llc | Iris acquisition using visible light imaging |
EP3308188A4 (en) * | 2015-06-09 | 2019-01-23 | Nokia Technologies Oy | TRIGGERING ACTIVE SCAN |
US9785234B2 (en) * | 2015-12-26 | 2017-10-10 | Intel Corporation | Analysis of ambient light for gaze tracking |
JP7532249B2 (ja) | 2017-08-23 | 2024-08-13 | ニューラブル インコーポレイテッド | 高速視標追跡機能を有する脳-コンピュータインタフェース |
KR102410834B1 (ko) * | 2017-10-27 | 2022-06-20 | 삼성전자주식회사 | 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치 |
KR20200098524A (ko) | 2017-11-13 | 2020-08-20 | 뉴레이블 인크. | 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스 |
JP2021511567A (ja) | 2018-01-18 | 2021-05-06 | ニューラブル インコーポレイテッド | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース |
US10725292B2 (en) * | 2018-02-01 | 2020-07-28 | Varjo Technologies Oy | Gaze-tracking system and aperture device |
US10288879B1 (en) | 2018-05-31 | 2019-05-14 | Tobii Ab | Method and system for glint/reflection identification |
EP3801196B1 (en) * | 2018-05-31 | 2022-06-01 | Tobii AB | Method and system for glint/reflection identification |
US10324529B1 (en) | 2018-05-31 | 2019-06-18 | Tobii Ab | Method and system for glint/reflection identification |
EP3627194A1 (en) * | 2018-09-20 | 2020-03-25 | Essilor International | An optical device with reduced reflection in deep red, near infrared and visible ranges |
US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
KR102608471B1 (ko) | 2018-11-06 | 2023-12-01 | 삼성전자주식회사 | 눈 추적 방법 및 장치 |
KR102349087B1 (ko) * | 2019-10-10 | 2022-01-12 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치 |
CN113132643B (zh) * | 2019-12-30 | 2023-02-07 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
US11205069B1 (en) * | 2020-02-20 | 2021-12-21 | Facebook Technologies, Llc | Hybrid cornea and pupil tracking |
WO2022066478A1 (en) * | 2020-09-22 | 2022-03-31 | Sterling Labs Llc | Glint analysis using multi-zone lens |
GB2618078A (en) * | 2022-04-25 | 2023-11-01 | Continental Automotive Tech Gmbh | An image processing method for removal of glare spots and system for the same |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5471542A (en) * | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
JP3465336B2 (ja) * | 1994-02-04 | 2003-11-10 | 三菱電機株式会社 | 顔画像撮影装置 |
AUPP048097A0 (en) | 1997-11-21 | 1997-12-18 | Xenotech Research Pty Ltd | Eye tracking apparatus |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
US6134339A (en) * | 1998-09-17 | 2000-10-17 | Eastman Kodak Company | Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame |
SE0004741D0 (sv) | 2000-12-21 | 2000-12-21 | Smart Eye Ab | Image capturing device with reflex reduction |
EP1691670B1 (en) | 2003-11-14 | 2014-07-16 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
RU2395228C2 (ru) * | 2004-04-01 | 2010-07-27 | Уилльям С. ТОРЧ | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения |
US7773111B2 (en) | 2005-03-16 | 2010-08-10 | Lc Technologies, Inc. | System and method for perceived image processing in a gaze tracking system |
US8457352B2 (en) | 2007-05-23 | 2013-06-04 | The University Of British Columbia | Methods and apparatus for estimating point-of-gaze in three dimensions |
EP2242419B1 (en) * | 2008-02-14 | 2016-01-13 | Nokia Technologies Oy | Device and method for determining gaze direction |
US10178290B2 (en) | 2010-02-17 | 2019-01-08 | Sri International | Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range |
US8408706B2 (en) * | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US8888287B2 (en) * | 2010-12-13 | 2014-11-18 | Microsoft Corporation | Human-computer interface system having a 3D gaze tracker |
FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
CN103842941B (zh) * | 2011-09-09 | 2016-12-07 | 泰利斯航空电子学公司 | 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制 |
US8971570B1 (en) * | 2011-11-04 | 2015-03-03 | Google Inc. | Dual LED usage for glint detection |
KR20130121303A (ko) * | 2012-04-27 | 2013-11-06 | 한국전자통신연구원 | 원거리 시선 추적 시스템 및 방법 |
JP6011173B2 (ja) * | 2012-09-06 | 2016-10-19 | 株式会社Jvcケンウッド | 瞳孔検出装置および瞳孔検出方法 |
WO2014181775A1 (ja) * | 2013-05-08 | 2014-11-13 | 国立大学法人静岡大学 | 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法 |
KR20140147748A (ko) * | 2013-06-19 | 2014-12-30 | 한국전자통신연구원 | 시력 보조 기구 착용시에도 안정적인 시선 추적 방법 |
WO2015048026A1 (en) * | 2013-09-24 | 2015-04-02 | Sony Computer Entertainment Inc. | Gaze tracking variations using dynamic lighting position |
WO2015070182A2 (en) * | 2013-11-09 | 2015-05-14 | Firima Inc. | Optical eye tracking |
KR101855196B1 (ko) * | 2013-11-27 | 2018-06-08 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 아이 트래킹 및 사용자 반응 검출 |
US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
-
2014
- 2014-10-08 US US14/509,976 patent/US9946339B2/en active Active
-
2015
- 2015-10-06 AU AU2015328317A patent/AU2015328317B2/en active Active
- 2015-10-06 WO PCT/US2015/054102 patent/WO2016057435A1/en active Application Filing
- 2015-10-06 MX MX2017004450A patent/MX2017004450A/es unknown
- 2015-10-06 KR KR1020177012507A patent/KR102455734B1/ko active IP Right Grant
- 2015-10-06 RU RU2017111831A patent/RU2705432C2/ru active
- 2015-10-06 JP JP2017515108A patent/JP6560748B2/ja active Active
- 2015-10-06 CA CA2964099A patent/CA2964099C/en active Active
- 2015-10-06 EP EP15787069.2A patent/EP3204891B1/en active Active
- 2015-10-06 BR BR112017005648A patent/BR112017005648A2/pt not_active Application Discontinuation
- 2015-10-06 CN CN201580054828.8A patent/CN107209551B/zh active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017537366A5 (ja) | ||
RU2017111831A (ru) | Отслеживание взляда через очковую оптику | |
US9962078B2 (en) | Gaze tracking variations using dynamic lighting position | |
US9844119B2 (en) | Dynamic lighting for head mounted device | |
CN111868737A (zh) | 使用神经网络的基于事件相机的注视跟踪 | |
US10013952B2 (en) | Adjusting brightness of a display based on an intensity of light reflected by a user's eye | |
IL299642A (en) | Camera system with exposure and rotating light spread and synchronized rolling shutter | |
IL272891B2 (en) | Collection, selection and combination of an eye image | |
EP2950521A3 (en) | Camera capable of reducing motion blur in a low luminance environment and vehicle including the same | |
US9563982B2 (en) | Image generating device, image generating method, program, and computer-readable information storage medium | |
JP2014183558A5 (ja) | ||
JP2016506707A5 (ja) | ||
CN105765558A (zh) | 低功率眼睛跟踪系统和方法 | |
CN106030660A (zh) | 具有动态光照以用于眼睛追踪的计算阵列相机 | |
RU2015135388A (ru) | Прозрачное устройство отображения и его способ | |
JPWO2020047486A5 (ja) | ||
JP2017015768A5 (ja) | ||
JP6767482B2 (ja) | 視線検出方法 | |
JP2014155005A5 (ja) | ||
JP2016086246A5 (ja) | ||
CN113545028A (zh) | 用于面部认证的增益控制 | |
JP2017028376A5 (ja) | ||
JP2016133799A (ja) | 照明システム | |
JP2018514977A5 (ja) | ||
US10757337B2 (en) | Information processing apparatus and information processing method to control exposure for imaging the eye |