JP2007209384A - 視線ベクトル検出方法及び同装置 - Google Patents
視線ベクトル検出方法及び同装置 Download PDFInfo
- Publication number
- JP2007209384A JP2007209384A JP2006029428A JP2006029428A JP2007209384A JP 2007209384 A JP2007209384 A JP 2007209384A JP 2006029428 A JP2006029428 A JP 2006029428A JP 2006029428 A JP2006029428 A JP 2006029428A JP 2007209384 A JP2007209384 A JP 2007209384A
- Authority
- JP
- Japan
- Prior art keywords
- center
- camera
- corneal
- led light
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【構成】 カメラの左右に配置された2台のLED光源から同時に角膜球に向けてLED光線を放射し、角膜球の輝点を該カメラで撮影するするステップと、前記各LED光源位置と該カメラ位置と該輝点の撮影像の空間位置とを含む平面を求めるステップと、前記2平面の交線を求めるステップと、前記角膜球の中心点が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心点の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴としている。
【選択図】 図1
Description
(1) 距離(A,C)=距離(B,C)
(2) 比{距離(A,B)/距離(A,C)}=1.0833
(3) 距離(A,B)=6.5cm
(4) 角膜球の直径=1.54cm(半径=7.7mm)と仮定する。
本発明は、上記事実に鑑みなされたものであり、仮定の条件を少なくし、より簡単で明確な視線方向を求め得る改良した方法を提供することを課題とする。
請求項1に記載の発明は、カメラの左右両側に配置された2台のLED光源から同時に被険者の眼に向けてLED光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記LED光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記LED光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記2平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴としている。
本発明は、更に、取り付けが容易になるという効果が得られる。
図1は、本実施形態の視線方向(視線ベクトル)を検出する装置全体図を示す。図1において、視線検出装置10は、カメラ11と、LED光源12a、12bと、制御演算装置13と、入力装置13aと、磁気ディスク13bとから構成されている。16は視線検出の被験者の片方の目を示す。また、15は瞳孔を示し、17は角膜球を示す。カメラ11はディジタルカメラで、カメラ11のレンズ11aの焦点距離fは既知である。LED光源12a、12bは点光源であり、眼16方向に向けられている。LED光源12a、12bによる眼球の映像がカメラ11に撮影される。なお、座標系14におけるLED光源12a、12bの位置座標及びカメラ11のレンズ中心の位置座標は予め決定しておく。例えば、カメラ11のレンズ中心を原点とし、直角座標系(XYZ)14を定めておく。制御演算装置13は以下に述べる処理を行う。
11a カメラレンズ
11b 撮影画像面
12a、12b LED光源
13 制御演算装置
14 原座標系
15 瞳孔
16 眼
17 角膜球
18a、18b 角膜球上の輝点(反射点)
19a、19b 輝点の撮影像
20,21 平面
26 瞳孔の撮影像の中心
27 瞳孔の内接球(半径r)
28 瞳孔の中心
D レンズ中心から角膜球中心までの距離
O レンズ中心
R 角膜球半径
S 角膜球中心
Claims (5)
- カメラの左右両側に配置された2台のLED光源から同時に被険者の眼に向けてLED光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記LED光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記LED光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記2平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴とする視線ベクトル検出方法。
- 前記所定の条件は、前記LED光源からの入射光と反射光の2等分線が前記角膜球面上の輝点を通る法線ベクトルと一致することを特徴とする請求項1に記載の視線ベクトル検出方法。
- 前記瞳孔の中心を求めるステップは、前記角膜球の中心と同一中心の所定半径の球面と前記カメラレンズの中心から前記撮影画像の瞳孔中心を通る半直線の交点を求めるステップであることを特徴とする請求項1又は請求項2の何れか1に記載の視線ベクトル検出方法。
- 撮影カメラの両側に配置された2台のLED光源と、該2台のLED光源の同時点灯時に角膜球上の輝点を撮影する制御コントローラと、前記撮影カメラの撮影画像データから前記角膜球の中心点を求める演算と該角膜球の中心点の座標を利用して瞳孔中心を求める演算を行う演算処理装置とを具備したことを特徴とする視線ベクトル検出装置。
- 前記2台のLED光源と前記撮影カメラとの位置関係を限定して1個のユニットに構成したことを特徴とする請求項4に記載の視線ベクトル検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006029428A JP4824420B2 (ja) | 2006-02-07 | 2006-02-07 | 視線ベクトル検出方法及び同装置 |
US11/702,910 US7771049B2 (en) | 2006-02-07 | 2007-02-06 | Method and apparatus for detecting sight line vector |
DE200710006158 DE102007006158A1 (de) | 2006-02-07 | 2007-02-07 | Verfahren und Vorrichtung zum Erfassen eines Sichtlinienvektors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006029428A JP4824420B2 (ja) | 2006-02-07 | 2006-02-07 | 視線ベクトル検出方法及び同装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007209384A true JP2007209384A (ja) | 2007-08-23 |
JP4824420B2 JP4824420B2 (ja) | 2011-11-30 |
Family
ID=38336216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006029428A Expired - Fee Related JP4824420B2 (ja) | 2006-02-07 | 2006-02-07 | 視線ベクトル検出方法及び同装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7771049B2 (ja) |
JP (1) | JP4824420B2 (ja) |
DE (1) | DE102007006158A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007301087A (ja) * | 2006-05-10 | 2007-11-22 | Gen Tec:Kk | 車両運転者の視線方向の検出方法又は同装置 |
JP2010230651A (ja) * | 2009-03-27 | 2010-10-14 | Utechzone Co Ltd | 視線追跡方法及び視線追跡システム |
US9993154B2 (en) | 2013-11-28 | 2018-06-12 | JVC Kenwood Corporation | Eye gaze detection supporting device and eye gaze detection supporting method |
KR20200044188A (ko) | 2018-10-08 | 2020-04-29 | 주식회사 엘지화학 | 고강도 기계적 성질을 제공하는 3d 잉크젯 프린팅용 잉크 조성물 |
KR20200103185A (ko) | 2019-02-14 | 2020-09-02 | 주식회사 엘지화학 | 우수한 인성을 제공하는 3d 잉크젯 프린팅용 잉크 조성물 |
US11464405B2 (en) | 2017-06-08 | 2022-10-11 | Nac Image Technology Inc. | Visual function test device, visual function training device, and method thereof |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059257A (ja) * | 2007-09-03 | 2009-03-19 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US20140043229A1 (en) * | 2011-04-07 | 2014-02-13 | Nec Casio Mobile Communications, Ltd. | Input device, input method, and computer program |
JP2016049259A (ja) * | 2014-08-29 | 2016-04-11 | アルプス電気株式会社 | 視線検出装置 |
EP3187100A4 (en) * | 2014-08-29 | 2018-05-09 | Alps Electric Co., Ltd. | Line-of-sight detection device |
JP6201956B2 (ja) | 2014-10-24 | 2017-09-27 | 株式会社Jvcケンウッド | 視線検出装置および視線検出方法 |
KR102442569B1 (ko) * | 2016-07-14 | 2022-09-08 | 매직 립, 인코포레이티드 | 각막 곡률을 이용한 홍채 경계 추정 |
US10922393B2 (en) | 2016-07-14 | 2021-02-16 | Magic Leap, Inc. | Deep neural network for iris identification |
JP6485819B2 (ja) * | 2016-07-27 | 2019-03-20 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
CA3034644A1 (en) | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
CA3038967A1 (en) | 2016-10-04 | 2018-04-12 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
US10621747B2 (en) | 2016-11-15 | 2020-04-14 | Magic Leap, Inc. | Deep learning system for cuboid detection |
KR20180060559A (ko) * | 2016-11-29 | 2018-06-07 | 삼성전자주식회사 | 동공 거리 결정 방법 및 장치 |
CA3045664A1 (en) | 2016-12-05 | 2018-06-14 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
JP6929953B2 (ja) | 2017-03-17 | 2021-09-01 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 部屋レイアウト推定方法および技法 |
WO2019022849A1 (en) | 2017-07-26 | 2019-01-31 | Magic Leap, Inc. | FORMATION OF A NEURONAL NETWORK WITH REPRESENTATIONS OF USER INTERFACE DEVICES |
CN107767421B (zh) * | 2017-09-01 | 2020-03-27 | 北京七鑫易维信息技术有限公司 | 视线追踪设备中光斑光源匹配方法和装置 |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
AU2018337653A1 (en) | 2017-09-20 | 2020-01-16 | Magic Leap, Inc. | Personalized neural network for eye tracking |
CN111373419A (zh) | 2017-10-26 | 2020-07-03 | 奇跃公司 | 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法 |
SE2250689A1 (en) * | 2022-06-08 | 2023-12-09 | Tobii Ab | Eye profiling |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
JPH02264633A (ja) * | 1989-04-05 | 1990-10-29 | Canon Inc | 視線検出装置 |
JPH02264632A (ja) * | 1989-04-05 | 1990-10-29 | Canon Inc | 視線検出装置 |
JPH04236936A (ja) * | 1991-01-17 | 1992-08-25 | Canon Inc | 視線検出装置を有した光学装置 |
JPH0694978A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
JPH0694977A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
JPH07299038A (ja) * | 1994-05-06 | 1995-11-14 | Nikon Corp | 視線検出機能を有するカメラ |
JP2003079577A (ja) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
JP2005253778A (ja) * | 2004-03-12 | 2005-09-22 | Gen Tec:Kk | 視線検出方法及び同装置 |
JP2007029126A (ja) * | 2005-07-22 | 2007-02-08 | System Artware:Kk | 視線検出装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055322A (en) * | 1997-12-01 | 2000-04-25 | Sensor, Inc. | Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination |
JP2002017674A (ja) | 2000-07-10 | 2002-01-22 | Canon Inc | 角膜測定装置 |
JP4745550B2 (ja) | 2001-07-26 | 2011-08-10 | キヤノン株式会社 | 角膜測定装置 |
-
2006
- 2006-02-07 JP JP2006029428A patent/JP4824420B2/ja not_active Expired - Fee Related
-
2007
- 2007-02-06 US US11/702,910 patent/US7771049B2/en not_active Expired - Fee Related
- 2007-02-07 DE DE200710006158 patent/DE102007006158A1/de not_active Withdrawn
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
JPH02264633A (ja) * | 1989-04-05 | 1990-10-29 | Canon Inc | 視線検出装置 |
JPH02264632A (ja) * | 1989-04-05 | 1990-10-29 | Canon Inc | 視線検出装置 |
JPH04236936A (ja) * | 1991-01-17 | 1992-08-25 | Canon Inc | 視線検出装置を有した光学装置 |
JPH0694978A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
JPH0694977A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
JPH07299038A (ja) * | 1994-05-06 | 1995-11-14 | Nikon Corp | 視線検出機能を有するカメラ |
JP2003079577A (ja) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
JP2005253778A (ja) * | 2004-03-12 | 2005-09-22 | Gen Tec:Kk | 視線検出方法及び同装置 |
JP2007029126A (ja) * | 2005-07-22 | 2007-02-08 | System Artware:Kk | 視線検出装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007301087A (ja) * | 2006-05-10 | 2007-11-22 | Gen Tec:Kk | 車両運転者の視線方向の検出方法又は同装置 |
JP4676375B2 (ja) * | 2006-05-10 | 2011-04-27 | アイテック株式会社 | 車両運転者の視線方向の検出方法又は同装置 |
JP2010230651A (ja) * | 2009-03-27 | 2010-10-14 | Utechzone Co Ltd | 視線追跡方法及び視線追跡システム |
US9993154B2 (en) | 2013-11-28 | 2018-06-12 | JVC Kenwood Corporation | Eye gaze detection supporting device and eye gaze detection supporting method |
US11464405B2 (en) | 2017-06-08 | 2022-10-11 | Nac Image Technology Inc. | Visual function test device, visual function training device, and method thereof |
KR20200044188A (ko) | 2018-10-08 | 2020-04-29 | 주식회사 엘지화학 | 고강도 기계적 성질을 제공하는 3d 잉크젯 프린팅용 잉크 조성물 |
KR20200103185A (ko) | 2019-02-14 | 2020-09-02 | 주식회사 엘지화학 | 우수한 인성을 제공하는 3d 잉크젯 프린팅용 잉크 조성물 |
Also Published As
Publication number | Publication date |
---|---|
DE102007006158A1 (de) | 2007-09-13 |
US7771049B2 (en) | 2010-08-10 |
US20070189742A1 (en) | 2007-08-16 |
JP4824420B2 (ja) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4824420B2 (ja) | 視線ベクトル検出方法及び同装置 | |
JP2020034919A (ja) | 構造化光を用いた視線追跡 | |
US9398848B2 (en) | Eye gaze tracking | |
US10499808B2 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
US20140218281A1 (en) | Systems and methods for eye gaze determination | |
CN109690553A (zh) | 执行眼睛注视跟踪的系统和方法 | |
US20050200806A1 (en) | Line-of-sight detection method and apparatus therefor | |
US10354136B2 (en) | Head mounted eye tracking device and method for providing drift free eye tracking through a lens system | |
US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
KR102463172B1 (ko) | 동공 거리 결정 방법 및 장치 | |
US10599215B2 (en) | Off-axis eye tracker | |
JP2008513168A (ja) | 視線方向を非接触で特定する為の装置及び方法 | |
JP2008136789A (ja) | 眼球パラメータ推定装置及び方法 | |
US10996751B2 (en) | Training of a gaze tracking model | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
US9946343B2 (en) | Motion tracker with an array of distinct light sources | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6948688B2 (ja) | 視線計測装置、視線計測方法および視線計測プログラム | |
CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
JP2007029126A (ja) | 視線検出装置 | |
Chi et al. | A novel multi-camera global calibration method for gaze tracking system | |
JP2016532217A (ja) | グリントにより眼を検出する方法および装置 | |
CN104902840B (zh) | 跟踪系统及利用上述跟踪系统的跟踪方法 | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
US20040057622A1 (en) | Method, apparatus and system for using 360-degree view cameras to identify facial features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4824420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |