CN105828702A - 用于校准头戴式眼睛跟踪装置的方法 - Google Patents

用于校准头戴式眼睛跟踪装置的方法 Download PDF

Info

Publication number
CN105828702A
CN105828702A CN201480068904.6A CN201480068904A CN105828702A CN 105828702 A CN105828702 A CN 105828702A CN 201480068904 A CN201480068904 A CN 201480068904A CN 105828702 A CN105828702 A CN 105828702A
Authority
CN
China
Prior art keywords
wearer
eye tracking
calibration
supporter
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480068904.6A
Other languages
English (en)
Other versions
CN105828702B (zh
Inventor
R·法约尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EssilorLuxottica SA
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Publication of CN105828702A publication Critical patent/CN105828702A/zh
Application granted granted Critical
Publication of CN105828702B publication Critical patent/CN105828702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1866Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0238Means for recording calibration data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Eye Examination Apparatus (AREA)
  • Eyeglasses (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

用于校准头戴式眼睛跟踪装置的方法,该方法包括:?采集步骤(S3),在该步骤过程中,当使该头戴式眼睛跟踪装置的佩戴者看向关于该眼镜片支座的参考方向时由该眼睛跟踪装置采集与该佩戴者的眼睛的位置相关的眼睛数据;?关联步骤(S4),在该步骤过程中,将在该采集步骤过程中采集的该眼睛数据与对应于该参考方向的凝视方向进行关联;?记录步骤(S5),在该步骤过程中,记录该相关联的眼睛数据和该凝视方向——其中,该头戴式眼睛跟踪装置包括在其中安装有多个眼科镜片的眼镜架,并且对应于该参考方向的该凝视方向是基于这些眼科镜片的屈光功能确定的。

Description

用于校准头戴式眼睛跟踪装置的方法
技术领域
本发明涉及一种用于校准头戴式眼睛跟踪装置的方法,并且涉及一种用于对已经通过根据本发明的校准方法校准过的头戴式眼睛跟踪装置进行调整的方法。
背景技术
对本发明的背景的讨论包括于此以解释本发明的上下文。这将不被认为是承认所引用的任何材料被公开、已知或者是权利要求书中的任一项权利要求的优先权日下的公共常识的一部分。
眼睛跟踪装置被越来越多地用于不同的技术领域中。
头戴式眼睛跟踪装置对于佩戴者通常是侵入式并且令人不舒服的。此外,现有眼睛跟踪装置通常较重,具体地比一副典型的眼镜片重得多。在某些情况下,需要特殊镜片(例如,IR反射镜片),和/或视野的一部分被眼睛跟踪装置的元件阻碍。
实际上,大多数眼睛跟踪设备偏好跟踪精度和鲁棒性胜过佩戴者的舒适度。
佩戴者的舒适度不被认为是同样重要的,因为大多数头戴式眼睛跟踪装置旨在于较短的时间段内被使用,通常是对佩戴者执行某些测量时。
然而,眼科镜片领域中的最新发展使得有趣的是使佩戴者在较长的时间段内(甚至一整天)携带眼睛跟踪系统。
因此,眼睛跟踪装置的舒适度越来越成为一个问题。已经尝试过使眼睛跟踪装置适应眼镜架以便增加眼睛跟踪装置的整体舒适度,然而,似乎这种适应提供了在眼睛跟踪准确度方面较差的结果。
长时间在眼镜架中使用眼睛跟踪器的问题之一是准确度随着时间而降低,因为镜架随着时间移位。
发明内容
本发明的一个目的是提供一种用于校准头戴式眼睛跟踪装置(具体为安装在眼镜架上的眼睛跟踪装置)的方法,从而使得该眼睛跟踪装置不呈现上文所提及的缺点。
为此,本发明提出了一种用于校准头戴式眼睛跟踪装置的方法,该方法包括:
-采集步骤,在该步骤过程中,当使该头戴式眼睛跟踪装置的佩戴者看向参考方向时由该眼睛跟踪装置采集与该佩戴者的眼睛的位置相关的眼睛数据,
-关联步骤,在该步骤过程中,将在该采集步骤过程中采集的该眼睛数据与对应于该参考方向的凝视方向进行关联,
-记录步骤,在该步骤过程中,记录该相关联的眼睛数据和该凝视方向,
其中,该头戴式眼睛跟踪装置包括在其中安装有多个眼科镜片的眼镜架,并且对应于该参考方向的该凝视方向是基于这些眼科镜片的屈光功能确定的。
有利地,根据本发明的方法提供对头戴式装置的校准,增加眼睛跟踪装置的准确度。诸位发明人已观察到,即使针对添加到常规眼镜架上的眼睛跟踪装置,当使用本发明的校准方法时眼睛跟踪装置的准确度也被增加了。因此,当使用本发明的校准方法时,似乎有可能提供安装在眼镜架中的舒适的眼睛跟踪装置并且提供关于眼睛跟踪的准确结果。
根据可以单独或组合地进行考虑的进一步的实施例:
-该头戴式眼睛跟踪装置至少包括具有微结构化图案形式的视觉参考元件,该微结构化图案被设计成用于在特定照明条件下将入射光束衍射朝向该佩戴者的眼睛;和/或
-该方法在该采集步骤之前进一步包括:
-校准支持件提供步骤,在该步骤过程中,向佩戴该头戴式跟踪装置的佩戴者提供至少包括视觉参考元件的校准支持件,
-放置步骤,在该步骤过程中,该校准支持件被放置于该佩戴者的至少一只眼睛与该佩戴者的视觉环境之间相对于该佩戴者的眼睛并且相对于该眼睛跟踪装置的已知位置中,以便与该视觉参考元件一起定义参考方向。和/或
-该校准支持件包括多个视觉参考元件,并且针对每个视觉参考元件重复该关联步骤和该记录步骤;和/或
-该方法在该最后的记录步骤之后进一步包括移除步骤,在该移除步骤过程中,该校准支持件被移除;和/或
-该校准支持件对光不透明;和/或
-该至少一个视觉参考元件是该校准支持件中的光学开口,该光学开口例如是个孔,传导、发射或透射光的校准支持件的一部分;和/或
-可切换光源被附接至该校准支持件中的至少一个开口上,并且被配置成用于在该采集步骤过程中高亮该视觉参考元件(以抓住佩戴者的注意力、以生成闪烁和/或以控制其瞳孔直径);和/或
-该校准支持件对可见光是透明的,并且该至少一个视觉参考元件是被设计成用于将入射光束衍射朝向该佩戴者眼睛的微结构化图案;和/或
-该校准支持件包括生成虚拟图像的光学系统、用于生成该至少一个视觉参考元件的虚拟显示装置;和/或
-该眼睛跟踪装置包括在其中安装有多个眼科镜片的眼镜架,在该放置步骤过程中,该校准支持件被放置在这些眼科镜片中的至少一个眼科镜片的表面中的至少一个表面上,并且对应于参考元件的该凝视方向是基于这些眼科镜片的屈光功能确定的。和/或
-在放置步骤过程中,将校准支持件放置在这两个光学镜片上;和/或
-该校准支持件中的开口具有大于或等于0.6mm并且小于或等于1mm的直径;和/或
-该校准支持件是薄热成型层;和/或
-该方法进一步包括眼睛跟踪位置确定步骤,在该步骤过程中,确定当由该佩戴者佩戴时该眼睛跟踪装置相对于该佩戴者的脸部的相对位置;和/或
-该校准支持件最初是具有预先定位的参考元件的薄盘,并且可以被磨边以与眼镜的形状相匹配。
本发明还涉及一种用于对已经通过根据本发明所述的方法校准过的头戴式眼睛跟踪装置进行调整的方法,该方法包括:
-偏差确定步骤,在该步骤过程中,确定与该佩戴者的脸部关于该眼睛跟踪装置的该相对位置的初始位置的偏差,
-调整步骤,在该步骤过程中,基于在该偏差步骤过程中确定的该偏差来调整该眼睛跟踪功能,
其中,在这些校准步骤过程中,该初始位置对应于该佩戴者的脸部关于该眼睛跟踪装置的该相对位置。
根据可以单独或组合地进行考虑的进一步的实施例:
-例如每30秒定期地重复该偏差步骤和该调整步骤;和/或
-偏差步骤,确定该眼睛与该眼睛跟踪装置之间的距离以及该眼睛的旋转中心关于该眼睛跟踪装置的相对位置;和/或
-该头戴式眼睛跟踪装置进一步包括被配置成用于照亮佩戴者的至少一只眼睛的至少两个光源,并且其中,在眼睛跟踪相机的视野中关于瞳孔基于通过这些光源在该佩戴者的由这些光源照射的该眼睛的角膜上的反射形成的几何形状来确定该眼睛与该跟踪装置之间的距离。
根据进一步的方面,本发明涉及一种包括一个或多个存储的指令序列的计算机程序产品,该一个或多个存储指令序列可由处理器存取并且当由该处理器执行时致使该处理器实施根据本发明的方法的步骤。
根据另一个方面,本发明涉及一种使计算机执行本发明的方法的程序。
本发明还涉及一种计算机可读介质,该计算机可读介质承载有根据本发明的计算机程序的一个或多个指令序列。
本发明进一步涉及一种其上记录有程序的计算机可读存储介质;其中,该程序使计算机执行本发明的方法。
本发明涉及一种包括一个处理器的装置,该处理器被适配成用于存储一个或多个指令序列并且实施根据本发明的方法的步骤中的至少一个步骤。
附图说明
现在将参照附图来描述本发明的非限制性实施例,在附图中:
ο图1是可以根据本发明的方法进行校准的头戴式眼睛跟踪装置的示意性表示,
ο图2是表示根据本发明的一种用于校准头戴式装置的方法的步骤的流程图,
ο图3是校准支持件的示意性表示,
ο图4是表示根据本发明的调整方法的步骤的流程图,并且
ο图5是使用虚拟图像生成器的校准支持件的示意性表示。
具体实施方式
附图中的元件仅是为了简洁和清晰而展示的并且不一定是按比例绘制的。例如,图中的某些元件的尺寸可以相对于其他尺寸被放大,以便帮助提高对本发明的实施例的理解。
图1表示安装在眼镜架12上的头戴式眼睛跟踪装置10的示例。尽管根据本发明的校准方法并不局限于这种类型的头戴式装置,该方法似乎对安排在眼镜架中的眼睛跟踪装置特别有利。
实际上,诸位发明人已经观察到根据本发明的校准方法增加了头戴式眼睛跟踪装置(特别是安排在眼镜架中的眼睛跟踪装置)的准确度。
在图1上表示的眼睛跟踪装置10包括眼镜架12,该眼镜架具有指向佩戴者的左眼(未示出)的三个相机20、22、24。这些相机20、22、24被安排成指向头部以便跟踪佩戴者的双眼的位置和/或佩戴者的双眼的结构,例如,瞳孔、眼睑、虹膜、闪光点、和/或在眼睛区域中的其他参照点。
这些相机20、22、24可以包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、或包括有源区(例如,包括矩形的或线性的或其他的像素阵列)的其他光检测器,以用于捕捉图像和/或生成表示这些图像的视频信号。这些相机20、22、24各自的有源区可以具有任何希望的形状,例如,方形、矩形形状、圆形等等。一个或多个相机的有源区的表面也可以是弯曲的(如果希望的话),例如以便在图像采集过程中补偿眼睛的近三维曲率以及被成像的周围结构。
眼睛跟踪装置10进一步包括三个照射源30、32、34,这三个照射源被安排成在佩戴者戴着眼镜架12时照射佩戴者的左眼。
这三个照射源30、32、34固定至眼镜架12上。在示例性实施例中,照射源30、32、34可以包括发光二极管(LED)、有机LED(OLED)、激光二极管、或将电能转换成光子的其他器件。每个照射源30、32、34可以用来照射眼睛以便使用相机20、22、24中的任一者来采集图像和/或产生用于测量目的的参照闪光点从而提高视线跟踪的准确度。在示例性实施例中,每个光源30、32、34可以被配置成用于发射相对窄或宽的带宽的光,例如在大约700-1000纳米之间的一个或多个波长的红外光。例如,铝砷化镓LED提供了在850nm的发射峰并且被广泛使用且是负担得起的,而在移动电话中使用的商品CMOS相机与网络相机在这个波长显示出良好的灵敏度。
眼睛跟踪装置10进一步包括处理单元14,该处理单元被安排成用于接收由相机20、22、24收集的图像。处理单元被安排在眼镜架的这些侧之一中。
虽然未表示出来,但是该眼睛跟踪装置进一步包括电源,例如蓄电池和/或其他电子产品。有利地,为了在眼镜架12内更均匀地分布重量,电源和/或其他电子器件可以安排在眼镜架的与包含处理单元14的一侧相对的一侧中。
有利地,这种头戴式眼睛跟踪装置被包括在眼镜架中,佩戴者可以长时间使用眼睛跟踪装置而不受阻碍。
虽然在图1上相机和照射源仅被表示在眼镜架的左侧,但是眼睛跟踪装置也可以在该眼镜架的右侧上包括多个相机和照射源。
有利的是,在眼镜架的两侧上具有相机允许提供关于佩戴者的凝视方向和凝视距离的准确信息。
例如,此类眼睛跟踪装置可以长期使用以便在日常生活条件下准确地确定佩戴者的视觉行为。
这种眼睛跟踪装置还可以与有源眼镜片组合。例如,光学镜片的光学功能可以使用佩戴者的凝视方向和距离、或该光学功能在一段时间上的历史而被适配。
在本发明的意义上,光学功能与针对每个注视方向提供光学镜片对穿过该光学镜片的光线的影响的功能相对应。
光学功能可以包括如屈光功能、光吸收、偏振能力、对比度加强能力等……
屈光功能于根据注视方向的光学镜片屈光力(平均屈光力、散光等)相对应。
根据本发明的校准方法特别适合于安装在如图1上所展示的眼镜架中的眼睛跟踪装置。
作为替代方案,可以使用任何其他眼睛跟踪(如眼电图(electroocculography))或其他方法,而不是使用相机和照明源来跟踪至少一只眼睛。
根据在图2上所展示的本发明的第一实施例,用于校准头戴式眼睛跟踪装置的该方法包括:
-校准支持件提供步骤S1,
-放置步骤S2,
-采集步骤S3,
-关联步骤S4,以及
-记录步骤S5。
在校准支持件提供步骤S1过程中,为佩戴着有待校准的头戴式眼睛跟踪装置的佩戴者提供校准支持件。
校准支持件至少包括视觉参考元件。
图3上表示了校准支持件的示例。在图2上表示的校准支持件40是对光不透明的,并且包括作为视觉参考元件的多个光学开口42。根据本发明的实施例,光学开口具有大于或等于0.6mm并且小于或等于1mm的直径。
根据本发明的实施例,至少一个可切换光源可以附接于校准支持件中的至少一个光学开口上,并且被配置成用于高亮视觉参考元件以便抓住佩戴者的注意力、和/或在角膜上生成反射(“闪烁“)、和/或控制其瞳孔直径。
根据本发明的进一步实施例,校准支持件可以是薄热成型层,例如,具有大于25μm并且小于1mm的厚度。当眼睛跟踪装置包括在其中安装有眼科镜片的眼镜架时,这种薄热成形层是特别有利的。实际上,校准支持件可以容易地被放置在这些眼科镜片中的至少一个眼科镜片(例如,这些眼科镜片的两个眼科镜片)的表面中的至少一个表面上。例如,校准支持件被放置在安装在眼镜架中的眼科镜片中的每个眼科镜片的前表面上。
根据进一步的实施例,校准支持件对可见光是透明的,并且该至少一个视觉参考元件是被设计成用于将入射光束衍射朝向佩戴者眼睛的微结构化图案。这种校准支持件可以例如是光学镜片自身。实际上,安装在眼镜架中的光学镜片可以包括光学镜片的表面中的一个或两个表面上内部的或雕刻于其上的微结构化图案。这种微结构化图案被安排为在普通光照条件下对佩戴者是可见的并且在特定光照条件下(例如,使用特定的光照角度)向佩戴者显现。有利地,将校准支持件结合在光学镜片中允许在不使用附加支持件的情况下更轻易地实现根据本发明的校准方法。
根据进一步的实施例,如图5所示,校准支持件可以是虚拟图像显示装置50,优选地允许佩戴者通过它看到虚拟图像和真实世界二者。该虚拟图像显示装置能够显示图形图像,并且电子驱动系统(存储器+处理器)将该图像发送至该虚拟显示装置以进行显示。
优选地,该虚拟图像显示装置能够在不同的观察方向上显示图像,并且针对不同方向使用点或小圆形式的图像依次生成视觉参考元件。
在放置步骤S2过程中,校准支持件被放置于佩戴者的至少一只眼睛与佩戴者的视觉环境之间。
校准支持件通常被放置在佩戴者的眼睛前距离佩戴者眼睛的旋转中心几厘米处,例如,在距离佩戴者眼睛的旋转中心25mm与35mm之间。
校准支持件相对于佩戴者眼睛的位置是已知的。通常,校准支持件相对于佩戴者眼睛的旋转中心的位置是已知的。
根据本发明的实施例,校准支持件可以被放置于佩戴者的双眼与佩戴者的视觉环境之间,例如,校准支持被放置在眼镜架的两个光学镜片之上。根据这种实施例,校准支持件相对于佩戴者双眼的位置是已知的。
同样,校准支持件相对于眼镜架的位置是已知的,具体为校准支持件相对于眼睛跟踪装置的位置是已知的。
了解所放置的校准支持件相对于佩戴者眼睛并且相对于眼镜架,或者相对于眼睛跟踪装置的位置,可以为校准支持件的视觉参考元件定义参考方向。根据校准支持件包括多个视觉参考元件的实施例,每个视觉参考元件可以与一个参考方向相关联。
在采集步骤S3过程中,当使头戴式眼睛跟踪装置的佩戴者看向参考方向时由眼睛跟踪装置采集与佩戴者的眼睛的位置相关的眼睛数据。
例如,在采集步骤过程中,要求佩戴者看着校准支持件的这些视觉参考或者这些视觉参考之一。当佩戴者正看着这些视觉参考或者这些视觉参考之一时,佩戴者的双眼的图像被图1中所展示的相机20、22和24记录。
在关联步骤S4过程中,将在采集步骤S3过程中采集的眼睛数据与对应于参考方向的凝视方向进行关联。眼睛数据表示眼睛位置并且可以是闪烁位置、瞳孔位置、虹膜位置、电压(当使用眼电图时)或关于眼睛位置的任何物理量提供信息。
如之前所指出的,根据本发明的校准方法可以用于校准眼睛跟踪装置,该眼睛跟踪装置包括在其中安装有眼科镜片的眼镜架。
通常,在放置步骤过程S2中,校准支持件被放置在这些眼科镜片的至少一个眼科镜片的这些表面的至少一个表面上,并且在关联步骤过程中,对应于参考元件的凝视方向是基于眼科镜片的屈光功能确定的。
在记录步骤S5过程中,将相关联的眼睛数据和凝视方向记录在例如包括在眼镜架的这些侧的一侧中的存储器中。
根据本发明的校准支持件包括多个视觉参考元件的实施例,针对每个视觉参考元件重复关联步骤和记录步骤。
如图2中所指出的,根据本发明的方法可以在最后记录步骤之后包括移除步骤S6,在该移除步骤过程中校准支持件被移除。
根据本发明的校准允许收集与凝视方向有关的眼睛数据,例如,佩戴者的眼睛的图像。这种数据可以在眼睛跟踪过程中被用来增加眼睛跟踪装置的准确度。
诸位发明人已观察到,考虑眼睛跟踪装置相对于佩戴者的脸部的移动可以更进一步增加眼睛跟踪装置的准确度。
因此,根据本发明的实施例,该校准方法进一步包括眼睛跟踪位置确定步骤,在该步骤过程中,确定当由佩戴者佩戴时该眼睛跟踪装置相对于佩戴者脸部的相对位置。优选地,在采集步骤之前实现眼睛跟踪位置确定步骤。
本发明进一步涉及一种用于对已经通过根据本发明的方法校准过的头戴式眼睛跟踪装置进行调整的方法。
如在图4上所展示的,该校准方法包括:
-偏差确定步骤S7,以及
-调整步骤S8。
在偏差确定步骤S7过程中,确定与该佩戴者的脸部关于眼睛跟踪装置的相对位置的其初始位置的偏差。
佩戴者的脸部关于眼睛跟踪装置的相对位置的初始位置优选地是在根据本发明的校准方法的眼睛跟踪位置确定步骤过程中确定的。
佩戴者脸部的相对位置包括佩戴者的眼睛与眼睛跟踪装置的至少一个参考点之间的距离,例如,佩戴者的角膜顶点与眼睛跟踪装置的至少一个参考点之间的距离。
佩戴者脸部的相对位置可以进一步包括眼睛的旋转中心关于眼睛跟踪装置的至少一个参考点的相对位置。
当眼睛跟踪装置被安排成用于跟踪佩戴者的双眼时,优选地针对佩戴者的每只眼睛确定这种距离。
如图1上所展示的,头戴式眼睛跟踪装置可以包括被配置成用于照亮佩戴者的至少一只眼睛的至少两个光源。可以基于通过这些光源在佩戴者的由这些光源照射的眼睛的角膜上反射形成的形状来确定眼睛与跟踪装置之间的距离。
根据第一实施例,可以将若干光源安装在眼镜架上。这些光源中的每个光源创建在摄像图像中可见的镜面反射(“闪烁”)。如果光源足够小,那么闪烁可以被视为点。眼睛表面在若干部分(中央部分或虹膜、巩膜)中是准球面,在充分注意下,闪光点之间的表观距离可以同眼睛表面与眼镜之间的距离直接相关。
根据进一步的实施例,在已知关于眼镜的立体角的情况下,结构化照明可以用于将光图案投影在眼睛上(例如:方形、条形、线形格栅、…)。分析结构化光从眼睛到相机的反射图案还可以直接引起对顶点距离(或顶点距离变化)的计算。
根据可以与先前实施例相组合的实施例,分析瞳孔或虹膜在一段时间内的表观形状记录可以引起在相机视野中定位眼睛旋转中心。在充分注意下,还可以从这种类型的记录中计算顶点距离。
在偏差确定步骤S7过程中确定的偏差用于在调整步骤S8过程中调整眼睛跟踪装置的眼睛跟踪功能。
根据本发明的实施例中,例如每30秒定期地重复偏差步骤和调整步骤。
有利地,本发明的调整方法允许维持眼睛跟踪装置的高准确度,尽管眼睛跟踪装置可能相对于佩戴者的脸部移动。例如,当眼睛跟踪装置是图1上所表示的类型时,该眼睛跟踪装置可以相对于佩戴者的脸部移动,例如,在佩戴者的鼻子上滑动或甚至由佩戴者重新定位。根据本发明的调整方法允许基于这种移动来调整眼睛跟踪功能。
如调整的示例,如果眼睛偏差在水平(对应地,竖直)轴线上被测量为Nmm,并且在纵轴线(顶点距离变化)中为Mmm,则眼睛数据将被修改为使得用瞳孔、或虹膜、或闪烁的位置测量的眼睛凝视方向将会被修改。
针对这种调整的简单解决方案在于直接修改眼睛数据以便取消眼镜与脸部之间的移动的效果。在基本示例中,如果眼镜沿着垂直于眼睛相机光学轴线的轴线发生平移,则可以简单地在相机视野中将检测的眼睛位置“平移”相应的距离,以便保持使用初始校准数据而不改变眼睛跟踪准确度。
更一般地,根据本发明的调整方法目的在于根据所观察到的在眼镜与佩戴者脸部之间的移动在镜片表面上确定凝视的预期“撞击点(impactpoint)”。然后,知道镜片上的撞击点和入射,就可以用最小的精度损失计算凝视方向。
作为闪烁位置的偏差的替代方案,该偏差可以被测量作为双眼旋律位置的偏差,或者更一般地脸部特征相对于眼睛跟踪装置的任何偏差,例如,鼻子、眉毛、皮肤上的斑点的位置。该偏差可以由眼睛跟踪装置自身或者由定位在眼睛跟踪装置上的任何附加的相机或非接触式传感器(例如:超声波或飞行时间距离传感器、光电探测器阵列、电容式接近度传感器、……)来测量。
还可以在确定摄像机图像中的虹膜表观大小的情况下确定眼睛跟踪装置与眼睛之间的距离偏差。在图像中经修改的虹膜大小意味着发生的偏差,并且较小的大小意味着增加的眼睛与眼睛跟踪装置之间的距离。知道虹膜大小(约12mm大)和相机的像素角大小,就可以使用简单的模型来确定偏差。
DistEtoET×tan(Npix×PixSize)=IrisSize,所以DistEtoET×tan(Npix×PixSize)
其中,DisEtoET=眼睛与眼睛跟踪器之间的距离
Npix=在眼睛的图像上测量的虹膜像素大小
PixSize=从成像眼睛的相机的光学系统中已知的像素角大小。
IrisSize=虹膜大小(12mm)
以上已经借助于实施例描述了本发明,这些实施例并不限制本发明的发明构思。
对于参考了以上说明的实施例的本领域技术人员来说,还可以提出很多进一步的修改和变化,这些实施例仅以实例方式给出,无意限制本发明的范围,本发明的范围仅由所附权利要求书予以限定。
在权利要求书中,词“包括”不排除其他的元件或步骤,并且不定冠词“一个(a)”或“一个(an)”不排除多个。不同的特征在相互不同的从属权利要求中被叙述这个单纯的事实并不表示不能有利地使用这些特征的组合。权利要求书中的任何参考符号都不应当被解释为限制本发明的范围。

Claims (18)

1.一种用于校准头戴式眼睛跟踪装置的方法,该方法包括:
-采集步骤(S3),在该步骤过程中,当使该头戴式眼睛跟踪装置的佩戴者看向参考方向时由该眼睛跟踪装置采集与该佩戴者的眼睛的位置相关的眼睛数据,
-关联步骤(S4),在该步骤过程中,将在该采集步骤过程中采集的该眼睛数据与对应于该参考方向的凝视方向进行关联,
-记录步骤(S5),在该步骤过程中,记录该相关联的眼睛数据和该凝视方向,
其中,该头戴式眼睛跟踪装置包括在其中安装有多个眼科镜片的眼镜架,并且对应于该参考方向的该凝视方向是基于这些眼科镜片的屈光功能确定的。
2.根据权利要求1所述的方法,其中,重复该方法的这些步骤。
3.根据权利要求1或2所述的方法,其中,重复该方法的这些步骤使得该佩戴者在不同的参考方向上和/或在不同的凝视距离处进行观看。
4.根据以上权利要求中任一项所述的方法,其中,该头戴式眼睛跟踪装置至少包括具有微结构化图案形式的视觉参考元件,该微结构化图案被设计成用于在特定照明条件下将入射光束衍射朝向该佩戴者的眼睛。
5.根据以上权利要求中任一项所述的方法,其中,在该采集步骤之前该方法进一步包括:
-校准支持件提供步骤(S1),在该步骤过程中,向佩戴该头戴式跟踪装置的佩戴者提供至少包括视觉参考元件的校准支持件,
-放置步骤(S2),在该步骤过程中,该校准支持件被放置于该佩戴者的至少一只眼睛与该佩戴者的视觉环境之间相对于该佩戴者的眼睛并且相对于该眼睛跟踪装置的已知位置中,以便与该视觉参考元件一起定义参考方向。
6.根据权利要求5所述的方法,其中,该校准支持件包括多个视觉参考元件,并且针对每个视觉参考元件重复该关联步骤和该记录步骤。
7.根据权利要求5或6所述的方法,其中,该校准支持件对可见光是透明的,并且该至少一个视觉参考元件是被设计成用于将入射光束衍射朝向该佩戴者的眼睛的微结构化图案。
8.根据权利要求5或6所述的方法,其中,该校准支持件对光不透明。
9.根据权利要求5至8中任一项所述的方法,其中,该至少一个视觉参考元件是该校准支持件中的光学开口。
10.根据权利要求5至9中任一项所述的方法,其中,可切换光源被附接至该校准支持件中的至少一个开口上,并且被配置成用于在该采集步骤过程中高亮该视觉参考元件。
11.根据权利要求5至10中任一项所述的方法,其中,在该放置步骤过程中,
该校准支持件被放置在这些眼科镜片中的至少一个眼科镜片的表面中的至少一个表面上,并且对应于参考元件的该凝视方向是基于这些眼科镜片的该屈光功能确定的。
12.根据以上权利要求中任一项所述的方法,其中,该校准支持件包括生成虚拟图像的光学系统、用于生成该至少一个视觉参考元件的虚拟显示装置。
13.根据以上权利要求中任一项所述的方法,其中,该方法进一步包括眼睛跟踪位置确定步骤,在该步骤过程中,确定当由该佩戴者佩戴时该眼睛跟踪装置相对于该佩戴者的脸部的相对位置。
14.一种用于对已经通过根据权利要求13所述的校准方法校准过的头戴式眼睛跟踪装置进行调整的方法,该方法包括:
-偏差确定步骤,在该步骤过程中,确定与该佩戴者的脸部关于该眼睛跟踪装置的该相对位置的初始位置的偏差,
-调整步骤,在该步骤过程中,基于在该偏差步骤过程中确定的该偏差来调整该眼睛跟踪功能,
其中,在这些校准步骤过程中,该初始位置对应于该佩戴者的脸部关于该眼睛跟踪装置的该相对位置。
15.根据权利要求14所述的方法,其中,例如每30秒定期地重复该偏差步骤和该调整步骤。
16.根据权利要求14或15所述的方法,其中,在该偏差步骤过程中,确定该眼睛与该眼睛跟踪装置之间的距离以及该眼睛的旋转中心关于该眼睛跟踪装置的相对位置。
17.根据权利要求16所述的方法,其中,该头戴式眼睛跟踪装置进一步包括被配置成用于照亮该佩戴者的至少一只眼睛的至少两个光源,并且其中,基于通过这些光源在该佩戴者的由这些光源照射的该眼睛的角膜上的反射形成的形状来确定该眼睛与该跟踪装置之间的距离。
18.一种计算机程序产品,该计算机程序产品包括一个或多个存储的指令序列,该一个或多个存储的指令序列可由处理器存取并且在由该处理器执行时致使该处理器至少实施根据权利要求1到17中任一项所述的方法的该关联步骤。
CN201480068904.6A 2013-12-17 2014-12-16 用于校准头戴式眼睛跟踪装置的方法 Active CN105828702B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306750.4A EP2886041A1 (en) 2013-12-17 2013-12-17 Method for calibrating a head-mounted eye tracking device
EP13306750.4 2013-12-17
PCT/EP2014/078098 WO2015091577A1 (en) 2013-12-17 2014-12-16 Method for calibrating a head-mounted eye tracking device

Publications (2)

Publication Number Publication Date
CN105828702A true CN105828702A (zh) 2016-08-03
CN105828702B CN105828702B (zh) 2019-07-19

Family

ID=49918498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480068904.6A Active CN105828702B (zh) 2013-12-17 2014-12-16 用于校准头戴式眼睛跟踪装置的方法

Country Status (8)

Country Link
US (1) US10307053B2 (zh)
EP (2) EP2886041A1 (zh)
JP (1) JP6656156B2 (zh)
KR (1) KR102318678B1 (zh)
CN (1) CN105828702B (zh)
BR (1) BR112016013021B1 (zh)
MX (1) MX2016007986A (zh)
WO (1) WO2015091577A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030382A (zh) * 2014-02-18 2016-10-12 埃西勒国际通用光学公司 用于优化佩戴者的光学镜片设备的方法
CN109844610A (zh) * 2016-10-21 2019-06-04 苹果公司 眼睛跟踪系统
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110945405A (zh) * 2017-05-31 2020-03-31 奇跃公司 眼睛跟踪校准技术
CN111190482A (zh) * 2018-11-15 2020-05-22 托比股份公司 用于校准眼睛追踪器的方法和装置
CN111714081A (zh) * 2020-07-08 2020-09-29 岭南师范学院 基于多波长led光学无损特殊儿童检测仪及检测方法
CN111971609A (zh) * 2018-04-06 2020-11-20 依视路国际公司 用于定制被适配用于生成虚像的头戴式装置的方法
CN112165894A (zh) * 2018-05-31 2021-01-01 托比股份公司 用于闪光/反射识别的方法和系统
CN113189769A (zh) * 2021-04-23 2021-07-30 歌尔股份有限公司 眼球追踪模组和眼镜

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015173388A2 (en) * 2014-05-15 2015-11-19 Essilor International (Compagnie Generale D'optique) A monitoring system for monitoring head mounted device wearer
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
AU2016310451B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
WO2017066296A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
KR101777942B1 (ko) * 2016-01-27 2017-09-14 동국대학교 산학협력단 헤드램프
US20180157908A1 (en) * 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
WO2018222892A1 (en) * 2017-06-01 2018-12-06 Pogotec Inc. Releasably attachable augmented reality system for eyewear
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11181977B2 (en) * 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US10768451B1 (en) * 2018-06-26 2020-09-08 Snap Inc. Diffusers in wearable devices
CN111103971A (zh) * 2018-10-29 2020-05-05 托比股份公司 头戴式装置在用户上的位置的确定
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
US20230045580A1 (en) * 2020-01-06 2023-02-09 Eyeway Vision Ltd. An eye tracking device and method thereof
US20220276702A1 (en) * 2021-03-01 2022-09-01 Qualcomm Incorporated Movement detection of a head mounted device
US20230097774A1 (en) * 2021-09-29 2023-03-30 Pixieray Oy Eyeglass lens with eye-tracking components
KR102586828B1 (ko) * 2022-12-16 2023-10-10 한국전자기술연구원 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4582403A (en) * 1984-03-05 1986-04-15 Weinblatt Lee S Head movement correction technique for eye-movement monitoring system
EP0845737A2 (en) * 1996-11-29 1998-06-03 Canon Kabushiki Kaisha Image display method and apparatus therefor
CN1390106A (zh) * 1999-10-07 2003-01-08 维思克斯公司 两摄象机偏轴线眼跟踪器
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN102112943A (zh) * 2008-08-07 2011-06-29 皇家飞利浦电子股份有限公司 确定用户头部运动/注视关系的方法和系统以及交互式显示系统
US20130295994A1 (en) * 2011-01-19 2013-11-07 Eric Clément Guitteaud Method for determining gaze direction and device for same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08563A (ja) * 1994-06-15 1996-01-09 Canon Inc 光学装置及びカメラ
JP3654625B2 (ja) * 2000-01-31 2005-06-02 株式会社モリタ製作所 眼球運動検査装置
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7731360B2 (en) * 2003-11-07 2010-06-08 Neuro Kinetics Portable video oculography system
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
CA2587323A1 (en) * 2004-11-16 2006-05-26 Essilor International (Compagnie Generale D'optique) Method for designing spectacle lenses taking into account an individual's head and eye movement
CN101677762B (zh) * 2008-02-28 2012-08-22 松下电器产业株式会社 视线检测装置以及视线检测方法
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US8333475B2 (en) * 2009-11-12 2012-12-18 Panasonic Corporation Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4582403A (en) * 1984-03-05 1986-04-15 Weinblatt Lee S Head movement correction technique for eye-movement monitoring system
EP0845737A2 (en) * 1996-11-29 1998-06-03 Canon Kabushiki Kaisha Image display method and apparatus therefor
CN1390106A (zh) * 1999-10-07 2003-01-08 维思克斯公司 两摄象机偏轴线眼跟踪器
CN102112943A (zh) * 2008-08-07 2011-06-29 皇家飞利浦电子股份有限公司 确定用户头部运动/注视关系的方法和系统以及交互式显示系统
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US20130295994A1 (en) * 2011-01-19 2013-11-07 Eric Clément Guitteaud Method for determining gaze direction and device for same

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030382A (zh) * 2014-02-18 2016-10-12 埃西勒国际通用光学公司 用于优化佩戴者的光学镜片设备的方法
CN109844610A (zh) * 2016-10-21 2019-06-04 苹果公司 眼睛跟踪系统
CN110945405B (zh) * 2017-05-31 2024-01-02 奇跃公司 眼睛跟踪校准技术
CN110945405A (zh) * 2017-05-31 2020-03-31 奇跃公司 眼睛跟踪校准技术
CN111971609A (zh) * 2018-04-06 2020-11-20 依视路国际公司 用于定制被适配用于生成虚像的头戴式装置的方法
CN112165894A (zh) * 2018-05-31 2021-01-01 托比股份公司 用于闪光/反射识别的方法和系统
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
CN111190482A (zh) * 2018-11-15 2020-05-22 托比股份公司 用于校准眼睛追踪器的方法和装置
CN111190482B (zh) * 2018-11-15 2024-01-26 托比股份公司 用于校准眼睛追踪器的方法和装置
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111714081A (zh) * 2020-07-08 2020-09-29 岭南师范学院 基于多波长led光学无损特殊儿童检测仪及检测方法
CN113189769A (zh) * 2021-04-23 2021-07-30 歌尔股份有限公司 眼球追踪模组和眼镜

Also Published As

Publication number Publication date
KR20160098235A (ko) 2016-08-18
BR112016013021A2 (zh) 2017-08-08
BR112016013021A8 (pt) 2018-08-14
JP2017503570A (ja) 2017-02-02
WO2015091577A1 (en) 2015-06-25
KR102318678B1 (ko) 2021-10-28
US10307053B2 (en) 2019-06-04
EP3082568B1 (en) 2019-02-20
JP6656156B2 (ja) 2020-03-04
BR112016013021B1 (pt) 2022-07-12
EP3082568A1 (en) 2016-10-26
CN105828702B (zh) 2019-07-19
US20160302663A1 (en) 2016-10-20
EP2886041A1 (en) 2015-06-24
MX2016007986A (es) 2016-09-09

Similar Documents

Publication Publication Date Title
CN105828702A (zh) 用于校准头戴式眼睛跟踪装置的方法
AU2005204712B2 (en) Device and method for determining centering data used for eyeglasses
CN106030382B (zh) 用于优化佩戴者的光学镜片设备的方法
CN109964167B (zh) 用于确定显示装置的使用者的眼睛参数的方法
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法
CN104412149B (zh) 用于测量个人的客观眼屈光以及至少一个几何形态参数的装置和方法
WO2015051751A1 (en) Interactive projection display
CA3179939A1 (en) Lens with asymmetric projection to treat astigmatism
CN102458223A (zh) 描绘佩戴者眼睛会聚特性的成副眼镜
WO2016203212A2 (en) Optical system
US8931900B2 (en) Method and apparatus for determining depth of focus of an eye optical system
EP3462231B1 (en) A method and means for evaluating toric contact lens rotational stability
US20210369111A1 (en) Method and device for remote optical monitoring of intraocular pressure
US20230057524A1 (en) Eyeglass devices and related methods
US20230004215A1 (en) Head-mounted display apparatus, image display system, and image display method
US20230028776A1 (en) Method for manufacturing eyeglass for providing light to an eye, blank and set of eyeglasses
WO2023064792A1 (en) Adaptive system for the treatment of myopia progression
JPS6049498B2 (ja) 光点式投影装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180223

Address after: France Sharon Ton Le Pon

Applicant after: Essilor International Ltd.

Address before: France Sharon Ton Le Pon

Applicant before: Essilor International General Optical Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant