CN107771051B - 眼睛追踪系统以及检测优势眼的方法 - Google Patents

眼睛追踪系统以及检测优势眼的方法 Download PDF

Info

Publication number
CN107771051B
CN107771051B CN201580068161.7A CN201580068161A CN107771051B CN 107771051 B CN107771051 B CN 107771051B CN 201580068161 A CN201580068161 A CN 201580068161A CN 107771051 B CN107771051 B CN 107771051B
Authority
CN
China
Prior art keywords
eye
blinkpunkt
accuracy score
eyes
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580068161.7A
Other languages
English (en)
Other versions
CN107771051A (zh
Inventor
刘坤
W.尼斯蒂科
秦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH filed Critical SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Publication of CN107771051A publication Critical patent/CN107771051A/zh
Application granted granted Critical
Publication of CN107771051B publication Critical patent/CN107771051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明涉及一种眼睛追踪系统(10)以及用于操作眼睛追踪系统(10)的方法，用于确定用户的左眼和右眼中的一个是否有优势，其中捕获用户的左眼和右眼的至少一个图像(S30)，基于所述至少一个图像并根据预定义的准确性函数，确定关于左眼的左准确性分数(S34a)和关于右眼的右准确性分数(S34c)，并依赖于至少左准确性分数和右准确性分数确定用户的左眼和右眼中的一个是否有优势(S36)。由此当执行眼睛追踪时，可以提供并考虑与他的眼睛有关的用户特定的特性，使得可以提高眼睛追踪的鲁棒性和准确性。

Description

眼睛追踪系统以及检测优势眼的方法
技术领域
本发明涉及眼睛追踪系统以及用于操作眼睛追踪系统的方法。
背景技术
已知的眼睛追踪系统和眼睛追踪设备通常捕获用户的眼睛的图像，并从 而确定注视方向、注视点或其他眼睛特征。为了这个目的，可以确定用户的 眼睛的位置、方向以及其他特性。为了能够考虑用户特定的特性(例如，眼 睛的光轴和视轴之间的偏移)，可以执行校准程序用于校准眼睛追踪系统。在 这样的校准程序期间，通常以及时方式在显示器上示出校准点(也称为刺激 点)，并且用户必须用他的眼睛注视这些校准点。同时，眼睛追踪系统捕获用 户的眼睛的图像，计算注视或注视点，将计算的注视点与示出的校准点的位置相比较，并确定最小化计算的注视点与示出的校准点之间差异的映射。因 此，通过考虑用户特定的眼睛特性，可以提高眼睛追踪质量。
发明内容
本发明的目的是提供用于操作眼睛追踪系统的方法和眼睛追踪系统，其 可以提供更多用户特定的涉及他的眼睛的特性，特别是其可以提高眼睛追踪 的鲁棒性和准确性。
通过根据一种实施例的眼睛追踪系统以及用于操作用于确定用户的左眼 和右眼中的一个是否有优势的眼睛追踪设备的方法解决这个目的。在其他的 实施例中呈现发明的有益实施例。
根据依照本发明的用于操作用于确定用户的左眼和右眼中的一个是否有 优势的眼睛追踪系统的方法，捕获用户左眼和右眼的至少一张图像，并基于 所述至少一张图像以及根据预定义的准确性函数确定关于左眼的左准确性分 数和关于右眼的右准确性分数。此外，依赖于至少左准确性分数和右准确性 分数确定用户的左眼和右眼中的一个是否有优势。
通过确定左准确性分数和右准确性分数，特别是这些准确性分数给出关于追踪准确性的信息的方面，所述追踪准确性各个地并分别地关于左眼和右 眼，可以简单地确定是否存在优势眼。了解优势眼可以巨大地提高追踪质量。 这个的原因是通常将涉及双眼的数据用于眼睛追踪，并因此具有相同的权重。 如果存在优势眼或另一方面弱势眼，则这可以导致极大地歪曲眼睛追踪的结 果，例如关于计算的注视点。有益地，根据发明，可以确定是否存在优势眼 并使用这个结果，例如，用于眼睛追踪目的，也可以用于诊断目的。检测一个人的优势眼可以用以诊断眼睛朝向病理如斜视和弱视。此外，通过自动地 检测是否强的眼睛的支配或眼睛朝向病理的存在导致眼睛不能准确地注视对 象，可以改善眼睛追踪系统的注视点准确性。因此，例如，可以抛弃与非优 势眼相关联的眼睛追踪数据或相对于与优势眼相关联的眼睛追踪数据减少权 重。
根据至少一个图像的图像数据确定各个准确性分数，其中可以分别地捕 获并处理左眼的图像和右眼的图像，例如，可以通过两台分别的照相机或图 像传感器捕获左眼和右眼的图像，或另一方面，也可以捕获左右眼的一张共 同图像，处理其用于导出关于左眼的图像数据用于确定左准确性分数，以及 用于导出关于右眼的图像数据用于确定右准确性分数。并且也优选捕获多于 单张图像，特别是大量的图像，例如上百张图像，根据其确定左准确性分数 和右准确性分数，因为那么优势眼的确定的结果的准确性和可靠性会显著变 高。
根据其计算各个准确性分数的准确性函数可以是预定义的数学公式、算 法、查阅表等，其具有各个眼睛的图像数据或根据图像计算的各个眼睛的数 据作为输入，并给出各个准确性分数作为输出。此外，特别是自动地，根据 本发明的方法可以在校准程序和/或用于确认校准结果的确认程序期间执行。 另外，至少部分的方法可以在这样的程序之后使用校准和/或确认程序的结果 执行。例如，在校准程序和/或确认程序期间计算的误差，如左眼、右眼的剩 余误差以及双眼的剩余误差，可以用作各个准确性分数，并且用于计算这些误差的函数和/或算法可以之后构成准确性函数。
在发明的有益实施例中，依赖于左准确性分数和右准确性分数提供和/或 输出信号，特别是指示优势眼的身份的信号。例如，这个信号可以用以输出 关于优势眼的信息到用户或另一人(例如在屏幕上)用于诊断目的。另外， 信号可以用以指示应当将关于双眼的捕获数据还是仅仅关于左眼或右眼的捕 获数据用于眼睛追踪。所以有益地，是否存在优势眼的确定的结果可以提高 诊断设备的功能以及眼睛追踪设备的性能和准确性。
此外，基于至少一个图像并根据预定义的准确性函数，可以确定关于左 眼和右眼的双眼准确性分数，并且依赖于左准确性分数、右准确性分数以及 双眼准确性分数确定用户的左眼和右眼中的一个是否有优势。通过考虑与左 眼和右眼相关的双眼准确性分数，其定义例如关于双眼注视或双眼注视点的 准确性分数，可以更可靠的做出是否存在优势眼的决定。此外，依赖于左准 确性分数、右准确性分数以及双眼准确性分数可以提供并输出上述信号。基 于信号然后可以选择用于眼睛追踪的通道(即左通道、右通道或双眼通道)，特别是其中左通道提供关于左眼的眼睛数据，例如，左眼的注视方向或左眼 的注视点，右通道相似的提供关于右眼的数据，以及双眼通道提供关于双眼 的数据，例如双眼注视或双眼注视点。受益地，基于最佳准确性分数可以选 择这三个通道中最佳的用于眼睛追踪。由此，可以优化眼睛追踪的准确性和 鲁棒性。
通常，根据关于左眼的至少一张图像的图像数据可以计算左注视方向。 左注视点确定为左眼的确定的注视向量与预定义的平面的交点。例如，这个 平面可以是监视器的屏幕或显示器，特别是远程监视器，或头戴式显示设备 的屏幕或显示器。在支持3D的显示设备的情况中或在用户的眼睛和显示设 备之间存在透镜或其他光学系统的情况中，该平面也可以是虚拟图像平面。 这个平面的坐标对眼睛追踪系统是已知的，并且因此可以将注视向量与平面 的交点计算为注视点。同样应用于右注视方向和右注视点。双眼注视方向是左眼和右眼的平均的注视方向。可以以几种方式计算双眼注视点。例如，双 眼注视点可以计算为双眼注视向量与预定义的平面的交点，或计算为在预定 义平面上左注视点和右注视点的中间，或计算为左注视向量和右注视向量的 交点在预定义的平面上的投影，例如，在双眼注视方向的方向上。
此外，左准确性分数是左眼的注视点与左设置注视点的偏离的测量，以 及右准确性分数是右眼的注视点与右设置注视点的偏离的测量，以及特别可 选地，双眼准确性分数是左眼和右眼的双眼注视点与双眼设置注视点的偏离 的测量。或换句话说，可以计算这些偏离，并且可以确定或依赖于各个偏离 计算左准确性分数、右准确性分数以及也可选的双眼准确性分数，特别是其 中当确定各个准确性分数时，也可以考虑其他影响参数。为了确定这些偏离， 可以使用与校准程序相似的程序。由此，可以在显示器上示出对应于设置注视点的校准点(也叫作刺激点)，并且可以确定左注视点、右注视点以及双眼 注视点以及它们设置注视点的各个偏离或差异。然后，这些偏离可以用以计 算关于左眼和右眼的准确性分数，以及用于双眼的双眼准确性分数。除了注 视点与设置注视点的这些偏离，当确定各个准确性分数时可以考虑进一步的 影响变量，如有效追踪的注视点的数目。依赖于这些影响变量或其他变量的 各个准确性分数的计算可以通过预定义的准确性函数定义。因为用于确定各 个准确性分数的这个程序与校准程序和/或确认程序相似，所以可以有益地嵌入校准和/或确认程序中，其特别增加时间效率，并最小化计算工作和计算时 间。
此外，例如，通常可以在显示器上示出的左设置注视点、右设置注视点 和双眼注视点可以(但不必须)在它们的位置上不同。例如，首先一些左设 置注视点可以一个接一个在显示器上示出，并且对于每个示出的左设置注视 点，可以确定对应的用户的左注视点，特别是在显示器上的用户的左注视点 的位置，以及由此可以计算每个确定的左眼注视点与各个左设置注视点的位 置的偏离。之后，可以示出一些右设置注视点，并可以类似地确定用户的右 注视点以及各个偏离。之后，可以一个接一个地示出一些双眼设置注视点， 并也可以类似地确定关于每个双眼设置注视点的用户的双眼注视点以及各个 偏离。但为了缩短这一程序，如果将共享的设置点用于左眼、右眼以及双眼 而不是将不同的或单独的设置点用于左眼、右眼以及双眼，则这将非常有益。 所以，例如可以示出一个设置点，然后其同时构成左设置注视点、右设置注 视点以及双眼设置注视点(可选地)，意味着当用户看着那个单个设置点的同 时确定用户的右注视点、用户的左注视点以及用户的双眼注视点(可选地)， 并且确定左注视点与示出的设置点的偏离、确定右注视点与示出的设置点的 偏离以及可选地确定双眼注视点与设置点的偏离。然后对一个接一个示出的 一些设置点重复这些。结果，当将共享的设置注视点用于确定左注视点、右 注视点以及双眼注视点(可选地)以及各个偏离时，可以节省很多时间，其 中示出的设置点越多，这种节省时间的效果越有益，并且此外通过这样对于 用户可以实现更舒适。
因此，左设置注视点、右设置注视点以及双眼设置注视点是相同的，并 且优选地通过在眼睛追踪系统的显示设备上示出要求用户注视的点的有限序 列(即刺激点)提供，并/或通过在显示设备上示出要求用户用双眼跟随的点 或其他刺激图像的平滑和/或连续的运动，这是发明的优选的以及有益的实施 例。例如，可以在显示器或屏幕上示出单个设置注视点作为左设置注视点、 右设置注视点及双眼设置注视点，并且然后通过在用户注视示出的设置注视 点期间捕获的至少一张图像确定左注视点、右注视点以及双眼注视点，并且 可以从确定的注视点与设置注视点的偏离确定各个准确性分数。对于大量以 时间顺序或甚至以平滑运动示出的设置注视点可以完成这些，使得可以更精 确的确定各个准确性分数。
根据发明的优选实施例，在眼睛追踪系统的校准程序期间和/或用于确认 校准程序的结果的确认程序期间执行用户的左眼和右眼中的一个是否有优势 的确定。因为通常无论以何种方式执行校准程序，这一程序的结果可以有益 地用于确定各个准确性分数，并由此确定优势眼。此外，也可以将确认程序 的结果用于这一目的，其使得结果愈加可靠。例如，首先可以执行校准程序， 在校准程序期间以及时的方式在显示器上示出一些校准点作为设置注视点。 当示出这些点时，眼睛追踪系统捕获用户的双眼的几张图像并定义校准映射 的参数，该校准映射将确定的注视点映射到这样校准的注视点，使得与示出 的校准点的偏离最小。之后，可以执行确认程序，在确认程序期间可以在用 户必须看着的显示器或屏幕上示出第二设置注视点，并在示出这些点时捕获 进一步的图像。基于捕获的进一步的图像并基于校准映射，其参数在校准程 序中确定，再一次确定关于每个第二设置点的左注视点、右注视点以及双眼 注视点，并再一次计算关于每个第二设置点的左注视点、右注视点以及双眼 注视点的误差。然后，这些误差，即关于左眼、关于右眼以及双眼的误差可 以用以确定各个准确性分数。
所以通常，在眼睛追踪系统的校准程序期间，计算用户的几个第一注视 点并与对应的第一设置注视点相比较，其中根据这一比较设置眼睛追踪系统 的校准参数，使得计算的第一注视点映射到对应的校准的第一注视点。特别 地，关于左眼和右眼每一个完成这些，即，单独关于左眼和右眼定义校准映 射，使得不丢失关于左眼和右眼的特性之间的差异的信息。
此外，在确认程序期间，计算用户的几个第二注视点并与对应的第二设 置注视点相比较。借助于确认程序可以确认校准程序的结果。换句话说，通 过执行确认程序可以确定校准是否成功。所以，有益地，这一确认程序可以 用于两个目的，即用于确认校准程序的结果，以及另一方面在确认程序期间 执行的结果或测量可以用于计算各个准确性分数，并从而确定优势眼。
所以，优选地，根据校准的第一注视点与第一设置注视点的偏离，计算 关于左眼、右眼以及关于双眼的校准程序的误差，和/或根据第二注视点与第 二设置注视点的偏离，计算关于左眼、右眼以及双眼的确认程序的误差。有 益地，要么仅仅可以将校准程序的结果用于确定优势眼，其允许非常快的表 现，要么可以使用确认程序的结果，其允许高得多的准确性和鲁棒性。
在本发明的进一步实施例中，在校准程序期间通过根据预定义的标准排 除异常值，优选地通过评价校准点的所有子集或通过寻找随机一致性，自动 检测校准点的最优子集。有时可能发生要求看着显示的设置点的用户可能被 干扰或别的原因没能看着设置点，使得排除这样的异常值是非常有益的，因 为它们可能会歪曲结果。例如，如果示出了五个设置点，则可以列出所有的 三点、四点以及五点子集并分析关于各个确定的用户的注视点，并然后选择 最佳的子集。同样也可以使用仅仅随机的子集样本而不是考虑所有可能的子 集来完成，其在示出很多设置点时是有益的。
此外，依赖于是否能够根据关于左眼、右眼和双眼的校准程序和/或确认 程序的误差和/或至少一张图像计算各个左注视点、右注视点以及双眼注视点， 可以确定每一个左眼、右眼以及双眼确定性分数的。有时，确定左注视点、 右注视点或双眼注视点是不可能的，例如，因为在捕获的图像中不能检测到 一只或两只眼睛。所以不能检测一只或两只眼睛也是对于眼睛追踪质量的测 量。例如，如果对于五个示出的设置注视点，只能确定左注视点两次，然而 可以确定右注视点五次，则可以假设右眼的追踪质量远好于左眼的追踪质量。 所以，有益地，在计算各个准确性分数时，也可以考虑在模型拟合中将关于 有效校准点的数量的信息用于定义校准映射或者可以考虑关于好的追踪的确 认点的数目的信息。正如已经提到的，上述所有关于左眼、右眼以及双眼的 校准程序和/或确认程序的误差是用于追踪质量非常好的测量，所以在计算各 个准确性分数时考虑这个信息是非常有益的。
在发明进一步的实施例中执行眼睛追踪，其中依赖于信号，特别是指示 优势眼的信号计算当前的注视点。所以，如果在眼睛追踪期间，即在校准和/ 或确认程序已经结束后，则重复确定用户当前的注视点。依赖于关于优势眼 的信息可以有益地确定当前的注视点。例如，如果信号指示左眼是优势眼， 则可以仅仅根据关于左眼的数据计算用户当前的注视点以得到更好的追踪结 果，或换句话说，例如，类似于上面描述的左注视点，可以仅仅使用确定的 左眼注视向量计算当前的注视点。如果信号指示两只眼睛是同样优势的，那么可以根据既关于左眼也关于右眼的信息将当前的注视点计算为双眼的当前 注视点。因此，可以更加精确以及更鲁棒地执行眼睛追踪，此外其也提高通 过眼睛追踪控制的所有应用，例如当眼球追踪系统用于使用确定的注视点控 制鼠标时，或用于在图形用户界面中激活元素时，或也用于选择对应于用户 的焦点的焦点时等。
所以优选地，如果确定左眼有优势，则关于左眼计算当前的注视点，如 果确定右眼有优势，则关于右眼计算当前的注视点，以及如果确定左眼和右 眼中没有一个有优势，则关于双眼计算当前的注视点。
在发明的进一步有益的实施例中，将当前的注视点计算为左眼数据与右 眼数据之间的加权平均值，其中加权平均值的权重是确定的左准确性分数和 右准确性分数的函数，使得如果右准确性分数比左准确性分数更高，则右眼 数据比左眼数据更多的影响加权平均值，以及如果左准确性分数比右准确性 分数更高，则左眼数据比右眼数据更多的影响加权平均值。作为加权平均值 的当前注视点的计算给出更多的关于准确性的优化的灵活性，并甚至可以实 现更好的结果。特别地，因为双眼注视点比只是仅仅基于左眼数据或仅仅基 于右眼数据计算的注视点更加鲁棒，所以使得可以使用关于双眼的数据，并 且还可以考虑关于各个眼睛的准确性的差异。
发明进一步涉及用于确定用户的左眼和右眼中的一个是否有优势的眼睛 追踪系统，其中眼睛追踪系统配置成捕获用户的左眼和右眼的至少一张图像， 基于该至少一张图像并根据预定义的准确性函数确定关于左眼的左准确性分 数以及关于右眼的右准确性分数，并依赖于至少左准确性分数和右准确性分 数确定用户的左眼和右眼中的一个是否有优势。
由此描述的关于用于操作根据发明的眼睛追踪系统的方法的优选实施例 和优点相应地适用于根据发明的眼球追踪系统。特别地，上述用于操作眼睛 追踪系统的方法的步骤以及根据发明的实施例构成进一步的根据发明的眼睛 追踪系统的实施例。例如，眼睛追踪系统可以包括捕获单元，一个或多个照 相机和/或图像传感器，用于捕获至少一张图像，以及处理单元，用于处理捕 获的图像并根据预定义的准确性函数确定各个准确性分数，并确定用户的左 眼和右眼中的一个是否有优势。此外，眼睛追踪系统可以包括显示设备，用于示出设置注视点。此外，眼睛追踪设备可以包括一个或多个光源，用于照 明眼睛并在眼睛上产生反光，其用以确定眼睛的特征，如注视方向和/或注视 点和/或各个眼睛的方向和/或位置。
在下文中，参考附图更详细地描述本发明的有益实施例。
附图说明
图1根据发明的实施例的用于操作眼睛追踪系统的方法的示意说明；
图2与确定的关于左眼和右眼的每一个的注视点一起在眼睛追踪系统 的显示器上示出的五个校准点的示意视图；
图3a根据发明的实施例与确定的左眼和右眼的每一个注视点一起在确 认程序期间在眼睛追踪系统的显示器上示出的四个确认点的示意视图；
图3b根据发明的实施例与确定的左眼和右眼的每一个注视点一起在确 认程序期间在眼睛追踪系统的显示器上示出的四个确认点的示意图；
图4根据发明的实施例的用于操作眼睛追踪系统的方法的示意说明，其 中依赖于每个通道的准确性分数选择眼睛追踪系统的通道；以及
图5根据发明的实施例的用于确定用户的优势眼的眼睛追踪系统的示意 视图。
在下面优选实施例的描述中，对于先前使用的名词左设置注视点、右设 置注视点和双眼设置注视点，将名词刺激点用作同义词，并且此外，依赖于 这些刺激点在校准程序和确认程序期间是否示出，这些刺激点也分别称作校 准点或确认点。
具体实施方式
图1示出根据发明的实施例的用于操作眼睛追踪系统10(对照图5)以 确定用户的优势眼的方法的示意视图。该方法开始于步骤S10，其中接收用 于启动眼睛追踪系统10的校准程序的输入。这个输入可以是用户输入但也可 以是不同的东西，如一般的开始信号。当接收这个输入时，眼睛追踪系统10 启动校准程序。可以在步骤S12a中将校准程序执行为标准校准，或者可选地， 也可以在步骤S12b中执行为智能校准。也可以通过步骤S10中的输入信号指 示是执行步骤S12a中的标准校准还是步骤S12b中的智能校准。
如果用户启动标准校准流程，则在步骤S12a中，在刺激面上的n个预定 义的静止位置上示出刺激点，并且假定用户看着这些点。刺激面可以是眼睛 追踪系统的显示设备的成像面或屏幕，其中眼睛追踪系统可以实现为远程眼 睛追踪器或者也可以为包括头戴式显示器的头戴式眼睛追踪设备。由此，眼 睛追踪系统也可以配置成提供三维图像，使得刺激面不必要必须与显示器的 物理屏幕面一致，并且也可以是通过3D显示器或通过立体显示器产生的虚 拟成像面。眼睛追踪系统10知道这个刺激面的位置和方向。
例如，当用户看着这些刺激点时，眼睛追踪系统捕获用户双眼的图像， 并由此可以计算每个眼睛的3D位置和/或方向以及每个眼睛的注视向量，其 中左眼的注视点然后定义为左眼的注视向量与刺激面的交点，右注视点定义 为右眼注视向量与刺激面的交点，以及双眼注视点可以定义为双眼注视向量 与刺激面的焦点，或者也可以简单地定义为在刺激面上的左注视点和右注视 点位置上的平均值。进一步的，每次示出一个刺激点。关于这n个刺激点的 地面实况注视点(也可以表示为设置注视点)先前称为pG i＝1～n，其一般通过 2D向量代表。相应地从眼睛追踪软件获得来自左注视通道的n个注视样本 gL i＝1～n以及来自右注视通道的n个注视样本gR i＝1～n。每个注视样本gi包括所有 的与第i个校准点相关的眼睛和/或注视信息。
校准必须产生注视校正模型M:g→M(g)，其将原始的注视样本映射到校 准的注视样本。特别地，产生每一个关于左眼的注视校正模型ML和关于右眼 的注视校正模型MR。注视校正模型理想地能够校正来自这个用户的所有注视 样本以及下面的注视追踪。
让从注视样本g计算或提取注视点的(先前知道的)函数为P:g→p＝P(g)。 然后优化关于左眼的注视校正ML以最小化校准的注视点pL＝P(ML(gL))与地面 实况pG之间的差异，如
在第i个校准点上的左通道的剩余误差计算为
校准总是分别对两个单眼的通道完成。特别地，以相同的方式同样应用于右 通道，并且如果用标记R替换标记L，则等式(1)和(2)也应用于右通道。通常 地，双眼注视通道的注视点通过平均左通道和右通道产生，如
因此，关于双眼通道的剩余误差可以计算为
通过示出连续运动的刺激点而不是静止的刺激点可以完成校准。通过路径模 型pG完全指定运动点的路径，并且这是校准中的地面实况注视点。通过进行 动态的时间扭曲优化关于左眼的注视校正ML以最小化校准的注视点的路径 与地面实况路径的差异：
其中T控制用于配对的最大时间窗。
左通道的全部剩余误差正是上面尝试要最小化的
再一次同样应用于右通道，以相似的方式可以计算关于双眼通道的剩余误差
其中
所以在步骤S12a中的校准流程期间，计算关于左眼和右眼的校正模型 ML和MR，也可选地计算分别关于左通道、右通道和双眼通道的误差rL、rR和rB。然后可以输出这些校准流程的结果或在步骤S14中提供以进一步用于 眼睛追踪系统，例如用于随后的眼睛追踪和/或用于随后的确认程序。
这些结果可以直接用于在步骤S22中以自确认的形式确定优势眼，这将 稍后解释。
在步骤S12a中的校准程序完成以后，用户可以在步骤S16中制造输入用 于激活确认程序，之后使用步骤S14中提供的校准的结果在步骤S18中执行 确认程序。可以提供任何其他激活信号代替步骤S16中的用户输入用于激活 确认程序。确认程序也可以在校准程序结束之后自动启动，并可以省略步骤 S16。
在确认程序期间，再次在刺激面上示出刺激点，但优选地在与校准点的 位置不同的位置上。当示出这些刺激点时，通过眼睛追踪系统捕获用户的眼 睛的图像并确定每只眼睛的眼睛特征，例如注视向量。从而对于每一个地面 实况注视点pG j＝1～m(刺激点的位置)，再一次得到关于左眼的原始注视样本 gL j＝1～m，以及关于右眼的原始注视样本gR j＝1～m。然后，通过应用校准的注视校 正模型M，特别是ML和MR，计算每个通道的确认误差，即关于右通道的误 差rR、关于左通道的误差rL以及关于双眼通道的误差rB：
再一次地可以以如关于校准程序的描述的连续运动的方式示出确认刺激点代 替示出单个刺激确认点。
此外，可以在步骤S12b中执行智能校准代替在步骤S12a中描述的标准 校准。这样的原因是由于用户的分心或其它问题，不是所有在校准程序中检 测的注视都适合于校准目的。因此，在智能校准中可以实现筛选程序以检测 并移除“坏的”校准点。这一特征提供更高的校准鲁棒性并也与校准质量有 关。
智能校准与标准校准相似在于，首先所有多个校准刺激点在刺激面上一 个接一个地示出，并且对于每个刺激点确定左眼、右眼的注视和/或注视点以 及双眼的注视和/或注视点。与标准校准的区别在于不必须将所有的刺激点以 及对应的眼睛特征(如注视和确定的注视点)用于提供校正模型M。
考虑n个校准点的一组，智能校准程序可以如下：
首先，列举所有可能和感兴趣的子集。例如，当我们有五个点时，将列 出所有三点、四点以及五点的子集并在下面的步骤中评估。
在下一步骤中，对于每个校准组考虑三个测量：校准点的数目、校准的 质量(剩余)以及来自转化和缩放的注视校正的偏离。也存在基于对于由更 多点组成的子集的偏好的现有知识。对于测试中的子集，仅仅使用集合中的 点完成校准，并然后计算在校准集合上对应的剩余误差。经验地，坏的校准 点常常需要大的“注视校正”以最小化剩余。因此，与仅仅应用转化和缩放 的模型的大的偏离是坏的校准点的迹象。所有这三个标志将通过加权和结合 进一个分数。在下一个步骤中，基于它们的分数在所有子集中选择最好的一 个。如果由所有点组成的子集胜过所有其他的子集，则校准将继续使用所有 n个点。如果不是这个情况，则将使用来自最好的子集的注视校正模型。不 在选择的子集中的校准点将标记为“由于质量差不使用”。
即使对于小的校准点的集合(例如五个点)，建议的方法也是可靠的方法。 对于使用大的校准点的集合的校准(例如多于八)，可以使用更一般的采样一 致方法(例如RANSAC，随机采样一致)检测最好的子集。
所以如果最终确定最好的子集，则可以计算如步骤S12a中的标准校准程 序所述的校正模型M和剩余误差，特别是关于选择的子集，并在步骤S14中 提供。那么如果之后在步骤S18中执行标准确认程序，则与上述关于标准校 准的内容相似地使用智能校准程序的结果。
在步骤S18中的确认程序之后，在步骤S20中提供确认结果用于在步骤 S22中确定用户的优势眼。特别地，这些确认结果是通过(9)、(10)以及(11)提 供的剩余误差或在平滑追踪的情况下各个全体剩余误差。此外，可以提供关 于每个眼睛有效追踪的点数目作为确认结果。
关于确认优势眼，基本思想是基于校准和/或确认质量评价每个注视通道 的质量，并且选择最好的通道(双眼、左眼、右眼)用于眼睛追踪。如果在 步骤S18中已经执行了确认程序，则单眼确认误差是用于每个单眼通道最自 然的质量测量。确认质量也可以包括关于好的追踪的确认点的数目的信息。 所以，基于根据式子(9)、(10)以及(11)的计算的关于每个通道的确认误差，以 及进一步考虑的关于每个通道的好的追踪的确认点的数目，可以确定关于每 个通道的准确性分数。这个准确性分数越高，各个确认误差越小，以及好的追踪的确认点的数目越高。可选地，例如，可以将以预定义的数值形式的“奖 励”添加到双眼通道的准确性分数，使得不能肯定双眼注视通常比单眼注视 更鲁棒。此外，也可以考虑在确认程序中的有效注视样本的数目在左通道和 右通道之间是否是非常不平衡的，使得也可以将关于好的追踪的确认点的数 目的信息用于计算各个准确性分数。例如，可以检查与另一通道相比，一个 通道是否具有超过两倍的追踪点的数目。如果左通道在确认中仅得到了两个 追踪点，以及右通道得到了五个点，则为了更好地鲁棒性，系统将切换以使 用右通道。所以，为了确认优势眼，系统将基于对应的准确性分数比较三个 通道的质量并选择最好的一个。当确认质量是最自然和可靠地质量测量时， 一般的规则是使用最好的通道。
所以，如果将左通道确定为最好的通道，则确定左眼将是优势眼。如果 左通道和右通道具有相同或相似的准确性分数，或双眼通道的准确性分数是 最好的，那么确定双眼是同样优势的，或换句话说，不存在优势眼。基于步 骤S22中的这些结果，可以在步骤S24中提供指示优势眼的输出信号。然后 可以将信号用于在屏幕上输出这个确定的结果，或可以通过使用最好的通道 用于随后的眼睛追踪。
在另一实施例中，确认程序不必须必要地执行。可选地，可以直接将步 骤S14中的校准结果用于在步骤S22中作为自确认的方法确定优势眼。所以， 这一自确认允许不使用额外确认选择注视通道。由此，基于校准质量确定左 眼和/或右眼和/或双眼注视通道的质量。因此，关于左通道的校准结果(特别 是根据(2)的剩余误差)、关于右通道的对应校准结果以及根据(4)的双眼剩余 误差或根据(6)和(7)的各个全体剩余误差可以用以计算对应的准确性分数，其 为每个通道定义校准质量。另外，当计算各个准确性分数时，可以考虑可用 的校准点的数目。所以，此外，当两个通道具有不同的可用校准点数目时， 其中原因可能是智能校准、眼睛追踪的损失等，将给予具有更少的校准点的 通道非常低的质量或准确性分数，因为即使当它的剩余更少时，它的校准也 更加不可靠。
总而言之，对校准集合完成自确认，其中优选的解决方案是使用校准质 量，即平均剩余，作为确认质量。另一个选择可以是“缺一交叉确认 (leave-one-out cross-validation)”。另外，因为通常更多的校准点导致更准确 的注视校正，所以校准质量可以包括关于在模型拟合中使用的有效校准点的 数目的信息。为了给每个通道提供考虑了所有或一些上述质量影响参数的准 确性分数，可以提供准确性函数，例如其中所有这些参数可以使用对应的权 重相加。所以，基于这样计算的关于每个通道准确性分数，可以以与上述关 于确认程序的结果相同的方式确定优势眼，并再次在步骤S24中输出指示优 势眼的信号。
图2示出在校准程序期间与左眼和右眼的每一个校准注视点一起在刺激 面中示出的五个刺激点的示意视图。在图2中，对于i＝1,2,3,4,5，校准点或刺 激点表示为pi G,C。此外，对于i＝1,2,3,4,5，为左眼确定并校准的注视点由 P(ML(gi L,C))表示，以及为右眼确定并校准的注视点由P(MR(gi R,C))表示。在图 2中以图示的目的在一张图像中示出全部五个刺激点pi G,C，但在校准程序期 间，一次示出一个这些刺激点pi G,C。另外，示出的校准的注视点P(ML(gi L,C))、 P(MR(gi R,C))仅仅是用于图示的目的，并且在校准程序期间没有示出。事实上， 图2可以看作使用示出的刺激点pi G,C以及对应的确定及校准的注视点 P(ML(gi L,C))、P(MR(gi R,C))的校准程序的结果。
可以看到，对于每个刺激点pi G,C、可以确定左眼和右眼的注视点 P(ML(gi L,C))、P(MR(gi R,C))。在这个情况下，关于左眼和右眼每一个的有效追 踪的注视点P(ML(gi L,C))、P(MR(gi R,C))的数目都是五。左通道的剩余误差rL可 以确定为在x方向上0.5°以及在y方向上0.7°，其中右眼或右通道的剩余误 差rR可以确定为在x方向上0.1°以及在y方向上0.5°。这些结果可以直接用 作确定优势眼的自确认，其中在这个示例中，因为左通道和右通道的准确性 相当相似，所以没有检测到优势眼。
可选地，在这个校准程序之后，可以使用根据校准程序确定的校准模型 M执行确认程序。图3a和图3b中示出确认程序的两个示例，特别是它们的 结果。
在图3a中示出四个确认点，其由pi G,V1表示，其中i＝1,2,3,4，以及其它 们在位置上与校准点pi G,C不同。此外，也示出关于右眼和左眼每一个的与每 个确认点有关的注视点，其在确认程序期间确定。左眼的注视点由P(ML(gi L,V1)) 表示，其中i＝1,2,3,4，以及右眼的注视点由P(MR(gi R,V1))表示。在这个情况下， 关于左通道的平均剩余误差rL是在x方向上0.3°以及在y方向上0.6°，以及 关于右通道的平均剩余误差rR是在x方向上0.2°以及在y方向上0.3°。因为 这些左眼和右眼的注视点P(ML(gi L,V1))、P(MR(gi R,V1))在本示例中具有类似的确 认质量，所以选择双眼通道用于眼睛追踪或其他目的。基于这些确认结果， 可以确定左眼和右眼都不是优势眼。
与此相反，图3b示出确认程序的有不同结果的另一示例。再一次地，示 出由pi G,V2表示的四个确认点，其中i＝1,2,3,4，其也在它们的位置上与校准点 pi G,C不同。另外，示出关于右眼和左眼的注视点，其关于左眼由P(ML(gi L,V2)) 表示，关于右眼由P(MR(gi R,V2))表示，其中i＝1,2,3,4。在这种情况下，右通道 的平均剩余误差rR是在x方向上0.7°以及在y方向上0.6°，然而对于左眼没 有能够确认有用点。在这种情况下，可以看到，右眼的确认质量比左眼好得 多，并且可以将追踪切换至使用更好的眼睛单眼追踪，在这种情况下是右眼， 使用右通道。
所以，一般而言，如果确认质量之间的差异高于预定义的阈值，则该差 异可以通过计算对应的准确性分数提供，特别是基于各个误差，为了更好的 鲁棒性，可以选择更好的通道。
图4示出根据发明的另一实施例的用于眼睛追踪系统的方法的示意说明。 在步骤S30中，眼睛追踪系统捕获用户的两只眼睛的图像。这可以通过使用 一个或多个照相机完成。根据捕获的图像，在步骤S32a中导出(derive)与 左眼有关的数据、在步骤S32c中导出与右眼有关的数据以及在步骤S32b中 导出与双眼有关的数据。例如，这些数据可以是眼睛的特性如眼球的位置、 瞳孔的位置、最终检测的闪光的位置、注视方向和/或注视点。基于每个通道 中的这些数据，也就是左眼、右眼以及双眼，在步骤S34a中关于左眼、在步 骤S34c中关于右眼以及在步骤S34b中关于双眼计算各自的准确性分数。这 个准确性分数是关于每个通道中的追踪质量的测量。基于这些准确性分数， 在步骤S36中确定是否左或右眼中的一个有优势。例如，如果左准确性分数 和右准确性分数是相等的或它们的差异低于预定义的阈值，则确定左眼和右 眼中没有一个有优势。如果左准确性分数比右准确性分数更高，并且此外可 选地，左准确性分数和右准确性分数之间的差异超过预定义的阈值，则确定 左眼有优势，特别地，除非双眼准确性分数仍然高于左准确性分数和右准确 性分数。同样应用于右眼，即如果右准确性分数比左准确性分数更高，并且 此外可选地，左准确性分数和右准确性分数之间的差异超过预定义的阈值， 则确定右眼有优势，特别地，除非双眼准确性分数仍然高于左准确性分数和 右准确性分数。在所有其它情况下将确定不存在优势眼。
所以，例如，如果在步骤S36中确定左眼是优势眼，则在步骤S38a中提 供指示左眼为优势眼的信号，并且使用左通道执行眼睛追踪。否则如果已经 确定右眼是优势眼，则在步骤S38c中输出指示右眼为优势眼的信号，并且使 用右通道执行眼睛追踪。如果在步骤S36中确定没有眼睛有优势，在步骤S38b 中输出指示没有眼睛有优势的信号，并且将两只眼睛或双眼通道用于眼睛追 踪。
此外，如果通过信号确定眼睛中的一个为优势眼，则也可以将双眼注视 用于眼睛追踪，但其中根据左眼和右眼数据计算双眼注视，其中优势眼的眼 睛数据权重更大，例如，权重系数可以是或对应于准确性分数的比值。
图5示出根据发明的实施例的眼睛追踪系统10的示意视图。眼睛追踪系 统10包括处理或控制单元12，显示单元14以及捕获单元16。可选地，眼睛 追踪系统10可以包括照明单元18。显示单元14可以是具有显示器的监视器， 例如，计算机监视器，或眼睛追踪系统10可以实现为具有眼睛追踪器的头戴 式显示器。捕获单元16可以包括一个或多个捕获用户的眼睛的照相机。在眼 睛追踪系统10的校准和/或确认程序期间，校准点和/或确认点可以借助于显 示单元14示出。在校准和/或确认期间，并且也例如在随后的眼睛追踪期间， 捕获单元16捕获用户的眼睛的图像。这些图像然后通过处理单元12处理， 其根据预定义的准确性函数确定关于左眼的左准确性分数、关于右眼的右准 确性分数以及关于双眼的双眼准确性分数。基于这些准确性分数。处理单元 12确定用户的左右眼中的一个是否有优势。可以在显示单元14上输出这个 结果，或用于随后的眼睛追踪。照明单元18可以包括一个或多个光源，例如 红外线LED，用于照明用户的眼睛以产生闪光或其他浦肯野(Purkinje)图像， 其帮助确定眼睛特性如眼睛特征的位置和方向、注视等。
总而言之，提供一种操作眼睛追踪系统的方法和眼睛追踪系统，借助于 此有益地可以简单地确定用户的优势眼并将其用于诊断目的，以及特别地， 用于在眼睛追踪中实现更高的准确性。

Claims (14)

1.一种用于操作用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪系统(10)的方法，包括步骤：
a)捕获用户的左眼和右眼的至少一张图像(S30)；
b)基于所述至少一张图像并根据预定义的准确性函数，确定关于左眼的左准确性分数(S34a)以及关于右眼的右准确性分数(S34c)；
c)依赖于至少左准确性分数和右准确性分数，确定用户的左眼和右眼中的一个是否有优势(S36)；以及
d)根据所述至少一张图像确定左眼的注视点(P(ML(gi L，C))，P(ML(gi L，V1))，P(ML(gi L ，V2)))以及右眼的注视点(P(MR(gi R，C))，P(MR(gi R，V1))，P(MR(gi R，V2)))；
其特征在于步骤，
e)依赖于确定的左眼的注视点(P(ML(gi L，C))，P(ML(gi L，V1))，P(ML(gi L，V2)))与至少一个左设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离确定左准确性分数，并依赖于确定的右眼的注视点(P(MR(gi R，C))，P(MR(gi R，V1))，P(MR(gi R，V2)))与至少一个右设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离确定右准确性分数；
其中在步骤b)中基于所述至少一张图像并根据预定义的准确性函数确定关于左眼和右眼的双眼准确性分数(S34b)，并且在步骤c)中依赖于左准确性分数、右准确性分数以及双眼准确性分数确定用户的左眼和右眼中的一个是否有优势(S36)，其中双眼准确性分数是关于左眼和右眼的双眼注视点与双眼设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离的测量。
2.根据权利要求1所述的方法，其特征在于，
通过在眼睛追踪系统(10)的显示设备(14)上示出要求用户注视的点的有限序列和/或通过在显示设备(14)上示出要求用户用双眼跟随的平滑的和/或连续的点的运动或刺激图像，提供左设置注视点和右设置注视点(pi G，C，pi G，V1，pi G，V2)。
3.根据权利要求1或2所述的方法，其特征在于，
左设置注视点、右设置注视点和双眼设置注视点(pi G，C，pi G，V1，pi G，V2)是相同的。
4.根据权利要求1或2所述的方法，其特征在于，
依赖于左准确性分数、右准确性分数和双眼准确性分数，提供和/或输出指示优势眼的身份的信号(S24；S38a，S38b，S38c)。
5.根据权利要求1或2所述的方法，其特征在于，
在眼睛追踪系统(10)的校准程序(S12a，S12b)期间和/或用于确认校准程序的结果的确认程序(S18)期间，执行用户的左眼和右眼的一个是否有优势的确定。
6.根据权利要求5所述的方法，其特征在于，
在眼睛追踪系统(10)的校准程序(S12a，S12b)期间，计算用户的几个第一注视点并将其与对应的第一设置注视点(pi G，C)相比较，其中根据这个比较设置眼睛追踪系统的校准参数，使得计算的第一注视点映射到对应的校准的第一注视点(P(ML(gi L，C))，P(MR(gi R，C)))。
7.根据权利要求5所述的方法，其特征在于，
在确认程序(S18)期间，计算用户的几个第二注视点(P(ML(gi L，V1))，P(ML(gi R，V2))，P(MR(gi R，V1))，P(MR(gi R，V2)))并将其与对应的第二设置注视点(pi G，V1，pi G，V2)相比较。
8.根据权利要求7所述的方法，其特征在于，
根据校准的第一注视点(P(ML(gi L，C))，P(MR(gi R，C)))与第一设置注视点的偏离，计算左眼、右眼以及双眼的校准程序的误差(rL，rR，rB)，和/或根据第二注视点(P(ML(gi L，V1))，P(ML(gi R，V2))，P(MR(gi R，V1))，P(MR(gi R，V2)))与第二设置注视点(pi G，V1，pi G，V2)的偏离，计算左眼、右眼以及双眼的确认程序的误差(rL，rR，rB)。
9.根据权利要求5所述的方法，其特征在于，
在校准程序(S12b)期间，通过根据预定义的标准排除异常值，包括通过评估校准点的所有子集或通过找到随机一致，自动检测最优的校准点子集。
10.根据权利要求8所述的方法，其特征在于，
确定左准确性分数、右准确性分数以及双眼准确性分数的每一个，依赖于：
-是否能够根据所述至少一张图像分别计算左注视点(P(ML(gi L，C))，P(ML(gi L，V1))，P(ML(gi L，V2)))，右注视点(P(MR(gi R，C))，P(MR(gi R，V1))，P(MR(gi R，V2)))以及双眼注视点；和/或
-分别用于左眼、右眼以及双眼的校准程序(S12a，S12b)和/或确认程序(S18)的误差(rL，rR，rB)。
11.根据权利要求1或2所述的方法，其特征在于，
执行眼睛追踪，其中依赖于信号计算当前的注视点。
12.根据权利要求11所述的方法，其特征在于，
如果确定左眼有优势，则关于左眼计算当前的注视点，如果确定右眼有优势，则关于右眼计算当前的注视点，以及如果确定左眼和右眼没有一个有优势，则关于双眼计算当前的注视点。
13.根据权利要求11所述的方法，其特征在于，
将当前的注视点计算为左眼数据和右眼数据之间的加权平均值，其中加权平均值的权重是确定的左准确性分数和右准确性分数的函数，使得如果右准确性分数比左准确性分数更高，则右眼数据对加权平均值的影响比左眼数据更重，并且如果左准确性分数比右准确性分数更高，则左眼数据对加权平均值的影响比右眼数据更重。
14.一种用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪系统(10)，其中所述眼睛追踪系统配置成：
a)捕获用户的左眼和右眼的至少一张图像；
b)基于所述至少一张图像并根据预定义的准确性函数，确定关于左眼的左准确性分数以及关于右眼的右准确性分数；
c)依赖于至少左准确性分数和右准确性分数，确定用户的左眼和右眼中的一个是否有优势；以及
d)根据所述至少一张图像确定左眼的注视点(P(ML(gi L，C))，P(ML(gi L，V1))，P(ML(gi L ，V2)))以及右眼的注视点(P(MR(gi R，C))， P(MR(gi R，V1))， P(MR(gi R，V2)))；
其特征在于，
所述眼睛追踪系统配置成：
e)依赖于确定的左眼的注视点(P(ML(gi L，C))，P(ML(gi L，V1))，P(ML(gi L，V2)))与至少一个左设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离确定左准确性分数，并依赖于确定的右眼的注视点(P(MR(gi R，C))， P(MR(gi R，V1))， P(MR(gi R，V2)))与至少一个右设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离确定右准确性分数，
f)基于所述至少一张图像并根据预定义的准确性函数(S34b)确定关于左眼和右眼的双眼确定性分数，并依赖于左准确性分数、右准确性分数以及双眼准确性分数确定用户的左眼和右眼中的一个是否有优势(S36)，其中双眼准确性分数是关于左眼和右眼的双眼注视点与双眼设置注视点(pi G，C，pi G，V1，pi G，V2)的偏离的测量。
CN201580068161.7A 2014-11-14 2015-10-07 眼睛追踪系统以及检测优势眼的方法 Active CN107771051B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14193277.2 2014-11-14
EP14193277 2014-11-14
PCT/EP2015/073185 WO2016074861A1 (en) 2014-11-14 2015-10-07 Eye tracking system and method to detect the dominant eye

Publications (2)

Publication Number Publication Date
CN107771051A CN107771051A (zh) 2018-03-06
CN107771051B true CN107771051B (zh) 2019-02-05

Family

ID=51903838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580068161.7A Active CN107771051B (zh) 2014-11-14 2015-10-07 眼睛追踪系统以及检测优势眼的方法

Country Status (5)

Country Link
US (2) US10016131B2 (zh)
EP (1) EP3217858B1 (zh)
JP (1) JP6340503B2 (zh)
CN (1) CN107771051B (zh)
WO (1) WO2016074861A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203370B (zh) * 2016-07-19 2019-07-09 成都通甲优博科技有限责任公司 一种基于计算机视觉技术的视力测定系统
JP6776970B2 (ja) * 2017-03-24 2020-10-28 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
WO2019050543A1 (en) * 2017-09-11 2019-03-14 Tobii Ab RELIABILITY OF FOLLOW-UP DATA FOR THE LEFT EYE AND THE RIGHT EYE
US9940518B1 (en) 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11138429B2 (en) * 2018-03-12 2021-10-05 Tobii Ab Iris recognition using eye-tracking system
CN108829239A (zh) * 2018-05-07 2018-11-16 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
CN108600742B (zh) * 2018-05-17 2020-03-20 苏州科技大学 一种基于立体显示的中央眼测试系统及方法
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
JPWO2020059357A1 (ja) * 2018-09-20 2021-08-30 富士フイルム株式会社 表示装置、表示制御方法、及び表示制御プログラム
EP3656285B1 (en) * 2018-11-15 2023-04-19 Tobii AB Method and device for calibrating an eye tracker
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110399930B (zh) * 2019-07-29 2021-09-03 北京七鑫易维信息技术有限公司 一种数据处理方法及系统
KR20190106939A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 증강현실기기 및 이의 제스쳐 인식 캘리브레이션 방법
KR102165807B1 (ko) * 2019-09-04 2020-10-14 주식회사 브이터치 우세안을 결정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN113253829B (zh) * 2020-02-10 2022-05-06 Oppo广东移动通信有限公司 眼球跟踪校准方法及相关产品
WO2021242008A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
CN111973142B (zh) * 2020-07-23 2023-12-08 优奈柯恩(北京)科技有限公司 一种双眼视野差异的判断和调校系统及方法
CN112426121A (zh) * 2020-11-27 2021-03-02 成都怡康科技有限公司 一种用于色盲检测的可穿戴设备
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation
US11928452B2 (en) * 2022-02-03 2024-03-12 Red Hat, Inc. Reducing the size of image files usable for deploying software in computing environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547210A (zh) * 2011-03-25 2014-01-29 埃西勒国际通用光学公司 用于确定患者的主眼的装置和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749036B2 (ja) * 1991-02-28 1995-05-31 株式会社エイ・ティ・アール視聴覚機構研究所 両眼眼球運動測定装置
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2010511486A (ja) * 2006-12-04 2010-04-15 ファテ，シナ 弱視及び眼球偏位の矯正のためのシステム、方法、及び装置
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
WO2012021967A1 (en) * 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
FR2972339B1 (fr) * 2011-03-11 2013-04-19 Essilor Int Procede de determination de l'oeil directeur
JP5765015B2 (ja) * 2011-03-30 2015-08-19 富士通株式会社 視線検出装置、視線検出方法および視線検出プログラム
WO2013066790A1 (en) * 2011-11-02 2013-05-10 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8845099B2 (en) * 2012-09-26 2014-09-30 Jason Clopton System and method for real time monitoring and dynamic treatment of oculomotor conditions
US9483855B2 (en) * 2013-01-15 2016-11-01 Flipboard, Inc. Overlaying text in images for display to a user of a digital magazine
FR3003460B1 (fr) * 2013-03-21 2015-03-27 Essilor Int Equipement pour la determination de l'œil directeur
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547210A (zh) * 2011-03-25 2014-01-29 埃西勒国际通用光学公司 用于确定患者的主眼的装置和方法

Also Published As

Publication number Publication date
US20170340205A1 (en) 2017-11-30
WO2016074861A1 (en) 2016-05-19
US20190133440A1 (en) 2019-05-09
US10016131B2 (en) 2018-07-10
CN107771051A (zh) 2018-03-06
JP6340503B2 (ja) 2018-06-13
EP3217858A1 (en) 2017-09-20
US10893801B2 (en) 2021-01-19
JP2018505458A (ja) 2018-02-22
EP3217858B1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
CN107771051B (zh) 眼睛追踪系统以及检测优势眼的方法
KR102000865B1 (ko) 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
CN105431078B (zh) 用于同轴眼睛凝视跟踪的系统和方法
AU2012328140B2 (en) System and method for identifying eye conditions
WO2015190204A1 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
KR20160114115A (ko) 눈 추적을 위한 동적 조명을 갖는 계산 어레이 카메라
CN107003752A (zh) 信息处理装置、信息处理方法以及程序
US11238340B1 (en) Predictive eyetracking using recurrent neural networks
CN106062665A (zh) 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
CN105996975A (zh) 用于检测视力的方法、设备以及终端
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US20200029802A1 (en) Vision screening device and methods
Toivanen et al. Probabilistic approach to robust wearable gaze tracking
CN112351727A (zh) 用于测量视觉功能图的系统和方法
CN113891676A (zh) 视觉缺陷检测与增强
US9220462B2 (en) Imaging sensor and method for biometric mapping of facial skin
CN111699432A (zh) 使用沉浸式系统确定眼睛的耐力的方法及其电子设备
KR101984993B1 (ko) 사용자 맞춤형 시표 제어가 가능한 시야검사기
CN111279353A (zh) 眼睛姿势的检测
US20150178589A1 (en) Apparatus for processing digital image and method of controlling the same
KR102118505B1 (ko) 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템
Chugh An Eye Tracking System for a Virtual Reality Headset
US11653831B2 (en) Visual performance examination device, visual performance examination method, and computer program
JP2023063760A (ja) 識別装置
CN115937102A (zh) 用于瞳距测量的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190610

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: German Pavilion

Patentee before: Sensomotoric Instruments GmbH

TR01 Transfer of patent right