CN105814584B - 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备 - Google Patents

用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备 Download PDF

Info

Publication number
CN105814584B
CN105814584B CN201480066839.3A CN201480066839A CN105814584B CN 105814584 B CN105814584 B CN 105814584B CN 201480066839 A CN201480066839 A CN 201480066839A CN 105814584 B CN105814584 B CN 105814584B
Authority
CN
China
Prior art keywords
quality
eye
tracking
eyes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480066839.3A
Other languages
English (en)
Other versions
CN105814584A (zh
Inventor
C.卡拉菲
M.尼泽
F.万纳
W.尼斯迪克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH filed Critical SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Publication of CN105814584A publication Critical patent/CN105814584A/zh
Application granted granted Critical
Publication of CN105814584B publication Critical patent/CN105814584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)

Abstract

本发明涉及一种用于操作眼睛跟踪设备(10)的方法，眼睛跟踪设备(10)包括成像设备(20)、照射单元(30)和处理单元(40)作为组件，并且还包括用于调节组件(20；30；40)的至少两个调节参数(PA)。眼睛跟踪设备(10)包括用于控制调节参数(PA)的控制单元(42)。根据所述方法，采集眼睛的图像(60)，设置关于与眼睛跟踪有关的质量或组件(20；30；40)的功耗的条件(44)，提供将调节参数(PA)与质量和功耗关联的预定义关联关系(42a)，以及控制单元(42)根据预定义关联关系(42a)控制调节参数(PA)，使得条件(44)的设置所关于的元素满足条件(44)。

Description

用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼 睛跟踪设备
技术领域
本发明涉及用于操作具有预定采集区域的眼睛跟踪设备的方法，其中该眼睛跟踪设备包括至少一个成像设备、具有至少一个光源的至少一个照射单元、以及处理单元作为组件，所述至少一个成像设备能够采集用户的至少一只眼睛和眼睛跟踪设备的采集区域的图像，所述至少一个照射单元能够照射采集区域中用户的所述至少一只眼睛，所述处理单元能够处理由成像设备采集的图像。此外，眼睛跟踪设备包括至少两个调节参数，通过所述至少两个调节参数可调节至少一个组件，其中所述眼睛跟踪设备还包括至少一个控制单元，其能够通过设置所述至少两个调节参数控制所述至少一个组件。此外，采集用户的所述至少一只眼睛的至少一个图像。本发明还涉及眼睛跟踪设备。
背景技术
本发明应用于眼睛跟踪设备的环境中，眼睛跟踪设备是用以检测并跟踪用户的眼睛的位置、朝向、或比如瞳孔放大、眼内距离等的其他性质的装置。
随着眼睛跟踪设备变为越来越成熟的技术，并且伴随着越来越多的其中集成了眼睛跟踪功能的便携式设备(比如平板式设备、智能电话、头戴式显示器等)的日益提高的可用性，使得眼睛跟踪设备低功耗变得很重要。
US 7,980,698 B2描述了一种调节功率的像差计，其包括用于照射眼睛的光源和用于将由眼睛所反射的光导引到传感器上的微透镜阵列。由此，传感器检测这种光点图像中的多个光点，其应该最佳地包括落入能够采集有关眼睛性质的可接受范围内的光水平。为了实现这一点，如果信号质量太差，则自动提高光源的光强。这里，仅解决了最佳可能图像质量的实现，但没有考虑功耗。
JP 2002 28 2209描述了一种视线检测器，其具有用于照射用户的眼睛的照射单元、以及用于采集用户的眼睛的图像的采集单元。在获取用于执行视线检测的图像信息之前，获取眼睛的若干预备(preliminary)图像，然后计算视线检测器至眼睛的距离，并确定基于该距离的照射光量。由此，可以使得用于照射用户的眼睛的光强与用户的距离相适配以用于提高图像质量。这里，也没有考虑眼睛跟踪设备的功耗。
US 8,025,405 B2描述了一种眼睛跟踪设备，用于自动登记并跟踪对象的至少一只眼睛的相应位置。为了为高能效的眼睛跟踪设备提供降低的照射单元的功耗，提出了估计眼睛的位置，并将照射单元所提供的照射导引朝向该估计的位置，使得仅需要照射预期眼睛所处的区域，并因此可以节省照射功率。该眼睛跟踪设备的缺点是，需要估计眼睛的位置，这是非常容易出错的。如果所估计的位置不符合实际眼睛位置，则无法获取有用的图像，这继而对跟踪质量有非常负面的影响。此外，因为由大的LED阵列或由可移动的反射镜(mirror)和光源来实施这种朝向所估计的眼睛位置的照射的导引，所以眼睛跟踪设备不是非常适于集成到移动设备中。
US 2013/0106681 A1描述了一种用于眼睛跟踪系统中的功率管理的方法，该眼睛跟踪系统可被集成于个人计算机系统中而不会加重计算机系统的能量性能的负担。为此目的，眼睛跟踪系统的成像设备可以至少在活动(active)模式、就绪模式和空闲模式之间切换，其中在活动模式中，眼睛跟踪数据包括眼睛位置和眼睛朝向，而在就绪模式中，为了节电目的，眼睛跟踪数据仅包括眼睛位置、而不包括眼睛朝向。该方法的较大缺点在于，为了节电，必须减少由眼睛跟踪系统提供的功能的范围。
发明内容
本发明的目的在于提供一种用于操作眼睛跟踪设备的方法和眼睛跟踪设备，如在独立权利要求的前序部分中所指出的，通过独立权利要求，可以以更好的方式使得功耗和跟踪质量或功能范围的各方面一致。
该目的通过具有独立权利要求的特征的用于操作眼睛跟踪设备的方法和眼睛跟踪设备来实现。
根据本发明的第一方面，关于与眼睛跟踪有关的质量和组件中的至少一个的功耗的集合的元素设置至少一个第一条件，所述组件是成像设备、照明单元和处理单元。此外，提供将至少两个调节参数与质量和功耗关联的预定义关联关系，通过所述至少两个调节参数可调节组件中的至少一个，并且控制单元根据预定义关联关系控制所述至少两个调节参数，使得第一条件的设置所关于的元素满足第一条件。
本发明具有可以考虑不同场合的要求的极大的优点。这通过设置关于质量或功耗的至少一个第一条件而成为可能。以此方式，可以依赖于场合设置优先级。例如，在一个场合下，可能限制功耗是重要的，而在另一场合下，可能实现高跟踪质量是重要的。由此，本发明通过提供将眼睛跟踪设备的操作适配于不同场合的要求的灵活性，协调质量与功耗之间的矛盾。此外，这通过提供将调节参数与质量和功耗关联的关联关系而成为可能。本发明基于如下发现：眼睛跟踪设备的调节对功耗有影响，同时对跟踪质量也有影响。由此，可以通过预定义关联关系考虑依赖于调节参数的在质量与功耗之间的相互作用，这因此使得可以在适配于不同场合的情况下找到质量与功耗之间的适当平衡。此外，因为提供了可用于调节组件中的至少一个的至少两个调节参数，所以提供了一定自由度，其允许在质量或功耗满足第一条件的同时优化这两个元素中的另一个。尤其，本发明基于如下发现：可以提供远远多于仅仅两个影响功耗和质量的调节参数(其在下面更详细说明)，使得该多个调节参数可用于同时实现功耗的降低以及质量的优化。
在本发明的有利实施例中，如果关于与眼睛跟踪有关的质量设置第一条件，则第一条件包含质量必须超过的预定最小质量值。还可以存在例如可以由用户设置或可以依赖于特定应用的要求等而设置的多个预定最小质量值。有利地，如果关于质量设置第一条件，则可以确保实现特定最小质量、同时例如降低功耗。
此外，如果关于与眼睛跟踪有关的质量设置第一条件，则第一条件还可包含预定最小质量值和预定最大质量值，使得质量必须在最小质量值和最大质量值之间。本发明的该实施例尤其有利，这是因为，一方面，确保实现特定最小质量，另一方面，通过设置最大质量值，也同时限制了功耗，因为凭经验法则，跟踪质量越高，功耗越高。
在另一实施例中，如果关于功耗设置第一条件，则第一条件优选地包含功耗必须低于的预定最大功耗值。因此，有利地，可以限制功耗。这里，也可提供多个不同最大功耗值，于是可根据特定场合的要求而选择它们。例如，用户可输入对于功耗的限制值，或者，可根据眼睛跟踪设备或集成了眼睛跟踪设备的系统的功率可用性，设置眼睛跟踪设备的节电模式或该最大功耗值。
根据本发明的另一实施例，如果关于功耗设置第一条件，则第一条件包含预定最大功耗值和预定最小功耗值，使得功耗位于最大功耗值与最小功耗值之间。如已经描述的，功耗与跟踪质量相联系，因此，通过提供最大功耗值以及最小功耗值，可以限制功耗，同时可以确保通过限制功耗没有不必要地影响质量。
通过引入这些不同的灵活度水平以实现节电，使得可以在给定节电约束下实现最佳可能的质量，或在给定质量约束下实现最小节电。因为可以在输入中接收进一步的质量约束或功耗约束，所以可以以最高效的方式使眼睛跟踪设备的操作适配于不同场合。
为了决定对集合的哪个元素设置条件，眼睛跟踪设备优选地接收指定元素、并且最终也指定条件自身的输入信号，然后，眼睛跟踪设备基于所接收的输入信号关于所述元素设置条件。
此外，为了实现优化，作为本发明的优选实施例，如果每个调节参数的值的多个组合导致第一条件的设置所关于的元素满足第一条件，则控制单元根据预定义关联关系控制所述至少两个调节参数，使得与所述多个组合的其他组合相比，所述集合中没有被设置第一条件的元素的值被极限化。如果例如关于质量设置第一条件，则控制调节参数，使得质量满足条件、同时尽可能多地降低功耗。另一方面，如果关于功耗设置条件，则控制调节参数，使得功耗满足条件、同时尽可能多地提高质量。这通过提供对于该优化所需要的自由度的所述至少两个调节参数(尤其通过多个调节参数)而成为可能。换句话说，存在可以如何设置这些调节参数以实现例如所需要的最小质量的不同可能的组合。因此，选择可实现最低功耗的参数的此组合。此外，存在设置调节参数以使得功耗落入预定值以下的不同可能性。因此，可以设置质量最大的调节参数值的这种组合。以此方式，有利地，用户为了节电而必须采取的限制被降低到最小。
为了能够提供该优化，知道哪些调节参数以哪种方式影响功耗和质量是有用的。例如，眼睛跟踪设备可以以固定或可变频率操作。成像设备交替其快门开启的时段和其快门关闭的时段，其快门开启的时段被称为曝光时间窗口，其允许从环境收集光。例如，如果将眼睛跟踪设备设置为以50Hz操作并且将曝光时间窗口设置为3ms，则在一秒期间，成像设备将交替50个3ms的其快门开启的时段、和50个17ms的其快门关闭的时段。照射单元可以永久开启，或可以与成像设备曝光时间窗口同步地，用与成像设备的曝光时间窗口相同或不同持续时间的脉冲，发射脉冲式照射。在多于一个成像设备或照射单元的情况下，其全部以该设置同步操作。照射单元可控制脉冲持续时间(脉冲长度)和脉冲幅度(脉冲强度)两者。这两个值的乘积，尤其是脉冲强度在时间上的积分，直接与照明单元通过每个脉冲发射的光量和消耗的功率有关。如果成像设备采用滚动快门，则关于同步和时间窗口的进一步的考虑是必要的。
因此，照明源的能量消耗依赖于功率曲线形状。同时，作为一般的规则，成像设备能够收集的光越多，跟踪质量将越好。尽管照明单元所消耗的功率是占主要地位的，但是眼睛跟踪设备的组件中的其他组件也消耗能量。处理单元通常除了眼睛跟踪之外还执行其他任务，然而，其功耗由于眼睛跟踪算法所需要的额外计算而增加。因此，例如，选择使用简化的算法可以降低处理单元的消耗。此外，成像设备可以包括多于仅仅一个相机，例如，两个相机，一个用于可见光，一个用于红外光，因此相机的数目也影响功耗以及跟踪质量。
因此，作为本发明的非常有利的实施例，所述至少两个调节参数是指：照射单元的光强，尤其是指照射单元的至少一个光源的光强，在采集图像时所述至少一个光源用该光强照射眼睛；和/或在采集图像期间的照射持续时间；和/或照射频率；和/或照射单元的活动的光源的数目；和/或用于从用于确定所述至少一只眼睛的至少一个性质的至少两个不同眼睛跟踪算法中选择眼睛跟踪算法的调节参数；和/或用于从用于采集图像的成像设备的至少两个不同相机中选择至少一个相机的调节参数；和/或成像设备的电增益；和/或更新频率；和/或采集单元的光圈的光圈尺寸；和/或成像设备的快门的调节；和/或成像设备的采样率；和/或处理单元的时钟频率；和/或处理单元中处于活动状态的计算单元的数目。所有这些调节参数对功耗以及质量有影响。因此，有利地，存在具体适配功耗和质量场合的许多可能性。
为了考虑不同场合，表征不同场合是非常有利的。因此，优选地，确定表征环境光强、用户行为、用户特性(尤其是眼睛颜色和/或肤色)中的至少一个的至少一个场合参数，其中至少通过所述至少一个场合参数预定义该预定义关联关系。换句话说，控制单元可以依赖于至少一个所确定的场合参数控制调节参数。例如，如果在环境中存在很多光，则与在环境中仅存在很少光的情况相比，可以减小照射单元的光强或照射持续时间以实现相同质量。此外，用户行为与调节参数的设置有关。如果例如在曝光时间窗口期间出现运动，则所采集的图像将呈现不期望的运动模糊。该运动模糊与运动速度和时间窗口持续时间成比例。运动可以涉及到用户及其眼睛和设备自身。因此，如果运动速度高，则曝光时间窗口必须不过长以实现可接受的质量。如果运动速度低，则对于设置调节参数有更多自由度，例如，可以设置长曝光时间窗口，并且可以选择小光强用于在曝光时间窗口期间发射，或者，可以设置较短曝光时间窗口，并且可以相应将照射单元的光强设置得较高。用户行为还影响眼睛跟踪设备的更新速率的频率的要求。例如，如果没有剧烈的眼睛运动，则即使用非常小的更新速率也可以实现好的质量，而如果存在剧烈的眼睛运动，则需要更新速率较高以实现相同质量。此外，用户的眼睛颜色和/或其肤色对质量有影响，因此对调节参数的对应设置有影响。例如，与可见域相比，棕色眼睛的人在红外域中呈现瞳孔与虹膜之间的较高的对比度。关于眼睛颜色的信息可用于决定是否应使用用于可见光或红外光或甚至两者的相机以允许最佳眼睛特征提取。此外，比如用户是否佩戴眼镜的其他用户特性影响质量，这是因为，如果用户佩戴眼镜，则较难从图像提取眼睛特征。因此，例如，如果用户没有佩戴眼镜，则眼睛跟踪设备可以减小发射的光量以获得期望的最小质量。此外，肤色可用于检测用户的面部或眼睛，并且可通过调节照明条件而优化颜色表现。因此，如果确定上面列出的场合参数中的至少一个，则其允许甚至好得多地适配于不同场合，尤其允许质量的优化以及尽可能多地降低功耗。
有利地，可以从一个或多个所采集的图像得到这些场合参数，具体地，通过所采集的图像，可以指定环境光场合以及用户的眼睛颜色或肤色或其他用户特性，并且还可采集用户行为，比如用户或其眼睛的运动程度。因此，优选地，处理单元分析所采集的图像，并且控制单元依赖于分析结果控制调节参数。
在本发明的另一实施例中，通过由处理单元分析由采集单元采集的所述至少一个图像，从所述至少一个图像得到与眼睛跟踪有关的质量。因此，如果通过从图像得到质量而关于质量设置条件，则可以检查质量是否满足条件。如果不是这样的情况，则可以控制调节参数，使得质量最终例如在闭环控制中满足条件。
与眼睛跟踪有关的质量可以是图像质量或估计的眼睛跟踪质量。可以从所采集的图像直接得到图像质量，其中图像质量进一步与眼睛跟踪质量相联系，使得还可以从所确定的图像质量估计眼睛跟踪质量。
图像质量可以由从所述至少一个图像中提取的至少一个质量特征确定，所述质量特征尤其是：所述至少一个图像中的对比度，具体是用户的眼睛的所检测的眼睛部分之间的对比度；和/或图像的信噪比；和/或所述至少一个图像中所检测的反射(reflection)的尺寸；和/或所述至少一个图像中所检测的反射的饱和度；和/或所述至少一个图像中所检测的反射的亮度。为了执行眼睛跟踪，必须在图像中识别比如虹膜或瞳孔的特定眼睛部分、以及由眼睛反射的反射(具体是闪光)。因此，如果比如瞳孔与虹膜或虹膜与巩膜的眼睛部分之间的对比度高，则这些部分可以被识别得好得多。此外，如果信噪比高，则这也可以增强对有关眼睛部分以及有关反射的识别。此外，有关反射的尺寸和有关反射的亮度对眼睛跟踪质量有影响，以及因此对表征图像质量的有关质量特征有影响。因此，如果从所采集的图像中提取这些特征，则可以确定图像质量。此外，可以通过用于确定必须被设置或实现特定图像质量的调节参数值的预定关联关系，考虑这些提取的质量特征。
因为该图像质量还与眼睛跟踪质量有关，所以当具体通过以下步骤从图像质量得到眼睛跟踪质量作为估计的眼睛跟踪质量时，其是本发明的非常有利的实施例，所述步骤即：
-处理图像，从而从所述图像中提取至少一个质量特征；
-提供将所述至少一个质量特征与图像质量关联并将图像质量与估计的跟踪质量关联的预定义关联关系；以及
-通过根据所述预定义关联关系将所述至少一个提取的图像特征分配至图像质量和所估计的跟踪质量来确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量。
因此，跟踪质量可以是跟踪准确度，其是对于重建的眼睛性质(例如，重建的注视(gaze))有多匹配实际的眼睛性质(例如，用户的实际观测方向)的度量。
跟踪质量还可以是跟踪精度，其是对于可重复度的度量，即，其是对于在给定相同或类似输入条件下输出结果有多一致的度量，或再次地，对于在恒定输入的情况下在输出中存在多少噪声的度量。
因为重建的眼睛和注视的质量与所获取的眼睛图像的质量密切相关，所以可以将图像质量映射至预期的眼睛跟踪质量。一旦定义该映射，眼睛跟踪就可以在进行眼睛跟踪的同时计算眼睛跟踪质量。一旦校准设备时，就可以例如记录并存储映射“图像质量至眼睛跟踪质量”。例如，可要求用户凝视(fixate)与眼睛跟踪设备联系的屏幕上的多个点，其位置对于眼睛跟踪设备是已知的。经过若干秒，系统调节不同相机和光源性质，比如增益值、光强、快门速度等。其分析所采集的图像的质量，重建眼睛和/或注视方向，并计算例如屏幕上的关注点，并测量重建的准确度或精度的误差。因此，这些值可以被保存到数据结构中，该数据结构因而定义图像质量与眼睛跟踪质量之间的关联关系。
如果例如通过设置对应的条件而例如要求期望的眼睛跟踪质量，则将图像质量与眼睛跟踪质量相关联的该生成的映射可用于将期望的眼睛跟踪质量转换为期望的图像质量，并且，在进行眼睛跟踪的同时，眼睛跟踪设备可以调节调节参数以实现给定图像质量，给定图像质量可从每个采集的图像得到，如已经说明的。此外，还可以对于3D环境或设备屏幕上的不同区域提供估计的眼睛跟踪质量。例如，注视结果可被估计为对于屏幕的中心区域较好，而对于其外围部分较差。关于注视质量的该信息可由应用用于适配其与用户交互的方式，例如，通过在屏幕上呈现较大或较小或较多或较少间隔的选项区(比如按钮)，或将这些选项区域呈现在屏幕中系统估计注视输出将较好的区域内。
因此，作为本发明的非常有利的实施例，作为位于用户的视野中的体或面的3D坐标的函数(具体是3D世界坐标的函数)，或作为位于用户的视野中的面的2D坐标的函数(具体是连接至眼睛跟踪设备的显示设备的2D坐标的函数)，计算所估计的眼睛跟踪质量。因此，可以对于用户的视野的不同区域，如，对于用户的视野中的显示器的不同区域，计算估计的跟踪质量。显示设备优选地是眼睛跟踪设备作为其一部分、集成到其中或至少连接至其的的设备(比如计算机、平板式设备、移动设备、头戴式显示器等)的一部分，使得眼睛跟踪设备的成像设备和设备的显示器之间的相对位置对于眼睛跟踪设备是已知的。此外，可通过采集图像确定用户相对于成像设备的位置，使得可以对于用户的视野中的若干不同区域确定所估计的眼睛跟踪质量，其中具体地，可通过眼睛跟踪设备预设不同区域的数目。因此，例如，所估计的眼睛跟踪质量的不同质量值可归因于计算机屏幕或其他表面(还包括虚拟或假想表面)的不同区域。
此外，可以提供作为上面列出的坐标的函数的所估计的跟踪质量，作为眼睛跟踪设备的输出信号，因此，例如可以将该输出信号提供至在连接至眼睛跟踪设备的设备上运行的应用，并且该信号可以由该应用用于适配其与用户交互的方式，如上面说明的。
此外，一般地，可通过眼睛跟踪设备计算与眼睛跟踪有关的质量，即，图像质量和/或跟踪质量，并在眼睛跟踪设备的输出处将所述质量作为输出信号而输出或提供，例如用于由应用或另一设备进一步使用。
根据本发明的另一实施例，至少通过传送至眼睛跟踪设备的外部应用的要求，预定义将适配参数与质量和功耗关联的预定义关联关系。这基于如下发现：应用所属的种类也包含关于将预期用户的哪种眼睛运动的信息。例如，如果用户正在观看图像或视频，则与用户玩3D射击游戏相比，预期较少眼睛运动。因此，在用于调节调节参数的关联关系中也可考虑应用的种类，作为可以由眼睛跟踪设备确定的另一场合参数。
可以通过将所述至少两个调节参数的可设置值的组合的多个集合分配至质量的质量值和功耗的功耗值，尤其是以查找表和/或特性曲线族的形式，给出所述预定义关联关系，或者，通过将所述至少两个调节参数与功耗和质量关联的数学公式和/或数学模型和/或函数，给出所述预定义关联关系。例如，对于可以被采集的场合参数的组合或不同场合的每一个，可以通过控制单元设置对应查找表或特性曲线，其中查找表或特性曲线因而定义对于该特定场合必须如何设置调节参数，使得一个元素(或是质量、或是功耗)满足预定条件，并且另一元素可以可选地被优化。场合参数还可以是对于上面列出的公式、模型或函数的输入参数，使得基于预定义关联关系，控制单元依赖于由场合参数指定的场合设置调节参数。
此外，控制单元可以在开环控制中或者也在闭环控制中根据预定义关联关系控制所述至少两个调节参数。因此，例如，如果关于质量设置条件，则可以从当前图像确定比如图像质量的当前质量，并将其反馈至提供调控(regulation)策略的关联关系，以实现质量满足条件。作为开环控制，还可以从当前图像或者也从每个当前采集的图像确定场合参数，并且根据对于所述场合参数的查找表或特性曲线设置调节参数。
此外，可根据用户输入或通过给定外部应用或通过给定供电模式来设置所述至少一个第一条件。例如，用户可以输入他是否想要限制功耗或质量、和/或限制到什么程度。此外，不同应用具有涉及跟踪质量的不同要求。因此，还可以将所要求的跟踪质量从应用传送至眼睛跟踪设备，其中眼睛跟踪设备然后关于质量设置相应条件，例如最小值。此外，眼睛跟踪设备或许还能够确定供电模式，即，眼睛跟踪设备是被插电还是由电池供电。因此，如果眼睛跟踪设备被插电，则功耗变得较不相关，并且可以将对于质量的条件设置为最大值。如果眼睛跟踪设备由电池供电，则眼睛跟踪设备自动地可以关于功耗设置条件。
根据本发明第一方面的眼睛跟踪设备包括预定采集区域，并包括以下作为组件：至少一个成像设备，能够采集采集区域中的用户的至少一只眼睛的图像；具有至少一个光源的至少一个照射单元，能够照射采集区域中的用户的所述至少一只眼睛；以及处理单元，能够处理由成像设备采集的图像。此外，眼睛跟踪设备包括至少两个调节参数，通过所述至少两个调节参数可调节组件中的至少一个，其中眼睛跟踪设备还包括至少一个控制单元，其能够通过设置所述至少两个调节参数控制组件中的所述至少一个。所述控制单元能够关于与眼睛跟踪有关的质量和组件中的所述至少一个的功耗的集合的元素，设置至少一个第一条件。此外，眼睛跟踪设备包括将所述至少两个调节参数与质量和功耗关联的预定义关联关系。此外，控制单元能够根据所述预定义关联关系控制所述至少两个调节参数，使得所述至少一个第一条件的设置所关于的元素满足所述至少一个第一条件。
关于根据本发明第一方面的用于操作眼睛跟踪设备的方法而描述的优选实施例及其优点适用于根据本发明第一方面的眼睛跟踪设备。具体地，根据本发明第一方面的用于操作眼睛跟踪设备的方法及其实施例的所述步骤构成根据本发明第一方面的眼睛跟踪设备的进一步实施例。
根据本发明第二方面，一种用于操作眼睛跟踪设备的方法，所述眼睛跟踪设备用于采集眼睛跟踪设备的采集区域中的用户的至少一只眼睛的至少一个性质，其中眼睛跟踪设备包括以下作为组件：至少一个成像设备，能够采集用户的至少一只眼睛的图像；具有至少一个光源的至少一个照射单元，能够照射用户的所述至少一只眼睛；以及处理单元，能够处理由成像设备采集的图像；所述方法包括以下步骤：
a)采集用户的眼睛的图像；
b)处理所述图像，从而从所述图像中提取至少一个质量特征；
c)提供将所述至少一个质量特征与图像质量关联并将图像质量与估计的跟踪质量关联的预定义关联关系；以及
d)通过根据所述预定义关联关系将所述至少一个提取的质量特征分配至图像质量和所估计的跟踪质量，确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量。
如已经关于根据本发明第一方面的实施例描述的，根据本发明第二方面的方法具有极大的优点在于，基于所重建的眼睛和注视的质量与所获取的眼睛图像的质量密切相关的发现，可以将图像质量映射到预期的眼睛跟踪质量，其中具体地，通过预定义关联关系给出该映射。如果例如通过设置对应条件而例如要求期望的眼睛跟踪质量，则将图像质量与眼睛跟踪质量关联的该关联关系可用于将期望的眼睛跟踪质量转换为期望的图像质量，并且在进行眼睛跟踪的同时，眼睛跟踪设备可以调节调节参数以实现给定图像质量，这可以从每个采集的图像得到，如已经说明的。此外，还可以对于3D环境或设备屏幕上的不同区域提供估计的眼睛跟踪质量。例如，注视结果可被估计为对于屏幕的中心区域较好，而对于其外围部分较差。关于注视质量的该信息可由应用用于适配其与用户交互的方式，例如，通过在屏幕上呈现较大或较小或较多或较少间隔的选项区域(比如按钮)，或将这些选项区域呈现在屏幕中系统估计注视输出将较好的区域内。因此，为了节电目的，知道眼睛跟踪质量或能够估计眼睛跟踪质量尤为重要，这是因为在此情况下，眼睛跟踪质量应被限制或应满足一些条件，或应通过节电而确保一些最小眼睛跟踪质量。因此，根据本发明第二方面的该方法促进基于所采集的图像的图像质量估计眼睛跟踪质量，关于节电方面也是尤为有利的。
根据本发明第二方面的、用于采集眼睛跟踪设备的采集区域中的用户的至少一只眼睛的至少一个性质的眼睛跟踪设备包括以下作为组件：至少一个成像设备，能够采集用户的至少一只眼睛的图像；具有至少一个光源的至少一个照射单元，能够照射用户的所述至少一只眼睛；以及处理单元，能够处理由成像设备采集的图像。此外，所述处理单元能够处理由所述成像设备采集的图像，从而从所述图像中提取至少一个质量特征。所述眼睛跟踪设备包括将所述至少一个质量特征与图像质量关联并将图像质量与估计的跟踪质量关联的预定义关联关系；以及所述处理单元还能够通过根据所述预定义关联关系将所述至少一个提取的质量特征分配至图像质量和所估计的跟踪质量，确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量。
根据本发明第一方面的用于操作眼睛跟踪设备的方法和眼睛跟踪设备的优选实施例和特征也可以与根据本发明第二方面的用于操作眼睛跟踪设备的方法和眼睛跟踪设备组合。关于根据本发明第一方面的用于操作眼睛跟踪设备的方法和眼睛跟踪设备而描述的优选实施例及其优点对应地适用于根据本发明第二方面的用于操作眼睛跟踪设备的方法和眼睛跟踪设备。具体地，根据本发明第一方面的用于操作眼睛跟踪设备的方法及其实施例的所描述的步骤构成根据本发明第二方面的用于操作眼睛跟踪设备的方法和根据本发明第二方面的眼睛跟踪设备的进一步实施例。
附图说明
下面，参照附图更详细描述本发明的有利实施例。
它们在以下图中示出：
图1是根据本发明实施例的、用以可视化用于操作眼睛跟踪设备的方法的眼睛跟踪设备的组件的示意图；以及
图2是对于红外LED的典型效率表的图示。
具体实施方式
图1示出眼睛跟踪设备10及其组件的示意图。眼睛跟踪设备10包括成像设备20作为组件，该成像设备20具有用于采集眼睛跟踪设备10的采集区域中的用户的眼睛的图像的至少一个相机，该相机或者是红外相机，或者是可见光相机，或者是两者。此外，眼睛跟踪设备10包括照射单元30，其具有至少一个光源，具体地，两个或更多LED，它们优选地被放置得接近所述相机。此外，眼睛跟踪设备10包括处理单元40作为另外的组件，该处理单元40可由例如PC、膝上型设备、移动设备等来提供。
处理单元40处理来自相机的图像，并检测用户的眼睛，通常是瞳孔和/或虹膜的轮廓或中心点。处理单元40还优选地检测光源在眼睛的角膜上的反射(闪光)。所检测的特征然后可用于计算用户的眼睛的3D位置和/或朝向、对应的注视方向和/或关注点或眼睛的其他性质。
此外，眼睛跟踪设备10的组件包括不同调节参数PA，通过该调节参数PA可调节组件及其操作，并且该调节参数PA影响眼睛跟踪设备10的功耗以及眼睛跟踪质量。下面说明这些调节参数PA。
成像设备20包括至少一个相机，在眼睛跟踪设备10的操作期间，所述至少一个相机以特定频率采集用户的眼睛的图像。因此，相机包括快门，其为了采集图像而开启，并对于采集图像之间的时间关闭。在成像设备20的操作期间，照射单元30可永久发光，但是，如果照射单元30以脉冲式照射操作以使得由照射单元30提供的照射与相机的快门同步，则这在功耗方面是更高效的。
对于这样的设置，可在调节照射单元30的照射强度30a方面调节照射单元30。由此，可选地，可分别在照射单元30的每个照射源的强度30a方面调节该照射源。此外，还可调节照射频率30b(与快门频率同步)、以及照射持续时间30c(再次优选与快门的曝光时间窗口同步)、以及处于活动中以用于采集图像的光源的数目30d。
如已经说明的，可关于成像设备20的快门参数20a(即，快门频率和曝光时间窗口)调节成像设备20，可调节确定相机传感器的敏感度的电子增益20b、用于采集图像的相机的数目20c以及相应相机的光圈尺寸20d。
可关于用于眼睛跟踪的算法40a，在处理单元40的时钟频率40b、激活的计算单元的数目40c、以及是否允许采样收回(retraction)40d的方面，调节处理单元40。
此外，眼睛跟踪设备10包括控制单元42，用于控制上面列出的调节参数PA。图1中分开示出控制单元42，但是控制单元42不必是分开的实体，而也可以是处理单元40的一部分。
对于眼睛跟踪设备10的操作，首先，关于功耗或与眼睛跟踪有关的质量设置条件44。该条件44可以依赖于外部输入50而设置。例如，用户可以输入期望的条件，比如期望的最小跟踪质量或期望的功率限制。而且，在集成了眼睛跟踪设备10并且眼睛跟踪所应用于的系统上运行的外部应用可以将这样的条件44(比如对于最小跟踪质量的要求)传送至眼睛跟踪设备10。此外，眼睛跟踪设备10还可检查其是连接至电网、还是由电池供电。如果其自动由电池供电，则可以设置关于功耗的约束，所述约束可以也依赖于电池的充电状态。如果眼睛跟踪设备10检测到其由电网供电，则可以将对于质量的条件44设置为最大。条件44还可以通过例如按照预定优先级顺序的所述外部输入50的组合而设置，例如，当眼睛跟踪设备10被插电时，仅当没有接收其他用户输入时，将对于质量的条件设置为最大。
此外，成像设备20在对于眼睛跟踪的操作期间重复采集图像60。这样的图像60包含也可用于调节调节参数PA的信息。首先，可从构成图像质量参数PQ的不同图像特征，比如图像中的对比度62a、闪光尺寸62b、饱和度62c、信噪比62d和闪光亮度62e，得到图像质量62。可以由处理单元40从图像60中提取该信息，并且该信息可以具体以图像质量参数PQ的形式而被提供至控制单元42。
此外，处理单元40还可以从所采集的图像60中提取关于特定场合64的信息，例如，可以确定环境光强64a、用户的眼睛颜色64b、用户的肤色64c、用户及其眼睛的行为或运动64d、或其他用户特性，比如用户是否佩戴眼镜64e和用户相对于成像设备20的注视角度64f，其可用于确定对于3D环境的不同区域的输出结果质量的估计，如后所述。然后，可以以场合参数PS的形式提供该信息。所提取的场合参数PS以及图像质量参数PQ可以被馈送至控制单元42，用于控制调节参数PA。此外，在控制单元42中可以放置关于系统的功率计量(metric)或特性的信息，包括照射单元30、成像设备20和处理单元40的功率计量。此外，控制单元42包括预定义关联关系42a，其优选地依赖于场合参数PS，将与眼睛跟踪有关的质量、功耗和调节参数PA关联。可以以查找表、数学公式、模型、最优算法或函数的形式提供该关联关系42a，该查找表、数学公式、模型、最优算法或函数针对每个给定场合和针对设置的条件44规定对调节参数PA进行的控制。因此，首先，控制调节参数PA，使得满足设置的条件44。如果例如关于功耗而设置了条件44，则控制单元42根据关联关系42a控制调节参数PA，使得满足条件44，并且同时所实现的质量尽可能地好。由此，控制单元42根据关联关系42a，优选地依赖于所获取的场合参数PS中的至少一个，控制调节参数PA。如果关于图像质量而设置了条件44，则也同样适用。
基于关于组件的调节参数PA如何影响功耗和与眼睛跟踪有关的质量、以及关于不同场合也如何影响质量、及该影响如何可用于使眼睛跟踪设备10适配于不同场合、并使得可以降低功耗且同时确保最小质量或可以在给定功耗约束下最大化质量的以下发现，提供关联关系42a。
眼睛跟踪设备10的全部三个主要组件(成像设备20、照射单元30和处理单元40)消耗能量。相对于其他组件，照射源所消耗的功率是占主要地位的。照射源所消耗的能量依赖于其输入功率(强度，可以以瓦特为单位测量)，其控制由此发射的光的强度30a。
对于脉冲式照射，照射源在时间窗口(例如，每秒)上所消耗的能量也依赖于关闭和开启时段的持续时间(方波)，并且更一般地依赖于功率曲线形状及其在时间上的积分。因此，对于脉冲式照射，主要可以在以下方面控制功耗，所述方面即：调节脉冲的强度、调节脉冲持续时间30c、调节操作频率30b(具体地，照射源以及整个眼睛跟踪设备10的操作频率30b)、以及在照射单元30包括多于一个光源时调节激活的光源的数目30d。
重要的是，注意到并不是光源所消耗的全部功率都转变为光，其在图2中示出。其中对于输入功率的不同值，示出由照射源转变为光的输入功率的份额(效率η)。如可见的，效率η随输入功率而变化。效率值η关于在100mA输入电流I处的效率η而规范化(normalize)。该图表示出在恒定电势处与输入功率成比例的输入电流I的量。因此，在可能时优选地控制脉冲的强度以在最大效率η处操作，这是因为，大部分输入功率因此转变为光能。在将调节参数PA与质量和功耗关联的预定义关联关系42a中可包含这样的功率计量，以考虑效率η的这种眼睛跟踪设备10特定的性质。
此外，选择使用简化算法40a可以降低处理单元40的功耗。
现在，描述输入图像质量的主要方面，具体地，调节参数PA和场合参数PS如何影响图像质量62。可以在若干方面测量图像质量62，其中一些方面是密切相关的，尤其是信噪比62d和相机的光收集、运动模糊和眼睛跟踪的特定方面。
关于信噪比62d，如果饱和效应被保持在控制之下，则一般的规则是：成像设备20能够收集的光越多(具体地，越聚焦)，其输出图像60将越好。对此的简短说明是：在给定电噪声的大致固定的量的情况下，由设备收集的信号的量将越高，并因此其信噪比62d将越高。低信噪比62d例如导致图像60中的被损坏的边缘特征，从而导致眼睛特征位置的较差估计以及因此较差的注视估计。如果噪声水平变得与眼睛特征(比如，瞳孔、虹膜、巩膜等)之间的对比度62a相当，则可能变得难以或不可能检测这些眼睛特征。
此外，由相机收集的光的量依赖于曝光时间窗口持续时间20a、光学光圈20d、环境中存在的光的量64a、以及由照射源在曝光时间窗口20a期间发射并被相机前方的场景(即，拍摄区域)中的物体/人反射的光的量30a。更具体地，如果成像设备20安装或合并带通滤波器(例如，红外滤波器或滤色镜)，并且因为成像设备20的图像传感器的不同波长响应性，并不是命中相机的所有环境和照射源光都将有助于图像60的创建，并且具体地，将主要丢弃具有特定波长的波。最后，成像设备20还可允许设置电增益20b，其将以提高电噪声和相机功耗为代价而提高传感器的敏感度(sensitivity)。
关于运动模糊，如果在曝光时间窗口20a期间出现运动，则图像60一般将存在不期望的运动模糊。该运动模糊与运动速度和时间窗口持续时间20a成比例。运动可涉及用户及其眼睛和设备自身。
关于眼睛跟踪的特定方面，图像60中的对比度62a对跟踪质量有主导影响，尤其是瞳孔与虹膜之间、虹膜与巩膜之间、以及一般地在所有眼睛组成部分及其周围之间的对比度62a、闪光(即，照射源在眼睛上的光反射)与周围之间的对比度62a、闪光的饱和量62c、闪光的尺寸62b、以及其他潜在有用信息(比如用于用户跟踪的面部特征)的对比度62a和饱和量62c。对比度62a越高，这些特征可以被重建得越稳健、准确和精确，并且跟踪质量越好。
总之，除了改变照射脉冲形状30a、30b、30c之外，可用于控制由成像设备20收集的光的量的另一选择是增大快门时间20a和/或光圈20d。不利之处是相机性质具有可影响图像60的质量62的其他副作用。增加快门时间20a使运动模糊增加，并且增大光圈尺寸20d可对图像60的清晰度有负面影响。
本发明促进保持节能与确保期望的最小图像和/或注视跟踪质量之间的平衡。该方法优化图像质量62，具体地是涉及眼睛区域的图像质量62。为实现这一点，可在采集帧的同时执行以下流水线步骤。首先，分析由相机采集的图像60以找到用户的眼睛的大致位置。然后，依赖于找到眼睛的图像区域，计算导致图像质量参数PQ的图像质量特性，尤其是图像特征。图像质量特性例如可以是图像对比度62a，因为较好的对比度62a，尤其是瞳孔与虹膜之间以及虹膜与巩膜之间、并且一般地在所有眼睛组成部分及其周围之间的对比度62a，增强眼睛检测的准确度和精度。另外的图像质量特性是图像噪声，具体地是信噪比62d。典型地，如果相机采集越多光，则图像噪声成比例地越低。因此，可通过从照射单元30发射较长或较密集的光(即，增加照射持续时间20c和照射强度30a)，增加快门时间20a或光圈尺寸20d，来减小图像数据与噪声之间的比率62d，其不利之处是增加功耗、运动模糊或较小景深。另外的特性可以是饱和度62c。如果图像60在眼睛区域中是过饱和的，则其释放(loose)关于实际眼睛形状的有价值的信息。另一质量特性可以在颜色失真中发现，颜色失真仅与可见光RGB相机有关。不同光条件导致图像中颜色的不同表现。尤其是，如果肤色64c用于检测面部或眼睛，则可通过调节照明条件而优化颜色表现。
在分析图像并提取上面列出的图像特征或图像质量特性中的一个或多个之后，眼睛跟踪设备10决定该图像质量对于期望的眼睛跟踪质量是否足够，并且依赖于此，发送反馈至控制单元42，以便对于下一帧调节其设置并规定所使用的能量。决定还可包括分开控制光源，例如以便将图像60中的所有闪光的亮度对准。
如果例如为了节能目的而例如关于图像或眼睛跟踪质量设置条件44，使得质量必须超过预定最小值、但不许超过预定最大质量值，则可实现节电、同时确保最小期望质量。可通过尽可能减小由光源消耗的功率的量实现在进行眼睛跟踪的同时在此情况下的节电，使得维持指定最小图像或注视质量。可从上面列出的图像特征中的一个或多个得出图像质量62。因此，控制单元42可以以闭环控制来控制调节参数PA，其中从采集的图像60持续得到图像质量62并将其反馈至控制环路，并且，控制单元42基于预定关联关系42a控制调节参数PA，例如强度30a，使得图像质量62满足设置的条件44。
如果在另一情况下将对于图像或眼睛跟踪质量的条件44设置为最大，例如，如果眼睛跟踪设备10检测到其被插电到电网以使得功耗不起重要作用，则可通过在检测到眼睛的区域中优化图像60的质量而实现针对精确眼睛检测的最佳质量，而与消耗的功率无关。目的是优化图像60，以使得(3D)眼睛位置和(3D)注视方向的重建尽可能精确。通常，这涉及最大化瞳孔和虹膜的对比度62a，并且针对图像噪声62d的最小值而调节整体亮度62e。
另一影响眼睛跟踪质量的可能性是调节闪光的亮度62e。用户的面部和眼睛不总是被均匀照射的。例如，如果光源发射不同光量、或如果光源是定向的(directed)，则依赖于面部在光锥中的位置以及进一步的个体特性，图像60中的光分布可能是不均匀的。还可能出现：一只眼睛中的若干闪光具有不同亮度水平62e。对于眼睛的检测和重建，将闪光的亮度62e或图像60中的光分布均衡可能是有用的。在此情况下，可以对于每个光源单独控制光源的功率以实现该均衡。由此，可以提高质量而不必消耗更多功率，这是因为，不必增加光输出而仅是重分布光输出。另一方面，例如如果关于质量设置了条件44，则由此还可以节电。因而，光输出的重分布可伴随有光强30a的降低，这是因为，由光强30a的降低导致的图像质量62的降低可通过由闪光的亮度62e的优化提供的图像质量62的提高而进行补偿。因此，在控制单元42的用于调节调节参数PA的控制策略中也可以实施该描述的过程。
此外，眼睛注视输出质量或跟踪质量还依赖于与图像质量62不同的其他参数。眼睛注视输出质量可以在若干角度下被度量。一方面，准确度度量了所重建的注视与用户(眼睛)的实际观测方向有多匹配，另一方面，精度度量了可重复度，这意味着其是对于在给定相同或类似输入条件下输出结果有多一致的度量、或再次地对于在恒定输入的情况下在输出中存在多少噪声的度量。
如果跟踪输出(例如，所计算的眼睛位置或注视方向)以较高频率更新，则认为跟踪质量较好。在恒定准确度和精度下，以60Hz提供眼睛注视更新的眼睛跟踪设备10比以30Hz或20Hz工作的眼睛跟踪设备10执行得更好。
在一些情况下，以零星的(sporadic)采样拒绝40d操作也可以是可接受的，零星的采样拒绝40d可能例如源于在对于移动目标的过度曝光时间窗口20a的情况下的模糊图像。因此，如果采集的图像60不满足预定最小质量准则，则可拒绝进一步使用图像60计算眼睛特征(比如位置或注视方向)。
最后，输出质量的另外的部分是提供结果的延迟，即，在输出中报告眼睛特征(比如眼睛位置或注视方向)的改变之前，要花费多长时间。
准确度和精度可以被进一步分解为例如对于用户正观看的屏幕的x(水平)和y(垂直)坐标分开的精度。最后，准确度和精度可以对于3D环境(并且，具体地，对于设备屏幕)的不同区域是不同的。例如，注视结果可被估计为对于屏幕的中心区域较好，而对于其外围部分较差。若干因素促成该效果，例如，对于图像60中的一些眼睛位置，闪光可能与瞳孔边缘的一部分重叠，导致用于重建眼球位置和朝向的有用信息的损失。
根据本发明另一实施例，还可以依赖于跟踪质量控制集成了眼睛跟踪设备10的设备，比如移动电话、平板式设备、计算机、头戴式显示器，具体地，可以控制在眼睛跟踪的同时当前在设备上运行的应用。
为了允许依赖于跟踪质量对应用的控制，可将注视数据与注视质量或估计的跟踪质量一起输出。由此，眼睛跟踪软件从所采集的图像60重建眼睛和/或注视方向以及重建的眼睛和/或注视方向的假设的质量分数。质量分数可以是所计算的屏幕上的关注点的预期的准确度或精度。应用可以例如通过适配该分数的内容而利用该分数。眼睛跟踪设备10还可以返回或输出对于3D环境的不同区域(具体地，对于屏幕的不同区域)的预期的注视质量。
基于准确度分数，例如可以调节屏幕上的选择区(比如图形按钮)的尺寸，以便确保可以容易地经由眼睛注视而输入选择。基于每屏幕区域预期的准确度，应用选择在预期的注视质量较高的屏幕区域中示出其选择区(按钮)。
此外，可如此控制眼睛跟踪设备10以产生应用所要求的注视质量。应用可要求所重建的注视的最低质量，例如，注视方向的准确度必须为1.5°或更好。眼睛跟踪设备10可利用该信息来控制眼睛跟踪设备10的组件以实现该目标并尽可能多地节电。
例如，可以依赖于应用设置质量条件。诸如3D射击游戏和艺术家软件的一些应用要求高准确度。比如拼图游戏的其他软件、或支持基于注视的滚动的应用具有涉及眼睛跟踪设备10的较低准确度要求，因此，允许其在低功率模式下运行。本发明将允许设置准确度要求，并利用其调节图像质量62、以及因此调节最终注视质量。
另一示例是应用可能希望基于其当前状态或外部事件调节所需要的质量。可以基于用户的活动64d(诸如观看屏幕上的特定区域、阅读文本、观看图像或视频、使用注视来绘画等)，适当调节质量。
此外，能量可用性可用于决定对于质量或功耗设置哪些条件44。例如，当设备被插电时，功耗变为较不重要的问题，并且眼睛跟踪设备10的焦点可转移到维持最佳输出质量上。然而，当由电池供电时，眼睛跟踪设备10通过在眼睛跟踪质量与功耗之间选择折中，具体地，通过设置功耗必须落入其下的功耗约束(比如最大功耗值)，可以有助提高电池寿命，至少直到下一次充电之前。
如果应实现期望的跟踪质量或应输出当前的跟踪质量，则必须估计跟踪质量，这可以基于上面列出的有影响的因素而进行。如已经描述的，重建的眼睛和注视的质量与所获取的眼睛图像60的质量62密切相关。技术必须将例如对比度62a、亮度62e等的图像质量62映射到预期的眼睛跟踪质量。一旦定义了该映射，眼睛跟踪设备10就可以在进行眼睛跟踪的同时计算眼睛跟踪质量。
一旦校准了设备，就可以例如记录并存储将图像质量62映射至眼睛跟踪质量的关联关系。可要求一群人凝视屏幕上的多个点，所述多个点的位置对于眼睛跟踪设备10是已知的。经过若干秒，眼睛跟踪设备10调节不同相机和LED性质，比如增益值20b、光强30a、快门速度20a等。眼睛跟踪设备10分析所采集的图像60的质量62，重建眼睛、注视方向，计算屏幕上的关注点，并测量重建的准确度或精度的误差。这些值被保存到数据结构中，该数据结构因而定义图像质量62与眼睛跟踪质量之间的关联关系。
此外，如果应用正给出期望的眼睛跟踪质量，则可使用类似方法。从上面所生成的将图像质量62与眼睛跟踪质量关联的映射可用于将期望的眼睛跟踪质量转换为期望的图像质量62。在进行眼睛跟踪的同时，眼睛跟踪设备10调节调节参数PA以实现给定图像质量62。
该图像至注视质量的映射可通过将质量度量分解到屏幕的不同区域中而进一步扩展。
通常，输入质量需要与功耗减少需要处于相对立的位置。如上所述，当在可能的最短时段内收集尽可能多的光能(以增加信号/噪声比62d)时得到最佳图像质量，以防止运动模糊。对于理想图像质量条件，照射源应在可能的最短时间间隔内提供光能以创建图像60。此外，当将眼睛注视更新频率设置为在保持最大采样质量的同时眼睛跟踪设备10可实现的最大值时，获得最佳输出质量。当放松这些所述约束时，眼睛跟踪设备10可获得节电，尤其如下面所说明的。
如上所述，不同场合对跟踪质量有不同影响。因此，指定这些场合使得可以实现跟踪质量的提高，或另一方面，对于相同跟踪质量，实现功耗的降低。具体地，现在作为示例详细说明适配可能性，即，对于环境光的适配、对于环境动态性的适配、对于应用需要的适配、对于用户特性的适配、以及对于低功率凝视跟踪的可变眼睛跟踪设备模式。
需要指出，“环境光”表示环境中存在的光的如下这样的一部分(波长光谱)，即：成像设备20(包含其(可选)过滤器)对所述一部分敏感，尤其对于每个波长的敏感度百分比所考虑的。
环境光可以有助于创建输入图像60，具体地，用于收集需要的光以在眼睛特征之间具有好的对比度62a。照射源必须以任何方式提供足够的光以创建对于3D位置重建所必需的眼睛中的闪光。粗略地，环境光条件64a和眼睛跟踪设备10策略可如下概要：
-强环境光：眼睛跟踪设备10必须目标在于避免图像饱和62c，因此减小成像设备20的曝光时间窗口20a。可以从环境收集创建所需要的眼睛特征对比度62a所需的所有光，并且照射源必须仅发射创建用户的可见眼中的闪光所需要的光功率。照射脉冲必须集中在曝光时间窗口20a中。
-中等环境光：眼睛跟踪设备10可将曝光时间20a尽可能地延长，以收集尽可能多的环境光(或按需要收集环境光)。“尽可能多”意在以与模糊约束兼容的方式，如上所述：在静态环境中、和/或当考虑鉴于较高拒绝采样40d而降低输出质量是可接受的时、和/或当扫视眼睛运动64d可被拒绝时，可以将曝光时间窗口20a延长到不同程度。在曝光时间窗口20a期间，照射源必须发射创建用户的可见眼中的闪光所需的光功率，并且如果需要，则提供所需要的剩余光份额以获得所需要的眼睛特征对比度62a。该光能必须在相机的曝光时间窗口20a期间发射，并且可以优化作为功率曲线形状的波形30a、30b、30c，以工作在最大能量转换效率η。
-不存在或可忽略的环境光：照射源必须提供所有所需要的光以创建眼睛特征之间的所需要的对比度62a，并优选地创建眼睛上的闪光。如果如上一点所述可以延长曝光时间窗口20a，则照射源适配其波形30a、30b、30c以工作在最大能量转换效率。
此外，眼睛跟踪设备10可用至少两个不同的成像设备20(相机)操作，所述至少两个具有不同滤波器/传感器敏感度设置。具体地，可设置至少一个相机对较宽光波长范围敏感，并且收集较多环境光以获得眼睛特征之间的所需要的对比度62a，并且可设置至少一个相机对(大致)以照射源操作的光波段为中心的较窄光波长范围敏感，并收集获得闪光信息所需要的光。所述至少两个不同的相机可被放置得彼此接近以允许较容易的信息匹配，或被放置得进一步分开，然后使用地理变换功能以在两个图像域之中映射特征。
关于对于环境动态性的适配，如之前的段落中预期的，眼睛跟踪设备10可通过延长曝光时间窗口20a并优化照射脉冲形状30a、30b、30c而降低功耗。在此上下文中，眼睛跟踪设备10检测或接收关于环境动态性64的信息(尤其是由用户或其眼睛的运动64d、和/或眼睛跟踪设备10自身的运动64d给出的)，并且设置调节参数PA以减小输入至照射源的功率。
关于对于应用需要的适配，如上所述，关于眼睛跟踪装置输出质量的要求可以依赖于当前使用中的应用而变化。这些质量要求可以涉及准确度、精度、延迟、更新频率等中的一个或多个。眼睛跟踪设备10可接收显式眼睛注视质量请求50，并降低其功耗以刚好达到所要求的质量。对于眼睛跟踪设备10的输入50还可以是鉴于应用范围，比如“具有自动滚动的阅读”，并且眼睛跟踪设备10降低其功耗以刚好达到在动作中正确执行操作所需的质量。对于该特定示例，屏幕y坐标(垂直)的准确度被认为比x坐标(水平)的准确度更重要，零星的被拒绝的采样不重要，并且可以降低更新频率(眼睛跟踪设备10的频率)。
关于对于用户特性的适配，不同用户特性允许用不同光功率发射获得相同图像输入质量62。例如，与可见域相比，棕眼人在红外域中在瞳孔与虹膜之间呈现较高对比度62a。通过检测用户眼睛64b的反射率特性，眼睛跟踪设备10适配发射的能量光的量以获得期望的最小眼睛特征对比度62a。
以相同方式，比如眼镜64e的干涉表面可减少由可见用户眼睛反射的光的量。当眼睛跟踪设备10检测到用户没有佩戴眼镜64e时，眼睛跟踪设备10减少发射的能量光的量以获得期望的最小眼睛特征对比度62a。
用至少两个不同相机重复(reprise)所述眼睛跟踪设备10，眼睛跟踪设备10可决定使用允许对于在场景中存在的用户的最佳眼睛特征提取的相机、或来自两个相机的图像60中包含的信息的组合。
关于对于低功率凝视跟踪的可变眼睛跟踪设备10模式，存在若干眼睛运动行为64d，其中最重要的是凝视和扫视。在凝视期间，用户的关注集中到一点上，并且眼睛产生减少的或可忽略的运动。在扫视期间，眼睛注视快速从一点移动到另一点。对于大多数应用，仅凝视点是重要的，这使得从旧凝视到新凝视的转变成为检测新凝视的开始的关键时段。眼睛跟踪设备10可连续改变其操作模式，在检测到凝视之后和在其持续时间期间，减小频率30b和发射的光并因此节电，并且，当检测到转变时再次增大功率，以便然后能够以减小的延迟检测下一次凝视。粗略地，大多数时间，眼睛处于“凝视模式”(当眼睛执行扫视时，不发生视觉摄入，使得自身在短时段有效地盲视(blind))，因此，眼睛跟踪设备10通过采用该技术能够对于大多数操作时段以较低频率30b操作。为了完整，其不在每个场合下应用，例如，当用户正在阅读时，凝视持续时间可以甚至比眼睛跟踪设备10的更新时段短，使得眼睛跟踪设备10可以检测眼睛处于连续运动。然而，如上所述，阅读是可以在能耗方面以不同方式处理的用户行为。
总之，通过根据本发明的所述方法或操作眼睛跟踪设备及其实施例，有利地，可以以期望质量、但降低的功耗提供眼睛跟踪，并且眼睛跟踪可以灵活地适配于许多不同场合。

Claims (18)

1.用于操作具有预定采集区域的眼睛跟踪设备(10)的方法，其中眼睛跟踪设备(10)包括以下作为组件：
-至少一个成像设备(20)，能够采集眼睛跟踪设备(10)的采集区域中的用户的至少一只眼睛的图像(60)；
-具有至少一个光源的至少一个照射单元(30)，能够照射采集区域中的用户的所述至少一只眼睛；以及
-处理单元(40)，能够处理由成像设备(20)采集的图像(60)；
其中眼睛跟踪设备(10)包括至少两个调节参数(PA)，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个，其中眼睛跟踪设备(10)还包括至少一个控制单元(42)，其能够通过设置所述至少两个调节参数(PA)控制组件(20；30；40)中的所述至少一个；
所述方法包括以下步骤：
a)采集用户的所述至少一只眼睛的至少一个图像(60)；
并且所述方法包括以下特征步骤：
b)关于与眼睛跟踪有关的质量或组件(20；30；40)中的所述至少一个的功耗的集合的元素，设置至少一个第一条件(44)，其中，与眼睛跟踪有关的质量基于由眼睛跟踪设备(10)执行的应用，组件(20；30；40)中的所述至少一个的功耗基于眼睛跟踪设备(10)的能量可用性，其中如果关于与眼睛跟踪有关的质量设置第一条件(44)，则第一条件(44)包含质量必须超过的预定最小质量值，并且其中如果关于功耗设置第一条件(44)，则第一条件(44)包含功耗必须落入其下的预定最大功耗值，其中与眼睛跟踪有关的质量是质量必须升至其上的图像质量(62)或者估计的眼睛跟踪质量；以及
c)控制单元(42)根据将所述至少两个调节参数(PA)与质量和功耗关联的第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得第一条件(44)的设置所关于的元素满足第一条件(44)，其中所述第一预定义关联关系(42a)描述依赖于所述至少两个调节参数(PA)的在质量与功耗之间的相互作用，并规定针对所设置的第一条件(44)对所述至少两个调节参数(PA)的控制。
2.根据权利要求1的方法，其特征在于，
所述预定义关联关系(42a)通过将所述至少两个调节参数(PA)的可设置值的多个组合分配至质量的质量值和功耗的功耗值而给出，和/或提供用于控制所述至少两个调节参数(PA)的调控策略。
3.根据权利要求1或2所述的方法，其特征在于，
如果在步骤b)中关于与眼睛跟踪有关的质量设置第一条件(44)，则第一条件(44)包含预定最小质量值和预定最大质量值，使得质量必须在最小质量值和最大质量值之间。
4.根据权利要求1或2所述的方法，其特征在于，
如果在步骤b)中关于功耗设置第一条件(44)，则第一条件(44)包含预定最大功耗值和预定最小功耗值，使得功耗位于最大功耗值与最小功耗值之间。
5.根据权利要求1或2所述的方法，其特征在于，
如果每个调节参数(PA)的值的多个组合导致第一条件(44)的设置所关于的元素满足第一条件(44)，则控制单元(42)根据第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得设置所述多个组合的第一组合，以使得与所述多个组合的其他组合相比，所述集合中没有被设置第一条件(44)的元素的值被极限化。
6.根据权利要求1或2所述的方法，其特征在于，
所述至少两个调节参数(PA)是指：照射单元(30)的光强(30a)，尤其是照射单元(30)的至少一个光源照射眼睛所用的光强(30a)；和/或照射持续时间(30c)；和/或照射频率(30b)；和/或照射单元(30)的活动光源的数目(30d)；和/或用于从用于确定所述至少一只眼睛的至少一个性质的至少两个不同眼睛跟踪算法中选择眼睛跟踪算法(40a)的调节参数；和/或用于从用于采集图像的成像设备(20)的至少两个不同相机中选择至少一个相机(20c)的调节参数；和/或成像设备(20)的电增益(20b)；和/或更新频率；和/或成像设备(20)的光圈的光圈尺寸(20d)；和/或成像设备(20)的快门(20a)的调节；和/或成像设备(20)的采样率；和/或处理单元(40)的时钟频率(40b)；和/或处理单元(40)中处于活动状态的计算单元的数目(40c)。
7.根据权利要求1或2所述的方法，其特征在于，
确定表征环境光强(64a)、用户行为(64d)、眼睛颜色(64b)、肤色(64c)和传送至眼睛跟踪设备(10)的外部应用的要求中的至少一个的至少一个场合参数(PS)，其中至少通过所述至少一个场合参数(PS)预定义第一预定义关联关系(42a)。
8.根据权利要求1或2所述的方法，其特征在于，
通过由处理单元(40)分析由采集单元采集的所述至少一个图像(60)，从所述至少一个图像(60)得到与眼睛跟踪有关的质量。
9.根据权利要求1或2所述的方法，其特征在于，
图像质量(62)由从所述至少一个图像(60)中提取的至少一个质量特征确定，所述质量特征尤其是：所述至少一个图像中的对比度(62a)，尤其是用户的眼睛的所检测的眼睛部分之间的对比度；和/或图像(60)的信噪比(62d)；和/或所述至少一个图像(60)中所检测的反射的尺寸(62b)；和/或所述至少一个图像(60)中所检测的反射的饱和度(62c)；和/或所述至少一个图像(60)中所检测的反射的亮度(62e)。
10.根据权利要求1或2所述的方法，其特征在于，
所估计的眼睛跟踪质量通过以下步骤确定：
d)处理图像(60)，从而从所述图像(60)中提取至少一个质量特征(62a；62b；62c；62d；62e)；
e)提供将所述至少一个质量特征(62a；62b；62c；62d；62e)与图像质量(62)关联、并将图像质量(62)与估计的跟踪质量关联的第二预定义关联关系；以及
f)通过根据所述第二预定义关联关系将所述至少一个提取的特征分配至图像质量(62)和所估计的跟踪质量来确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量。
11.根据权利要求1或2所述的方法，其特征在于，
作为位于用户的视野中的体或面的3D坐标的函数，具体是3D世界坐标的函数，或者，作为位于用户的视野中的面的2D坐标的函数，具体是连接至眼睛跟踪设备(10)的显示设备的2D坐标的函数，计算所估计的眼睛跟踪质量。
12.根据权利要求1或2所述的方法，其特征在于，
以查找表和/或特性曲线族的形式，给出所述第一预定义关联关系(42a)，或者，通过将所述至少两个调节参数(PA)与功耗和质量关联的数学公式和/或函数，给出所述第一预定义关联关系(42a)。
13.根据权利要求1或2所述的方法，其特征在于，
所述控制单元(42)在开环控制中根据所述第一预定义关联关系(42a)控制所述至少两个调节参数(PA)。
14.根据权利要求1或2所述的方法，其特征在于，
所述控制单元(42)在闭环控制中根据所述第一预定义关联关系(42a)控制所述至少两个调节参数(PA)。
15.根据权利要求1或2所述的方法，其特征在于，
根据用户输入、或通过给定外部应用、或通过给定供电模式，来设置所述至少一个第一条件(44)。
16.具有预定采集区域的眼睛跟踪设备(10)，所述眼睛跟踪设备包括以下作为组件：
-至少一个成像设备(20)，能够采集采集区域中的用户的至少一只眼睛的图像(60)；
-具有至少一个光源的至少一个照射单元(30)，能够照射采集区域中的用户的所述至少一只眼睛；以及
-处理单元(40)，能够处理由成像设备(20)采集的图像(60)；
其中眼睛跟踪设备(10)包括至少两个调节参数(PA)，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个，其中眼睛跟踪设备(10)还包括至少一个控制单元(42)，其能够通过设置所述至少两个调节参数(PA)控制组件(20；30；40)中的所述至少一个；
其特征在于，
a)所述控制单元(42)能够关于与眼睛跟踪有关的质量或组件中的所述至少一个的功耗，设置至少一个第一条件(44)，其中，与眼睛跟踪有关的质量基于由眼睛跟踪设备(10)执行的应用，组件(20；30；40)中的所述至少一个的功耗基于眼睛跟踪设备(10)的能量可用性，其中关于与眼睛跟踪有关的质量的第一条件(44)包含质量必须超过的预定最小质量值，并且其中关于功耗的第一条件(44)包含功耗必须落入其下的预定最大功耗值，其中与眼睛跟踪有关的质量是质量必须升至其上的图像质量(62)或者估计的眼睛跟踪质量；
b)眼睛跟踪设备(10)包括将所述至少两个调节参数(PA)与质量和功耗关联的第一预定义关联关系(42a)；以及
c)控制单元(42)能够根据所述第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得所述至少一个第一条件(44)的设置所关于的元素满足所述至少一个第一条件(44)，其中所述第一预定义关联关系(42a)描述依赖于所述至少两个调节参数(PA)的在质量与功耗之间的相互作用，并规定针对所设置的第一条件(44)对所述至少两个调节参数(PA)的控制。
17.用于操作眼睛跟踪设备(10)的方法，所述眼睛跟踪设备(10)用于采集眼睛跟踪设备(10)的采集区域中的用户的至少一只眼睛的至少一个性质，其中眼睛跟踪设备(10)包括以下作为组件：
-至少一个成像设备(20)，能够采集用户的至少一只眼睛的图像(60)；
-具有至少一个光源的至少一个照射单元(30)，能够照射用户的所述至少一只眼睛；以及
-处理单元(40)，能够处理由成像设备(20)采集的图像(60)；
所述方法包括以下步骤：
a)采集用户的眼睛的图像(60)；
并且，其特征在于以下步骤：
b)处理所述图像，从而从所述图像中提取至少一个质量特征(62a；62b；62c；62d；62e)并确定眼睛的性质；
c)提供将所述至少一个质量特征(62a；62b；62c；62d；62e)与图像质量(62)关联并将图像质量(62)与估计的跟踪质量关联的预定义关联关系；
d)通过根据所述预定义关联关系将所述至少一个提取的质量特征(62a；62b；62c；62d；62e)分配至图像质量(62)和所估计的跟踪质量，确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量；以及
e)依赖于所确定的估计的跟踪质量设置至少两个调节参数(PA)，和/或将所确定的估计的跟踪质量提供至在连接至眼睛跟踪设备(10)的设备上运行的应用，其中，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个，所述应用依赖于所估计的眼睛跟踪质量适配其与用户交互的方式。
18.用于采集眼睛跟踪设备(10)的采集区域中的用户的至少一只眼睛的至少一个性质的眼睛跟踪设备(10)，其中所述眼睛跟踪设备(10)包括以下作为组件：
-至少一个成像设备(20)，能够采集用户的至少一只眼睛的图像(60)；
-具有至少一个光源的至少一个照射单元(30)，能够照射用户的所述至少一只眼睛；以及
-处理单元(40)，能够处理由成像设备(20)采集的图像(60)；
其特征在于，
a)所述处理单元(40)能够处理由所述成像设备(20)采集的图像(60)，从而从所述图像(60)中提取至少一个质量特征(62a；62b；62c；62d；62e)并确定眼睛的性质；
b)所述眼睛跟踪设备(10)包括将所述至少一个质量特征(62a；62b；62c；62d；62e)与图像质量(62)关联、并将图像质量(26)与估计的跟踪质量关联的预定义关联关系；
c)所述处理单元(40)能够通过根据所述预定义关联关系将所述至少一个提取的质量特征(62a；62b；62c；62d；62e)分配至图像质量(62)和所估计的跟踪质量，确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量；以及
d)所述眼睛跟踪设备(10)被配置为依赖于所确定的估计的跟踪质量设置至少两个调节参数(PA)，和/或将估计的跟踪质量提供至在连接至眼睛跟踪设备(10)的设备上运行的应用，用于适配所述应用与用户交互的方式，其中，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个。
CN201480066839.3A 2013-12-09 2014-12-09 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备 Active CN105814584B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13196282.1 2013-12-09
EP13196282 2013-12-09
PCT/EP2014/077078 WO2015086615A1 (en) 2013-12-09 2014-12-09 Method for operating an eye tracking device and eye tracking device for providing an active power management

Publications (2)

Publication Number Publication Date
CN105814584A CN105814584A (zh) 2016-07-27
CN105814584B true CN105814584B (zh) 2019-03-08

Family

ID=49725064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480066839.3A Active CN105814584B (zh) 2013-12-09 2014-12-09 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备

Country Status (5)

Country Link
US (1) US10528127B2 (zh)
EP (1) EP3080751B1 (zh)
JP (2) JP6074122B1 (zh)
CN (1) CN105814584B (zh)
WO (1) WO2015086615A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
JP2017204685A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10552961B2 (en) 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
CN107358175B (zh) * 2017-06-26 2020-11-24 Oppo广东移动通信有限公司 虹膜采集方法及电子装置
CN107454339B (zh) * 2017-07-17 2019-08-09 Oppo广东移动通信有限公司 图像处理方法及相关产品
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
CN111263925B (zh) * 2017-09-28 2022-06-14 苹果公司 用于使用事件相机数据的眼动跟踪的方法和设备
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
FI20175960A1 (en) 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US10852817B1 (en) * 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
NL2022329B1 (en) * 2018-12-31 2020-07-23 Zhangjiagang Kangde Xin Optronics Mat Co Ltd System for illuminating a viewer of a display device
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
TWI781404B (zh) * 2019-05-28 2022-10-21 見臻科技股份有限公司 可依據使用情境切換運作模式的眼動追蹤模組
US11003936B2 (en) * 2019-06-14 2021-05-11 Tobii Ab Method and system for controlling an eye tracking system
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
US11881143B2 (en) * 2021-10-12 2024-01-23 Meta Platforms Technologies, Llc Display peak power management for artificial reality systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351276A (zh) * 2000-10-30 2002-05-29 松下电器产业株式会社 电子设备及其记录介质
CN1592597A (zh) * 2002-05-30 2005-03-09 松下电器产业株式会社 眼睛图像采集装置
CN1892676A (zh) * 2005-06-03 2007-01-10 沈洪泉 面部/虹膜组合光学成像的装置及方法
JP2008205650A (ja) * 2007-02-16 2008-09-04 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
CN101808205A (zh) * 2009-02-18 2010-08-18 索尼爱立信移动通信股份公司 运动图像输出方法和运动图像输出设备
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496187B1 (en) 1998-02-17 2002-12-17 Sun Microsystems, Inc. Graphics system configured to perform parallel sample to pixel calculation
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US7972266B2 (en) * 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
TWI444816B (zh) * 2011-07-25 2014-07-11 Pegatron Corp 可拆卸更換接口模組
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
JP5529103B2 (ja) * 2011-11-18 2014-06-25 レノボ・シンガポール・プライベート・リミテッド 顔方向の検出方法および情報処理機器
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9557553B2 (en) * 2013-10-10 2017-01-31 Raytheon Canada Limited Electronic eyebox
US9736373B2 (en) * 2013-10-25 2017-08-15 Intel Corporation Dynamic optimization of light source power

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351276A (zh) * 2000-10-30 2002-05-29 松下电器产业株式会社 电子设备及其记录介质
CN1592597A (zh) * 2002-05-30 2005-03-09 松下电器产业株式会社 眼睛图像采集装置
CN1892676A (zh) * 2005-06-03 2007-01-10 沈洪泉 面部/虹膜组合光学成像的装置及方法
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
JP2008205650A (ja) * 2007-02-16 2008-09-04 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101808205A (zh) * 2009-02-18 2010-08-18 索尼爱立信移动通信股份公司 运动图像输出方法和运动图像输出设备
EP2587341A1 (en) * 2011-10-27 2013-05-01 Tobii Technology AB Power management in an eye-tracking system

Also Published As

Publication number Publication date
JP6074122B1 (ja) 2017-02-01
EP3080751B1 (en) 2019-08-14
JP6208901B2 (ja) 2017-10-04
JP2017097901A (ja) 2017-06-01
EP3080751A1 (en) 2016-10-19
CN105814584A (zh) 2016-07-27
US10528127B2 (en) 2020-01-07
JP2017505156A (ja) 2017-02-16
US20160274659A1 (en) 2016-09-22
WO2015086615A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN105814584B (zh) 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
US10916024B2 (en) Active illumination management through contextual information
CN103024338B (zh) 具有图像捕获和分析模块的显示设备
CN109076662A (zh) 用于镜子部件的自适应照明系统和控制自适应照明系统的方法
CN110140162B (zh) 显示系统、电子设备以及照明系统
WO2018177311A1 (zh) 视线追踪装置及头戴式显示设备
CN104573667A (zh) 一种提高移动终端的虹膜图像质量的虹膜识别装置
WO2018100875A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN104398231B (zh) 立体内窥镜光源亮度调节系统及方法
TW201737237A (zh) 電子裝置、螢幕調節系統及方法
US20230092420A1 (en) Method and apparatus for gaze detection
US20210110523A1 (en) Specular reflection reduction using polarized light sources
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
US11687635B2 (en) Automatic exposure and gain control for face authentication
KR101507410B1 (ko) 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
CN112101065A (zh) 一种基于激光器的眼球追踪方法以及终端设备
KR20180000580A (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
CN104661595B (zh) 无创生物测量装置
CN110169202A (zh) 照明控制
CN107492364A (zh) 一种通过周围噪声调节屏幕色温色调的方法及系统
CN107919104A (zh) 智能终端的屏幕亮度调节的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: German Pavilion

Applicant after: Sensomotoric Instruments GmbH

Address before: German Pavilion

Applicant before: SENSOMOTORIC INSTR GES FUR INNOVATIVE SENSORIK MBH

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190606

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: German Pavilion

Patentee before: Sensomotoric Instruments GmbH