CN112667069A - 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备 - Google Patents

Abstract

本发明涉及用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备，其中该至少一个用户的用户识别数据由眼睛追踪设备(10)的捕获设备(14)捕获。在具有至少一个特定用户的相关联的识别数据(I1,I2,I3)的至少一个配置文件(P1,P2,P3)被存储在存储介质(20)中的第一条件下，将至少一个配置文件(P1,P2,P3)的所存储的识别数据(I1,I2,I3)与所捕获的用户识别数据进行比较，并且在所捕获的用户识别数据根据预定义的标准匹配所存储的识别数据(I1,I2,I3)的第二条件下，将至少一个用户识别为至少一个特定用户，为该至少一个特定用户存储至少一个配置文件(P1,P2,P3)。

Description

用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛 追踪设备

本申请是国际申请号为PCT/EP2016/055189、申请日为2016年03月10日、进入国家阶段日期为2017年11月10日、申请号为201680027284.0、发明名称为“用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备”的发明专利申请的分案申请。

描述：

本发明涉及一种用于借助于眼睛追踪设备来自动识别眼睛追踪设备的至少一个用户的方法和对应的眼睛追踪设备。

从现有技术中已知用于用户识别的方法，如用于Xbox的Microsoft的Kinect。在此提及的用户识别被认为是用于Xbox的Microsoft的Kinect的密钥部件，以识别和追踪玩家的身份。在游戏会话中可随时间推移来获知玩家的外观。该识别可与Xbox系统中的配置文件中的符号相关联。

对此类设备的用户识别通常用于确定这些用户是否被授权使用该设备，或者是否被授权加载特定于用户的设置，如最近玩过的游戏或喜爱的游戏等等。

从现有技术中也已知眼睛追踪设备和眼睛追踪系统。眼睛追踪设备被配置为追踪人，尤其是他们的眼睛，他们的注视点、或注视方向。此外，在这种连接中，可为特定用户存储配置文件，然而用于如上所述的不同的目的。用户校准对于所有主流眼睛追踪系统至关重要，在注视角度上能够达到0.5度至1度的准确度。校准过程通常需要用户观看屏幕上的若干个预选点，并且然后可对一组特定于用户的参数进行校准和存储，以便在配置文件中进行进一步的眼睛追踪。由于人眼睛的某些属性因人而异，因此通常一个人的校准结果不会对另一个人产生准确的眼睛追踪。因此，当前的眼睛追踪系统通常为每位用户生成一个配置文件，以存储校准结果和一些其他特定设置。这允许用户从前一会话中加载其校准数据，而不是进行新的校准。

已知的眼睛追踪设备存在许多缺点，这是因为在用户实际上可使用其眼睛追踪系统的眼睛追踪功能之前必须执行若干个任务。实际上，用户在进行校准之前必须注册新的配置文件。此外，必须执行校准程序，这通常需要约15秒至30秒，这因系统的不同而有所不同并且还取决于用户的经验和能力。当同一用户以后使用该系统时，其必须手动选择配置文件，使得系统能够加载所存储的校准数据。如果用户选择了错误的配置文件，错误的校准数据会严重降低追踪准确度，并且注视角度的误差可能大于5度。由于用户必须告诉系统要使用哪个配置文件，因此例如当用户频繁更改或用户无法容易地使用鼠标/键盘时，可能会造成实际的负担并且会大大降低用户体验。

此外，由主流的眼睛追踪系统所使用的经典用户校准程序对某些应用程序联系人会造成很大的阻碍并且是不友好的。此类经典校准被认为是阻碍眼睛追踪技术被整合到更多应用程序中的主要障碍中的一个障碍。

因此，本发明的一个目的是促进眼睛追踪设备的使用，并减少用户为了使用眼睛追踪设备而进行的工作。

该目的通过一种用于借助于具有根据权利要求1所述的特征的眼睛追踪设备来自动识别眼睛追踪设备的至少一个用户的方法，以及具有根据权利要求15所述的特征的用于自动识别至少一个用户的眼睛追踪设备而得到解决。本发明的有利实施方案在从属权利要求中被呈现。

根据本发明，借助于眼睛追踪设备来自动识别眼睛追踪设备的至少一个用户的方法包括以下步骤：

a)通过眼睛追踪设备的捕获设备来捕获至少一个用户的用户识别数据；

b)在具有至少一个特定用户的相关联的识别数据的至少一个配置文件被存储在存储介质中的第一条件下，将至少一个配置文件的所存储的识别数据与所捕获的用户识别数据进行比较；以及

c)在所捕获的用户识别数据根据预定义的标准匹配所存储的识别数据的第二条件下，将该至少一个用户识别为至少一个特定用户，为该至少一个特定用户存储至少一个配置文件。

因此，有利的是，用户可由眼睛追踪设备自动识别，而无需手动选择其相应的配置文件。这减少了大量使用眼睛追踪设备的总工作量。该眼睛追踪设备的捕获设备可例如包括成像设备，如相机或图像传感器，借助于该成像设备可容易地捕获用户识别数据如某些用户特征，使得眼睛追踪设备甚至不需要附加部件来执行该自动用户识别。此外，借助于该自动用户识别，在用户已被识别之后，还可从该配置文件自动导出被存储在对应配置文件中的眼睛追踪相关数据并且用于随后的眼睛追踪。因此，如果例如已针对用户执行了校准，则在此后的任何时候，该用户仅坐在其眼睛追踪设备的前方并且能够利用它，而无需执行另外的任务，如手动选择其对应的配置文件。在多个用户使用相同的眼睛追踪设备的情况下，这是特别有利的。不同用户可频繁变换，而不必每次选择其相应的设置。此外，在通过捕获用户识别数据来进行校准之前，甚至不需要手动注册新的配置文件，所捕获的这些用户识别数据还可被自动存储在配置文件中并且供以后随时使用。这种自动用户识别尤其是与使用眼睛追踪设备有关的另一个优点是可避免用户意外地选择错误的配置文件，并且然后将错误的校准数据用于眼睛追踪。

该用户识别数据可包括例如至少一个用户的特征的图像数据和/或数值。尤其是图像数据可由眼睛追踪设备容易地捕获，并经过分析以从中导出允许对用户的识别的用户特征。

尤其是该至少一个用户的所捕获的用户识别数据和/或该特定用户的识别数据包括以下各项中的至少一者：

-面部图像和/或面部特征；

-身体图像和/或身体特征，尤其是身体的至少一个几何属性；

-眼睛属性，尤其是用户的至少一个眼睛的至少一个几何属性；

-眼睛动作模式；

-语音特征；和

-关于矫正镜片的信息。

所有这些特征可有利地用于识别用户。它们中的大多数甚至可从所捕获的图像导出，使得眼睛追踪设备能够有利地不需要任何附加部件。然而，为了进一步增强正确的用户识别的可靠性，还可使用附加部件，如用于捕获用户的语音特征的麦克风。

根据本发明的一个有利实施方案，步骤c)中的预定义的标准由用于识别数据的特征匹配方法、以及阈值组成。在该实施方案中，识别数据的所有元素将被转换为数字特征数据，包括从面部图像计算出的图像特征和描述眼睛属性的数值。为了比较两组此类数值特征，可计算相似性得分。然后选择阈值，使得较高的分数指示比较中的数据是从同一个人收集的。当存在来自不同的配置文件的多个匹配候选人时，该系统可选择最佳匹配或让用户决定。

根据本发明的另一个有利实施方案，步骤c)中的预定义的标准可基于语音识别模块。当创建配置文件时，本实施方案中的系统要求用户说出密码字词，以向系统对其进行识别。该识别数据为用户声音的录音。如果语音识别模块在所捕获的音频中检测到密码字词模式，则系统将认为当前用户匹配所存储的识别数据。

根据本发明的另一个有利实施方案，在用于捕获用户识别数据的步骤a)中，尤其是借助于捕获设备的成像设备来捕获至少一个用户的至少一个身体部位的至少一个图像，并且尤其是借助于眼睛追踪设备的处理单元基于所捕获的图像来确定用户识别数据。如已解释的，从所捕获的图像导出用户特征是特别有利的，因为不需要眼睛追踪设备的附加部件。该眼睛追踪设备可简单地借助于例如相机来捕获用户的图像，并且处理单元处理这些图像以从中导出用户识别数据。此外，眼睛追踪设备并且优选的是根据本发明的眼睛追踪设备通常还具有捕获用户的整个面部、面部的大部分的图像的能力。因此，尤其是面部识别技术可以非常容易地应用于从图像中导出用户识别数据。

根据本发明的另一个有利实施方案，至少一个配置文件包括配置文件数据，该配置文件数据包括特定用户的相关联的识别数据和该特定用户的特定于用户的控制数据。如上所述，使用所存储的识别数据能够重新识别用户，为该用户存储这些数据。然而，该实施方案很大的优点在于还可将不用于识别用户的附加数据存储在配置文件中，如校准数据，然后可从该配置文件中将其自动导出并在用户已被识别之后由眼睛追踪设备使用。

根据本发明的用于存储特定用户的至少一个配置文件的另一个有利实施方案，执行校准程序，在此期间确定特定用户的至少一个校准参数并在特定用户的用户配置文件中将其存储为控制数据或控制数据的一部分。特别地，该校准参数可包含用于特定用户的注视校正信息，如特定用户的至少一个眼睛的视轴和光轴之间的偏移。在此类校准程序期间，不仅可确定和存储校准参数，而且在此类校准程序中同时还可以确定用户识别数据并将其存储在对应的配置文件中。因此，用户甚至不必自己注册其配置文件，因为眼睛追踪设备在校准程序中可自动完成所有操作。因此，如果新用户使用眼睛追踪设备并执行校准程序，则眼睛追踪设备为该用户自动存储配置文件，从例如在校准程序中捕获的图像导出识别数据，从该校准程序中导出眼睛追踪所需的校准数据或校准参数，并将所有内容存储在对应的配置文件中。然后，该用户随后可随时使用眼睛追踪设备，而不必执行任何任务，因为眼睛追踪设备可基于所存储的识别数据来自动地再次识别该用户，并且从其配置文件自动导出校准参数，从而用户可立即使用眼睛追踪设备的眼睛追踪功能。

根据本发明的另一个有利实施方案，如果在步骤c)中将至少一个用户识别为特定用户，则配置文件数据尤其是至少一个校准参数被用于该至少一个用户的眼睛追踪。该校准参数可例如用于计算用户例如在眼睛追踪设备的屏幕上的注视方向或注视点。由于自动用户识别，因此可避免用户意外地选择错误的配置文件，使得尤其是当从相应的自动确定的配置文件导出校准参数时，可避免因使用错误的校准数据而对眼睛追踪准确度造成不利影响。

根据本发明的另一个有利实施方案，该校准程序被执行为隐式校准程序，尤其是其中基于在眼睛追踪设备的显示设备上显示的图像的图像内容来估计至少一个特定用户的实际注视点。这是一个特别有利的实施方案，因为在这种情况下，用户甚至注意不到此刻在执行校准程序。在经典的校准程序中，通常在屏幕的不同位置处逐个显示点，并且要求用户注视这些点。在用户注视这些点中的每一点期间，该眼睛追踪设备计算用户的注视点，并将计算出的注视点与屏幕上的所示点的位置进行比较，该屏幕上的所示点的位置被认为是实际注视点。此类的程序对用户来说可能非常无聊且非常耗时，并且需要用户全神贯注。相反，在隐式校准程序中，不显示用户必须注视的点。在此类隐式校准程序中，该眼睛追踪设备基于在那一刻在显示设备的屏幕上显示的图像内容来计算用户的注视点并估计实际的注视点，该实际的注视点即在眼睛追踪设备计算注视点时用户实际上正在观看的屏幕上的点。例如，如果用户在计算机上操作并移动鼠标光标，则可认为用户的眼睛也将跟随该鼠标光标，使得鼠标光标的位置可被估计为是用户实际的注视点。如果用户例如在观看电影，则可认为用户的眼睛将会看电影中的所显示人物的面部或眼睛，或者看电影中的正在说话的人的嘴部。这种隐式校准通常需要更多的时间，但是具有很大的优点，即在执行校准程序的时候用户实际上不知道此刻执行了校准程序。

执行有关先前描述的实施方案尤其是自动用户识别、具有识别数据和校准数据的配置文件的自动存储的隐式校准的这些特征具有很大的优点，即眼睛追踪设备的用户现在不必为了使用眼睛追踪功能而执行任何任务。其不必注册配置文件、不必选择其配置文件、不必主动执行校准、在中间有另一位用户使用过眼睛追踪设备时不必再次选择其配置文件，等等。

此外，除了识别数据之外，被存储在配置文件中的控制数据如校准参数可包括可用于眼睛追踪或用于使用眼睛追踪设备的进一步非常有利的数据。因此，当控制数据涉及以下各项中的至少一者时，其为本发明的特别有利的实施方案。

-特定用户的至少一个校准参数；

-关于特定用户的矫正镜片的信息，尤其是特定用户是否佩戴了矫正镜片和/或矫正镜片的屈光力多少；

-特定用户的权利和/或权限，尤其是限定能力和/或功能的范围的权利和/或权限，被识别为特定用户的用户被允许在包括眼睛追踪设备的系统上执行；

-特定用户的优先级，尤其是相对于另一个特定用户的优先级，其中特定用户相对于另一个特定用户的优先级限定哪个特定用户与系统的交互具有优先级，尤其是在交互相互矛盾的情况下。

对于有关矫正镜片的信息，如上所述，该信息还可被用作识别数据，该信息还可例如由眼睛追踪设备的处理单元用作控制数据。例如，矫正镜片的屈光力可影响计算出的注视方向，因此知道该屈光度可用于相应地校正计算出的注视方向，以提高眼睛追踪准确度。获取被保存在配置文件中的特定用户的权利、权限或优先级对于多个用户使用相同的眼睛追踪设备的情况是特别有利的。因此，在这些数据的基础上，该眼睛追踪设备可决定哪个用户被允许进行哪些任务以及哪些用户的优先级高于其他用户。

根据本发明的另一个有利实施方案，在步骤c)中将至少一个用户识别为特定用户的第三条件下，根据控制数据或特定用户的配置文件来控制眼睛追踪设备的处理单元，该至少一个用户被识别为。可如上所述进行该控制。如果用户被识别，则处理单元则可读取对应用户配置文件的控制数据并且根据这些数据来控制眼睛追踪设备或与眼睛追踪设备耦接的任何其他系统，例如计算注视方向或考虑到所存储的校准参数的注视点、关于矫正镜片的信息、根据所识别的用户的权利或优先级数据而允许或禁止其某些任务，等等。特别地，该处理单元根据特定用户的权利和/或权限和/或优先级来控制眼睛追踪设备或包括眼睛追踪设备的系统的至少一个系统参数，该至少一个用户被识别为该特定用户。

根据本发明的另一个有利实施方案，如果没有存储配置文件，或如果所捕获的用户识别数据不匹配至少一个配置文件的所存储的识别数据，则为至少一个用户存储新的配置文件，尤其是具有所捕获的识别数据的新的配置文件。因此，如果没有所存储的配置文件或所捕获的用户识别数据不匹配，则眼睛追踪设备将用户识别为新用户，并且可为该用户自动存储具有对应的所捕获的用户识别数据的新的配置文件。此外，在这些情况下，眼睛追踪设备还可为至少一个用户自动发起校准程序，优选的是隐式校准程序。因此，有利的是可自动创建新的用户配置文件，而无需用户的任何主动动作。

根据本发明的另一个有利实施方案，如果至少一个配置文件为被存储在存储介质中的唯一配置文件，则处理单元确定检查第二条件是否被满足、该配置文件的识别数据是否在预先确定的阈值内匹配该至少一个用户的所捕获的用户识别数据，并且如果存储具有相关联的识别数据的多个配置文件，则用于检查第二条件是否被满足的处理单元通过从所存储的配置文件中确定该配置文件来执行特征匹配，该配置文件的识别数据与该至少一个用户的所捕获的用户识别数据的具有最小的偏差，特别是其中在执行特征匹配之后，该处理单元检查所确定的配置文件的识别数据是否在预先确定的阈值内匹配该至少一个用户的所捕获的用户识别数据。

换句话说，如果仅存储有一个配置文件并且眼睛追踪设备检测到用户，则眼睛追踪设备仅需要确定所捕获的用户识别数据是否与所存储的识别数据充分匹配，即在该预先确定的阈值内。如果存储有多个配置文件，则处理单元可首先执行例如最近邻匹配，以选择最佳适配的配置文件。在找到最佳配置文件候选者之后，可验证该配置文件的识别数据是否充分匹配用户识别数据，即再次借助于预先确定的阈值。该程序利用任意数目的用户和配置文件有利地操作。然而，当候选者(即不同的用户)的数量增加时，用户识别的准确性可能下降，其将可存储配置文件的数量限制在预定义的最大数量可能是有利的。

另选地或除此之外，还可通过本发明的以下有利实施方案来提高用户识别的准确性：例如，如果在步骤c)中将至少一个用户识别为特定用户，则在眼睛追踪设备的显示器上输出用于确认识别的请求。由此有利地提供了用户主动检查是否已选择正确的配置文件的可能性。还根据本发明的另一个有利实施方案，如果眼睛追踪设备接收到用于指示识别错误的用户输入，则眼睛追踪设备针对所捕获的用户识别数据来为至少一个用户存储新的配置文件。有利的是，该用户输入还可用于眼睛追踪设备的自动学习过程。例如，如果眼睛追踪设备接收到用于指示识别错误的用户输入，则处理单元可按预定义的方式来修改与第二条件中的至少一个预定义标准相关的至少一个参数，该第二条件为匹配条件。例如，该处理单元可修改上述预先确定的阈值或特征匹配的参数，或利用该用户交互以任何不同的方式来提高眼睛追踪设备的识别准确度。

本发明还涉及一种用于自动识别至少一个用户的眼睛追踪设备，其中该眼睛追踪设备包括被配置为存储具有特定用户的相关联的识别数据的至少一个配置文件的存储介质。此外，该眼睛追踪设备包括被配置为捕获至少一个用户的用户识别数据捕获设备，例如成像设备如一个或多个相机或图像传感器；处理单元，该处理单元被配置为在具有至少一个特定用户的相关联的识别数据的至少一个配置文件被存储在存储介质中的第一条件下，将至少一个配置文件的所存储的识别数据与至少一个用户的所捕获的识别数据进行比较，其中该处理单元被进一步配置为在用户识别数据根据预定义的标准匹配所存储的识别数据的第二条件下，将至少一个用户识别为特定用户，为该特定用户存储至少一个配置文件。

相对于根据本发明的方法描述的优选实施方案及其优点相应地适用于根据本发明的眼睛追踪设备，其中特别地，该方法的实施方案构成了眼睛追踪设备的另外的优选实施方案。此外，本发明还可涉及包括根据本发明的眼睛追踪设备的系统。

本发明的其他特征及其优点从权利要求书、附图和附图的描述得出。前面在描述中提到的所有特征和特征组合，以及在附图的描述中进一步提及和/或仅在附图中示出的特征和特征组合，不仅可用于在每种情况下指示的组合，而且还可用于不同的组合或可独立使用。

现在参考各个优选实施方案并参考附图来更详细地解释本发明。这些示出于：

图1为根据本发明的实施方案的用于自动识别用户的眼睛追踪设备的示意图；

图2为根据本发明的实施方案的用于通过眼睛追踪设备来自动识别用户的方法的示意图；

图3为根据本发明的另一个实施方案的用于通过眼睛追踪设备来自动识别用户的方法的示意图；

图4为根据本发明的实施方案的用于提供反馈的眼睛追踪设备的显示设备的示意图；以及

图5为根据本发明的实施方案的用于借助于眼睛追踪设备结合隐式校准来自动识别用户的方法的示意图。

在下文中，呈现了本发明的有利实施方案，这些有利实施方案应用用户识别技术来改善眼睛追踪系统的可用性。

图1示出了根据本发明的实施方案的用于提供自动用户识别的眼睛追踪设备10的示意图。该眼睛追踪设备10包括处理单元12、可包括一个或多个相机14a的捕获设备14、以及可选光源16。该眼睛追踪设备10可用作已知眼睛追踪设备。该相机14a被配置为捕获用户的图像，这些图像被传送到处理单元12并且被处理，其中可在图像中识别某些眼睛特征，并且基于这些特征可确定用户的注视方向和/或注视点。可选光源16可提供照明，例如用于在用户的眼睛上产生角膜反射，该角膜反射在图像中可被检测到并且可用于计算注视方向。该眼睛追踪设备10还可包括显示设备18，并且处理单元12可被配置为计算显示设备18的屏幕上的用户的注视点。因此，可基于所计算出的注视方向和/或注视点来提供控制功能。因此，用户可例如借助于其注视就像使用鼠标或其他输入设备一样对在眼睛追踪设备10或耦接到眼睛追踪设备10的系统如计算机上运行的应用程序进行控制。此外，该处理单元12包括用户识别模块12a和GUI(图形用户界面)模块12b。此外，眼睛追踪设备10可包括存储设备20。然而，该存储设备20不需要是眼睛追踪设备10的一部分，而可为可与眼睛追踪设备10连接的另一个系统、服务器、计算机等的一部分。该存储设备20例如还可为其中可存储数据的互联网服务器如云。

该处理单元12现在被配置为将用户配置文件P1,P2,P3存储在该存储设备20中。在本文中示出了用于三位不同用户的三个用户配置文件P1,P2,P3。每个用户配置文件P1,P2,P3包含识别数据I1,I2,I3和控制数据C1,C2,C3。此类识别数据I1,I2,I3可以是例如面部特征、身体特征、眼睛特征等，在此基础上可识别不同的用户。控制数据C1,C2,C3，如校准参数、权限、权利或优先级可由处理单元12用于控制目的，例如用于计算注视方向并考虑到相应用户的相应校准数据。如果满足匹配条件，则识别模块12a将当前用户与经注册的配置文件P1,P2,P3中的一个经注册的配置文件进行匹配。GUI模块12b可向用户提供反馈并允许用户例如纠正错误识别结果。对于每位用户，所有相关数据均被存储在对应的配置文件P1,P2,P3中。所有注册的配置文件P1,P2,P3形成一个大数据库作为用户识别的候选池。识别数据I1,I2,I3优选地构成可从所捕获的图像导出的数据，然而，还可通过其他方式来获取此类识别数据，例如因为语音特征是由麦克风14b捕获，因此该麦克风还可为眼睛追踪设备10的捕获设备14的一部分。

图2示出了根据本发明的实施方案的用于自动识别用户的方法的示意图。在这种情况下，认为用户处于例如眼睛追踪设备10的捕获区域中，这可由眼睛追踪设备10本身注意到或例如通过接收对应的用户输入等而被注意到。因此，该方法在步骤S10中开始，在此处该眼睛追踪设备10借助于相机14a来捕获用户的图像。然后将该图像传送到处理单元12，该处理单元在步骤S12中处理图像并从该图像导出用户识别数据。在此之后，处理单元12在步骤S14中检查是否满足预定义的匹配条件。为此，处理单元12将所捕获的用户识别数据与所存储的配置文件P1,P2,P3中的每个配置文件的识别数据I1,I2,I3进行比较。如果该处理单元12确定所捕获的用户识别数据根据预定义的标准匹配识别数据I1,I2,I3中的一个识别数据，则处理单元12在步骤S16中导出对应的校准数据如校准参数等，这些校准数据作为满足匹配条件的配置文件P1,P2,P3的控制数据C1,C2,C3的一部分被存储。该处理单元12然后可使用这些特定于用户的校准数据来进行眼睛追踪。然而，如果在步骤S14中，对于任何存储的配置文件P1,P2,P3都不满足匹配条件，则将用户识别为新用户，并且眼睛追踪设备10可在步骤S18中自动开始校准程序。该校准可为显式或隐式校准。在该校准程序中，相机14a在步骤S20中捕获用户的图像，将这些图像再次传送到处理单元12，并且处理单元12在步骤S22中再次处理这些图像。当处理这些图像时，处理单元12将在步骤S24中被存储在对应的用户配置文件P1,P2,P3中的用户识别数据和校准数据导出。然后在步骤S16中可再次使用这些校准数据来进行眼睛追踪。

另选地，当处理单元12在步骤S14中确定匹配条件尚未得到满足时，在步骤S24中，可将在步骤S12中确定的用户识别数据直接保存到对应的用户配置文件P1,P2,P3中。同时，可执行校准，其中仅需要确定校准数据，而不一定是附加用户识别数据。

此外，该方法可以可选地以步骤S0开始，在此处该处理单元12检查至少一个配置文件P1,P2,P3是否被存储在存储设备20中。如果根本没有存储配置文件，则不需要检查用户是否具有对应的配置文件P1,P2,P3，并且眼睛追踪设备10可立即在步骤S18中对校准程序进行初始化。

根据该方法，有利的是，新用户可在其第一次使用眼睛追踪设备10时对配置文件进行初始化。用于识别的校准数据和图像数据可被存储在该配置文件P1,P2,P3内。此外，如果可分配其他眼睛追踪系统，则可能在该其他眼睛追踪系统上使用该配置文件P1,P2,P3。此外，当用户到来时，眼睛追踪设备10尝试识别用户。如果其被识别为已注册用户，则相关联的配置文件P1,P2,P3将被加载，并且用户可在没有任何手动交互的情况下开始眼睛追踪。这种快速响应将极大地改善用户体验，尤其是在不同的用户频繁地变换使用眼睛追踪设备10的情况下，但优选地限于一小群人。此外，如果该眼睛追踪设备10将用户识别为新用户，该眼睛追踪设备10可例如通过借助于显示设备18向用户提供反馈来要求用户对新的配置文件进行初始化并进行校准。

图3示意性地示出了借助于眼睛追踪设备来进行自动用户识别的方法的另一实施方案。

在图3中所示的方法在步骤S30中再次开始捕获图像。在一方面，这些图像可由处理单元12用于在步骤S32中执行眼睛追踪，以及在步骤S34中执行面部识别和眼睛特征比较。特别地，步骤S32中的眼睛追踪过程的结果可以用于面部识别和眼睛特征比较。

该眼睛追踪系统中的成像设备通常具有在必要时捕获整个面部或面部的大部分的图像的能力。因此，许多面部识别技术也可适用于此。除了面部识别之外，该解决方案可扩展到使用或包括有关用户的其他信息，以获取更好的识别准确度。该信息可包括由成像设备捕获的用户身体的图像、来自眼睛追踪本身的用户的眼睛属性、从眼睛追踪结果分析的眼睛运动模式、用户的声音，等等。由于当候选人数增加时用户识别的准确度下降，因此系统或管理员可能必须维护候选池的大小。

可将从图像导出的这些结果和/或其他用户特征与从经注册的配置文件P1,P2,P3导出的识别数据进行比较。在步骤S36中，从这些寄存器配置文件P1,P2,P3选择该配置文件，该该配置文件与所捕获的用户识别数据最佳匹配。可选地，该所选择的配置文件可由用户反馈FB确认。此后，该所选择的配置文件还包含用于所识别的用户的校准参数，该校准参数在步骤S38被中应用于眼睛数据，并且在步骤S40中作为眼睛追踪过程的结果被输出。由此，可在步骤S42中确定注视数据、最终注视，尤其是用户的注视方向或注视点。

在步骤S30中描述的方法的更具体的实施方案中，可捕获用户的全脸图像，这可能涉及面部检测和相机控制机制。对于步骤S34中的面部识别，可从进行图像归一化之后的面部区域计算出取向梯度特征的直方图，并且可利用尺寸缩小技术来进一步处理所获取的特征，以获取紧凑性且辨别性的特征。在步骤S32中执行的核心眼睛追踪方法还处理所捕获的图像并且测量若干个眼睛属性，例如虹膜大小和虹膜对比度。然后将结果提供至在步骤S34中执行的识别处理，其中所提供的眼睛特征与所获取的面部图像特征组合，如前所述。候选池中的所有用户均具有其所存储的对应的特征向量，以及其对应的配置文件P1,P2,P3。特征匹配技术例如最近邻匹配可在步骤S36中选择最佳候选者。必须根据阈值来检查来自当前用户的特征与来自最佳候选者的特征之间的相似性度量，以便给出最终识别结果。如果相似度足够高，则当前用户具有与最佳候选者相同的身份。如果相似度低，则当前用户被认为是新用户。这可发起新的配置文件的自动存储、和/或校准程序。

图4示出了用于提供用户反馈的眼睛追踪设备10的显示设备18的显示屏的示意图。可向用户提供重写软件的错误识别结果的选项。为此，可例如在显示设备18的屏幕的一角例如以经注册的照片22的形式显示用于呈现识别结果的弹出窗口24，并且一对“按钮”作为用于接收来自用户的反馈的选择选项。在本文中呈现了“正确”按钮C和“错误”按钮W。通过选择“正确”按钮C，用户可确认选择了正确的配置文件P1,P2,P3，并且通过选择“错误”按钮W，用户可指示选择了错误的配置文件，并且识别失败。如果用户声称识别错误，则可提供选项以输入或选择正确的身份，尤其是用于选择正确的配置文件P1,P2,P3。当没有鼠标/键盘可用作输入设备时，用户可使用注视交互来给出反馈，特别是通过观看对应的“按钮”。然而，在没有正确的校准的情况下，眼睛追踪很不准确，并且因此将需要更大面积的显示器18来实现这种交互机制。

为了提高用户识别的准确度，可将当前用户的面部图像和眼睛特征收集并将其合并到配置文件P1,P2,P3中的现有数据中。因此，每当用户再次使用眼睛追踪设备10时，眼睛追踪设备10每次可针对对应的配置文件P1,P2,P3来存储所捕获的识别数据。为了降低误差风险，只有在用户反馈可用时才能进行此操作。

这样，当用户利用计算机显示器18开始使用系统即眼睛追踪设备10时，弹出窗口24将通知用户其所识别的身份。在用户可立即开始使用眼睛追踪时，该系统然后加载所存储的校准数据。该用户不会被强制要求提供反馈，但是在分配错误的身份时建议用户这样做。如果用户认为识别结果错误，则该系统可被通知并且用户可输入其正确的身份。该系统即眼睛追踪设备10还可利用该用户交互来提高其识别准确度。例如，如果用户指示识别错误，则可修改匹配参数，如所提到的阈值。自动用户识别使当前用户与现有数据收集(配置文件)的关联更容易并且更加用户友好。将该自动用户识别与用于预测用户的注视点的技术相结合，例如通过分析显示器18上的图像内容，可完全隐藏校准。

当前的计算机视觉算法可通过分析在显示器18上所显示的内容来预测用户注视。更简单的情况将是在简单的背景上显示单个移动对象。对于更自然的图像或视频，需要更复杂的算法。应用定制的解决方案和简单的图像或视频可产生更可靠的结果当然，该软件不能确定用户是否正在观看预测位置例如移动对象，因此必须进行一些“匹配”分析来获取可靠的校准数据。这种方法可能需要更长的时间才能达到一定的准确度。然而，由于数据在更加多变的条件下被收集，因此整体性能可能更好。

对于涉及图5中的移动目标的游戏，示出了与此类隐式校准相结合的用于自动识别用户的方法的实施方案。在步骤S50中，眼睛追踪设备尤其是相机14a捕获用户的图像，并且在步骤S52中提供这些用户图像以用于用户识别，并且在步骤S54中提供这些用户图像以用于眼睛追踪。同时，在步骤S56中，在眼睛追踪设备10上运行的应用程序(在这种情况下为视频游戏)在显示设备18上显示图像或视频内容。该内容被提供用于在步骤S58中预测用户的注视点。如果在步骤S60中用户可选地使用输入设备如鼠标或控制器，则还可提供这些数据如在显示设备18上显示的光标的位置，以用于在步骤S58中进行用户注视点预测。因此，当用户正在玩视频游戏从而正在盯着由应用程序提供的图像内容并且在可选地使用输入设备时，步骤S54中的眼睛追踪过程中确定用户的注视点，并且在步骤S62中将其与在步骤S58中提供的对应的预测注视点进行比较。为了进行该比较，可对可靠校准数据执行数据挖掘过程。在步骤S52中提供的用户识别数据以及步骤S62中的数据挖掘的结果可被存储在对应的用户配置文件P1,P2,P3中。可执行这种隐式校准程序，直到捕获到足够的校准数据。如果最后在步骤S64中确定捕获到足够的校准数据，则眼睛追踪设备10准备好进行眼睛追踪，并且然后可在步骤S66中执行用户的眼睛追踪。

由该主流眼睛追踪系统所使用的经典用户校准程序对某些应用程序上下文会造成很大的阻碍并且是不友好的。因此，所呈现的该隐式校准为非常有利的替代方案。当应用程序正在使用该功能时，该注视数据和预测的注视点被馈送到模式分析模块中。该模块收集校准数据，然后可将该校准数据用于当前会话并且还用于将来的使用。该用户可在没有注视/眼睛追踪功能或不太准确的注视/眼睛追踪的情况下启动应用程序。在使用系统一段时间之后，准确的注视/眼睛追踪将为可用的。

本发明及其实施方案有助于通过将用户识别功能添加到眼睛追踪设备中来改善眼睛追踪设备的用户体验。这允许对所识别的用户的快速响应，并且对于在某些多用户场景中的眼睛追踪设备的可用性是至关重要的。这还为使用完全隐式校准的眼睛追踪设备提供了机会。因此，通过本发明可实现对于关于用户数据存储尤其是校准数据的用户体验的大幅提升，可支持多用户眼睛追踪，并且可减少校准过程的显示。

对于多用户同时眼睛追踪，也可实现特殊的优点。当该眼睛追踪设备必须同时追踪多位用户时，该眼睛追踪设备需要知道哪个校准数据应该应用于哪个人，尤其是哪个人的哪个眼睛。这可涉及用户识别和用户追踪，因此尤其是在这种情况下，由本发明提供的自动用户识别是非常有利的。

另一种家庭多用户场景将为例如一个男孩正在玩基于眼睛追踪的游戏，并且发现了有趣的东西，所以他叫他的父亲也过来试试。在父亲过来之后，只要他以前使用过该系统，他就可立即尝试。在没有自动用户识别的情况下，他必须先暂停游戏并通知系统使用他的校准数据。结合自动用户识别和基于图像的注视预测，用户可在没有任何直接交互的情况下进行校准。这还允许眼睛追踪技术更加隐式地集成到现有的设备/应用程序中。用户可享受眼睛追踪所带来的酷炫功能，在此之前甚至都注意不到它的存在。

利用用户识别，该系统即眼睛追踪设备具有其自身的配置文件选择预测，使得注册用户能够在其进入追踪范围(相机视域)之后立即开始眼睛追踪。这将极大改善用户体验，尤其是家庭用户、老年用户、和残疾人士的体验。

参考标志的列表：

10 眼睛追踪设备

12 处理单元

12a 用户识别模块

12b GUI模块

14 捕获设备

14a 相机

14b 麦克风

16 光源

18 显示设备

20 存储设备

22 照片

24 弹出窗口

P1,P2,P3 配置文件

I1,I2,I3 识别数据

C1,C2,C3 控制数据

C 正确按钮

W 错误按钮

FB 反馈

Claims (13)

1.一种方法，包括：

捕获用户标识数据，所述用户标识数据指示用户的眼睛的一个或多个属性；

将所述用户标识数据与一个或多个存储的用户配置文件进行比较；以及

如果根据预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的一个特定用户配置文件匹配，则加载所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件，其中所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件包括用于所述用户的注视校正信息。

2.根据权利要求1所述的方法，还包括：如果根据所述预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件匹配，则基于所述注视校正信息来确定所述用户的注视方向。

3.根据权利要求1所述的方法，还包括：如果根据所述预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件不匹配，则基于所述一个或多个属性来生成包括眼睛追踪校准数据的用户配置文件，所述眼睛追踪校准数据包括所述注视校正信息。

4.根据权利要求1所述的方法，其中捕获用户标识数据包括捕获所述用户的所述眼睛的多个图像，所述方法还包括基于所述多个图像中的至少一个图像来确定所述用户的所述眼睛的所述一个或多个属性。

5.根据权利要求1所述的方法，其中所述用户的所述眼睛的所述一个或多个属性包括所述用户的所述眼睛的几何属性。

6.根据权利要求1所述的方法，其中所述用户的所述眼睛的所述一个或多个属性包括所述用户的所述眼睛的虹膜的尺寸。

7.根据权利要求1所述的方法，其中用于所述用户的所述注视校正信息指示所述用户的所述眼睛的视轴与所述用户的所述眼睛的光轴之间的偏移。

8.根据权利要求1所述的方法，其中所述注视校正信息包括矫正透镜信息，所述矫正透镜信息指示与所述用户的所述眼睛相关联的矫正透镜的屈光力。

9.根据权利要求1所述的方法，其中所述一个或多个存储的用户配置文件包括一个或多个相应的眼睛追踪校准数据集合。

10.一种装置，包括：

相机，用以捕获用户标识数据，所述用户标识数据指示用户的眼睛的一个或多个属性；以及

处理器，用以：

将所述用户标识数据与一个或多个存储的用户配置文件进行比较；以及

如果根据预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的一个特定用户配置文件匹配，则加载所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件，其中所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件包括用于所述用户的注视校正信息。

11.根据权利要求10所述的装置，其中所述处理器被配置为：如果根据所述预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件匹配，则基于所述注视校正信息来确定所述用户的注视方向。

12.根据权利要求10所述的装置，其中所述处理器被配置为：如果根据所述预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件不匹配，则基于所述一个或多个属性来生成包括眼睛追踪校准数据的用户配置文件，所述眼睛追踪校准数据包括所述注视校正信息。

13.一种非暂态计算机可读介质，其编码有指令，所述指令被执行时使处理器执行操作，所述操作包括：

捕获用户标识数据，所述用户标识数据指示用户的眼睛的一个或多个属性；

将所述用户标识数据与一个或多个存储的用户配置文件进行比较；以及

如果根据预定义的标准确定所述用户标识数据与所述一个或多个存储的用户配置文件中的一个特定用户配置文件匹配，则加载所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件，其中所述一个或多个存储的用户配置文件中的所述一个特定用户配置文件包括用于所述用户的注视校正信息。

Images