CN115543071A - 用于数据配准的方法和系统 - Google Patents

Abstract

本发明涉及一种确定来自两个记录设备的数据的时间偏移的方法。该方法包括：从第一记录设备接收第一数据流，并且从第二记录设备接收第二数据流，其中，第一数据流和第二数据流中的每一个包括与用户的眼睛相关的数据，并且其中，第一数据流与第二数据流在时间上有重叠；处理第一数据流以确定用户的第一眨眼序列；处理第二数据流以确定用户的第二眨眼序列；将第一眨眼序列与第二眨眼序列进行比较，以检测在第一眨眼序列和第二眨眼序列中都存在某一眨眼模式；以及通过将该眨眼模式在第一数据流和第二数据流中的相应位置进行比较，确定第一数据流与第二数据流的时间偏移。

Description

用于数据配准的方法和系统

技术领域

本发明涉及处理多个数据流，每个数据流包括与用户相关的眨眼数据。更具体地，本发明涉及使用眨眼检测和序列比较以确定两个或更多个数据流之间的时间偏移。然后可以使用该时间偏移来配准数据。本发明还涉及一种系统，该系统被配置为利用这种方法。

背景技术

在记录多个数据流时，可能重要的是让这些数据流时间配准(即，在时间上配准)。不同记录装置记录的数据流之间的延迟可能是不可预测的且不一致的，这取决于许多不同的因素，因此确定时间偏移的水平可能不是那么明了。在一些情况下，这可能不是问题，但在时间配准很重要的情况下，这可能成为重大问题。

数据流的时间偏移可能成问题的一种特定情况是在注意力跟踪领域，该领域中使用多个记录设备来监测对象或用户。例如，可能使用专用的眼动跟踪设备和附加的相机来监测对象，该相机记录用户的较大部分的图像，比如，他们的头部和肩部、或他们的整个身体。为了组合从这两个记录设备收集的数据，必须确定两个数据流的偏移，否则会在数据解释中导致误差。在数据涉及小而快的运动的情况下(比如，在注视跟踪中)，对数据流的时间偏移的确定中的小误差可能会导致数据解释中的大误差。

例如，在眼动跟踪设备与第二记录设备一起工作时，该第二记录设备可以寄存引发用户的反应的事件——比如，照明的突然变化或声音。如果来自该事件的时间戳相对于从眼动跟踪设备接收到的数据流是错误的，则从该信息得出的结论可能是不正确的。

未配准的流可能会成问题的另一个示例是：系统被设计为结合注视数据来捕获用户的动态注意力区域，例如，面向前的相机跟踪用户前方不断变化的场景，而注视跟踪设备确定用户在变化的场景中看着的位置。如果对象正在场景中移动并且用户正在跟踪该对象，则未配准的数据流可能使用户看起来跟踪到实际对象的前面或后面。

例如，第一记录设备可以捕获眼动跟踪数据，而第二记录设备捕获用户头部的图像，以提供用于对记录进行分析的附加背景。例如，第二记录设备可以提供与用户的面部表情或语音相关的日期。该数据的同步通常可以通过给来自每个记录设备的数据流加时间戳来提供。然而，加时间戳完成的时间通常明显晚于每个相机传感器曝光的时间，从而导致来自第一记录设备的眼动跟踪数据的时间戳与来自第二记录设备的附加数据之间的不匹配。

因此，期望提供克服或改善上述问题的系统和方法。

发明内容

根据第一方面，提供了一种确定来自两个记录设备的数据的时间偏移(offset)的方法，该方法包括：

从第一记录设备接收第一数据流，并且从第二记录设备接收第二数据流，其中，第一数据流和第二数据流中的每一个包括与用户的眼睛相关的数据，并且其中，第一数据流与第二数据流在时间上有重叠(overlap)；

处理第一数据流以确定用户的第一眨眼序列；

处理第二数据流以确定用户的第二眨眼序列；

将第一眨眼序列与第二眨眼序列进行比较，以检测在第一眨眼序列和第二眨眼序列中都存在某一眨眼模式；以及

通过将第一数据流和第二数据流中的眨眼模式的相应位置进行比较，确定第一数据流与第二数据流的时间偏移。

通过确定数据流的时间偏移，在知道在任一数据流中记录的事件如何对应于在另一流中的事件的情况下，可以以任何期望的方式比较或处理数据流。

数据流可以包括与用户的双眼相关的数据。这可以提供更强健的数据，因为可以将与每只单独的眼睛相关的数据关联在一起来忽略或移除被确定为不准确的数据。这种方法将是本领域技术人员已知的。

第一记录设备可以是眼动跟踪设备。眼动跟踪设备的使用可以提供指示被监测用户的注视位置或注视方向的数据。

第一数据流可以包括注视信号，该注视信号被处理以确定第一眨眼序列。

第一数据流可以包括眼睛开度信号，该眼睛开度信号被处理以确定第一眨眼序列。

第二记录设备可以是记录用户的整个面部的系统。第二记录设备因此可以提供用户对刺激的反应的概况。例如，第二记录设备可以包括与头部运动、面部表情、嘴部运动、语音相关的数据或其他这样的数据。

第二数据流可以包括视频信号，该视频信号被处理以确定第二眨眼序列。

第一数据流和第二数据流中的一个或多个数据流可以包括与用户可观看的场景相关的数据。这在期望在相对于移动的场景跟踪用户注视点的情况下可能是有用的，例如，当用户在某一区域周围移动时。例如，第一记录设备或第二记录设备可以是360度相机。

可以通过确定第一眨眼序列和第二眨眼序列中的相继眨眼之间的时间将第一眨眼序列与第二眨眼序列进行比较。

眨眼模式可以包括至少两次眨眼、或至少三次眨眼、或至少四次眨眼、或至少五次眨眼。通过在眨眼模式中包括更多眨眼次数，可以限制或避免对时间偏移的不正确的确定。例如，虽然在序列中可能多次出现相似或相同模式的两次眨眼，但在序列中多次出现相似或相同模式的五次眨眼的可能性要小得多。

该方法可以进一步包括使用所确定的时间偏移来时间配准第一数据流与第二数据流的步骤。例如，多个数据流可以被组合成单个数据流，该单个数据流包括来自第一数据流和第二数据流的数据的组合。

该方法可以进一步包括：

检测在第一眨眼序列和第二眨眼序列中都存在的第二眨眼模式；

通过将第一数据流和第二数据流中第二眨眼模式的相应位置进行比较，确定第一数据流与第二数据流的第二时间偏移；以及

根据前述时间偏移和第二时间偏移确定漂移值或漂移系数。

因此可以检测多个眨眼模式，由此将每个眨眼模式用于确定第一数据流与第二数据流的时间偏移。对多个眨眼模式的检测可以允许在配准过程中考虑数据流的时钟时间的漂移。通过检测这些数据流中多个位置处的时间偏移，可以确定这些数据流之间的漂移值或漂移系数。漂移值或漂移系数可以用于更好地配准数据流。

根据第二方面，提供了用户监测系统，包括：

被配置为输出第一数据流的第一记录设备、以及被配置为输出第二数据流的第二记录设备，其中，第一数据流和第二数据流中的每一个包括与用户的眼睛相关的数据，并且其中，第一数据流和第二数据流在时间上有重叠；以及

处理器，该处理器被配置为：

处理第一数据流以确定用户的第一眨眼序列；

处理第二数据流以确定用户的第二眨眼序列；

将第一眨眼序列与第二眨眼序列进行比较，以检测在第一眨眼序列和第二眨眼序列中都存在某一眨眼模式；以及

通过将眨眼模式在第一数据流和第二数据流中的相应位置进行比较来确定第一数据流与第二数据流的时间偏移。

通过确定数据流的时间偏移，在知道记录在任一流中的事件如何对应于记录在另一流中的事件的情况下，可以以任何期望的方式比较或处理数据流。

第一记录设备可以是眼动跟踪设备。眼动跟踪设备的使用可以提供指示被监测用户的注视位置或注视方向的数据。

第一数据流可以包括注视信号，该注视信号被处理以确定第一眨眼序列。

第一数据流可以包括眼睛开度信号，该眼睛开度信号被处理以确定第一眨眼序列。

第二记录设备可以是记录用户的整个面部的系统。第二记录设备因此可以提供用户对刺激的反应的概况。例如，第二记录设备可以包括与头部运动、面部表情、嘴部运动、语音相关的数据或其他这样的数据。

第二数据流可以包括视频信号，该视频信号被处理以确定第二眨眼序列。

第一数据流和第二数据流中的一个或多个可以包括与用户可观看的场景相关的数据。这在期望在相对于移动的场景跟踪用户注视点的情况下可能是有用的，例如，当用户在某个区域周围移动时。例如，第一记录设备或第二记录设备可以是360度相机。

可以通过确定第一眨眼序列和第二眨眼序列中的相继眨眼之间的时间来将第一眨眼序列与第二眨眼序列进行比较。

眨眼模式可以包括至少两次眨眼、或至少三次眨眼、或至少四次眨眼、或至少五次眨眼。通过在眨眼模式中包括更多次眨眼，可以限制或避免对时间偏移的不正确的确定。例如，虽然在序列中可能多次出现相似或相同模式的两次眨眼，但在序列中多次出现相似或相同模式的五次眨眼的可能性要小得多。

处理器可以进一步被配置为使用所确定的时间偏移来时间配准第一数据流与第二数据流时间。例如，数据流可以被组合成单个数据流，该单个数据流包括来自第一数据流和第二数据流的数据的组合。

该处理器可以进一步被配置为：

检测在第一眨眼序列和第二眨眼序列中都存在的第二眨眼模式；

通过将第二眨眼模式在第一数据流和第二数据流中的相应位置进行比较，确定第一数据流与第二数据流的第二时间偏移；以及

根据前述时间偏移和第二时间偏移确定漂移值或漂移系数。

因此可以检测多个眨眼模式，由此将每个眨眼模式用于确定第一数据流与第二数据流的时间偏移。对多个眨眼模式的检测可以允许在配准过程中考虑数据流的时钟时间的漂移。通过检测数据流中多个位置处的时间偏移，可以确定数据流之间的漂移值或漂移系数。漂移值或漂移系数可以用于更好地配准数据流。

附图说明

现在将参考附图来详细描述特定实施例，在附图中：

图1是第二方面的用户监测系统的示意图；

图2A和图2B是从图1的用户监测系统获得的数据流的时间偏移的图形描绘；以及

图3是第一方面的方法的流程图。

具体实施方式

图1中描绘了用户监测系统100的实施例。用户监测系统100被配置为提供用户监测系统100的对象或用户102的多个数据流。因此用户监测系统100包括第一记录设备104和第二记录设备106。第一记录设备104和第二记录设备106中的每一个都被配置为收集与用户102相关的数据。在该数据收集期间，用户102正看着显示器108，该显示器可以被配置为向用户102显示信息。在其他实施例中，可以不使用显示器108。

在所描绘的用户监测系统100中，第一记录设备104是眼动跟踪设备，该眼动跟踪设备输出注视信号，该注视信号指示用户102在显示器108上的注视位置或者用户102相对于显示器108的注视方向。第一记录设备朝向显示器108的底部就位。第一记录设备104的定位可以在用户102的眼睛观看显示器108时有助于观察用户眼睛，但这对本发明来说并非固有的。第一记录设备104使用图像传感器和相关联的处理来将关于用户102的注视的数据提供给处理器110。在一些实施例中，眼动跟踪设备可以包括近红外传感器并且可以包括朝向用户眼睛照射的照明器。照明器可以使用比如暗瞳效应或亮瞳效应等众所周知的效应来帮助检测用户102的瞳孔。照明器还可以在眼睛的角膜上形成闪光，以便允许进行瞳孔中心角膜反射(PCCR)眼动跟踪或注视跟踪。眼动跟踪设备的替代性布置对于本领域技术人员将是众所周知的。可以由处理器110处理来自第一记录设备104的数据以提取与用户相关的眨眼信息。眨眼信息意味着可以确定眨眼的发生并随后确定眨眼之间的时间。

眨眼数据可以通过使用眼睛开度信号来生成。眼睛开度信号可以指示眼睑的相对位置(即，用户眼睛的闭合程度)或者瞳孔检测值(即，眼动跟踪设备是否可以检测到眼睛的瞳孔)。在一些实施例中，可以将注视信号和眼睛开度信号一起使用，以确定眨眼的存在与否。例如，可以将来自眼睛开度信号的眼睛开度数据与指示是否检测到瞳孔的注视数据相结合，以提供强健的眨眼检测。也可以使用任何其他跟踪用户眨眼的方法，并且这些方法对于本领域技术人员来说将是已知的。

第二记录设备106是成像传感器，在所描绘的实施例中，该成像传感器表现出比第一记录设备104的视野114更宽的视野112。第二记录设备106被配置为提供用户102的视图，该视图包括用户102的头部和肩部。视野112中包括用户102的眼睛，使得成像传感器可以输出眼睛的图像，并且更具体地说，可以输出眼睛的任何眨眼运动。与第一记录设备104一样，可以使用任何众所周知的方法来检测用户102的眨眼，该方法可以根据由相应的记录设备104、106收集的数据来确定。

第一记录设备104和第二记录设备106中的每一个都与处理器110通信。在所描绘的实施例中，通信是线路电连接，但这可以是任何种类的可通信连接，包括线路连接和比如，蓝牙(RTM)或WiFi(RTM)等无线连接。可以使用允许在相应记录设备104、106与处理器110之间传送数据的任何形式的连接。处理器110还包括存储器116，该存储器允许存储由第一记录设备104和第二记录设备106传送给该存储器的部分或全部数据。

本发明不限于关于图1示出和描述的特定记录设备。例如，眼动跟踪设备可以由不同的记录设备代替，比如，类似于第二记录设备的成像设备。任何类型的基于成像的记录设备的唯一限制是记录设备需捕获足以检测用户的眨眼的图像数据。类似地，从第一记录设备和第二记录设备输出的数据可以不是图像数据，而可以是其他类型的数据。例如，相应的记录设备可以具有内部处理，该内部处理接收图像数据并将该图像数据转换成随后可以由处理器处理的其他类型的数据。例如，图1中示出的眼动跟踪设备可以向处理器输出注视矢量和/或注视位置，并且还可以输出已经从捕获的图像数据确定的眨眼数据，也被称为眨眼序列。以这种方式，用户监测系统的处理可以分派到一个或多个处理器之间，这些处理器可以在第一记录设备和/或第二记录设备的内部或在这两个记录设备的外部。

眨眼数据可以例如包括用户眼睑的运动，或者可以包括对用户的眼睛或部分眼睛的部分遮挡或全部遮挡的检测结果。在一个示例实施例中，眨眼数据可以是对应于一下判断结果的数据：不能检测到用户瞳孔并因此在记录设备的视图中瞳孔被遮挡。在另一个示例实施例中，眨眼数据可以是与通过用户眼睛的差分成像检测到的眼睑运动相对应的数据。用于检测眨眼和提供眨眼数据的这些或其他不同方法可以与本发明结合使用，这样的方法是本领域技术人员已知的。

每个数据流可以包括除了眨眼数据之外的其他数据，比如，伴随的图像数据、声音数据或任何其他形式的数据。因此，本发明提供了一种方式，在这种方式中可以通过配准两个数据流的眨眼数据来将数据流中的任何数据——眨眼数据或其他数据——与另一个数据流中的任何数据进行配准。

在一些实施例中，第一记录设备和/或第二记录设备可以不记录图像数据。例如，一种记录设备可以是监测脑电波的脑电图仪(EEG)。可以使用这种设备来检测眨眼，因此可以将EEG与眼动跟踪设备或其他基于图像的传感器一起使用，并且可以使用本发明的方法和系统来配准来自这两个设备的数据流。系统中也可以利用其他非基于图像的传感器，比如，检测眼睑肌肉抽动的肌肉传感器。

为了可以例如在将来的处理或信息提取中一起使用来自第一记录设备104和第二记录设备106的数据，可能需要能够将这些数据准确地配准。为了实现这种配准，本发明利用从第一记录设备104和第二记录设备106收集的眨眼序列。每个眨眼序列至少包括关于一次眨眼的发生和这次眨眼相对于其他眨眼的时间的信息，该时间例如是通过提供每次眨眼相对于基准的时间来获得的。基准不一定是绝对时间，而应该是可以从其测量所有眨眼的标准化基准。例如，基准可以是记录的开始时间。可替代地，每次眨眼可以从提供相对于另一次眨眼的时间戳的基准来测量。例如，每次眨眼可以在时间上相对于另一次眨眼来测量，从而有效地提供一次眨眼与另一次眨眼之间的间隔。从中测量后续眨眼的眨眼可以是前一次眨眼或者可以是不同的先前眨眼。

图2A和图2B中示出了从第一记录设备和第二记录设备中提取的眨眼序列或眨眼数据的图形表示。在各自情况下，来自第一记录设备的眨眼序列标记为A，并且来自第二记录设备的眨眼序列标记为B。

图2A示出了最初提取时的每个眨眼序列。每个眨眼序列包括被示出为沿着时间线的直线的多次眨眼、以及这些眨眼之间的多个间隔，这些间隔指示各次眨眼之间的时间间隔。可以将每次眨眼的眨眼数据存储为相对于固定基准的时间段，而不是直接测量相继眨眼的时间间隔，但这对本发明的实施没有影响。可以看出，来自每个来源的眨眼序列基本上是相同的，因为该眨眼序列是同一用户在相似的时间段内的眨眼序列，并且因此眨眼和眨眼之间的间隔是有偏移的。每个眨眼序列由处理器110在不知道该眨眼序列与另一个眨眼序列的时间偏移的情况下被接收。该偏移被标记为X并且是未知的时间段。尽管在图2A中以图形方式示出了眨眼序列，但是处理器110不需要以图形方式处理数据，并且可以以任何其他方式处理数据，这些方式的选择对于本领域技术人员来说是已知的。

因此，处理器110被配置为确定两个数据流A与B之间的偏移X。这是通过检测眨眼的模式(“眨眼模式”)和眨眼间隔(即，相应眨眼之间的时间)来实现的，对于两个眨眼序列都是如此。通过检测相应的眨眼模式，系统可以然后确定来自每个来源的眨眼数据的时间偏移等于检测到的眨眼模式的时间偏移。

在图2A和图2B中，将来源A和来源B中都存在的眨眼模式描绘为被虚线框包围。方框内的眨眼模式是三次眨眼和两个眨眼间隔的序列。在每个流中，眨眼模式是相同的，在两个流中，序列中的第一次眨眼与第二次眨眼之间的眨眼间隔相等，并且在两个流中，序列中的第二次眨眼与第三次眨眼之间的眨眼间隔相等。一旦处理器已检测到该眨眼模式，就可以通过简单的操作来配准流A和流B，以便可以相对于同一基准比较从每个流接收到的数据。

例如，可以在第一眨眼序列中检测到如下的眨眼序列：

“眨眼；8300ms；眨眼；1500ms；眨眼”

然后，将在整个第二眨眼序列中搜索这种眨眼模式和眨眼间隔，直到找到匹配为止。一旦找到匹配，对来自每个眨眼序列的数据的相对配准将是可确定的。

一旦知道时间偏移，就可以配准数据，如图2B所示。这在图2B中以图形方式通过每个眨眼数据流开始时的偏移示出。可以看出，包括但不限于图2B中检测到的眨眼模式，其余的眨眼数据都是配准的。因此，从第一记录设备和第二记录设备接收到的任何其他数据(比如，注视数据或图像数据)也可以通过用相同的时间偏移进行处理来配准。

眨眼模式可以包括两次或更多次眨眼以及将这些次眨眼开的一个或多个眨眼间隔。最少需要两次眨眼，但这些眨眼不一定是相继的，只要可以确定每个眨眼序列的眨眼之间的间隔相同即可。检测包括更多眨眼次数的眨眼模式可以是有益的。通过检测具有更多眨眼次数的眨眼模式，可以以更大确定性确定在每个眨眼序列中检测到的眨眼模式与相同的时间段相对应，因为完全相同眨眼模式(即，在眨眼之间具有相同间隔的模式)不太可能出现多于一次，并且眨眼模式越长，这种眨眼模式在眨眼序列内重复的可能就越低。

例如，如果检测到眨眼模式在任一眨眼序列中出现多于一次，则出于比较的目的，系统可以寻找不同的眨眼模式或者可以寻找更长的眨眼模式(该眨眼模式可以包括或可以不包括原始眨眼模式)，直到可以表现出该眨眼模式在第一眨眼序列和第二眨眼序列中仅出现一次的时候为止。因此，可以避免眨眼序列配准的潜在错误确定。

将显而易见的是，由于记录设备中的一个或多个未能检测到一次或多次眨眼，可能导致无法使特定眨眼模式与两个眨眼序列都匹配。例如，如果用户将头部从设备转离，或者如果眼动跟踪算法暂时失效，则可能发生这种情况。在这种情况下，如果尚无法检测到与特定眨眼模式的匹配，则系统可以在每个眨眼序列中搜索不同的眨眼模式。该过程可以重复进行，直到在两个眨眼序列中都发现某个检测到的眨眼模式的时候为止。

另外，可能有益的是，在记录进程期间、特别是当该进程很长时，重复进行眨眼模式检测过程多次。这是因为随着时间的推移，每个记录设备的时钟之间可能存在漂移，并且因此在记录进程期间多次确定记录设备之间的时间偏移可能是有利的。在整个记录进程中使用多个不同的眨眼模式可以允许检测该进程期间的漂移，并且这也可以被系统用来更好地配准数据流。漂移可以被确定为可以在多个数据流上应用以帮助进行配准的漂移值或漂移系数。

图3是示出了在所公开的方法的执行中涉及的每个步骤的流程图。

在第一步骤S202中，从图1中展示的第一记录设备和第二记录设备接收第一数据流和第二数据流。这些数据流包括与用户的眼睛相关的数据，并且尤其包括允许处理器确定正在记录的用户何时眨眼的数据。

然后，在接下来的步骤S204中，可以处理数据流以确定用户的眨眼序列。单独处理每个数据流以确定各个眨眼序列，即，处理第一数据流以确定第一眨眼序列，并且处理第二数据流以确定第二眨眼序列。

在进一步的步骤S206中，可以将第一眨眼序列与第二眨眼序列相互比较，以检测在第一眨眼序列和第二眨眼序列中都出现的眨眼模式。

一旦检测到共有眨眼模式，就可以通过将数据流内眨眼模式的相应位置进行比较并且确保共有眨眼模式在两个眨眼序列内时间上配准来配准第一数据流和第二数据流S208。

在期望时，可以针对附加的眨眼模式重复从S204到S208的步骤，如图3中的虚线箭头所示。附加地，该步骤可以伴随着在步骤S210中处理多个眨眼模式，以确定系统的漂移值或漂移系数。

尽管相对于两个数据流进行了描述，但是本发明同样可以应用于三个、四个或其他任何数量的数据流。在每种情况下，所需要的只是检测该眨眼模式是否在所考虑的每个数据流中都存在。然后可以通过使用相同的眨眼模式来配准所有数据流。

在进一步的布置中，可以通过使用例如在第一数据流和第二数据流中检测到的第一眨眼模式和例如在第二数据流和第三数据流中检测到的第二眨眼模式来配准多于两个数据流。在数据流在其整个长度上不一定在时间上有重叠的情况下，即，在第一数据流和第三数据流各自与第二数据流在时间上有重叠但第一数据流和第三数据流在时间上彼此不重叠的情况下，这特别有用。

Claims (20)

1.一种确定来自两个记录设备的数据的时间偏移的方法，所述方法包括：

从第一记录设备接收第一数据流，并且从第二记录设备接收第二数据流，其中，所述第一数据流和所述第二数据流中的每一个包括与用户的眼睛相关的数据，并且其中，所述第一数据流与所述第二数据流在时间上有重叠；

处理所述第一数据流以确定所述用户的第一眨眼序列；

处理所述第二数据流以确定所述用户的第二眨眼序列；

将所述第一眨眼序列与所述第二眨眼序列进行比较，以检测在所述第一眨眼序列和所述第二眨眼序列中都存在的某一眨眼模式；以及

通过将所述眨眼模式在所述第一数据流和所述第二数据流中的相应位置进行比较，确定所述第一数据流与所述第二数据流的时间偏移。

2.如权利要求1所述的方法，其中，所述第一记录设备是眼动跟踪设备。

3.如权利要求1或权利要求2所述的方法，其中，所述第一数据流包括注视信号，所述注视信号被处理以确定所述第一眨眼序列。

4.如任一前述权利要求所述的方法，其中，所述第一数据流包括眼睛开度信号，所述眼睛开度信号被处理以确定所述第一眨眼序列。

5.如任一前述权利要求所述的方法，其中，所述第二记录设备是记录所述用户的整个面部的系统。

6.如任一前述权利要求所述的方法，其中，所述第二数据流包括视频信号，所述视频信号被处理以确定所述第二眨眼序列。

7.如任一前述权利要求所述的方法，其中，通过确定所述第一眨眼序列和所述第二眨眼序列中的相继眨眼之间的时间来将所述第一眨眼序列与所述第二眨眼序列进行比较。

8.如任一前述权利要求所述的方法，其中，所述眨眼模式包括至少两次眨眼、或至少三次眨眼、或至少四次眨眼、或至少五次眨眼。

9.如任一前述权利要求所述的方法，进一步包括使用所确定的时间偏移来在时间上配准所述第一数据流与所述第二数据流的步骤。

10.如任一前述权利要求所述的方法，进一步包括：

检测在所述第一眨眼序列和所述第二眨眼序列中都存在的第二眨眼模式；

通过将所述第二眨眼模式在所述第一数据流和所述第二数据流中的相应位置进行比较，确定所述第一数据流与所述第二数据流的第二时间偏移；以及

根据所述时间偏移和所述第二时间偏移确定漂移值或漂移系数。

11.一种用户监测系统，包括：

第一记录设备以及第二记录设备，所述第一记录设备被配置为输出第一数据流，所述第二记录设备被配置为输出第二数据流，其中，所述第一数据流和所述第二数据流中的每一个包括与用户的眼睛相关的数据，并且其中，所述第一数据流与所述第二数据流在时间上有重叠；以及

处理器，所述处理器被配置为：

处理所述第一数据流以确定所述用户的第一眨眼序列；

处理所述第二数据流以确定所述用户的第二眨眼序列；

将所述第一眨眼序列与所述第二眨眼序列进行比较，以检测在所述第一眨眼序列和所述第二眨眼序列中都存在的某一眨眼模式；以及

通过将所述眨眼模式在所述第一数据流和所述第二数据流中的相应位置进行比较，确定所述第一数据流与所述第二数据流的时间偏移。

12.如权利要求11所述的用户监测系统，其中，所述第一记录设备是眼动跟踪设备。

13.如权利要求11或权利要求12所述的用户监测系统，其中，所述第一数据流包括注视信号，所述注视信号被处理以确定所述第一眨眼序列。

14.如权利要求11至13中任一项所述的用户监测系统，其中，所述第一数据流包括眼睛开度信号，所述眼睛开度信号被处理以确定所述第一眨眼序列。

15.如权利要求11至14中任一项所述的用户监测系统，其中，所述第二记录设备是记录所述用户的整个面部的系统。

16.如权利要求11至15中任一项所述的用户监测系统，其中，所述第二数据流包括视频信号，所述视频信号被处理以确定所述第二眨眼序列。

17.如权利要求11至16中任一项所述的用户监测系统，其中，通过确定所述第一眨眼序列和所述第二眨眼序列中的相继眨眼之间的时间来将所述第一眨眼序列与所述第二眨眼序列进行比较。

18.如权利要求11至17中任一项所述的用户监测系统，其中，所述眨眼模式包括至少两次眨眼、或至少三次眨眼、或至少四次眨眼、或至少五次眨眼。

19.如权利要求11至18中任一项所述的用户监测系统，其中，所述处理器进一步被配置为使用所确定的时间偏移来在时间上配准所述第一数据流与所述第二数据流。

20.如权利要求11至19中任一项所述的用户监测系统，其中，所述处理器进一步被配置为：

检测在所述第一眨眼序列和所述第二眨眼序列中都存在的第二眨眼模式；

通过将所述第二眨眼模式在所述第一数据流和所述第二数据流中的相应位置进行比较，确定所述第一数据流与所述第二数据流的第二时间偏移；以及

根据所述时间偏移和所述第二时间偏移确定漂移值或漂移系数。

Images