CN105324794A - 头部和眼睛跟踪 - Google Patents

Abstract

本发明的实施例涉及从具有多个帧的视频录像提取眼睛速度信息的方法，包括在视频录像的至少两帧中检测眼睛的至少一部分，对视频录像的所述至少两帧应用光流算法以提取像素速度信息，以及从所检测的眼睛的所述至少一部分中的像素速度信息确定统计测量。本发明的其它实施例涉及从具有多个帧的视频录像提取头部图像轨迹信息的方法，包括在视频录像的至少两帧中检测头部图像的面部区域的至少一部分，确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量，以及从运动的测量确定变换映射图。

Description

头部和眼睛跟踪

技术领域

本发明一般涉及用于处理对确定视动性眼震(optokineticnystagmus)和头部运动有用的视频信息的系统和方法。

背景技术

幼儿视觉功能的准确评估尤其具有挑战性。存在几种可用的方法，但是没有一种特别适于被没有对小儿眼科、验光学和/或视觉电生理学进行过广泛培训的卫生保健提供者使用。

视动性眼震(OKN)是由连续移动的图案或刺激触发的不自主的眼睛运动现象，并且可以被用来评估视觉功能。OKN是眼睛移动以平滑地追寻视觉刺激中的目标然后是其中眼睛固定到新刺激目标的重置事件(扫视)的重复。图1(b)示出了随时间推移的眼睛位移的图，示出了作为OKN眼睛运动的特点的锯齿OKN曲线图。

OKN的存在或不存在是视觉性能的客观指示并且也会对评估神经障碍有用。在人的一生中视力问题的早期检测对于显著改善继续治疗的结果也是已知的。

OKN视觉刺激由具有可修改的属性，包括对比度、频率或相干性，的线或点的排列组成。操纵这些参数允许测量OKN在其不再存在的阈值。这个阈值是视觉性能的量度。

引起OKN的一种方法是使用具有视觉刺激的手持转鼓。临床医生观察眼睛运动，以做出关于OKN存在或不存在的决定。

检测OKN的另一种方法被称为眼电图法。放在眼睛周围的电极在眼睛(强偶极子)响应于视觉刺激而移动时测量电势的变化。由电极产生的信号被分析，以确定OKN的存在或不存在。

检测OKN的另一种方法是使用视频眼震图技术。眼睛的位置通过检查观察直播或录制的视频来跟踪。视频眼震图是有吸引力的，因为它是非侵入性的并且可以利用低成本和基本的视频硬件来实现。美国专利7,380,938描述了一种视频眼震图技术，其中眼睛的视频录像被记录，眼睛的垂直和水平运动被隔离并且眼睛在水平和垂直方向的位移被测量。位移测量可以被分析，以确定OKN图案的存在或不存在。

视频眼震图技术的一个缺点是它们要求在相机与眼睛之间的固定位置关系，以便消除由头部运动引入的性能误差。为了防止头部运动，常常需要受试者将他们的头部放在固定的腮托中或者佩戴头戴式装备，诸如相机和照明装备，以改善视频记录。幼儿和婴儿不能忍受头部固定或头戴式装置(gear)，这阻碍了利用视频眼震图技术对其视觉功能的客观评估。

本发明的目标涉及克服或至少改善一些上述缺点或者至少为公众提供有用选择的评估视动性眼震的途径。

在本说明书中，其中对外部信息源，包括专利说明书和其它文件，进行的引用，这一般而言是为了给讨论本发明的特征提供背景。除非另有说明，否则对这些信息源的引用在任何司法管辖范围中都不应当被解释为承认这些信息源是现有技术或者构成本领域的公知常识的一部分。

发明内容

在一个广泛的方面，本发明包括从具有多个帧的视频录像提取眼睛速度信息的方法，包括在视频录像的至少两帧中检测眼睛的至少一部分，对视频录像的所述至少两帧应用光流算法以提取像素速度信息，以及从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量。

在另一个广泛的方面，本发明包括眼睛跟踪系统，包括布置为捕获眼睛的录像的相机、被配置为接收眼睛的录像并且执行以下步骤的控制器：在录像的至少两帧中检测眼睛的至少一部分、对该录像应用光流算法以从而确定录像的所述至少两帧之间的像素速度信息、以及从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量。

在另一个广泛的方面，本发明包括被编程为执行以下步骤的控制器设备：在录像的至少两帧中检测眼睛的至少一部分、对该录像应用光流算法以从而确定录像的所述至少两帧之间的像素速度信息、以及从被检测的眼睛的至少一部分内的像素速度信息确定统计测量。

一些实施例还包括一个或多个步骤(以任何次序)：

从速度信息确定眼睛的至少一部分的速度量值以及方向、从速度信息确定任何速度最大值和最小值、比较任何最大值或最小值与下速度阈值并且丢弃低于该阈值的任何最大值或最小值、比较任何最大值或最小值与上速度阈值并且丢弃高于该阈值的任何最大值或最小值、比较相邻的最大值或最小值之间的帧间距离与帧阈值并且丢弃低于该帧阈值的任何最大值或最小值、确定速度信息中的任何单独的最大值或单独的最小值并且丢弃单独的最大值或单独的最小值、将最大值或最小值速度量值求平均、和/或规格化最大值或最小值速度量值。

在一些实施例中，像素速度信息的统计测量是平均像素速度。

在一些实施例中，眼睛的至少一部分是眼睛的对比度不连续的区域。

在一些实施例中，眼睛的至少一部分是眼睛的角膜缘部分。

一些实施例还包括为视频录像中每个连续的帧生成像素速度平均值的列表。

一些实施例还包括比较所确定的速度信息与健康速度信息，以确定眼睛和/或视觉通路的健康状况。

一些实施例还包括比较所确定的速度信息与健康速度信息，以确定OKN的存在性和/或强度。

在一些实施例中，眼睛的角膜缘部分由边缘检测算法确定。

在一些实施例中，边缘检测通过Prewitt算子的应用来执行。

在一些实施例中，光流算法是Lucas-Kanade光流算法。

在一些实施例中，光流算法被用来确定对应于若干重置事件的一定长度的视频录像的连续帧之间的像素速度信息。

一些实施例还包括布置在眼睛前面的视觉刺激，该刺激可操作为引起视动性眼震。

一些实施例还包括比较平均速度信息与已知的视动性眼震速度信息，以响应于刺激而确定眼睛的健康状况。

在一些实施例中，视频录像是从观看刺激的受试者获得的。

在一些实施例中，刺激是屏幕。

在一些实施例中，相机和屏幕被包含在外壳内。

在一些实施例中，相机、屏幕和控制器集成在外壳内。

在一些实施例中，外壳是智能电话、平板电脑或便携式计算设备当中任何一个或多个。

在一些实施例中，检测眼睛的至少一部分不包括眼睛的特征的检测。

在另一个广泛的方面，本发明包括改善受试者对眼睛跟踪的关注的方法，包括操作至少一个显示器显示具有获得观看者的关注的功能的视频的视频、操作至少一个显示器以示出OKN刺激视频、以及利用相机记录观看OKN刺激视频的眼睛。

在一些实施例中，具有获得观看者的关注的功能的视频是动画视频。

在一些实施例中，该方法还包括根据权利要求1的从眼睛的记录提取眼睛速度信息的方法。

在一些实施例中，统计测量被用来确定与人的行为、人对广告的响应、安全目的、或消费者关注当中一个或多个相关的信息。

一些实施例还包括通过一种方法从视频录像提取头部图像轨迹信息，该方法包括：在视频录像的至少两帧中检测头部的面部区域的至少一部分、确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量、以及从运动的测量确定变换映射图。

一些实施例还包括确定变换映射图的逆、将变换的逆应用到视频录像中的每一帧，使得帧内面部区域基本保持恒定。

一些实施例还包括利用Viola-Jones算法从视频录像的帧内检测面部区域。

一些实施例还包括利用Harris角点检测算法在帧内检测面部区域的一个或多个特定部分。

一些实施例还包括利用KanadeLucasTomasi(KLT)点跟踪器确定连续视频帧之间的面部区域或面部区域的一个或多个特定部分的运动的测量。

在一些实施例中，运动的测量包括旋转、缩放和/或平移运动当中一个或多个。

在一些实施例中，变换映射图是从运动信息创建的。

一些实施例还包括应用逆相似性变换来偏移视频录像中每一帧，使得帧内的面部区域关于每一帧基本上保持恒定。

一些实施例还包括应用逆相似性变换来修剪视频录像中每一帧以生成新的帧，使得帧内的面部区域关于每一帧基本上保持恒定。

在一些实施例中，头部轨迹信息被用来改善眼睛速度信息。

在一些实施例中，头部轨迹信息相对于眼睛跟踪信息偏移，以基本上除去由头部运动造成的眼睛速度信息。

在另一个广泛的方面，本发明包括处理具有多个帧的视频录像以确定OKN的存在性的方法，该方法包括：通过一种方法提取头部轨迹信息，该方法包括：在视频录像的至少两帧中检测头部图像的面部区域的至少一部分、确定所述至少两帧之间的面部区域的所述至少一部分的运动的测量以及从运动的测量确定变换映射图、以及通过一种方法提取眼睛速度信息，该方法包括：在视频录像的至少两帧中检测眼睛的至少一部分、对视频录像的所述至少两帧应用光流算法以提取像素速度信息、以及从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量。

在一些实施例中，头部轨迹信息相对于眼睛跟踪信息偏移，以基本上除去由头部运动造成的眼睛速度信息。

在另一个广泛的方面，本发明包括从具有多个帧的视频录像中提取头部图像轨迹信息的方法，该方法包括：在视频录像的至少两帧中检测头部图像的面部区域的至少一部分、确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量、以及从运动的测量确定变换映射图。

在另一方面，本发明包括从具有多个帧的视频录像中提取头部图像轨迹信息的方法，该方法包括：在视频录像的至少两帧中检测头部图像的面部区域的至少一部分、确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量、以及从运动的测量确定变换映射图。

在另一方面，本发明包括用于提取头部图像轨迹信息的头部跟踪系统，包括：被布置为捕获头部的录像的相机和被配置为接收头部的录像并且执行以下步骤的控制器：在视频录像的至少两帧中检测头部的面部区域的至少一部分、确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量、以及从运动的测量确定变换映射图。

在另一方面，本发明包括被配置为执行以下步骤的控制器设备：在视频录像的至少两帧中检测头部的面部区域的至少一部分、确定在所述至少两帧之间的面部区域的所述至少一部分的运动的测量、以及从运动的测量确定变换映射图。

在一些实施例中，方法或步骤还包括：确定变换映射的逆、将变换的逆应用到视频录像中的每一帧，使得帧内的面部区域基本上保持恒定。

一些实施例还包括利用Viola-Jones算法从视频录像的帧内检测面部区域。

一些实施例还包括利用Harris角点检测算法识别帧内的面部区域的一个或多个特定部分。

一些实施例还包括利用KanadeLucasTomasi(KLT)点跟踪器确定连续视频帧之间的面部区域或面部区域的一个或多个特定部分的运动的测量。

在一些实施例中，运动的测量包括旋转、缩放和/或平移运动当中一个或多个。

在一些实施例中，变换映射图是从运动信息创建的。

一些实施例还包括应用逆相似性变换来偏移视频录像中的每一帧，使得帧内的面部区域关于每一帧基本上保持恒定。

一些实施例还包括应用逆相似性变换来修剪视频录像中的每一帧以生成新的帧，使得帧内的面部区域关于每一帧基本上保持恒定。

在一些实施例中，系统或方法是要应用于婴儿、幼儿或残疾人。

在一些实施例中，系统或方法要应用于10岁以下的孩子。

在一些实施例中，系统或方法要应用于8岁以下的孩子。

在一些实施例中，系统或方法要应用于6岁以下的孩子。

在一些实施例中，系统或方法要应用于4岁以下的孩子。

在一些实施例中，系统或方法要应用于2岁以下的孩子。

在一些实施例中，系统或方法要应用于至多2岁的孩子。

在一些实施例中，系统或方法要应用于至多3岁的孩子。

在一些实施例中，系统或方法要应用于至多4岁的孩子。

下面的实施例可以涉及任何以上方面。本发明的其它方面可以从以下仅仅通过示例给出并参考附图的描述而变得显而易见。

如本文所使用的，术语“和/或”表示“和”或者“或”，或者两者兼而有之。

如本文所使用的，跟在名词后面的“(一个或多个)”指该名词的复数和/或单数形式。

如本说明书所使用的，术语“包括”意味着“至少部分由…构成”。当解释本说明书包括该术语的陈述时，在每项陈述或权利要求中以该术语开头的特征全部都需要存在，但是其它特征也可以存在。诸如“包括”和“包含”的相关术语要以相同的方式解释。

本发明还可以广泛地说成单独地或者共同地包括在本申请的说明书中提到或指示的部件、元件或特征，以及所述部分、元件或特征当中任意两个或更多个的任意或全部组合，并且在本文提到在本发明涉及的本领域中具有已知等同物的特定整体的地方，这种已知的等同物被认为结合在本文中，就好像单独阐述了一样。

对本发明所涉及的本领域技术人员而言，在不背离如所附权利要求定义的本发明范围的情况下，构造的许多变化以及本发明的广泛不同的实施例和应用将会让人想到。本文的公开内容和描述纯粹是说明性的，而非意在任何意义上的限制。

附图说明

现在将仅仅通过示例并参考附图描述本发明，其中：

图1示出了眼睛的图片。图1(a)说明了通常针对位移变化而被监视的眼睛的区域。图1(b)示出了眼睛位移随时间推移的图，呈现出了健康的眼睛运动的锯齿形曲线特点。图1(c)示出了从眼睛位移信号得出的眼睛速度的图。

图2示出了其中连续图像帧被变换为像素速度的估计的示例。图2(a)是从相机接收的眼睛的示例图像。图2(b)示出了由光流算法提供的像素速度向量的示例。图2(c)是光流速度向量的区域性速度平均值的图的示例。

图3示出了本发明的优选过程步骤的概要。

图4示出了模拟的角膜缘边缘和检测器响应的图。图4(a)示出了尺寸(σ＝5)与被观察的相似的示例输入边缘。图4(b)示出了利用指示将在实践中遇到什么的扫视速度值的计算出的响应曲线(针对三个示例速度(分别是v＝1；3；5像素/帧))。

图5示出了包括相机的组件的一个示例的布置，其中相机位于显示器附近以便呈现清晰的视线来查看眼睛。

图5(左边插图)示出低相干刺激的示例。图5(右边插图)示出全相干刺激的示例。

图6示出了从说明检测过程的各方面的校准试验获得的视频帧序列。

图7(a)–(e)示出了像素速度信息和OKN一致性值

图8示出了OKN一致性值的分布的汇总。

图9示出了速度信息中峰值的图。

图10示出了应用到一段视频录像中的单个帧，帧0055，的图3的过程。

图11示出了包括相机、屏幕和计算设备的系统的组件的概览。

图12示出了根据本发明另一种实施例的原始且稳定的头部轨迹。

图13示出了头部的3D姿态估计和稳定程序。

图14示出了用于3D空间中一定长度的视频录像的头部轨迹估计。

具体实施方式

眼睛跟踪

现有技术的视频眼震图技术需要图像中的一位置用于被主要作用于图像中的对比度过渡的边缘检测算法处理。因此，该位置必须是眼睛的高对比度特征，诸如瞳孔、角膜缘边缘或眼睑。这些特征运动可以从帧到帧被跟踪，以确定位移信号。由标准RGB相机记录的录像通常将产生眼睛的特征之间的差的对比度，尤其是对于深色的虹膜。图1(a)说明了视频记录中帧内的差对比度。图1(a)还示出图像如何会被角膜反应、眼睫毛和眼睑进一步污染。为了提高这些特征在视频记录中的对比度，并且因此提高边缘检测算法的性能，红外光被用来照亮眼睛。头支架或腮托可以被用来相对于记录装备稳定眼睛。但是，年幼的受试者对于头戴式装备和让他们的头部固定在适当位置呈敌对态度。

一种特定的实施例是允许从视频录像检测OKN的视频眼震系统和方法。视频录像被用来在受试者观看视觉刺激时做出眼睛的速度而不是位移的估计。特别地，本发明包括：通过被称为光流的图像处理算法的应用在眼睛的角膜缘区域的粗略确定中确定像素的速度估计。在优选实施例中，使用Lucas-Kanade光流算法。这种方法的显著优点是不要求精确的边缘检测，其当在具有造成图像失真的差图像对比度和其它问题的情况下工作时，提高了系统和方法的稳健性。该系统和方法还对固定的障碍物(诸如眼睑或睫毛)不敏感，这种障碍物常常使现有技术的基于位移的方法失败。另外，眼睛的特定方面或特征，(例如在眼睛中存在的斑点、线或清晰边缘)的检测是不需要的。另外，不需要扭转运动的测量。

由光流算法提供的速度估计是粗略确定的角膜缘区域中像素速度的平均值。启发式分析可以被应用到所确定的速度估计，以确定OKN的存在和方向。速度估计信息，诸如图1(c)中所示的，也可以与健康眼睛速度信息，并且尤其是OKN在其不再存在的速度阈值，人工地对比，以做出眼睛和/或视觉通路的健康状况的比较判断。速度估计也可以被用来跟踪人的凝视方向。凝视方向可以被用来判断人的行为特点，包括诸如什么视觉刺激获得其关注的信息。

在一种实施例中，系统被应用到预先记录的视频录像。但是在另一种实施例中，系统被实时地应用到来自相机的视频信号。各种实施例与被设计为引起OKN响应的视觉刺激呈现系统相结合。既有相机又有计算能力的便携式或手持式设备，诸如智能电话、平板电脑或膝上型设备可以是可用的。但是，本领域技术人员将认识到，可以使用分别能够显示适当的刺激和记录视频录像的设备。

从光流算法获得的速度信息被用来检测刺激是否已经在受试者的眼睛中引起OKN。在其中不再检测到OKN的阈值的刺激参数提供视觉性能的指示。临床医生可以检查从眼睛运动确定的速度信息。作为替代，统计分析过程可以应用到速度信息，以确定OKN的存在或不存在。

根据一些实施例，统计过程是计算从眼睛的区域确定的光流场的区域性平均速度。在一些实施例中，眼睛的角膜缘区域被使用，其中角膜缘区域是根据边缘检测过程粗略确定的。在其它实施例中，提供至少对比度不连续性的眼睛的其它区域或者区域的组合(诸如虹膜)被使用。对比度不连续性被用来跟踪将从其分析速度信息的眼睛的区域。

Lucas-Kanade特征跟踪也可以被用来跟踪头部运动。眼睛运动可以被量化并且头部运动也可以被量化。头部运动的确定可以消除对头戴式视频装备的需求。

用来引起OKN的视觉刺激的一个示例是在16”阴极射线管(CRT)上具有250个移动白点的视觉显示器，如图5中所示。本领域技术人员将认识到，显示器可以是相对于要显示的刺激视频的尺寸和分辨率具有足够的尺寸和分辨率的任何屏幕。例如，可以使用CRT屏幕、LCD或手持式显示器。在一些实施例中，点的尺寸是大约0:5°并且在8:3°的圆形窗口中呈现大约8秒。在一些实施例中，点以大约8.3°/秒移动。在一些实施例中，一起移动的点与点的总数之比是可调的。全点相干让100％的点在相同的方向移动，诸如图5中右边插图所示，而低点相干让所有点的30-38％一起移动，而其余的随机移动，诸如图5中左边插图所示。在一些实施例中，点的相干性也是可调的。

在一个示例中，CRT显示器放在离受试者的眼睛大约60厘米的距离。视频录像是利用以25帧/秒递送RGB图像(1920×1080像素)的视频录像的SONY数字高清晰度相机(HDR-CX7EK，索尼公司，东京，日本)收集的。相机位于显示器附近，以呈现清晰的视线来查看眼睛。这种布置(不含受试者)一般地在图5中示出。

在另一个示例中，尤其是为了改善年幼测试主体的关注，视觉刺激视频与吸引儿童的视频片段(诸如卡通)穿插。在显示视觉刺激视频达足以获取OKN数据的一段时间之前，显示卡通或其它种类的动画视频达足以获得年幼受试者关注的一段时间。卡通可以在关注减少时或者作为替代在OKN视频完成时显示。卡通可以由控制设备自动地或者由操作者人工地切换显示。在另一个示例中，卡通可以在第一屏幕上显示并且OKN刺激视频可以在第二屏幕上显示。第一屏幕被开启，以获得受试者的关注，然后第二屏幕被开启并且第一屏幕关闭，使得受试者观看OKN刺激。

在一些实施例中，视频录像被输入到系统，诸如能够处理视频数据的计算设备。这种系统的一个示例是运行MATLAB软件的PC。计算设备配备用于接收视频录像并且执行该录像的操纵和分析的硬件和软件。作为替代，计算设备可以是独立系统，诸如微处理器或微控制器。图11示出了包括用于记录眼睛录像的相机60、用于显示刺激的屏幕70以及计算设备80的系统的组件的概览。这些组件当中每一个都可以包含在外壳90内，诸如前面所述的智能电话或平板电脑。

根据各种实施例确定OKN的方法是根据以下步骤进行的。包含眼睛录像的视频序列在眼睛观看刺激时被记录。在一些实施例中，视频是彩色的和高清晰度的，例如1920×1080像素，但也可以是黑白的和/或低清晰度的。在一些实施例中，视频录像被降至灰度级，以减少计算复杂性。光流图像处理算法被应用到视频录像，以便从连续的帧确定像素速度信息。速度信息是从眼睛的有限区域确定的并且该区域是眼睛的角膜缘和/或角膜缘的边缘部分。该区域是由边缘检测算法确定的眼睛的角膜缘区域的粗略估计。图像处理算法输出由对视频录像中两个连续帧确定的眼睛的角膜缘区域中的像素速度信息表示的光流信息。像素速度信息，包括速率和方向，可以直接被评估，以确定OKN的存在性和方向。

该过程的步骤的一个示例在图3中示出，其中两个连续图像帧到像素速度估计的变换被示出。在第一步骤10中，连续的视频帧I(t)和I(t+1)取自高清晰度彩色视频录像并降至灰度级。在第二步骤20中，眼睛的角膜缘区域的粗略确定由应用到视频录像的边缘检测处理确定，以确定边缘映射图。边缘映射图代表眼睛的角膜缘部分的位置的确定，并且因此代表要从其确定光流信息的视频录像的区域的确定。边缘映射图不需要为了让光流信息有用而精确地确定。该过程对于贯穿视频录像的帧获得的角膜缘边缘映射图中的变化是稳健的。边缘检测理想地是利用滞后阈值通过Prewitt算子的应来执行的。但是，本领域技术人员将认识到，其它边缘检测策略或算子也可以被用来确定角膜缘区域。低于某个权重的连接区域以及连接到图像边界的区域都被除去。在第三步骤30中，光流估计过程根据像素强度的空间和时间变化确定像素速度信息，该步骤可以与第二步骤20同时或者在第二步骤20之前处理。如图1(c)中所示，角膜缘区域应当在眼睛的快速重置事件(扫视)期间呈现速度尖峰并且在观察到刺激的其它时段期间呈现平滑或恒定的速度变化。

图2更详细地示出了光流处理。图2(a)示出了示出眼睛的图像或一条视频录像的单个帧。图2(b)示出了指示在连续帧之间行进的像素的量值和方向的多个向量。图2(c)是对于多个连续帧的图2(b)的像素向量的平均速度的图。

在图3的第四步骤40中，由边缘检测处理20提供的角膜缘区域信息与由光流处理30提供的像素速度信息结合，以产生被遮蔽的速度场。被遮蔽的速度场表示只在所检测的角膜缘区域内的速度信息。在第五步骤50中，来自被遮蔽的速度场的速度信息被求平均，以产生用于视频录像中给定的一对连续帧的速度值。图3的过程根据需要对视频录像中尽可能多的连续帧执行，使得速度作为时间的函数的图被提供。然后，该图可以被分析，以确定OKN信息。

图10示出应用到一条视频录像中的单个帧，帧0055，的图3的过程。图10(a)示出输入到该过程的眼睛图像。图8(b)示出由边缘检测处理识别的角膜缘区域。图10(c)示出像素速度的光流估计。图10(d)示出覆盖有所检测的速度信息的所检测的角膜缘区域。图10(e)示出所检测角膜缘区域内的光流速度信息的结果平均速度信息。

光流估计等式在下面作为等式1提供。

$I_t=-\▿I(x,y,t)\·V---\left(1\right)$

并且以简单的1D形式表示为等式2。

$V=\frac{-I_t}{I_x}---\left(2\right)$

等式3示出了具有随着时间推移向右行进的上升强度边缘的S形1D边缘(代表角膜缘)。

$I=\frac{1}{1+e^{-(x-vt)/{\mathrm{\σ}}_l}}---\left(3\right)$

V＝v的确认是通过等式3的导数代入等式2来提供的。估计像素速度中的误差将由于噪声、数字化和导出等式1中所使用的小时间或空间位移的假设而产生。但是，预期的响应可以从等式2观察到。

图4(a)示出了尺寸(σ＝5)与在被t＝-1，0，1索引的三个连续帧处实际所观察的尺寸相似的示例输入边缘(在这种情况下，边缘具有v＝1像素/帧的速度)。还示出了在t＝0处取得的强度I_x的缩放后的空间导数(出于说明性的目的，按5进行缩放)。

图4(b)示出了针对三个示例速度(分别是v＝1；3；5像素/帧)利用指示实践中将遇到什么的扫视速度值的计算出的响应曲线(在[-20；+20]的像素间隔上)。响应曲线示出了作为位置的函数的速度估计。响应曲线的均值和标准偏差对于给定的帧t提供响应的描述符。对v＝1边缘的响应既是单一的又指示准确的速度估计 $({\mathrm{\σ}}_{\stackrel{\‾}{V}}=0.0).$

对边缘的可测响应预期是处于扫视速度。以上分析还在较低的速度表明更准确的速度估计，当真实速度增加时，与真实速度的偏离增加(朝着饱和)。所获得的速度信息足以检测扫视运动并且因此确定OKN的存在或不存在。

对一维描述进行修改以促进在二维视频中扫视运动的检测是可能的。在一些实施例中，光流算法是Lucas-Kanade方法。但是，本领域技术人员将认识到，其它光学流测量方法也可以在适当的情况下使用。Lucas-Kanade光流算法的假设是，V在以像素p为中心的一个小区域(具有索引i＝1，...，n的像素)上是常数。在p处的速度的最小二乘估计在等式(4)中示出。

$V\left(p\right)={\left(A^{T}WA\right)}^{-1}{A}^{T}Wb---\left(4\right)$

其中，

$A=\left[\begin{array}{cc}{I}_x\left(1\right)& I_y\left(1\right)\\ I_x\left(2\right)& I_y\left(2\right)\\ .& .\\ .& .\\ .& .\\ I_x\left(n\right)& I_y\left(n\right)\end{array}\right],V\left(p\right)=\left[\begin{array}{c}{V}_x\left(p\right)\\ V_y\left(p\right)\end{array}\right],b=\left[\begin{array}{c}{I}_t\left(1\right)\\ I_t\left(2\right)\\ .\\ .\\ .\\ I_t\left(n\right)\end{array}\right]$

并且W是等式(5)中所示的对角线n×n矩阵。

W＝diag(w(1)，w(2)，…，w(n))(5)

根据期望，W是p周围的局部区域内像素的权重贡献。可以使用高斯窗口。角膜缘速度是在角膜缘区域中所有V(p)的均值并且如由等式(6)表示的，

$\stackrel{\‾}{V}=\left\{\begin{array}{cc}\frac{\underset{p}{\Σ}q\left(p\right)V\left(p\right)}{\underset{p}{\Σ}q\left(p\right)}& \begin{array}{cc}if& \underset{p}{\Σ}q\left(p\right)>0\end{array}\\ undefined& \begin{array}{cc}if& \underset{p}{\Σ}q\left(p\right)=0\end{array}\end{array}\right.---\left(6\right)$

其中，p随着包含眼睛的图像中的像素变化。在一些实施例中，使用如等式7中所示的以下加权因子q(p)，

$q\left(p\right)=\left\{\begin{array}{cc}1& \begin{array}{cc}if& p\∈\mathrm{\Ω}\end{array}\\ 0& \begin{array}{cc}if& p\∉\mathrm{\Ω}\end{array}\end{array}\right.---\left(7\right)$

其中Ω是图像内的被分类为角膜缘的像素索引集合。

已经描述了用于确定眼睛速度信息的视频眼震图技术。该技术对于由在正常成人注视中看到的头部运动、眨眼、反射和其它误差诱发因素引起的误差基本上是稳健的。另外，该技术可以与用于不会容忍头戴式装备的年幼的孩子或者受试者的头部稳定化相结合。因此，该技术是容易可适用于否则将无法进行评估的婴儿或幼儿的视频眼震图技术。该技术可以利用标准的“现成的”视频装备来实现，从而避免了对昂贵支持硬件的需求。从上述技术得到的速度信息图可以直接由受过训练的临床专业人员分析和/或由现在将描述的OKN检测处理进一步处理。

OKN强度可以通过以下来确定。例如，通过比较峰值与阈值并且丢弃低于该阈值的那些峰值，不指示OKN的峰值被拒绝。幸存峰值的高度的平均值被确定并且由适当的规格化值进行缩放。如果峰值弱或者在正和负之间平均分布，则产生较低的值。相反，如果峰值始终是正或负，则测量将利用平均高度缩放，并且符号将与重置事件的方向关联。图9示出了速度信息中峰值的图。

用于根据各种实施例从所获得的速度信息检测OKN的过程步骤的更详细解释在下面提供：

1.检测V_x(t)信号的给定间隔内的所有最大值和最小值并且将它们标记为Q(j)，其中j＝1...M。最大值(或最小值)被定义为具有比测试点少(或多)σ_peak像素/帧的绝对阈值的相邻点的点。

2.比较阈值与这些峰值并且消除小于经验确定的速度阈值的所有峰值将M重置成剩余峰值的数目。

3.如果高于(或低于)轴的最小值(或最大值)不指示眼睛的方向的逆转，则拒绝它们。有效的速度峰值原则上应当跨由零速度定义的轴：慢阶段和快阶段发生在相反的方向(并且因此具有相反的符号)。这条规则还有助于识别在有效速度峰值面上可能发生的“锯齿边缘”或噪声。再次，将M重置成剩余峰值的数目。

4.拒绝小于给定帧隔开数目(σ_t)的峰值。扫视运动应当跟在一段平滑的追踪之后。非常短的延迟期对于OKN是不寻常的。在一些实施例中，对应于133至160ms(对于30Hz和25Hz的相机帧速率)的4帧阈值被使用。在一些实施例中，对于以10deg/s移动的刺激，预期的慢阶段间隔估计为大于250ms。再次，将M重置成剩余峰值的数目。

5.在一些实施例中，拒绝孤立的最大值或最小值(即，数据中那些没有相同符号的其它峰值的最大值或最小值)。孤立的峰值常常没有足够的证据来支持OKN确定。再次，将M重置成剩余峰值的数目。

6.确定规格化的平均峰值速度如果有剩余的峰值，则取作为在通过速度阈值规格化之后的速度的均值。在一些实施例中，阈值被设置为0.5像素/帧。如果没有剩余的峰值，则将值设为零，如由等式(8)所示：

$\stackrel{\&OverBar;}{K}=\left\{\begin{array}{cc}1/\left({\mathrm{M\&sigma;}}_{\stackrel{\&OverBar;}{V}}\right)\underset{j=1}{\overset{M}{\&Sigma;}}Q\left(j\right)& M<0\\ 0& M=0\end{array}\right.---\left(8\right)$

的符号确定OKN重置事件的方向。对于正重置事件将向右，而对于负它将向左。量值将指示OKN在数据中的一致性。小于1的的绝对值指示缺乏指示OKN的一致扫视运动。大于或等于1的的值指示存在一致扫视运动，并且因此指示OKN。

以下试验工作的描述进一步说明本发明。

试验数据部分1

为了测试检测处理的性能，对平均年龄为二十五岁的六个参与者记录健康眼睛的视频录像。通过人工修剪每只眼睛周围的视频，所获得的录像被准备用于进一步处理。视频记录被切割成对应于刺激的时间长度的时间长度。在这种情况下，刺激是八秒。从参与者获得了总共一百一十五个焦点对准的试验，其中七十个是针对全相干刺激获得的并且四十二个针对低相干刺激获得。预期刺激相干改变眼睛的OKN响应。

速度估计器和OKN检测器被应用到每个结果生成的视频记录。结果产生的OKN强度测量的符号被用作OKN方向的指示符。所使用的光流算法是由Dollar(2012年)所写的版本，被命名为Lucas-Kanade光流求解器。

前十七个试验是利用具有100％相干的纯刺激图案记录的。这些试验被用来校准参数，以备后用。在所有算法参数的适当调整之后，对于我们的十七个试验的校准集合，试验准确率为100％(9个正确的左检测，8个正确的右检测)。

图6示出了从说明检测过程的各方面的校准试验获得的视频帧序列。所估计的角膜缘区域被覆盖在眼睛的灰度级图像之上。帧10示出了静止的眼睛，而帧54-56示出了OKN重置事件的发生。帧26表明在眨眼过程中角膜缘边缘的缺失。这些观察通过对这个序列检查水平和垂直速度轨迹被进一步证实，如图7(a)和7(b)中所示。图6中静止画面的左下角中出现的帧数直接对应于图7(a)和7(b)的水平轴。作为OKN数据被接受的峰值加方框示出。

经验设定的0.5像素/帧的速度阈值也示为虚线。检测器对所有115个试验的性能为93％，其中52个正确的左检测、53个正确的右检测和10个错误。检测器对全相干组的性能为96％，其中38个正确左检测、32个正确的右检测和3个错误。低相干组的性能为88％，其中14个正确左检测、21个正确的右检测和7个错误。

OKN一致性值的实际分布由图8汇总。直方图说明了跨两个组的的分布，这两个组指示正确和不正确的分布。不正确的检测可能与低OKN值关联。对于这种观察，有两种可能的可能性。OKN尖峰很少发生并且具有低量值，和/或OKN尖峰关于零速度分布，从而导致低平均值。

三个不正确的检测在图7(c)、(d)和(e)中示出，而最后一个面板(f)示出了具有边际OKN评估(即，接近不正确情况的均值)的正确检测。双向峰值看起来互相抵消，从而导致低OKN一致性测量。为了证实这个观察，针对这些情况的视频被专家观察员进行检查并且被认为记录确实包含其中方向变化的OKN序列。因此，峰值不能归因于方法固有的虚假错误。

试验数据部分2

这个试验的目标是要评估OKN检测算法是否能够正确地将OKN眼睛运动分类为向左或向右，并且比较OKN检测器的性能与有经验的人类观察者(TY)的能力。对于这个试验，我们使用具有可变运动相干的随机点运动影像(kinematogram)(RDK)来引起OKN。选择这种刺激是因为这种刺激中的全局运动的感知被认为是依靠可能特别易受异常发展影响的纹外视觉皮层的背侧区域。RDK能够引起可靠的慢和快阶段视动性眼睛运动，以测量还不能提供对心理物理任务的行为响应的幼儿中的运动相干阈值。

RDK包括在16”CRT显示器上以100％的对比度呈现的250个移动的白点(0.5度直径，8度/秒的速度)。这些点在8.3°圆形窗口中呈现8秒并且具有有限的生命期，由此每个点有25％的机率在任何给定的帧内死亡并且在刺激内新的随机位置被重新绘制。到达刺激孔的边缘的点被反转。刺激的相干水平，即，在相同方向移动的点与点的总数之比，可以被调整，以改变在刺激中存在的相干运动的强度。我们测试全相干(即，100％的点都在相同方向移动)和低相干(所有点当中的12-15％一起移动，而剩余的随机移动)。相干运动的方向跨试验被随机化。低相干水平被选择为对于我们观察者是超阈值的(即，全局运动方向仍然清楚可见)同时仍然允许我们对由于降级的运动信号引发的眼睛运动测试该算法。1600CRT显示器从50厘米处看。视频录像是利用Sony数码高清晰相机(HDR-CX7EK，索尼公司，东京，日本)收集的，该相机以25帧/秒递送由RGB图像(1920×1080像素)组成的视频。相机被放置在CRT的一侧，并且以最近的眼睛为中心。

平均年龄为25岁并且视力正常的六个参与者随着他们的头部被腮托限制来双眼看RDK刺激。在每个RDK呈现试验之前和之后，在CRT屏幕的中心呈现固定点。参与者被指导在试验之间注视该点并且在试验期间盯着屏幕的中心。该固定点在试验期间不呈现。通过在每次试验中人工修剪每只眼睛周围的视频，从试验获得的录像被准备用于进一步处理。用于每次试验的视频在时间上被修剪以只包括当参与者看运动刺激时记录的帧。从参与者获得总共115个(8秒长度的)试验(73个全相干和42个低相干)。在每个试验中，参与者能够感知信号点的方向，如由在测试期间提供的行为响应所指示的。

速度估计器和OKN检测器被离线地应用到每个产生的视频记录。检测器估计的绝对值被阈值化，以指示OKN的存在或不存在测量的符号指示方向。前17个试验是利用100％相干刺激记录的并且被用来校准用于该方法的参数。软件是利用MATLAB写的，并且我们使用Lucas-Kanade光流求解器的实现。视频录像还由有经验的人类观察者(TY)查看，其中TY关于OKN响应是否与左或右移动的RDK一致做出2个选择的被迫选择决定。当看视频时，观察者不清楚由检测算法生成的结果。在所有算法参数的适当调整之后，我们实现了针对我们的17个试验的校准集合100％的准确率(9个正确的左检测，8个正确的右检测)。

相比人类观察者的98％(53个正确的左检测，60正确的右检测，2个错误)，检测器对所有115个试验的性能为93％(54个正确的左检测，53个正确的右检测，8个错误)。相比人类观察者的100％(38个正确的左检测，35个正确右检测)，检测器对全相干试验的性能为96％(38个正确的左检测，32个正确的右检测，3个错误)。

对于低相干试验，与人类观察者的95％正确率(15个正确的左检测，25正确的右检测，2个错误)相比，检测器以88％正确率(16个正确的左检测，21个正确的右检测，5个错误)执行，这也不是显著差异(Chi-Square(卡方)＝1.40，p＝0.24)。对于全相干试验，与对于正确分类的试验的18/70(26％)相比，3/3(100％)错误分类的试验具有小于1的K值(Chi-Square＝7.7，p<0:005)。同样，对于低相干试验，与对于正确识别试验的17/37(46％)相比，5/5(100％)错误分类的试验具有小于1的K值(Chi-Square＝5.0，p＝0.02)。对不正确分类的试验的速度迹线的检查指示，低值是因速度峰值在零周围相对均匀地分布而产生。这些双向峰值看起来互相抵消，从而导致低OKN一致性测量。

为了证实这个观察，被检测器不正确分类的8个试验的视频录像由有经验的观察人员(TY)第二次检查。证实双向速度尖峰是由于在视频录像中可见的实际眼睛运动引起的，并且不是由本方法的虚假误差造成的。还发现，记录的确包含其中方向改变的OKN序列。

试验数据部分3

这个试验有三个目的：评估OKN一致性测量是否受刺激速度影响，评估OKN检测器是否正确地拒绝其中参与者被动地观看固定刺激的试验，并评估检测技术是否可以适用于利用标准的网络摄像头获得的录像。高对比度方波光栅刺激被用于试验，因为这种类型的刺激在临床研究中常规用于诱发OKN。

IBMP275阴极射线屏幕(2000屏幕，1600×1200的分辨率和60Hz的刷新率)的屏幕从1.9m远处被观看，在屏幕上呈现具有3.8周/度(相当于0.9LogMAR)的基本空间频率的100％对比度的方波光栅。三个呈现速度(0度/秒，5度/秒和10度/秒)被使用，并且光栅总是从右向左移动。OKN眼睛响应的视频录像是利用定位于与参与者眼睛10cm远的HDPro920Logitech(罗技)网络摄像头(设置在30Hz的帧速率)获得的。刺激被呈现，同时记录来自网络摄像头的视频馈入。

一组平均年龄为23岁并且视力正常的五名观察者双眼观看刺激图案并且被指示在刺激呈现期间盯着漂动的刺激图案的中心。观察者的头部利用腮托来约束。每个观察者完成每个刺激速度(0、5和10度/秒)的一个试验。眼睛运动被记录达至少8秒并且记录是利用上述光流方法进行处理的。

角膜缘检测参数被修改，以考虑由于将相机定位到更靠近眼睛而导致的眼睛的较大图像。在试验1中，权重低于20的像素组被丢弃。在这个试验中，阈值被增加到300像素，以考虑所记录的角膜缘增大的尺寸。还注意到，附加的启发式规则在这个试验中被引入。如果(在同一方向)检测到两个连续的峰值，但是后续的扫视峰值之间的时间间隔大于4秒阈值，则假设峰值之间的间隔由于OKN的慢阶段而不一致。在不存在附加(相同符号的)相邻峰值的情况下，这两个峰值将被丢弃。

对于固定刺激，速度迹线或者不通过该算法以允许的估计(3/5迹线)或不超过阈值(2/5迹线，像素/帧)。所有运动刺激的方向被检测器正确分类并且用于5度/秒试验的值不与用于10度/秒试验的值有显著差异(5度/秒意味着SD＝0.15；10度/秒意味着SD＝0.62；t＝1.45，p＝0.22)。

当具有参与者观看方波光栅刺激的网络摄像录像时，OKN检测器对OKN的存在或不存在是敏感的。在其中有效OKN被检测到的情况下，由OKN检测器产生的值在刺激速度加倍时没有变化，这表明用于检测OKN的该测量对刺激速度是相对稳健的。

因此，测试指示本文所述的实施例可以检测由RDK和方波光栅引起的OKN，并且具有与有经验的人类观察者可比的准确度。因此，幼儿中视觉功能的客观评估通过使用OKN的非自愿、反射性眼睛运动是可能的。特别地，2岁或大约2岁的孩子已被发现尤其受益于本发明可以提供的信息。

上述实施例在广告和安全领域中都有用处。例如，人的凝视方向可以被跟踪，以确定与消费者的兴趣或行为相关的信息。

头部跟踪

如前面所讨论的，孩子不能忍受腮托或头戴式眼睛跟踪装备。另外，利用上述OKN检测处理的视频录像内的头部运动可能会无意中被解释为眼睛运动并且有害地影响眼睛运动测量的准确度。但是，这种装备以前被认为是从不能保持静止的人获取眼睛运动的稳定视频录像的唯一方法。

本发明的进一步实施例涉及视频录像内头部运动的确定，并且可选地补偿所确定的头部运动。头部运动的准确确定允许忽略腮托或头戴式装备，并且允许上述OKN检测处理被优化。

在一些应用中，头部运动信息被量化并结合上述OKN分析系统使用，以减轻由于无意中被确定为眼睛运动的过度头部运动引起的误差。在其它应用中，头部运动信息与上述OKN分析系统独立地被使用。

根据特定的实施例中，头部运动信息通过一个过程从视频录像获得，该过程理想地由计算系统承担，所述过程包括：

·在视频录像的至少两帧中检测相同面部区域的至少一部分，

·确定在所述至少两帧之间该相同面部区域的所述至少一部分的运动的测量，以及

·确定对应于所确定的运动的测量的变换信息。

稳健的面部特征包括容易被相机识别的具有独特颜色或明暗对比度的区域。照明调整可选地应用到受试者和/或视频录像被处理以改善面部特征的区别。在一些实施例中，面部区域内一个或多个稳健的面部特征被确定，使得它们的运动可以被跟踪。

面部特征在视频录像的至少两帧中被识别并且通过确定所述至少两帧之间的与那些面部特征相关的运动信息来跟踪。运动信息通过度量(诸如帧中像素的数目)来量化。运动信息涉及平面运动并且可以可选地还涉及旋转或缩放运动。

变换信息涉及视频帧内头部的运动。通过移动或修剪帧以补偿头部的运动，变换信息被用来稳定帧内的头部运动。

在一些实施例中，运动信息被用来产生包含数据的变换映射图，该数据涉及视频录像内面部特征，并且因此头部，的旋转、缩放和平移运动当中一个或多个。针对视频录像的每一帧关于第一或前一帧所确定的相似性变换映射图为所述帧内的头部图像提供旋转、缩放和平移运动信息。

在一些实施例中，视频录像由能够承担计算指令的计算机或控制设备(控制器)处理。控制器计算并应用变换映射图的逆，以偏移视频录像中的每一帧来生成新的帧位置。其结果是，帧内录像的头部部分保持相对静止并且因此被稳定到一个位置，同时帧移动经变换的量。在一些实施例中，控制器计算并应用变换映射图的逆，以主动修剪并使每一帧关于感兴趣的区域(诸如面部区域或眼睛区域)居中，以产生那部分在每一帧中居中并且稳定的新的视频录像。

由于头部运动基本上不再影响从处理后的录像获得的眼睛运动数据，因此稳定的头部位置对于改善例如上面提到的OKN检测处理的性能是有用的。在一些实施例中，包含眼睛的帧的部分被修剪，使得稳定的眼睛录像被获得以用于进一步的OKN分析，诸如与上述自动化的OKN检测方法一起使用。通过该过程收集的信息与当人将其头部通过腮托固定在适当位置或使用头戴式装备时所收集的信息是相似或相同的。但是，这个过程不需要这类装备的负担。

在一些实施例中，非反射相似性变换映射图是利用POSIT算法创建的，该算法从2D视频帧估计3D对象的平移和旋转信息。为了准确的估计，需要至少四个3D模型点(世界空间坐标)和对应的2D图像点，相机的焦距和主点。3D模型点(modelpoint)坐标，例如，标记角点(markercorner)，是固定的并且对应的2D图像点被识别。相机属性是利用如下所示的等式(9)-(11)来估计的。

$f_x=f_y=\frac{\frac{w}{2}}{\tan (\frac{120}{2}\&times;\frac{\mathrm{\&pi;}}{180})}---\left(9\right)$

$c_x=\frac{w}{2}---\left(10\right)$

$c_y=\frac{h}{2}---\left(11\right)$

在这些等式中，项f_x和f_y分别是x和y方向中的焦距(假定为相等)并以像素为单位表示。图像维度由(w,h)给出，相机的主点由(c_x,c_y)给出。Rodrigues旋转公式被用来分别检索X、Y、Z方向的旋转。POSIT误差评估是通过经由等式(12)中给出的变换将3D模型点重新投影到2D图像平面来执行的。

$s\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& T_x\\ r_{21}& r_{22}& r_{23}& T_y\\ r_{31}& r_{32}& r_{33}& T_z\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(12\right)$

在等式(12)中，s是像素尺寸，x和y是2D图像点，X、Y和Z是3D模型坐标，r_ij是旋转参数并且T_x、T_y和T_z是平移。

在一种示例性实施例中，脸部区域是利用由计算机视觉工具箱(ComputerVisionToolBox)MATLAB(MathWorks，Natick，VA)提供的Viola-Jones算法，以及PittPattSDK版本5.2.2(由Google获取)从视频录像的视频帧内检测的。帧内稳健的面部特征是利用Harris角点检测算法识别的。稳健的面部特征是利用也在MATLAB中可用的KanadeLucasTomasi(KLT)点跟踪器在连续帧之间被跟踪。在一些实施例中，非反射相似性变换是利用POSIT算法从后续帧之间的被跟踪点的变化而生成的。然后，逆相似性变换作为偏移被应用到每一帧，以补偿后续帧之间面部特征位置的变化。由此，面部特征通过计算被保持在初始位置。每只眼睛周围的区域能够在每一帧中被修剪，以隔离眼睛运动与头部运动。

图13概述了比较自动化示例性过程的准确性的人工过程。图13(d)示出了在记录视频录像之前被人工放在受试者脸上的视觉标记。视觉标记在所记录的录像中提供从其运动可以被测量的清晰的点。对于所记录的录像中的每一帧，每个标记的五个角点利用MATLABginput命令被人工选择。特征被选择的次序跨帧是一致的，以维持从帧到帧特征的对应性。Kalman过滤器被用来平滑特征跟踪，因为人工点选择引入噪声。四个参考点被插入每个记录并且跨每个视频帧被跟踪。叠加这些点允许计算人工和自动稳定之间的差异。这些点的坐标在人工稳定的帧与自动稳定的帧之间进行比较。

图13(a)示出了位于自动检测到的面部区域中的Harris角点。图13(b)示出了眼睛区域“被锁定”到每一帧的中心的稳定视频。图13(c)示出了眼睛周围的区域被修剪。图13(d)示出了具有人工选择的中心点的标记。图13(e)示出了3D姿态估计通过POSIT算法被确定，其中单位是厘米。图13(f)示出了人工选择的标记点的重新投影，示出了估计的头部姿态。图14示出了用于3D空间中一定长度的视频录像的头部轨迹估计。

图12用“+”符号表示示例长度的视频录像内所确定的面部特征的轨迹。“*”符号表示在逆变换映射图应用到每一帧之后被有效稳定的结果。

在图12中，面部在稳定化之前被局部化到坐标(523.8037,253.3558)±(18.6676,8.9088)像素，并且在稳定化之后在(500.4114,260.0309)±(1.8828,1.4282)像素。结果产生的稳定化的录像呈现出面部特征位置的紧密分组，这又说明了与原始录像相比而言头部部分的基本稳定。然后，稳定的录像能够被一致地修剪为期望的区域。

自动和人工稳定之间的平均均方差为7.7494个像素。3D姿态估计的百分比误差为0.2428％。这个数据指示，涉及标记的更劳动密集型人工跟踪方法虽然稳健，但是对于获得对许多目的有用，并且对于与上述OKN检测过程一起使用特别有用的稳定视频录像不再是必要的。

在一些实施例中，头部轨迹信息被用来改善眼睛速度信息。在一些实施例中，头部轨迹信息相对眼睛跟踪信息偏移，以基本上除去由头部运动造成的眼睛速度信息。例如，与头部运动的速度相关的数据可以相对与眼睛运动有关的数据偏移，使得由非零头部速度造成的误差被大大减少或基本上从眼睛速度信息除去。

在前面的描述中已经对具有已知等同物的元件或整体进行参考的地方，这种等同物就像它们被单独阐述一样被包括。虽然已经通过示例并参考特定的实施例对本发明进行了描述，但是应当理解，在不背离如权利要求中所阐述的本发明范围的情况下，可以进行修改和/或改进。

Claims (51)

1.一种从具有多个帧的视频录像提取眼睛速度信息的方法，所述方法包括：

在视频录像的至少两帧中检测眼睛的至少一部分，

对视频录像的所述至少两帧应用光流算法以提取像素速度信息，以及

从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量结果。

2.一种眼睛跟踪系统，包括：

相机，被布置为捕获眼睛的录像,

控制器，被配置为接收眼睛的录像并且执行以下步骤：

在录像的至少两帧中检测眼睛的至少一部分，

对录像应用光流算法，以由此确定录像的所述至少两帧之间的像素速度信息，以及

从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量结果。

3.一种控制器设备，所述控制器设备被编程为执行以下步骤：

在录像的至少两帧中检测眼睛的至少一部分，

对该录像应用光流算法，以由此确定录像的所述至少两帧之间的像素速度信息，以及

确定所检测的眼睛的所述至少一部分内的像素速度信息的统计测量结果。

4.如权利要求1至3中任何一项所述的方法、系统或设备，还包括一个或多个步骤(以任何次序)：

从速度信息确定眼睛的至少一部分的速度量值以及方向，

从速度信息确定任何速度最大值和最小值，

比较任何最大值或最小值与下速度阈值，并且丢弃低于该阈值的任何最大值或最小值，

比较任何最大值或最小值与上速度阈值，并且丢弃高于该阈值的任何最大值或最小值，

比较相邻的最大值或最小值之间的帧间距离与帧阈值，并且丢弃低于该帧阈值的任何最大值或最小值，

确定速度信息中任何单独的最大值或单独的最小值，并且丢弃所述单独的最大值或所述单独的最小值，

将最大值或最小值速度量值求平均，和/或

规格化最大值或最小值速度量值。

5.如权利要求1至4中任何一项所述的方法、系统或设备，其中像素速度信息的统计测量结果是平均像素速度。

6.如权利要求1至5中任何一项所述的方法、系统或设备，其中眼睛的所述至少一部分是眼睛的对比度不连续的区域。

7.如权利要求1至6中任何一项所述的方法、系统或设备，其中眼睛的所述至少一部分是眼睛的角膜缘部分。

8.如权利要求1至7中任何一项所述的方法、系统或设备，还包括为视频录像中每个连续的帧生成像素速度平均值的列表。

9.如权利要求1至8中任何一项所述的方法、系统或设备，还包括比较所确定的速度信息与健康速度信息，以确定眼睛和/或视觉通路的健康状况。

10.如权利要求1至9中任何一项所述的方法、系统或设备，还包括比较所确定的速度信息与健康速度信息，以确定OKN的存在性和/或强度。

11.如权利要求1至10中任何一项所述的方法、系统或设备，其中眼睛的角膜缘部分由边缘检测算法确定。

12.如权利要求11所述的方法、系统或设备，其中边缘检测通过Prewitt算子的应用来执行。

13.如权利要求1至12中任何一项所述的方法、系统或设备，其中光流算法是Lucas-Kanade光流算法。

14.如权利要求1至13中任何一项所述的方法、系统或设备，其中光流算法适用于确定对应于若干重置事件的一定长度的视频录像的连续帧之间的像素速度信息。

15.如权利要求1至14中任何一项所述的方法、系统或设备，还包括布置在眼睛前面的视觉刺激，所述刺激能够操作为引起视动性眼震。

16.如权利要求15所述的方法、系统或设备，还包括比较平均速度信息与已知的视动性眼震速度信息，以响应于刺激而确定眼睛的健康状况。

17.如权利要求1至16中任何一项所述的方法、系统或设备，其中视频录像是从观看刺激的受试者获得的。

18.如权利要求17所述的方法、系统或设备，其中所述刺激是屏幕。

19.如权利要求18所述的方法、系统或设备，其中相机和屏幕包含在外壳内。

20.如权利要求18所述的方法、系统或设备，其中相机、屏幕和控制器集成在外壳内。

21.如权利要求19或20所述的方法、系统或设备，其中外壳是智能电话、平板电脑或便携式计算设备当中任何一个或多个。

22.如权利要求1至21中任何一项所述的方法、系统或设备，其中检测眼睛的所述至少一部分不包括眼睛的特征的检测。

23.一种改善受试者对眼睛跟踪的关注的方法，所述方法包括：

操作至少一个显示器以显示具有获得观看者的关注的功能的视频的视频，

操作至少一个显示器以示出OKN刺激视频，以及

利用相机记录观看OKN刺激视频的眼睛。

24.如权利要求23所述的方法，其中具有获得观看者的关注的功能的视频是动画视频。

25.如权利要求23或权利要求24所述的方法，其中所述方法还包括根据权利要求1的从眼睛的记录提取眼睛速度信息的方法。

26.如权利要求1至25中任何一项所述的方法、系统或设备，其中统计测量结果适用于确定与人的行为、人对广告的响应、安全目的或消费者关注当中的一个或多个相关的信息。

27.如权利要求1至26中任何一项所述的方法、系统或设备，还包括通过包括以下步骤的方法从视频录像提取头部图像轨迹信息：

在视频录像的至少两帧中检测头部的面部区域的至少一部分，

确定面部区域的所述至少一部分在所述至少两帧之间的运动的测量结果，以及

从运动的测量结果确定变换映射图。

28.如权利要求27所述的方法、系统或设备，还包括：

确定变换映射图的逆，

将变换的逆应用到视频录像中的每一帧，使得帧内的面部区域基本上保持恒定。

29.如权利要求27或28中任何一项所述的方法、系统或设备，还包括利用Viola-Jones算法从视频录像的帧内检测面部区域。

30.如权利要求27至29中任何一项所述的方法、系统或设备，还包括利用Harris角点检测算法在帧内识别面部区域的一个或多个特定部分。

31.如权利要求27至30中任何一项所述的方法、系统或设备，还包括利用KanadeLucasTomasi(KLT)点跟踪器确定面部区域或面部区域的一个或多个特定部分在连续视频帧之间的运动的测量结果。

32.如权利要求27至31中任何一项所述的方法、系统或设备，其中运动的测量结果包括旋转、缩放和/或平移运动当中的一个或多个。

33.如权利要求27至32中任何一项所述的方法、系统或设备，其中相似性变换映射图是从运动信息创建的。

34.如权利要求33所述的方法、系统或设备，还包括应用相似性变换映射图来偏移视频录像中的每一帧，以使得帧内的面部区域关于每一帧基本上保持恒定。

35.如权利要求27至34中任何一项所述的方法、系统或设备，还包括应用逆相似性变换来修剪视频录像中的每一帧以生成新的帧，以使得帧内的面部区域关于每一帧基本上保持恒定。

36.如权利要求27至35中任何一项所述的方法、系统或设备，其中头部轨迹信息被用来改善眼睛速度信息。

37.如权利要求27至35中任何一项所述的方法、系统或设备，其中头部轨迹信息相对于眼睛跟踪信息偏移，以基本上除去由头部运动造成的眼睛速度信息。

38.一种处理具有多个帧的视频录像以确定OKN的存在性的方法，所述方法包括：

通过包括以下步骤的方法提取头部轨迹信息：

在视频录像的至少两帧中检测头部图像的面部区域的至少一部分，

确定所述至少两帧之间的面部区域的所述至少一部分的运动的测量结果，以及

从运动的测量结果确定变换映射图，以及

通过包括以下步骤的方法提取眼睛速度信息：

在视频录像的至少两帧中检测眼睛的至少一部分，

对视频录像的所述至少两帧应用光流算法以提取像素速度信息，以及

从所检测的眼睛的所述至少一部分内的像素速度信息确定统计测量结果。

39.如权利要求38所述的方法，其中头部轨迹信息相对于眼睛跟踪信息偏移，以基本上除去由头部运动造成的眼睛速度信息。

40.一种从具有多个帧的视频录像提取头部图像轨迹信息的方法，所述方法包括：

在视频录像的至少两帧中检测头部图像的面部区域的至少一部分，

确定面部区域的所述至少一部分在所述至少两帧之间的运动的测量结果，以及

从运动的测量结果确定变换映射图。

41.一种用于提取头部图像轨迹信息的头部跟踪系统，所述头部跟踪系统包括：

被布置为捕获头部的录像的相机和被配置为接收头部的录像并且执行以下步骤的控制器：

在视频录像的至少两帧中检测头部的面部区域的至少一部分，

确定面部区域的所述至少一部分在所述至少两帧之间的运动的测量结果，以及

从运动的测量结果确定变换映射图。

42.一种控制器设备，被配置为执行以下步骤：

在视频录像的至少两帧中检测头部的面部区域的至少一部分，

确定面部区域的所述至少一部分在所述至少两帧之间的运动的测量结果，以及

从运动的测量结果确定变换映射图。

43.如权利要求40至42中任何一项所述的方法、系统或设备，其中方法或步骤还包括：

确定变换映射图的逆，

应用变换的逆到视频录像中的每一帧，使得帧内的面部区域基本上保持恒定。

44.如权利要求40至43中任何一项所述的方法、系统或设备，还包括利用Viola-Jones算法从视频录像的帧内检测面部区域。

45.如权利要求40至44中任何一项所述的方法、系统或设备，还包括利用Harris角点检测算法识别帧内的面部区域的一个或多个特定部分。

46.如权利要求40至45中任何一项所述的方法、系统或设备，还包括利用KanadeLucasTomasi(KLT)点跟踪器确定面部区域或面部区域的一个或多个特定部分在连续视频帧之间的运动的测量结果。

47.如权利要求40至46中任何一项所述的方法、系统或设备，其中运动的测量结果包括旋转、缩放和/或平移运动当中的一个或多个。

48.如权利要求40至47中任何一项所述的方法、系统或设备，其中相似性变换映射图是从运动信息创建的。

49.如权利要求49所述的方法、系统或设备，还包括应用相似性变换映射图来偏移视频录像中的每一帧，以使得帧内的面部区域关于每一帧基本上保持恒定。

50.如权利要求40至49中任何一项所述的方法、系统或设备，还包括应用逆相似性变换来修剪视频录像中的每一帧以生成新的帧，以使得帧内的面部区域关于每一帧基本上保持恒定。

51.如权利要求1至35中任何一项所述的方法、系统或设备，与如权利要求40至50中任何一项所述的方法、系统或设备相结合。