CN109857253A - 一种眼球追踪装置及方法 - Google Patents

Abstract

本发明实施例提供了一种眼球追踪装置及方法，该眼球追踪装置可以包括：准直单元、波导单元、图像采集单元以及主控单元。该方法可以包括：准直单元将眼部的反射光调整为平行光，并将平行光传输至波导单元；波导单元将被准直单元调整的平行光投射到图像采集单元；图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元；主控单元根据眼部图像确定注视信息。该眼球追踪装置中，图像采集单元根据该平行光可以确保采集到眼部的图像为正对眼部的图像，根据该正对眼部的图像确定的注视信息准确程度较高。

Description

一种眼球追踪装置及方法

技术领域

本发明涉及眼球追踪领域，具体涉及一种眼球追踪装置及方法。

背景技术

现有的基于光学记录法的眼球追踪装置中，直拍式结构的眼球追踪装置较为常见。在直拍式结构眼球追踪装置中，图像采集设备设置于眼部侧前方，图像采集设备与眼部所在的水平线形成一定角度，导致其采集的图像并不是眼部正对的图像，采集到的眼部图像可能会发生形变，不能反映眼部的真实特征，可能导致根据该眼部图像确定的注视信息不准确。此外，对于戴眼镜的用户，直拍式结构拍摄的眼部图像中眼球易受眼镜遮挡，可能造成图像采集设备所采集的眼部瞳孔信息不完整。

发明内容

有鉴于此，本发明实施例第一方面提供了一种眼球追踪装置，该装置可以包括：准直单元、波导单元、图像采集单元以及主控单元；沿视线方向，准直单元和波导单元相对设置，以使得眼部的反射光投射到准直单元，准直单元被配置为调整眼部的反射光为平行光；图像采集单元和波导单元相对设置，波导单元被配置为将准直单元调整的平行光投射到图像采集单元，图像采集单元被配置为根据平行光采集眼部图像；图像采集单元与主控单元连接，图像采集单元将眼部图像传输至主控单元，主控单元被配置为根据眼部图像确定注视信息。

可选的，结合第一方面，在第一方面的第一种可能的实现方式中，波导单元包括波导输入模块、波导以及波导输出模块，波导输入模块、波导以及波导输出模块依次相连设置，波导输入模块被配置为通过波导将被准直单元调整的平行光传输至波导输出模块；准直单元包括准直元件，该准直元件将眼部的反射光调整为平行光。

可选的，结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，波导输入模块的中心、准直单元的中心和眼部的中心位于同一直线上。

可选的，结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，波导输入模块、波导以及波导输出模块沿与眼部视线垂直的方向依次相连设置；图像采集单元和波导输出模块沿与视线平行的方向相对设置。

可选的，结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，波导输出模块以及波导输入模块为衍射光栅，且平行光经过波导输入模块衍射之后进入波导的入射角大于波导的全反射临界角。

可选的，结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，波导输出模块以及波导输入模块为反射平面，且平行光经过波导输入模块反射之后进入波导的入射角大于波导的全反射临界角。

可选的，结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第六种可能的实现方式中，眼球追踪装置还包括边框，边框沿准直单元的外周缘设置，波导输出模块和主控单元位于边框内；边框外缘设有光源，用于向眼部发射光线，以使得眼部的反射光投射到准直单元。

可选的，结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，图像采集单元设置于边框内部，且图像采集单元沿朝向波导输出模块的方向设置。

可选的，结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，眼球追踪装置还包括用于显示校准信息的显示设备，该校准信息用于校准；沿视线方向，准直单元、波导输入模块和显示设备依次相对设置。

本发明实施例第二方面提供一种眼球追踪方法，该方法基于第一方面至第一方面的第八种可能的实现方式中提供的眼球追踪装置。该方法可以包括：准直单元将眼部的反射光调整为平行光，并将平行光传输至波导单元；波导单元将被准直单元调整的平行光投射到图像采集单元；图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元；主控单元根据眼部图像确定注视信息。

可选的，结合第二方面，在第二方面的第一种可能的实现方式中，波导单元将被准直单元调整的平行光投射到图像采集单元，可以包括：波导输入模块接收平行光并将平行光传输至波导；波导以全反射的方式将平行光传输至波导输出模块；波导输出模块将平行光投射到图像采集单元。

可选的，结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，准直单元将眼部的反射光调整为平行光，并将平行光传输至波导单元之前，方法还包括：光源向眼部发射光线，以使得眼部的反射光投射到准直单元。

可选的，结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，光源向眼部发射光线之前，该方法还包括：光源从主控单元接收第一指令，第一指令用于指示光源向眼部发射光线。

可选的，结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元之前，该方法还包括：图像采集单元从主控单元接收第二指令，第二指令用于指示图像采集单元根据平行光采集眼部图像。

可选的，结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第五种可能的实现方式中，准直单元将眼部的反射光调整为平行光，并将平行光传输至波导单元之前，方法还可以包括：显示设备显示校准信息，该校准信息用于校准。

本发明实施例提供了一种眼球追踪装置及方法，准直单元将眼部的反射光调整为平行光，并将平行光传输至波导单元；波导单元将平行光投射到图像采集单元；图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元；主控单元根据眼部图像获取眼部的注视信息。该眼球追踪装置中，图像采集单元根据该平行光可以确保采集到眼部的图像为正对眼部的图像，根据该正对眼部的图像确定的眼部注视的区域准确程度较高。

附图说明

图1为本发明实施例提供的一种眼球追踪装置的一个实施例示意图；

图2为本发明实施例提供的一种眼球追踪装置的一个分解示意图；

图3为本发明实施例提供的一种眼球追踪装置的一个装配示意图；

图4为本发明实施例提供的一种光路图；

图5为本发明实施例提供的一种眼球追踪方法的一个实施例示意图；

图6为本发明实施例提供的一种眼球追踪方法的另一个实施例示意图；

图7为本发明实施例提供的一种用户校准的方法的一个示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请中出现的术语“和/或”，可以是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

眼球追踪是一种通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术，也可以称为视线追踪。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。眼球追踪技术在人机交互、行为分析等领域具有重要的应用前景。

目前的眼球追踪装置广泛应用的是光学记录法，用照相机或摄像机记录被试者的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征，再将提取到的特征与预先建立的模型对比，从而获得眼睛的视线和/或注视点。预先建立的模型中包含眼部特征与眼睛的视线和/或注视点之间的对应关系。眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。该光斑也可称为普尔钦斑。目前在光学记录法中最主流的眼球追踪方法称为瞳孔-角膜反射法，该方法为根据由进入瞳孔的光线在角膜外表面反射形成的普尔钦斑来获取眼睛的视线和/或注视点。除了光学记录法以外，还可以有包括不基于眼部图像的方法，例如基于接触/非接触式的传感器，如电极、电容传感器等来推算眼睛的运动的。但是这种方法由于不基于眼部图像，因此检测的精确度不高。

现有的基于光学记录法的眼部追踪装置中，直拍式结构的图像采集设备设置于眼部侧前方，图像采集设备与眼部所在的水平线形成一定角度，导致其采集的图像并不是眼部正对的图像，采集到的眼部图像可能会发生形变，不能反映眼部的真实特征，可能导致根据该眼部图像确定的注视信息不准确。对于戴眼镜的用户，直拍式结构易受眼镜遮挡，可能造成图像采集设备所采集的眼部瞳孔信息不完整。除了直拍式结构的眼球追踪装置，在现有技术中还存在一种反拍式结构的眼球追踪装置，该反射拍照式结构，需要在目镜至图像采集设备之间的光路中设置单独的红外反射膜，易产生多余的杂散光进而影响采集图像的准确性。反射拍照式结构由于需要设置红外反射膜因此占用空间比较大。因此，本发明实施例提供了一种能够采集到眼部正对的图像且不需要设置红外反射膜眼球追踪装置。

如图1所示，实施例一提供了一种眼球追踪装置，该眼球追踪装置可以包括：

光源101，主控单元102，图像采集单元103，准直单元106以及波导单元；

本实施例中，由于红外光线不会影响眼部的视觉，因此该光源101可以为红外光源，并且可以存在一个或多个红外光源，当存在多个光源时，多个光源以预先设置的方式排列，可以为品字形、一字形等，关于多个光源的排列方式此处不做限制。为了不遮挡住眼部的视线，该光源101可以设置于眼部可视范围边缘或外部。

沿着视线方向，该准直单元106和所述波导单元相对设置，以使得所述眼部的反射光投射到准直单元106，所述准直单元106用于将眼部的反射光调整为平行光，并将所述平行光传输至所述波导单元。

具体的，波导单元包括波导输出模块104，波导105，波导输入模块107。更具体的，沿着眼部的视线方向，该准直单元106和波导输入模块107相对设置，该准直单元106的中心、波导输出模块107的中心和眼部的中心可以位于同一条直线上，以使眼部的反射光投向准直单元106，准直单元106用于将眼部的反射光调整为平行光，并将平行光传输至波导输入模块107。准直单元106用于改变光路，将发散的光线准直为平行光线，该准直单元106准直的方式可以为激光准直或光纤准直，该准直单元106包括准直元件，该准直元件可以为普通透镜，也可以为菲涅尔透镜。该波导输入模块107的面积可以包含眼球活动范围的面积，该眼球的活动范围可以为长和宽范围在24至30毫米之间的矩形。

波导输入模块107、波导105以及波导输出模块104依次相连，本实施例对所述波导输入模块107、波导105以及波导输出模块104具体的设置方式不做限定，只要波导输入模块107、波导105以及波导输出模块104依次相连即可，例如，波导输入模块107、波导105以及波导输出模块104可以沿着与眼部视线垂直的方向依次相连设置。

波导输入模块107用于通过波导105将平行光传输至波导输出模块104；图像采集单元103和波导输出模块104相对设置，本实施例对图像采集单元103和波导输出模块104具体设置方式不做限定，只要图像采集单元103和波导输出模块104相对设置即可，例如，图像采集单元103与波导输出模块104可以沿着与眼部视线平行的方向相对设置。

波导输出模块104用于将平行光投射到图像采集单元103，图像采集单元103用于根据平行光采集眼部图像；图像采集单元103与主控单元102连接，该连接可以为有线连接或无线连接，图像采集单元103将眼部图像传输至主控单元102，主控单元102用于根据眼部图像获取眼部的注视信息。该波导105材料可以为无机玻璃或有机玻璃，或者其他透明的材料制作，具体不做限制。由于该波导105为透明材料，因此该波导105可以使得可见光通过而不会影响眼部正常视物。

波导输入模块107以及波导输出模块104可以为衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。当波导输入模块107为衍射光栅时，该衍射光栅可以设置于该波导正对眼部一侧的表面，平行光经过波导输入模块107衍射之后进入波导的入射角大于波导的全反射临界角。根据光栅公式dsinθ₁＝kλ，其中，d为光栅常数，λ为光的波长，θ₁为衍射角，一级衍射光以全反射的方式在波导内传播，而零级衍射光传播角度不变，无法在波导内传播，所以k取1，在光栅公式中，可以控制衍射光栅的光栅条数d，，来控制θ₁即衍射角的大小。全反射临界角公式sinθ₂＝n₂/n₁，n₁为波导材料的折射率，n₂为空气的折射率，θ₂为全反射临界角。可以通过控制波导材料来控制波导材料的折射率n₁的值来控制θ₂大小，从而使得θ₁>θ₂，即衍射角大于全反射的临界角。由于经过波导输入模块107衍射之后的衍射角即入射到波导的入射角，所以平行光线进入波导的入射角大于波导的全反射临界角。

当波导输入模块107为反射平面时，该反射平面可以以粘贴或以其他工艺设置于波导靠近眼部一侧，并且可以与波导靠近眼部一侧的表面形成一定角度，经过波导输入模块107反射之后进入波导的入射角大于波导的全反射临界角。根据全反射临界角公式sinθ₂＝n₂/n₁，n₁为波导材料的折射率，n₂为空气的折射率，θ₂为全反射临界角。可以通过控制波导材料来控制波导材料的折射率n₁的值来控制θ₂的大小。同时可以控制反射平面与波导之间形成的夹角大小来控制经过反射平面反射之后进入波导的入射角的大小，使得经过反射平面反射之后进入波导的入射角大于波导的全反射临界角。

平行光经过波导输入模块107导入至波导105之后，平行光在波导105内以全反射的方式传播至波导输出模块104，波导输出模块104将该平行光投射至图像采集单元103，图像采集单元103可以根据该平行光线采集眼部图像并将眼部图像传输至主控单元。该图像采集单元103可以为红外摄像设备、红外图像传感器、照相机或摄像机等。可以采用互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)作为电子元件，也可以采用电荷耦合元件(charge-coupled device，CCD)作为电子元件，具体采用哪一种电子元件此处不做限制。该图像采集单元103镜头前还可以包括红外滤光片，用于过滤可见光，使得该图像采集单元103根据红外光采集眼部图像。该图像采集单元103的工作波长范围可以包括光源101的发光的波长范围。该图像采集单元103采集到的眼部图像带有光源在角膜上的反射点即光斑，也称为普尔钦斑。

主控单元102可以根据从图像采集单元103采集的眼部图像中获取眼部特征，并将获取到的眼部特征与预先设置的模型库中的模型进行对比，进而得到眼部的注视信息，该注视信息可以包括注视点和/或注视方向。预先设置的模型中包含了眼部特征与注视信息之间的对应关系。该眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等，该光斑也可称为普尔钦斑。该眼部特征还包括瞳孔中心与眼部光斑之间的相对位置，以及若干眼部图像反映出相对位置的变化关系。此外，主控单元102与光源101和图像采集单元103相连，该相连可以为有线或无线相连，主控单元102还可以用于给光源101和图像采集单元103供电。主控单元102还可以用于向光源101发送第一指令，该第一指令用于指示光源向所述眼部发射光线。光源101可以根据该第一指令调整发光状态，该光源101可以根据该第一指令开启、关闭或者是调整发光强度。该主控单元102还可以用于向图像采集单元103发送第二指令，该第二指令用于指示该图像采集单元103采集眼部图像，具体可以为指示采集图像的尺寸或采集的频率，也可以为指示调整其他采集眼部图像的参数，此处不做限制。

本发明实施例提供的眼球追踪装置中波导单元中的波导输出模块104该平行光投射到图像采集单元103上，图像采集单元103根据该平行光可以确保采集到眼部的图像为正对眼部的图像，能够反映眼部的真实特征，因此根据该正对眼部的图像确定的注视信息更加准确。

在实施例一中，在准直单元外周缘还可以包括边框，在眼部的视线方向还可以设置显示设备。因此实施例二提供了一种眼球追踪装置，请参照图2和图3。其中，图2为本实施例所提供的眼球追踪装置的分解示意图，图3是本实施例所提供的眼球追踪装置的装配示意图。

光源201、主控单元202、边框203、图像采集单元204、波导输出模块205、波导206、准直单元207、波导输入模块208和显示设备209。

所述光源201、所述主控单元202、所述图像采集单元204、所述波导输出模块205、波导206、准直单元207、波导输入模块208的具体结构，请参见实施例一所示，具体在本实施例中不做赘述。

具体的，本实施例所提供的边框203的外缘可以设置光源201，该光源201在眼部的可视范围边缘或外部。该主控单元202、图像采集单元204以及波导输出模块205可以设置于该边框203之内。因此，在图3的装配示意图中并未标注出来。

显示设备209上可以显示校准信息，该校准信息可以为图形、点或是一段轨迹。在用户实际使用该眼球追踪装置之前，还可以包括用户校准过程。例如，在该过程中显示设备209上可以连续或断续出现一个或多个目标点位，该目标点位用于指示用户注视。在该过程中，目标点位的位置以及该目标点位对应的眼部视线为已知的。因此，可以采集到眼部特征之后根据眼部特征来获取到一些待定参数，也可称作为校准参数，一般对应于用户眼球的某些参数，如眼球的曲率半径等。同时，也可以根据眼部特征和目标点位的位置在原有的模型库中新建模型，将特定眼部特征与眼睛注视的注视点及注视方向的对应关系包含进去。

本发明实施例提供的眼球追踪装置还可以包括显示设备209。在用户使用之前，可以先进行用户校准，通过在显示设备209中显示的图形指示用户注视，该图形可以包括目标点位或目标图案。该图形的位置以及图形对应的眼部视线为已知的。因此，可以采集到眼部特征之后根据眼部特征来获取到用户眼球特定参数可以使得在后续用户使用过程中根据用户眼部图像确定的眼部注视信息更加准确。

实施例一或实施例二提供的眼球追踪装置的示意图都是针对单眼而言，在具体实施过程中，还有可能是针对双眼的眼球追踪装置。针对双眼的眼球追踪装置可以简单为实施例一或实施例二提供的装置中所有模块都复刻一遍，即左右眼各自拥有实施例一或实施例二提供的眼球追踪装置中所有的模块。也可以为左右眼各自拥有实施例一或实施例二提供的眼球追踪装置中的部分模块，两者共用该眼球追踪装置中另一部分模块。针对双眼的眼球追踪装置在具体实施过程中对装置中具体模块是采用分开或者复用的方式在此处不做限制，也不应理解为脱离本发明实施例技术方案的精神及范畴。

上述实施例从装置角度描述了本发明实施例提供的眼球追踪装置，实施例三提供了一种光路图，如图4所示，该光路图基于实施例一或实施例二所提供的眼球追踪装置。

眼部的反射光经过准直单元301调整为平行光之后投射至波导输入模块302，波导输入模块302将平行光经由波导303传输至波导输出模块303，波导输出模块303将波导303传输的平行光输出并投射至图像采集单元305，图像采集单元305根据该平行光采集眼部图像。

实施例三提供了一种光路图，基于该光路图以及实施例一提供的眼球追踪装置，实施例四提供了一种眼球追踪的方法。如图5所示，该眼球追踪的方法可以包括：

401、光源向眼部发射光线。

光源向眼部发射光线，由于红外光线不会影响眼部的视觉，因此该光源可以为红外光源并且可以存在一个或多个红外光源，当存在多个红外光源时，多个红外光源以预先设置的方式排列，可以为品字形、一字形等，关于多个红外光源的排列方式此处不做限制。为了不遮挡住眼部的视线，该光源可以设置于眼部可视范围边缘或外部。

在光源向眼部发射光线之前，还可以包括，该光源接收主控单元发送的第一指令，该光源可以根据该第一指令开启、关闭或者是调整发光强度。

402、准直单元将眼部的反射光调整为平行光并将平行光传输至波导单元。

准直单元接收眼部的反射光并将反射光准直，准直单元将准直后的平行光传输至波导单元。

403、波导单元将平行光投射到图像采集单元。

波导单元将平行光投射到图像采集单元。该波导单元可以包括波导输入模块、波导以及波导输出模块。该波导输入模块可以使用衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。若该波导输入模块选用衍射光栅，则需要平行光经过波导输入模块衍射之后进入波导的入射角大于波导的全反射临界角。若该波导输入模块选用反射平面，则需要平行光经过波导输入模块反射之后进入波导的入射角大于波导的全反射临界角。

404、图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元。

图像采集单元根据波导输出模块传输的平行光采集眼部图像。该图像采集单元的工作波长范围包括该光源的发光波长范围，图像采集单元可以采用CMOS作为电子元件，也可以采用CCD作为电子元件，具体采用哪一种电子元件此处不做限制。该图像采集单元可以为红外摄像设备、红外图像传感器、照相机或摄像机等。该图像采集单元镜头前还可以包括红外滤光片，用于过滤可见光，使得该图像采集单元根据红外光采集眼部图像。该图像采集单元采集到的眼部图像带有光源在角膜上的反射点即光斑，也称为普尔钦斑。

405、主控单元根据眼部图像确定注视信息。

主控单元根据图像采集单元采集的眼部图像确定眼部的注视信息。该眼部的注视信息包括眼部的注视点和/或注视方向。该图像采集单元与主控单元有线或无线相连。主控单元根据图像采集单元采集的眼部图像提取眼部特征，该眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。该光斑也可称为普尔钦斑。该眼部特征还包括瞳孔中心与眼部光斑之间的相对位置，以及若干眼部图像反映出相对位置的变化关系。再根据提取到的眼部特征与预先设置的模型库中的模型进行对比，根据预先设置的模型中包含的眼部特征与眼部注视信息之间的对应关系确定注视信息。

本发明实施例提供了一种眼球追踪方法，该方法中图像采集设备能够根据经由波导传输至波导输出模块的平行光采集到眼部的正对图像，主控单元根据正对眼部的图像获取的眼部的注视信息更加准确。

实施例四提供了一种眼球追踪方法，在实施例四中波导单元将平行光到图像采集单元可以包括波导输出模块接收平行光并将平行光传输至波导，波导以全反射的方式将平行光传输至波导输出模块，然后波导输出模块将平行光投射至图像采集单元。基于实施例二提供的眼球追踪装置以及实施例三提供的光路图，实施例五提供了一种眼球追踪方法的另一种实施方式，请参阅图6，实施例五可以包括：

501、光源向眼部发射光线。

光源向眼部发射光线，由于红外光线不会影响眼部的视觉，因此该光源可以为红外光源并且可以存在一个或多个红外光源，当存在多个红外光源时，多个红外光源以预先设置的方式排列，可以为品字形、一字形等，关于多个红外光源的排列方式此处不做限制。为了不遮挡住眼部的视线，该光源可以设置于眼部可视范围边缘或外部。

在光源向眼部发射光线之前，还可以包括，该光源接收主控单元发送的第一指令，该光源可以根据该第一指令开启、关闭或者是调整发光强度。

502、准直单元将眼部的反射光调整为平行光并将平行光传输至波导输入模块。

准直单元接收眼部的反射光并将反射光准直，准直单元将准直后的平行光传输至波导输入模块。

503、波导输入模块接收平行光并将平行光传输至波导。

波导输入模块从准直单元接收平行光，该波导输入模块可以位于准直单元的中心位置，与眼部中心位于一条水平轴线上，波导输入模块的形状不限定，面积根据眼球活动范围设置，该眼球的活动范围可以为长和宽范围在24至30毫米之间的矩形，用于接收准直单元传输的平行光，并将平行光传输至波导。该波导输入模块可以使用衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。若该波导输入模块选用衍射光栅，则需要平行光经过波导输入模块衍射之后进入波导的入射角大于波导的全反射临界角。若该波导输入模块选用反射平面，则需要平行光经过波导输入模块反射之后进入波导的入射角大于波导的全反射临界角。

504、波导以全反射的方式将平行光传输至波导输出模块。

波导以全反射的方式将平行光传输至波导输出模块。从波导输入模块输入的平行光以全反射的方式在波导内传输至波导输出模块。

505、波导输出模块将平行光投射到图像采集单元。

波导输出模块将波导传输的平行光投射到图像采集单元。该波导输出模块与波导相连，可以使用衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。

506、图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元。

像采集模块根据波导输出模块传输的平行光采集眼部图像。该图像采集单元的工作波长范围包括该光源的发光波长范围，图像采集单元可以采用CMOS作为电子元件，也可以采用CCD作为电子元件，具体采用哪一种电子元件此处不做限制。该图像采集单元可以为红外摄像设备、红外图像传感器、照相机或摄像机等。该图像采集单元镜头前还可以包括红外滤光片，用于过滤可见光，使得该图像采集单元根据红外光采集眼部图像。该图像采集单元采集到的眼部图像带有光源在角膜上的反射点即光斑，也称为普尔钦斑。

507、主控单元根据眼部图像确定注视信息。

主控单元根据图像采集单元采集的眼部图像确定眼部的注视信息。该眼部的注视信息包括眼部的注视点和/或注视方向。该图像采集单元与主控单元有线或无线相连。主控单元根据图像采集单元采集的眼部图像提取眼部特征，该眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。该光斑也可称为普尔钦斑。该眼部特征还包括瞳孔中心与眼部光斑之间的相对位置，以及若干眼部图像反映出相对位置的变化关系。再将提取到的眼部特征与预先设置的模型库中的模型进行对比，根据预先设置的模型中包含的眼部特征与眼部注视信息之间的对应关系获取到眼部的注视信息。

本发明实施例提供了一种眼球追踪方法，该方法中波导输入模块将平行光传输至波导，波导再以全反射的方式将平行光传输至波导输出模块，图像采集设备能够根据波导输出模块输出的平行光采集到正对眼部的图像，根据正对眼部的图像确定的眼部的注视信息更加准确，同时，使用该波导不会阻碍眼部的正常视物。

基于实施例四和实施例五提供的眼球追踪方法，在实际使用的过程中，对于要求精确度更高的场景，在用户实际使用之前还可以包括用户校准的过程。请参照图7，实施例六提供了一个用户校准的方法，该方法可以包括：

601、显示设备上出现校准信息。

在用户校准过程中，显示设备上出现校准信息，该校准信息可以为图形、点或是一段轨迹，该校准信息用于校准。该校准信息的位置以及与校准信息对应的眼部视线是已知的。

602、光源向眼部发射光线。

光源向眼部发射光线，由于红外光线不会影响眼部的视觉，因此该光源可以为红外光源并且可以存在一个或多个红外光源，当存在多个红外光源时，多个红外光源以预先设置的方式排列，可以为品字形、一字形等，关于多个红外光源的排列方式此处不做限制。为了不遮挡住眼部的视线，该光源可以设置于眼部可视范围边缘或外部。

在光源向眼部发射光线之前，还可以包括，该光源接收主控单元发送的第一指令，该光源可以根据该第一指令开启、关闭或者是调整发光强度。

603、准直单元将眼部的反射光调整为平行光并将平行光传输至波导输入模块。

准直单元接收眼部的反射光并将反射光准直，准直单元将准直后的平行光传输至波导输入模块。

604、波导输入模块通过波导将平行光传输至波导输出模块。

波导输入模块从准直单元接收平行光，该波导输入模块可以位于准直单元的中心位置，与眼部中心位于一条水平轴线上，波导输入模块的形状不限定，面积根据眼球活动范围设置，该眼球的活动范围可以为长和宽范围在24至30毫米之间的矩形，用于接收准直单元传输的平行光，并将平行光传输至波导。该波导输入模块可以使用衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。若该波导输入模块选用衍射光栅，则需要平行光经过波导输入模块衍射之后进入波导的入射角大于波导的全反射临界角。若该波导输入模块选用反射平面，则需要平行光经过波导输入模块反射之后进入波导的入射角大于波导的全反射临界角。

605、波导输出模块将平行光投射到图像采集单元。

波导输出模块将波导传输的平行光投射到图像采集单元。该波导输出模块与波导相连，可以使用衍射光栅或反射平面，但不限于只能是衍射光栅或反射平面。

606、图像采集单元根据平行光采集眼部图像并将眼部图像传输至主控单元。

图像采集单元根据波导输出模块传输的平行光采集眼部图像。该图像采集单元的工作波长范围包括该光源的发光波长范围，图像采集单元可以采用CMOS作为电子元件，也可以采用CCD作为电子元件，具体采用哪一种电子元件此处不做限制。该图像采集单元可以为红外摄像设备、红外图像传感器、照相机或摄像机等。该图像采集单元镜头前还可以包括红外滤光片，用于过滤可见光，使得该图像采集单元根据红外光采集眼部图像。该图像采集单元采集到的眼部图像带有光源在角膜上的反射点即光斑，也称为普尔钦斑。

607、主控单元根据眼部图像确定注视信息。

主控单元根据图像采集单元采集的眼部图像确定眼部的注视信息。该眼部的注视信息包括眼部的注视点和/或注视方向。该图像采集单元与主控单元有线或无线相连。主控单元根据图像采集单元采集的眼部图像提取眼部特征，该眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。该光斑也可称为普尔钦斑。该眼部特征还包括瞳孔中心与眼部光斑之间的相对位置，以及若干眼部图像反映出相对位置的变化关系。再根据提取到的眼部特征与预先设置的模型库中的模型进行对比，根据预先设置的模型中包含的眼部特征与眼部注视信息之间的对应关系确定眼部的注视信息。

608、主控单元根据确定的注视信息以及已知的校准信息获取校准参数。

主控单元将确定的眼部的注视信息与显示设备上校准信息对比，从而获取校准参数，该校准参数也可称为待定参数，对应于用户眼部的一些内在参数，比如眼球的半径等。在校准的同时，也可以根据特定用户的眼部特征和目标点位的位置之间的对应关系在原有的模型库中新建模型，将特定的眼部特征与眼部的注视点以及注视方向之间的对应关系包含进去。该模型库为实施例一至实施例五中提及的模型库。

需要说明的是，用户校准这个过程是可以选择使用的，该过程根据已知的目标点位和采集到的用户的眼部特征可以获取到用户眼部的校准参数，因此可以根据该校准参数提高后续使用过程中确定的眼部注视信息的精确度。

以上对本发明实施例所提供的一种眼球追踪的装置及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种眼球追踪装置，其特征在于，包括：准直单元、波导单元、图像采集单元以及主控单元；

沿视线方向，所述准直单元和所述波导单元相对设置，以使得眼部的反射光投射到所述准直单元，所述准直单元被配置为调整所述眼部的反射光为平行光；

所述图像采集单元和所述波导单元相对设置，所述波导单元被配置为将被所述准直单元调整的所述平行光投射到所述图像采集单元，所述图像采集单元被配置为根据所述平行光采集眼部图像；

所述图像采集单元与所述主控单元连接，所述图像采集单元将所述眼部图像传输至所述主控单元，所述主控单元被配置为根据所述眼部图像确定注视信息。

2.根据权利要求1所述的眼球追踪装置，其特征在于，所述波导单元包括波导输入模块、波导以及波导输出模块，所述波导输入模块、所述波导以及所述波导输出模块依次相连设置，所述波导输入模块被配置为通过所述波导将被所述准直单元调整的所述平行光传输至所述波导输出模块；

所述准直单元包括准直元件，所述准直元件将所述眼部的反射光调整为平行光。

3.根据权利要求2所述的眼球追踪装置，其特征在于，所述波导输入模块的中心、所述准直元件的中心和所述眼部的中心位于同一直线上。

4.根据权利要求2或3所述的眼球追踪装置，其特征在于，所述波导输入模块、所述波导以及所述波导输出模块沿与视线垂直的方向依次相连设置；

所述图像采集单元和所述波导输出模块沿与视线平行的方向相对设置。

5.根据权利要求2或3所述的眼球追踪装置，其特征在于，所述波导输出模块以及所述波导输入模块为衍射光栅，且所述平行光经过所述波导输入模块衍射之后进入所述波导的入射角大于所述波导的全反射临界角。

6.根据权利要求2或3所述的眼球追踪装置，其特征在于，所述波导输出模块以及所述波导输入模块为反射平面，且所述平行光经过所述波导输入模块反射之后进入所述波导的入射角大于所述波导的全反射临界角。

7.根据权利要求2或3所述的眼球追踪装置，其特征在于，所述眼球追踪装置还包括边框，所述边框沿所述准直单元的外周缘设置，所述波导输出模块和所述主控单元位于所述边框内；

所述边框外缘设有光源，所述光源用于向所述眼部发射光线，以使得所述眼部的反射光投射到所述准直单元。

8.根据权利要求7所述的眼球追踪装置，其特征在于，所述图像采集单元设置于所述边框内部，且所述图像采集单元沿朝向所述波导输出模块的方向设置。

9.根据权利要求8所述的眼球追踪装置，其特征在于，所述眼球追踪装置还包括用于显示校准信息的显示设备，所述校准信息用于校准；沿所述视线方向，所述准直单元、所述波导输入模块和所述显示设备依次相对设置。

10.一种眼球追踪方法，其特征在于，所述方法基于权利要求1至9任意一项所述的眼球追踪装置，所述方法包括：

所述准直单元将所述眼部的反射光调整为平行光，并将所述平行光传输至波导单元；

所述波导单元将被所述准直单元调整的所述平行光投射到所述图像采集单元；

所述图像采集单元根据所述平行光采集所述眼部图像并将所述眼部图像传输至所述主控单元；

所述主控单元根据所述眼部图像确定注视信息。

11.根据权利要求10所述的方法，其特征在于，所述波导单元将所述被准直单元调整的所述平行光投射到所述图像采集单元，包括：

所述波导输入模块接收所述平行光并将所述平行光传输至所述波导；

所述波导以全反射的方式将所述平行光传输至所述波导输出模块；

所述波导输出模块将所述平行光投射到所述图像采集单元。

12.根据权利要求10或11所述的方法，其特征在于，所述准直单元将所述眼部的反射光调整为平行光，并将所述平行光传输至波导单元之前，所述方法还包括：

所述光源向所述眼部发射光线，以使得所述眼部的反射光投射到所述准直单元。

13.根据权利要求12所述的方法，其特征在于，所述光源向所述眼部发射光线之前，所述方法还包括：

所述光源从所述主控单元接收第一指令，所述第一指令用于指示所述光源向所述眼部发射光线。

14.根据权利要求13所述的方法，其特征在于，所述图像采集单元根据所述平行光采集所述眼部图像并将所述眼部图像传输至所述主控单元之前，所述方法还包括：

所述图像采集单元从所述主控单元接收第二指令，所述第二指令用于指示所述图像采集单元根据所述平行光采集所述眼部图像。

15.根据权利要求10或11所述的方法，其特征在于，所述准直单元将所述眼部的反射光调整为平行光，并将所述平行光传输至波导单元之前，所述方法还包括：

所述显示设备显示校准信息，所述校准信息用于校准。