CN115933172A - 一种基于偏振多光谱成像的人眼视线追踪装置及方法 - Google Patents

Abstract

本发明提供一种基于偏振多光谱成像的人眼视线追踪装置及方法。装置包第一、第二偏振光源模块以及第一、第二偏振多光谱成像模块；第一、第二偏振光源模块均包括红外光源、可见光光源以及一个固定的偏振片；第一、第二偏振光源模块的偏振片正交布置；第一、第二偏振多光谱成像模块结构相同，均包括可见光相机、红外相机、分光棱镜、中继镜头、相机镜头以及一个带旋转装置的线性偏振镜，其中所述可见光相机分光棱镜、中继镜头、相机镜头以及线性偏振镜同轴布置，所述红外相机与可见光相机的拍摄方向垂直。本发明综合考虑了瞳孔、虹膜、普尔钦斑检测定位需求，适用于复杂光环境，并且在眼球大范围运动情况下，具有较高的鲁棒性。

Description

一种基于偏振多光谱成像的人眼视线追踪装置及方法

技术领域

本发明涉及人机交互和眼动追踪领域，具体而言，尤其涉及一种基于偏振多光谱成像的人眼视线追踪装置与方法，能够应用于计算机科学、心理学、医学领域，进行人眼瞳孔直径测量、虹膜识别、视线追踪，了解人眼视觉运动功能。

背景技术

瞳孔运动状态与人的认知行为息息相关。传统的眼动追踪基于红外图像进行，追踪装置由近红外LED光源和红外相机构成，可以捕获人眼红外图像，并基于瞳孔角膜反射原理实现人眼视线追踪。在人眼红外图像上，红外光源反射的普尔钦斑呈现在角膜区域，可以通过阈值分割、椭圆拟合等方法定位瞳孔。这类方法需要将红外光源和相机放置在正确的位置上，并进行必要的相机光源的标定。当人眼旋转幅度较大时，普尔钦斑将会呈现在巩膜区域，不能建立有效的模型映射。现有的基于近红外光的眼动追踪装置，无法适用于眼球大范围转动情况下的全区域视线追踪。

发明内容

根据上述提出的现有的基于近红外光的眼动追踪装置无法适用于眼球大范围转动情况下的全区域视线追踪的技术问题，本发明提供一种基于偏振多光谱成像的人眼视线追踪装置与方法，结合近红外人眼图像和可见光人眼图像所呈现的不同信息，利用近红外图像进行瞳孔追踪、利用可见光图像进行虹膜追踪，构建人眼眼球模型；借助于光源偏振特性，定位普尔钦斑位置，进行高精度视线校准，实现眼球大范围转动情况下的全区域视线追踪。

本发明采用的技术手段如下：

本发明公开了一种基于偏振多光谱成像的人眼视线追踪装置，包括覆盖层，覆盖层的内部空腔被分割为四个并列的容置空间，相邻容置空间之间不透光，四个容置空间的开口侧设置有玻璃镜；

所述四个容置空间内依次设置有第一偏振光源模块、第一偏振多光谱成像模块、第二偏振多光谱成像模块以及第二偏振光源模块；

所述第一偏振光源模块和第二偏振光源模块结构相同，均包括红外光源、可见光光源以及一个固定的偏振片，其中红外光源与可见光光源同心设置；第一偏振光源模块和第二偏振光源模块的偏振片正交布置；

所述第一偏振多光谱成像模块和第二偏振多光谱成像模块结构相同，均包括可见光相机、红外相机、分光棱镜、中继镜头、相机镜头以及一个带旋转装置的线性偏振镜，其中所述可见光相机分光棱镜、中继镜头、相机镜头以及线性偏振镜同轴布置，所述红外相机与可见光相机的拍摄方向垂直。

进一步地，所述可见光光源设置于红外光源外侧。

进一步地，第一偏振光源模块和第二偏振光源模块的线性偏振镜均通过连接机构固定在相机镜头前方，所述旋转装置能够带动线性偏振镜沿着镜片圆点旋转，使线性偏振镜的偏振角度能够维持在0度到360度之间的任意数值。

进一步地，通过旋转装置调整其偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向一致，且与异侧光源偏振方向正交；

或者通过旋转装置调整其偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向正交，且与异侧光源偏振方向一致。

进一步地，所述可见光相机采用彩色CCD传感器，成像波段400-700nm；红外相机采用近红外CCD传感器，成像波段750-900nm；红外光源采用近红外LED光源，波段940mm。

本发明还公开了一种基于偏振多光谱成像的人眼视线追踪方法，包括以下步骤：

通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向一致，与异侧光源偏振方向正交；此时同侧偏振多光谱成像模块中相机获取其同侧光源最大光强图像，包括红外图像和可见光图像；

通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向正交，与异侧光源偏振方向一致；此时同侧偏振多光谱成像模块中相机可以获取其同侧光源最小光强图像，包括红外图像和可见光图像；

基于红外相机获取的红外图像进行瞳孔定位；

基于可见光相机获取的可见光图像进行虹膜定位；

基于可见光相机获取的同侧光源最大光强的可见光图像和同侧光源最小光强的图像进行差分处理后进行普尔钦斑定位；

基于生理解剖数据确定的模型参数构建人眼三维模型，初始化相机中心与人眼之间的距离，然后记录虹膜和眼角位置，并绘制虹膜区域的椭圆；

在使用装置显示屏时，获取显示屏四个端点、检测到的瞳孔中心、虹膜中心，建立视线映射模型，所述实现映射模型用于通过最小二乘法模拟特征矩阵到注视平面的映射关系，所述特征矩阵通过端点到瞳孔中心以及虹膜中心的特征向量构建；在使用内置可见光和红外光源时，使用光源所形成的两个点，及检测到的瞳孔中心、虹膜中心，建立视线映射模型，此时视线映射模型建立方法主要基于瞳孔角膜反射的向量；

基于所述视线映射模型实现视线追踪。

较现有技术相比，本发明具有以下优点：

本发明装置综合考虑了瞳孔、虹膜、普尔钦斑检测定位需求，适用于光源模块模拟复杂光环境，并且在眼球大范围运动情况下，具有较高的鲁棒性。其中基于红外图像的瞳孔定位方法适用于外界光照变化和闪烁的情况，对于明暗变化不敏感。基于可见光图像的虹膜定位方法对于眼睑皮遮挡情况具有较高适应性。而本发明提供的普尔钦斑定位方法可以实现巩膜区域的亮斑定位，扩大了亮斑区域的检测范围。本发明能够实现人眼眼球运动全区域视线追踪，覆盖更大的注视区域。

本发明提供的虹膜定位、瞳孔定位、普尔钦斑定位，可以用于视线追踪方法的预处理。本发明提供的人眼多波段成像信息，可以用于视觉行为分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于偏振多光谱成像的人眼视线追踪装置结构示意图。

图2为本发明人眼视线追踪装置中旋转装置结构示意图。

图3为本发明基于偏振多光谱成像的人眼视线追踪方法流程图。

图4为本发明基于红外图像的人眼瞳孔定位方法流程图。

图中：1、覆盖层；2、光源；3、红外相机；4、可见光相机；5、分光棱镜；6、连接机构；7、偏振片；8、玻璃镜；9、线性偏振镜；10、相机镜头；11、中继镜头；12、旋转装置；13、线性偏振镜；14、涡轮装置；15、电机；16、连接电线；17、供电电池。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

如图1所示，本发明提供了本发明公开了一种基于偏振多光谱成像的人眼视线追踪装置，包括覆盖层，覆盖层的内部空腔被分割为四个并列的容置空间，相邻容置空间之间不透光，四个容置空间的开口侧设置有玻璃镜，玻璃镜上附着有显示屏。四个容置空间内依次设置有第一偏振光源模块、第一偏振多光谱成像模块、第二偏振多光谱成像模块以及第二偏振光源模块。

第一偏振光源模块和第二偏振光源模块结构相同，均包括红外光源、可见光光源以及一个固定的偏振片，其中红外光源与可见光光源同心设置；第一偏振光源模块和第二偏振光源模块的偏振片正交布置。

第一偏振多光谱成像模块和第二偏振多光谱成像模块结构相同，均包括可见光相机、红外相机、分光棱镜、中继镜头、相机镜头以及一个带旋转装置的线性偏振镜，其中所述可见光相机分光棱镜、中继镜头、相机镜头以及线性偏振镜同轴布置，所述红外相机与可见光相机的拍摄方向垂直。

具体来说，本实施中，每个成像模块将分别采集某一偏振角度下的红外波段图像和可将光波段图像。光源为内置的同心的红外光源和可见光光源，可见光光源位于红外光源外侧。在另一种实施方式中，将本发明装置与移动设备或者台式设备结合，由于移动设备或者台式设备的显示屏本身就包含偏振片，显示屏所发出的可见光因此具有偏振特性，本装置也可以与外置的显示器配合使用，此时光源为内置的红外光源。

偏振多光谱成像过程中，两个独立的光源通过相互正交的偏振片，发出偏振红外光和偏振可见光照射到人眼区域，内置可见光光源的偏振光也会照射到人眼区域。外界光线经由线性偏振镜、相机镜头、中继镜头，通过分光棱镜分为水平方向、垂直方向传播，同时进入红外相机和可见光相机，分别采集到人眼区域的红外波段图像和可见光波段图像。

线性偏振镜通过连接机构固定在相机镜头前方，可以通过旋转装置360度旋转。旋转装置通过电池供电，旋转电机与涡轮相连接，利用蜗轮提供轴与偏振镜之间的转动，从而带动线性偏振镜沿着镜片中心点旋转，偏振角度范围为0度到360度。为了不影响成像，电池、电机均包围在偏振镜外侧，涡轮与偏振镜同心，并固定在偏振镜外侧，结构如图2所示。成像过程中，对于任意一个线性偏振镜，可以通过旋转装置调整其偏振角度，使其偏振方向与同侧光源偏振方向一致，与异侧光源偏振方向正交，此时获取其同侧光源最大光强图像。还可以通过旋转装置调整其偏振角度，使其偏振方向与同侧光源偏振方向正交，与异侧光源偏振方向一致，此时获取其同侧光源最小光强图像。

中继镜头可以调节成像距离，分光棱镜将成像二分，分别传输至水平方向的可见光相机和垂直方向的红外相机。分光棱镜所分出的光轴需要完全匹配，以使得相机端可以同步获取不同波段成像图像。在一种较佳的实施方式中，红外相机与分光棱镜可以上下放置，节省装置内的空间。

优选地，可见光相机采用彩色CCD传感器，成像波段400-700nm，红外相机采用近红外CCD传感器，成像波段750-900nm，红外光源采用近红外LED光源，波段940mm。

本发明还公开了一种基于偏振多光谱成像的人眼视线追踪方法，包括以下步骤：

步骤1、通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向一致，与异侧光源偏振方向正交；此时同侧偏振多光谱成像模块中相机获取其同侧光源最大光强图像，包括红外图像和可见光图像；通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向正交，与异侧光源偏振方向一致；此时同侧偏振多光谱成像模块中相机可以获取其同侧光源最小光强图像，包括红外图像和可见光图像。

具体来说，对于任意一个成像模块，首先通过旋转装置调整线性偏振镜的偏振角度，使其偏振方向与同侧光源偏振方向一致，与异侧光源偏振方向正交，该成像模块中相机可以获取其同侧光源最大光强图像，这时异侧光源在该图像中光强度最小。然后通过旋转装置调整线性偏振镜的偏振角度，使其偏振方向与同侧光源偏振方向正交，与异侧光源偏振方向一致，该成像模块中相机可以获取其同侧光源最小光强图像，这时异侧光源在该图像中光强度最大。

步骤2、基于红外相机获取的红外图像进行瞳孔定位。

传统方法通过图像阈值或者边缘检测分割定位瞳孔，但是当外界光照变化和闪烁时，由于候选区域无法与背景很好地区分，将导致后续阶段定位的失败。如图4所示，本发明结合边缘检测和图像灰度信息估计瞳孔中心位置，实现复杂光环境下瞳孔定位。

具体来说，首先，对同侧光源最大光强红外图像进行高斯滤波，获取高斯模糊后的图像，高斯滤波卷积核5×5。然后，在高斯滤波后的图像上进行边缘检测，并利用边界跟随算法分离边缘段，选择像素值个数大于10的边缘段进行后续处理。去除近似直线的边缘段和闭合的边缘段以减少运行时间，闭合的边缘段中所有像素都是连接的。再次，利用道格拉斯-普克算法寻找每个边缘段的多边形近似值，计算多边形的曲率拐点。如果发现曲率拐点，再计算该边缘段区域内的图像灰度值中值，如果灰度值中值也小于瞳孔经验值30，则将该边缘段纳入候选。对所有的候选边缘段通过最小二乘法拟合椭圆形瞳孔，判断所有候选边缘段拟合椭圆形中心之间的欧式距离和区域内图像灰度值中值的相似性。如果拟合椭圆形中心之间的欧式距离小于10，且区域内图像灰度值中值差异小于5，则此拟合椭圆形为同一个椭圆形。当拟合椭圆形的候选边缘端数量大于5时，取每个边缘段的点，利用最小二乘法拟合出瞳孔边缘，得到边缘检测瞳孔结果。

考虑到光照和噪声对边缘检测的影响，结合局部稳定区域判断和多尺度信息约束，利用图像阈值分割，寻找瞳孔区域。首先，利用大津法对图像进行自适应阈值分割，获取初始的瞳孔区域位置。然后，利用局部稳定极值区域检测，在不同阈值的连接区域中，判断局部最大的稳定区域。局部稳定极值区域检测获得图像灰度值的最大值和最小值，利用图像灰度值作为阈值进行图像分割，得到对应图像灰度值下的图像分割二值图，并计算区域大小、标记区域索引；将图像灰度值不断调高，获取不同的图像灰度值下的图像分割二值图，并计算标记索引区域的区域面积变化、标记新的索引区域、删除合并或消失的索引区域。假定瞳孔的最小、最大面积和瞳孔区域内的最大图像灰度值均已知，分别设置对应的阈值。其中，瞳孔区域内的最大图像灰度值一般设置为64。在灰度值范围[0,64]上，可以连续增加不变的区域即局部稳定极值区域。该区域需要满足20个图像灰度值上稳定增加，并且最终面积大于瞳孔最小面积，小于瞳孔最大面积，区域内灰度值小于最大图像灰度值阈值。

在多尺度图像上，进一步利用多尺度梯度信息约束瞳孔区域轮廓，计算满足约束条件的轮廓作为瞳孔区域。首先，将原始红外图像分别下采样1/2和1/4，得到三个尺度的红外灰度图像。然后，以当前局部稳定区域中心为圆点，以区域与圆点最大距离再加10像素为半径，划出候选区域。再次，计算每个位于局部稳定区域轮廓上的点的梯度，并计算瞳孔中心点与位于局部稳定区域轮廓上的点之间的梯度，判断两个梯度之间的余弦相似度，如果余弦相似度大于0.95，即认为该点满足约束。依次计算所有局部稳定区域轮廓上的点及其与瞳孔中心点之间的余弦相似度，获取所有满足条件的点。利用这些点进行最小二乘椭圆拟合，获取瞳孔轮廓。此时，得到阈值分割瞳孔区域。

在此基础上，根据边缘检测瞳孔结果和阈值分割瞳孔结果，计算所拟合椭圆的面积与长宽比，将两个结果合并操作，修剪边缘段，删除无效的边缘。其中心位置为瞳孔中心位置，其直径为瞳孔直径。

步骤3、基于可见光相机获取的可见光图像进行虹膜定位。

具体来说，首先，利用大津法对同侧光源最大光强可见光图像。进行自适应阈值分割，将可见光图像转化为二值图像。检测二值图像中的最大连通区域，给二值图像的像素唯一标签，这些像素通过其他的像素相互连接。

当最大连通区域像素个数大于50时，利用二维凸包检测方法确定该区域的边界。二维凸包检测方法首先计算区域内所有点之间的距离，定位两个距离最大的点，连接构成一条线，再计算与线距离最远的点，此时利用三个已定位的点构成初始的三角形；之后在未包含已定位三角形区域的点上，重复上述步骤，进行迭代更新，直到所有的点都包含在凸包内。

该区域即为虹膜区域，但是由于图像的不连续性，沿该区域边界的点在360度圆形上，呈现出不均匀的分布。为了修正圆形边界的不均匀分布，提取边界的中心作为参考点，计算每个点相对于水平线的角度，并使用该角度描述边界点的分布情况，以此估计需要覆盖的拟合椭圆形的正弦和余弦分量。

椭圆形定义为：x(θ)＝m-a sin(θ)，y(θ)＝n+bcos(θ)。其中，(m，n)和(a，b)分别表示椭圆的中心、半长轴和半短轴。将区域边界上的每个线段进行椭圆拟合，在整个计算过程中，a/b更接近统一的椭圆的值，即为最接近的圆的瞳孔区域。此时，(m，n)是虹膜区域的中心，圆形的直径为虹膜直径。

步骤4、基于可见光相机获取的同侧光源最大光强的可见光图像和同侧光源最小光强的图像进行差分处理后进行普尔钦斑定位。

具体来说，首先，将可见光的同侧光源最大光强图像和最小光强图像相减，可以得到人眼可见光偏振差分图像。差分图像中最亮的区域，即是普尔钦斑。普尔钦斑区域应该位于可见光图像定位的虹膜区域或者虹膜区域附近。然后，利用大津法对偏振差分图像做自适应阈值分割，得到普尔钦斑的二值图像。

在一种实施方式中，使用移动设备或者台式设备的显示屏时，屏幕背光造成的普尔钦斑在可见光图像上呈现显示屏矩形形态。求取二值图像的内接矩形，定位到显示屏的四个端点。四个端点用于基于交比不变特性的人眼视线校准或基于单应性矩阵映射的人眼视线校准。

在另一种实施方式中，使用内置同心的可见光和红外光源时，可见光光源造成的普尔钦斑会在可见光图像上形成一个亮斑，红外光源造成的普尔钦斑会在红外图像上形成一个亮斑，可见光亮斑与红外亮斑应该位于同一位置。由于任意一个成像模块在成像过程中，都通过旋转装置调整线性偏振镜的偏振角度，获取同侧光源最大光强图像，在该图像中异侧光源的光强度最低，这时可以认为该图像上仅有同侧光源形成的亮斑。因此两个成像模块获取的图像分别表示了两个光源所在的位置。

步骤5、基于生理解剖数据确定的模型参数构建人眼三维模型，初始化相机中心与人眼之间的距离，然后记录虹膜和眼角位置，并绘制虹膜区域的椭圆。

具体来说，本发明所使用的人眼三维模型由角膜和眼球组成，模型参数由生理解剖数据确定，包括眼球半径、角膜球半径、角膜缘半径、眼球中心到角膜中心的距离、角膜缘中心到角膜中心的距离。首先，模型的初始化需要计算相机中心和人眼之间的距离，然后记录虹膜和眼角位置，并绘制虹膜区域的椭圆近似。这里假设眼球的旋转是以其自身为中心，并且瞳孔中心位于眼球三维模型所构成的球体表面。

步骤6、在使用装置显示屏时，获取显示屏四个端点、检测到的瞳孔中心、虹膜中心，建立视线映射模型，所述视线映射模型用于通过最小二乘法模拟特征矩阵到注视平面的映射关系，所述特征矩阵通过端点到瞳孔中心以及虹膜中心的特征向量构建；在使用内置可见光和红外光源时，使用光源所形成的两个点，及检测到的瞳孔中心、虹膜中心，建立视线映射模型，此时视线映射模型建立方法主要基于瞳孔角膜反射的向量。基于所述视线映射模型实现视线追踪。

具体来说，在使用移动设备或者台式设备的显示屏时，可使用显示屏四个端点(即获取装置相机采集的图像中的四个端点，也就是普尔钦斑的端点)，以及检测到的瞳孔中心、虹膜中心，建立视线映射模型。具体步骤是：用四个端点到瞳孔中心、虹膜中心的特征向量，构建特征矩阵，再利用最小二乘法建立特征矩阵到注视平面的映射模型。定义注视屏幕点为(x_screen，y_screen)，瞳孔中心为(p，q)，虹膜中心为(m，n)，第i个端点的中心为(c_i，d_i)，则注视该屏幕点时第i个端点的特征向量为[(2c_i-m-p)/2 (2d_i-n-q)/2]，特征矩阵为：

对于注视屏幕上的J个标定点组成的集合

可以利用最小二乘法建立特征矩阵到注视平面的映射模型，Y＝f(T)，其中f(·)为映射函数。对于新的人眼特征向量T_new，可以求解出其注视屏幕点位置为Y_new＝f(T_new)。

在使用内置可见光和红外光源时，可使用光源所形成的两个点(即获取装置相机采集的图像中的两个端点，此时普尔钦斑是两个光源在角膜上的反射亮斑)，及检测到的瞳孔中心、虹膜中心，建立视线映射模型。模型建立方法主要基于瞳孔角膜反射的向量。该模型建立过程与上述的四个端点建立模型方法类似，其中，特征矩阵T_two-points为：

此时，注视平面的映射模型Y＝f(T_two-points),其中f(·)为映射函数。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于偏振多光谱成像的人眼视线追踪装置，其特征在于，包括覆盖层，覆盖层的内部空腔被分割为四个并列的容置空间，相邻容置空间之间不透光，四个容置空间的开口侧设置有玻璃镜；

所述四个容置空间内依次设置有第一偏振光源模块、第一偏振多光谱成像模块、第二偏振多光谱成像模块以及第二偏振光源模块；

所述第一偏振光源模块和第二偏振光源模块结构相同，均包括红外光源、可见光光源以及一个固定的偏振片，其中红外光源与可见光光源同心设置；第一偏振光源模块和第二偏振光源模块的偏振片正交布置；

所述第一偏振多光谱成像模块和第二偏振多光谱成像模块结构相同，均包括可见光相机、红外相机、分光棱镜、中继镜头、相机镜头以及一个带旋转装置的线性偏振镜，其中所述可见光相机分光棱镜、中继镜头、相机镜头以及线性偏振镜同轴布置，所述红外相机与可见光相机的拍摄方向垂直。

2.根据权利要求1所述的一种基于偏振多光谱成像的人眼视线追踪装置，其特征在于，所述可见光光源设置于红外光源外侧。

3.根据权利要求1所述的一种基于偏振多光谱成像的人眼视线追踪装置，其特征在于，第一偏振光源模块和第二偏振光源模块的线性偏振镜均通过连接机构固定在相机镜头前方，所述旋转装置能够带动线性偏振镜沿着镜片圆点旋转，使线性偏振镜的偏振角度能够维持在0度到360度之间的任意数值。

4.根据权利要求3所述的一种基于偏振多光谱成像的人眼视线追踪装置，其特征在于，通过旋转装置调整其偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向一致，且与异侧光源偏振方向正交；

或者通过旋转装置调整其偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向正交，且与异侧光源偏振方向一致。

5.根据权利要求1所述的一种基于偏振多光谱成像的人眼视线追踪装置，其特征在于，所述可见光相机采用彩色CCD传感器，成像波段400-700nm；红外相机采用近红外CCD传感器，成像波段750-900nm；红外光源采用近红外LED光源，波段940mm。

6.一种基于偏振多光谱成像的人眼视线追踪方法，其特征在于，包括以下步骤：

通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向一致，与异侧光源偏振方向正交；此时同侧偏振多光谱成像模块中相机获取其同侧光源最大光强图像，包括红外图像和可见光图像；

通过旋转装置调整线性偏振镜的偏振角度，使线性偏振镜的偏振方向与同侧光源偏振方向正交，与异侧光源偏振方向一致；此时同侧偏振多光谱成像模块中相机可以获取其同侧光源最小光强图像，包括红外图像和可见光图像；

基于红外相机获取的红外图像进行瞳孔定位；

基于可见光相机获取的可见光图像进行虹膜定位；

基于可见光相机获取的同侧光源最大光强的可见光图像和同侧光源最小光强的图像进行差分处理后进行普尔钦斑定位；

基于生理解剖数据确定的模型参数构建人眼三维模型，初始化相机中心与人眼之间的距离，然后记录虹膜和眼角位置，并绘制虹膜区域的椭圆；

在使用装置显示屏时，获取显示屏四个端点、检测到的瞳孔中心、虹膜中心，建立视线映射模型，所述实现映射模型用于通过最小二乘法模拟特征矩阵到注视平面的映射关系，所述特征矩阵通过端点到瞳孔中心以及虹膜中心的特征向量构建；在使用内置可见光和红外光源时，使用光源所形成的两个点，及检测到的瞳孔中心、虹膜中心，建立视线映射模型，此时视线映射模型建立方法主要基于瞳孔角膜反射的向量；

基于所述视线映射模型实现视线追踪。

Images