CN113903079A - 一种基于集成化微小型头戴式系统的视线估计方法 - Google Patents

Abstract

本发明公开了一种基于集成化微小型头戴式系统的视线估计方法，相较于台式视线估计装置和2个摄像头多个光源的双目视觉视线估计装置，本发明以1个微距红外摄像头、2个近红外光源即可实现视线估计，实现集成化微小型设计，大幅降低设备功耗和对数据处理模块性能要求，减小装置对使用者负担。相较于多点标定训练，单点单次标定仅需对1个标定点进行1次注视，且使用过程中无训练拟合过程，大幅缩短了标定时间，提高了使用效率，减少了标定过程对使用者干扰，且可在使用过程中进行标定，保持视线估计精度。本发明可适用于单眼、双眼视线估计；使用单眼视线估计时，对不进行视线估计的眼睛无干扰，使用者可观察获取环境信息，双手可同时执行其它任务。

Description

一种基于集成化微小型头戴式系统的视线估计方法

技术领域

本发明属于穿戴式智能设备技术领域，具体涉及一种基于集成化微小型头戴式系统的视线估计方法。

背景技术

视线估计技术利用测量设备记录人眼运动，从而实现对人眼视线的实时估计。通过人眼视线实现人机交互，具有较高的实时性和准确性，可作为复杂工作环境下的操控手段，减小使用者手动操控负担。本发明可用于用于军事领域，例如控制武器云台瞄准射击；科考领域，例如控制机械臂进行抓取、放置操作；医疗领域，例如进行心理学诊断；商业领域，例如人机交互优化、广告兴趣调查；以及助残等其它领域，具有十分广泛的应用。

目前，视线估计设备主要分为桌面式视线估计设备和头戴式视线估计设备。桌面式视线估计设备多应用于室内固定场景，无法在运动场景中应用；且对使用者头部位姿具有严格要求，对使用者限制较大。现有的头戴式视线估计设备原理主要包括两种：一种是检测瞳孔中心或瞳孔中心-角膜光斑向量作为输入量，通过多个标定点进行复杂繁琐的标定和训练，建立输入量与注视点之间映射关系；另一种是利用双目视觉原理，获取眼球表面局部区域内几点的三维信息进行视线估计。第一种方法标定和训练过程繁琐，耗时较长，对使用者干扰较大，难以实际应用。第二种方法一般利用双眼进行视线估计，通过双眼视线求解注视点；即使对一个眼睛进行视线估计，也需要2个相机和不少于4个光源进行视线估计。其中，为保证双目视觉精度，2个相机需相距一定距离、成一定角度排列；为保证准确提取光斑，多个光源需均匀分散排布。为满足上述要求，使用双目视觉原理的头戴式视线估计装置一般体积较大，难以实现集成化微小型，影响使用者佩戴使用；且图像处理、光斑检测任务工作量大，每进行1次视线估计需处理4张图像、不少于16个光斑，对数据处理设备性能有较高要求，导致数据处理设备功耗较高、体积重量较大；若对双眼进行视线估计，使用者无法观察获取场景信息，虽能解放双手操作，但双手难以从事其它工作。

发明内容

有鉴于此，本发明的目的是提供一种基于集成化微小型头戴式系统的视线估计方法，无需繁琐标定训练过程，单一标定点单次标定即可实现高精度的视线估计；本系统装置结构微型化、紧凑化、轻量化，减小对使用者干扰。

一种视线估计方法，包括如下步骤：

步骤1、人头部前方设置广角摄像头，用于获取场景图像，并在眼前方设置头戴显示器上显示该图像，向人眼提供场景图像；头戴式显示器上方和下方分别设置第一近红外光源和第二近红外光源，用于分别在人眼角膜上投射一个光斑；头戴式显示器下方设置微距红外摄像头，用于拍摄人眼及角膜上光斑的图像；建立如下空间直角坐标系：定义与头戴显示器表面垂直并指向两眼球中心点的方向为x轴方向，x轴与头戴显示器表面交点为原点O；与显示器表面平行，并沿两个近红外光源连线向上为z轴，y轴由x轴和z轴根据右手螺旋定则确定；

步骤2、获得光斑1与光斑2像素距离与成像平面与坐标原点O距离之间的映射函数；

步骤3、调整头戴式显示器位置，使眼睛正对头戴式显示器屏幕，即眼球中心大致在x轴上；利用步骤2获得的映射函数解得2个光斑所在平面与头戴式显示器屏幕距离l_p1；根据解剖学眼球模型取眼球半径为标准值r_p，则得光斑所在平面与眼球中心距离l_p2：

其中，d_p为两个光斑间实际距离；则两眼球中心点坐标为(l_p1+l_p2,0,0)；

步骤4、利用微距红外摄像头内参数求解角度映射关系式：相机画面的水平方向上，设场景长度为w，对应微距红外摄像头水平方向视场角为α，摄像机水平方向分辨率为w_pixel；成像平面上像素长度e_{w_pixel}，对应场景平面中实际长度e_w，对应摄像机水平方向视场角为α_e，场景平面与镜头平面距离为d，得方程组：

解得

由摄像机成像基本原理得

代入α_e可得式(4)，即水平方向上角度映射函数F(e_{w_pixel})；

同理得竖直方向上角度映射函数F(e_{h_pixel})：

式中，β_e为目标图像竖直方向上像素长度e_{h_pixel}对应的角度，h_pixel为目标摄像机竖直方向分辨率，β为目标摄像机竖直方向视场角；

步骤5、将眼球光轴投影在xOz平面和xOy平面上，对眼球光轴位姿进行求解，具体为：在xOz平面内对眼球光轴投影进行求解：由于红外摄像头主轴在xOz平面内与x轴夹角为β₀；定义红外摄像头中心点为C点，其坐标为(0,0,z_c)；瞳孔中心对应视场角β₁；A点为经过C点出发平行于x轴的射线上任意一点；B点为红外摄像头光轴上一点；

根据相机拍摄的眼部图像中瞳孔中心与图像中心竖直方向上像素距离，利用竖直方向上角度映射函数F(e_{h_pixel})，得到夹角β₁大小；根据眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)及A点坐标，可得C、E两点长度l_CE和∠ACE大小，其中，E点为两眼球中心点，根据β₀、β₁、∠ACE可得∠ECP，其中，P点为两瞳孔中心点：

∠ECP＝β₀+β₁-∠ACE (6)

根据眼球解剖学模型可得E、P两点长度l_EP，由l_CE、l_EP、∠ECP可得∠CPE，进而得∠CEP：

∠CEP＝180°-∠ECP-∠CPE (8)

根据∠CEP大小以及∠CEO＝∠ACE，可得眼球光轴投影与x轴在xOz平面内夹角β_l：

β_l＝∠CEP-∠CEO (9)

步骤6、在xOz平面内对眼球光轴投影进行求解，具体为：

根据水平方向上角度映射函数F(e_{w_pixel})，确定瞳孔中心对应视场角α₁；根据眼球解剖学模型可得眼球与瞳孔距离标准值l_EP、眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)可得l_CE，进而得到眼球光轴投影与x轴在xOy平面内夹角α_l：

α_l＝180°-α₁-∠CPE (11)

根据xOy平面内眼球光轴投影与x轴夹角为α_l、xOz平面内眼球光轴投影与x轴夹角β_l、眼球中心坐标(l_p1+l_p2,0,0)，确定眼球光轴位姿，眼球光轴与从两眼球中心出发、xOy平面投影与x轴夹角α_l、xOz平面投影与x轴夹角β_l的射线重合；

步骤7、进行眼球视轴求解，具体为：

根据眼球光轴位姿，得到眼球光轴与显示器屏幕交点G，设其坐标为(0,y_G,z_G)；进而得到摄像头视轴与眼球光轴的夹角Kappa在y轴、z轴上分量：

然后将Kappa_y、Kappa_z分别叠加在α_l、β_l上进行矫正，即得到实时的眼球视轴位姿。

较佳的，所述步骤2中，获得映射函数的方法为：

在x轴不同位置设置暗色反光板模拟人眼角膜反光，利用微距红外摄像头获取暗色反光板上包含2个光斑的图像，根据图像中2个光斑像素距离判断该位置在x轴上坐标；

将暗色反光板依次置于不同位置：位置1、位置2…位置n，微距红外摄像头对应拍摄照片1、照片2、…照片n，并记录位置1、位置2…位置n与屏幕距离l₁、l₂、…l_n；测量照片1、照片2、…照片n中光斑1与光斑2像素距离d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}，由于l₁、l₂、…l_n与d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}存在一一对应关系，设距离映射函数为F(d_{pixel_i},*)＝l_i，其中i＝1,2…n，*为待求解参数，由泰勒定理得式(1)：其中，n表示暗色反光板所放位置的数目；

F(d_{pixel_i},*)＝a₀+a₁·d_{pixel_i}+a₂·d_{pixel_i} ²+…+a_j·d_{pixel_i} ^j+o(d_{pixel_i} ^j) (1)

采集多组数据，建立数据集{(d_{pixel_i},l_i)}，然后通过最小二乘法对F(d_{pixel_i},*)进行拟合确定其参数P，得到准确的距离映射函数F(d_{pixel_i},P)。

较佳的，广角摄像头、两个近红外光源、头戴式显示器、微距红外摄像头均集中设置在固定装置上，固定装置通过接口固定在头箍上。

本发明具有如下有益效果：

相较于台式视线估计装置和2个摄像头多个光源的双目视觉视线估计装置，本发明以1个微距红外摄像头、2个近红外光源即可实现视线估计，实现集成化微小型设计，大幅降低设备功耗和对数据处理模块性能要求，减小装置对使用者负担。相较于多点标定训练，单点单次标定仅需对1个标定点进行1次注视，且使用过程中无训练拟合过程，大幅缩短了标定时间，提高了使用效率，减少了标定过程对使用者干扰，且可在使用过程中进行标定，保持视线估计精度。本发明可适用于单眼、双眼视线估计；使用单眼视线估计时，对不进行视线估计的眼睛无干扰，使用者可观察获取环境信息，双手可同时执行其它任务。

附图说明

图1为本发明的整体结构示意图；

图2为场景采集显示模块、眼动图像采集模块和固定装置局部图；

图3为本发明中预先标定距离映射关系式示意图；

图4为本发明中利用微距红外摄像头内参数求解角度映射关系式示意图；

图5(a)为眼球中心空间定位相对位置示意图；

图5(b)为眼球中心空间定位几何关系示意图；

图6(a)为xoz平面内光轴投影求解相对位置示意图；

图6(b)为xoz平面内光轴投影求解几何关系示意图；

图7为本发明中xOy平面内光轴投影求解示意图；

图8为本发明中视轴投影求解示意图。

其中，1-头箍，2-广角摄像头，3-近红外光源，4-头戴式显示器，5-微距红外摄像头，6-固定装置，7-调节机构，8-接口，9-数据处理模块，10-电池。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

参见附图1和图2，一种集成化微小型头戴式视线估计系统，它包括：头箍1、广角摄像头2、两个近红外光源3、头戴式显示器4、微距红外摄像头5、固定装置6、数据距离模块9以及电池10；广角摄像头2、两个近红外光源3、头戴式显示器4、微距红外摄像头5均集中设置在固定装置6上，固定装置6通过接口8固定在头箍1上。固定装置6上还这是调节机构7，用于头戴式显示器4的位置进行调整。

广角摄像头2用于拍摄场景可见光或红外图像，并将图像发送至数据处理模块9，数据处理模块9对场景图像进行处理，例如局部放大、目标标注等，然后将场景图像显示在头戴式显示器4上。

2个近红外光源3分别位于头戴式显示器4上方和下方。2个近红外光源3光照强度、与眼睛距离适中，可在眼睛角膜上形成2个清晰光斑；微距红外摄像头5可采集到包含清晰的瞳孔和2个光斑的眼睛全部区域图像，微距红外摄像头5采集到眼部图像后将其发送至数据处理模块9，进行实现求解。

所述数据处理模块9主要负责处理场景图像，处理眼部图像求解视线。处理眼部图像求解视线主要包括眼球中心空间定位单元、光轴求解单元和视轴求解单元。

眼球中心空间定位单元通过预先对2个近红外光源3和1个微距红外摄像头5进行标定的方式，建立微距红外摄像头5拍摄图像中2个光斑像素距离与微距红外摄像头5至光斑反射平面距离的映射关系式；建立固连于上述装置的空间坐标系，然后利用眼球相关参数、装置结构设计参数、上述距离映射关系式，求解得到眼球中心在该空间坐标系中的三维坐标。

光轴求解单元通过对微距红外摄像头内参数进行标定，建立微距红外摄像机拍摄画面中像素长度与上述空间坐标系中视场角度的映射关系式；利用眼球空间坐标、眼球相关参数、装置结构设计参数、上述角度映射关系式，求解得到眼球中心与瞳孔中心连线在上述空间坐标系中位姿，即求解得到眼球光轴。

视轴求解单元通过单点单次标定的方式，确定眼球视轴与眼球光轴之间夹角Kappa，然后利用Kappa角、实时眼球光轴，求解实时眼球视轴在上述空间坐标系中位姿，进而得到实时眼球视轴与头戴式显示器交点，该点即实时注视点。

参见附图3，预先对2个近红外光源和1个微距红外摄像头进行标定。近红外光源1、近红外光源2、微距红外摄像头、头戴式显示器位置相对固定，建立如附图3所示空间坐标系：定义与头戴显示器表面垂直并指向眼睛的方向为x轴方向，x轴与头戴显示器表面交点为原点O；与显示器表面平行，并沿两个近红外光源连线向上为z轴，y轴由x轴和z轴根据右手螺旋定则确定。在x轴不同位置设置暗色反光板模拟人眼角膜反光，利用微距红外摄像头获取包含2个光斑的图像，根据图像中2个光斑像素距离判断该位置在x轴上坐标。

将暗色反光板依次置于位置1、位置2…位置n，微距红外摄像头拍摄照片1、照片2、…照片n，并记录位置1、位置2…位置n与屏幕距离l₁、l₂、…l_n。测量照片1、照片2、…照片n中光斑1与光斑2像素距离d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}。可知l₁、l₂、…l_n与d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}存在一一对应关系，设距离映射函数为F(d_{pixel_i},*)＝l_i，其中i＝1,2…n，*为待求解参数。由泰勒定理可得式(1)。

F(d_{pixel_i},*)＝a₀+a₁·d_{pixel_i}+a₂·d_{pixel_i} ²+…+a_j·d_{pixel_i} ^j+o(d_{pixel_i} ^j) (1)

其中j由最终标定效果定，，当距离映射函数输出距离与真实距离偏差较大时，增大j以提高距离映射函数准确度；直至距离映射函数输出距离与真实距离偏差小于期望值时，选取当前j作为最终阶数。

采集多组数据，建立数据集{(d_{pixel_i},l_i)}，然后通过最小二乘法对F(d_{pixel_i},*)进行拟合确定其参数P，得到准确的距离映射函数F(d_{pixel_i},P)。

参见附图4，利用微距红外摄像头内参数求解角度映射关系式。水平方向上，像素与对应视场角如附图4所示。场景长度为w，对应微距红外摄像头水平方向视场角为α，摄像机水平方向分辨率为w_pixel。成像平面上像素长度e_{w_pixel}，对应场景平面中实际长度e_w，对应摄像机水平方向视场角为α_e。场景平面与镜头平面距离为d。可得方程组如式(2)。

解得

由摄像机成像基本原理可得

代入α_e可得式(3)，即水平方向上角度映射函数F(e_{w_pixel})。

同理可得，竖直方向上角度映射函数F(e_{h_pixel})，如式(4)。

式中，β_e为目标图像竖直方向上像素长度e_{h_pixel}对应的角度，h_pixel为目标摄像机竖直方向分辨率，β为目标摄像机竖直方向视场角。

参见附图5(a)，通过调整固定装置内头戴式显示器位置，使眼睛正对头戴式显示器屏幕，即眼球中心大致在x轴上，2个光斑所在平面与头戴式显示器屏幕距离l_p1，2个光斑所在平面与眼球中心距离l_p2。参见附图5(b)，2个光斑映射像素距离为d_{pixel_p}，利用距离映射函数F(d_{pixel_p},P)可以解得2个光斑所在平面与头戴式显示器屏幕距离l_p1，利用竖直方向上角度映射函数F(d_{pixel_p})可以解得2个光斑与相机形成的夹角β_p。相机成像平面与竖直平面夹角为β_c，相机与头戴式显示器中心竖直方向上距离为l_c。根据几何关系，2个光斑间的距离d_p近似如式(5)。

根据解剖学眼球模型取眼球半径为标准值r_p，则可知光斑所在平面与眼球中心距离l_p2，如式(6)。

则眼球中心坐标为(l_p1+l_p2,0,0)。

将眼球光轴投影在xOz平面和xOy平面上，对眼球光轴位姿进行求解。在xOz平面内对眼球光轴投影进行求解，如附图6(a)所示，根据装置设计可知，在上述空间坐标系内，红外摄像头主轴在xOz平面内与x轴夹角为β₀；红外摄像头中心点为C点，其坐标为(0,0,z_c)；瞳孔中心对应视场角β₁；A点为经过C点出发平行于x轴的射线上一点，其坐标为(x_A,0,z_A)；B点为红外摄像头主轴上一点。求解眼球光轴与水平面夹角β_l，简化后示意图如附图6(b)所示。

根据结构设计，可知夹角β₀大小；根据相机拍摄的眼部图像中瞳孔中心与图像中心竖直方向上像素距离，利用竖直方向上角度映射函数F(e_{h_pixel})，可知夹角β₁大小。根据眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)、A点坐标(x_A,0,z_A)，可得l_CE、∠ACE，其中，E点为两眼球中心点，根据β₀、β₁、∠ACE可得∠ECP，其中，P点为两瞳孔中心点，如式(7)。

∠ECP＝β₀+β₁-∠ACE (7)

根据眼球解剖学模型可得l_EP，由l_CE、l_EP、∠ECP可得∠CPE，如式(8)，进而得∠CEP如式(9)。

∠CEP＝180°-∠ECP-∠CPE (9)

根据∠CEP、∠CEO＝∠ACE，可得β_l如式(10)。

β_l＝∠CEP-∠CEO (10)

在xOz平面内，眼球光轴投影与x轴夹角为β_l。

参见附图7，在xOz平面内对眼球光轴投影进行求解。根据前文可知，眼球中心大致在xOz屏幕内，即在xOy平面内,微距红外摄像头主轴投影穿过眼球中心投影。根据水平方向上角度映射函数F(e_{w_pixel})，可知瞳孔中心对应视场角α₁；根据眼球解剖学模型可得眼球与瞳孔距离标准值l_EP，根据眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)可得l_CE，进而可得α_l如式(12)。

α_l＝180°-α₁-∠CPE (12)

在xOy平面内，眼球光轴投影与x轴夹角为α_l。根据xOy平面内眼球光轴投影与x轴夹角为α_l、xOz平面内眼球光轴投影与x轴夹角β_l、眼球中心坐标(l_p1+l_p2,0,0)，即可确定眼球光轴位姿，眼球光轴与从(l_p1+l_p2,0,0)出发、xOy平面投影与x轴夹角α_l、xOz平面投影与x轴夹角β_l的射线重合。

参见附图8，进行眼球视轴求解。视轴与眼球光轴存在夹角Kappa，通过单点标定确定Kappa大小，从而获得更为准确的注视点。注视头戴式显示器屏幕中心的标定点，即眼球视轴与x轴近似重合。按照上述方法求解眼球光轴位姿，得到眼球光轴与屏幕交点G，其坐标为(0,y_G,z_G)。进而可得，Kappa角在y轴、z轴上分量上分量分别如式(13)、式(14)，求解得到Kappa_y、Kappa_z后，单点单次标定完成，即可进行精确的视线估计。

求解实时眼球光轴位姿，然后将Kappa_y、Kappa_z分别叠加在α_l、β_l上进行矫正，即可得到实时的眼球视轴位姿。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种视线估计方法，其特征在于，包括如下步骤：

步骤1、人头部前方设置广角摄像头，用于获取场景图像，并在眼前方设置头戴显示器上显示该图像，向人眼提供场景图像；头戴式显示器上方和下方分别设置第一近红外光源和第二近红外光源，用于分别在人眼角膜上投射一个光斑；头戴式显示器下方设置微距红外摄像头，用于拍摄人眼及角膜上光斑的图像；建立如下空间直角坐标系：定义与头戴显示器表面垂直并指向两眼球中心点的方向为x轴方向，x轴与头戴显示器表面交点为原点O；与显示器表面平行，并沿两个近红外光源连线向上为z轴，y轴由x轴和z轴根据右手螺旋定则确定；

步骤2、获得光斑1与光斑2像素距离与成像平面与坐标原点O距离之间的映射函数；

步骤3、调整头戴式显示器位置，使眼睛正对头戴式显示器屏幕，即眼球中心大致在x轴上；利用步骤2获得的映射函数解得2个光斑所在平面与头戴式显示器屏幕距离l_p1；根据解剖学眼球模型取眼球半径为标准值r_p，则得光斑所在平面与眼球中心距离l_p2：

其中，d_p为两个光斑间实际距离；则两眼球中心点坐标为(l_p1+l_p2,0,0)；

步骤4、利用微距红外摄像头内参数求解角度映射关系式：相机画面的水平方向上，设场景长度为w，对应微距红外摄像头水平方向视场角为α，摄像机水平方向分辨率为w_pixel；成像平面上像素长度e_{w_pixel}，对应场景平面中实际长度e_w，对应摄像机水平方向视场角为α_e，场景平面与镜头平面距离为d，得方程组：

解得

由摄像机成像基本原理得

代入α_e可得式(4)，即水平方向上角度映射函数F(e_{w_pixel})；

同理得竖直方向上角度映射函数F(e_{h_pixel})：

式中，β_e为目标图像竖直方向上像素长度e_{h_pixel}对应的角度，h_pixel为目标摄像机竖直方向分辨率，β为目标摄像机竖直方向视场角；

步骤5、将眼球光轴投影在xOz平面和xOy平面上，对眼球光轴位姿进行求解，具体为：在xOz平面内对眼球光轴投影进行求解：由于红外摄像头主轴在xOz平面内与x轴夹角为β₀；定义红外摄像头中心点为C点，其坐标为(0,0,z_c)；瞳孔中心对应视场角β₁；A点为经过C点出发平行于x轴的射线上任意一点；B点为红外摄像头光轴上一点；

根据相机拍摄的眼部图像中瞳孔中心与图像中心竖直方向上像素距离，利用竖直方向上角度映射函数F(e_{h_pixel})，得到夹角β₁大小；根据眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)及A点坐标，可得C、E两点长度l_CE和∠ACE大小，其中，E点为两眼球中心点，根据β₀、β₁、∠ACE可得∠ECP，其中，P点为两瞳孔中心点：

∠ECP＝β₀+β₁-∠ACE (6)

根据眼球解剖学模型可得E、P两点长度l_EP，由l_CE、l_EP、∠ECP可得∠CPE，进而得∠CEP：

∠CEP＝180°-∠ECP-∠CPE (8)

根据∠CEP大小以及∠CEO＝∠ACE，可得眼球光轴投影与x轴在xOz平面内夹角β_l：

β_l＝∠CEP-∠CEO (9)

步骤6、在xOz平面内对眼球光轴投影进行求解，具体为：

根据水平方向上角度映射函数F(e_{w_pixel})，确定瞳孔中心对应视场角α₁；根据眼球解剖学模型可得眼球与瞳孔距离标准值l_EP、眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)可得l_CE，进而得到眼球光轴投影与x轴在xOy平面内夹角α_l：

α_l＝180°-α₁-∠CPE (11)

根据xOy平面内眼球光轴投影与x轴夹角为α_l、xOz平面内眼球光轴投影与x轴夹角β_l、眼球中心坐标(l_p1+l_p2,0,0)，确定眼球光轴位姿，眼球光轴与从两眼球中心出发、xOy平面投影与x轴夹角α_l、xOz平面投影与x轴夹角β_l的射线重合；

步骤7、进行眼球视轴求解，具体为：

根据眼球光轴位姿，得到眼球光轴与显示器屏幕交点G，设其坐标为(0,y_G,z_G)；进而得到摄像头视轴与眼球光轴的夹角Kappa在y轴、z轴上分量：

然后将Kappa_y、Kappa_z分别叠加在α_l、β_l上进行矫正，即得到实时的眼球视轴位姿。

2.如权利要求1所述的一种视线估计方法，其特征在于，所述步骤2中，获得映射函数的方法为：

在x轴不同位置设置暗色反光板模拟人眼角膜反光，利用微距红外摄像头获取暗色反光板上包含2个光斑的图像，根据图像中2个光斑像素距离判断该位置在x轴上坐标；

将暗色反光板依次置于不同位置：位置1、位置2…位置n，微距红外摄像头对应拍摄照片1、照片2、…照片n，并记录位置1、位置2…位置n与屏幕距离l₁、l₂、…l_n；测量照片1、照片2、…照片n中光斑1与光斑2像素距离d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}，由于l₁、l₂、…l_n与d_{pixel_1}、d_{pixel_2}、…d_{pixel_n}存在一一对应关系，设距离映射函数为F(d_{pixel_i},*)＝l_i，其中i＝1,2…n，*为待求解参数，由泰勒定理得式(1)：其中，n表示暗色反光板所放位置的数目；

F(d_{pixel_i},*)＝a₀+a₁·d_{pixel_i}+a₂·d_{pixel_i} ²+…+a_j·d_{pixel_i}j+o(d_{pixel_i} ^j) (1)

采集多组数据，建立数据集{(d_{pixel_i},l_i)}，然后通过最小二乘法对F(d_{pixel_i},*)进行拟合确定其参数P，得到准确的距离映射函数F(d_{pixel_i},P)。

3.如权利要求1所述的一种视线估计方法，其特征在于，广角摄像头、两个近红外光源、头戴式显示器、微距红外摄像头均集中设置在固定装置上，固定装置通过接口固定在头箍上。

Images