CN109308472B - 一种基于虹膜投影匹配函数的三维视线估计方法 - Google Patents

Abstract

本发明公开了一种基于虹膜投影匹配函数的三维视线估计方法，该方法首先通过让使用者注视屏幕上的若干标定点计算人眼参数并建立人眼模型。接着，通过眼球旋转模型与虹膜投影匹配函数，定位出虹膜的空间位置以及朝向，从而得到三维光轴方向。最后，使用多项式矫正法对光轴进行矫正，计算出三维视轴方向。该方法使用深度摄像头进行三维视线估计，为自然环境下的三维视线跟踪提供了一种速度快、精度高、对头部运动鲁棒的解决方案。

Description

一种基于虹膜投影匹配函数的三维视线估计方法

技术领域

本发明涉及视线跟踪技术领域，具体为使用三维传感器的三维视线跟踪方法。

背景技术

视线跟踪技术是最重要的人机交互技术之一，在心理学分析、虚拟现实、医疗设备、辅助驾驶领域都有重要的应用前景。

视线跟踪方法主要分为接触式方法和非接触式方法。基于摄像的非接触式方法对用户更为友好，具有自然和直接的优势，是目前视线跟踪作为人机交互方式研究的主流方向。由于三维传感器技术的进步以及普及，使用三维传感器的三维视线跟踪算法由于其高精度、对头部运动鲁棒的特性逐渐成为视线跟踪主流算法。然而该类方法的主要难点在于1)精确定位出人眼三维中心；2)标定步骤简单，使用较少的标定点；3)如何对光轴进行矫正从而获得视轴

发明内容

有鉴于此，为解决上述现有技术中的问题，本发明提供了一种基于虹膜投影匹配函数的三维视线估计方法，该方法首先通过让使用者注视屏幕上的若干标定点计算人眼参数并建立人眼模型。接着，通过眼球旋转模型与虹膜投影匹配函数，定位出虹膜的空间位置以及朝向，从而得到三维光轴方向。最后，使用多项式矫正法对光轴进行矫正，计算出三维视轴方向。该方法使用一个深度摄像头进行三维视线估计，具有非侵入、速度快、精度高、对头部运动鲁棒的优点。

本发明通过以下技术方案来实现。

一种基于虹膜投影匹配函数三维视线估计方法，该方法使用一台深度摄像头，包含以下步骤：

步骤1、眼球模型使用者参数校准，使用者注视屏幕上若干个标定点，深度摄像头采集彩色帧与深度帧，利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息；

步骤2、眼球模型旋转半径与初始位置校准，使用者注视屏幕上若干个标定点，利用这几个标定点以及步骤1的标定点计算出眼球模型的旋转半径与初始的中心三维坐标；

步骤3、光轴估计，利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标，结合头部姿态估计，计算出当前帧的人眼三维中心坐标，利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向，从而得到光轴；

步骤4、视轴估计，利用多项式光轴矫正法，建立多项式光轴矫正模型，使用多项式拟合出光轴与视轴之间的偏差，并对光轴进行矫正，估计出视轴。

进一步地，所述步骤1中包括：

步骤11、使用虹膜边缘检测算法与椭圆拟合获得彩色图像上虹膜像素点，根据虹膜像素点查找虹膜像素点对应的三维位置，获得一系列虹膜的三维点，利用主成份分析(PCA)算法将这些三维点降至二维，拟合这些二维点，从而得到虹膜，再计算使用者虹膜半径；

步骤12、对虹膜三维点求平均值，获得人眼三维中心位置，连接人眼虹膜三维中心与屏幕上的标定点，该连线即为视轴，利用步骤11中获得的虹膜二维平面的法向量作为光轴，计算光轴与视轴之间的夹角，获得使用者的kappa角度数。

进一步地，所述步骤2中包括：

步骤21、使用团块检测在彩色图像上对虹膜进行初定位，并获取初定位的虹膜中心三维位置；

步骤22、连接虹膜中心三维位置与屏幕上的标定点，作为视轴，利用步骤1中获取的kappa角大小与光轴绕视轴的旋转角λ进行矫正，矫正后的视轴即为光轴；

步骤23、利用初定位的虹膜中心三维位置附近的某一三维点(x，y，z)，与步骤22中获取的光轴，以及步骤1中获取的虹膜半径，建立虚拟的三维虹膜；

步骤24、利用虹膜投影匹配函数计算虚拟三维虹膜在成像平面上投影与RGB虹膜图像的匹配度，虹膜投影匹配函数首先计算虚拟三维虹膜在成像平面上的投影，之后分别计算虹膜投影内像素点与RGB虹膜图像的匹配度以及虹膜边缘像素点与RGB虹膜图像的匹配度，从而获得三维虚拟虹膜与RGB虹膜图像的匹配度；

步骤25、利用粒子群优化算法(PSO)搜索旋转角γ与虹膜三维位置(x，y，z)，寻找虹膜投影匹配函数的最优解，获得最佳的虹膜三维中心位置以及对应的光轴；

步骤26、利用4个标定点，总共可以获得4条光轴，由于4条光轴在实践中没有交点，所以通过以下算法计算旋转半径与三维初始人眼中心：

以人眼平均半径为初始值，利用梯度下降法计算旋转半径的值：对于某一旋转半径的候选值，利用三维虹膜中心以及其对应的光轴，便可以求出这条光轴以及虹膜中心对应的人眼旋转中心；使用梯度下降法，最优化旋转半径，使得每条光轴所对应的三维人眼中心之间的距离最近，以此获得人眼旋转半径；计算每一条光轴对应的人眼中心，对这些人眼中心点求平均值，获得初始三维人眼中心位置。

进一步地，所述步骤3中包括：

步骤31、使用头部姿态估计算法对初始人眼三维坐标进行矫正，利用矫正后的人眼三维坐标，人眼旋转半径，建立眼球模型，该模型旋转中心到虹膜中心的射线为该模型的光轴；

步骤32、旋转眼球模型，设绕Y轴的旋转角为

绕X轴的旋转角为θ，计算旋转后眼球模型的虹膜到成像平面上的投影，计算眼球模型的虹膜在成像平面上的投影与RGB虹膜图像的匹配度；

步骤33、使用粒子群优化算法获得能够使匹配度最优的旋转角

与θ，利用

和θ可以计算出眼球模型的朝向并获得光轴方向。

进一步地，所述步骤4中包括：

步骤41、利用建立的眼球模型，分别计算4个标定点的输入彩色图像的最优投影时的光轴与坐标系之间的夹角，记录下眼球模型的视轴与光轴的偏差。偏差分为两个部分，第一个部分为kappa角的大小，第二个部分为视轴以光轴为转轴的旋转角度；

步骤42、利用多项式，建立多项式光轴矫正模型，对四组夹角以及光轴到视轴的偏差进行拟合，当从一张新图像获得光轴时，计算光轴与坐标系的夹角，将夹角带入多项式得到光轴与视轴的偏差，利用该拟合的偏差对光轴进行矫正得到视轴。

与现有技术比较，本发明的优点与积极效果在于：

1、本发明在标定与视线跟踪这两个关键步骤中，由于使用了虚拟三维人眼模型这一先验信息，能够非常精确地定位出虹膜位置，提高系统的整体精确度。

2、本发明采用建立三维人眼模型，具有精确度高、对头部运动鲁棒的特点。

3、本发明对用户来说使用方便，只需要用户注视屏幕上4个标定点即可。

4、本发明在进行视线跟踪估计时计算量少，运算速度快。

附图说明

图1是本发明实施方式中显示屏与深度摄像头的布置示意图。

图2是本发明实施方式中视线跟踪方法的流程示意图。

图3是本发明眼球模型示意图。

图4是本发明眼球模型以及虹膜在成像平面上投影的示意图。

图5是本发明眼球模型半径计算与初始中心定位步骤的示意图。

具体实施方式

下面将结合附图和具体的实施例对本发明的具体实施作进一步说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明硬件配置上需要一个普通摄像头，位于屏幕中心正上方，实时地捕捉人脸RGB图像与深度图像。

如图2所示，本发明的具体实施步骤如下：

步骤一：眼球模型使用者参数校准；

步骤二：眼球模型旋转半径与初始位置校准；

步骤三：光轴估计；

步骤四：视轴估计；

其中步骤一的具体实施步骤为：

a.计算虹膜半径

由于直接从RGB图像上无法获得真实的虹膜大小，所以需要通过深度图获得虹膜的大小。使用虹膜边缘检测算法与椭圆拟合获得出彩色图像上虹膜像素点，根据虹膜像素点查找虹膜像素点对应的三维位置，获得一系列虹膜的三维点，利用主成份分析(PCA)算法将这些三维点降至二维，拟合这些二维点，从而得到虹膜，并获得虹膜半径。

b.计算kappa角度数

对虹膜三维点求平均值，获得人眼三维中心位置，连接人眼虹膜三维中心与屏幕上的标定点，该连线即为视轴，利用a)中获得的二维平面的法向量作为光轴，计算光轴与视轴之间的夹角，获得使用者的kappa角度数。

其中步骤二的具体实施步骤为：

a.使用团块检测在彩色图像上对虹膜进行初定位，并获取初定位的虹膜中心三维位置

b.连接虹膜三维中心位置与屏幕上的标定点，作为视轴，利用(1)中获取的kappa大小与光轴绕视轴的旋转角λ(如图5)进行矫正，矫正后的视轴即为光轴，如图5所示，λ为光轴绕视轴旋转的角度，κ为光轴与视轴之间的夹角。

c.利用初定位的虹膜中心三维位置附近的某一三维点(x，y，z)，与b中获取的光轴，以及步骤(1)中获取的虹膜半径，建立虚拟的三维虹膜。

d.利用虹膜投影匹配函数计算虚拟三维虹膜在成像平面上投影与RGB虹膜图像的匹配度。虹膜投影匹配函数首先计算虚拟三维虹膜在成像平面上的投影，之后分别计算虹膜投影内像素点与RGB虹膜图像的匹配度以及虹膜边缘像素点与RGB虹膜图像的匹配度。从而获得三维虚拟虹膜与RGB虹膜图像的匹配度。

虹膜投影内像素点与RGB虹膜图像的匹配度E1为：

E₁＝D*E

其中国，E、D分别为虹膜投影椭圆内像素点的均值与标准差。

虹膜边缘像素点与RGB虹膜图像的匹配度E2为：

其中，S2为虹膜投影椭圆边界上像素点的集合，p为集合S2内的像素点，

分别为p点的九邻域内属于椭圆内以及椭圆外像素点的像素值的均值，N₂为边缘像素点的个数。

总体的匹配的为：

E₂ ²/E₁

e.利用粒子群优化算法(PSO)搜索旋转角γ与虹膜三维位置(x，y，z)，寻找虹膜投影匹配函数的最优解，获得最佳的虹膜三维中心位置以及对应的光轴。

f.利用4个标定点，总共可以获得4条光轴。由于4条光轴在实践中没有交点，所以通过以下算法计算旋转半径与三维初始人眼中心：在搜索空间内搜索旋转半径的值，对于某一旋转半径的候选值，利用三维虹膜中心以及其对应的光轴，便可以求出这条光轴以及虹膜中心对应的人眼旋转中心。使用梯度下降法，最优化旋转半径，使得每条光轴所对应的三维人眼中心之间的距离最近，以此获得人眼旋转半径：

其中，

为第i条光轴对应的人眼中心

计算每一条光轴对应的人眼中心，对这些人眼中心点求平均值，获得初始三维人眼中心O_{init_eye}位置。

其中步骤三的具体实施步骤为：

a.使用头部姿态估计算法对初始人眼三维坐标进行矫正，利用矫正后的人眼三维坐标，人眼旋转半径，建立眼球模型，该模型如图3所示，O_eye为眼球中心，O_iris为虹膜中心，r_iris为虹膜半径，R为眼球旋转半径，该模型旋转中心到虹膜中心的射线为该模型的光轴

b.旋转眼球模型，设绕Y轴的旋转角为

绕X轴的旋转角为θ，计算旋转后眼球模型的虹膜到成像平面上的投影，如图4所示，

为眼球绕Y轴的旋转角度，θ为眼球绕X轴的旋转角度；计算眼球模型上虹膜在成像平面上的投影与RGB虹膜图像的匹配度，匹配度计算方法与步骤二中的相同；

c.使用粒子群优化算法获得能够使匹配度最优的旋转角

与θ，利用

和θ可以计算出眼球模型的朝向并获得光轴方向。

其中步骤四的具体实施步骤为：

a.利用建立的眼球模型，分别计算4个标定点的输入彩色图像的最优投影时的光轴与坐标系之间的夹角，记录下眼球模型的视轴与光轴的偏差。偏差分为两个部分，第一个部分为kappa角的大小，第二个部分为视轴以光轴为转轴的旋转角度；b.

利用多项式，建立多项式光轴矫正模型，对四组夹角以及光轴到视轴的偏差进行拟合：

τ＝w₀₀+w₀₁γ+w₀₂δ

κ＝w₁₀+w₁₁γ+w₁₂δ

其中，w_ij为多项式的系数γ与δ分别为光轴与Y轴以及XOY平面之间的夹角。

当从一张新图像获得光轴时，计算光轴与坐标系的夹角。将夹角带入多项式得到光轴与视轴的偏差。利用该拟合的偏差对光轴进行矫正得到视轴。

Claims (4)

1.一种基于虹膜投影匹配函数三维视线估计方法，该方法使用一台深度摄像头，其特征在于包含以下步骤：

步骤1、眼球模型使用者参数校准，使用者注视屏幕上若干个标定点，深度摄像头采集彩色帧与深度帧，利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息；

步骤2、眼球模型旋转半径与初始位置校准，使用者注视屏幕上若干个标定点，利用这若干个标定点以及步骤1中的标定点计算出眼球模型的旋转半径与初始的中心三维坐标；具体包括：

步骤21、使用团块检测在彩色图像上对虹膜进行初定位，并获取初定位的虹膜中心三维位置；

步骤22、连接虹膜中心三维位置与屏幕上的标定点，作为视轴，利用步骤1中获取的kappa角大小与光轴绕视轴的旋转角λ进行矫正，矫正后的视轴即为光轴；

步骤23、利用初定位的虹膜中心三维位置附近的某一三维点(x，y，z)，与步骤22中获取的光轴，以及步骤1中获取的虹膜半径，建立虚拟的三维虹膜；

步骤24、利用虹膜投影匹配函数计算虚拟三维虹膜在成像平面上投影与RGB虹膜图像的匹配度，所述虹膜投影匹配函数首先计算虚拟三维虹膜在成像平面上的投影，之后分别计算虹膜投影内像素点与RGB虹膜图像的匹配度以及虹膜边缘像素点与RGB虹膜图像的匹配度，从而获得三维虚拟虹膜与RGB虹膜图像的匹配度；

步骤25、利用粒子群优化算法搜索旋转角γ与虹膜三维位置(x，y，z)，寻找虹膜投影匹配函数的最优解，获得最佳的虹膜三维中心位置以及对应的光轴；

步骤26、利用4个标定点，总共可以获得4条光轴，由于4条光轴在实践中没有交点，所以通过以下算法计算旋转半径与三维初始人眼中心：

以人眼平均半径为初始值，利用梯度下降法计算旋转半径的值：对于一个旋转半径的候选值，利用三维虹膜中心以及其对应的光轴，便能求出这条光轴以及虹膜中心对应的人眼旋转中心；以每条光轴所对应的三维人眼中心之间的距离作为损失函数，使用梯度下降法，最优化旋转半径，使得每条光轴所对应的三维人眼中心之间的距离最近，以此获得人眼旋转半径；计算每一条光轴对应的人眼中心，对这些人眼中心点求平均值，获得初始三维人眼中心位置；

步骤3、光轴估计，利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标，结合头部姿态估计，计算出当前帧的人眼三维中心坐标，利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向，从而得到光轴；

步骤4、视轴估计，利用多项式光轴矫正法，建立多项式光轴矫正模型，使用多项式拟合出光轴与视轴之间的偏差，并对光轴进行矫正，估计出视轴。

2.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤1中包括：

步骤11、使用虹膜边缘检测算法与椭圆拟合获得彩色图像上虹膜像素点，根据虹膜像素点查找虹膜像素点对应的三维位置，获得一系列虹膜的三维点，利用主成份分析(PCA)算法将这些三维点降至二维，拟合这些二维点，从而得到虹膜，再计算使用者虹膜半径；

步骤12、对虹膜三维点求平均值，获得人眼三维中心位置，连接人眼虹膜三维中心与屏幕上的标定点，该连线即为视轴，利用步骤11中获得的虹膜二维平面的法向量作为光轴，计算光轴与视轴之间的夹角，获得使用者的kappa角度数。

3.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤3中包括：

步骤31、使用头部姿态估计算法对初始人眼三维坐标进行矫正，利用矫正后的人眼三维坐标，人眼旋转半径，建立眼球模型，该模型旋转中心到虹膜中心的射线为该模型的光轴；

步骤32、旋转眼球模型，设绕Y轴的旋转角为

绕X轴的旋转角为θ，计算旋转后眼球模型的虹膜到成像平面上的投影，计算眼球模型的虹膜在成像平面上的投影与RGB虹膜图像的匹配度；

步骤33、使用粒子群优化算法获得能够使匹配度最优的旋转角

与θ，利用

和θ可以计算出眼球模型的朝向并获得光轴方向。

4.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤4中包括：

步骤41、利用建立的眼球模型，分别计算4个标定点的输入彩色图像的最优投影时的光轴与坐标系之间的夹角即kappa角，记录下眼球模型的视轴与光轴的偏差；偏差分为两个部分，第一个部分为kappa角的大小，第二个部分为视轴以光轴为转轴的旋转角度；

步骤42、利用多项式，建立多项式光轴矫正模型，对四组夹角以及光轴到视轴的偏差进行拟合，当从一张新图像获得光轴时，计算光轴与坐标系的夹角，将夹角带入多项式得到光轴与视轴的偏差，利用该拟合的偏差对光轴进行矫正得到视轴。

Images