CN105913487A - 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 - Google Patents

Abstract

本发明提供一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，包括：一种数据驱动的方法，输入人眼图像，与虚拟眼球外观合成数据进行匹配，稳定求解其三维视线方向；2种新颖的眼球外观优化匹配准则，有效降低图像缩放和噪声等不可控因素对结果的影响；在连续拍摄多张人眼图像的情况下，发明一种联合优化方法，进一步提高计算精度。本发明的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明也可广泛用于训练培训、游戏娱乐、视频监控、医疗监护等领域。

Description

一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法

技术领域

本发明涉及计算机视觉和图像处理领域，具体地说是一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法。

背景技术

视线追踪/眼动追踪对于用户行为理解和高效人机交互具有重要意义。人类可感知信息中超过80％的部分由人眼接收，而其中超过90％的部分由视觉系统处理。因此，视线是反映人与外界交互过程的重要线索。近年来，由于虚拟现实技术和人机交互技术的迅速发展，视线追踪技术的应用价值逐渐凸显；另一方面，视线方向计算在计算机视觉领域仍然是一个极富挑战性的问题。目前的解决方法大多基于主动光源和红外摄像，因此需要额外的硬件，并且对使用环境要求较高。另一类方法不需要假设主动光照，仅用单相机拍摄人眼图像并进行视线方向计算，但需要提前获取大量的训练样本，用来学习得到回归计算模型。例如，Baluja和Pomerleau提出的早期的神经网络系统，需要使用数千个训练样本进行训练。Tan等人提出了基于局部线性插值的方法，将人眼图像与视线坐标进行映射，其系统需要大约两百个训练样本。

为了减少对训练样本量的需求，Williams等人提出了一种能够同时使用标记样本和无标记样本进行训练的半监督的方法。Lu等人提出了一个基于稀疏最优化的自适应回归框架，允许使用更少的训练样本进行计算，同时够解决视线计算中的一系列相关问题。Sugano等人从视频中抽取视觉显著性来自动生成训练样本，并用于系统训练。以上方法的缺点在于，其均假定头部姿势固定不动，如果要求这些方法用于头部姿势改变的情况，则需要更多的训练样本来解决头部运动问题。

为了彻底避免系统训练，考虑视线方向是由眼球朝向唯一决定的，而眼球朝向能够从虹膜圆盘朝向或其中心位置计算获得，因此，Yamazoe等人和Heyman等人提出了通过计算虹膜中心和眼球中心间的相对位置实现视线方向计算的方法。他们的方法需要对头部进行三维建模，并且精确追踪人脸的三维特征点，包括眼角位置和眼球中心位置等。在现实中，这些特征点往往难以精确提取，甚至是不可见的。Ishikawa等人使用基于主动外观模型(AAM)的方法跟踪人脸特征点，同样面临上述难题。另一些方法使用椭圆拟合虹膜轮廓，之后将该椭圆反向投影为三维空间上的圆形。这是因为虹膜轮廓可以被近似为圆形，而其在二维图像中投影为椭圆，通过分析该椭圆形状能够求解虹膜在三维世界中的朝向。这是常见的基于虹膜轮廓形状的方法。但是，传统的虹膜轮廓分析方法在实际应用中并不可靠，原因是虹膜区域在图像中面积小、噪声大，其轮廓难以精确提取，而对其轮廓提取的若干像素的微小误差即可造成非常大的视线方向计算偏差。因此，很多情况下只能通过拍摄超高分辨率人眼图像，或者使用可穿戴相机来提高精度，同时也增加了对硬件的要求和对实际应用场景的限制。在此前提下，本发明提供了一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，结合虹膜外观的虚拟生成，主要用于解决在拍摄普通分辨率人眼图像的条件下，传统的虹膜轮廓匹配方法稳定性差，精度低的缺点，进而实现高精度三维视线方向计算。

发明内容

根据上述实际需求和技术难题，本发明的目的在于：提出一种三维视线的计算方法，通过虚拟眼球外观合成，生成不同视线方向下的虚拟眼球外观数据集，通过与人眼图像匹配，实现对人眼三维视线方向的计算。本方法对系统没有额外需求，仅使用单相机拍摄的人眼图像作为输入。同时，本方法通过提出两种虹膜轮廓形状分析匹配技术，实现了相比其它类似方法更好的鲁棒性。

本发明技术解决方案：一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，首先，针对人眼图像获取，本发明包含以下流程。使用单相机，拍摄含有用户面部区域的图像。利用已有人脸分析方法定位左眼或右眼区域。对提取出的人眼图像进行预处理，得到亮度修正的人眼图像，以及通过边缘检测产生部分虹膜边缘像素。

其次，发明了针对不同视线方向下的虚拟眼球外观合成和数据集建立方法。对眼球建立三维球体模型，并在其上添加虹膜轮廓等重要细节；遍历物理可能的眼球朝向参数，即绕水平和垂直两轴转动的角度，对于每个眼球朝向，将对应的三维虚拟眼球外观投射到二维平面(对应眼球正前方向)，记录投射后的虹膜形态、眼球中心位置、虹膜中心位置等二维坐标信息；将所有转角与对应生成的二维坐标信息保存到数据集。

进一步，发明了人眼图像和合成得到的虚拟眼球外观匹配的方法，通过最大化匹配度，选取与人眼图像最一致的虚拟眼球外观，得知对应的眼球朝向和位置。针对眼球外观匹配，发明了基于圆周对称性度量和虹膜轮廓匹配度度量两种约束的匹配算法。对于前者，给定任意一组匹配参数(相对平移量和眼球朝向)，确定其对应的虚拟眼球虹膜轮廓及虹膜中心位置的坐标；将这些坐标叠加到人眼图像上，在虹膜轮廓附近区域内，度量人眼图像像素梯度的变化规律，考察以虹膜椭圆轮廓为参考的二维圆周对称性，并以此作为准则衡量匹配效果。对于后者，给定任意一组匹配参数(相对平移量和眼球朝向)，可以确定其对应的虚拟眼球虹膜轮廓的坐标；遍历人眼图像中提取的虹膜边缘像素，计算各边缘像素与虚拟眼球虹膜轮廓的距离；检查这些距离的分布，统计明显与众不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。

另外，对于连续拍摄的人眼图像，在假设眼球中心位置不变或已对齐的条件下，发明了一种联合优化方法，能够提高从多张人眼图像中计算视线方向时的准确性。在前述人眼图像与虚拟眼球外观匹配结果的基础上，对于每一张人眼图像，分别计算得到眼球朝向和眼球中心位置坐标；对于所有图像的结果，排除其中明显有偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标；分别继续进行外观匹配，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽可能重合。计算结果更新为各张人眼图像中眼球朝向的最终结果。

本发明具体实现步骤如下：

(1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集，以备具体应用时使用；

(2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度修正并提取图像中的虹膜边缘像素；

(3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确定了与人眼图像最吻合的眼球朝向和位置；

(4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视线方向。

所述步骤(1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模型，并在其表面添加圆形虹膜轮廓重要元素；遍历不同的物理可能的眼球朝向，即不同的绕水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球外观数据；将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。

所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下：求解的匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球外观对应的眼球朝向，通过寻找这两个匹配参数的最佳值，最优化人眼图像与虚拟眼球外观的匹配度，从而实现进行人眼图像与虚拟眼球外观数据匹配。

所述匹配度由如下函数度量计算：

(31)圆周对称性度量：当匹配趋于理想时，人眼图像中处于虚拟眼球虹膜轮廓附近的像素具有更好的圆周对称性；

(32)虹膜轮廓匹配度度量：当匹配趋于理想时，计算人眼图像中的虹膜边缘各像素与虚拟眼球虹膜轮廓的距离，这些距离趋于相同。

步骤(31)中进行圆周对称性度量的方法为，对于任意一组匹配参数，可以确定其对应的虚拟眼球外观虹膜轮廓及虹膜中心位置的坐标；将这些坐标叠加到人眼图像上，以虹膜轮廓上的各点为基准，沿各点与虚拟眼球外观虹膜中心的连线的正负两个方向，在人眼图像上进行连续像素值采集，获得一维像素列向量，采集范围与虚拟眼球外观虹膜轮廓上各点到虚拟眼球外观虹膜中心距离成正比；遍历虚拟眼球外观虹膜轮廓上各点进行采集，将得到的所有一维列向量组合为二维矩阵；最后，计算该矩阵或其垂直方向的梯度矩阵的各列数值分布的一致性，一致性可用矩阵核函数、各列相关系数、奇异值集中度进行度量，一致性越高，圆周对称性越好。

步骤(32)中进行虹膜轮廓匹配度度量的方法为，对于任意一组匹配参数，确定该一组匹配参数对应的虚拟眼球外观虹膜轮廓的坐标；遍历人眼图像中提取的虹膜边缘像素，计算各边缘像素与虚拟眼球外观虹膜轮廓的距离；检查这些距离的分布，统计明显与众不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。

所述步骤(4)中联合优化方法，精确同时求解各图像对应的三维视线方向的方法为，假设各图像拍摄时眼球中心位置不变或已被对齐，进行步骤(3)中人眼图像与虚拟眼球外观匹配，计算得到每张人眼图像对应的眼球朝向和眼球中心位置坐标；排除其中明显有偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标；分别继续进行步骤(3)的优化，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽可能重合，计算结果更新为各张人眼图像中眼球朝向即三维视线方向的最终结果。

与其它的基于虹膜外观分析的方法相比，本发明有益的特点在于：(1)发明了一种数据驱动的方法，通过合成虚拟的且物理可能的眼球外观数据，将视线方向求解的难题转化为真实人眼图像与合成的多朝向虚拟眼球外观的匹配问题，有利于稳定求解；(2)针对虹膜外观匹配，发明了2种新颖的优化准则，包括圆周对称性度量准则和虹膜轮廓匹配度度量准则，这两种准则与传统方法的区别之处在于，在匹配中不要求虹膜轮廓的精确吻合，而是灵活地衡量了虹膜轮廓在形状上的相似性，从而有效降低图像中缩放和噪声等不可控因素对结果的影响；(3)在连续拍摄多张人眼图像的情况下，假设眼球中心位置不变或已经对齐，本发明提出了一种联合优化方法，能够从多张人眼图像中更精确计算其各自的视线方向。

附图说明

图1是本发明的虹膜图像与视线方向关系示意图；

图2是本发明的虚拟眼球外观生成示意图；

图3是本发明的人眼图像与虚拟眼球外观匹配示意图；

图4是本发明的基于单张人眼图像的视线方向计算流程图；

图5是本发明的基于多张人眼图像的视线方向联合优化流程图。

具体实施方式

下面结合附图对本发明的具体实施作详细说明。

参阅图1本发明的虹膜图像与视线方向关系示意图，为了从相机拍摄的人眼图像中计算三维视线方向，使用一种简单的三维球体模型对眼球进行建模。具体而言，认为眼球为一个表面带有圆形虹膜区域的标准球体，对于该眼球模型，模型参数仅包含眼球半径和虹膜直径，因此易于分析计算。在此基础上，视线方向可以近似地用一条以眼球中心为起点，通过虹膜中心的射线来确定。另一方面，由基本的三维几何规律可知，在该模型下，视线方向与圆形的虹膜区域的法向量方向是一致的。因此，求解三维视线方向的问题可以转化为求解虹膜区域的朝向(法向方向)的问题。

当利用相机拍摄人眼外观时，原本圆形的虹膜轮廓会由于透视原因，在图像中程椭圆形。容易证明，当三维眼球转动导致虹膜朝向改变时，虹膜轮廓的椭圆形投影的形状由虹膜朝向直接确定。例如，当眼球和虹膜正对着拍摄方向的时候，拍摄到的二维虹膜轮廓是标准圆形；如果眼球转动，虹膜朝向随之旋转，其二维投影后的图像将会沿着转动方向收缩，体现为沿短轴收缩的椭圆。相应地，通过计算椭圆虹膜轮廓的形状(由长轴和短轴确定)，即能够恢复出虹膜的三维朝向。因此，从人眼图像中求解三维视线方向的问题可最终转化为对图像中二维虹膜轮廓的分析计算。

参阅图2本发明的虚拟眼球外观生成示意图，为了在不进行实际拍摄的前提下，生成大量的物理可能的虚拟眼球外观数据，提出在三维球体眼球模型的基础上进行计算和绘制的方法。首先，确定虚拟数据产生的参数化方案。具体而言，以眼球朝向为指标，并将其进一步分解为眼球绕X轴和Y轴的两种转动方式。记两个方向的旋转角度分别为u和v，则眼球转动的总角度可以近似为arcsin((sin²u+sin²v)^-2)。此处，考虑虚拟眼球外观的生成应保证其物理可能性，因此，对上述转动加以约束，要求眼球整体转动不得超过45°，即(sin²u+sin²v)^-2<sin45°。在此基础上，对于u和v，每隔5°采样一次，对每一组u和v，通过上述公式进行判断，如果整体转动超出45°，则舍弃该组u和v，否则将该组数据加入虚拟眼球合成的参数集合。

对于每一组物理可行的眼球旋转角度u和v，进行眼球虚拟外观合成。如前所述，本方案采用一个标准球体，作为眼球的近似。同时，在球体表面附着一个标准圆形，作为虹膜轮廓的近似。二者整体组成眼球的三维模型。在具体构建中，眼球和虹膜的直径分别记作D_e和D_i，其取值参照解剖学中的眼球标准参数，分别设为25毫米和12毫米。需要补充的是，不同人之间存在个体差异，导致D_e和D_i存在差异性。本发明虽然在此处的虚拟眼球外观模型构建时采用了固定参数，但后续算法将能够有效处理个体差异。

利用该眼球模型，配合前述的虚拟眼球合成的转动参数，可以生成不同视线方向下的虚拟眼球外观数据。首先，记g＝[g_x，g_y，g_z]^T为描述眼球朝向(即三维视线方向)的单位三维向量，则对于任意物理可行的u和v，其对应的g的计算方法如下：

$g=\left[\begin{array}{c}\sin u\\ \sin v\\ {(1-{\sin }^{2}u-{\sin }^{2}v)}^{-2}\end{array}\right]$

同时，为了计算该眼球朝向下的虚拟眼球外观，记E(g)，C(g)，P_i(g)表示眼球中心、虹膜中心和虹膜轮廓上第i个点的三维坐标。则E(g)，C(g)，P_i(g)与g之间的关系可以通过以下公式计算：

$C\left(g\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&beta;}& -\sin \mathrm{\&beta;}\\ 0& \sin \mathrm{\&beta;}& \cos \mathrm{\&beta;}\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\&alpha;}& 0& sin\mathrm{\&alpha;}\\ 0& 1& 0\\ -\sin \mathrm{\&alpha;}& 0& \cos \mathrm{\&alpha;}\end{array}\right]\&CenterDot;(E\left(g\right)+\left[\begin{array}{c}0\\ 0\\ D_e/2\end{array}\right])$

$P_i\left(g\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&beta;}& -\sin \mathrm{\&beta;}\\ 0& \sin \mathrm{\&beta;}& \cos \mathrm{\&beta;}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\&alpha;}& 0& \sin \mathrm{\&alpha;}\\ 0& 1& 0\\ -\sin \mathrm{\&alpha;}& 0& \cos \mathrm{\&alpha;}\end{array}\right]\&CenterDot;(E\left(g\right)+\left[\begin{array}{c}{D}_i/2\&CenterDot;\sin \mathrm{\&gamma;}\\ D_i/2\&CenterDot;\cos \mathrm{\&gamma;}\\ {(\frac{{D_e}^2}{4}-\frac{{D_i}^2}{4})}^{-2}\end{array}\right])$

其中，g_x、g_y、g_z分别是前述视线方向g在三个坐标轴方向上的分量。γ是虹膜轮廓上第i个点相对于虹膜中心的方位角。至此，对于任意物理可行的u和v，在给定眼球中心三维坐标E(g)的条件下，其对应的眼球朝向g、虹膜中心C(g)和虹膜轮廓{P_i(g)}的三维坐标均已被计算获得。遍历所有的物理可行的眼球旋转角度u和v，可以计算得到一系列不同眼球朝向下的虚拟眼球外观的三维坐标描述。

最后，为了合成二维图像下的虚拟眼球外观，需要将三维坐标转换为图像平面上的二维像素坐标。利用标准相机成像公式，进行如下计算：

$z\left[\begin{array}{c}p\\ 1\end{array}\right]=K\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}P\\ 1\end{array}\right]$

其中，大写字母P泛指任意已知的三维坐标，可以是上述E(g),C(g),P_i(g)。小写字母p是其对应的图像上的二维像素坐标。K是相机的内参矩阵，可以通过实验标定，也可以根据实际情况指定。z是计算过程中产生的一个比例常数。

在某些情况下，当相机内参K无法确定，且眼球中心三维坐标也无指定取值时，可以采取如下近似方法计算合成虚拟眼球外观。首先，设e(g)为0，然后使用一个简单的变换公式：

$p=s\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right]P$

这里，s是简单的缩放常数，可以通过粗略估计人眼图像中的虹膜直径并将其除以D_i得到。

以上实施流程实现了对于任意的物理可能的眼球朝向(视线方向)g_n，计算其三维眼球数据，并合成为二维像素坐标的过程，具体得到了虹膜中心c(g_n)、虹膜轮廓点集合{p_i(g_n)}的二维图像坐标数据，其中，{p_i(g_n)}表示在i遍历其所有取值时对应的p_i(g_n)组成的集合。将所有的g_n与其对应的c(g_n)、{p_i(g_n)}进行保存，即得到了不同视线方向下的虚拟眼球外观合成数据集。

参阅图3本发明的人眼图像与虚拟眼球外观匹配示意图，使用前述的不同视线方向下的虚拟眼球外观合成数据集，与真实拍摄的人眼图像进行眼球外观匹配，实现了眼球朝向即三维视线方向的查询计算。具体实施方法如下。

首先，对于真实拍摄的人眼图像，在进行视线计算之前，需要对其进行预处理。预处理的目标包括两点：对于不同条件下拍摄的人眼图像进行亮度修正，以及从人眼图像中获取可信的虹膜轮廓像素。对于亮度修正，首先进行图像亮度直方图调整，以加强较亮区域(如巩膜)和较暗区域(如虹膜和角膜)之间的对比度，具体通过以下操作完成：

$I_k^{\&prime;\&prime;}=255\&times;\frac{I_k^{\&prime;}-{\min }_k\left(I_k^{\&prime;}\right)}{{\max }_k\left(I_k^{\&prime;}\right)-{\min }_k\left(I_k^{\&prime;}\right)}$

其中，I′_k和I″_k是图像中每个像素点进行直方图调整前后的值，median()是计算中值的函数。对于亮度修正之后的图像，进行虹膜轮廓提取，具体为：记录图像中像素亮度变化幅度，以0.8的倍率作为阈值，选出最暗的区域。选择其中面积最大的区域，用图像膨胀操作进行加强，得到虹膜区域的大致范围，并记其中心位置为o。同时，从原图像中计算一个朝向掩模，计算方法为，对于每一个像素k，掩模值M_k如下：

分析该掩摸与虹膜区域像素点的关联。观察可知，虹膜轮廓上的像素从较暗的虹膜区域到亮的巩膜区域的梯度方向应当背离虹膜中心o。因此，对于虹膜区域内的像素k来说，如果k点的掩摸值M_k为1，就表示该点是潜在的虹膜轮廓像素点。此外，将可能的虹膜轮廓区域约束在以o为中心，向左右延伸的两个扇形区域之间，以避免上下眼睑边缘的影响。最后，得到虹膜轮廓候选结果。由于掩模的不完整性，可能导致孤立像素的存在，因此，判断所有像素的连通性，只保留非孤立像素，从而得到最终的虹膜轮廓像素集合。

其次，从虚拟眼球外观数据集中，选取某一眼球朝向g_n下的合成外观数据，并与亮度修正的人眼图像以及虹膜边缘图像进行匹配。匹配使用如下两个准则：

1)圆周对称性度量：度量虹膜轮廓区域的人眼图像像素梯度的圆周对称性。计算方法为，将图像转化为极坐标表示。在极坐标下，横轴代表虹膜上像素点p_i(g_n)相对虹膜中心c(g_n)的方位角，纵轴代表虹膜中心c(g_n)与虹膜像素点p_i(g_n)连线上的欧式坐标。基于此，利用如下方法采集数据。沿着c(g_n到p_i(g_n)的方向，在人眼图像上，跨虹膜轮廓内外采集一组连续的像素值，采集区间范围与c(g_n)到p_i(g_n)的距离成正比。将这些像素值填充到极坐标内，其横坐标同为p_i(g_n)的方位角，其纵坐标为该组像素从虹膜轮廓内到外排列后的相对坐标，因此填充结果为纵向的一列。将极坐标下的每一列都填充完毕之后，对其求取纵向梯度得到极坐标梯度图(虹膜像素梯度矩阵)。观察可知，理想的虹膜边缘匹配结果将保证梯度矩阵的各列结构相似，即强度较大的值出现在相同的几行。为定量衡量矩阵的各列一致性，可使用矩阵的秩等指标来计算。作为示例，以下集中度函数也可用来衡量该矩阵列间的相似度：

这里极坐标梯度图(PGM)是一个矩阵，{σ_l}是奇异值，其中l＝1，2，…，U和V是对PGM矩阵进行奇异值分解后产生的两个矩阵。RS值越大表示匹配越好。

2)虹膜轮廓匹配：将人眼图像中提取的虹膜轮廓边缘像素集{q_j}与虚拟眼球外观合成数据中的虹膜轮廓{p_i(g_n)}进行直接匹配。由于合成数据的虹膜和实际拍摄的虹膜在尺寸上可能不同，本发明提出了一种鲁棒的轮廓匹配技术来解决这一问题。具体而言，提出了以下匹配标准：

$ICF=\underset{j}{\&Sigma;}1-\underset{j}{\&Sigma;}{\mathrm{\&sigma;}}_j$

其中，

||||₂代表2-范数计算，Δ是容忍微小距离误差的一个常数，可设为2个像素。上式计算了图像中的虹膜轮廓边缘点与虚拟眼球数据中的虹膜轮廓的距离，并统计其中距离值与众不同的情况的数量。因此，理想的匹配应使所有的距离都相同，即ICF为0，而较差的匹配无法做到。ICF值越大，匹配效果越差。该匹配准则不要求人眼图像的虹膜边缘像素与合成数据的虹膜轮廓完全重合，而仅要求各处距离相等(形状相同)，解决了二者尺寸不同的问题。

结合圆周对称性度量和虹膜轮廓匹配两种准则，综合的人眼图像与虚拟眼球外观匹配的匹配度衡量方法为RS-λ·ICF。其中λ设为0.01，用来平衡这两项的权重。

参阅图4本发明的基于单张人眼图像的视线方向计算流程图，结合前文描述的相关具体技术，以下介绍基于单张人眼图像的视线方向计算的具体实施过程。

首先，输入单张人眼图像，并进行图像初始化处理，得到亮度修正的人眼图像，并从人眼图像中获取可信的虹膜轮廓边缘像素集合。之后，为求解未知视线方向g，规定视线方向的搜索规则和范围，并逐一遍历这些候选的视线方向。

假设g有新取值，则设定相对平移向量b＝0。之后，从虚拟眼球外观合成数据集中，选取与g最接近的视线方向所对应的虹膜外观等数据。计算score＝RS-λ·ICF，并以score取值最大化为标准，用梯度下降法优化更新b，重复这一步骤，直至b取值稳定。最后，选取下一个g的取值。

当g已经完成遍历，没有新的取值，则将整个计算过程中，对应score最大值的眼球朝向g值和相对平移向量b输出，其中眼球朝向g也即三维视线方向，是最终输出结果。

整体而言，该过程求解了以下优化问题：

$\{g,b\}=\arg {\max }_{g\&Element;\left\{g_n\right\},b}\{RS(g,b)-\mathrm{\&lambda;}\&CenterDot;ICF(g,b)\}$

λ是一个权重参数，设为0.01，g和b是求解的视线方向和相对平移量。参阅图5本发明的基于多张人眼图像的视线方向联合优化流程图，在前文描述的基于单张人眼图像的视线方向计算方法基础上，下面给出使用多张人眼图像进行视线方向联合优化计算的实施方法。首先，利用同一台相机，在短时间内连续拍摄多张人眼图像。由于用户头部姿态在短时间内往往较为稳定，因此这些图像能够通过简单的平移旋转准确对齐。接下来，使用前述的单张图像视线方向计算方法，分别计算每一张图像的视线方向g_m和眼球中心坐标e_m。

由于在多张人眼图像均已对齐的条件下，眼球旋转并不会改变眼球中心的位置，因此所有的e_m都应对应于同一个真实的眼球中心坐标，记为假定共有M张人眼图像，可以直接计算其平均值：

$\hat{e}=\frac{1}{M}\underset{m=1}{\overset{M}{\&Sigma;}}{e}_m$

进一步，为获得更高的准确度，希望仅使用{e_m}中比较可信的一个子集。因此，对{e_m}中所有数据做聚类，选取最大子集，用来做加权平均，得到

在获取眼球中心坐标后，对每一张人眼图像，重新进行优化计算，优化方法仍然为最大化如下函数：score＝RS-λ·ICF含圆周对称性和虹膜轮廓匹配两个优化准则。与之前方法的区别在于，计算RS和ICF时，原本能够自由取值的眼球中心坐标e_m被强制固定为在此基础上优化求解，由于固定了眼球中心相当于将原本独立的眼球朝向和相对平移向量两个变量绑定，使得解空间大大缩小；同时利用独立求解时的结果g_m作为初始值，在一定浮动范围内(如±15°范围内)进行优化搜索，不需要遍历整个解空间。因此，能够快速获得最优化的视线方向整体而言，联合优化过程求解了以下问题：

其中，三维视线方向是针对第m张图像的最终输出。

总之，本发明新颖的眼球外观优化匹配准则，有效降低图像缩放和噪声等不可控因素对结果的影响；在连续拍摄多张人眼图像的情况下，发明一种联合优化方法，进一步提高计算精度。本发明的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明也可广泛用于训练培训、游戏娱乐、视频监控、医疗监护等领域。

以上所述仅为本发明的一个代表性实施例，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (7)

1.一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于包含以下步骤：

(1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集，以备具体应用时使用；

(2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度修正并提取图像中的虹膜边缘像素；

(3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确定了与人眼图像最吻合的眼球朝向和位置；

(4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视线方向。

2.根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：步骤(1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模型，并在其表面添加圆形虹膜轮廓重要元素；遍历不同的物理可能的眼球朝向，即不同的绕水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球外观数据；将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。

3.根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下：求解的匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球外观对应的眼球朝向，通过寻找这两个匹配参数的最佳值，最优化人眼图像与虚拟眼球外观的匹配度，从而实现进行人眼图像与虚拟眼球外观数据匹配。

4.根据权利要求3所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：所述匹配度由如下函数度量计算：

(31)圆周对称性度量：当匹配趋于理想时，人眼图像中处于虚拟眼球虹膜轮廓附近的像素具有更好的圆周对称性；

(32)虹膜轮廓匹配度度量：当匹配趋于理想时，计算人眼图像中的虹膜边缘各像素与虚拟眼球虹膜轮廓的距离，这些距离趋于相同。

5.根据权利要求4所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：步骤(31)中进行圆周对称性度量的方法为，对于任意一组匹配参数，可以确定其对应的虚拟眼球外观虹膜轮廓及虹膜中心位置的坐标；将这些坐标叠加到人眼图像上，以虹膜轮廓上的各点为基准，沿各点与虚拟眼球外观虹膜中心的连线的正负两个方向，在人眼图像上进行连续像素值采集，获得一维像素列向量，采集范围与虚拟眼球外观虹膜轮廓上各点到虚拟眼球外观虹膜中心距离成正比；遍历虚拟眼球外观虹膜轮廓上各点进行采集，将得到的所有一维列向量组合为二维矩阵；最后，计算该矩阵或其垂直方向的梯度矩阵的各列数值分布的一致性，一致性可用矩阵核函数、各列相关系数、奇异值集中度进行度量，一致性越高，圆周对称性越好。

6.根据权利要求4所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：步骤(32)中进行虹膜轮廓匹配度度量的方法为，对于任意一组匹配参数，确定该一组匹配参数对应的虚拟眼球外观虹膜轮廓的坐标；遍历人眼图像中提取的虹膜边缘像素，计算各边缘像素与虚拟眼球外观虹膜轮廓的距离；检查这些距离的分布，统计明显与众不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。

7.根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：所述步骤(4)中联合优化方法，精确同时求解各图像对应的三维视线方向的方法为，假设各图像拍摄时眼球中心位置不变或已被对齐，进行步骤(3)中人眼图像与虚拟眼球外观匹配，计算得到每张人眼图像对应的眼球朝向和眼球中心位置坐标；排除其中明显有偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标；分别继续进行步骤(3)的优化，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽可能重合，计算结果更新为各张人眼图像中眼球朝向即三维视线方向的最终结果。