CN104615978A - 视线方向跟踪方法及装置 - Google Patents

Abstract

本发明公开一种视线方向跟踪方法及装置，能够解决现有技术成本高、需要人工校准和用户训练的问题。所述方法包括：利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立眼球模型在摄像头坐标系中的投影模型；确定出眼球模型所在的眼球坐标系和摄像头坐标系之间的转换矩阵；根据转换矩阵确定出视线方向。所述装置包括：摄像头，用于实时采集人的眼球图片；构建单元，用于根据摄像头所采集的眼球图片构建眼球模型，并建立眼球模型在摄像头坐标系中的投影模型；转换矩阵确定单元，用于确定出眼球模型所在的眼球坐标系和摄像头坐标系之间的转换矩阵；视线方向确定单元，用于确定出视线方向。

Description

视线方向跟踪方法及装置

技术领域

本发明涉及视频分析和眼球追踪领域，具体涉及一种视线方向跟踪方法及装置。

背景技术

视线追踪技术早期被广泛应用在心理学、医学领域，通过分析用户的眼球运动情况，来判断用户的心理状态和健康状态。随着视线追踪技术的发展，越来越多的日常应用开始借助视线追踪技术来提供大量有用和有趣的功能。如追踪眼球的视线方向可以帮助定位用户所注视的位置，从而可以通过眼球运动操控鼠标，甚至进行输入；眼球的视线方向也被应用到商场、超市等地方，帮助商家分析用户感兴趣的商品区域；此外，还有很多游戏可以借助视线跟踪的方式实现真实感游戏互动。

视线追踪技术需要追踪视线方向。而现有的视线方向追踪方法通常需要两个相对位置固定的摄像头，通过在三维空间中重建眼球模型，从而确定眼睛凝视的方向。这类方法目前已经能够达到几度的精度，然而却有重大的局限性。一方面需要两个摄像头，使得该类方法成本高、不宜佩戴、难以用于移动应用。同时由三维建模带来的巨大计算开销和由双摄像头带来的电量开销也是普通个人移动设备难以承受的。因此，此类方法极大的局限了视线方向跟踪技术的应用前景。目前也有少数技术能够仅用一个摄像头实现视线追踪，但是它们通常需要每个用户针对自身特点和佩戴情况进行繁琐的训练和校准。这样就极大程度地提高了该技术的使用门槛。

发明内容

本发明所要解决的技术问题是现有技术成本高、不宜佩戴、不能广泛适用于各类移动设备、需要人工校准和用户训练的问题。

为此目的，本发明提出一种视线方向跟踪方法，包括：

利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；其中，所述眼球模型包括球形眼球和圆形虹膜；

确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

根据所述转换矩阵确定出视线方向。

本发明实施例视线方向跟踪方法，利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型，确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵，并根据所述转换矩阵确定出视线方向，这就使得仅需要利用一个低分辨摄像头即能实现用户视线追踪，成本低，佩戴方便，同时，该方法对用户的头部运动没有任何限制，无需人工校准摄像头，或者进行用户训练，用户佩戴设备即可使用，而且，计算开销小，能广泛适用于各类移动设备。

另一方面，本发明提出一种视线方向跟踪装置，包括：

摄像头，用于实时采集人的眼球图片；

构建单元，用于根据所述摄像头所采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；

转换矩阵确定单元，用于确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

视线方向确定单元，用于根据所述转换矩阵确定单元确定出的转换矩阵确定出视线方向。

本发明实施例视线方向跟踪装置，利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型，确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵，并根据所述转换矩阵确定出视线方向，这就使得仅需要利用一个低分辨摄像头即能实现用户视线追踪，成本低，佩戴方便，同时，该方法对用户的头部运动没有任何限制，无需人工校准摄像头，或者进行用户训练，用户佩戴设备即可使用，而且，计算开销小，能广泛适用于各类移动设备。

附图说明

图1为本发明一种视线方向跟踪方法一实施例的流程示意图；

图2为本发明一种视线方向跟踪方法另一实施例的部分流程示意图；

图3为图2中S320一实施例的流程示意图；

图4为本发明一种视线方向跟踪装置一实施例的方框结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例公开一种视线方向跟踪方法，包括：

S1、利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；其中，所述眼球模型包括球形眼球和圆形虹膜；

S2、确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

S3、根据所述转换矩阵确定出视线方向。

本发明实施例视线方向跟踪方法，利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型，确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵，并根据所述转换矩阵确定出视线方向，这就使得仅需要利用一个低分辨摄像头即能实现用户视线追踪，成本低，佩戴方便，同时，该方法对用户的头部运动没有任何限制，无需人工校准摄像头，或者进行用户训练，用户佩戴设备即可使用，而且，计算开销小，能广泛适用于各类移动设备。

可选地，在本发明视线方向跟踪方法的另一实施例中，所述眼球坐标系的原点为球形眼球的中心，所述眼球坐标系的X轴与圆形虹膜平面与水平面的交线平行，所述眼球坐标系的Z轴的方向为从球形眼球的中心指向圆形虹膜的中心的方向，所述摄像头坐标系的X轴和Y轴分别为摄像头成像平面的X轴和Y轴，所述摄像头坐标系的Z轴为摄像头光轴，

其中，所述确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵的步骤，包括：

建立所述眼球坐标系和所述摄像头坐标系之间的转换关系Vc＝RecVe+t；

确定出圆形虹膜在摄像头成像平面的椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角

根据所述椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角确定出圆锥参数矩阵A＝S^THS；

根据所述圆锥参数矩阵A确定出投影模型方程G^TAG＝kQ；

根据所述转换关系和所述投影模型方程确定出所述Rec的两组解；

识别出所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域；

根据所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域确定出眼角在所述摄像头坐标系中的投影坐标；

根据所述Rec的两组解和所述眼角在所述摄像头坐标系中的投影坐标确定出眼角在所述摄像头坐标系中的两组坐标，并确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标；

对于该两组坐标中的每一组坐标，计算该每一组坐标对应的两个眼角与球形眼球的中心的距离之差的绝对值；

比较该两组坐标对应的两个距离之差的绝对值的大小，将该两个距离之差的绝对值中较小者对应的所述Rec的解确定为从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵；

所述根据所述转换矩阵确定出视线方向，包括：

根据所述从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵确定出视线方向；

所述Rec＝(r1，r2，r3)为从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵，所述Ve为所述眼球坐标系中的点，所述Vc为该点在所述摄像头坐标系中的坐标，所述t为一标量坐标，所述夹角为锐角，所述所述 $H=\left(\begin{array}{c}\frac{1}{a^2},\mathrm{0,0}\\ 0,\frac{1}{b^2},0\\ \mathrm{0,0,1}\end{array}\right),$ 所述G＝(r1，r2，t)，所述k为一常数，所述 $Q=\left(\begin{array}{c}\frac{1}{r^2},\mathrm{0,0}\\ 0,\frac{1}{r^2},0\\ \mathrm{0,0,1}\end{array}\right),$ 所述r为圆形虹膜的半径。

本发明实施例中，圆形虹膜的半径r可以为人类平均虹膜半径大小，即r＝7mm，本发明实施例中可以求得8组Rec的解，而由于视线方向是从眼睛指向头部前方(而非向后)，且由于摄像头和眼睛的关系，虹膜的位置总是位于成像平面前方。因此通过解的符号，可以消除6组位置不可能的解，得到所述Rec的两组解。本发明实施例中，识别出当前的眼球图片中的眼球区域、虹膜区域和眼角区域，以及确定出眼角在摄像头坐标系中的投影坐标为现有技术，本发明不再赘述。根据眼球模型，眼球中心到两个眼角的距离相等，因此本发明实施例中计算出的所述两个距离之差的绝对值中较小者对应的所述Rec的解即为从眼球坐标系到摄像头坐标系转换的转换矩阵。

可选地，在本发明视线方向跟踪方法的另一实施例中，所述确定出圆形虹膜在摄像头成像平面的椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角包括：

通过椭圆拟合，将圆形虹膜区域拟合为椭圆，提取出所述椭圆的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角

可选地，参看图2，在本发明视线方向跟踪方法的另一实施例中，所述确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标，包括：

S20、根据所述Rec的两组解确定出所述眼球坐标系的Z轴的两个方向；

S21、根据球形眼球的半径和圆形虹膜的半径确定出球形眼球的中心和圆形虹膜的中心之间的距离；

S22、根据所述眼球坐标系的Z轴的两个方向，以及所述球形眼球的中心和圆形虹膜的中心之间的距离确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标。

本发明实施例中，球形眼球的半径R可以为13mm，通过勾股定理使用虹膜半径r和眼球半径R的值可以计算出球形眼球的中心和圆形虹膜的中心之间的距离d＝11mm。

可选地，参看图3，在本发明视线方向跟踪方法的另一实施例中，所述根据所述Rec的两组解确定出所述眼球坐标系的Z轴的两个方向(S20)，包括：

S200、利用方向传感器获取所述摄像头坐标系的Z轴的方向；

S201、根据所述Rec的两组解和所述摄像头坐标系的Z轴的方向，并利用所述转换关系确定出所述眼球坐标系的Z轴的两个方向。

本发明实施例中，方向传感器与摄像头的相对位置保持固定，且摄像头和方向传感器的相对位置已知，即摄像头坐标系的Z轴的方向可以直接通过方向传感器的读数转换得到。

如图4所示，本实施例公开一种视线方向跟踪装置，包括：

摄像头1，用于实时采集人的眼球图片；

构建单元2，用于根据所述摄像头1所采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；

转换矩阵确定单元3，用于确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

视线方向确定单元4，用于根据所述转换矩阵确定单元3确定出的转换矩阵确定出视线方向。

本发明实施例视线方向跟踪装置，利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型，确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵，并根据所述转换矩阵确定出视线方向，这就使得仅需要利用一个低分辨摄像头即能实现用户视线追踪，成本低，佩戴方便，同时，该方法对用户的头部运动没有任何限制，无需人工校准摄像头，或者进行用户训练，用户佩戴设备即可使用，而且，计算开销小，能广泛适用于各类移动设备。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种视线方向跟踪方法，其特征在于，包括：

利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；其中，所述眼球模型包括球形眼球和圆形虹膜；

确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

根据所述转换矩阵确定出视线方向。

2.根据权利要求1所述的视线方向跟踪方法，其特征在于，所述眼球坐标系的原点为球形眼球的中心，所述眼球坐标系的X轴与圆形虹膜平面与水平面的交线平行，所述眼球坐标系的Z轴的方向为从球形眼球的中心指向圆形虹膜的中心的方向，所述摄像头坐标系的X轴和Y轴分别为摄像头成像平面的X轴和Y轴，所述摄像头坐标系的Z轴为摄像头光轴，

其中，所述确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵的步骤，包括：

建立所述眼球坐标系和所述摄像头坐标系之间的转换关系Vc＝RecVe+t；

确定出圆形虹膜在摄像头成像平面的椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角

根据所述椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角确定出圆锥参数矩阵A＝S^THS；

根据所述圆锥参数矩阵A确定出投影模型方程G^TAG＝kQ；

根据所述转换关系和所述投影模型方程确定出所述Rec的两组解；

识别出所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域；

根据所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域确定出眼角在所述摄像头坐标系中的投影坐标；

根据所述Rec的两组解和所述眼角在所述摄像头坐标系中的投影坐标确定出眼角在所述摄像头坐标系中的两组坐标，并确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标；

对于该两组坐标中的每一组坐标，计算该每一组坐标对应的两个眼角与球形眼球的中心的距离之差的绝对值；

比较该两组坐标对应的两个距离之差的绝对值的大小，将该两个距离之差的绝对值中较小者对应的所述Rec的解确定为从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵；

所述根据所述转换矩阵确定出视线方向，包括：

根据所述从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵确定出视线方向；

所述Rec＝(r1，r2，r3)为从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵，所述Ve为所述眼球坐标系中的点，所述Vc为该点在所述摄像头坐标系中的坐标，所述t为一标量坐标，所述夹角为锐角，所述

所述 $H=\left(\begin{array}{c}\frac{1}{a^2},\mathrm{0,0}\\ 0,\frac{1}{b^2},0\\ \mathrm{0,0,1}\end{array}\right),$ 所述G＝(r1，r2，t)，所述k为一常数，所述 $Q=\left(\begin{array}{c}\frac{1}{r^2},\mathrm{0,0}\\ 0,\frac{1}{r^2},0\\ \mathrm{0,0,1}\end{array}\right),$ 所述r为圆形虹膜的半径。

3.根据权利要求2所述的视线方向跟踪方法，其特征在于，所述确定出圆形虹膜在摄像头成像平面的椭圆形投影的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角包括：

通过椭圆拟合，将圆形虹膜区域拟合为椭圆，提取出所述椭圆的中心横坐标长度Ix、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角

4.根据权利要求2或3所述的视线方向跟踪方法，其特征在于，所述确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标，包括：

根据所述Rec的两组解确定出所述眼球坐标系的Z轴的两个方向；

根据球形眼球的半径和圆形虹膜的半径确定出球形眼球的中心和圆形虹膜的中心之间的距离；

根据所述眼球坐标系的Z轴的两个方向，以及所述球形眼球的中心和圆形虹膜的中心之间的距离确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标。

5.根据权利要求4所述的视线方向跟踪方法，其特征在于，所述根据所述Rec的两组解确定出所述眼球坐标系的Z轴的两个方向，包括：

利用方向传感器获取所述摄像头坐标系的Z轴的方向；

根据所述Rec的两组解和所述摄像头坐标系的Z轴的方向，并利用所述转换关系确定出所述眼球坐标系的Z轴的两个方向。

6.一种视线方向跟踪装置，其特征在于，包括：

摄像头，用于实时采集人的眼球图片；

构建单元，用于根据所述摄像头所采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头坐标系中的投影模型；

转换矩阵确定单元，用于确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵；

视线方向确定单元，用于根据所述转换矩阵确定单元确定出的转换矩阵确定出视线方向。