CN104244807A - 注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质 - Google Patents

Abstract

本发明的注视点检测装置检测被测者对周边环境的注视点，具备：眼球图像取得单元，取得被测者的眼球图像；反射点推定单元，根据眼球图像推定反射从被测者的眼球光轴方向到来的光的第一反射点；补正反射点计算单元，基于表示被测者的视线方向与眼球光轴方向之差的个人参数，补正第一反射点，计算作为补正后的第一反射点的补正反射点；以及注视点检测单元，基于补正反射点的光和周边环境的光，检测注视点。

Description

注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质

技术领域

本发明涉及检测被测者对周边环境的注视点的注视点检测装置和注视点检测方法、计算表示被测者的视线方向与被测者的眼球光轴方向之差的个人参数的个人参数计算装置和个人参数计算方法、程序、以及计算机可读取的记录介质。

背景技术

被测者注视点的检测是构筑当前和未来信息环境所必须的重要技术。与注视点检测有关的技术的应用范围很广泛，例如使用注视点信息的用户界面和普适周边环境，人的行动识别、理解和沟通分析等。因此，包括商业产品在内，很多技术已经得到了实用化。

在非专利文献1记载的技术中，公开了使用眼球表面的环境反射像作为新的注视点检测法的方法。该技术将眼球表面上反射的环境的像与环境摄像机拍摄的场景点进行直接对应，由此实现注视点检测。该技术具有许多优点，例如：(1)系统设置容易，(2)被测者无须装配设备，(3)能够应对进深不同的复杂环境。

现有技术文献

专利文献

非专利文献1：“使用眼球表面反射及高速有源光投影的非装配的、无须事先校正的注视点推定”，图像识别和理解研讨会(MIRU2011)论文集，第2011卷，pp.41-48(2011)，中泽，Nitschke，Radkov，竹村(「眼球の表面反射と高速アクテイブ光投影を用いた非装着·事前校正不要な注视点推定」画像の認識·理解シソポジウ厶(MIRU2011)論文集、第2011卷、pp.41-48(2011)、中澤，ニチユケ，ラドユフ，竹村)

发明内容

发明要解决的课题

在非专利文献1记载的技术中，需要利用求出眼球表面上反射来自视线方向的光的反射点的方法。通过比较眼球图像中的反射点处的图像特征与环境图像的图像特征，能够推定环境中的注视点。

该技术假定眼球光轴方向与被测者的视线方向相同。但是，现实中，眼球光轴方向与被测者的视线方向存在个人差，因此注视点的推定精度有限。

本发明鉴于上述问题而作，其目的在于提供考虑了表示被测者的视线方向与被测者的眼球光轴方向之差的个人参数的注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质。

用于解决课题的手段

本发明的注视点检测装置检测被测者对周边环境的注视点，具备：眼球图像取得单元，取得被测者的眼球图像；反射点推定单元，根据眼球图像推定反射从被测者的眼球光轴方向到来的光的第一反射点；补正反射点计算单元，基于表示被测者的视线方向与眼球光轴方向之差的个人参数，补正第一反射点，计算作为补正后的第一反射点的补正反射点；以及注视点检测单元，基于补正反射点的光和周边环境的光，检测注视点。

在一个实施方式中，注视点检测装置具备：姿势计算单元，根据眼球图像计算眼球的姿势，反射点推定单元基于眼球的姿势和眼球的几何模型，推定第一反射点。

在一个实施方式中，反射点推定单元基于假定被测者的视线方向与被测者的眼球光轴方向平行的模型，推定第一反射点。

在一个实施方式中，周边环境的光是LED阵列投影仪的光。

在一个实施方式中，周边环境的光是图案发光标志的光。

本发明的注视点检测方法检测被测者对周边环境的注视点，包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从被测者的眼球光轴方向到来的光的第一反射点；补正反射点计算步骤，基于表示被测者的视线方向与眼球光轴方向之差的个人参数，补正第一反射点，计算作为补正后的第一反射点的补正反射点；以及注视点检测步骤，基于补正反射点的光和周边环境的光，检测注视点。

本发明的个人参数计算装置计算表示被测者的视线方向与所述被测者的眼球光轴方向之差的个人参数，具备：眼球图像取得单元，取得被测者的眼球图像；反射点推定单元，根据眼球图像推定反射从眼球光轴方向到来的光的第一反射点；反射点检测单元，根据眼球图像检测反射从被测者的注视点到来的光的第二反射点；以及个人参数计算单元，基于第一反射点和第二反射点，计算被测者的个人参数。

在一个实施方式中，个人参数计算装置具备：姿势计算单元，根据眼球图像计算眼球的姿势，反射点推定单元基于眼球的姿势和眼球的几何模型，推定第一反射点。

在一个实施方式中，反射点推定单元基于假定被测者的视线方向与被测者的眼球光轴方向平行的模型，推定第一反射点。

本发明的个人参数计算方法计算表示被测者的视线方向与被测者的眼球光轴方向之差的个人参数，包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从眼球光轴方向到来的光的第一反射点；反射点检测步骤，根据眼球图像检测反射从被测者的注视点到来的光的第二反射点；以及个人参数计算步骤，基于第一反射点和第二反射点，计算被测者的个人参数。

本发明的程序用于使计算机执行注视点检测处理，检测被测者对周边环境的注视点，所述程序包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从被测者的眼球光轴方向到来的光的第一反射点；补正反射点计算步骤，基于表示被测者的视线方向与眼球光轴方向之差的个人参数，补正第一反射点，计算作为补正后的第一反射点的补正反射点；以及注视点检测步骤，基于补正反射点的光和周边环境的光，检测注视点。

本发明的程序用于使计算机执行个人参数计算处理，计算表示被测者的视线方向与被测者的眼球光轴方向之差的个人参数，所述程序包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从眼球光轴方向到来的光的第一反射点；反射点检测步骤，根据眼球图像检测反射从被测者的注视点到来的光的第二反射点；以及个人参数计算步骤，基于第一反射点和第二反射点，计算被测者的个人参数。

本发明的计算机可读取的记录介质记录有用于使计算机执行注视点检测处理的程序，所述注视点检测处理检测被测者对周边环境的注视点，所述程序包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从被测者的眼球光轴方向到来的光的第一反射点；补正反射点计算步骤，基于表示被测者的视线方向与眼球光轴方向之差的个人参数，补正第一反射点，计算作为补正后的第一反射点的补正反射点；以及注视点检测步骤，基于补正反射点的光和周边环境的光，检测注视点。

本发明的计算机可读取的记录介质记录有用于使计算机执行个人参数计算处理的程序，所述个人参数计算处理计算表示被测者的视线方向与所述被测者的眼球光轴方向之差的个人参数，所述程序包括如下步骤：眼球图像取得步骤，取得被测者的眼球图像；反射点推定步骤，根据眼球图像推定反射从眼球光轴方向到来的光的第二反射点；反射点检测步骤，根据眼球图像检测反射从被测者的注视点到来的光的第一反射点；以及个人参数计算步骤，基于第一反射点和第二反射点，计算被测者的个人参数。

附图说明

图1是表示本发明实施方式1的注视点检测装置的示意图。

图2是表示本发明实施方式1的注视点检测装置的动作的流程图。

图3(a)表示眼球的示意图，(b)是表示眼球的近似几何模型的示意图。

图4表示利用暗瞳孔法的瞳轮廓的检测结果。

图5是用于说明基于瞳投影像的眼球姿势推定的示意图。

图6是表示眼球的表面反射与反射点的关系的示意图。

图7是表示使用LED-AP的系统结构和使用图案发光标志的系统结构的示意图。

图8是表示LED-AP的结构的照片。

图9是用于说明作为光源的LED的认定的示意图。

图10是表示图案发光标志的结构和眼球的反射像的照片。

图11是本发明实施方式2的个人参数计算装置的示意图。

图12是表示本发明实施方式2的个人参数计算装置的动作的流程图。

图13是表示注视点推定角度误差的表。

图14是表示条件1下的注视点推定结果的图表。

图15是表示条件2下的注视点推定结果的图表。

具体实施方式

下面参考附图说明本发明的注视点检测装置、注视点检测方法、个人参数计算装置以及个人参数计算方法的实施方式。但本发明不限于以下实施方式。

实施方式1：注视点检测

图1是表示本发明实施方式1的注视点检测装置100的示意图。注视点检测装置100检测被测者A对周边环境的注视点PoG。周边环境是指被测者A周边的空间，可以是用XY坐标表示的空间或用XYZ坐标表示的空间。注视点检测装置100具备取得被测者A的眼球图像的眼球图像取得单元102、反射点推定单元104、补正反射点计算单元106、以及注视点检测单元108。注视点检测装置100还可以具备环境光检测装置112。

眼球图像取得单元102例如是数码摄像机、CCD摄像机或者云台变焦摄像机(pan tilt zoom camera)，能够检测可见光区域的光。眼球图像取得单元102取得静止的被测者A的眼球或运动的被测者A的眼球的图像。反射点推定单元104根据眼球图像推定反射从被测者A的眼球光轴方向到来的光的第一反射点GRP(Gaze Reflection Point，注视反射点)。注视点检测装置100还可以具备根据眼球图像计算眼球姿势的姿势计算单元110。

反射点推定单元104基于眼球姿势和眼球的几何模型，根据眼球图像推定第一反射点GRP。

补正反射点计算单元106基于表示被测者A的视线方向与眼球光轴方向之差的个人参数补正第一反射点GRP，计算作为补正后的第一反射点的补正反射点cGRP(corrected GRP)。

环境光检测装置112例如是数码摄像机、CCD摄像机或者云台变焦摄像机(pan tilt zoom camera)，能够检测可见光区域的光。环境光检测装置112能够检测被测者A注视的被测者A周边环境的光。周边环境的光形成周边环境的图像。注视点检测单元108基于补正反射点cGRP的光和周边环境的光，检测注视点PoG。例如，注视点检测单元108比较由补正反射点计算单元106计算出的补正反射点cGRP的光与由环境光检测装置112检测出的周边环境的光，以检测注视点PoG。

反射点推定单元104、补正反射点计算单元106、注视点检测单元108、以及姿势计算单元110例如可以是个人电脑等电子计算机。

此外，注视点检测单元108基于补正反射点cGRP的光和周边环境的光检测注视点PoG，但周边环境的光不限于由环境光检测装置112检测。

例如，注视点检测装置100可以不具备环境光检测装置112，而取而代之以投影单元和投影光检测单元。投影单元具有光源，向周边环境投影光。投影单元例如是投影仪。投影单元例如向周边环境投影表示景色的可见光或表示格雷码图案的可见光。如参考图7详细说明的那样，投影单元还可以是LED阵列投影仪。在周边环境是房间的墙壁的情况下，投影单元向房间的墙壁投影光。在周边环境是山的岩壁的情况下，投影单元向凹凸的岩壁投影光。此外，若投影单元是三维影像装置，则在除空气以外不存在任何物体的空间内也能够投影由点阵构成的真实的三维影像。

投影光检测单元检测从投影单元投影的投影光。投影光检测单元例如是数码摄像机或CCD摄像机，能够检测可见光区域的光。注视点检测单元108比较由补正反射点计算单元106计算出的补正反射点cGRP的光与由投影光检测单元检测出的投影光，以检测注视点PoG。

此外，例如，注视点检测装置100还可以不具备环境光检测装置112，而取而代之以显示单元。显示单元显示周边环境的光。显示单元例如是发光的显示板或监视器画面。如参考图7详细说明的那样，显示单元还可以是图案发光标志。周边环境的光作为由显示单元显示的显示像数据被发送到注视点检测单元108。注视点检测单元108比较由补正反射点计算单元106计算出的补正反射点cGRP的光与由显示单元显示的显示像的光，以检测注视点PoG。

图2是表示注视点检测装置100的动作的流程图。参考图1和图2说明注视点检测方法。如下述所示，由注视点检测装置100执行步骤202至步骤208，从而实现本发明实施方式1的注视点检测处理。

步骤202：眼球图像取得单元102取得被测者A的眼球图像。

步骤204：反射点推定单元104根据眼球图像推定反射从被测者A的眼球光轴方向到来的光的第一反射点GRP。

步骤206：补正反射点计算单元106基于个人参数补正第一反射点GRP，计算作为补正后的第一反射点的补正反射点cGRP。

步骤208：注视点检测单元108基于补正反射点cGRP的光和周边环境的光，检测注视点PoG。

此外，实现注视点检测处理的装置不限于注视点检测装置100。只要是具有眼球图像取得单元102、反射点推定单元104、补正反射点计算单元106、以及注视点检测单元108的功能的装置，注视点检测装置100可以是任意装置。例如，注视点检测方法可以通过PC实现。另外，还可以通过构成注视点检测装置100的一部分的PC实现。

在通过PC实现注视点检测方法的情况下，以注视点检测处理程序的形式执行注视点检测方法。该PC具备存储器和CPU。该存储器中存储注视点检测处理程序。该CPU从该存储器中读取注视点检测处理程序，分别控制具有眼球图像取得单元102和反射点推定单元104的功能的单元，使具有眼球图像取得单元102的功能的单元执行步骤202，并使具有反射点推定单元104的功能的单元执行步骤204。

该CPU还从该存储器中读取注视点检测处理程序，分别控制具有补正反射点计算单元106和注视点检测单元108的功能的单元，使具有补正反射点计算单元106的功能的单元执行步骤206，并使具有注视点检测单元108的功能的单元执行步骤206。

从记录有注视点检测处理程序的PC外部的记录介质中读出注视点检测处理程序，由此能够在该PC的存储器中安装该处理程序。作为PC外部的记录介质，可以使用软盘、CD-ROM、CD-R、DVD、MO等任意介质。另外，经由因特网等任意网络下载注视点检测处理程序，由此也能够在该PC的存储器中安装该处理程序。

下面说明注视点检测装置100及注视点检测方法的详细情况。本实施方式中，导入眼球的几何模型。图3(a)表示眼球的示意图，图3(b)表示眼球的近似几何模型。眼球并非由单个球面构成，而是由角膜部分的球面(角膜球面)和眼球主体(眼球面)这两个不同的球面近似构成。近似几何模型中使用既定值(瞳半径r_L＝5.6mm，角膜球半径r_C＝7.7mm)。近似几何模型在几何上较为简单，容易进行解析性处理。在眼球的表面反射解析中具有足够的精度。

本实施方式中，在根据眼球图像推定第一反射点GRP之前，先推定眼球的姿势。姿势计算单元110检测瞳孔的轮廓和瞳的轮廓，根据眼球图像计算眼球的姿势。瞳孔的轮廓和瞳的轮廓的检测使用红外光实现。首先，使用暗瞳孔法提取瞳孔区域。暗瞳孔法是利用了瞳孔与其他区域的光反射和吸收特性的不同的方法。详细情况可以参考如下文献。

R.Kothari and J.L.Mitchell：″Detection of eye locations inunconstrained visual images"，Proc.Int，Conf.on Image Processing(ICIP)，pp.519-522(1996).

图4表示利用暗瞳孔法的瞳轮廓的检测结果。图4(a)表示第一帧，图4(b)表示第二帧(红外光亮灯)，图4(c)表示瞳孔和瞳轮廓的检测结果。在图4(c)中，白色实线表示瞳轮廓，位于白色实线内侧的白色虚线表示利用暗瞳孔法得到的瞳孔轮廓，白色○标记表示瞳轮廓的中心，白色×标记表示角膜球面的中心，白色△标记表示第一反射点GRP。

眼球图像取得单元102中安装的红外LED在第一帧时关闭，在第二帧时打开。在眼球区域中，瞳孔吸收来自外部的光，因此在两帧中均表现为黑色，而其他区域反射光，因此在第二帧中表现得较亮。通过取第一帧与第二帧的拍摄图像的差，能够将值较小的区域视为瞳孔区域。

图5是用于说明基于瞳投影像的眼球姿势推定的示意图。参考图5继续进行说明。对瞳孔区域的轮廓适用基于RANSAC的椭圆拟合，得到椭圆B(x，y，c_x，c_y，a，b，φ)。其中(c_x，c_y)为中心位置，a、b为短径及长径，φ为旋转角。使用瞳孔轮廓的推定结果进行两个步骤的最小化，推定瞳轮廓。

步骤S1：使用瞳孔的中心和旋转角(c_x，c_y，φ)，仅改变径参数(a，b)对以下函数进行最小化，得到瞳的径的初始参数a₀、b₀。

数式1

$\begin{array}{c}\mathrm{eval}(c_x,c_y,a,b,\mathrm{\φ})=\underset{x,y}{\mathrm{\Σ}}{E}_x(x,y)\·\mathrm{sgn}(c_x-x)\·\\ B(x,y,c_x,c_y,a,b,\mathrm{\φ}).\end{array}---\left(1\right)$

$[a_0,b_0]=\underset{a,b}{\arg \max }\mathrm{eval}(c_x,c_y,a,b,\mathrm{\φ}).---\left(2\right)$

此处，E_x(x，y)是输入图像的x微分，a₀＞a，b₀＞b。仅使用图像的x微分是为了避开眼睑的影响。另外，sgn(c_x-x)用于评价：从瞳的中心坐标向外侧方向存在有从黑眼珠到白眼珠的变化。

步骤S2：使用得到的径的初始参数，用相同的评价函数收敛椭圆的全部参数，得到瞳轮廓的参数(c_x’，c_v’，a’，b’，φ’)。

使用这些参数，通过下式(3)得到视线方向g。

数式2

$g={\left[\begin{array}{ccc}\sin \mathrm{\τ}\sin \mathrm{\φ}& -\sin \mathrm{\τ}\cos \mathrm{\φ}& -\cos \mathrm{\τ}\end{array}\right]}^T.---\left(3\right)$

此处，τ表示瞳的进深方向的倾角，通过τ＝±arccos(r_min/r_max)求出。另外，据此，角膜球面的中心点C能够使用L至C的已知长度d_LC(＝5.6mm)和视线矢量g求出。

反射点推定单元104使用得到的眼球的三维姿势，推定眼球表面上反射从注视点PoG入射的光的点(第一反射点GRP)。眼球图像取得单元102对眼球表面反射像的拍摄视为与反射光学系统(Catadioptic system)相同，使用作为反射球面的角膜球面的几何模型和从眼球图像取得单元102得到的眼球姿势，能够求出第一反射点GRP。非专利文献1中，作为第一反射点GRP的推定模型，公开了透视投影模型和弱透视投影模型。

本实施方式中，描述利用弱透视投影模型作为第一反射点GRP的模型的例子。眼球表面上光的入射和反射可以认为在一个平面内产生。在弱透视投影模型的情况下，该面是包含瞳的投影像(椭圆)的短轴，垂直于图像面的平面。若假定从被测者A的注视点PoG到来的光是来自眼球光轴方向的光，则光线的路径如图6(a)所示。图6(a)表示如下情形：从被测者A的注视点PoG平行于视线方向(眼球光轴方向)入射的光在角膜表面上进行反射，并入射到眼球图像取得单元102。参考图6(a)，使用角膜表面上的反射关系得到下式。

数式3

$\begin{array}{c}C\·n_s=g\·n_s,C={\left[\begin{array}{cc}0& 1\end{array}\right]}^T,\\ g={\left[\begin{array}{cc}\cos \mathrm{\τ}& \sin \mathrm{\τ}\end{array}\right]}^T,n_s={\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\end{array}\right]}^T\end{array}.---\left(4\right)$

据此，使用表示眼球光轴方向的τ得到表示第一反射点GRP的角度θ。

数式4

$\begin{array}{c}\mathrm{\θ}=\arctan ((1-\sin \mathrm{\τ})/\cos \mathrm{\τ})\\ =\mathrm{\τ}/2.\end{array}---\left(5\right)$

另外，求出弱透视投影的局部投影面上瞳的中心与第一反射点GRP的距离|I_s-I_L|如下。

数式5

|I_S-I_L|＝r_csinθ-d_LCsinτ.  (6)

接着，考虑将瞳中心视为物体中心的弱透视投影，通过下式求出眼球图像中的第一反射点GRP的位置i_s。

数式6

i_S＝i_L+s·v_sm|I_S-I_L|，s＝r_max/r_L，  (7)

此处，s是弱透视投影的比例系数，i_L是瞳中心的坐标，v_sm是表示瞳的投影像(椭圆)的短轴的二维矢量。

补正反射点计算单元106以个人参数(δx，δy)为转动量，转动通过眼球姿势推定得到的瞳中心坐标系Re，从而对第一反射点GRP进行补正，计算作为补正后的第一反射点的补正反射点cGRP。具体情况如下。

数式7

${\mathrm{\τ}}^{*}=\arccos \left(e_x^T{R}_e^{*}{e}_x\right),---\left(8\right)$

$V_{\mathrm{sm}}^{*}=\left(\begin{array}{c}\left[\begin{array}{c}{e}_x^T\\ e_y^T\end{array}\right]R_e^{*}{e}_y\end{array}\right)/\left|\begin{array}{c}\left[\begin{array}{c}{e}_x^T\\ e_y^T\end{array}\right]R_e^{*}{e}_y\end{array}\right|---\left(9\right)$

$R_e^{*}=R_x\left(\mathrm{\δx}\right)R_y\left(\mathrm{\δy}\right)R_e,---\left(10\right)$

其中，R_x和R_v是表示绕x轴、y轴的转动的矩阵。将此处得到的τ*作为τ代入式(6)，并将v*_sm作为v_sm代入式(7)，从而得到补正反射点cGRP。

注视点检测单元108基于补正反射点cGRP的光和周边环境的光检测注视点PoG。例如，注视点检测单元108将表示补正反射点cGRP的光的数字数据与表示周边环境的光的数字数据相对应，从对应的数字数据中检测周边环境中包含的注视点PoG。此外，本说明书中，被测者A的注视点PoG表示被测者A注视的点、区域、或部分。

本实施方式中，例如，通过利用有源照明法，能够得到表示周边环境的光的数字数据。例如，通过安装LED阵列投影仪(LED-AP)或图案发光标志，能够实现有源照明法。

图7表示使用LED-AP的系统结构和使用图案发光标志的系统结构。图7(a)是使用LED-AP的系统结构，利用LED-AP高速地对场景投影光。通过由眼球图像取得单元102取得眼球表面映出的反射光，能够推定注视点PoG，作为场景中的任意点，得到注视点PoG。

图7(b)是使用图案发光标志的系统结构，该结构将标志安装于注视对象物，由此得知是否注视该物体，或者注视多个对象物中的哪一对象物。虽然得到的注视信息以对象物体为单位，但只需在对象物上安装小型标志即可，因此能够用更简单的结构实现注视点推定。另外，还具有得到的注视数据的后续解析较为容易的优点。

图8表示LED-AP的结构。图8(a)表示LED阵列(42LED)单元，包括高亮度LED(可见光或红外光)和用于聚光的菲涅耳透镜。图8(b)表示LED阵列(9LED)单元。图8(c)及图8(d)表示实验环境和光照图案。

LED-AP具备以格状配置的高亮度LED群、透镜、以及控制器。各LED能够以0.05ms控制亮灭，每个LED能够投影不同时间序列的二值图案。另外，能够分别改变各LED的方向，因此能够将照明光配置为覆盖广大区域。

通过使各个LED的时间序列照明图案具有唯一的ID，能够从摄像机的拍摄图像序列中复原ID，认定作为光源的LED(图9)。另一方面，环境中的空间分辨率由LED的数量决定，因此存在限制。为了弥补这一不足，组合线性插值来推定注视点PoG。也就是说，在眼球反射图像中求出与第一反射点GRP较近的三个LED投影点，求出三个LED投影点与第一反射点GRP的相对位置关系。从环境图像中也求出各LED的投影点，使用已经取得的与第一反射点GRP的相对位置关系，推定环境图像中的注视点PoG。处理流程如下。

首先，从眼球反射图像序列中复原时间序列码，求出每个像素的ID。基于复原了的ID进行标示，求出具有一定大小以上的面积的标签，将其重心位置作为对各LED的表面反射点。LED-AP使用可见光LED或红外LED进行安装。由此，能够在被测者A察觉不到投影光的情况下推定注视点PoG。

图10表示图案发光标志的结构和眼球的反射像。如图10(a)所示，图案发光标志采用使LED-AP的各LED独立的结构，具备微控制器和红外线LED。图案发光标志发出因各标志而异的时间序列图案。通过将标志安装到注视对象物上，能够判定被测者A是否注视该对象物。

图10(b)表示被测者A的前面有两种对象物体移动的状况。各个对象物体上安装有图案发光标志。白色的椭圆表示瞳轮廓，白色的四边形框表示第一反射点GRP。可以看出，图案发光标志之一与第一反射点GRP一致。

各标志中安装有微控制器，因此通过用实时时钟进行同步，能够保持同步的发光图案。根据该标志在眼球表面上的第一反射点GRP与补正反射点cGRP的位置关系，能够计算标志与视线方向的角度，因此通过进行基于角度的阈值处理等，能够判定是否正在注视。

实施方式2：个人参数计算

图11是本发明实施方式的个人参数计算装置200的示意图。个人参数计算装置200计算表示被测者A的视线方向与被测者A的眼球光轴方向之差的个人参数。个人参数计算装置200具备：眼球图像取得单元102，取得被测者A的眼球图像；反射点推定单元104，根据眼球图像推定反射从眼球光轴方向到来的光的第一反射点GRP；反射点检测单元206，根据眼球图像检测反射从被测者A的注视点PoG到来的光的第二反射点(Calibration reflection point，校准反射点)；以及个人参数计算单元208，基于第一反射点GRP和第二反射点CRP，计算被测者A的个人参数。

此外，眼球图像取得单元102与参考图1说明了的眼球图像取得单元102具有相同的功能，反射点推定单元104与参考图1说明了的反射点推定单元104具有相同的功能，因此省略详细说明。

图12是表示个人参数计算装置200的动作的流程图。参考图11、图12说明个人参数计算方法。如下述所示，由个人参数计算装置200执行步骤302至步骤308，从而实现本发明实施方式2的个人参数计算处理。

步骤302：眼球图像取得单元102取得被测者A的眼球图像。

步骤304：反射点推定单元104根据眼球图像推定第一反射点GRP。

步骤306：反射点检测单元206根据眼球图像检测反射从被测者A的注视点PoG到来的光的第二反射点CRP。

步骤308：个人参数计算单元208基于第一反射点GRP和第二反射点CRP，计算被测者A的个人参数。

此外，实现个人参数计算处理的装置不限于个人参数计算装置200。只要是具有眼球图像取得单元102、反射点推定单元104、反射点检测单元206、以及个人参数计算单元208的功能的装置，可以是任意装置。例如，个人参数计算方法可以通过PC实现。另外，还可以通过构成个人参数计算装置200的一部分的PC实现。

在通过PC实现个人参数计算方法的情况下，以个人参数计算处理程序的形式执行个人参数计算方法。该PC具备存储器和CPU。该存储器中存储个人参数计算处理程序。该CPU从该存储器中读取个人参数计算处理程序，分别控制具有眼球图像取得单元102和反射点推定单元104的功能的单元，使具有眼球图像取得单元102的功能的单元执行步骤302，并使具有反射点推定单元104的功能的单元执行步骤304。

该CPU还从该存储器中读取个人参数计算处理程序，分别控制具有反射点检测单元206和个人参数计算单元208的功能的单元，使具有反射点检测单元206的功能的单元执行步骤306，并使具有个人参数计算单元208的功能的单元执行步骤306。

从记录有个人参数计算处理程序的PC外部的记录介质中读出个人参数计算处理程序，由此能够在该PC的存储器中安装该处理程序。作为PC外部的记录介质，可以使用软盘、CD-ROM、CD-R、DVD、MO等任意介质。另外，经由因特网等任意网络下载个人参数计算处理程序，由此能够在该PC的存储器中安装该处理程序。

下面说明个人参数计算装置200及个人参数计算方法的详细情况。第一反射点GRP基于被测者A的视线方向与眼球光轴方向一致的假定进行推定，但需要指出，被测者A的视线方向与眼球光轴方向并不一致。被测者A的视线方向与眼球光轴方向的偏差(个人参数)是因人而异的值，需要在推定注视点之前通过某种方法取得。

对此，与第一反射点GRP的导出同样，开发了通过利用眼球的表面反射图像来计算个人参数的方法。这种新校正法与以往的校正法不同，被测者A仅注视场景中的一点即可，能够大幅减轻校正所需的被测者A的负担。

个人参数是由脸部坐标系定义的固定参数。作为脸部坐标系，将脸部前方定义为z_face，将从左眼到右眼的方向定义为x_face，将y_face定义为与它们垂直的轴，则个人参数为绕x_face(tilt)轴的转动角1.5～3度，绕y_face(pan)轴的转动角4～5度左右。

以瞳为中心的坐标系用Re＝[x_e y_e z_e]定义。其中，x_e、y_e是瞳图像中的长轴和短轴方向。图6(b)中表示通过瞳的投影像的短轴方向的平面(y_ez_e-plane)。图6(b)中示出眼球光轴方向与视线方向的不同。被测者A的视线方向(g’)与光轴方向(g)不一致。从视线方向到来的光在补正反射点cGRP(T)处反射，投影到图像上的IT。

被测者A注视场景中的校正点，眼球图像取得单元102取得被测者A的眼球图像。反射点推定单元104根据眼球图像推定第一反射点GRP。反射点检测单元206从眼球图像中得到第二反射点CRP后，个人参数计算单元208在该平面内，能够通过下式求出第一反射点GRP与第二反射点CRP之间的角度γ。

数式8

$|I_L-I_T|=\frac{|v_{\mathrm{sm}}\·(i_T-i_L)|}{s},---\left(11\right)$

$\mathrm{\γ}=\mathrm{\τ}-\mathrm{src}\sin (d_{\mathrm{LC}}\·\cos \mathrm{\τ}+\frac{|I_L-I_T|}{r_C}),---\left(12\right)$

其中，I_T、i_T是第二反射点CRP的位置及其在图像中的投影位置。

考虑第二反射点CRP处的眼球表面反射，通过下式得到该平面内的个人参数δx_e。

数式9

2·(γ+δx_e)＝τ+δx_e，  (13)

δx_e＝τ-2·γ.  （１4)

同样，通过下式得到垂直于该面的面内的个人参数δy_e。

数式10

${\mathrm{\δy}}_e=2\·\arcsin \left(\frac{v_{\mathrm{lm}}\·(i_T-i_L)}{s\·r_C}\right),---\left(15\right)$

其中，v_lm是瞳的投影像的长轴方向。

一般而言，眼球图像取得单元102设置在脸部前方方向上，因而以上得到的脸部坐标系下的个人参数能够通过下式变换为摄像机坐标系。

数式11

$\mathrm{\δx}=\arctan \left(\frac{e_y^T{R}_{e}u}{e_z^T{R}_{e}u}\right),---\left(16\right)$

$\mathrm{\δy}=\arctan \left(\frac{e_x^T{R}_{e}u}{e_z^T{R}_{e}u}\right),---\left(17\right)$

$u={\left[\begin{array}{ccc}\sin \mathrm{\δ}{y}_e& \sin \mathrm{\δ}{x}_e& \sqrt{1-{\sin }^2\mathrm{\δ}{x}_e-{\sin }^2\mathrm{\δ}{y}_e}\end{array}\right]}^T.---\left(18\right)$

e_x＝[1 0 0]^T，e_y＝[0 1 0 ]^T，

e_z＝[0 0 1]^T.

得到个人参数后，求出补正反射点cGRP。通过以个人参数(δx，δy)为转动量转动由姿势计算单元110的眼球姿势推定得到的瞳中心坐标系Re，可得到补正反射点cGRP。

实施例

为了确认本发明实施方式的有效性，除了本发明的实施方式以外，还在注视点检测装置的商用系统中安装了常用的基于插值法的注视点检测，进行了比较。基于插值法的注视点检测是商用系统中常用的系统，使用两种红外光源。一种光源用于基于暗瞳孔法的瞳孔检测，另一种点光源(CAM-LED)用于得到眼球的表面反射。据此，使用瞳孔中心与CAM-LED的表面反射点的相对位置关系求出视线方向。在插值法中，利用4个校正点取得样本点，作为校正点的线形插值表示输入帧的瞳孔中心与CAM-LED的表面反射点的位置关系，从而求出注视点。

图8(右下部)中示出基于LED-AP的实验环境。实验在通常的室内照明环境下进行，被测者A坐在与墙壁离开的位置处，注视墙壁上的20个点的标志。眼球图像取得单元102位于被测者A脸部的稍下方，脸部与眼球图像取得单元102的距离约为0.6m。环境光检测装置112位于被测者A的后方，设置为能够拍摄墙壁的全部标志。

作为眼球图像取得单元102，使用了Point Grey Dragonfly Express摄像机(640×480像素，B/W，30Hz)，作为LED-AP的光源，使用了9个飞利浦(Philips)公司生产的Luxeon Rebel高功率LED(3W，白色)。图案光投影、拍摄以及图像取得由PC(英特尔Core i7-9603.06GHz，8GBRAM)进行，图像处理在该PC上的Matlab R2010b和Image ProcessingToolkit环境下进行。在图案发光标志的实验中，被测者A与眼球图像取得单元102的位置关系、图像取得及处理设备的结构也是同样的，但使用了4个低输出(15mA)的近红外LED。

为了评价不同进深的环境下的注视点推定误差，作为被测者A与墙壁的距离，以1900mm(条件1)和3000mm(条件2)的两种设定进行了实验。将条件1下得到的被测者A的个人参数适用于基于条件1的推定和基于条件2的推定。另外，插值法的校正也同样在条件1下进行。

图13中示出被测者A的眼睛视为(x，y，z)＝(900，600，1900)[mm]以及(900，600，3000)[mm]时的注视点推定角度误差(现有方法(插值法)与导入个人参数的本发明的方法的比较)。单位为“deg(degree，度)”。另外，图14中示出条件1下的注视点推定结果，图15中示出条件2下的注视点推定结果。在图14和图15中，“+”表示注视对象标志(Ground truth标准)，“○”、“●”、“△”、“▲”、以及“□”分别表示不同被测者的利用本发明方法的推定结果。被测者的数目为5个用户(5个被测者)。“×”表示用户1(被测者1)的利用插值法的结果。

其中，LED-AP的投影光在本坐标系中投影至(1490，1200)、(895，1200)、(300，1200)、(1430，750)、(835，750)、(300，750)、(1450，300)、(820，300)、(320，300)[mm]。另外，眼球位于(900，600，1900)[mm](条件1)以及(900，600，3000)[mm](条件2)处。可以确认，利用本发明的实施例(本发明的方法)，在进深不同的两种条件下均能够以1度以下的误差进行推定。可以看出，插值法虽然在与进行校正时相同的条件(条件1)下得到了良好的结果，但在具有不同进深的条件下精度变差。

产业上的可利用性

根据本发明，能够检测店铺内的顾客的视线，因而能够实现经济效率更高的商品陈列，还能够搭载到自动售货机上，实现销售的高效化。另外，还能够解析被测者A的视线在生活空间中的移动，能够设计被测者A易于使用的生活环境。另外，作为在用户界面方面的应用，能够开发使用了生活空间中的视线信息的普适环境界面。例如，能够对驾驶员的注视点进行监视和警告，因而能够对汽车等的安全驾驶做出贡献。

尤其是，作为从儿童或老人得到的信息，视线是重要的信息，非装配型的视线追踪界面可以起到很大作用。例如，在自闭症等儿童发育缺陷的诊断中，视线信息是非常重要的，使用实验室环境下得到的视线信息能够对儿童进行诊断。通过实现本发明实施方式的注视点检测装置、注视点检测方法、个人参数计算装置以及个人参数计算方法，能够使用非装配型装置得到婴幼儿的高精度的视线信息，在生命科学领域、机器人领域中都有望做出重大贡献。

此外，根据本发明能够推定被测者的周边视觉。也就是说，本发明中取得被测者的眼球的表面反射图像。因此，基于表面反射图像，能够判定位于被测者的周边视野中的物体从被测者的注视中心位置出发以何种角度为被测者所看到。其结果是，能够判定位于被测者的周边视野中的物体是否为被测者所看到，或者观测在多大的视野区域内可看到物体。例如，对于汽车驾驶员而言，周边视觉的信息(例如人的突然出现等状况)是非常重要的，能够正确地观测周边视觉的信息。

此外，根据现有的注视点检测法，在检测注视点之前，进行例如眼球观测摄像机中映出的被测者的瞳孔中心位置与被测者的注视点的校正。因此，在校正后眼球观测摄像机与安装位置发生了偏移的情况下，就无法推定被测者的注视点。根据本发明，根据被测者的眼球图像推定眼球的姿势，基于推定的眼球姿势推定被测者的注视点，因此即使检测注视点之前眼球观测摄像机的安装位置发生了偏移，也能够抑制对注视点推定结果产生影响。

符号说明

A     被测者

PoG   注视点

GRP   第一反射点

CRP   第二反射点

cGRP  补正反射点

100   注视点检测装置

102   眼球图像取得单元

104  反射点推定单元

106  补正反射点计算单元

108  注视点检测单元

110  姿势计算单元

112  环境光检测装置

200  个人参数计算装置

206  反射点检测单元

208  个人参数计算单元

Claims (14)

1.一种注视点检测装置，检测被测者对周边环境的注视点，具备：

眼球图像取得单元，取得所述被测者的眼球图像；

反射点推定单元，根据所述眼球图像推定反射从所述被测者的眼球的光轴方向到来的光的第一反射点；

补正反射点计算单元，基于表示所述被测者的视线方向与所述眼球的所述光轴方向之差的个人参数，补正所述第一反射点，计算作为所述补正后的所述第一反射点的补正反射点；以及

注视点检测单元，基于所述补正反射点的光和所述周边环境的光，检测所述注视点。

2.根据权利要求1所述的注视点检测装置，其特征在于具备：

姿势计算单元，根据所述眼球图像计算所述眼球的姿势，

所述反射点推定单元基于所述眼球的所述姿势和所述眼球的几何模型，推定所述第一反射点。

3.根据权利要求1或2所述的注视点检测装置，其特征在于，

所述反射点推定单元基于假定所述被测者的所述视线方向与所述被测者的所述眼球的所述光轴方向平行的模型，推定所述第一反射点。

4.根据权利要求1～3中任一项所述的注视点检测装置，其特征在于，

所述周边环境的光是LED阵列投影仪的光。

5.根据权利要求1～3中任一项所述的注视点检测装置，其特征在于，

所述周边环境的光是图案发光标志的光。

6.一种注视点检测方法，检测被测者对周边环境的注视点，包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述被测者的眼球的光轴方向到来的光的第一反射点；

补正反射点计算步骤，基于表示所述被测者的视线方向与所述眼球的所述光轴方向之差的个人参数，补正所述第一反射点，计算作为所述补正后的所述第一反射点的补正反射点；以及

注视点检测步骤，基于所述补正反射点的光和所述周边环境的光，检测所述注视点。

7.一种个人参数计算装置，计算表示被测者的视线方向与所述被测者的眼球的光轴方向之差的个人参数，具备：

眼球图像取得单元，取得所述被测者的眼球图像；

反射点推定单元，根据所述眼球图像推定反射从所述眼球的光轴方向到来的光的第一反射点；

反射点检测单元，根据所述眼球图像检测反射从所述被测者的注视点到来的光的第二反射点；以及

个人参数计算单元，基于所述第一反射点和所述第二反射点，计算所述被测者的所述个人参数。

8.根据权利要求7所述的个人参数计算装置，其特征在于具备：

姿势计算单元，根据所述眼球图像计算所述眼球的姿势，

所述反射点推定单元基于所述眼球的所述姿势和所述眼球的几何模型，推定所述第一反射点。

9.根据权利要求7或8所述的个人参数计算装置，其特征在于，

所述反射点推定单元基于假定所述被测者的所述视线方向与所述被测者的所述眼球的所述光轴方向平行的模型，推定所述第一反射点。

10.一种个人参数计算方法，计算表示被测者的视线方向与所述被测者的眼球的光轴方向之差的个人参数，包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述眼球的光轴方向到来的光的第二反射点；

反射点检测步骤，根据所述眼球图像检测反射从所述被测者的注视点到来的光的第一反射点；以及

个人参数计算步骤，基于所述第一反射点和所述第二反射点，计算所述被测者的所述个人参数。

11.一种用于使计算机执行检测被测者对周边环境的注视点的注视点检测处理的程序，所述程序包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述被测者的眼球的光轴方向到来的光的第一反射点；

补正反射点计算步骤，基于表示所述被测者的视线方向与所述眼球的所述光轴方向之差的个人参数，补正所述第一反射点，计算作为所述补正后的所述第一反射点的补正反射点；以及

注视点检测步骤，基于所述补正反射点的光和所述周边环境的光，检测所述注视点。

12.一种用于使计算机执行计算表示被测者的视线方向与所述被测者的眼球的光轴方向之差的个人参数的个人参数计算处理的程序，所述程序包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述眼球的光轴方向到来的光的第二反射点；

反射点检测步骤，根据所述眼球图像检测反射从所述被测者的注视点到来的光的第一反射点；以及

个人参数计算步骤，基于所述第一反射点和所述第二反射点，计算所述被测者的所述个人参数。

13.一种计算机可读取的记录介质，记录有用于使计算机执行注视点检测处理的程序，所述注视点检测处理检测被测者对周边环境的注视点，所述程序包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述被测者的眼球的光轴方向到来的光的第一反射点；

补正反射点计算步骤，基于表示所述被测者的视线方向与所述眼球的所述光轴方向之差的个人参数，补正所述第一反射点，计算作为所述补正后的所述第一反射点的补正反射点；以及

注视点检测步骤，基于所述补正反射点的光和所述周边环境的光，检测所述注视点。

14.一种计算机可读取的记录介质，记录有用于使计算机执行个人参数计算处理的程序，所述个人参数计算处理计算表示被测者的视线方向与所述被测者的眼球的光轴方向之差的个人参数，所述程序包括如下步骤：

眼球图像取得步骤，取得所述被测者的眼球图像；

反射点推定步骤，根据所述眼球图像推定反射从所述眼球的光轴方向到来的光的第二反射点；

反射点检测步骤，根据所述眼球图像检测反射从所述被测者的注视点到来的光的第一反射点；以及

个人参数计算步骤，基于所述第一反射点和所述第二反射点，计算所述被测者的所述个人参数。