CN105141938B - 视线定位装置 - Google Patents

Abstract

本发明实施例提供一种视线定位装置，该装置包括：至少两个摄像头分别在不同角度实时拍摄左眼的眼球运动图像，至少两个摄像头分别在不同角度实时拍摄右眼的眼球运动图像；至少四个摄像头同步拍摄；图像处理设备分别在每个眼球运动图像中确定瞳孔位置和虹膜边缘；虹膜三维重建设备根据拍摄左眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置和虹膜边缘，重建得到三维的左眼虹膜边缘，在三维空间中确定左眼虹膜的中心点和视线方向，同理，在三维空间中确定右眼虹膜的中心点和视线方向；视线定位设备在一世界坐标中，将左眼虹膜的视线方向与右眼虹膜的视线方向的焦点确定为视线焦点。该方案实现高精度的视线定位。

Description

视线定位装置

技术领域

本发明涉及视线追踪技术领域，特别涉及一种视线定位装置。

背景技术

人类通过眼睛获取大量信息，同时使用眼睛来表达情绪与想法。人们可以通过追踪视线焦点的方式，获取眼睛传递出的丰富信息，进而进行有效的人机交互以及传播学、心理学等领域的研究。

视线追踪是利用各种检测手段，获取“注视点”的过程，并保证能在一段时间对其进行连续追踪的技术。该技术广泛应用于人机交互、虚拟现实等领域。如今视线追踪已有不少类似设备，例如，基于人眼图像和视线追踪的操作指针指示控制设备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控制而实现人机交互，其在交互控制过程中，达到操作指针的指示位置与人眼视线所观察到的现实场景相叠加的人机交互效果。

具体的该设备采用红外测距传感器对人眼所在位置进行测距，还通过其红外发射器实时地向人体眼睛所在位置发射出红外光，以此作为辅助的红外光源，并借助红外光在人眼角膜上反射而形成角膜反射光斑，相应地采用微型红外摄像头有效的拍摄人体眼睛所在位置的原始红外图像，用以进行人眼识别和视线追踪，避免了可见光环境阴暗等情况引起的干扰，并且角膜反射光斑可用于在后续的视线追踪识别过程中对角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所在位置，辅助实现对人眼的视线方向加以捕捉。通过分割人眼区域图像的方式，不管原始红外图像中人眼位置是否因为头部运动而发生位移变化，分割出的人眼区域图像的图像区域范围是相对固定的。

视线追踪技术可分为2D视线追踪和3D视线追踪，上述基于人眼图像和视线追踪的操作指针指示控制设备属于2D视线追踪，利用瞳孔中心与角膜反射亮斑组成的向量表征视线方向。此类方法的缺点是利用的图像信息少，准确性和稳定性比较低。3D追踪技术是通过双摄像头或多摄像头获得3D空间中各个参考点的坐标进行视线追踪。相比2D追踪技术准确率和稳定性都有提升，其主要问题在于可用的3D特征比较少，只能通过若干特征点获取眼球的大致的3D运动信息，而无法实现高精度的视线定位。

发明内容

本发明实施例提供了一种视线定位装置，以实现高精度的视线定位。该装置包括：至少四个摄像头，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体左眼整个眼球区域的眼球运动图像，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体右眼整个眼球区域的眼球运动图像；控制设备，用于控制所述至少四个摄像头在时间上同步进行拍摄；图像处理设备，用于分别对每个摄像头拍摄的眼球运动图像进行处理，在每个所述眼球运动图像中确定瞳孔位置和虹膜边缘；虹膜三维重建设备，用于根据拍摄左眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置和虹膜边缘，重建得到三维的左眼虹膜边缘，在三维空间中确定左眼虹膜的中心点和视线方向，根据拍摄右眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中右眼的瞳孔位置和虹膜边缘，重建得到三维的右眼虹膜边缘，在三维空间中确定右眼虹膜的中心点和视线方向；视线定位设备，用于将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，将左眼虹膜的视线方向与右眼虹膜的视线方向的焦点确定为视线焦点。

在一个实施例中，还包括：眼镜框架，用于佩戴在人体头部上，所述至少四个摄像头安装在所述眼镜框架上，所述控制设备、所述图像处理设备、所述虹膜三维重建设备以及所述视线定位设备嵌在所述眼镜框架中。

在一个实施例中，所述图像处理设备，包括：计算模块，用于在每个所述眼球运动图像中，对行和列分别进行亮度值累计计算，分别得到行和列的累计计算分布曲线；

瞳孔位置确定模块，用于将行的累计计算分布曲线的最低点确定为瞳孔中心点的横坐标，将列的累计计算分布曲线的最低点确定为瞳孔中心点的纵坐标。

在一个实施例中，还包括：二值化处理模块，用于在每个所述眼球运动图像中，对预设范围的待检测区域进行二值化处理，所述待检测区域以瞳孔位置为中心；滤波模块，用于对二值化处理后的待检测区域进行中值滤波；标记模块，用于对滤波后的待检测区域进行二值区域标记；虹膜边缘确定模块，用于将二值区域标记后的待检测区域中最大区域确定为虹膜区域，提取虹膜区域的边缘点。

在一个实施例中，所述图像处理设备，还包括：拟合模块，用于对提取的虹膜区域的边缘点进行椭圆拟合，得到椭圆形的虹膜边缘。

在一个实施例中，所述视线定位设备具体用于：根据拍摄左眼的至少两个摄像头的外部标定参数和拍摄右眼的至少两个摄像头的外部标定参数，将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上。

在一个实施例中，还包括：两个光源，一个光源用于提供红外光照射人体左眼，另一个光源用于提供红外光照射人体右眼。

在一个实施例中，所述两个光源提供波长为850纳米或940纳米的红外光；

所述视线定位装置，还包括：滤光片，安装在所述至少四个摄像头上，所述滤光片透过光的波长与所述两个光源提供的红外光的波长对应。

在一个实施例中，还包括：无线通讯模块，用于将视线焦点的空间位置信息实时无线传输给待操作设备。

在一个实施例中，还包括：电源，用于为视线定位装置提供电能。

在本发明实施例中，通过多个摄像头分别从不同角度实时获取人体左眼和右眼的眼球运动图像，在每个眼球运动图像中确定瞳孔位置和虹膜边缘，使得可以重建三维的左眼虹膜边缘和三维的右眼虹膜边缘，并在三维空间中分别确定出左眼虹膜的中心点和视线方向以及右眼虹膜的中心点和视线方向，以最终确定出视线焦点，实现视线定位。由于是基于三维的左眼虹膜边缘和三维的右眼虹膜边缘分别确定出左右眼虹膜的中心点和视线方向，使得可以实现高精度的视线定位。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的一种视线定位装置的结构图；

图2是本发明实施例提供的一种视线定位装置的应用示意图；

图3是本发明实施例提供的一种确定瞳孔中心点的方法示意图；

图4是本发明实施例提供的一种确定虹膜边缘的方法流程图；

图5是本发明实施例提供的一种虹膜边缘点拟合的示意图；

图6是本发明实施例提供的一种确定视线焦点的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本发明实施例中，提供了一种视线定位装置，如图1所示(以四个摄像头为例，两个摄像头L1和L2)拍摄左眼的眼球运动图像，两个摄像头R1和R2拍摄右眼的眼球运动图像，4是信号处理模块，例如，该信号处理模块可以包括图像处理设备、虹膜三维重建设备以及视线定位设备等)，该视线定位装置包括：

至少四个摄像头，所述至少四个摄像头中至少两个摄像头(如图1所示的L1和L2)用于分别在不同角度实时拍摄覆盖人体左眼整个眼球区域的眼球运动图像，所述至少四个摄像头中至少两个摄像头(如图1所示的R1和R2)用于分别在不同角度实时拍摄覆盖人体右眼整个眼球区域的眼球运动图像；

控制设备(图中未示出)，用于控制所述至少四个摄像头在时间上同步进行拍摄；

图像处理设备(图中未示出)，用于分别对每个摄像头拍摄的眼球运动图像进行处理，在每个所述眼球运动图像中确定瞳孔位置和虹膜边缘；

虹膜三维重建设备(图中未示出)，用于根据拍摄左眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置和虹膜边缘，重建得到三维的左眼虹膜边缘，在三维空间中确定左眼虹膜的中心点和视线方向，根据拍摄右眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中右眼的瞳孔位置和虹膜边缘，重建得到三维的右眼虹膜边缘，在三维空间中确定右眼虹膜的中心点和视线方向；

视线定位设备(图中未示出)，用于将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，将左眼虹膜的视线方向与右眼虹膜的视线方向的焦点确定为视线焦点。

由图1所示可知，在本发明实施例中，通过多个摄像头分别从不同角度实时获取人体左眼和右眼的眼球运动图像，在每个眼球运动图像中确定瞳孔位置和虹膜边缘，使得可以重建三维的左眼虹膜边缘和三维的右眼虹膜边缘，并在三维空间中分别确定出左眼虹膜的中心点和视线方向以及右眼虹膜的中心点和视线方向，以最终确定出视线焦点，实现视线定位。由于是基于三维的左眼虹膜边缘和三维的右眼虹膜边缘分别确定出左右眼虹膜的中心点和视线方向，使得可以实现高精度的视线定位。

具体实施时，为了可以减小视线定位装置的体积，便于用户佩戴来近距离获取眼球的图像，在本发明实施例中，如图1所示，上述视线定位装置还包括：眼镜框架1，用于佩戴在人体头部上，所述至少四个摄像头安装在所述眼镜框架1上，所述控制设备、所述图像处理设备、所述虹膜三维重建设备以及所述视线定位设备嵌在所述眼镜框架中。由于眼镜框架采用眼镜式的设计，使得眼镜框架上的摄像头与头部的位置可以保持相对固定，且摄像头距离眼睛很近，可以获得高分辨率的眼球运动图像，眼球运动图像的大部分被眼球图像所占据，有利于简化在眼球运动图像中确定瞳孔位置和虹膜边缘的过程；同时，摄像头安装在眼镜框架上后，如图1、2所示，拍摄左眼的至少两个摄像头L₁和L₂可以组成左眼的立体视觉系统，拍摄右眼的至少两个摄像头R₁和R₂可以组成右眼的立体视觉系统，此时可以通过常用的立体视觉标定方法得到各摄像头的内部和外部标定参数。具体的，摄像头在眼镜框架上的安装位置可以调整，只要确保可以在不同角度拍摄到左右眼的整体眼球即可。通过将所述控制设备、所述图像处理设备、所述虹膜三维重建设备以及所述视线定位设备等嵌在所述眼镜框架中，还可以减小视线定位装置的体积，降低成本。

具体实施时，上述摄像头可以采用普通手机摄像头模组，配合合适的镜头，使得拍摄的眼球运动图像能够基本覆盖整个眼球区域。

具体实施时，为了可以重构三维的左右眼虹膜边缘，在获取到左右眼的眼球运动图像之后，在本实施例中，如图3所示，通过以下方法在每个眼球运动图像中确定瞳孔位置和虹膜边缘：

首先，计算模块，用于在每个所述眼球运动图像中，对行和列分别进行亮度值累计计算，分别得到行和列的累计计算分布曲线；如图3所示，行的累计计算分布曲线为曲线1，列的累计计算分布曲线为曲线2。

然后，瞳孔位置确定模块，用于将行的累计计算分布曲线的最低点确定为瞳孔中心点的横坐标，将列的累计计算分布曲线的最低点确定为瞳孔中心点的纵坐标；经过对眼球运动图像进行行和列亮度值的累计计算，得到行的累计计算Σx的分布曲线1和列的累计计算Σy的分布曲线2，由于瞳孔处没有亮度，因此，可以将行的累计计算分布曲线的最低点确定为瞳孔中心点的横坐标，将列的累计计算分布曲线的最低点确定为瞳孔中心点的纵坐标，以得到瞳孔中心点P的x轴和y轴坐标，左眼的瞳孔中心点可以定义为P_L(x，y)，右眼的瞳孔中心点可以定义为P_R(x，y)。

在确定出瞳孔位置后，如图4所示，则可以通过以下步骤确定出虹膜边缘：

步骤401：二值化处理模块在每个所述眼球运动图像中，对预设范围的待检测区域进行二值化处理，所述待检测区域以瞳孔位置为中心；获得瞳孔中心点P后，考虑到以下因素：a)瞳孔本身大小是动态变化的，虹膜边缘更接近圆形形状，因此将其作为检测目标；b)由于人眼球大小接近，且眼镜配戴后其距离基本固定，因此在眼球运动图像中虹膜区域，以像素计其大小基本不变，假设其直径为D，则我们的目标是检测出圆形C，如图3所示，上述待检测范围M，其中心为P，其大小为D的1.5-2.0倍，足以覆盖虹膜的运动范围，同时也减少了所需处理的图像大小，提高检测效率。

步骤402：滤波模块对二值化处理后的待检测区域进行中值滤波，去除部分噪声点。

步骤403：标记模块对滤波后的待检测区域进行二值区域标记。

步骤404：虹膜边缘确定模块将二值区域标记后的待检测区域中最大区域确定为虹膜区域，提取虹膜区域的边缘点。

在步骤404提取到虹膜区域的边缘点即确定出圆形的虹膜边缘，考虑到摄像头视角与眼球运动，虹膜边缘会由圆形变成椭圆形，因此，为了提高视线定位的精度，在步骤404后可以对提取的虹膜区域的边缘点进行椭圆拟合，得到椭圆形的虹膜边缘C，左眼的椭圆虹膜边缘为C_L，右眼的椭圆虹膜边缘为C_R。

在每个眼球运动图像中确定出瞳孔位置和虹膜边缘后，则可以分别重建得到左右眼虹膜边缘的三维空间，例如，如图5所示，结合拍摄左眼的至少两个摄像头L₁和L₂的位置以该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置P_L和虹膜边缘C_L，重建得到三维的左眼虹膜边缘，进而得到在三维空间中左眼虹膜的中心点和视线方向N₁，视线方向N₁即虹膜拟合3D空间圆形的法线，同理，得到在三维空间中右眼虹膜的中心点和视线方向N₂。

得到左右眼虹膜的中心点和视线方向后，则可以通过以下方法确定视线焦点，如图6所示，将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，例如，在对拍摄左眼的两个摄像头L₁和L₂进行立体视觉系统标定时，可以获得旋转矩阵R和平移参数T等外部标定参数，同理获得拍摄右眼的两个摄像头R₁和R₂的旋转矩阵R和平移参数T等外部标定参数，然后可以利用常规标定手段，将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，同时将左眼虹膜的视线方向N₁与右眼虹膜的视线方向N₂的焦点确定为视线焦点，完成视线定位。

为了拍摄到更明显的虹膜区域特征，以便于瞳孔位置和虹膜边缘的精确定位，在本实施例中，如图1、2所示，上述视线定位装置，还包括：两个光源3，安装在眼镜框架上，一个光源3用于提供红外光照射人体左眼，另一个光源3用于提供红外光照射人体右眼，如图1所示，由光源3分别指向人体左眼和右眼的细线箭头表示光源3提供的红外光，由人体左眼分别指向摄像头L₁和L₂的粗线箭头表示摄像头L₁和L₂分别获取的左眼球图像，由人体右眼分别指向摄像头R₁和R₂的粗线箭头表示摄像头R₁和R₂分别获取的右眼球图像。例如，该光源3可以采用红外LED，LED体积小巧，红外光对人不可见，不影响人的正常生活和工作，且功率安全，不对人眼造成伤害，在红外光的照射下，虹膜区域特征更为明显，有利于瞳孔位置和虹膜边缘的确定。具体的，两个光源可以提供波长为850纳米或940纳米的红外光来照射左右眼，此时，摄像头上可分别加装滤光片，该滤光片透过的波长与光源提供红外光的波长对应，这样可以减少环境光的影响因素。

在实现视线焦点定位后，为了实现互动操作，在本实施例中，上述视线定位装置还包括：无线通讯模块，用于将视线焦点的空间位置信息实时无线传输给待操作设备，即可在待操作设备上动态的实现视线焦点的跟踪与定位，进而实现交互操作。

具体实施时，上述视线定位装置还包括：电源，用于为视线定位装置提供电能。该电源可以是电池，也可以使用外接电源方式进行操作。

在本发明实施例中，通过多个摄像头分别从不同角度实时获取人体左眼和右眼的眼球运动图像，在每个眼球运动图像中确定瞳孔位置和虹膜边缘，使得可以重建三维的左眼虹膜边缘和三维的右眼虹膜边缘，并在三维空间中分别确定出左眼虹膜的中心点和视线方向以及右眼虹膜的中心点和视线方向，以最终确定出视线焦点，实现视线定位。由于是基于三维的左眼虹膜边缘和三维的右眼虹膜边缘分别确定出左右眼虹膜的中心点和视线方向，使得可以实现高精度的视线定位。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视线定位装置，其特征在于，包括：

至少四个摄像头，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体左眼整个眼球区域的眼球运动图像，所述至少四个摄像头中至少两个摄像头用于分别在不同角度实时拍摄覆盖人体右眼整个眼球区域的眼球运动图像；

控制设备，用于控制所述至少四个摄像头在时间上同步进行拍摄；

图像处理设备，用于分别对每个摄像头拍摄的眼球运动图像进行处理，在每个所述眼球运动图像中确定瞳孔位置和虹膜边缘；

虹膜三维重建设备，用于根据拍摄左眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中左眼的瞳孔位置和虹膜边缘，重建得到三维的左眼虹膜边缘，在三维空间中确定左眼虹膜的中心点和视线方向，根据拍摄右眼的至少两个摄像头的位置以及该至少两个摄像头拍摄的眼球运动图像中右眼的瞳孔位置和虹膜边缘，重建得到三维的右眼虹膜边缘，在三维空间中确定右眼虹膜的中心点和视线方向；

视线定位设备，用于将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上，将左眼虹膜的视线方向与右眼虹膜的视线方向的焦点确定为视线焦点；

所述图像处理设备，包括：

计算模块，用于在每个所述眼球运动图像中，对行和列分别进行亮度值累计计算，分别得到行和列的累计计算分布曲线；

瞳孔位置确定模块，用于将行的累计计算分布曲线的最低点确定为瞳孔中心点的横坐标，将列的累计计算分布曲线的最低点确定为瞳孔中心点的纵坐标；

所述图像处理设备，还包括：

二值化处理模块，用于在每个所述眼球运动图像中，对预设范围的待检测区域进行二值化处理，所述待检测区域以瞳孔位置为中心；

滤波模块，用于对二值化处理后的待检测区域进行中值滤波；

标记模块，用于对滤波后的待检测区域进行二值区域标记；

虹膜边缘确定模块，用于将二值区域标记后的待检测区域中最大区域确定为虹膜区域，提取虹膜区域的边缘点。

2.如权利要求1所述的装置，其特征在于，还包括：

眼镜框架，用于佩戴在人体头部上，所述至少四个摄像头安装在所述眼镜框架上，所述控制设备、所述图像处理设备、所述虹膜三维重建设备以及所述视线定位设备嵌在所述眼镜框架中。

3.如权利要求1所述的装置，其特征在于，所述图像处理设备，还包括：

拟合模块，用于对提取的虹膜区域的边缘点进行椭圆拟合，得到椭圆形的虹膜边缘。

4.如权利要求1至3中任一项所述的装置，其特征在于，所述视线定位设备具体用于：根据拍摄左眼的至少两个摄像头的外部标定参数和拍摄右眼的至少两个摄像头的外部标定参数，将左眼虹膜的中心点和视线方向与右眼虹膜的中心点和视线方向转换到同一世界坐标上。

5.如权利要求1至3中任一项所述的装置，其特征在于，还包括：

两个光源，一个光源用于提供红外光照射人体左眼，另一个光源用于提供红外光照射人体右眼。

6.如权利要求5所述的装置，其特征在于，所述两个光源提供波长为850纳米或940纳米的红外光；

所述视线定位装置，还包括：

滤光片，安装在所述至少四个摄像头上，所述滤光片透过光的波长与所述两个光源提供的红外光的波长对应。

7.如权利要求1至3中任一项所述的装置，其特征在于，还包括：

无线通讯模块，用于将视线焦点的空间位置信息实时无线传输给待操作设备。

8.如权利要求1至3中任一项所述的装置，其特征在于，还包括：

电源，用于为视线定位装置提供电能。