CN115421586A - 目光指向测量装置以及目光指向模型建立方法 - Google Patents

Abstract

本申请技术方案公开了一种目光指向测量装置以及目光指向模型建立方法，设置目光指向测量装置包括：几何定位帽，所述几何定位帽用于穿戴在用户的头部；调节组件以及安装在所述调节组件上的图像采集组件；所述图像采集组件至少包括拍照模组；其中，在用户穿戴所述几何定位帽时，所述图像采集组件用于采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；所述调节组件用于调节所述拍照模组的空间位置；所述几何定位帽图像、所述面部图像以及所述眼睛图像用于确定目光指向模型。所述目光指向测量装置具有较高的测量精度，用于建立目光指向模型时，可以实现高精度的眼动追踪。

Description

目光指向测量装置以及目光指向模型建立方法

技术领域

本申请涉及眼动追踪技术领域，更具体的说，涉及一种目光指向测量装置以及目光指向模型建立方法。

背景技术

随着科学技术的不断发展，具有眼动追踪(又称视线追踪)功能的电子设备被广泛的应用于人们的日常生活以及工作当中，为人们的日常生活以及工作带来了巨大的便利，为当今人们不可或缺的重要工具。

如何设计一种高精度的目光指向测量装置，用于建立目光指向模型，以便于电子设备实现高精度的眼动追踪，是眼动追踪技术领域一个亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种目光指向测量装置以及目光指向模型建立方法，方案如下：

一种目光指向测量装置，所述目光指向测量装置包括：

几何定位帽，所述几何定位帽用于穿戴在用户的头部；

调节组件以及安装在所述调节组件上的图像采集组件；所述图像采集组件至少包括拍照模组；

其中，在用户穿戴所述几何定位帽时，所述图像采集组件用于采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；所述调节组件用于调节所述拍照模组的空间位置；所述几何定位帽图像、所述面部图像以及所述眼睛图像用于确定目光指向模型。

优选的，在上述目光指向测量装置中，所述调节组件包括：骨架以及设置在所述骨架上的调节模组；

其中，所述拍照模组安装在所述调节模组上，所述调节模组用于调节所述拍照模组的空间位置。

优选的，在上述目光指向测量装置中，所述调节模组包括：N个运动导向部件，该N个所述运动导向部件依次为第1运动导向部件至第N运动导向部件，N为大于2的正整数；

第1运动导向部件固定在所述骨架上，第i+1运动导向部件可移动的安装在第i运动导向部件上，i为不大于N-1的正整数；

其中，所述拍照模组安装在第N运动导向部件上。

优选的，在上述目光指向测量装置中，第i+1运动导向部件相对于第i运动导向装置能够平动或转动；

当第i+1运动导向部件相对于第i运动导向部件能够平动时，该两个运动导向部件之间通过第一电磁驱动装置进行平动控制，该两个运动导向部件中，一个运动导向部件固定有磁铁，另一个运动导向部件固定线圈；所述第一电磁驱动装置包括所述磁铁以及所述线圈，所述第一电磁驱动装置用于在所述线圈充电时，基于所述磁铁与所述线圈之间的电磁力使得该两个运动导向部件相对移动；

当第i+1运动导向部件相对于第i运动导向部件能够转动时，该两个运动导向部件之间通过第二电磁驱动装置进行转动控制，所述第二电磁驱动装置包括电机。

优选的，在上述目光指向测量装置中，所述调节模组还包括：位置传感器，所述位置传感器用于检测运动导向部件之间的相对位置。

优选的，在上述目光指向测量装置中，所述图像采集组件还包括至少一个三维扫描仪；所述三维扫描仪用于通过红外激光扫描所述用户的面部三维形状；

其中，所述三维扫描仪设置在所述骨架上，或设置在所述拍照模组上。

优选的，在上述目光指向测量装置中，所述拍照模组包括：

摄像头支架；

安装在所述摄像头支架上的红外摄像组件，所述红外摄像组件包括：第一摄像头、第二摄像头以及红外点光源；所述第一摄像头与所述第二摄像头用于采集所述眼睛图像的红外光图像；

安装在所述摄像头支架上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件四周的多个色彩摄像头；所述色彩摄像头用于采集所述几何定位帽图像、所述面部图像以及所述眼睛图像的可见光图像；

至少一个红外照明光源，所述红外照明光源安装在所述摄像头支架或所述红外摄像头组件。

优选的，在上述目光指向测量装置中，所述红外照明光源用于出射第一红外检测光线；所述第一摄像头基于所述用户的眼球反射的所述第一红外检测光线，形成第一图像，所述第一图像包括所述用户的眼球的红外光虹膜信息以及红外光瞳孔信息；基于所述第一图像中所述红外光瞳孔信息，调节所述第一摄像头的光轴相交于眼睛的瞳孔中心；所述红外点光源用于出射第二红外检测光线；所述第二摄像头用于基于所述用户的眼角膜反射的所述第二红外检测光线，形成第二图像，所述第二图像包括所述用户的眼角膜反射所述第二红外光线的高光点；

其中，所述眼睛图像的红外光图像包括所述第一图像和所述第二图像。

优选的，在上述目光指向测量装置中，所述第二摄像头与所述红外点光源设置在所述第一摄像头的光轴的两侧；所述第二摄像头的镜头焦点与所述红外点光源的连线相交于所述第一摄像头的光轴，所述连线与所述用户的视轴线垂直；所述红外点光源与所述第一摄像头的光轴之间的距离等于所述第二摄像头的镜头焦点与所述第一摄像头的光轴之间的距离。

优选的，在上述目光指向测量装置中，所述色彩摄像头能够接收可见光波段光线，用于拍摄第三图像，所述第三图像包括所述用户的虹膜和巩膜的交界线特征；

其中，所述眼睛图像的可见光图像包括所述第三图像。

优选的，在上述目光指向测量装置中，所述几何定位帽包括：

穿戴部件，所述穿戴组件用于穿戴在用户的头部；

设置在所述穿戴部件外侧几何形状标识部件；

其中，基于所述几何定位帽图像中所述几何形状标识部件的图像，确定所述用户的面部与所述拍照模组的相对位置。

优选的，在上述目光指向测量装置中，所述几何形状标识部件包括多个发光颜色不同的可见点光源，所述可见点光源设置在所述穿戴部件的外侧四周；

基于所述拍照模组采集的至少两个几何定位帽图像，确定所述用户的面部与所述拍照模组的相对位置；每个所述几何定位帽图像都包括多个相同的所述几何形状标识部件的图像。

优选的，在上述目光指向测量装置中，还包括计算机，所述计算机具有信息处理器，所述信息处理器用于对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置，通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的所述目光指向模型。

本申请还提供了一种目光指向模型建立方法，基于权利要求1所述的目光指向测量装置，所述方法包括：

在用户穿戴所述几何定位帽时，通过所述图像采集组件，采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；

对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置；

通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的目光指向模型；其中，所述目光指向模型包括对应所述相对位置下的视轴线模型、瞳孔中心点模型、虹膜纹路标记线模型、眼睛坐标系模型以及投影虹膜边缘曲线组模型。

优选的，在上述目光指向模型建立方法中，所述拍照模组包括：摄像头支架；安装在所述摄像头支架上的红外摄像组件，所述红外摄像组件包括：第一摄像头、第二摄像头以及红外点光源；安装在所述摄像头支架上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件四周的多个色彩摄像头；至少一个红外照明光源；

采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像的方法包括：

通过所述调节组件调节所述拍照模组的空间位置，以使得用户的视轴线与所述第一摄像头的光轴满足重合条件；

在满足所述重合条件后，改变所述拍照模组与所述用户面部的相对位置，获取不同所述相对位置下的第一测量数据，所述第一测量数据包括对应所述相对位置下的面部图像和眼睛图像；不同所述相对位置下采集图像时，所述第一摄像头的光轴均相交于用户的瞳孔中心。

优选的，在上述目光指向模型建立方法中，使得用户的视轴线与所述第一摄像头的光轴满足重合条件的方法包括：

通过第一摄像头采集用户眼睛的第一图像，所述第一图像包括红外光瞳孔信息；

基于所述第一图像，通过所述调节组件调节所述拍照模组的空间位置，以带动所述第一摄像移动，使得所述第一摄像头的光轴与用户的视轴线重合。

优选的，在上述目光指向模型建立方法中，确定所述用户的面部与所述拍照模组的相对位置的方法包括：

基于所述第一测量数据，确定所述用户的眼睛相对于面部基准的运动规律，所述面部基准包括几何定位帽位置以及面部三维模型；

根据运动规律以及所述面部基准，构建标准模型，所述标准模型包括所述拍照模组的多个预设的虚拟位置、所述用户的面部坐标系模型和眼睛中心坐标系模型；

其中，所述面部坐标系中三个相互垂直的坐标轴分别为FX轴、FY轴和FZ轴；FZ轴朝向所述拍照模组，FX FY平面与所述拍照模组相对设置。

优选的，在上述目光指向模型建立方法中，确定所述用户的眼睛相对于面部基准的运动规律的方法包括：

基于多组所述第一测量数据，确定一一对应的多个指向模型；所述指向模型包括视轴线模型、面部坐标系模型以及二者相对关系；

将所有所述指向模型以面部坐标系为基准重合，以获得在用户面部为基准下，眼睛看向不同方向的视轴线模型，所有视轴线模型的交点为用户眼睛的中心模型；其中，所述用户眼睛的中心模型能够确定所述眼睛中心坐标系模型。

优选的，在上述目光指向模型建立方法中，所述第一测量数据包括所述色彩摄像头阵列拍摄的所述面部图像及所述面部图像对应的几何定位帽图像；

确定所述指向模型的方法包括：

基于所述面部图像所对应的几何定位帽图像，确定用户面部与所述拍照模组的相对位置关系；

基于用户面部与所述拍照模组的相对位置关系，构建视轴线模型与面部坐标系模型，将视轴线模型与面部坐标系模型以及二者相对关系组成所述指向模型。

优选的，在上述目光指向模型建立方法中，建立左眼中心坐标系，左眼中心坐标系中三个相互垂直的坐标轴分别为LX轴、LY轴和LZ轴；用户左眼的中心为左眼中心坐标系的原点，LZ轴平行于FZ轴，LY轴平行于FY轴；

构建标准模型的方法包括：

设置35个阵列排布的所述虚拟位置；每个所述虚拟位置对应所述拍照模组的三维模型；每一个所述虚拟位置所对应拍照模组的三维模型中，所述第一摄像头的光轴均相交于左眼中心坐标系的原点；

设定所述左眼中心坐标系中任意一点与原点的连线在LY LZ平面上的投影与所述连线的夹角为γ，所述连线在LX LZ平面上的投影与所述连线的夹角为δ，则该35个所述虚拟位置中第一摄像头的光轴在所述左眼中心坐标系中的角度坐标(γ，δ)分别为(45°，30°)、(30°，30°)、(15°，30°)、(0°，30°)、(-15°，30°)、(-30°，30°)、(-45°，30°)、(45°，15°)、(30°，15°)、(15°，15°)、(0°，15°)、(-15°，15°)、(-30°，15°)、(-45°，15°)、(45°，0°)、(30°，0°)、(15°，0°)、(0°，0°)、(-15°，0°)、(-30°，0°)、(-45°，0°)、(45°，-15°)、(30°，-15°)、(15°，-15°)、(0°，-15°)、(-15°，-15°)、(-30°，-15°)、(-45°，-15°)、(45°，-30°)、(30°，-30°)、(15°，-30°)、(0°，-30°)、(-15°，-30°)、(-30°，-30°)、(-45°，-30°)。

优选的，在上述目光指向模型建立方法中，确定不同所述相对位置下的目光指向模型的方法包括：

基于所述标准模型，通过所述调节组件调节所述拍照模组的空间位置，使得其处于与各个所述虚拟位置对应的现实空间位置上，通过拍照模组采集对应各个所述现实空间位置时的面部图像以及眼睛图像；

基于所述面部图像以及所述眼睛图像，确定不同所述现实空间位置所对应的目光指向模型。

优选的，在上述目光指向模型建立方法中，所述眼睛图像包括所述色彩摄像头阵列采集的可见光图像以及所述红外摄像组件采集的红外光图像；

基于所述可见光图像确定所述投影虹膜边缘曲线组模型；

基于所述红外光图像确定所述虹膜纹路标记线模型。

优选的，在上述目光指向模型建立方法中，所述投影虹膜边缘曲线组模型包括多条投影虹膜边缘曲线的模型，所述投影虹膜边缘曲线由虹膜边缘反射曲面与眼睛坐标系中设定平面的相交线，所述设定平面为眼睛坐标系中AX轴与AY轴所在平面，该平面与拍照模组相对；

确定所述投影虹膜边缘曲线组模型的方法包括：

通过所述色彩摄像头阵列中多个色彩摄像头，获取多个虹膜边缘反射曲线；

将多个所述虹膜边缘反射曲线与所述设定平面相交，获得多个一一对应的虹膜边缘曲线。

优选的，在上述目光指向模型建立方法中，通过所述第一摄像头采集用户眼睛的第一图像；

确定所述虹膜纹路标记线模型的方法包括：

根据所述第一图像中图像亮度以及颜色，识别所述第一图像中虹膜纹路；

通过标记点标记所述虹膜纹路中的特征信息；

根据所述标记点的位置，确定形成所述第一图像，所述标记点对应光线入射所述第一摄像头时，所述光线与第一摄像头坐标系的相对位置关系，基于所述光线构建所述虹膜纹路标记线模型。

通过上述描述可知，本申请技术方案中，设置目光指向测量装置包括：几何定位帽，所述几何定位帽用于穿戴在用户的头部；调节组件以及安装在所述调节组件上的图像采集组件；所述图像采集组件至少包括拍照模组；其中，在用户穿戴所述几何定位帽时，所述图像采集组件用于采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；所述调节组件用于调节所述拍照模组的空间位置；所述几何定位帽图像、所述面部图像以及所述眼睛图像用于确定目光指向模型。所述目光指向测量装置具有较高的测量精度，用于建立目光指向模型以及模型时，可以实现高精度的眼动追踪。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。

图1为本本申请实施例提供的一种目光指向测量装置的结构示意图；

图2为本申请实施例提供的一种目光指向测量装置中调节组件的结构示意图；

图3为图2中第1运动导向部件的局部放大图；

图4为图2中第2运动导向部件的局部放大图；

图5为图2中第3运动导向部件的局部放大图；

图6为图2中第4运动导向部件的局部放大图；

图7为图2中第5运动导向部件的局部放大图；

图8为图2中第6运动导向部件的局部放大图；

图9和图10为本申请实施例提供的一种两个运动导向部件之间平动的驱动原理示意图；

图11为本申请实施例提供的一种两个运动导向部件之间转动的驱动原理示意图；

图12为本申请实施例提供的一种三维扫描仪的结构示意图；

图13为本申请实施例提供的一种目光指向测量装置拍照模组的结构示意图；

图14为本申请实施例提供的一种第一图像的示意图；

图15为本申请实施例提供的一种第一摄像头的结构示意图；

图16为本申请实施例提供的一种用户瞳孔中心与第一摄像头的镜头中心对位的原理示意图；

图17为本申请实施例提供的一种红外摄像组件的结构示意图；

图18为本申请实施例提供的一种摄像头拍摄方格图案的场景示意图；

图19为本申请实施例中摄像头拍摄图像的示意图；

图20为本申请实施例提供的一种几何定位帽的结构示意图；

图21为第1色彩摄像头拍摄的几何定位帽图像；

图22为第16色彩摄像头拍摄的几何定位帽图像；

图23为本申请中摄像头光轴的示意图；

图24为本申请实施例提供的一种拍照模组与几何定位帽的三维模型示意图；

图25为本申请实施例提供的一种拍照模组的三维模型与第一几何定位帽图像相对位置示意图；

图26为本申请实施例提供的一种模组坐标系的示意图；

图27-图33为本申请实施例提供的一种点位置计算形成光线角度的远离示意图；

图34为本申请实施例提供的一种目光指向模型建立方法的示意图；

图35为本申请实施例提供的一种图像采集方法的流程示意图；

图36为本申请实施例提供的一种使得用户的视轴线与所述第一摄像头的光轴满足重合条件的方法示意图；

图37为本申请实施例提供的一种建立面部坐标系方法的原理示意图

图38为本申请实施例提供一种确定所述用户的眼睛相对于面部基准的运动规律的方法示意图；

图39为本申请实施例提供的一种确定所述指向模型的方法示意图；

图40为本申请实施例提供的一种指向模型的示意图；

图41为本申请实施例提供的另一种指向模型的示意图；

图42为本申请实施例提供的一种多个指向模型以面部坐标系为基准重合的原理示意图；

图43为本申请实施例提供的一种建立左眼中心坐标系的原理示意图；

图44为本申请实施例提供的一种标准模型的示意图；

图45为本申请实施例提供的一种确定不同所述相对位置下的目光指向模型的方法示意图；

图46为本申请实施例提供的一种确定所述虹膜纹路标记线模型的方法示意图；

图47为本申请实施例提供的一种标记虹膜纹理的原理示意图；

图48为本申请实施例体用的一种确定虹膜标记线和拍照模组的相对位置关系的原理示意图；

图49为本申请实施例提供的一种眼睛视轴线与瞳孔中心相对位置的示意图；

图50为本申请实施例提供的一种确定瞳孔中心点和拍照模组相对位置关系的原理示意图；

图51为本申请实施例提供的一种在眼睛模型中放置眼睛坐标系的原理示意图；

图52为本申请实施例提供的一种确定所述投影虹膜边缘曲线组模型的方法示意图；

图53为本申请实施例中色彩摄像头拍摄图像示意图；

图54为本申请实施例中左眼的眼睛坐标系与各个虹膜边缘反射曲面的相对关系示意图；

图55为本本申请实施例中左眼的眼睛坐标系与投影虹膜边缘曲线相对关系示意图；

图56为本申请实施例提供的一种目光指向模形的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请中的实施例进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

如图1所示，图1为本本申请实施例提供的一种目光指向测量装置的结构示意图，所述目光指向测量装置包括：

几何定位帽11，所述几何定位帽11用于穿戴在用户的头部；所述几何定位帽11为独立部件，用于标记用户头部的位置；

调节组件12以及安装在所述调节组件12上的图像采集组件13；所述图像采集组件13至少包括拍照模组131；

其中，在用户穿戴所述几何定位帽11时，所述图像采集组件13用于采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；所述调节组件12用于调节所述拍照模组131的空间位置；所述几何定位帽图像、所述面部图像以及所述眼睛图像用于确定目光指向模型。

本申请技术方案所述目光指向测量装置，用户正对调节组件12上的所述拍照模组131后，并穿戴几何定位帽11，使得头部与几何定位帽11位置相对稳定，轻微晃动头部情况下，几何定位帽11始终与头部不发生相对移动，进而能够通过图像采集组件13采集所述几何定位帽图像、所述面部图像以及所述眼睛图像。

如图2所示，图2为本申请实施例提供的一种目光指向测量装置中调节组件的结构示意图，所示调节组件12包括：骨架121以及设置在所述骨架121上的调节模组122；其中，所述拍照模131组安装在所述调节模组122上，所述调节模组122用于调节所述拍照模组131的空间位置。通过所述调节模组122能够调节穿戴在用户头部的几何定位帽11与拍照模组131的相对位置，以获取不同相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像。

本申请实施例中，所述调节模组122包括：N个运动导向部件，该N个所述运动导向部件依次为第1运动导向部件至第N运动导向部件，N为大于2的正整数；第1运动导向部件固定在所述骨架121上，第i+1运动导向部件可移动的安装在第i运动导向部件上，i为不大于N-1的正整数；其中，所述拍照模组131安装在第N运动导向部件上。其中，两个运动导向部件之间的相对移动为平动或转动。

通过N个不同维度的运动导向组件，能够实现所述拍照模组131在不同维度上的平动和转动，实现对所述拍照模组131空间位置的调节，进而能够采集用拍照模组131和用户面部不同相对位置下的所述几何定位帽图像、所述面部图像以及所述眼睛图像。

在图2所示实施方式中，设置所述调节模组122包括6个运动导向部件，该六个运动导向部件依次为第1运动导向部件1221、第2运动导向部件1222、第3运动导向部件1223、第4运动导向部件1224、第5运动导向部件1225和第6运动导向部件1226。

如图3所示，图3为图2中第1运动导向部件的局部放大图，结合图2和图3所示，调节模组122包括两个固定安装在所述骨架121上的第1运动导向部件1221，两个第1运动导向部件1221相对平行设置。第1运动导向部件1221具有第一直线导轨1221a。具体的，骨架121为立方体框架，两个第1运动导向部件1221分别安装在立方体框共面平行的两个边框上。其中，立方体框架可以为金属框架或是合金框架等。

如图4所示，图4为图2中第2运动导向部件的局部放大图，结合图2-图4，第2运动导向部件1222可移动的安装在第1运动导向部件1221上。具体的，第2运动导向部件1222的两端分别通过第一滑块1222b可移动的安装在两个第1运动导向部件1221上。在图4所示方式中，第2运动导向部件1222的左端固定有第一滑块1222b，左端的第一滑块1222b可移动的安装在左端所对应的两个第一直线导轨1221a，第2运动导向部件1222的右端固定有另一第一滑块1222b，右端的第一滑块1222b可移动的安装在右端所对应的两个第一直线导轨1221a。第2运动导向部件1222具有第二直线导轨1222a。

如图5所示，图5为图2中第3运动导向部件的局部放大图，结合图2、图4和图5所示，第3运动导向部件1223可移动的安装在第2运动导向部件1222上。具体的，第3运动导向部件包括相对固定的第三滑块1223a和第四滑块1223b，第三滑块1223可移动的安装在第二直线导轨1222a上，第四滑块1223b可移动的安装在第4运动导向部件1224上。

如图6所示，图6为图2中第4运动导向部件的局部放大图，结合图2、图5和图6所示，第4运动导向部件1224可移动的安装在第3运动导向部件1223上。具体的，第4运动导向部件1224包括第三直线导轨1224a以及固定在第三直线导轨1224a一端的第一圆柱轴套1224b，第三直线导轨1224a通过第四滑块1223b可移动的安装在第3运动导向部件1223上。

如图7所示，图7为图2中第5运动导向部件的局部放大图，结合图2、图6和图7所示，第5运动导向部件1225可移动的安装在第4运动导向部件1224上。具体的，第5运动导向部件1225包括相对固定的第一圆柱轴心1225a和第二圆柱轴套1225b。第一圆柱轴心1225a可转动的安装在第一圆柱轴套1224b中。

如图8所示，图8为图2中第6运动导向部件的局部放大图，结合图2、图7和图8所示，第6运动导向部件1226可以移动的安装在第5运动导向部件1225上。具体的，第6运动导向部件1226包括第二圆柱轴心1226a，第二圆柱轴心1226a可转动的安装在第二圆柱轴套1225b中。第二圆柱轴心1226a与拍照模组131相对固定。

需要说明的是，可以基于需求设置所述调节模组122中运动导向部件的数量以及机械结构，实现对所述拍照模组131空间位置的调节，不局限于图2-图8所示实施方式。本申请实施例中，第i+1运动导向部件相对于第i运动导向装置能够平动或转动，当二者能够相对平动时，驱动原理如图9和图10所示，当两者能够相对转动时，驱动原理如图11所示。

如图9和图10所示，图9和图10为本申请实施例提供的一种两个运动导向部件之间平动的驱动原理示意图，其中，图9为第i+1运动导向部件22和第i运动导向部件21分离时的结构示意图，图10为第i+1运动导向部件22和第i运动导向部件21安装组合后的结构示意图。当第i+1运动导向部件22相对于第i运动导向部件21能够平动时，该两个运动导向部件之间通过第一电磁驱动装置进行平动控制，该两个运动导向部件中，一个运动导向部件固定有磁铁01，另一个运动导向部件固定有线圈02。所述第一电磁驱动装置包括所述磁铁01以及所述线圈02，所述第一电磁驱动装置用于在所述线圈02充电时，基于所述磁铁01与所述线圈02之间的电磁力使得该两个运动导向部件相对移动。

在图9和图10所示方式中，以第i+1运动导向部件22上固定有线圈02，第i运动导向部件21上固定有磁铁01为例进行说明，第i运动导向部件21具有直线导轨，该直线导轨中间固定设置有多个依次排布的磁铁01。第i+1运动导向部件22具有滑块，滑块可移动的安装在直线导轨上。滑块中间具有线圈02。显然其他方式中，也可以将磁铁01固定在第i+1运动导向部件22上，将线圈02固定在第i运动导向部件21上。

如图11所示，图11为本申请实施例提供的一种两个运动导向部件之间转动的驱动原理示意图，当第i+1运动导向部件22相对于第i运动导向部件21能够转动时，该两个运动导向部件之间通过第二电磁驱动装置23进行转动控制，所述第二电磁驱动装置23包括电机。

在第1运动导向部件1221至第6运动导向部件1226中，共计需要5组电磁驱动装置，该5组电磁驱动装置分别为第1组电磁驱动装置至第5组电磁驱动装置。

第1组电磁驱动装置作用于第1运动导向部件1221与第2运动导向部件1222之间，通过电磁力驱动第1运动导向部件1221与第2运动导向部件1222相对运动。

第2组电磁驱动装置作用于第2运动导向部件1222与第3运动导向部件1223之间，通过电磁力驱动第2运动导向部件1222与第3运动导向部件1223相对运动。

第3组电磁驱动装置作用于第3运动导向部件1223与第4运动导向部件1224之间，通过电磁力驱动第3运动导向部件1223与第4运动导向部件1224相对运动。

第4组电磁驱动装置作用于第4运动导向部件1224与第5运动导向部件1225之间，通过电磁力驱动第4运动导向部件1224与第5运动导向部件1225相对运动。

第5组电磁驱动装置作用于第5运动导向部件1225与第6运动导向部件1226之间，通过电磁力驱动第5运动导向部件1225与第6运动导向部件1226相对运动。

因为第6运动导向部件1226和拍照模组131相对固定安装，所以拍照模组131可在多组电磁驱动装置和多个运动导向部件共同作用下改变与骨架121的相对位置，改变自身空间位置，进而改变与被穿戴的几何定位帽11的相对位置。

为了能够检测第i+1运动导向部件22相对于第i运动导向部件21的相对位置参数，以准确检测运动导向部件之间的相对位置，如图9-图11所示，所述调节模组122还包括：位置传感器30，所述位置传感器30用于检测运动导向部件之间的相对位置。其中，所述位置传感器30包括电阻丝31和电刷32，电刷32与电阻丝31不同的接触位置时，接入测量电路的电阻不同，进而能够通过电阻值的大小，确定两个运动导向部件的相对位置参数，进而便于实现准确的移动参数控制。

其中，电阻丝31和电刷32分别固定在第i+1运动导向部件22与第i运动导向部件21上，第i+1运动导向部件22相对于第i运动导向部件21的相对位置发生变化后，电阻丝31和电刷32的相对位置也随之发生改变，从电刷32到电阻丝31之间的电阻值随之发生改变，通过电阻的阻值的变化判断第i+1运动导向部件22相对于第i运动导向部件21的相对位置。

本申请实施例中，共有5组位置传感器30，分别是第1组位置传感器、第2组位置传感器、第3组位置传感器、第4组位置传感器、第5组位置传感器。第1组位置传感器用于判断第1运动导向部件1221与第2运动导向部件1222之间的相对位置。第2组位置传感器用于判断第2运动导向部件1222与第3运动导向部件1223之间的相对位置。第3组位置传感器用于判断第3运动导向部件1223与第4运动导向部件1224之间的相对位置。第4组位置传感器用于判断第4运动导向部件1224与第5运动导向部件1225之间的相对位置。第5组位置传感器用于判断第5运动导向部件1225与第6运动导向部件1226之间的相对位置。

通过运动导向部件确定运动方向，电磁驱动装置提供驱动力，位置传感器检测运动状态，从而可以使得拍照模组131与骨架121产生在设定范围内的任意空间位置调节，从而基于需求调节拍照模组131与被穿戴的几何定位帽11的相对位置。

在图9和图10所示方式中，第i+1运动导向部件22相对于第i运动导向部件21能够平动，具体的，第i+1运动导向部件22能够沿着第i运动导向部件21中的直线导轨运动，该方式中，电阻丝31沿着第i运动导向部件21中的直线导轨设置，电刷固定在第i+1运动导向部件22上，随第i+1运动导向部件22移动而移动。在图11所示方式中，第i+1运动导向部件22相对于第i运动导向部件21能够转动，电阻丝环绕31固定在第i运动导向部件21的圆柱轴套上，且环绕第i+1运动导向部件22的圆柱轴线，电刷32固定在环绕第i+1运动导向部件22的圆柱轴心上，能够随第i+1运动导向部件22的圆柱轴心转动而转动。

在本申请实施例中，如图1和图2所示，所述图像采集组件13还包括至少一个三维扫描仪132；所述三维扫描仪132用于通过红外激光扫描所述用户的面部三维形状；上述面部图像还包括所述面部三维形状。其中，所述三维扫描仪132设置在所述骨架121上，或设置在所述拍照模组131上。在图1和图2所示方式中，设置具有六个所述三维扫描仪132。图2所示立方体框架为例的骨架121为例，所有三维扫描仪132均固定在立方体框架上。立方体框架用于安装所述调节模组122一侧的矩形框架中，进行图像采集时，用于竖直放置的左侧边框内侧的上下两端分别固定有一个三维扫描仪132，用于竖直放置的右侧边框内侧的上下两端分别固定有一个三维扫描仪132，用于水平放置的两个边框的内侧中间均固定有一个三维扫描仪132。

当具有多个三维扫描仪132时，不局限于将所有三维扫描仪132均固定在骨架121上，可以将部分三维扫描仪132安装固定在骨架121上，将部分三维扫描仪132安装固定在拍照模组131上，或者将所有三维扫描仪132均安装固定在拍照模组131上。可以基于需求将所述三维扫描仪132设置在所述骨架121上或是设置在所述拍照模组131上，本申请实施例对此不做具体限定。

如图12所示，图12为本申请实施例提供的一种三维扫描仪的结构示意图，图12所示三维扫描仪132包括激光发射器1321和激光接收器1322。三维扫描仪通过激光发射器1321发射激光，通过激光接收器1322接收被物体遮挡反射后的激光，由于激光发射器1321发射激光的角度参数和激光接收器1322接收激光的角度参数已知，且激光发射器1321和激光接收器1322相对位置参数已知，基于已知的角度参数以及相对位置参数，能够确定遮挡激光的物体相当于三维扫描仪132的相对位置参数，以实现扫描物体形状的目的。因此，通过所述三维扫描仪，能够扫描用户的面部三维形状，包括眼皮、鼻子和耳朵等面部图像信息。

三维扫描仪132中，激光发射器1321出射激光为红外光，避免进行用户面部图像扫描时激光影响用户的视线。不局限于激光接收器1322接收同一三维扫描仪中激光发射器1321发射的激光，设置多个三维扫描仪132中，一个三维扫描仪132的激光接收器1322可以接收其他三维扫描仪132的激光发射器1321发射的激光，以形成三维点云，以便于准确、快速的采集用户面部的三维图像。

本申请实施例中，用户的眼睛图像包括眼睛的红外光图像和可见光图像。

如图13所示，图13为本申请实施例提供的一种目光指向测量装置拍照模组的结构示意图，所示拍照模组131包括：摄像头支架131a；安装在所述摄像头支架131a上的红外摄像组件131b，所述红外摄像组件131b包括：第一摄像头131b1、第二摄像头131b2以及红外点光源131b3；所述第一摄像头131b1与所述第二摄像头131b2用于采集所述眼睛图像的红外光图像；安装在所述摄像头支架131a上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件131b四周的多个色彩摄像头131c；所述色彩摄像头131c用于采集所述几何定位帽图像、所述面部图像以及所述眼睛图像的可见光图像；至少一个红外照明光源131d。

所述红外照明光源131d安装在所述摄像头支架131a和/或所述红外摄像头组件131b。

其中，所述拍照模组131中各部件为相对固定安装的整体，内部部件相对位置不变。所述红外点光源131b3发射预设波长的红外光线，可以设置所述红外点光源131b3的出光孔为圆形，直径为0.5mm。显然所述红外点光源131b3的出光孔形状以及尺寸可以基于需求设定，不局限于本申请实施例中描述。

本申请实施例中，设置所述色彩摄像头阵列具有16个所述色彩摄像头131c，该16个所述色彩摄像头131c以4×4的阵列排布在红外摄像组件131b的四周。显然所述色彩摄像头131c的数量以及排布方式可以基于需求设定，不局限于图13所示方式。

本申请实施例中，可以设置具有5个红外照明光源131d，4个红外照明光源131d位于红外摄像组件131b四周，固定安装在摄像头支架131a上，另一个红外照明光源131d安装固定在红外摄像组件131b上。显然，红外照明光源131d的数量以及排布方式可以基于需求设定，不局限于图13所示方式。

其中，所述第一摄像头131b1和所述第二摄像头131b2均为红外摄像头，只能接收红外光进行红外成像。所述红外照明光源131d用于出射第一红外检测光线。第一红外检测光线满足照射用户眼睛的虹膜和瞳孔后，反射的光线能够被第一摄像头131b1接收并形成第一图像，并且所述第一图像可以分辨出眼睛的虹膜纹路和瞳孔等特征。

亚洲人的虹膜纹路是褐色的，可以接收大多数的可见光线，而难以反射可见光线。故普通的可见光摄像头难以接收亚洲人虹膜的反光，不能拍摄出清晰的虹膜纹路，在本申请实施例中，所述红外照明光源131d发射出第一红外检测光线，第一红外检测光线不易被亚洲人的虹膜吸收而反光，反射的光线被第一光学摄像头131b1接收，从而拍摄出能够清晰辨别出眼睛虹膜纹路和瞳孔的图像。基于第一图像能够确定所述用户眼睛与第一摄像头131b1的相对位置。

所述第一摄像头131b1基于所述用户的眼球反射的所述第一红外检测光线，形成第一图像，所述第一图像如图14所示，图14为本申请实施例提供的一种第一图像的示意图，所述第一图像包括所述用户的眼球的红外光虹膜信息以及红外光瞳孔信息。基于所述第一图像中所述红外光瞳孔信息，调节所述第一摄像头131b1的光轴相交于眼睛的瞳孔中心。

如图15所示，图15为本申请实施例提供的一种第一摄像头的结构示意图，所示第一摄像头所述第一摄像头131b1中安装有可移动的、用于指示所述第一摄像头131b1位置的可见光点光源T151，以便于用户目光注视第一摄像头131b1。可见光点光源T151可以移动，当其移动到第一摄像头131b1的光轴(图15中虚线所示)上，并发射可见光线，该可见光线能够通过第一摄像头131b1的镜头中心照射到用户眼睛。该可见光点光源离开光轴后，不阻挡光线入射镜头T152，以便于第一摄像头131b1成像。

第一摄像头131b1的镜筒侧壁具有通孔，可见光点光源T151位于镜筒内，可见光点光源T151固定在一连杆T153上。连杆T153通过通孔延伸至镜筒外部，并固定在电磁驱动装置上，通过电磁驱动装置移动可见光点光源T151。也可以通过其他无需在第一摄像头131b1安装所述可见光点光源的方式，指示第一摄像头131b1的位置，本申请实施例不局限于在第一摄像头131b1安装所述可见光点光源的方式。

如图16所示，图16为本申请实施例提供的一种用户瞳孔中心与第一摄像头的镜头中心对位的原理示意图，根据第一图像中红外光瞳孔信息，调节拍照模组131的空间位置，使得第一摄像头131b1转动，以使得第一摄像头131b1的光轴相交于用户瞳孔中心。

以用户左眼为例，首先，如图16中上图所示，根据第一图像中左眼红外光瞳孔信息，确定左眼瞳孔中心在第一图像中的位置，然后，如图16中下图所示，通过旋转第一摄像头131b1的角度，使得第一摄像头131b1再次拍摄第一图像，左眼瞳孔中心处于第一图像正中位置，此时，第一摄像头131b1的光轴相交于用户左眼瞳孔中心，且用户视轴线相交于第一摄像头131b1的镜头中心。基于此，能够确定用户左眼与第一摄像头131b1的相对位置。

第一图像中，瞳孔中心在第一图像的正中心，且用户眼睛直视第一摄像头的镜头中心时，第一摄像头的光轴即为视轴线。以左眼为例，根据第一摄像头拍摄第一图像中左眼的瞳孔特征，确定瞳孔中心在第一图像中的位置，通过绕第一摄像头的镜头焦点旋转第一摄像头，使得第一摄像头的光轴与左眼的视轴线共线，此时第一摄像头再次拍摄左眼，左眼瞳孔中心在第一图像的正中位置，以使得第一摄像头的光轴与左眼的视轴线共线重合，从而可以确定视轴线与拍照模组的相对位置。对应的，在虚拟空间中，拍照模组的三维模型中，第一摄像头的光轴模型与视轴线模型重合。

所述红外点光源131b3用于出射第二红外检测光线。本申请实施例中，所述第二摄像头131b2仅接收所述红外点光源131b3对应波段的第二红外检测光线。所述第二摄像头131b2用于基于所述用户的眼角膜反射的所述第二红外检测光线，形成第二图像，所述第二图像包括所述用户的眼角膜反射所述第二红外光线的高光点；其中，所述眼睛图像的红外光图像包括所述第一图像和所述第二图像。通过所述高光点在所述第二图像中的位置，能够判断用户眼睛到所述第二摄像头131b2的距离，以确定用户眼睛和拍照模组131的相对位置。

如图17所示，图17为本申请实施例提供的一种红外摄像组件的结构示意图，如上述，所示红外摄像组件131b包括：第一摄像头131b1、第二摄像头131b2以及红外点光源131b3。为了准确计算用户眼睛到所述第二摄像头131b2的距离，设置所述第二摄像头131b2与所述红外点光源131b3设置在所述第一摄像头131b1的光轴T171的两侧；所述第二摄像头131b2的镜头焦点与所述红外点光源131b3的连线T172相交于所述第一摄像头131b1的光轴T171，所述连线T172与所述用户的视轴线垂直；所述红外点光源131b3与所述第一摄像头131b1的光轴T172之间的距离等于所述第二摄像头131b2的镜头焦点与所述第一摄像头131b1的光轴之间的距离。

本申请实施例中，第一摄像头131b1、第二摄像头131b2以及色彩摄像头131c拍摄的图像均是无畸变图像，或是通过算法转换为无畸变图像。

如图18和图19所示，图18为本申请实施例提供的一种摄像头拍摄方格图案的场景示意图，图19为本申请实施例中摄像头拍摄图像的示意图。在本申请实例中，任一摄像头拍摄出来的或者转化出来的无畸变图像需要满足：如图18所示，用摄像头拍摄一个由均匀等大小的正方形组成的方格图案的平面T182，且拍摄时，摄像头的光轴T183垂直于所述平面T182；拍摄出来或者处理后得到的图像中每个方格依然是正方形，且所述所有正方形的大小相同。所述图像中的正方形需满足在图像中四条边等长，且垂直于相邻边。如果所拍摄的图像为如图19所示存在畸变的图像，需要通过算法转换为无畸变图像。

本申请实施例中，所述色彩摄像头131c能够接收可见光波段光线，用于拍摄第三图像，所述第三图像包括所述用户的虹膜和巩膜的交界线特征；其中，所述眼睛图像的可见光图像包括所述第三图像。

如图20所示，图20为本申请实施例提供的一种几何定位帽的结构示意图，所示几何定位帽11包括：穿戴部件T201，所述穿戴组件T201用于穿戴在用户的头部；设置在所述穿戴部件T201外侧几何形状标识部件T202；其中，基于所述几何定位帽图像中所述几何形状标识部件T202的图像，确定所述用户的面部与所述拍照模组131的相对位置。几何定位帽11能够穿戴在用户头部，质量轻，能够紧贴用户的头部骨骼，在用户轻微晃动头部的情况下，能够保持与头部的相对固定，不改变二者相对位置。

可以设置所述几何形状标识部件T202包括多个发光颜色不同的可见点光源，所述可见点光源设置在所述穿戴部件T201的外侧四周；基于所述拍照模组采集的至少两个所述几何定位帽图像，确定所述用户的面部与所述拍照模组131的相对位置；每个所述几何定位帽图像都包括多个相同的所述几何形状标识部件T202的图像。

本申请实施例中，设置几何定位帽11具有7个发光颜色不同的可见点光源，作为7个几何形状标识部件T202。设定该7个可见点光源依次为第1可见点光源D1至第7可见点光源D7。该7个可见点光源安装固定在穿戴部件T201不同的位置。可见点光源的个数可以基于需求设定，不局限于为7个。

设定拍照模组131中具有16个色彩摄像头131c，设定该16个色彩摄像头131c依次为第1色彩摄像头至第16色彩摄像头。色彩摄像头131c的个数可以基于需求设定，不局限于为16个。

如图21和图22所示，图21为第1色彩摄像头拍摄的几何定位帽图像，图22为第16色彩摄像头拍摄的几何定位帽图像，采用第1色彩摄像头与第16色彩摄像头同时各自拍摄一几何定位帽图像。设定第1色彩摄像拍摄的几何定位帽图像为第一几何定位帽图像，第16色彩摄像头拍摄的几何定位帽图像为第二几何定位帽图像。可以采用任意两个不同位置、型号相同的色彩摄像头131c拍摄第一几何定位帽图像和第二几何定位帽图像，不局限于第1色彩摄像头与第16色彩摄像头。

第一几何定位帽图像和第二几何定位帽图像中存在几何定位帽11上至少三个相同的可见点光源的图像，例如在第一几何定位帽图像和第二几何定位帽图像中共同有第1可见点光源至第3可见光点光源的图像。

在第1色彩摄像头三维模型中放置三维直角坐标系，称为第1色彩摄像头三维直角坐标系，设定第一色彩摄像头三维直角坐标系三个坐标轴分别称为SX轴、SX轴、SZ轴，其三个坐标轴两两之间的平面分别为SXSZ平面、SY SZ平面、SX SY平面。SZ轴平行并重合于第一色彩摄像头的光轴，SX轴平行于第1色彩摄像头的长方形感光元件的较长的边，第1色彩摄像头三维直角坐标系的原点在第1色彩摄像头的镜头焦点上。

如图23所示，图23为本申请中摄像头光轴的示意图，摄像头光轴(图23中虚线)为摄像头接收光线拍摄图像时，各个角度射进摄像头镜头后形成的图像中，形成图像最中心的像素点的光线，将该光线用直线代表，即摄像头镜头最中心到感光元件最中心的连线。

分别从第一几何定位帽图像中第1可见光点光源的特征信息的中心点、第2可见光点光源的特征信息的中心点、第3可见光点光源的特征信息的中心点在所述第一几何定位帽图像中的位置，判断第1可见光点光源、第2可见光点光源、第3可见光点光源发出并射入第1色彩摄像头镜头的可见光线的角度。通过相同方法，判断第1可见光点光源、第2可见光点光源、第3可见光点光源发出并射入第2色彩摄像头镜头的可见光线的角度。

本申请一种实施例中，第1可见光点光源发射并射入第1色彩摄像头镜头的光线在第1色彩摄像头三维直角坐标系中SX SZ平面的投影与该光线的夹角为11°，该光线在第一色彩摄像头三维直角坐标系中SY SZ平面的投影与该光线的夹角为15°，表示该光线与第1色彩摄像头三维直角坐标系的夹角为(11，15)；第2可见光点光源发射并射入第1色彩摄像头镜头的光线在第1色彩摄像头三维直角坐标系中SX SZ平面的投影与该光线的夹角为12°，该光线在第1色彩摄像头三维直角坐标系中SY SZ平面的投影与该光线的夹角为17°，表示该光线与第1色彩摄像头三维直角坐标系的夹角为(12，17)；第3可见光点光源发射并射入第1色彩摄像头镜头的光线在第1色彩摄像头三维直角坐标系中SX SZ平面的投影与该光线的夹角为15°，该光线在第1色彩摄像头三维直角坐标系中SY SZ平面的投影与该光线的夹角为10°，表示该光线与第1色彩摄像头三维直角坐标系的夹角为(15，10)。

如图24和图25所示，图24为本申请实施例提供的一种拍照模组与几何定位帽的三维模型示意图，图25为本申请实施例提供的一种拍照模组的三维模型与第一几何定位帽图像相对位置示意图。用计算机建立虚拟的三维空间，并建立和真实中形状一样的目光指向测量装置，在目光指向测量装置的拍照模组的三维模型T241中，以第1色彩摄像头三维模型T244的镜头焦点为端点，分别按照与第1色彩摄像头三维直角坐标系的角度(11，15)、(12，17)、(15，10)做三条直线，设定该三条直线分别称为第一直线L1、第二直线L2、第三直线L3，分别用来模拟第1可见光点光源、第2可见光点光源、第3可见光点光源射入第1色彩摄像头镜头的光线。

同样方式，分别用来模拟第1可见光点光源、第2可见光点光源、第3可见光点光源射入第16色彩摄像头镜头的光线，对应入射第16色彩摄像头镜头的三条光线分别为第四直线L4、第五直线L5和第六直线L6。其中，T242表示几何定位帽的三维模型，T243表示第16色彩摄像头的三维模型。

因为第1可见光点光源发出的光线可看作是空间中一个点发出的光线中的两条分别射入第1色彩摄像头和第16色彩摄像头的镜头中心，所以模拟第1可见光点光源发出并射入第1色彩摄像头的光线的第一直线L1相交于模拟第1可见光点光源发出并射入第16色彩摄像头的光线的第四直线，交点模拟了真实的第1可见点光源的位置相对于第1色彩摄像头与第16色彩摄像头的位置。同理，同样可用第1色彩摄像头三维模型与第16色彩摄像头三维模型模拟出第2可见点光源、第3可见点光源的位置，从而判断穿戴有几何定位帽的用户面部相对于第1色彩摄像头、第16色彩摄像头的相对位置，即操用户面部与拍摄模组的相对位置。

如图26所示，图26为本申请实施例提供的一种模组坐标系的示意图，拍照模组131上色彩摄像头阵列具有多个色彩摄像头131c。多个不同位置的色彩摄像头131c同时拍摄用户眼睛可以得到：不同角度下拍摄的用户面部以及眼睛图像。在拍照模组131中放置虚拟的三维直角坐标系，该三维直角坐标系称为模组坐标系，为避免重复将三维直角坐标系的X轴、Y轴、Z轴，模组坐标系三个坐标轴分别称为WX轴、WX轴、WZ轴，其两两坐标轴平面分别为WX WZ平面、WY WZ平面、WX WY平面。

模组坐标系的原点WO在第一摄像头的光轴上，且模组坐标系的WZ轴平行于第一摄像头的光轴。并且满足从模组坐标系原点沿第一摄像头131b1中光轴方向看向第一摄像头131b1，能看见第一摄像头131b1的镜头，即能看见第一摄像头131b1的正面。设置模组坐标系原点WO到第一摄像头131b1的镜头焦点的距离为30cm。且WX WY平面平行于第二摄像头131b2的镜头焦点与红外点光源131b3的连线。需要说明的是，本申请中，所有坐标系均为三维直角坐标系。

拍照模组131中多个色彩摄像头131c呈规律的阵列排布，如设定具有16个色彩摄像头131c，沿第一摄像头131b1中光轴方向看第一摄像头131b1，16个色彩摄像头131c呈4×4阵列排布，依次为第1色彩摄像头至第16色彩摄像头。每个色彩摄像头131c的光轴都相交于原点WO。各个色彩摄像头131c在拍照模组131上固定安装，相对位置不变。

设定模组坐标系中任意一点到原点WO的连线在WY WZ平面上的投影与所述连线的夹角为α，若所述任意一点在所述模组坐标系中的WX轴上坐标值为正值，则所述夹角α为正值，若所述任意一点在WX轴上坐标值为负值，则所述夹角α为负值。设定所述连线在WX WZ平面上的投影与所述连线的夹角为β，若所述任意一点在WY轴上坐标值为正值，则所述夹角β为正值，若所述任意一点在WY轴上坐标值为负值，则所述夹角β为负值。

色彩摄像头阵列中，第1色彩摄像头至第16色彩摄像头的光轴分别与WY WZ平面和WX WZ平面上投影的夹角按照(α、β)的格式来表达，分别为(45°，45°)、(15°，45°)、(-15°，45°)、(-45°，45°)、(45°，15°)、(15°，15°)、(-15°，15°)、(-45°，15°)、(45°，-15°)、(15°，-15°)、(-15°，-15°)、(-45°，-15°)、(45°，-45°)、(15°，-45°)、(-15°，-45°)、(-45°，-45°)。

本申请实施例所述目光指向测量装置中，还包括计算机，所述计算机具有信息处理器，所述信息处理器用于对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置，通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的所述目光指向模型。

所述信息处理器可接收位置传感器测量得到的信号，还能够控制电磁驱动装置、拍照模组、三维扫描仪。所述计算机还具有信息储存介质，用于存储拍照模组、三维扫描仪采集的图像。通过所述信息处理器实现下述实施例所述目光指向模型建立方法。

所述信息处理器用于分别从第一几何定位帽图像中第1可见光点光源的特征信息的中心点、第2可见光点光源的特征信息的中心点、第3可见光点光源的特征信息的中心点在所述第一几何定位帽图像中的位置，判断第1可见光点光源、第2可见光点光源、第3可见光点光源发出并射入第1色彩摄像头镜头的可见光线的角度。所述信息处理器通过相同方法，判断第1可见光点光源、第2可见光点光源、第3可见光点光源发出并射入第16色彩摄像头镜头的可见光线的角度。

以第一几何定位帽图像中第1可见点光源的中心点为例：

首先，通过图像识别算法，按照图像的亮度与颜色确定第一几何定位帽图像中第1可见光点光源的特征信息；然后，确定第一几何定位帽图像中第1可见光点光源的中心点，由于第一几何定位帽中第1可见光点光源对应图像为圆形或是椭圆形，故确定圆形或是椭圆形的中心，即可确定第一可见点光源的中心点在所述第一几何定位帽图像中的确切位置；最后，利用图像点位置对应计算形成光线角度方法，确定第一几何定位帽图像中该中心点对应像素点的光线入射摄像头后，与摄像头的角度。

如图27-图33所示，图27-图33为本申请实施例提供的一种点位置计算形成光线角度的远离示意图，实现方法如下：

首先，如图27所示，高精度的印刷出一个带有平面直角坐标系的纸张，所述纸张上的平面直角坐标系包括：原点、横轴以及纵轴，所述横轴和纵轴上具有刻度。设定在横轴上，坐标原点右侧的刻度中刻度为正值，左侧的刻度中刻度为负值，且离原点越远的刻度值的绝对值越大；在纵轴上，坐标原点上侧的刻度为正值，下侧的刻度为负值，且离原点越远的刻度值的绝对值越大。需要确保每一个最小的刻度单位的长度等同于1cm、或1mm、或0.1mm、或0.01mm、或1um。

然后，如图28所示，无畸变的摄像头拍摄铺平的上述纸张。拍摄前需将摄像头与纸张上的表格完全摆正，使得摄像头的光轴相交于纸张上坐标系的原点，且摄像头的光轴垂直于纸张所在的平面，并使摄像头拍摄出图像的横像素平行与纸张中坐标系的横轴，再将摄像头的镜头焦点和纸张所在的平面距离调整为已知定值。

基于图28设置，通过所述摄像头拍摄该纸张的图像，得到如图29所示的直角坐标系图像，并且直角坐标系图像的形状是矩形。

再如图30所示，在计算机构建的虚拟空间内，还原摄像头拍摄纸张的场景，保证纸张模型T301的尺寸、纸张模型T301上的平面直角坐标系都和真实的纸张一样，并且摄像头模型T302的镜头焦点和光轴与纸张模型T301的相对位置关系和真实摄像头与纸张的相对位置关系相同。在摄像头拍摄纸张得到的直角坐标系图像中，找到矩形的直角坐标系图像的四条边，并读取每一条边所相交于直角坐标系的横轴或者竖轴上的点的横刻度值与竖刻度值。

再如图31所示，在计算机构建的虚拟空间内，以纸张模型T301中的直角坐标系中的横轴与竖轴上对应刻度值的4个点做矩形T303，矩形T303的4条边相交于这4个点。

矩形区域是摄像头视野范围内能够拍摄到的图片上的区域，矩形区域的边界就是摄像头视野的边界，矩形区域有4个端点，分别代表拍摄纸张所得矩形图像上的左上角、右上角、左下角、右下角。分别以矩形区域的4个点为端点，以摄像头的镜头焦点为另外的端点，做4条直线，所述4条直线分别代表拍摄照片时，照片内，左上角、右上角、左下角、右下角对应的图片上的一个点，反射并射入摄像头镜头的光线，所述4条直线围成的四棱锥三维区域就是摄像头的视野范围。

将矩形的直角坐标系图像导入计算机构建的虚拟空间内的摄像头拍摄纸张的场景中，并等比例缩放直角坐标系图像，使得直角坐标系图像的4条边重合于矩形的4条边，并且保证直角坐标系图像与纸张模型的方向一致，即直角坐标系图像中的坐标系横轴平行于纸张模型中的坐标系横轴，且坐标轴箭头方向相同、直角坐标系图像中的坐标系纵轴平行于纸张模型中的坐标系纵轴，且坐轴系箭头方向相同。

由于畸变的摄像头拍摄出的图像是无畸变的，直角坐标系图像中的直角坐标系重合于纸张模型中的坐标系。在计算机构建的虚拟空间内的摄像头拍摄纸张的场景中，在直角坐标系图像中找任意一点并与摄像头焦点用直线连接，将该直线称为直线一，在纸张模型中找与所述任意一点相同的点，并与摄像头三维模型的镜头焦点用直线连接，将该直线称为直线二，直线一与直线二重合，即直线一和与摄像头三维模型的角度与直线二和与摄像头三维模型的角度相同。而直线二模拟了真实空间中纸张上该点反射并射入真实摄像头的光线，直线二与摄像头三维模型的角度，即是真实空间中纸张上该点反射并射入真实摄像头的光线与真实的摄像头的角度。

所以如图32所示，在虚拟空间中，在摄像头三维模型中建立所述矩形，并将摄像头拍摄的图像导入该虚拟空间，并等比例缩放后拟合于矩形后如图33所示，图像上任意一点与摄像头焦点的连线的性质等价于直线一用来判断形成图片中该点的光线射入摄像头镜头时，与摄像头之间的角度关系。

本申请实施例所述目光指向测量装置能够用于建立目光指向模型，所述目光指向模型能够用于实现通过追踪用户眼睛转动，实现对电子设备的自动控制，实现通过眼睛对电子设备的自动控制方案，例如可以在电子设备中存储多个不同的标准目光指向模型，不同的标准目光指向模型对应不同的控制指令，不同的控制指令能够控制电子设备执行不同的功能，当电子设备实时采集的用户眼睛图像所对应的目光指向模型与一标准目光指向模型匹配时，则能过控制电子设备执行所对应的功能。

基于上述目光指向测量装置，本申请另一实施例还提供了一种目光指向模型建立方法，所述种目光指向模型建立方法如图34所示，图34为本申请实施例提供的一种目光指向模型建立方法的示意图，该方法包括：

步骤S11：在用户穿戴所述几何定位帽时，通过所述图像采集组件，采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像。

用户穿戴几何定位帽后，用户正对目光指向测量装置的拍照模组，轻微晃动头部时，几何定位帽与头部保持相对稳定。

步骤S12：对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置。

步骤S13：通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的目光指向模型。

其中，所述目光指向模型包括对应所述相对位置下的视轴线模型、瞳孔中心点模型、虹膜纹路标记线模型、眼睛坐标系模型以及投影虹膜边缘曲线组模型。

所述拍照模组包括：摄像头支架；安装在所述摄像头支架上的红外摄像组件，所述红外摄像组件包括：第一摄像头、第二摄像头以及红外点光源；安装在所述摄像头支架上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件四周的多个色彩摄像头；至少一个红外照明光源。所述拍照模组的具体实现方式可以参考上述实施例描述，在方法实施例不再赘述。

所述目光指向模型建立方法中，采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像的方法如图35所示，图35为本申请实施例提供的一种图像采集方法的流程示意图，该方法包括：

步骤S21：通过所述调节组件调节所述拍照模组的空间位置，以使得用户的视轴线与所述第一摄像头的光轴满足重合条件；

步骤S22：在满足所述重合条件后，改变所述拍照模组与所述用户面部的相对位置，获取不同所述相对位置下的第一测量数据。

其中，所述第一测量数据包括所对应相对位置下的面部图像和眼睛图像，也就是说，不同所述相对位置下采集图像时，所述第一摄像头的光轴均相交于用户的瞳孔中心。

在上述步骤S22中，改变所述拍照模组与所述用户面部的相对位置的方法包括：第一种方式，保持拍照模组的第一摄像头的镜头焦点不动，用户头部转动；第二种方式，保持用户头部不动，控制拍照模组移动，如用户通过遥控器，以驱动调节组件控制拍照模组移动。

如图36所示，图36为本申请实施例提供的一种使得用户的视轴线与所述第一摄像头的光轴满足重合条件的方法示意图，该方法包括：

步骤S31：通过第一摄像头采集用户眼睛的第一图像，所述第一图像包括红外光瞳孔信息。

用户直视第一摄像头，信息处理器向拍照模组发送拍照指令，以控制第一摄像头拍摄眼睛图像，获取第一图像。以拍摄左眼图像为例，第一图像包括左眼瞳孔信息，未经调整下，一般左眼瞳孔的中心点不在第一图像的正中心。

步骤S32：基于所述第一图像，通过所述调节组件调节所述拍照模组的空间位置，以带动所述第一摄像移动，使得所述第一摄像头的光轴与用户的视轴线重合。

通过信息处理器识别第一图像中左眼瞳孔的特征，将第一摄像头以焦点为旋转点，通过调节模组控制第一摄像头的光轴相交左眼的瞳孔中心后，信息处理器再次向第一摄像头传递拍照指令，第一摄像头再次拍左眼的图像，再次拍摄的第一图像中左眼瞳孔中心在第一图像的正中间位置。此时第一摄像头的光轴相交于左眼的瞳孔中心点，并且，用户的视轴线相交于第一摄像头的镜头中心。所以视轴线重合于第一摄像头的光轴，此时视轴线就是第一摄像头的光轴。

调节第一摄像头的光轴和视轴线重合后，改变所述拍照模组与所述用户面部的相对位置，每个相对位置下，通过拍照模组采集几何定位帽图像和面部图像。如上述实施例所述，可以通过两个色彩摄像头同时采集第一几何定位帽图像和第二几何定位帽图像，以确定几何定位帽三维模型与拍照模组的相对位置关系，从而确定用户面部坐标系与拍照模组的相对位置关系。

确定所述用户的面部与所述拍照模组的相对位置的方法包括：

首先：基于所述第一测量数据，确定所述用户的眼睛相对于面部基准的运动规律。

其中，所述面部基准包括几何定位帽位置以及面部三维模型。

然后：根据运动规律以及所述面部基准，构建标准模型。

其中，所述标准模型包括所述拍照模组的多个预设的虚拟位置、所述用户的面部坐标系模型和眼睛中心坐标系模型。所述面部坐标系中三个相互垂直的坐标轴分别为FX轴、FY轴和FZ轴；FZ轴朝向所述拍照模组，FX FY平面与所述拍照模组相对设置。

如图37所示，图37为本申请实施例提供的一种建立面部坐标系方法的原理示意图。可以基于拍摄的几何定位帽图像建立几何定位帽三维模型。图27中“+”表示几何形状标识部件的三维模型，以表征几何定位帽三维模型。在几何定位帽三维模型内放置一三维直角坐标系作为面部坐标系。面部坐标系原点置于几何定位帽三维模型的几何中心位置。FZ轴平行于几何定位帽的前方，即用户佩戴时面部所超前方。用户佩戴几何定位帽时，FXFY平面与所述拍照模组相对设置，且FY轴朝上。

如图38所示，图38为本申请实施例提供一种确定所述用户的眼睛相对于面部基准的运动规律的方法示意图，该方法包括：

步骤S41：基于多组所述第一测量数据，确定一一对应的多个指向模型。

其中，所述拍照模组与所述用户面部不同的相对位置下，均采集一组第一测量数据，进而获取多组第一测量数据。所述指向模型包括视轴线模型、面部坐标系模型以及二者相对关系。

步骤S42：将所有所述指向模型以面部坐标系为基准重合，以获得在用户面部为基准下，眼睛看向不同方向的视轴线模型，所有视轴线模型的交点为用户眼睛的中心模型。

其中，所述用户眼睛的中心模型能够确定所述眼睛中心坐标系模型。所有视轴线模型的交点为眼球的旋转点，与面部坐标系最大的角度是用户眼睛能够转动的最大范围。

本申请实施例中，所述第一测量数据包括所述色彩摄像头阵列拍摄的所述面部图像及所述面部图像对应的几何定位帽图像。

如图39所示，图39为本申请实施例提供的一种确定所述指向模型的方法示意图，该方法包括：

步骤S51：基于所述面部图像所对应的几何定位帽图像，确定用户面部与所述拍照模组的相对位置关系。

步骤S52：基于用户面部与所述拍照模组的相对位置关系，构建视轴线模型与面部坐标系模型，将视轴线模型与面部坐标系模型以及二者相对关系组成所述指向模型。

如图40所示，图40为本申请实施例提供的一种指向模型的示意图，图40中虚线表示视轴线。在计算机构建的虚拟空间中，每组第一测量数据能够对应确定一个视轴线模型以及面部坐标系。故每组第一测量数据均能够基于所对应的视轴线模型、面部坐标系模型以及二者相对关系构建对应的指向模型。

以第一种方式为例，用户头部转动，并在转动头部时，眼睛相对于面部转动，以使得眼睛始终直视第一摄像头的镜头中心，如上述实施例所述，用户可以通过直视第一摄像头中集成的可见点光源，保持视轴线与第一摄像头光轴的相对位置。在头部转动过程中，第一摄像头不断拍摄不同相对位置下用户眼睛图像(包括上述第一图像)。根据第一图像，以第一摄像头的镜头焦点为旋转点，使第一摄像头不断转动，始终保证第一摄像头的光轴相交于用户眼睛的瞳孔中心。

随着头部一直向一个方向转动，在眼睛不能再继续相对于头部转动，且不能再直视第一摄像头的镜头中心之前，用户可以通过遥控器控制拍摄模组中的第一色彩摄像头与第十六色彩摄像头拍摄几何定位帽，获得第一几何定位帽图像和第二几何定位帽图像，以计算出面部与拍摄模组的相对位置关系，最终得到左眼的视轴线与面部坐标系，从而确定一指向模型。

如图41所示，图41为本申请实施例提供的另一种指向模型的示意图，图41中虚线表示视轴线，用户改变头部转动方向，可以确定如图41所示的另一指向模型。用户头部朝不同方向转动，可以得到多个不同的指向模型，如朝N个不同方向转动，基于上述方式可以得到N个指向模型。

如图42所示，图42为本申请实施例提供的一种多个指向模型以面部坐标系为基准重合的原理示意图，图42中虚线表示眼睛看向不同方向的视轴线模型，所有虚线的交点表示眼睛中心模型。

如图43，图43为本申请实施例提供的一种建立左眼中心坐标系的原理示意图，左眼旋转点为左眼中心坐标系的原点，即所有虚线的交点，LZ轴平行于FZ轴，LY轴平行于FY轴。

本申请实施例中，建立左眼中心坐标系，左眼中心坐标系中三个相互垂直的坐标轴分别为LX轴、LY轴和LZ轴；用户左眼的中心(左眼眼球中心)为左眼中心坐标系的原点，LZ轴平行于FZ轴，LY轴平行于FY轴。

构建标准模型的方法包括：

如图44所示，图44为本申请实施例提供的一种标准模型的示意图，可以设置多个虚拟位置组成拍摄模组的虚拟位置阵列。每个所述虚拟位置T443对应所述拍照模组的三维模型。例如，设置35个阵列排布的所述虚拟位置T443。每一个所述虚拟位置T443所对应拍照模组的三维模型中，所述第一摄像头的光轴均相交于左眼中心坐标系T442的原点。如可以设定该35个拍照模组的虚拟位置依次为第1拍照模组虚拟位置至第35拍照模组虚拟位置。以左眼中心坐标系T442为基准，设置虚拟位置T443。

沿左眼中心坐标系中LZ轴看向拍照模组，虚拟位置阵列称5行7列排布。可以设定第一行的第一个(第一行左端)为第1拍照模组虚拟位置，最后一个(第一行右端)为第7拍照模组虚拟位置，设定最后一行的最后一个(最后一行右端)为第35拍照模组虚拟位置。显然，虚拟位置T443数量以及排布方式可以基于需求设定，不局限于本申请实施例所述方式。

设定所述左眼中心坐标系T442中任意一点与原点的连线在LY LZ平面上的投影与所述连线的夹角为γ，若所述任意一点在LX轴的坐标值为正值，则所述夹角γ为正值，若所述任意一点在LX轴的坐标值为负值，则所述夹角γ为负值。所述连线在LX LZ平面上的投影与所述连线的夹角为δ，若所述任意一点在LY轴的坐标值为正值，则所述夹角δ为正值，若所述任意一点在LY轴的坐标值为负值，则所述夹角δ为负值。

则该35个所述虚拟位置中第一摄像头的光轴在所述左眼中心坐标系中的角度坐标(γ，δ)分别为(45°，30°)、(30°，30°)、(15°，30°)、(0°，30°)、(-15°，30°)、(-30°，30°)、(-45°，30°)、(45°，15°)、(30°，15°)、(15°，15°)、(0°，15°)、(-15°，15°)、(-30°，15°)、(-45°，15°)、(45°，0°)、(30°，0°)、(15°，0°)、(0°，0°)、(-15°，0°)、(-30°，0°)、(-45°，0°)、(45°，-15°)、(30°，-15°)、(15°，-15°)、(0°，-15°)、(-15°，-15°)、(-30°，-15°)、(-45°，-15°)、(45°，-30°)、(30°，-30°)、(15°，-30°)、(0°，-30°)、(-15°，-30°)、(-30°，-30°)、(-45°，-30°)，该35个角度坐标分别依次对应第1拍照模组虚拟位置至第35拍照模组虚拟位置。如是角度坐标，便于数据计算，提高模型准确性。

如图45所示，图45为本申请实施例提供的一种确定不同所述相对位置下的目光指向模型的方法示意图，该方法包括：

步骤S61：基于所述标准模型，通过所述调节组件调节所述拍照模组的空间位置，使得其处于与各个所述虚拟位置对应的现实空间位置上，通过拍照模组采集对应各个所述现实空间位置时的面部图像以及眼睛图像；

步骤S62：基于所述面部图像以及所述眼睛图像，确定不同所述现实空间位置所对应的目光指向模型。

在现实空间中，保持用户头部不动，调节拍照模组的空间位置，以使得拍照模组的现实空间位置与虚拟位置一一对应。可以通过信息处理器、电磁驱动装置以及运动传感器共同作用，调节拍照模组，以改变其与穿戴在用户头部的几何定位帽的相对位置，使得现实空间中几何定位帽和拍照模组的相对位置符合：虚拟空间中，以几何定位帽三维模型为基准，拍照模组三维模型的虚拟位置所转换的现实空间位置。此时，通过第一摄像头采集左眼第一图像后，以第一摄像头的交点为旋转点，调节第一摄像头转动，使得其光轴相交于左眼瞳孔中心。

本申请实施例中，所述眼睛图像包括所述色彩摄像头阵列采集的可见光图像以及所述红外摄像组件采集的红外光图像。基于所述可见光图像确定所述投影虹膜边缘曲线组模型。基于所述红外光图像确定所述虹膜纹路标记线模型。

本申请实施例中，调节第一摄像头的光轴与用户瞳孔满足所需关系后，控制第一摄像头再次采集眼睛图像，获得新的第一图像。第二摄像头拍摄红外点光源照射左眼眼角膜区域反射的红外光，能够得到第二图像。

第1色彩摄像头至第16色彩摄像头同时拍摄眼睛区域，获得16个眼睛可见光图像，分别为第1眼睛可见光图像至第16眼睛可见光图像。基于该16个眼睛可见光图像、第一图像和第二图像，能够获得所对应目光指向模型中视轴线模型、虹膜纹路标记线模型、瞳孔中心点模型、眼睛坐标系模型以及投影虹膜边缘曲线组模型。所述目光指向模型还包括所对应显示空间位置上三维扫描仪采集的用户面部三维形状。

现实空间中，保持用户头部位置不动，调节拍照模组空间位置改变，以与标准模型中虚拟位置一一对应，获取所对应的多个目光指向模型，如是获得35个虚拟位置所对应实际空间位置上所对应的35个目光指向模型。

如上述，通过所述第一摄像头采集用户眼睛的第一图像。此时，确定所述虹膜纹路标记线模型的方法如图46所示。

如图46所示，图46为本申请实施例提供的一种确定所述虹膜纹路标记线模型的方法示意图，该方法包括：

步骤S71：根据所述第一图像中图像亮度以及颜色，识别所述第一图像中虹膜纹路。

信息处理器通过预设图像识别算法，以根据所述第一图像中图像亮度以及颜色，识别所述第一图像中虹膜纹路。

步骤S72：通过标记点标记所述虹膜纹路中的特征信息，如图47所示，图47为本申请实施例提供的一种标记虹膜纹理的原理示意图。

步骤S73：根据所述标记点的位置，确定形成所述第一图像，所述标记点对应光线入射所述第一摄像头时，所述光线与第一摄像头坐标系的相对位置关系，基于所述光线构建所述虹膜纹路标记线模型。其中，第一摄像头坐标系可以基于模组坐标系确定。

根据点位置计算形成光线角度方法，计算形成第一图像中标记点对应光线入射第一摄像头时，所述光线与第一摄像头坐标系的相对位置关系。所述光线即为虹膜纹路标记线。进而能够确定虹膜标记线和拍照模组的相对位置关系，如图48所示。

如图48所示，图48为本申请实施例体用的一种确定虹膜标记线和拍照模组的相对位置关系的原理示意图，在虚拟空间中，虹膜标记线和拍照模组的相对位置可以通过拍照模组三维模型中第一摄像头模型T481与第一图像T482确定的虹膜纹路标记线模型T483确定。

本申请实施例中，在用户眼睛直视第一摄像头镜头中心，且第一摄像头光轴相交于眼睛瞳孔中心时，基于红外点光源发射红外光线在瞳孔反射光，第二摄像头形成第二图像，根据第二图像能够确定瞳孔中心与拍照模组相对位置关系。瞳孔中心为用户眼睛的视轴线和眼角膜最外层的交点。

如图49所示，图49为本申请实施例提供的一种眼睛视轴线与瞳孔中心相对位置的示意图，用户的眼睛T493的真实视轴线T491与瞳孔中心点在眼球上的切面T492垂直或者近似为垂直。用户眼睛直视第一摄像头镜头中心，且第一摄像头光轴相交于眼睛瞳孔中心指真实视轴线与第一摄像头光轴重合共线。

红外点光源发射并照射到眼睛瞳孔中心的红外光线被眼睛的瞳孔中心点反射，以相交于瞳孔中心点切面的垂线为法线，即以真实视轴线和第一摄像头的光轴为法线，基于反射定律：1、光反射时，反射光线、入射光线和法线都在同一平面内；2、反射光线和入射光线都在法线的两侧；3、光反射时，反射角等于入射角反射。故第二摄像头的镜头中心与第一摄像头的镜头中心、第一摄像头的光轴、红外点光源都在同一平面上；第二摄像头的镜头中心和红外点光源分别在第一摄像头的光轴两侧，即法线的两侧；第二摄像头的镜头中心与红外点光源的连线垂直于第一摄像头的光轴，并且第二摄像头的镜头中心到第一摄像头的光轴的距离等于红外点光源到第一摄像头的光轴的距离。所以红外点光源发射并照射到眼睛瞳孔中心的红外光线按照光的反射定律反射的红外光线相交于第二摄像头的镜头中心。

如图50所示，图50为本申请实施例提供的一种确定瞳孔中心点和拍照模组相对位置关系的原理示意图，根据第二摄像头拍摄眼睛505的瞳孔中心点反射红外点光源131b3的反射光504，得到的第二图像501，再根据点位置计算形成光线角度方法计算红外点光源被瞳孔中心点的反射光504与第二摄像头坐标系的角度关系，根据角度关系计算该光线照射到瞳孔中心时(即入射光线506)，与视轴线503(即法线)的夹角A(即入射角)，根据入夹角A，以及红外点光源131b3到第二摄像头131b2的距离L计算第一摄像头模型的镜头焦点到瞳孔中心点的距离S。图50中，502为第一摄像头131b1的光轴。距离S计算公式如下：

基于瞳孔中心为眼睛的视轴线和眼睛上的角膜最外层的交点，所以瞳孔中心点一定在视轴线上，因为视轴线与第一摄像头模型的光轴共线，所以瞳孔中心点在第一摄像头模型的光轴线上，且所述瞳孔中心点到第一摄像头模型焦点的距离S已知，所以瞳孔中心点和拍摄模组的相对位置关系可以确定。

基于视轴线、瞳孔中心点、虹膜纹路反射曲面在眼睛模型中放置眼睛坐标系。以左眼为例，左眼的眼睛坐标系中三个相互垂直的坐标轴分别为AX轴、AY轴和AZ轴。在虚拟空间中，确定了视轴线、虹膜纹路标记线、瞳孔中心点和拍照模组模型的相对位置关系后，放置左眼的眼睛坐标系。

沿视轴线从瞳孔中心点到第一摄像头模型焦点的方向为所述左眼的眼睛坐标系AZ轴方向，左眼的眼睛坐标系的原点在视轴线上，且距离瞳孔中心点的距离为设定距离，以AZ轴方向为前方向，则左眼的眼睛坐标系的原点在瞳孔中心点的后方。所述左眼的眼睛坐标系原点距离瞳孔中心点的距离为定值，约等于在人眼球中视轴线方向下，视轴线与眼角膜的交点到虹膜中心的距离。左眼的眼睛坐标系的AX轴相交于虹膜纹路标记线。

如图51所示，图51为本申请实施例提供的一种在眼睛模型中放置眼睛坐标系的原理示意图，所述左眼的眼睛坐标系515用于在模型中确定眼球模型与拍照模组三维模型514的相对位置关系。图51中示出了左眼的眼睛坐标系515的原点511、AZ轴、AX轴和AY轴，还示出了视轴线512和虹膜纹路标记线513。

本申请实施例中，所述投影虹膜边缘曲线组模型包括多条投影虹膜边缘曲线的模型，也就是说，投影虹膜边缘曲线组是由多条投影虹膜边缘曲线组成的。所述投影虹膜边缘曲线由虹膜边缘反射曲面与眼睛坐标系中设定平面的相交线，所述设定平面为眼睛坐标系中AX轴与AY轴所在平面，该平面与拍照模组相对。

如图52所示，图52为本申请实施例提供的一种确定所述投影虹膜边缘曲线组模型的方法示意图，该方法包括：

步骤S81：通过所述色彩摄像头阵列中多个色彩摄像头，获取多个虹膜边缘反射曲线；

步骤S82：将多个所述虹膜边缘反射曲线与所述设定平面相交，获得多个一一对应的虹膜边缘曲线。

所述虹膜边缘反射曲面是模拟拍照模组中的色彩摄像头阵列中的色彩摄像头拍用户眼睛图像的时候，虹膜和巩膜交界线的特征区域反射光射进色彩摄像头后，形成的曲面的形状图像。

如图53所示，图53为本申请实施例中色彩摄像头拍摄图像示意图，在本实例中拍照模组的色彩摄像头阵列中的色彩摄像头共有16个，分别是第1色彩摄像头至第16色彩摄像头，同时拍摄用户眼睛，得到16个眼睛图像，并生成一一对应的虹膜边缘反射曲面，分别是第1虹膜边缘反射曲面至第16虹膜边缘反射曲面。

如图54和图55所示，图54为本申请实施例中左眼的眼睛坐标系与各个虹膜边缘反射曲面的相对关系示意图，图55为本本申请实施例中左眼的眼睛坐标系与投影虹膜边缘曲线相对关系示意图，16个虹膜边缘反射曲面542共同与左眼的眼睛坐标系的AX AY平面541相交，从而得到对应的16个投影虹膜边缘曲线。

本申请实施例中，将任意色彩摄像头拍摄的眼睛图片转化成虹膜边缘反射曲面的方法和得到虹膜标记线的方法类似，都是利用点位置计算形成光线角度方法。

如图56所示，图56为本申请实施例提供的一种目光指向模形的示意图，视轴线566、虹膜纹路标记线564、瞳孔中心点562、眼睛坐标系561、投影虹膜边缘曲线组567、面部坐标系563、与三维扫描仪扫描操作者面部的操作者面部的三维形状568共同组成一目光指向模形。图56还示出了拍照模组565的三维模型。

需要说明的是，本申请实施例中，仅是以左眼拍照为例进行说明，右眼目光指向模型原理相同，本申请实施例不再赘述。

本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

需要说明的是，在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (24)

1.一种目光指向测量装置，其特征在于，所述目光指向测量装置包括：

几何定位帽，所述几何定位帽用于穿戴在用户的头部；

调节组件以及安装在所述调节组件上的图像采集组件；所述图像采集组件至少包括拍照模组；

其中，在用户穿戴所述几何定位帽时，所述图像采集组件用于采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；所述调节组件用于调节所述拍照模组的空间位置；所述几何定位帽图像、所述面部图像以及所述眼睛图像用于确定目光指向模型。

2.根据权利要求1所述的目光指向测量装置，其特征在于，所述调节组件包括：骨架以及设置在所述骨架上的调节模组；

其中，所述拍照模组安装在所述调节模组上，所述调节模组用于调节所述拍照模组的空间位置。

3.根据权利要求2所述的目光指向测量装置，其特征在于，所述调节模组包括：N个运动导向部件，该N个所述运动导向部件依次为第1运动导向部件至第N运动导向部件，N为大于2的正整数；

第1运动导向部件固定在所述骨架上，第i+1运动导向部件可移动的安装在第i运动导向部件上，i为不大于N-1的正整数；

其中，所述拍照模组安装在第N运动导向部件上。

4.根据权利要求3所述的目光指向测量装置，其特征在于，第i+1运动导向部件相对于第i运动导向装置能够平动或转动；

当第i+1运动导向部件相对于第i运动导向部件能够平动时，该两个运动导向部件之间通过第一电磁驱动装置进行平动控制，该两个运动导向部件中，一个运动导向部件固定有磁铁，另一个运动导向部件固定有线圈；所述第一电磁驱动装置包括所述磁铁以及所述线圈，所述第一电磁驱动装置用于在所述线圈充电时，基于所述磁铁与所述线圈之间的电磁力使得该两个运动导向部件相对移动；

当第i+1运动导向部件相对于第i运动导向部件能够转动时，该两个运动导向部件之间通过第二电磁驱动装置进行转动控制，所述第二电磁驱动装置包括电机。

5.根据权利要求3所述的目光指向测量装置，其特征在于，所述调节模组还包括：位置传感器，所述位置传感器用于检测运动导向部件之间的相对位置。

6.根据权利要求2所述的目光指向测量装置，其特征在于，所述图像采集组件还包括至少一个三维扫描仪；所述三维扫描仪用于通过红外激光扫描所述用户的面部三维形状；

其中，所述三维扫描仪设置在所述骨架上，或设置在所述拍照模组上。

7.根据权利要求1所述的目光指向测量装置，其特征在于，所述拍照模组包括：

摄像头支架；

安装在所述摄像头支架上的红外摄像组件，所述红外摄像组件包括：第一摄像头、第二摄像头以及红外点光源；所述第一摄像头与所述第二摄像头用于采集所述眼睛图像的红外光图像；

安装在所述摄像头支架上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件四周的多个色彩摄像头；所述色彩摄像头用于采集所述几何定位帽图像、所述面部图像以及所述眼睛图像的可见光图像；

至少一个红外照明光源，所述红外照明光源安装在所述摄像头支架和/或所述红外摄像头组件。

8.根据权利要求7所述的目光指向测量装置，其特征在于，所述红外照明光源用于出射第一红外检测光线；所述第一摄像头基于所述用户的眼球反射的所述第一红外检测光线，形成第一图像，所述第一图像包括所述用户的眼球的红外光虹膜信息以及红外光瞳孔信息；基于所述第一图像中所述红外光瞳孔信息，调节所述第一摄像头的光轴相交于眼睛的瞳孔中心；所述红外点光源用于出射第二红外检测光线；所述第二摄像头用于基于所述用户的眼角膜反射的所述第二红外检测光线，形成第二图像，所述第二图像包括所述用户的眼角膜反射所述第二红外光线的高光点；

其中，所述眼睛图像的红外光图像包括所述第一图像和所述第二图像。

9.根据权利要求7所述的目光指向测量装置，其特征在于，所述第二摄像头与所述红外点光源设置在所述第一摄像头的光轴的两侧；所述第二摄像头的镜头焦点与所述红外点光源的连线相交于所述第一摄像头的光轴，所述连线与所述用户的视轴线垂直；所述红外点光源与所述第一摄像头的光轴之间的距离等于所述第二摄像头的镜头焦点与所述第一摄像头的光轴之间的距离。

10.根据权利要求7所述的目光指向测量装置，其特征在于，所述色彩摄像头能够接收可见光波段光线，用于拍摄第三图像，所述第三图像包括所述用户的虹膜和巩膜的交界线特征；

其中，所述眼睛图像的可见光图像包括所述第三图像。

11.根据权利要求1所述的目光指向测量装置，其特征在于，所述几何定位帽包括：

穿戴部件，所述穿戴组件用于穿戴在用户的头部；

设置在所述穿戴部件外侧几何形状标识部件；

其中，基于所述几何定位帽图像中所述几何形状标识部件的图像，确定所述用户的面部与所述拍照模组的相对位置。

12.根据权利要求11所述的目光指向测量装置，其特征在于，所述几何形状标识部件包括多个发光颜色不同的可见点光源，所述可见点光源设置在所述穿戴部件的外侧四周；

基于所述拍照模组采集的至少两个几何定位帽图像，确定所述用户的面部与所述拍照模组的相对位置；每个所述几何定位帽图像都包括多个相同的所述几何形状标识部件的图像。

13.根据权利要求1-12任一项所述的目光指向测量装置，其特征在于，还包括计算机，所述计算机具有信息处理器，所述信息处理器用于对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置，通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的所述目光指向模型。

14.一种目光指向模型建立方法，其特征在于，基于权利要求1所述的目光指向测量装置，所述方法包括：

在用户穿戴所述几何定位帽时，通过所述图像采集组件，采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像；

对所述几何定位帽图像、所述面部图像以及所述眼睛图像进行图像数据分析，基于图像数据分析结果，确定所述用户的面部与所述拍照模组的相对位置；

通过所述调节组件调节所述拍照模组的空间位置，以调节所述相对位置，获取不同所述相对位置下对应的所述几何定位帽图像、所述面部图像以及所述眼睛图像，以确定不同所述相对位置下的目光指向模型；

其中，所述目光指向模型包括对应所述相对位置下的视轴线模型、瞳孔中心点模型、虹膜纹路标记线模型、眼睛坐标系模型以及投影虹膜边缘曲线组模型。

15.根据权利要求14所述的目光指向模型建立方法，其特征在于，所述拍照模组包括：摄像头支架；安装在所述摄像头支架上的红外摄像组件，所述红外摄像组件包括：第一摄像头、第二摄像头以及红外点光源；安装在所述摄像头支架上的色彩摄像头阵列，所述色彩摄像头阵列包括位于所述红外摄像组件四周的多个色彩摄像头；至少一个红外照明光源；

采集几何定位帽图像、所述用户的面部图像以及所述用户的眼睛图像的方法包括：

通过所述调节组件调节所述拍照模组的空间位置，以使得用户的视轴线与所述第一摄像头的光轴满足重合条件；

在满足所述重合条件后，改变所述拍照模组与所述用户面部的相对位置，获取不同所述相对位置下的第一测量数据，所述第一测量数据包括对应所述相对位置下的面部图像和眼睛图像；不同所述相对位置下采集图像时，所述第一摄像头的光轴均相交于用户的瞳孔中心。

16.根据权利要求15所述的目光指向模型建立方法，其特征在于，使得用户的视轴线与所述第一摄像头的光轴满足重合条件的方法包括：

通过第一摄像头采集用户眼睛的第一图像，所述第一图像包括红外光瞳孔信息；

基于所述第一图像，通过所述调节组件调节所述拍照模组的空间位置，以带动所述第一摄像移动，使得所述第一摄像头的光轴与用户的视轴线重合。

17.根据权利要求15所述的目光指向模型建立方法，其特征在于，确定所述用户的面部与所述拍照模组的相对位置的方法包括：

基于所述第一测量数据，确定所述用户的眼睛相对于面部基准的运动规律，所述面部基准包括几何定位帽位置以及面部三维模型；

根据运动规律以及所述面部基准，构建标准模型，所述标准模型包括所述拍照模组的多个预设的虚拟位置、所述用户的面部坐标系模型和眼睛中心坐标系模型；

其中，所述面部坐标系中三个相互垂直的坐标轴分别为FX轴、FY轴和FZ轴；FZ轴朝向所述拍照模组，FX FY平面与所述拍照模组相对设置。

18.根据权利要求17所述的目光指向模型建立方法，其特征在于，确定所述用户的眼睛相对于面部基准的运动规律的方法包括：

基于多组所述第一测量数据，确定一一对应的多个指向模型；所述指向模型包括视轴线模型、面部坐标系模型以及二者相对关系；

将所有所述指向模型以面部坐标系为基准重合，以获得在用户面部为基准下，眼睛看向不同方向的视轴线模型，所有视轴线模型的交点为用户眼睛的中心模型；其中，所述用户眼睛的中心模型能够确定所述眼睛中心坐标系模型。

19.根据权利要求18所述的目光指向模型建立方法，其特征在于，所述第一测量数据包括所述色彩摄像头阵列拍摄的所述面部图像及所述面部图像对应的几何定位帽图像；

确定所述指向模型的方法包括：

基于所述面部图像所对应的几何定位帽图像，确定用户面部与所述拍照模组的相对位置关系；

基于用户面部与所述拍照模组的相对位置关系，构建视轴线模型与面部坐标系模型，将视轴线模型与面部坐标系模型以及二者相对关系组成所述指向模型。

20.根据权利要求17所述的目光指向模型建立方法，其特征在于，建立左眼中心坐标系，左眼中心坐标系中三个相互垂直的坐标轴分别为LX轴、LY轴和LZ轴；用户左眼的中心为左眼中心坐标系的原点，LZ轴平行于FZ轴，LY轴平行于FY轴；

构建标准模型的方法包括：

设置35个阵列排布的所述虚拟位置；每个所述虚拟位置对应所述拍照模组的三维模型；每一个所述虚拟位置所对应拍照模组的三维模型中，所述第一摄像头的光轴均相交于左眼中心坐标系的原点；

设定所述左眼中心坐标系中任意一点与原点的连线在LY LZ平面上的投影与所述连线的夹角为γ，所述连线在LXLZ平面上的投影与所述连线的夹角为δ，则该35个所述虚拟位置中第一摄像头的光轴在所述左眼中心坐标系中的角度坐标(γ，δ)分别为(45°，30°)、(30°，30°)、(15°，30°)、(0°，30°)、(-15°，30°)、(-30°，30°)、(-45°，30°)、(45°，15°)、(30°，15°)、(15°，15°)、(0°，15°)、(-15°，15°)、(-30°，15°)、(-45°，15°)、(45°，0°)、(30°，0°)、(15°，0°)、(0°，0°)、(-15°，0°)、(-30°，0°)、(-45°，0°)、(45°，-15°)、(30°，-15°)、(15°，-15°)、(0°，-15°)、(-15°，-15°)、(-30°，-15°)、(-45°，-15°)、(45°，-30°)、(30°，-30°)、(15°，-30°)、(0°，-30°)、(-15°，-30°)、(-30°，-30°)、(-45°，-30°)。

21.根据权利要求17所述的目光指向模型建立方法，其特征在于，确定不同所述相对位置下的目光指向模型的方法包括：

基于所述标准模型，通过所述调节组件调节所述拍照模组的空间位置，使得其处于与各个所述虚拟位置对应的现实空间位置上，通过拍照模组采集对应各个所述现实空间位置时的面部图像以及眼睛图像；

基于所述面部图像以及所述眼睛图像，确定不同所述现实空间位置所对应的目光指向模型。

22.根据权利要求21所述的目光指向模型建立方法，其特征在于，所述眼睛图像包括所述色彩摄像头阵列采集的可见光图像以及所述红外摄像组件采集的红外光图像；

基于所述可见光图像确定所述投影虹膜边缘曲线组模型；

基于所述红外光图像确定所述虹膜纹路标记线模型。

23.根据权利要求22所述的目光指向模型建立方法，其特征在于，所述投影虹膜边缘曲线组模型包括多条投影虹膜边缘曲线的模型，所述投影虹膜边缘曲线由虹膜边缘反射曲面与眼睛坐标系中设定平面的相交线，所述设定平面为眼睛坐标系中AX轴与AY轴所在平面，该平面与拍照模组相对；

确定所述投影虹膜边缘曲线组模型的方法包括：

通过所述色彩摄像头阵列中多个色彩摄像头，获取多个虹膜边缘反射曲线；

将多个所述虹膜边缘反射曲线与所述设定平面相交，获得多个一一对应的虹膜边缘曲线。

24.根据权利要求22所述的目光指向模型建立方法，其特征在于，通过所述第一摄像头采集用户眼睛的第一图像；

确定所述虹膜纹路标记线模型的方法包括：

根据所述第一图像中图像亮度以及颜色，识别所述第一图像中虹膜纹路；

通过标记点标记所述虹膜纹路中的特征信息；

根据所述标记点的位置，确定形成所述第一图像，所述标记点对应光线入射所述第一摄像头时，所述光线与第一摄像头坐标系的相对位置关系，基于所述光线构建所述虹膜纹路标记线模型。

Images