CN110658918B - 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 - Google Patents

Abstract

本申请公开了一种用于视频眼镜的眼球追踪相机的定位方法、设备及介质。该用于视频眼镜的眼球追踪相机的定位方法，视频眼镜包括依次设置的显示屏、透镜、追踪相机，方法包括：获取定位配置信息；根据定位配置信息，经几何算法，确定追踪相机的定位信息，定位信息包括限定人眼与追踪相机之间距离的距离限定信息、以及追踪相机的拍摄角度信息；根据定位信息，确定追踪相机在定位线上的位置，定位线为经过透镜的边缘且垂直于显示屏所在平面的直线；其中，人眼位于透镜背离显示屏的一侧，追踪相机位于人眼与透镜之间。

Description

用于视频眼镜的眼球追踪相机的定位方法、设备及介质

技术领域

本公开一般涉及视频显示技术领域，尤其涉及用于视频眼镜的眼球追踪相机的定位方法、设备及介质。

背景技术

在视频眼镜(video glasses)领域，例如在VR眼镜中，为了随着眼睛的转动锁定目标，加入了眼球追踪的功能。眼部图像的获取是眼球追踪中重要的环节，眼部图像获取质量的好坏直接影响到最终的追踪效果，若用于捕捉眼部运动的追踪相机距离人眼过远，获取的人眼在图像中的占比过小，造成识别困难和识别精度过低；若用于捕捉眼部运动的追踪相机距离人眼过近，获取的人眼在图像中的占比过大，在人眼与VR已经之间发生较小位移的时候，人眼可能会超出追踪相机的拍摄范围，造成人眼拍摄不完整或拍摄不到人眼，从而影响后续的眼球追踪。因此，如何准确确定追踪相机的位置，是视频眼镜发展中亟须解决的问题。目前视频眼镜领域，用于追踪相机的定位大多是通过多次模拟测试的方法，该方法费事费力，效率低下。

发明内容

鉴于现有技术中的上述缺陷或不足，提供一种用于视频眼镜的眼球追踪相机的定位方法、设备及介质，用以解决现有的视频眼镜中追踪相机的定位依靠模拟测试的费时费力和效率低下的问题。

第一方面，提供一种用于视频眼镜的眼球追踪相机的定位方法，视频眼镜包括依次设置的显示屏、透镜、追踪相机，方法包括：

获取定位配置信息；

根据定位配置信息，经几何算法，确定追踪相机的定位信息，定位信息包括限定人眼与追踪相机之间距离的距离限定信息、以及追踪相机的拍摄角度信息；

根据定位信息，确定追踪相机在定位线上的位置，定位线为经过透镜的边缘且垂直于显示屏所在平面的直线；

其中，人眼位于透镜背离显示屏的一侧，追踪相机位于人眼与透镜之间。

较佳地，根据定位配置信息，经几何算法，确定追踪相机的定位信息包括：

定位配置信息包括人眼信息、追踪相机所采集的图像中人眼图像所占比例信息、以及追踪相机参数；

根据定位配置信息，计算距离限定信息的范围，其计算公式如下：

其中，v₂为人眼的长度，γ₂为人眼长度与人眼高度的比值，γ₃为追踪相机所采集的图像中人眼图像所占比例范围，FOV为追踪相机的视场角。

较佳地，根据定位配置信息，经几何算法，确定追踪相机的定位信息包括：

追踪相机所采集的图像中人眼图像所占比例范围为：[1/3，2/3]。

较佳地，根据定位配置信息，经几何算法，确定追踪相机的定位信息包括：

在距离限定范围中，将追踪相机所采集的图像中人眼图像所占比例为1/2时计算获得的d值作为距离限定信息的取值。

较佳地，根据定位信息，确定追踪相机在定位线上的位置包括：

在定位线上，以人眼为一端点确定追踪相机与人眼的距离满足距离限定信息的取值的另一端点，作为追踪相机所在位置；

将定位线与连接线所形成的夹角作为追踪相机的拍摄角度，连接线是追踪相机与人眼的连接线。

较佳地，根据定位信息，确定追踪相机在定位线上的位置还包括：

判断拍摄角度信息是否属于拍摄角度信息的范围；

当拍摄角度信息不属于计算获得的拍摄角度信息的范围时，在拍摄角度信息的范围中将最接近拍摄角度的取值作为二次确定的追踪相机的拍摄角度信息，并调整追踪相机的位置；

调整后的追踪相机与人眼的距离应满足距离限定信息的范围。

较佳地，根据定位配置信息，经几何算法，确定追踪相机的定位信息包括：

根据距离限定信息的范围、追踪相机与人眼平面的距离，确定拍摄角度信息的范围，人眼平面经过人眼并与显示器所在平面平行。

第二方面、提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行本申请各实施例所提供的眼球追踪相机的定位方法。

第三方面，提供一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现本申请各实施例所提供的眼球追踪相机的定位方法。

根据本申请实施例提供的技术方案，根据定位配置信息确定追踪相机定位信息的电子化方式，能够解决传统的模拟测试方式带来的繁琐的测试问题，获得提交效率并省时省力的效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的视频眼镜的示例性结构框图；

图2示出了根据本申请实施例的用于视频眼镜的眼球追踪相机的定位方法的示例性流程图；

图3示出了追踪相机所获取的图像的示例性示意图；

图4示出了图2中确定距离限定信息的示例性示意图；

图5示出了图2中确定拍摄角度信息的示例性示意图；

图6示出了根据本申请实施例的视频眼镜的示例性结示意图；

图7示出了根据本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，给出一种视频眼镜的结构图，视频眼镜包括依次设置的显示屏10、透镜20、追踪相机30，其中追踪相机30用于捕捉眼球图像，基于眼球图像识别人眼关注的区域或选择目标。

基于上述视频眼镜的结构，本申请公开一种用于视频眼镜的眼球追踪相机的定位方法，如图2所示方法包括：

步骤S10：获取定位配置信息；

步骤S20：根据定位配置信息，经几何算法，确定追踪相机的定位信息，定位信息包括限定人眼40与追踪相机30之间距离的距离限定信息、以及追踪相机30的拍摄角度信息；

步骤S30：根据定位信息，确定追踪相机30在定位线31上的位置，定位线31为经过透镜30的边缘且垂直于显示器10所在平面的直线；

其中，人眼40位于透镜20背离显示屏10的一侧，追踪相机30位于人眼40与透镜20之间。

为了不影响视频眼镜的显示效果，将追踪相机30设置于经过透镜的边缘且垂直于显示屏所在平面的直线即定位线31上。确定追踪相机之间距离的距离限定信息、以及追踪相机的拍摄角度信息，就能够确定追踪相机30在定位线31上的位置。避免了通过一一分析追踪相机在不同的位置时实际拍摄的图像来确定追踪相机相对较佳的拍摄位置。

较佳地，根据定位配置信息，经几何算法，确定追踪相机的定位信息包括：

定位配置信息包括人眼信息、追踪相机所采集的图像中人眼图像所占比例信息、以及追踪相机参数；

根据定位配置信息，计算距离限定信息的范围，其计算公式如下：

其中，v₂为人眼的长度，γ₂为人眼长度与人眼高度的比值，γ₃为追踪相机所采集的图像中人眼图像所占比例范围，FOV为追踪相机的视场角。

该部分将结合图3至图5进行说明。

如图3所示，追踪相机拍摄的图像中包括人眼图像。为了不出现人眼图像过小或过大的问题，建议将人眼在追踪相机所拍摄的图像中所占比例在1/3和2/3之间。人眼在图像中所占比例小于1/3时，造成眼睛的识别困难和降低识别精度，人眼在图像中所占比例大于2/3时，人眼发生小范围移动时，会出现人眼超出追踪相机的拍摄范围的情况。

为了说明的便利，定义追踪相机所拍摄的图像的长度为h1、高度为v1，图像中眼睛的长度为h2、高度为v2。此时，如图4所示，人眼观与相机的距离d与追踪相机的视场角FOV之间存在如下关系：

其中，d₁为1/2图像对角线长度，角度α为1/2视场角FOV角度。如图5所示，人眼观与相机的距离d与眼睛框大小之间存在如下关系：

其中，d₂为图像中眼睛框的对角线的一半，该眼睛框为能够包括完整眼睛图像的最小矩形。通过公式1和公式2推导出如下关系：

再利用公式1至公式3推导出如下公式：

其中，v₂为人眼的长度，γ₂为人眼长度h2与人眼高度v2的比值，γ₃为追踪相机所采集的图像中人眼图像所占比例范围，可用表示。

需要说明的是，γ₃在区间变化，因此对应计算获得的d值也是取值范围。γ₂可以取值为2，该值为通过采集不同人眼数据获得的平均值。变化，因此对应计算获得的d值也是取值范围。

在距离限定范围中，将追踪相机所采集的图像中人眼图像所占比例为1/2时计算获得的d值作为距离限定信息的取值。需要说明的是，追踪相机所采集的图像中人眼图像所占比例为1/2只是建议的较佳值，其具体取值可以根据应用场景来具体设定。

在一些实施例中，根据定位信息，确定追踪相机在定位线上的位置包括：

如图6所示，在定位线31上，以人眼A点为一端点确定追踪相机与人眼的距离满足距离限定信息的取值的另一端点，作为追踪相机所在位置O点；

将定位线31与连接线32所形成的夹角θ作为追踪相机的拍摄角度，连接线32是追踪相机O点与人眼A点的连接线。

具体地，以追踪相机所采集的图像中人眼图像所占比例为1/2时的d值为例，在定位线31上，以人眼A点为一端，找到述追踪相机与人眼的距离符合该d值的另一端点，即可作为追踪相机的位置。可以理解的是，图6所表示的例子中，追踪相机的拍摄角度还可以是追踪相机与水平面的夹角，也就是定位线31是连接线32在水平面上的投影。

进一步，根据定位信息，确定追踪相机在定位线上的位置还包括：

判断拍摄角度信息是否属于拍摄角度信息的范围；

当拍摄角度信息不属于拍摄角度范围时，在拍摄范围中将最接近拍摄角度的取值作为二次确定的追踪相机的拍摄角度信息，并调整追踪相机的位置；

调整后，追踪相机与人眼的距离应满足距离限定信息的范围。

当采用上述d值来确定追踪相机的位置后，会存在所确定的拍摄角度不在计算获得的拍摄角度信息的范围的情况。如果拍摄角度过小或过大，将会造成所拍摄的眼睛的位置偏离图像中心很多，或者不能完整拍摄到眼睛。此时，可在在拍摄角度信息的范围中将最接近拍摄角度的取值作为二次确定的追踪相机的拍摄角度信息，进行调整。此时，为了防止二次确定的追踪相机的位置不符合计算获得的距离限定信息的范围的情况的出现。进一步，确定二次确定的追踪相机的位置与人眼的距离是否满足距离限定信息的范围。

在一些实施例中，根据距离限定信息的范围、追踪相机与人眼平面的距离，确定拍摄角度信息的范围，人眼平面经过人眼并与显示器所在平面平行。

如图6所示，直角三角形AOB中，拍摄角θ可表示为：

其中，d1为追踪相机与人脸平面41之间的距离，d值为范围值，因此，此处获得的θ也是一个取值范围。

通过上述根据定位配置信息，经几何算法，确定追踪相机的定位信息的方法，省去了现有方式中的繁杂的人工测试环节，通过电子化的方式解决了追踪相机的定位问题。

本申请还公开一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行本申请各实施例所提供的眼球追踪相机的定位方法。

具体地，图7示出了根据本申请实施例提供的一种电子设备的结构示意图，本申请的用于视频眼镜的眼球追踪相机的定位方法可利用如下的电子设备来实现。

如图7所示，作为另一方面，本申请还提供了一种电子设备400，包括一个或多个中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考图2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行眼球追踪相机的定位方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的眼球追踪相机的定位方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种用于视频眼镜的眼球追踪相机的定位方法，所述视频眼镜包括依次设置的显示屏、透镜、追踪相机，其特征在于，所述方法包括：

获取定位配置信息；

根据所述定位配置信息，经几何算法，确定所述追踪相机的定位信息，包括：所述定位配置信息包括人眼信息、所述追踪相机所采集的图像中人眼图像所占比例信息、以及追踪相机参数；

根据所述定位配置信息，计算距离限定信息的范围，其计算公式如下：

其中，v₂为人眼的长度，γ₂为人眼长度与人眼高度的比值，γ₃为追踪相机所采集的图像中人眼图像所占比例范围，FOV为追踪相机的视场角，所述定位信息包括限定人眼与所述追踪相机之间距离的距离限定信息、以及所述追踪相机的拍摄角度信息；

根据所述定位信息，确定所述追踪相机在定位线上的位置，所述定位线为经过所述透镜的边缘且垂直于所述显示屏所在平面的直线；

其中，人眼位于所述透镜背离所述显示屏的一侧，所述追踪相机位于人眼与所述透镜之间。

2.根据权利要求1所述的用于视频眼镜的眼球追踪相机的定位方法，其特征在于，所述根据所述定位配置信息，经几何算法，确定所述追踪相机的定位信息包括：

所述追踪相机所采集的图像中人眼图像所占比例范围为：[1/3，2/3]。

3.根据权利要求1所述的用于视频眼镜的眼球追踪相机的定位方法，其特征在于，所述根据所述定位配置信息，经几何算法，确定所述追踪相机的定位信息包括：

在所述距离限定范围中，将所述追踪相机所采集的图像中人眼图像所占比例为1/2时计算获得的d值作为所述距离限定信息的取值。

4.根据权利要求3所述的用于视频眼镜的眼球追踪相机的定位方法，其特征在于，根据所述定位信息，确定所述追踪相机在定位线上的位置包括：

在所述定位线上，以人眼为一端点确定所述追踪相机与人眼的距离满足所述距离限定信息的取值的另一端点，作为所述追踪相机所在位置；

将所述定位线与连接线所形成的夹角作为所述追踪相机的拍摄角度，所述连接线是所述追踪相机与人眼的连接线。

5.根据权利要求4所述的用于视频眼镜的眼球追踪相机的定位方法，其特征在于，根据所述定位信息，确定所述追踪相机在定位线上的位置还包括：

判断所述拍摄角度信息是否属于所述拍摄角度信息的范围；

当所述拍摄角度信息不属于计算获得的所述拍摄角度信息的范围时，在所述拍摄角度信息的范围中将最接近所述拍摄角度的取值作为二次确定的追踪相机的拍摄角度信息，并调整所述追踪相机的位置；

调整后的追踪相机与人眼的距离应满足所述距离限定信息的范围。

6.根据权利要求1所述的用于视频眼镜的眼球追踪相机的定位方法，其特征在于，所述根据所述定位配置信息，经几何算法，确定所述追踪相机的定位信息包括：

根据所述距离限定信息的范围、追踪相机与人眼平面的距离，确定拍摄角度信息的范围，所述人眼平面经过人眼并与所述显示屏所在平面平行。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-6中任一项所述眼球追踪相机的定位方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述眼球追踪相机的定位方法。