CN105205438A - 一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统 - Google Patents

Abstract

本发明是一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统，涉及眼球追踪领域。该方法：基于红外眼球追踪方法获得用户视点是否落在目标屏幕上，如果用户视点落在所述目标屏幕上，则基于红外眼球追踪方法，计算得到用户眼睛与所述目标屏幕的距离，根据所述距离判断是否给出相应提示。本发明利用红外眼球追踪，控制用户眼睛与目标屏幕的距离，又结合用户眨眼频率判断用户的眼睛是否疲劳，以更好的达到预防近视眼的效果。

Description

一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统

技术领域

本发明涉及眼球追踪领域，尤其涉及一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统。

背景技术

目前，检测用户与电子设备屏幕之间距离的方法是基于普通摄像头，再采用人脸检测的方法，进行瞳孔定位和瞳距计算，最后通过利用瞳距与系统预设的参考瞳距之间的关系实现对用户眼睛与电子设备屏幕之间距离的控制。

现有检测用户与电子设备屏幕之间距离的方法主要存在以下缺点：现有方法无法判断用户眼睛是否在看屏幕；无法精准检测出眼睛和显示屏的距离；无法辨别在显示屏面前的用户是成人还是孩子。因为现有方法仅仅能设定一条检测标准，而对于不同的用户来说，现有方法对于用户的使用来说具有局限性。

发明内容

本发明的目的在于提供一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明的利用红外眼球追踪控制眼睛与屏幕距离的方法，采用的技术方案如下：基于红外眼球追踪方法获得用户视点是否落在目标屏幕上，如果所述用户视点落在所述目标屏幕上，则再基于红外眼球追踪方法，计算得到用户眼睛与所述目标屏幕的距离，根据所述距离判断是否给出相应提示。

优选地，所述用户眼睛与所述目标屏幕的距离的计算方法为：精确计算方法或近似计算方法。

更优选地，所述精确计算方法，具体为：利用红外眼球追踪方法，建立眼睛三维空间模型，精确计算用户眼睛与目标屏幕的距离。

更优选地，所述近似计算方法，具体为：

将计算得到的用户眼睛瞳距与预设的参考瞳距比较，若计算得到的用户眼睛瞳距大于所述参考瞳距并超过一定值，则提示用户增加眼睛与目标屏幕之间的距离；其中，所述参考瞳距依据用户眼睛与所述目标屏幕之间的参考使用距离而设定；

或通过不可见光源照射用户眼球，在用户的两个眼球上各形成一个反射光斑，将计算得到的2个光斑距离与预设的参考2个光斑距离进行比较，若计算得到的2个光斑距离大于参考2个光斑距离并超过一定值，则提示用户增加眼睛与目标屏幕之间的距离；其中，所述参考2个光斑距离依据用户与所述目标屏幕之间的参考使用距离而设定确定。

优选地，利用红外眼球追踪控制眼睛与屏幕距离的方法，具体步骤包括：

S1、基于红外眼球视线追踪方法，判断用户视点是否落在目标屏幕上，如果落在目标屏幕上，则进入S2，如果不落在目标屏幕上，则继续判断或结束；

S2、经计算，获得用户眼睛与所述目标屏幕的距离，将所述距离与预设值进行比较，如果所述距离小于预设值，则进入S3；如果所述距离大于等于预设值，则进入S4；

S3、向用户发出请注意眼睛与屏幕距离的提示；

S4、不向用户发出提示。

更优选地，步骤S3或步骤S4之后，还存在如下步骤：

S5、获取用户的眨眼次数和眨眼频率，判断眨眼频率是否在门限值TH内，如果不在门限值TH内，确认眼睛处于疲劳状态，则进入S6；如果在门限值TH内，确认眼睛处于正常状态，不发出提示；

S6、向用户发出眼睛疲劳的提示。

更优选地，步骤S2中，具体操作为：

S2-1、对用户的人脸图像进行检测，获得用户人脸图像信息；

S2-2、将获得的用户人脸图像信息，与预先设定的人脸图像数据进行比较，确定用户是成人或儿童；

S2-3、根据用户是成人或儿童，选择与其相对应的预设值，然后将用户眼睛与所述目标屏幕的距离与所述相对应的预设值进行比较；如果所述距离小于所述相对应的预设值，则进入S3；如果所述距离大于等于所述相对应的预设值，则进入S4；

在步骤S2-3之前，存在如下步骤：计算用户眼睛与所述目标屏幕的距离。

更优选地，步骤S2-2中，当确定用户为儿童时，对儿童所用的电脑设备的上网权限和上网内容进行限定。

更优选地，步骤S5，具体方法为：

①、利用红外眼球追踪方法，获取用户的眨眼次数和眨眼频率；

②、判断在一段时间T内的眨眼频率是否在门限值TH内，如果不在门限值TH内，确认眼睛处于疲劳状态，则进入S6；如果在门限值TH内，确认眼睛处于正常状态，不发出提示；

所述一段时间T为4min～5min，所述门限值TH为25次～100次。

本发明的一种利用红外眼球追踪控制眼睛与屏幕距离的系统，该系统包括：摄像设备、光源设备、目标屏幕和控制装置；

摄像设备设置在目标屏幕周围，用于捕获用户的脸部信息；

光源设备设置在目标屏幕周围，且朝向用户眼睛设置；

控制装置分别与所述摄像设备和所述光源设备相连，用于判断用户视点是否位于目标屏幕上、分析人脸图像信息、计算用户与所述目标屏幕的距离、控制用户权限和发出提示；

所述摄像设备至少为1个，所述光源设备至少为2个红外光源。

本发明的有益效果是：

本发明基于红外眼球追踪的技术，利用红外光源的图像信息，判定用户的注视点是否在显示屏上，从而最为精准得判断用户眼睛和显示屏的距离，最后通过检测人脸图像信息，与预先设定的数据作比较，判断显示屏面前的用户身份信息(用户是大人还是儿童)后，做进一步处理：例如为成人或儿童提供不同的操作距离判定标准、电脑权限控制、上网内容控制等。

本发明利用红外眼球追踪，控制用户眼睛与目标屏幕的距离，又结合用户眨眼频率判断用户的眼睛是否疲劳，以更好的达到预防近视眼的效果。

本发明利用眼控技术，实时精确达到预防不同用户近视眼效果。

附图说明

图1是本发明的基于标准化眼睛图像的视线追踪系统的结构示意图；

图1中：1为红外光源；2为屏幕；3为摄像设备；4为用户；

图2是以屏幕中心为原点，用右手原则建立世界坐标系示意图；

图3是视线跟踪装置光路图，1为角膜曲面中心C，2为眼球中心，3为透镜，4为虹膜，5为眼球的水状体，6为瞳孔中心P，7为角膜面，8为发射点r_j，9为发射点q_ij，10为虚光斑，11为光源l_i，12为法线1,13为摄像机光学中心o_j，14为图像瞳孔中心v_j，15为图像光斑中心u_ij，16为摄像头，17为视轴，18为法线2,19为光轴，20为眼球；

图4是眼睛光轴方向的坐标系图；

图5是一种利用红外眼球追踪控制眼睛与屏幕距离的系统。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

参考图1、图2、图3和图4，本具体实施方式1是一种利用红外眼球追踪控制眼睛与屏幕距离的方法，包括：

S1、基于红外眼球视线追踪方法，判断用户视点是否落在目标屏幕上，如果落在目标屏幕上，则进入S2，如果不落在目标屏幕上，则继续判断或结束；

其中，步骤S1中，利用红外眼球视线追踪方法，判断用户是否注视目标屏幕，具体的方法为：首先获取目标屏幕的宽度和高度，然后基于红外眼球视线追踪方法获得用户所看到的视点位置(也就是用户视点在目标屏幕上的位置)，要是视点位置在目标屏幕区域内，确定用户的眼睛注视目标屏幕，要是视点位置在目标屏幕区域外，确定用户的眼睛没有注视目标屏幕，则继续判断或结束；

S2、计算用户与所述目标屏幕的距离，并对获得的距离与预设值进行比较，具体步骤包括：

S2-1、采用检测人脸图像信息的算法对用户的人脸图像进行检测，获得用户人脸图像信息；

S2-2、将获得的用户人脸图像信息，与预先设定的人脸图像数据进行比较，确定用户是成人；

S2-3、根据用户是成人，选择与其相对应的预设值，然后将所述用户与屏幕的距离与所述相对应的预设值进行大小比较；如果所述用户与屏幕的距离小于所述相对应的预设值，则进入S3；如果所述用户与屏幕的距离大于等于所述相对应的预设值，进入S4；

在步骤S2-3之前，存在如下步骤：计算用户与屏幕的距离；

S3、向用户发出请保持与屏幕的距离、请预防近视眼的提示，进入S5；

S4、不向用户发出提示，进入S5；

S5、获取用户的眨眼次数和眨眼频率，判断眨眼频率是否在门限值TH内，如果不在门限值TH内，确认眼睛疲劳，则进入S6；如果在门限值TH内，确认眼睛处于正常状态，不发出提示；

S6、向用户发送眼睛疲劳、请预防近视眼的提示。

其中，步骤S2-3中，所述计算用户与屏幕的距离，采用精确的计算用户与所述目标屏幕距离的方法，具体为：利用红外眼球追踪方法，建立眼睛三维空间模型，得到用户眼睛三维空间坐标，精确计算用户眼睛与目标屏幕距离。

所述精确的计算用户与所述目标屏幕距离的方法，更具体步骤为：

S2-3-1、计算用户角膜中心C和瞳孔中心P

参照图1，以屏幕中心为原点，用右手原则建立世界坐标系，其中X轴为水平轴；如图2，是视线跟踪装置光路图，所有点都是用右手世界坐标系表示的三维坐标点。

光源l_j的入射光线与角膜形成的交点q_ij，在角膜形成的反射光线通过摄像机的光学中心o_j与相机平面交点u_ij，从而形成表达式(1)。假设角膜半径为R和角膜中心为C，可以形成公式(2)。基于反射过程的两个条件：1)入射光线，反射光线和反射点是共面的，2)入射角和反射角是相等的；从而可以得到公式(3)和(4)：

||q_ij-c||＝R(2)

(l_i-o_j)×(q_ij-o_j)·（c-o_j)＝0(3)

（l_i-q_ij)·(q_ij-c)·||o_j-q_ij||＝(o_j-q_ij)·(q_ij-c)·||l_i-q_ij||(4)

再结合瞳孔中心P形成的光线交角膜反射点为r_j，通过摄像机光学中心o_j，交摄像机平面v_j，从而形成公式(5)，同时由于反射点在角膜平面上，可以表示为(6)，在满足①入射光线，反射光线和反射点共面和②入射角和反射角相等的条件下，可以得到公式(7)和(8)：

||r_j-c||＝R(6)

(r_j-o_j)×(c-o_j)·（p-o_j)＝0(7)

n₁·||(r_j-c)×(p-r_j)||·||o_j-r_j||＝n₂·||（r_j-c)×(o_j-r_j)||·||p-r_j||(8)

最后，获取瞳孔中心P与角膜中心C距离为K，形成公式(9)。

||p-c||＝K(9)

假设已经标定出眼睛参数R，K和n₁，对于计算角膜中心C和瞳孔中心P，由于光源l₁,图像光斑U₁，摄像机光学中心O组成的平面m₁与光源l₂，图像光斑U₂，摄像机光学中心O组成的平面m₂形成的交线经过C(角膜中心)，O(摄像机光学中心)两点。由此得到公式(10)，(11),计算出CO直线方程方向为CO(w,e,r)。由于已知CO直线方程和PC直线方程，从而可以计算出眼球角膜中心C的坐标(cx,cy,cz)，同时计算出瞳孔中心P的坐标(px,py,pz)。

(l₁-o)×(U1-o)(C-O)＝0(10)

(l₂-o)×(U2-o)(C-O)＝0(11)

S2-3-2、计算用户眼睛视点g的坐标

标定出眼球视角(β_eye，α_eye)，如图4，建立眼睛光轴方向的坐标系图；再根据图3，可以用公式(12)，从而可以计算出(θ_eye)，简化公式(13,14)，视轴可以用参数方程表达成公式(15),其中g为表示的视点，由于显示屏被认为Z＝0。可知g_z＝0，从而可以计算出k_g，公式(16)，从而可以实时计算出眼睛视点坐标。

S2-3-2计算用户眼睛与目标屏幕的距离

由于本实例以目标屏幕中心为世界坐标系，从而目标屏幕中心为S(0,0,0),而角膜中心C(cx,cy,cz)。所以用户与所述目标屏幕距离Dist,公式(17)如下：

$\mathrm{Dist}=\left|\right|C-S\left|\right|=\sqrt{{\mathrm{cx}}^2+{\mathrm{cy}}^2+{\mathrm{cz}}^2}---\left(17\right);$

步骤S2中，所述预设值为后台系统预先设定的用户与所述目标屏幕的距离值，所述预设值包括用户为成人时的预设值和用户为儿童时的预设值。

其中，步骤S5，具体的方法为：

①、通过摄像设备和光源设备，获取的眼睛区域与睁眼模板的相关度r，利用相关度r判断眼睛的开闭状态，进而计算得到用户眨眼次数和眨眼频率；

②、判断在一段时间T内的眨眼频率是否在门限值TH内，如果不在，确认眼睛处于疲劳状态，则进入S6；如果在，确认眼睛处于正常状态，不发出提示。

所述一段时间T为5min，所述门限值TH为30次。

其中，所述的眨眼频率f是指：眼睛在一段时间T内的眨眼次数N与一段时间T的比值。若眼睛区域与睁眼模板的相关度r大于等于阈值，则认为此时的眼睛为开眼，若眼睛区域与睁眼模板的相关度r小于阈值，则认为此时的眼睛是闭眼；开眼—闭眼—开眼的过程定义为一次眨眼。

所述眼睛区域，指眼睛状态区域，睁眼模板指存储的用户睁开时的状态。

所述红外眼球追踪方法：人的眼睛和面部，在朝向不同方向时，眼睛和面部的方向会产生变化，通过摄像设备的被动图像捕捉或主动扫描，再经过处理和运算，提取眼睛和面部变化特征，用于判定人眼注视的方向和目标。

步骤S3中所述向用户发出提示的手段不限于声音和/或图像和/或震动和/或电击。

步骤S6中所述向用户发出提示的手段不限于声音和/或图像和/或震动和/或电击。

在本具体实施例中，计算用户与所述目标屏幕之间距离采用的是计算角膜中心与目标屏幕的距离，在不脱离本具体实施例的原理下，也可以采用眼睛的其他结构如：瞳孔中心、虹膜中心或晶状体中心与目标屏幕的距离，计算眼睛与目标屏幕的距离。

具体实施方式2，本实施方式与具体实施方式1的不同之处在于，步骤S2-3中，所述计算用户与目标屏幕的距离，采用计算出用户眼睛的瞳距与预设的参考瞳距进行比较，具体为：

将计算得到的用户眼睛瞳距与预设的参考瞳距比较，若计算出的瞳距大于参考瞳距超过一定值，则提示用户增大其眼睛与电子设备屏幕之间的距离，其中所述参考瞳距依据用户与电子设备屏幕之间的参考使用距离而设定的用户眼睛的瞳距。

所述用户眼睛的瞳距，按下述方法计算：通过摄像设备获取的人脸图像信息，在人脸图像信息中获取用户眼睛区域并计算虹膜半径，再以眼睛区域的中心为椭圆中心，以虹膜半径为短轴，以2-4倍的虹膜半径为长轴，确定一个椭圆区域，然后通过统计计算确定虹膜区域的所在位置，进而确定出虹膜区域的中心点为瞳孔的中心点，最后经过瞳孔的中心点，计算得到用户眼睛的瞳距；其中，所述用户眼睛的瞳距不是用户眼睛的实际瞳距。

所述的参考使用距离为：在该距离内使用则不利于用户的视力。

具体实施方式3，本实施方式与具体实施方式1的不同之处在于，步骤S2-3中，所述计算用户与屏幕的距离，采用计算出的2个光斑距离与预设的参考2个光斑距离进行比较，具体为：

计算得到的2个光斑距离与预设的参考2个光斑距离进行比较，若计算得到的2个光斑距离大于参考2个光斑距离超过一定值，则提示用户增大其眼睛与电子设备屏幕之间的距离，其中所述参考2个光斑距离依据用户与所述目标屏幕之间的参考使用距离而设定的用户眼睛中的光斑距离。

所述2个光斑距离，按照下述方法计算：目标屏幕周围设置的红外光源照射用户眼球，并在用户的两个眼球上各形成一个反射光斑，通过摄像设备获取人脸图像信息，在所述人脸图像信息中选取用户眼球中的2个光斑，计算得出2个光斑的距离，所述计算2个光斑距离的方法与所述用户眼睛的瞳距的方法一致。

所述的参考使用距离为：在该距离内使用则不利于用户的视力。

所述的一定值根据电子设备的不同而不同。

具体实施方式4，本实施方式与具体实施方式1的不同之处在于，步骤S2-2中，将获得的用户人脸图像信息，与预先设定的人脸图像数据进行比较，确定用户是儿童，则对儿童所用的电脑设备的上网权限和上网内容进行限定。

参考图5，具体实施方式5，本实施方式一种利用红外眼球追踪控制眼睛与屏幕距离的系统，该系统包括：摄像设备、光源设备、目标屏幕和控制装置；

所述摄像设备设置在目标屏幕周围，用于捕获用户的脸部信息；所述光源设备设置在目标屏幕周围，且朝向用户眼睛设置；控制装置分别与所述摄像设备和所述光源设备相连，用于判断视点是否落在屏幕上、分析人脸图像信息、计算用户与所述目标屏幕的距离、控制用户权限和发出提示。

所述摄像设备为1个，所述光源设备为2个红外光源。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明基于红外眼球追踪的技术，利用红外光源的图像信息，判定用户的注视点是否在显示屏上，从而最为精准得判断用户眼睛和显示屏的距离，最后通过检测人脸图像信息，与预先设定的数据作比较，判断显示屏面前的用户身份信息(用户是大人还是儿童)后，做进一步处理：例如为成人或儿童提供不同的操作距离判定标准、电脑权限控制、上网内容控制等。

本发明利用红外眼球追踪，控制用户眼睛与目标屏幕的距离，又结合用户眨眼频率判断用户的眼睛是否疲劳，以更好的达到预防近视眼的效果。

本发明利用眼控技术，实时精确达到预防不同用户近视眼效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，基于红外眼球追踪方法获得用户视点是否落在目标屏幕上，如果所述用户视点落在所述目标屏幕上，则再基于红外眼球追踪方法，计算得到用户眼睛与所述目标屏幕的距离，根据所述距离判断是否给出相应提示。

2.根据权利要求1所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，所述用户眼睛与所述目标屏幕的距离的计算方法为：精确计算方法或近似计算方法。

3.根据权利要求2所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，所述精确计算方法，具体为：利用红外眼球追踪方法，建立眼睛三维空间模型，精确计算用户眼睛与目标屏幕的距离。

4.根据权利要求2所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，所述近似计算方法，具体为：

将计算得到的用户眼睛瞳距与预设的参考瞳距比较，若计算得到的用户眼睛瞳距大于所述参考瞳距并超过一定值，则提示用户增加眼睛与目标屏幕之间的距离；其中，所述参考瞳距依据用户眼睛与所述目标屏幕之间的参考使用距离而设定；

或通过不可见光源照射用户眼球，在用户的两个眼球上各形成一个反射光斑，将计算得到的2个光斑距离与预设的参考2个光斑距离进行比较，若计算得到的2个光斑距离大于参考2个光斑距离并超过一定值，则提示用户增加眼睛与目标屏幕之间的距离；其中，所述参考2个光斑距离依据用户与所述目标屏幕之间的参考使用距离而设定确定。

5.根据权利要求1所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，该方法，具体步骤包括：

S1、基于红外眼球视线追踪方法，判断用户视点是否落在目标屏幕上，如果落在目标屏幕上，则进入S2，如果不落在目标屏幕上，则继续判断或结束；

S2、经计算，获得用户眼睛与所述目标屏幕的距离，将所述距离与预设值进行比较，如果所述距离小于预设值，则进入S3；如果所述距离大于等于预设值，则进入S4；

S3、向用户发出请注意眼睛与屏幕距离的提示；

S4、不向用户发出提示。

6.根据权利要求5所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，步骤S3或步骤S4之后，还存在如下步骤：

S5、获取用户的眨眼次数和眨眼频率，判断眨眼频率是否在门限值TH内，如果不在门限值TH内，确认眼睛处于疲劳状态，则进入S6；如果在门限值TH内，确认眼睛处于正常状态，不发出提示；

S6、向用户发出眼睛疲劳的提示。

7.根据权利要求5所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，步骤S2中，具体操作为：

S2-1、对用户的人脸图像进行检测，获得用户人脸图像信息；

S2-2、将获得的用户人脸图像信息，与预先设定的人脸图像数据进行比较，确定用户是成人或儿童；

S2-3、根据用户是成人或儿童，选择与其相对应的预设值，然后将用户眼睛与所述目标屏幕的距离与所述相对应的预设值进行比较；如果所述距离小于所述相对应的预设值，则进入S3；如果所述距离大于等于所述相对应的预设值，则进入S4；

在步骤S2-3之前，存在如下步骤：计算用户眼睛与所述目标屏幕的距离。

8.根据权利要求7所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，步骤S2-2中，当确定用户为儿童时，对儿童所用的电脑设备的上网权限和上网内容进行限定。

9.根据权利要求6所述的利用红外眼球追踪控制眼睛与屏幕距离的方法，其特征在于，步骤S5，具体方法为：

①、利用红外眼球追踪方法，获取用户的眨眼次数和眨眼频率；

②、判断在一段时间T内的眨眼频率是否在门限值TH内，如果不在门限值TH内，确认眼睛处于疲劳状态，则进入S6；如果在门限值TH内，确认眼睛处于正常状态，不发出提示；

所述一段时间T为4min～5min，所述门限值TH为25次～100次。

10.一种利用红外眼球追踪控制眼睛与屏幕距离的系统，其特征在于，该系统包括：摄像设备、光源设备、目标屏幕和控制装置；

摄像设备设置在目标屏幕周围，用于捕获用户的脸部信息；

光源设备设置在目标屏幕周围，且朝向用户眼睛设置；

控制装置分别与所述摄像设备和所述光源设备相连，用于判断用户视点是否位于目标屏幕上、分析人脸图像信息、计算用户与所述目标屏幕的距离、控制用户权限和发出提示；

所述摄像设备至少为1个，所述光源设备至少为2个红外光源。