CN110674715A - 基于rgb图像的人眼跟踪方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于RGB图像的人眼跟踪方法及装置，要目的在于在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。技术方案包括：对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

Description

基于RGB图像的人眼跟踪方法及装置

技术领域

本发明实施例涉及终端应用技术领域，特别是涉及一种基于RGB图像的人眼跟踪方法及装置。

背景技术

随着3D技术的发展及普及，为了能达到更好的观看效果，在裸眼3D 显示应用场景下，需要对观看者的眼球进行跟踪定位，并根据观看者眼睛的位置实时调整图像的排列顺序，已达到最佳3D显示效果。

目前，单纯的RGB图人眼跟踪方案由于缺乏深度信息，不能实现瞳距的测量，而深度图结合RGB图的方案在检测速度和效率上无法达到3D显示跟踪的要求，会存在人眼检测速度较慢，使得观看者的眼睛移动过程中会出现3D图像模糊、更新滞后的问题，因而导致观看过程中由于显示串扰问题，造成观看者出现头晕、目眩、恶心、不能实现3D显示合成等问题。

发明内容

有鉴于此，本发明实施例提供了一种基于RGB图像的人眼跟踪方法及装置，主要目的在于在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。

为了解决上述问题，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供一种基于RGB图像的人眼跟踪方法，包括：

对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；

若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；

锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

可选的，所述方法还包括：

若确定未注册为操作者，则提取所述预选操作者的眼球运动及注视显示屏的注视时间；

若眼球运动及注视时间符合预设条件阈值，则将所述预选操作者标识注册为操作者；

同时启动深度摄像机及RGB摄像机，计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

将所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制所述深度摄像机为关闭状态，及控制所述RGB摄像机为启动状态。

可选的，计算操作者人脸的眼睛瞳距包括：

分别获取包含同一操作者人脸的深度图像及RGB图像，并将所述深度图像及RGB图像进行重合处理；

根据重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述 RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

可选的，所述方法还包括：

检测操作者注视的人脸检测窗口是否更新，若确定更新，则基于更新后的人脸检测窗口对操作者活动信息进行更新。

可选的，所述方法还包括：

实时检测操作者活动信息是否超时，若确定超时，则将标识注册的操作者进行注销。

可选的，所述方法还包括：

获取光栅透镜与显示屏的距离，并根据所述光栅透镜与显示屏的距离、眼睛瞳距、眼睛相对显示屏的距离计算排图周期；

获取所述显示器及光栅透镜的参数信息，并根据所述参数信息、排图周期及人眼相对显示屏的位置变化量计算与操作者眼睛位置相关的位相；

根据所述参数信息、排图周期及与操作者眼睛位置相关的位相调整显示屏中当前显示图像的图像像素排列。

可选的，根据所述参数信息、算排图周期及与操作者眼睛位置相关的位相显示屏中当前显示图像的图像像素排列包括：

通过下述公式调整显示屏中当前显示图像的图像像素排列， P_i，j，k＝F_n(i，j，k，P₀，P₁，P₂，P₃)，其中，i为显示器列像素点位序，j为显示器行像素点位序，k为像素点Pi,j的亚像素点位序。P₀为固定位相，P₁为与光栅倾角的方向正切，P₂为排图周期，P₃为与操作者眼睛位置相关的位相。

可选的，根据所述参数信息、排图周期及排图位序偏移量调整显示屏中当前显示图像的图像像素排列还包括：

通过下述公式调整显示屏中当前显示图像的图像像素排列：

第二方面，本发明实施例提供一种基于RGB图像的人眼跟踪装置，包括：

识别单元，用于对显示屏前的预选操作者进行人脸识别；

确定单元，用于根据人脸识别结果确定预选操作者是否已注册为操作者；

第一提取单元，用于当所述确定单元确定已注册为操作者时，提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

第一获取单元，用于获取包含所述操作者的RGB图像；

第一计算单元，用于根据所述第一获取单元获取的所述RGB图像及所述第一提取单元提取的所述注册信息计算操作者的三维信息；

锁定单元，用于锁定人脸检测窗口；

跟踪单元，用于在所述锁定单元锁定的所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

可选的，所述装置还包括：

第二提取单元，用于当所述确定单元确定未注册为操作者时，提取所述预选操作者的眼球运动及注视显示屏的注视时间；

标识单元，用于当所述第二提取单元提取的眼球运动及注视时间符合预设条件阈值时，将所述预选操作者标识注册为操作者；

启动单元，用于同时启动深度摄像机及RGB摄像机；

第二计算单元，用于计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

记录单元，用于将所述第二计算单元计算的所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制单元，用于控制所述深度摄像机为关闭状态，及控制所述RGB摄像机为启动状态。

可选的，所述第二计算单元包括：

获取模块，用于分别获取包含同一操作者人脸的深度图像及RGB图像；

处理模块，用于将所述获取模块获取的所述深度图像及RGB图像进行重合处理；

计算模块，用于根据所述处理模块重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述 RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

可选的，所述装置还包括：

第一检测单元，用于检测操作者注视的人脸检测窗口是否更新；

更新单元，用于当所述第一检测单元确定更新时，基于更新后的人脸检测窗口对操作者活动信息进行更新。

可选的，所述装置还包括：

第二检测单元，用于实时检测操作者活动信息是否超时；

注销单元，用于当所述第二检测单元确定超时时，将标识注册的操作者进行注销。

可选的，所述装置还包括：

第二获取单元，用于获取光栅透镜与显示屏的距离；

第三计算单元，用于根据所述第二获取单元获取的所述光栅透镜与显示屏的距离、眼睛瞳距、眼睛相对显示屏的距离计算排图周期；

第三获取单元，用于获取所述显示器及光栅透镜的参数信息；

第四计算单元，用于根据所述参数信息、排图周期及人眼相对显示屏的位置变化量计算与操作者眼睛位置相关的位相；

调整单元，用于根据所述参数信息、所述第三计算单元计算的排图周期及与所述第四计算单元计算的操作者眼睛位置相关的位相调整显示屏中当前显示图像的图像像素排列。

可选的，所述调整单元，还用于通过下述公式调整显示屏中当前显示图像的图像像素排列，P_i，j，k＝F_n(i，j，k，P₀，P₁，P₂，P₃)，其中，i为显示器列像素点位序，j为显示器行像素点位序，k为像素点Pi,j的亚像素点位序。 P₀为固定位相，P₁为与光栅倾角的方向正切，P₂为排图周期，P₃为与操作者眼睛位置相关的位相。

可选的，所述调整单元，还用于通过下述公式调整显示屏中当前显示图像的图像像素排列：

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明实施例提供的基于RGB图像的人眼跟踪方法及装置，对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的第一种基于RGB图像的人眼跟踪方法的流程图；

图2示出了本发明实施例提供的第二种基于RGB图像的人眼跟踪方法的流程图；

图3示出了本发明实施例提供的第一种3D显示系统的组成模块的示意图；

图4示出了本发明实施例提供的第一种调整显示屏中当前显示图像的图像像素排列的示意图；

图5示出了本发明实施例提供的一种Vn变化规律的示意图；

图6示出了本发明实施例提供的第二种调整显示屏中当前显示图像的图像像素排列的示意图；

图7示出了本发明实施例提供的一种基于RGB图像的人眼跟踪装置的组成框图；

图8示出了本发明实施例提供的另一种基于RGB图像的人眼跟踪装置的组成框图；

图9示出了本发明实施提供的一种电子设备的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种基于RGB图像的人眼跟踪方法，如图1所示，所述方法包括：

101、对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者。

为了确定人眼跟踪的速度，在对操作者进行注册之前，先确定预设操作者是否已经被注册过，若操作者被注册，则可以直接获取其对应的操作者人脸的眼睛瞳距、操作者的活动范围及活动速度，如此一来，便能提高人眼跟踪的实时性。

具体包括：启动RGB摄像机对显示屏前的预选操作者进行人脸识别包括：人脸检测：首先通过RGB摄像机实时采集RGB图像，并从RGB图像识别人脸，以确定当前观看显示平面的人数，眼动跟踪：对所有检测到的人脸进行眼部跟踪，检测每一个人的眼球运动情况。人脸识别：计算观看者脸部特征数据，得到最终的人脸识别结果，将该人脸识别结果(脸部特征数据)与系统存储的已注册的操作者的脸部特征数据进行比对，若人脸识别结果(脸部特征数据)与系统存储的已注册的操作者的脸部特征数据一致时，确定该人脸识别结果(脸部特征数据)对应的操作者在此之前注册过，可直接从系统中获取该操作者人脸的眼睛瞳距b。

102、若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度。

在确定操作者以被注册的前提下，从系统的注册信息中直接获取操作者人脸的眼睛瞳距b、操作者的活动范围及活动速度。所述注册信息中包含的操作者人脸的眼睛瞳距b、操作者的活动范围及活动速度均为在注册为操作者的时计算存储的信息。

103、获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息。

本发明实施例在进行人脸跟踪时，仅需启动一个RGB摄像机进行跟踪即可，节约了计算时间和计算步骤，从而进一步提高了人脸跟踪的实时性。启动RGB摄像机的时机可以包含但不局限于以下方式，方式一：启动显示屏时只启动一个RGB摄像机，在确定已注册为操作者后，控制RGB摄像机为启动状态；方式二：启动显示屏时，同时启动RGB摄像机及深度摄像机，在确定已注册为操作者后，控制RGB摄像机为启动状态，控制深度摄像机为关闭状态。

通过RGB摄像机后，获取当前操作者的RGB图像，根据所述RGB图像及所述注册信息计算操作者的三维信息，所述三维信息为操作者双眼中心点相对显示屏中心点的x、y、z三维坐标。

104、锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

本发明实施例中仅启动RGB摄像机锁定操作盒人脸所在的区域(人脸检测窗口)进行人眼跟踪，根据观看者移动方向动态调整，加快人眼跟踪速度。

本发明实施例提供的基于RGB图像的人眼跟踪方法，对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。

在具体应用过程中，除了上述预选操作者已经被注册的情况除外，还包含一种预选操作者从未注册过的应用场景，本发明实施例还提供一种方法，如图2所示，所述方法还包括：

201、对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者。

若确定已注册为操作者，则执行步骤202，若确定未注册为操作者，则执行步骤203。

202、提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度。

203、提取所述预选操作者的眼球运动及注视显示屏的注视时间。

实际应用中可能存在显示屏前的人数较多，或者观看者发生变化的场景，由于不同观看者其眼睛瞳距和/或眼睛相对显示屏的距离，导致显示屏中当前显示图像的存在差异，需要实时进行调整，因此，在使用显示终端之前会进行操作者的注册，以便根据不同的操作者去实时调整图像像素，以增加观看内容的3D真实性及多样性。具体包：对显示屏前的预选操作者进行人脸识别，并提取眼球运动及注视显示屏的注视时间。目的在于防止其他旁观者的干扰，以确保操作者最佳的观看角度，如此一来才会呈现最佳3D效果。

具体操作过程包括：人脸检测：首先通过RGB摄像机实时采集RGB 图像，并从RGB图像识别人脸，以确定当前观看显示平面的人数，眼动跟踪：对所有检测到的人脸进行眼部跟踪，检测每一个人的眼球运动情况。人脸识别：计算观看者脸部特征数据，并根据脸部特征数据对操作者进行标识注册，其目的在于在调整图像像素排列时，无需实时去检测操作者是否发生更改，在一定程度上节省了处理资源。

在判定操作者时，如果没有检测到人脸面向显示屏且有凝视行为，或有多张脸面向显示屏且有凝视行为时，根据人脸在RGB图像的位置信息判断可能的操作者，位置评分最高者为观看者。

204、若眼球运动及注视时间符合预设条件阈值，则将所述预选操作者标识注册为操作者。

205、同时启动深度摄像机及RGB摄像机，计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度。

本发明实施例所述的方法应用于3D显示系统中，系统主要包括显示终端、摄像机，其中摄像机包括：包括深度摄像机及RGB摄像机，其中，深度摄像机用于采集所述深度图像，所述RGB摄像机用于采集所述RGB图像。

为了便于理解，以下提供3D显示系统的组成模块，如图3所示，其中，所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。1是发射器，2是接收器，3是RGB相机的镜头和传感器。当采用3D TOF原理的深度摄像机时，1是红外发射器，负责发射调制后的红外光信号，2是3D图像传感器；当采用结构光检测的深度摄像机时，1 是光栅结构光发射器，2是RGB图像传感器。

深度摄像机通过USB与处理器(如DSP处理器)连接，RGB摄像机通过MIPI与处理器连接。深度摄像机负责深度图像的拍摄，RGB摄像机负责RGB图像拍摄，DSP处理器实现深度图像与RGB图像的重合处理。

206、获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；

207、获取光栅透镜与显示屏的距离，并根据所述光栅透镜与显示屏的距离、眼睛瞳距、眼睛相对显示屏的距离计算排图周期。

由于光栅透镜在安装时预置于显示屏中，因此光栅透镜与显示屏的距离 d可以直接获得，根据已计算眼睛瞳距b与眼睛相对显示屏的距离L，因此通过下述公式计算排图周其P₂：P₂=F_n(d，b，L)，具体为：

其中，P_w是透镜光栅(或狭缝光栅)的周期。

208、获取所述显示器及光栅透镜的参数信息，并根据所述参数信息、排图周期及人眼相对显示屏的位置变化量计算与操作者眼睛位置相关的位相。

3D显示系统中可以直接获取显示器及光栅透镜的参数信息，本步骤中所述的光栅透镜参数信息P₁；由于人眼可能处于变动状态，因此在眼球移动过程中会产生人眼相对显示屏原点的位置变化量(Δx，Δy)，该位置变化量为一实时可变量。因此通过下述公式计算与操作者眼睛位置相关的位相P3：P₃＝Γ_n(Δx，Δy，P₁，P₂)，具体包括：

209、根据所述参数信息、排图周期及与操作者眼睛位置相关的位相调整显示屏中当前显示图像的图像像素排列。

上述步骤中分别计算得到了光栅透镜参数信息P₁、排图周期P₂及与操作者眼睛位置相关的位相P₃，通过下述公式实现调整显示屏中当前显示图像的图像像素排列，P_i，j，k＝F_n(i，j，k，P₀，P₁，P₂，P₃)，

其中，i为显示器列像素点位序，j为显示器行像素点位序，k为像素点 Pi,j的亚像素点位序。P₀为显示器的参数信息：固定位相，P₁为光栅透镜的参数信息：与光栅倾角的方向正切，P₂为排图周期，P₃与操作者眼睛位置相关的位相。通过调整排图周期P₂实现对眼睛瞳距b和眼睛相对显示屏的距离L变化适应，通过调整与操作者眼睛位置相关的位相P₃实现人眼位置变化显示与操作者眼睛位置相关的位相调整，达到人眼跟踪的目的。

为了更直观的查看眼睛瞳距b、眼睛相对显示屏的距离L、排图周期 P₂、光栅透镜与显示屏的距离d，如图4所示，图4示出了本发明实施例提供的一种调整显示屏中当前显示图像的图像像素排列的示意图。可以准确计算眼睛瞳距b、眼睛相对显示屏的距离L，从而实现3D显示动态调整，进而实现不同观看者在不同位置都可以达到最佳观看效果的目的。

作为本发明实施例的另一种实现方式，调整显示屏中当前显示图像的图像像素排列，可采用下述计算公式：

其中P₁是光栅透镜倾角的方向正切，在实际应用过程中，可以取显示器列像素点位序i(0,1,...,3839)、j(0,1,...,1919)是像素的位序，k是次像素位序 (0,1,2)，RGB和BGR排列的相反(2,1,0)。为了便于说明，其P_i，j，k变化规律如图5所示。

在调整视图过程中，为了避免由于像素取整关系带来的格纹，计算出 P_i，j，k后，其整数部分用来计算从左图还是右图取值，小数部分要做分段插值平滑处理。

需要说明的是，对于一台既定的显示器，一旦参数标定好了以后，其 P₀和P₁的值就不再变化，P₃的值随着人眼定位x，y位置而变化，P₃∝(Δx+Δy* P₁)*2/P₂。P₂随着人眼离屏幕的距离而变化，可以表达成以下计算式：P₂＝ P_p*(1+d/L)，其中，P_p是倾斜后的光栅水平周期和次像素宽度的比值，所以越近的时候P₂越大，要随着距离检测实时做出改变，如此一来便满足透视关系，否则，显示3D会出现波浪纹纹。P₃随着距离的变化也会有缓变的部分，每款型号有不一样，原因包含但不限于Opengl坐标系原点取值和屏幕中心点偏离，以及摄像头视野中轴与屏幕中轴线的偏离等等，所以也要做适当补偿。

为了便于理解，如图6所示，图6示出了本发明实施例提供的第二种调整显示屏中当前显示图像的图像像素排列的示意图。

实际应用中，3D显示器上有三种以上摩尔纹，排图自身周期取整引擎的、光栅和排图透射投影关系失配引起的、光栅和像素微观结构之间引起的。通过上述方法可以减轻摩尔纹。

210、检测操作者注视的人脸检测窗口是否更新，若确定更新，则基于更新后的人脸检测窗口对操作者活动信息进行更新。

该步骤的目的在于为了追踪操作者，根据操作者的操作进行变动。

211、实时检测操作者活动信息是否超时，若确定超时，则将标识注册的操作者进行注销。

在使用显示终端过程中，可能会出现操作者较长时间内外出的场景，为了节省显示终端的使用资源，当出现以上场景时，RGB摄像机会实时检测其锁定的人脸检测窗口的人脸是否丢失，或者检测操作者活动信息是否超时，若确定人脸丢失，或者检测操作者活动信息超时，则将标识注册的操作者进行注销，其目的在于确定操作者是否离开，其中，本发明实施例所述的预设中断阈值为一经验值，可设置为5分钟或10分钟等等，具体本发明实施例不进行限定。

需要说明的是，对于已注销的操作者，当该操作者重新使用终端设备时，仍然需要从步骤201开始执行。

进一步的，本发明实施例还提供一种基于RGB图像的人眼跟踪装置，如图7所示，包括：

识别单元31，用于对显示屏前的预选操作者进行人脸识别；

确定单元32，用于根据人脸识别结果确定预选操作者是否已注册为操作者；

第一提取单元33，用于当所述确定单元32确定已注册为操作者时，提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

第一获取单元34，用于获取包含所述操作者的RGB图像；

第一计算单元35，用于根据所述第一获取单元34获取的所述RGB图像及所述第一提取单元提取的所述注册信息计算操作者的三维信息；

锁定单元36，用于锁定人脸检测窗口；

跟踪单元37，用于在所述锁定单元36锁定的所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

本发明实施例提供的基于RGB图像的人眼跟踪装置，对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。

如图8所示，所述装置还包括：

第二提取单元38，用于当所述确定单元32确定未注册为操作者时，提取所述预选操作者的眼球运动及注视显示屏的注视时间；

标识单元39，用于当所述第二提取单元38提取的眼球运动及注视时间符合预设条件阈值时，将所述预选操作者标识注册为操作者；

启动单元310，用于同时启动深度摄像机及RGB摄像机；

第二计算单元311，用于计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

记录单元312，用于将所述第二计算单元311计算的所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制单元313，用于控制所述深度摄像机为关闭状态，及控制所述RGB 摄像机为启动状态。

如图8所示，所述第二计算单元311包括：

获取模块3111，用于分别获取包含同一操作者人脸的深度图像及RGB 图像；

处理模块3112，用于将所述获取模块获取的所述深度图像及RGB图像进行重合处理；

计算模块3113，用于根据所述处理模块重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述 RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

如图8所示，所述装置还包括：

第一检测单元314，用于检测操作者注视的人脸检测窗口是否更新；

更新单元315，用于当所述第一检测单元314确定更新时，基于更新后的人脸检测窗口对操作者活动信息进行更新。

如图8所示，所述装置还包括：

第二检测单元316，用于实时检测操作者活动信息是否超时；

注销单元317，用于当所述第二检测单元316确定超时时，将标识注册的操作者进行注销。

如图8所示，所述装置还包括：

第二获取单元318，用于获取光栅透镜与显示屏的距离；

第三计算单元319，用于根据所述第二获取单元318获取的所述光栅透镜与显示屏的距离、眼睛瞳距、眼睛相对显示屏的距离计算排图周期；

第三获取单元320，用于获取所述显示器及光栅透镜的参数信息；

第四计算单元321，用于根据所述参数信息、排图周期及人眼相对显示屏的位置变化量计算与操作者眼睛位置相关的位相；

调整单元322，用于根据所述参数信息、所述第三计算单元计算的排图周期及与所述第四计算单元计算的操作者眼睛位置相关的位相调整显示屏中当前显示图像的图像像素排列。

所述调整单元322，还用于通过下述公式调整显示屏中当前显示图像的图像像素排列，P_i，j，k＝F_n(i，j，k，P₀，P₁，P₂，P₃)，其中，i为显示器列像素点位序，j为显示器行像素点位序，k为像素点Pi,j的亚像素点位序。P₀为固定位相，P₁为与光栅倾角的方向正切，P₂为排图周期，P₃为与操作者眼睛位置相关的位相。

所述调整单元322，还用于通过下述公式调整显示屏中当前显示图像的图像像素排列：

进一步的，如图9所示，本发明实施例还提供一种电子设备，包括：

至少一个处理器41；

以及与所述处理器41连接的至少一个存储器42、总线43；其中，

所述处理器41、存储器42通过所述总线43完成相互间的通信；

所述处理器41用于调用所述存储器中的程序指令，以上述任一种基于人眼跟踪的图像调整方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的基于人眼跟踪的图像调整方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于RGB图像的人眼跟踪方法，其特征在于，包括：

对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；

若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；

锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若确定未注册为操作者，则提取所述预选操作者的眼球运动及注视显示屏的注视时间；

若眼球运动及注视时间符合预设条件阈值，则将所述预选操作者标识注册为操作者；

同时启动深度摄像机及RGB摄像机，计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

将所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制所述深度摄像机为关闭状态，及控制所述RGB摄像机为启动状态。

3.根据权利要求2所述的方法，其特征在于，计算操作者人脸的眼睛瞳距包括：

分别获取包含同一操作者人脸的深度图像及RGB图像，并将所述深度图像及RGB图像进行重合处理；

根据重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

检测操作者注视的人脸检测窗口是否更新，若确定更新，则基于更新后的人脸检测窗口对操作者活动信息进行更新。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

实时检测操作者活动信息是否超时，若确定超时，则将标识注册的操作者进行注销。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取光栅透镜与显示屏的距离，并根据所述光栅透镜与显示屏的距离、眼睛瞳距、眼睛相对显示屏的距离计算排图周期；

获取所述显示器及光栅透镜的参数信息，并根据所述参数信息、排图周期及人眼相对显示屏的位置变化量计算与操作者眼睛位置相关的位相；

根据所述参数信息、排图周期及与操作者眼睛位置相关的位相调整显示屏中当前显示图像的图像像素排列。

7.根据权利要求6所述的方法，其特征在于，根据所述参数信息、算排图周期及与操作者眼睛位置相关的位相显示屏中当前显示图像的图像像素排列包括：

通过下述公式调整显示屏中当前显示图像的图像像素排列，P_i，j，k＝F_n(i，j，k，P₀，P₁，P₂，P₃)，其中，i为显示器列像素点位序，j为显示器行像素点位序，k为像素点Pi,j的亚像素点位序。P₀为固定位相，P₁为与光栅倾角的方向正切，P₂为排图周期，P₃为与操作者眼睛位置相关的位相。

8.根据权利要求7所述的方法，其特征在于，根据所述参数信息、排图周期及排图位序偏移量调整显示屏中当前显示图像的图像像素排列还包括：

通过下述公式调整显示屏中当前显示图像的图像像素排列：

9.一种基于RGB图像的人眼跟踪装置，其特征在于，包括：

识别单元，用于对显示屏前的预选操作者进行人脸识别；

确定单元，用于根据人脸识别结果确定预选操作者是否已注册为操作者；

第一提取单元，用于当所述确定单元确定已注册为操作者时，提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

第一获取单元，用于获取包含所述操作者的RGB图像；

第一计算单元，用于根据所述第一获取单元获取的所述RGB图像及所述第一提取单元提取的所述注册信息计算操作者的三维信息；

锁定单元，用于锁定人脸检测窗口；

跟踪单元，用于在所述锁定单元锁定的所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第二提取单元，用于当所述确定单元确定未注册为操作者时，提取所述预选操作者的眼球运动及注视显示屏的注视时间；

标识单元，用于当所述第二提取单元提取的眼球运动及注视时间符合预设条件阈值时，将所述预选操作者标识注册为操作者；

启动单元，用于同时启动深度摄像机及RGB摄像机；

第二计算单元，用于计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

记录单元，用于将所述第二计算单元计算的所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制单元，用于控制所述深度摄像机为关闭状态，及控制所述RGB摄像机为启动状态。

11.根据权利要求10所述的装置，其特征在于，所述第二计算单元包括：

获取模块，用于分别获取包含同一操作者人脸的深度图像及RGB图像；

处理模块，用于将所述获取模块获取的所述深度图像及RGB图像进行重合处理；

计算模块，用于根据所述处理模块重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第一检测单元，用于检测操作者注视的人脸检测窗口是否更新；

更新单元，用于当所述第一检测单元确定更新时，基于更新后的人脸检测窗口对操作者活动信息进行更新。

Images