CN105989326B - 人眼三维位置信息的确定方法和装置 - Google Patents

Abstract

本发明提供了一种人眼三维位置信息的确定方法和装置，所述方法包括：从拍摄的人脸图像中检测出人眼区域；从所述人眼区域中确定出二维人眼关键点；根据二维人眼关键点拟合出目标三维人眼模型后，基于所述目标三维人眼模型确定人眼三维位置信息。进一步地，将所述人眼三维位置信息转换到所述移动设备的显示屏的三维坐标系中；根据转换后的人眼三维位置信息，对所述显示屏显示的三维图像内容进行调整或重新绘制。应用本发明，可以获取准确度更高、精度更高的人眼三维位置信息，并提高用户观看三维图像时的活动空间和舒适度。

Description

人眼三维位置信息的确定方法和装置

技术领域

本发明涉及三维立体显示技术领域，具体而言，本发明涉及一种人眼三维位置信息的确定方法和装置。

背景技术

与二维显示技术相比，三维显示技术能够一定程度上真实地再现客观世界的景象，让人们有身临其境的感觉，因此，在科研、娱乐、医疗、军事等领域都受到越来越多的关注。根据成像原理的不同，三维显示技术可以划分为：基于双目视差的非裸眼三维显示技术；第二类类是以全息式、体三维式和光栅式为代表的裸眼三维显示技术。

由于非裸眼三维显示系统中需要用户佩戴特殊设备(比如偏光眼镜或头盔)才能看到三维立体成像，减少了观看时的娱乐性和自然性，且长时间观看还伴随视觉疲劳、舒适度下降等问题。因此，裸眼三维显示技术在近来得到了快速发展。目前，在消费电子市场，逐步出现一些裸眼三维显示设备。比如，具有裸眼三维显示功能的平板电脑和智能手机等移动设备。

为了方便二维显示模式与三维显示模式的切换，以及保证在三维显示模式下具有较高的显示分辨率，这些移动设备通常是基于狭缝光栅来实现三维显示，并且大多采用液晶方式实现狭缝光栅。但采用上述方式进行三维显示，用户只能在某一固定位置(本文中可以称为最佳观看位置)才能观看到正确的三维图像，稍微移动一下位置就会看到重影，严重降低三维显示效果，甚至会让用户感觉头晕。

为了提高用户观看时的自由度，现有提出一种基于人眼位置的裸眼三维显示方法，可以利用摄像头进行用户人眼区域的跟踪拍摄，从拍摄的二维图像获取二维人眼位置，并根据二维图像中的瞳距简单推算出人眼相对显示屏的距离。这样，移动显示设备可以根据推算出的人眼相对显示屏的距离，调整狭缝光栅相对显示屏的位置，以此实现根据人眼位置调整最佳观看位置。

但是，本发明的发明人发现，该方法对改善用户三维观看的效果有较大局限性：例如，当用户的头部发生一定角度的前后扭转、或者头部侧向一边时，用户仍然会看到重影或显示不清，降低三维显示效果，用户的三维观看体验不佳。

发明内容

针对上述现有技术存在的缺陷，本发明提供了一种人眼三维位置信息的确定方法和装置，能够获取更高准确度、精度的人眼三维位置信息，基于获取的人眼位置信息，移动设备可以更为精确地调整三维图像内容，使得用户一直处于最佳观看位置，提高用户观看三维图像时的活动空间和舒适度。

本发明提供了一种人眼三维位置信息的确定方法，包括：

从拍摄的人脸图像中检测出人眼区域；

从所述人眼区域中确定出二维人眼关键点；

根据二维人眼关键点拟合出目标三维人眼模型后，基于所述目标三维人眼模型确定人眼三维位置信息。

本发明方案还提供了一种人眼三维位置信息的确定装置，包括：

人眼区域检测模块，用于从拍摄的人脸图像中检测出人眼区域；

人眼关键点确定模块，用于从所述人眼区域检测模块检测出的人眼区域中确定出二维人眼关键点；

人眼三维位置信息确定模块，用于根据所述人眼关键点确定模块确定的二维人眼关键点拟合出目标三维人眼模型后，基于所述目标三维人眼模型确定人眼三维位置信息。

本发明的技术方案中，确定出从拍摄的人脸图像中检测出的人眼区域中的二维人眼关键点后，根据二维人眼关键点拟合出目标三维人眼模型；并基于目标三维人眼模型确定人眼三维位置信息。相比现有的从拍摄的二维图像中简单推算出的二维人眼位置、以及人眼相对显示屏的距离，本发明确定出的从一定程度上能够反映用户头部偏转情况的人眼三维位置信息精度更高、准确度更高。

进一步地，本发明的技术方案中，基于更高准确度、精度的人眼三维位置信息，对显示屏显示的三维图像内容进行调整或重新绘制；相比现有狭缝光栅相对显示屏的位置的粗略调整方式，本发明根据更加精细的人眼位置针对性地调整三维显示图像，使得用户在显示屏前一直都能观看到正确的三维图像，增强了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1a为本发明实施例的人眼三维位置信息的确定方法的流程示意图；

图1b为本发明实施例的二维人眼关键点示意图；

图1c为本发明实施例的50帧人眼区域的图像的归一化相关系数示意图；

图1d为本发明实施例的目标三维人眼模型示意图；

图2为本发明实施例的SDM模型训练方法的流程示意图；

图3为本发明实施例的人眼三维位置信息的确定装置的结构示意图；

图4为本发明实施例的人眼三维位置信息确定模块的结构示意图。

具体实施方式

以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

本发明的发明人发现，现有基于人眼位置的裸眼三维显示方法的三维显示效果不佳的关键原因在于：通过上述方法得到的人眼位置信息较为粗略，仅基于人眼到显示屏的距离的信息进行简单的光栅位置调整。当用户的头部发生一定角度的前后扭转、或者头部侧向一边时，用户的双眼相对显示屏的距离是不同的。现有方法使用一个距离调整狭缝光栅相对显示屏的位置，由于调整过程不能兼顾用户双眼相对显示屏的距离，容易导致用户看到重影或显示不清；此外，当用户的头部发生一定角度的前后扭转或头部侧向一边时，用户与显示屏的视角会发生变化，而现有仅仅通过单一的距离参数对狭缝光栅相对显示屏的位置进行调整的方法，无法针对视角发生变化的情况来调整三维显示调整手段，导致用户仍然看到重影或显示不清，降低用户观看三维显示图像的效果，造成用户的三维观看体验不佳。

因此，有必要提供一种能够获取更高准确度、精度的人眼位置信息的方法，从而基于获取的人眼位置信息，移动设备可以更为精确地调整三维图像内容，使得用户一直处于最佳观看位置，提高用户的三维观看体验。

本发明的发明人考虑到，可以利用摄像机对移动设备的当前用户的人脸进行拍摄后，从拍摄的人脸图像中检测出人眼区域，并从检测出的人眼区域中确定出二维人眼关键点；继而，可以根据二维人眼关键点拟合出目标三维人眼模型；并基于目标三维人眼模型确定人眼三维位置信息。

相比现有反映人眼相对显示屏的距离的人眼位置信息，本发明基于二维人眼关键点的人眼三维位置信息精度更高，而且由于其能够反映出用户的头部发生一定角度的前后扭转、或者头部侧向一边的情况下的人眼位置，因此准确度更高。

进一步地，移动设备可以基于获取的人眼三维位置信息，对显示屏显示的三维图像内容进行调整或重新绘制。相比现有简单的光栅位置调整，本发明的方案中针对性地根据人眼位置调整三维显示图像，从而使得用户在显示屏前的任意位置都能观看到正确的三维图像，增强了用户体验。

下面结合附图详细说明本发明的技术方案。

本发明实施例中，移动设备进行人眼三维位置信息确定的具体方法流程，如图1a所示，包括如下步骤：

S101：从拍摄的人脸图像中检测出人眼区域。

考虑到目前移动设备，尤其是手机、平板电脑等通常配有摄像机(比如，前置摄像头)。因此，本步骤中，移动设备可以利用其前置摄像头对用户的人脸进行拍摄，在拍摄的人脸图像中进行人眼的检测，在检测到人眼后，可以将人脸图像中检测为人眼的部分直接从拍摄的人脸图像中抠取出，并作为检测出的人眼区域。

更优地，为了提高人眼区域的检测效率和准确度，移动设备可以基于上一次的人眼定位结果，生成虚拟人眼包围框；根据生成的虚拟人眼包围框，从当前帧人脸图像中抠取图像，得到人眼区域。

其中，上一次的人眼定位结果具体是指根据上一帧人脸图像确定出的二维人眼关键点的位置信息。这样，通过具有较高精度和准确度的二维人眼关键点的位置信息所生成的虚拟人眼包围框来抠取人眼区域的图像，可以提高人眼区域的检测效率和准确度。

S102：从人眼区域中确定出二维人眼关键点。

本步骤中，移动设备可以利用预先训练的海森矩阵和残差项从人眼区域中确定出二维人眼关键点；为便于描述，本文将海森矩阵和残差项统称为SDM(Supervised DescentMethod，监督下降法)模型。

具体地，移动设备利用预先训练的SDM模型确定二维人眼关键点的过程包括：从人眼区域中提取精细特征，比如LBP(Local Binary Pattern，局部二值模式)特征；根据提取出的精细特征，利用预先训练的SDM模型进行迭代计算，将计算得到的二维人眼关键点作为输出结果，如图1b所示。

本发明实施例中，为了提高利用SDM模型计算出的二维人眼关键点的准确度，在步骤S101根据生成的虚拟人眼包围框，从当前帧人脸图像中抠取图像之后，从人眼区域中确定出二维人眼关键点之前，移动设备可以将抠取的图像缩放到特定大小后，作为检测出的人眼区域的图像。其中，特定大小由本领域技术人员预先设定。

实际应用中，考虑到用户的双眼相对摄像机可能并不是平视的状态，比如头部偏向一侧。这样，在步骤S101获取人眼区域后，移动设备可以对获取的人眼区域的图像进行一定角度的旋转，使得旋转后的人眼区域的图像中人眼相对摄像机是平视的状态。相应地，在利用SDM模型计算出旋转后的人眼区域中的二维人眼关键点之后，可以进行逆旋转操作，确定出步骤S101获取的人眼区域中的二维人眼关键点。

本发明的发明人发现，用户在观看视频时，头部大部分时间处于相对固定的位置，期间人眼相对移动设备的显示屏的位置是相同的；因此，考虑到如果能将这一状态检测出来，则可以直接输出前一帧人眼区域确定出的人眼三维位置信息，从而节省定位二维人眼关键点、以及基于二维人眼关键点确定人眼三维位置信息的过程，提高效率。

因此，更优地，本发明实施例中，在执行步骤S102之前，移动设备可以根据人眼区域的前后帧相似性或帧间运动信息判断人眼是否为静止状态。这样，在判断出不是静止状态后，可以执行步骤S102：从人眼区域中确定出二维人眼关键点。若判断人眼是静止状态，则可以将上次确定出的人眼三维位置信息，作为拍摄的当前帧人脸图像的人眼三维位置信息。

为了判断人眼是否为静止状态，可以将当前帧人眼区域(即步骤S101检测出的人眼区域)，与上一帧人眼区域的图像进行比对，确定是否存在帧间运动信息，如果图像之间不存在帧间运动信息，则可以直接判定人眼为静止状态。其中，帧间运动信息具体可以根据图像之间的像素变化进行判断，具体判断过程为本领域技术人员所公知的常识，在此不再赘述。

或者，更优地，移动设备可以通过计算出当前帧人眼区域的图像、与上一帧人眼区域的图像之间的归一化相关系数来表示前后帧相似性；若计算出的归一化相关系数大于设定阈值，则判断人眼为静止状态；否则，判断人眼不是静止状态。

具体地，根据如下公式1，可以计算出当前帧人眼区域的图像与上一帧人眼区域的图像之间的归一化相关系数NCC：

(公式1)

式中，C(x,y)、P(x,y)分别为当前帧人眼区域的图像、上一帧人眼区域中的图像中坐标为(x，y)处像素的灰度值；分别为当前帧人眼区域的图像、上一帧人眼区域的图像的灰度平均值。

本发明实施例中，图1c给出了一段50帧的人眼区域的图像的归一化相关系数。从图1c的实验结果来看，当人眼静止不动时，前后帧的归一化相关系数非常高，在0.995以上。当出现睁闭眼动作时，归一化相关系数会有明显的下降，如图1c中第32帧相对于前一帧的归一化相关系数降为0.78，比静止状态下的归一化相关系数0.995低了很多。在图1c中，取阈值0.99可以很好的区分出静止状态与活动状态的人眼。因此，本发明实施例中，用于判定人眼是否为静止状态的设定阈值具体可以由本领域技术人员预先根据经验进行设定，比如可以设定为0.99。

为了提高后续确定出的人眼三维位置信息的准确度，本发明实施例提供了一种更优的实施方式，在通过步骤S102确定出二维人眼关键点之后，在通过步骤S103根据二维人眼关键点拟合出目标三维人眼模型之前，移动设备可以通过如下方法对确定出的二维人眼关键点进行置信度评估：

获取SDM模型在确定二维人眼关键点的过程中提取的LBP特征；利用SVM分类器，根据LBP特征对确定出的二维人眼关键点的位置信息进行置信度评估。

由于步骤S102在利用SDM模型确定二维人眼关键点的过程中，需要从人眼区域中提取LBP特征；根据提取出的LBP特征，利用预先训练的SDM模型进行迭代计算，得到二维人眼关键点。因此，可以直接获取步骤S102中进行迭代计算时所使用的LBP特征。

继而，利用预先训练的SVM(Support Vector Machine，支持向量机)分类器，针对步骤S102中提取的LBP特征进行分类后，可以确定该LBP特征是否为能够正确反映出用户人眼的真实形状的人眼区域的LBP特征，若是，则置信度评估通过，评估结果为二维人眼关键点匹配，即二维人眼关键点的置信度高；否则，置信度评估不通过，评估结果为二维人眼关键点不匹配，即二维人眼关键点的置信度低。相应地，在评估结果为二维人眼关键点的置信度高后，执行步骤S103：根据二维人眼关键点拟合出目标三维人眼模型。

进一步地，在评估结果为二维人眼关键点的置信度低后，可以返回步骤S101、S102，重新进行人眼区域的检测、以及二维人眼关键点的确定。

本发明实施例中，SVM分类器是利用预先采集的正、负样本特征训练得到的。其中，可以将能够正确反映出用户人眼的真实形状的人眼区域标定为正样本，而将不能够正确反映出用户人眼的真实形状的人眼区域标定为负样本，比如，人眼区域的图像中的人眼的大小、角度不同于真实形状，人眼区域的图像中手遮住了部分人眼，其他用户的人眼区域的图像等等。

继而，可以针对标定为正样本的人眼区域提取LBP特征，作为正样本特征；针对标定为负样本的人眼区域提取LBP特征，作为负样本特征。

S103：根据二维人眼关键点拟合出目标三维人眼模型。

本步骤中，移动设备可以运用通用三维人眼模型拟合步骤S102所确定出的二维人眼关键点，求解出人眼参数。其中，通用三维人眼模型可以预先从通用人脸三维模型中截取，由通用人脸三维模型中与人眼相关的顶点所组成通用三维人眼模型。

具体地，可以根据如下模型方程求解人眼参数σ和α：

其中，g(σ,α)为通用人眼三维模型，为通用的三维平均人眼形状，S为表示脸型的形状向量，A为表示表情的表情向量，σ和α是分别对应形状向量S、表情向量A的人眼参数。

实际应用中，移动设备可以根据之前拍摄的人脸图像预先拟合得到形状向量S；根据之前拍摄的多帧人脸图像预先拟合得到表情向量A。

继而，移动设备可以根据求解出的人眼参数σ和α，通用的三维平均人眼形状

，预先拟合得到的形状向量S、表情向量A，构建得到目标三维人眼模型g′(σ,α)，如图1d所示。

S104：基于目标三维人眼模型确定人眼三维位置信息。

具体地，移动设备可以利用目标三维人眼模型，以及步骤S102所确定出的二维人眼关键点，求解人眼刚体变换矩阵；并根据人眼刚体变换矩阵、以及步骤S103拟合出的目标三维人眼模型，确定出人眼三维位置信息。

本步骤中，人眼刚体变换矩阵可以通过如下目标函数最小化问题来求解：

min||s′-P(Q(g′(σ,α)))||²

其中，P为常用的透视投影变换矩阵，Q为人眼刚体变换矩阵，g′(σ,α)为构建的目标三维人眼模型；s′为由S102所确定的、与构建的目标三维人眼模型中的顶点重合的二维人眼关键点。

更优地，本发明实施例中，还可以基于确定出的人眼三维位置信息进行三维显示，以此提高用户观看时的自由度和舒适度。具体地，在步骤S104确定出人眼三维位置信息之后，可以通过如下步骤S105、S106来进行三维显示。

S105：将人眼三维位置信息转换到移动设备的显示屏的三维坐标系中。

考虑到通过步骤S104所确定出的人眼三维位置信息是基于移动设备的摄像机的三维坐标系的；而用户观看的三维图像是基于移动设备的显示屏的三维坐标系。因此，移动设备可以根据预先收集的摄像机的三维坐标系相对显示屏的三维坐标系的刚体变换矩阵，将人眼三维位置信息转换到移动设备的显示屏的三维坐标系中。

S106：根据转换后的人眼三维位置信息，对显示屏显示的三维图像内容进行调整或重新绘制。

实际应用中，可以结合摄像机的内部参数，比如相机主点位置、相机焦距等，根据转换后的人眼三维位置信息，确定出人眼相对移动设备的显示屏的三维位置信息。继而，根据人眼相对移动设备的显示屏的三维位置信息，对显示内容进行调整或重新绘制，以此实现用户在当前位置能够看到正确的三维图像，提升用户的体验和舒适度。

其中，根据人眼相对显示屏的三维位置信息，对显示内容进行调整或重新绘制的方法，可以采用本领域技术人员常用的技术手段，在此不再赘述。

事实上，上述步骤S102中所提到的SDM模型是预先训练出来的。SDM模型既可以是在移动设备中训练出来，也可以是在其它设备中训练出来后存储到移动设备中。关于SDM模型的训练方法，如图2所示，其流程具体可以包括如下步骤：

S201：从拍摄的样本人脸图像中检测出人眼区域，作为样本区域。

本步骤中，可以利用图像采集设备(比如摄像机)针对用户预先采集样本人脸图像。例如，在样本人脸图像采集过程中，用户可以进行头部的常规移动，同时，摄像机对各种头部姿态下的用户的人脸进行拍摄，以此得到人脸相对摄像机的样本人脸图像。

继而，针对每一个样本人脸图像进行人眼的检测，并将从样本人脸图像中检测出的人眼区域作为样本区域。

进一步地，在采集到样本区域后，可以对每个样本区域进行样本关键点的标定，即将样本区域中的人眼关键点标定为样本关键点。其中，样本区域中的人眼关键点可以由本领域技术人员根据经验来确定。

实际应用中，在针对每一个样本人脸图像进行人眼的检测之前，还可以将拍摄的样本人脸图像进行瞳距归一化处理，使得瞳距归一化处理后的每个样本人脸图像中人眼具有相同的瞳距。

S202：利用在样本区域中标定的样本关键点，对SDM模型进行迭代训练。

具体地，根据迭代的时间先后将SDM模型的训练过程划分为两个阶段：初始迭代阶段、后续迭代阶段。为了提高SDM模型的鲁棒性和精度，在初始迭代阶段，可以针对样本区域提取粗略特征，用于对SDM模型进行训练；在后续迭代阶段，针对样本区域提取精细特征，用于对SDM模型进行训练。

其中，粗略特征至少包括如下一种特征：HOG(Histogram of Oriented Gradient，方向梯度直方图)特征、MBLBP(Multiple block Local Binary Pattern，多重区块局部二值模式)特征、SURF(Speeded Up Robust Features，快速鲁棒特征)特征、ORB(OrientedBrief，面向短暂)特征等。

精细特征至少包括如下一种特征：LBP特征、Gabor(伽柏)小波特征、DCT(DiscreteCosine Transformation，离散余弦转换)特征、BRIEF(Binary Robust IndependentElementary Features，二值鲁棒独立基础特征)特征等。

关于样本区域的精细特征、粗略特征，均可以采用本领域技术人员所熟知的技术手段进行提取，在此不再详述。

本步骤中，在一次迭代过程中，可以按照设定的缩放比例，对样本区域进行缩放，得到不同的尺度空间下的样本区域。继而，在不同的尺度空间下，针对样本区域提取特征，用于对上一次迭代过程中得到的SDM模型进行训练。其中，对样本区域提取的特征可以是粗略特征、或精细特征。

进而，在各尺度空间下，利用该尺度空间下训练得到的SDM模型，在该尺度空间下的样本区域的图像上进行迭代计算，将计算出的二维人眼关键点作为该尺度空间下训练出的SDM模型的输出结果。其中，利用已经训练得到的SDM模型在样本区域的图像上进行迭代计算的具体方法为本领域技术人员所公知的技术，在此不再详述。

这样，后续可以将各尺度空间下训练出的SDM模型的输出结果，分别与预先标定的样本关键点比较相似度；将相似度最高的输出结果所对应的SDM模型，应用于下次迭代过程。其中，关于输出结果与样本关键点之间的相似度，可以采用本领域技术人员所熟知的技术手段进行比较，在此不再详述。

实际应用中，对于相似度最高的输出结果所对应的SDM模型，可以将训练出该SDM模型所采用的样本区域的尺度空间作为该SDM模型的最优尺度空间；并将最优尺度空间下的该样本区域作为下次迭代过程的样本区域。

这样，通过使用两种特征先后训练SDM模型；在每次迭代训练时，选取出最优尺度空间，并将最优尺度空间下训练出的SDM模型作为下一次迭代训练的基础，可以提高后续利用训练得到的SDM模型所计算出的二维人眼关键点的准确度。

基于上述人眼三维位置信息的确定方法，本发明实施例提供了一种可以应用并设置于移动设备中的人眼三维位置信息的确定装置，如图3所示，具体可以包括：人眼区域检测模块301、人眼关键点确定模块302、以及人眼三维位置信息确定模块303。

其中，人眼区域检测模块301用于从拍摄的人脸图像中检测出人眼区域。

人眼关键点确定模块302用于从人眼区域检测模块301检测出的人眼区域中确定出二维人眼关键点。具体地，人眼关键点确定模块302可以利用预存的SDM模型从人眼区域中确定出二维人眼关键点。

人眼三维位置信息确定模块303用于根据人眼关键点确定模块302确定的二维人眼关键点拟合出目标三维人眼模型后，基于拟合出的目标三维人眼模型确定人眼三维位置信息。

考虑到用户在观看视频时，头部大部分时间处于相对固定的位置，期间人眼相对移动设备的显示屏的位置是相同的；因此，为了提高确定人眼三维位置信息的检测效率，更优地，人眼三维位置信息的确定装置中还可以包括：人眼静止判断模块304。

人眼静止判断模块304用于根据人眼区域检测模块检测出的人眼区域的前后帧相似性或帧间运动信息判断人眼是否为静止状态，并输出判断结果。

具体地，人眼静止判断模块304可以根据人眼区域的前后帧相似性或帧间运动信息判断人眼是否为静止状态。例如，可以计算当前帧人眼区域中的图像、与上一帧人眼区域中的图像之间的归一化相关系数；在归一化相关系数超过设定阈值时，判断人眼为静止状态。

相应地，人眼关键点确定模块302在人眼静止判断模块304输出的判断结果为：人眼不是静止状态后，从人眼区域中确定出二维人眼关键点。人眼关键点确定模块302在人眼静止判断模块304输出的判断结果为：人眼是静止状态后，将上次确定出的人眼三维位置信息，作为拍摄的当前帧人脸图像的人眼三维位置信息。

进一步地，由于人眼三维位置信息确定模块303确定的人眼三维位置信息是基于移动设备的摄像机的三维坐标系的，因此，为了获得人眼相对移动设备的显示屏的三维位置，人眼三维位置信息的确定装置中还可以包括：坐标系转换模块305、以及显示内容调整模块306。

其中，坐标系转换模块305用于将人眼三维位置信息确定模块303确定的人眼三维位置信息转换到移动设备的显示屏的三维坐标系中；

显示内容调整模块306用于根据坐标系转换模块305转换后的人眼三维位置信息，对显示屏显示的三维图像内容进行调整或重新绘制。

较佳地，为了提高最终确定出的人眼三维位置信息的准确度，人眼三维位置信息的确定装置中还可以包括：置信度评估模块(图中未标)。

置信度评估模块用于获取人眼关键点确定模块302利用SDM模型确定二维人眼关键点的过程中提取出的LBP特征；并利用SVM分类器，根据获取的LBP特征对人眼关键点确定模块302确定出的二维人眼关键点的位置信息进行置信度评估。

具体地，置信度评估模块利用预存的SVM分类器，针对置信度评估模块中提取的LBP特征进行分类后，可以确定该LBP特征是否为能够正确反映出用户人眼的真实形状的人眼区域的LBP特征，若是，则置信度评估通过，评估结果为二维人眼关键点匹配，即评估结果为二维人眼关键点的位置信息的置信度高；否则，置信度评估不通过，评估结果为二维人眼关键点不匹配，即二维人眼关键点的位置信息的置信度低。这样，人眼三维位置信息确定模块303在置信度评估模块输出的评估结果为：二维人眼关键点的置信度高后，根据二维人眼关键点拟合出目标三维人眼模型。

进一步地，在评估结果为人眼三维位置信息的置信度低后，置信度评估模块可以向人眼区域检测模块301输出重新进行人眼区域的检测的通知。

其中，置信度评估模块中预存的SVM分类器可以由其他设备训练后存储，也可以由人眼三维位置信息的确定装置预先训练。

因此，进一步地，人眼三维位置信息的确定装置中还可以包括：SVM分类器训练模块。

SVM分类器训练模块用于针对标定为正样本的人眼区域提取LBP特征，作为正样本特征；针对标定为负样本的人眼区域提取LBP特征，作为负样本特征；利用正、负样本特征训练SVM分类器。

本发明实施例中，人眼关键点确定模块302中所利用的SDM模型是预存的，可以由其他设备训练，也可以由人眼三维位置信息的确定装置预先训练。

因此，更优地，在人眼三维位置信息的确定装置中还可以包括：SDM模型训练模块(图中未标)。

SDM模型训练模块用于从拍摄的样本人脸图像中检测出人眼区域，作为样本区域；利用在样本区域中标定的样本关键点，对SDM模型进行迭代训练。

具体地，SDM模型训练模块具体包括：样本采集单元、初始迭代单元、以及后续迭代单元。

其中，样本采集单元用于从拍摄的样本人脸图像中检测出人眼区域，作为样本区域。

初始迭代单元用于在初始迭代阶段，针对样本采集单元输出的样本区域提取粗略特征，利用提取出的粗略特征对SDM模型进行训练。

后续迭代单元用于在后续迭代阶段，针对样本采集单元输出的样本区域提取精细特征，利用提取出的精细特征对SDM模型进行训练。

其中，粗略特征至少包括如下一种特征HOG特征、MBLBP特征、SURF特征、ORB特征等；精细特征至少包括如下一种特征：LBP特征、Gabor小波特征、DCT特征、BRIEF特征等。

实际应用中，在一次迭代过程中，初始迭代单元、或后续迭代单元可以按照设定的缩放比例，对样本区域进行缩放，得到不同的尺度空间下的样本区域。继而，在不同的尺度空间下，针对样本区域提取特征，用于对上一次迭代过程中得到的SDM模型进行训练。进而，在各尺度空间下，利用该尺度空间下训练得到的SDM模型，在该尺度空间下的样本区域的图像上进行迭代计算，将计算出的二维人眼关键点作为该尺度空间下训练出的SDM模型的输出结果。最后，将各尺度空间下训练出的SDM模型的输出结果，分别与预先标定的样本关键点比较相似度；将相似度最高的输出结果所对应的SDM模型，应用于下次迭代过程。

这样，通过使用两种特征先后训练SDM模型；在每次迭代训练时，选取出最优尺度空间，并将最优尺度空间下训练出的SDM模型作为下一次迭代训练的基础，可以提高后续利用训练得到的SDM模型所计算出的二维人眼关键点的准确度。

本发明实施例中，为了提高人眼区域的检测效率和准确度，人眼区域检测模块301可以基于上一次的人眼定位结果进行人眼区域的检测。

具体地，人眼区域检测模块301可以包括：人眼包围框计算单元、人眼区域获取单元。

人眼包围框计算单元用于基于上一次的人眼定位结果，生成虚拟人眼包围框。其中，上一次的人眼定位结果是根据上一帧人脸图像确定出的二维人眼关键点的位置信息。

人眼区域获取单元用于根据人眼包围框计算单元生成的虚拟人眼包围框，从当前帧人脸图像中抠取图像，得到人眼区域。

实际应用中，人眼区域获取单元还可以进一步将抠取的图像缩放到特定大小后，作为检测出的人眼区域的图像。

本发明实施例中，如图4所示，人眼三维位置信息确定模块303可以包括：人眼模型构建单元401、刚体变换矩阵计算单元402、以及位置信息确定单元403。

其中，人眼模型构建单元401用于拟合人眼关键点确定模块302确定出的二维人眼关键点，求解出人眼参数；根据求解出的人眼参数，构建出目标三维人眼模型。其中，人眼模型构建单元401可以运用通用三维人眼模型拟合二维人眼关键点，通用三维人眼模型可以预先从通用人脸三维模型中截取，由通用人脸三维模型中与人眼相关的顶点所组成通用三维人眼模型。

刚体变换矩阵计算单元402用于利用人眼模型构建单元401构建的目标三维人眼模型，以及人眼关键点确定模块302确定出的二维人眼关键点，求解人眼刚体变换矩阵。

位置信息确定单元403用于根据人眼模型构建单元401构建的目标三维人眼模型，以及刚体变换矩阵计算单元402求解出的人眼刚体变换矩阵，确定出人眼三维位置信息。

本发明实施例中，人眼三维位置信息的确定装置中的各模块、以及各模块下的各单元的具体功能实现，可以参照上述人眼三维位置信息的确定方法的具体步骤，在此不再赘述。

本发明的技术方案中，确定出从拍摄的人脸图像中检测出的人眼区域中的二维人眼关键点后，根据二维人眼关键点拟合出目标三维人眼模型；并基于目标三维人眼模型确定人眼三维位置信息。相比现有的从拍摄的二维图像中简单推算出的二维人眼位置、以及人眼相对显示屏的距离，本发明确定出的从一定程度上能够反映用户头部偏转情况的人眼三维位置信息精度更高、准确度更高。

进一步地，本发明的技术方案中，基于更高准确度、精度的人眼三维位置信息，对显示屏显示的三维图像内容进行调整或重新绘制；相比现有狭缝光栅相对显示屏的位置的粗略调整方式，本发明针对性地调整三维显示图像，使得用户在显示屏前的任意位置都能观看到正确的三维图像，增强了用户体验。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (28)

1.一种人眼三维位置信息的确定方法，其特征在于，包括：

从拍摄的人脸图像中检测出人眼区域；

从所述人眼区域中确定出二维人眼关键点；

根据二维人眼关键点拟合出目标三维人眼模型后，基于所述目标三维人眼模型确定人眼三维位置信息；

其中，所述二维人眼关键点为基于监督下降法SDM模型确定得到的，所述SDM模型为基于样本人脸图像中的人眼区域的粗略特征进行初始迭代训练，以及基于所述样本人脸图像中的人眼区域的精细特征进行后续迭代训练得到的。

2.如权利要求1所述的方法，其特征在于，所述根据二维人眼关键点拟合出目标三维人眼模型，包括：

拟合所述二维人眼关键点，求解出人眼参数；

根据求解出的人眼参数，构建出所述目标三维人眼模型。

3.如权利要求1或2所述的方法，其特征在于，所述基于所述目标三维人眼模型确定人眼三维位置信息，包括：

利用所述目标三维人眼模型，以及所述二维人眼关键点，求解人眼刚体变换矩阵；

根据所述目标三维人眼模型，以及所述人眼刚体变换矩阵，确定出人眼三维位置信息。

4.如权利要求1所述的方法，其特征在于，所述从所述人眼区域中确定出二维人眼关键点之前，还包括：

根据人眼区域的前后帧相似性或帧间运动信息判断所述人眼是否为静止状态；以及

所述从所述人眼区域中确定出二维人眼关键点，具体包括：

在判断出不是静止状态后，从所述人眼区域中确定出二维人眼关键点。

5.如权利要求4所述的方法，其特征在于，所述根据人眼区域的前后帧相似性或帧间运动信息判断所述人眼是否为静止状态后，还包括：

在判断出所述人眼是静止状态后，将上次确定出的人眼三维位置信息，作为拍摄的当前帧人脸图像的人眼三维位置信息。

6.如权利要求4所述的方法，其特征在于，所述根据人眼区域的前后帧相似性判断所述人眼是否为静止状态，包括：

计算当前帧人眼区域的图像、与上一帧人眼区域的图像之间的归一化相关系数；

在归一化相关系数超过设定阈值时，判断所述人眼为静止状态。

7.如权利要求1所述的方法，其特征在于，所述人眼三维位置信息是基于移动设备的摄像机的三维坐标系的；以及所述方法还包括：

将所述人眼三维位置信息转换到所述移动设备的显示屏的三维坐标系中；

根据转换后的人眼三维位置信息，对所述显示屏显示的三维图像内容进行调整或重新绘制。

8.如权利要求1所述的方法，其特征在于，所述SDM模型根据如下方法预先训练得到：

从拍摄的样本人脸图像中检测出人眼区域，作为样本区域；

利用在样本区域中标定的样本关键点，对SDM模型进行迭代训练。

9.如权利要求8所述的方法，其特征在于，所述对SDM模型进行迭代训练，包括：

在初始迭代阶段，针对样本区域提取粗略特征，用于对SDM模型进行训练；

在后续迭代阶段，针对样本区域提取精细特征，用于对SDM模型进行训练；

其中，所述粗略特征至少包括如下一种特征：方向梯度直方图HOG特征、多重区块局部二值模式MBLBP特征、鲁棒特征SURF特征、面向短暂ORB特征；

所述精细特征至少包括如下一种特征：局部二值模式LBP特征、伽柏Gabor小波特征、离散余弦转换DCT特征、二值鲁棒独立基础特征BR IEF特征。

10.如权利要求1或9所述的方法，其特征在于，在一次迭代过程中：

在不同的尺度空间下，针对样本区域提取特征，用于对上一次迭代过程中得到的SDM模型进行训练；

将各尺度空间下训练出的SDM模型的输出结果，分别与预先标定的样本关键点比较相似度；

将相似度最高的输出结果所对应的SDM模型，应用于下次迭代过程。

11.如权利要求1所述的方法，其特征在于，所述从拍摄的人脸图像中检测出人眼区域，包括：

基于上一次的人眼定位结果，生成虚拟人眼包围框；

根据所述虚拟人眼包围框，从当前帧人脸图像中抠取图像，得到所述人眼区域；

其中，所述上一次的人眼定位结果是根据上一帧人脸图像确定出的二维人眼关键点的位置信息。

12.如权利要求11所述的方法，其特征在于，所述从当前帧人脸图像中抠取图像，得到所述人眼区域，包括：

将抠取的图像缩放到特定大小后，作为检测出的人眼区域的图像。

13.如权利要求1所述的方法，其特征在于，所述根据二维人眼关键点拟合出目标三维人眼模型之前，还包括：

获取所述SDM模型在确定二维人眼关键点的过程中提取的LBP特征；

利用支持向量机SVM分类器，根据LBP特征对确定出的二维人眼关键点的位置信息进行置信度评估；以及

所述根据二维人眼关键点拟合出目标三维人眼模型，具体包括：

在置信度评估通过后，根据所述二维人眼关键点拟合出目标三维人眼模型。

14.如权利要求13所述的方法，其特征在于，所述SVM分类器是根据如下方法预先训练的：

针对标定为正样本的人眼区域提取LBP特征，作为正样本特征；

针对标定为负样本的人眼区域提取LBP特征，作为负样本特征；

利用所述正、负样本特征训练所述SVM分类器。

15.一种人眼三维位置信息的确定装置，其特征在于，包括：

人眼区域检测模块，用于从拍摄的人脸图像中检测出人眼区域；

人眼关键点确定模块，用于从所述人眼区域检测模块检测出的人眼区域中确定出二维人眼关键点；

人眼三维位置信息确定模块，用于根据所述人眼关键点确定模块确定的二维人眼关键点拟合出目标三维人眼模型后，基于所述目标三维人眼模型确定人眼三维位置信息；

其中，所述二维人眼关键点为基于监督下降法SDM模型确定得到的，所述SDM模型为基于样本人脸图像中的人眼区域的粗略特征进行初始迭代训练，以及基于所述样本人脸图像中的人眼区域的精细特征进行后续迭代训练得到的。

16.如权利要求15所述的装置，其特征在于，所述人眼三维位置信息确定模块包括：

人眼模型构建单元，用于拟合所述二维人眼关键点，求解出人眼参数；根据求解出的人眼参数，构建出目标三维人眼模型；

刚体变换矩阵计算单元，用于利用所述目标三维人眼模型，以及所述二维人眼关键点，求解人眼刚体变换矩阵；

位置信息确定单元，用于根据所述目标三维人眼模型，以及所述人眼刚体变换矩阵，确定出人眼三维位置信息。

17.如权利要求15或16所述的装置，其特征在于，还包括：

人眼静止判断模块，用于根据所述人眼区域检测模块检测出的所述人眼区域的前后帧相似性或帧间运动信息判断所述人眼是否为静止状态，并输出判断结果；以及

所述人眼关键点确定模块具体用于在所述人眼静止判断模块输出的判断结果为：所述人眼不是静止状态后，从所述人眼区域中确定出二维人眼关键点。

18.如权利要求17所述的装置，其特征在于，

所述人眼关键点确定模块还用于在所述人眼静止判断模块输出的判断结果为：所述人眼是静止状态后，将上次确定出的人眼三维位置信息，作为拍摄的当前帧人脸图像的人眼三维位置信息。

19.如权利要求17所述的装置，其特征在于，

所述人眼静止判断模块具体用于计算当前帧人眼区域中的图像、与上一帧人眼区域中的图像之间的归一化相关系数；在归一化相关系数超过设定阈值时，判断所述人眼为静止状态。

20.如权利要求15所述的装置，其特征在于，所述人眼三维位置信息确定模块确定的所述人眼三维位置信息是基于移动设备的摄像机的三维坐标系的；以及

所述装置还包括：

坐标系转换模块，用于将所述人眼三维位置信息确定模块确定的所述人眼三维位置信息转换到所述移动设备的显示屏的三维坐标系中；

显示内容调整模块，用于根据所述坐标系转换模块转换后的人眼三维位置信息，对所述显示屏显示的三维图像内容进行调整或重新绘制。

21.如权利要求15所述的装置，其特征在于，还包括：

SDM模型训练模块，用于从拍摄的样本人脸图像中检测出人眼区域，作为样本区域；利用在样本区域中标定的样本关键点，对SDM模型进行迭代训练。

22.如权利要求21所述的装置，其特征在于，所述SDM模型训练模块具体包括：

样本采集单元，用于从拍摄的样本人脸图像中检测出人眼区域，作为样本区域；

初始迭代单元，用于在初始迭代阶段，针对所述样本采集单元输出的样本区域提取粗略特征，利用提取出的粗略特征对SDM模型进行训练；

后续迭代单元，用于在后续迭代阶段，针对所述样本采集单元输出的样本区域提取精细特征，利用提取出的精细特征对SDM模型进行训练；

其中，所述粗略特征至少包括如下一种特征：HOG特征、MBLBP特征、SURF特征、ORB特征；

所述精细特征至少包括如下一种特征：LBP特征、Gabor小波特征、DCT特征、BRIEF特征。

23.如权利要求15所述的装置，其特征在于，所述人眼区域检测模块包括：

人眼包围框计算单元，用于基于上一次的人眼定位结果，生成虚拟人眼包围框；其中，所述上一次的人眼定位结果是根据上一帧人脸图像确定出的二维人眼关键点的位置信息；

人眼区域获取单元，用于根据所述人眼包围框计算单元生成的所述虚拟人眼包围框，从当前帧人脸图像中抠取图像，得到所述人眼区域。

24.如权利要求23所述的装置，其特征在于，

所述人眼区域获取单元还用于将抠取的图像缩放到特定大小后，作为检测出的人眼区域的图像。

25.如权利要求15所述的装置，其特征在于，还包括：

置信度评估模块，用于获取所述人眼关键点确定模块利用所述SDM模型确定二维人眼关键点的过程中提取出的LBP特征；并利用SVM分类器，根据所述LBP特征对确定出的二维人眼关键点的位置信息进行置信度评估；以及

所述人眼三维位置信息确定模块具体用于在置信度评估通过后，根据所述二维人眼关键点拟合出目标三维人眼模型。

26.如权利要求25所述的装置，其特征在于，还包括：

SVM分类器训练模块，用于针对标定为正样本的人眼区域提取LBP特征，作为正样本特征；针对标定为负样本的人眼区域提取LBP特征，作为负样本特征；利用所述正、负样本特征训练所述SVM分类器。

27.一种电子设备，包括处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序实现权利要求1-14任一所述的方法。

28.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-14中任一项所述的方法。

Images