CN107067438A - 基于线性回归的双向视线方向估计方法和装置 - Google Patents

Abstract

本发明提出一种基于线性回归的双向视线方向估计方法和装置，其中，方法包括：跟踪连续预定数量视频帧的双眼视线方向作为初始数据集；根据初始数据集分别计算双眼间的两个视线方向的线性回归模型；对当前视频帧进行视线跟踪，如果视线跟踪结果异常，则通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。

Description

基于线性回归的双向视线方向估计方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于线性回归的双向视线方向估计方法和装置。

背景技术

目前，视线跟踪是计算机视觉、计算机图像学等领域中一个重要且基础的问题，它在人机交互、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在计算机视觉中，眼睛在屏幕上的注视点可用于完成各种人机交互功能、再例如，在计算机图形学及虚拟现实中，视线方向可用于驱动虚拟的眼球模型，以生成更加生动真实的人脸模型动画。进一步，在增强现实中，视线方向可用于调整显示的内容以产生更佳的真实感。正是由于眼睛能够表达人类丰富的情感，视线跟踪的研究具有极高的科研和应用价值。

然而，现有的视线跟踪技术仍然存在缺陷，通常易受到很多外部因素的影响而产生跟踪结果不准确的问题，如照明条件、图像运动模糊、头部转动等。同时，在人脸跟踪中较难处理的问题之一就是遮挡问题，当脸部前有物体遮挡时，脸部特征点的提取通常会非常不稳定，这便对瞳孔和虹膜跟踪的准确性造成了影响；甚至当遮挡物出现在眼部区域，根本无法获得真实的眼部图像，从而在此情况下无法驱动三维眼球模型的转动以生成合理的人脸模型动画。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于线性回归的双向视线方向估计方法，该方法通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果。

本发明的第二个目的在于提出一种基于线性回归的双向视线方向估计装置。

为达上述目的，本发明第一方面实施例提出了一种基于线性回归的双向视线方向估计方法，包括：跟踪连续预定数量视频帧的双眼视线方向作为初始数据集；根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型；对当前视频帧进行视线跟踪，如果所述视线跟踪结果异常，则通过所述线性回归模型和一只眼睛的视线方向进行视线方向估计。

本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。

另外，根据本发明上述实施例的基于线性回归的双向视线方向估计方法还可以具有如下附加的技术特征：

可选地，所述的方法，还包括:通过主成分分析法提取所述初始数据集的特征向量；如果所述视线跟踪结果正常，则将当前视频帧的视线方向表示为特征向量加权和的形式。

可选地，所述的方法，还包括：将所述当前视频帧的双眼视线方向更新到所述初始数据集中，并提取新的特征向量。

可选地，所述连续预定数量视频帧为有效视频帧。

可选地，所述根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型，包括：获取从左眼估算右眼的第一模型矩阵；获取从右眼估算左眼的第二模型矩阵；通过最小二乘法对所述第一模型矩阵和所述第二模型矩阵进行拟合得到所述两个视线方向的线性回归模型。

为达上述目的，本发明第二方面实施例提出了一种基于线性回归的双向视线方向估计装置，包括：跟踪模块，用于跟踪连续预定数量视频帧的双眼视线方向作为初始数据集；计算模块，用于根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型；处理模块，用于对当前视频帧进行视线跟踪，在所述视线跟踪结果异常时通过所述线性回归模型和一只眼睛的视线方向进行视线方向估计。

本发明实施例的基于线性回归的双向视线方向估计装置，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。

另外，根据本发明上述实施例的基于线性回归的双向视线方向估计装置还可以具有如下附加的技术特征：

可选地，所述的装置，还包括:提取模块，用于通过主成分分析法提取所述初始数据集的特征向量；所述处理模块,还用于在所述视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式。

可选地，所述的装置，还包括：更新模块，用于将所述当前视频帧的双眼视线方向更新到所述初始数据集中，并提取新的特征向量。

可选地，所述连续预定数量视频帧为有效视频帧。

可选地，所述计算模块用于：获取从左眼估算右眼的第一模型矩阵；获取从右眼估算左眼的第二模型矩阵；通过最小二乘法对所述第一模型矩阵和所述第二模型矩阵进行拟合得到所述两个视线方向的线性回归模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例提出的一种基于线性回归的双向视线方向估计方法的流程示意图；

图2是本发明实施例提出的另一种基于线性回归的双向视线方向估计方法的流程示意图；

图3是本发明实施例提出的一种包含视线方向的人脸模型动画的视频帧的示意图；

图4是本发明实施例提出的另一种包含视线方向的人脸模型动画的视频帧的示意图；

图5是本发明实施例提出的视频中眼睛前方有遮挡物的一帧，错误的视线方向结果以及使用本方法估计的视线方向结果的示意图；

图6是本发明实施例提出的视频中视线方向跟踪结果明显错误的一帧，错误的视线方向结果以及使用本方法估计的视线方向结果。

图7是本发明实施例提出的一种基于线性回归的双向视线方向估计装置的结构示意图；

图8是本发明实施例提出的另一种基于线性回归的双向视线方向估计装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于线性回归的双向视线方向估计方法和装置。

通常，脸部、或者是眼部有遮挡物时，造成视线跟踪结果不准确，从而影响视线跟踪在人机交互、虚拟现实及增强现实等领域的应用效果。

为了解决上述问题，本发明提出一种基于线性回归的双向视线方向估计方法，通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。具体如下：

图1是本发明实施例提出的一种基于线性回归的双向视线方向估计方法的流程示意图。

如图1所示，该基于线性回归的双向视线方向估计方法包括以下步骤：

步骤101，跟踪连续预定数量视频帧的双眼视线方向作为初始数据集。

具体地，不同人之间双眼的特征有所不同，如眼球位置。由此，不同人的视线方向不同。

为了进一步提高视线方向估计的准确性，需要获取连续预定数量视频帧中的不同人的视线方向数据进行训练。避免了预先训练静态模型，不能够更好适应更多人的双眼特征的缺点。

需要说明的是，连续预定数量的数值可以根据实际应用需要进行选择设置，比如连续7视频帧等。

更具体地，获取的双眼视线方向可以为双眼视线方向的球面坐标，将双眼视线方向的球面坐标构成初始数据集。其中，连续预定数量视频帧为有效视频帧，即可以正确跟踪视线方向。

为了本领域人员更加清楚如何将双眼视线方向的球面坐标构成初始数据集，下面以视频中前P个视频帧为例说明如下：

可以通过现有技术中的视线跟踪方法获取视频中前P个视频帧中的视线方向数据，这里的视频帧是有效帧即跟踪结果中不存在异常情况。两只眼睛的视线方向可用球面坐标分别表示为和其中，L和R分别代表左眼和右眼。

由此，P组双眼视线方向数据构成了初始数据集S°，表示为：

步骤102，根据初始数据集分别计算双眼间的两个视线方向的线性回归模型。

具体地，根据初始数据集分别计算双眼间的两个视线方向的线性回归模型的方式有很多种，可以根据需要选择设置。本实施例中，可以通过获取从左眼估算右眼的第一模型矩阵和获取从右眼估算左眼的第二模型矩阵，最后通过最小二乘法对第一模型矩阵和第二模型矩阵进行拟合得到两个视线方向的线性回归模型。

为了更清楚描述如何建立线性回归模型。继续以上述步骤101中的初始数据集为例说明。

具体地，第一模型矩阵为第一模型矩阵为其中M^L表示从左眼估算右眼的模型矩阵，M^R表示从右眼估算左眼的模型矩阵，二者均为3×3矩阵。由此，上述两个公式可以是含有M^L或M^R中9个参数的线性系统，进一步利用最小二乘法和初始数据集，便可得拟合出两个线性回归模型。

步骤103，对当前视频帧进行视线跟踪，如果视线跟踪结果异常，则通过线性回归模型进行视线方向估计。

具体地，当前视频帧指的是跟踪连续预定数量视频帧后面的其它任一视频帧。本发明可以分别单独处理每一视频帧的视线跟踪结果，并在结果异常时进行视线方向估计。

具体地，对当前视频帧进行视线跟踪时视线跟踪结果异常(比如一只眼睛无法获得其视线方向、视线跟踪结果错误等)，可以利用无法获得其视线方向的眼睛对应的线性回归模型和另一只眼睛的视线方向估算无法获得其视线方向的眼睛的视线方向，从而得到一个合理的双眼视线跟踪结果。

由此，在处理后续帧时即可使用某只眼睛的视线方向估计另一只眼睛的视线方向，从而达到处理异常视线跟踪结果的目的。为了更加清楚描述如何通过某只眼睛的视线方向估计另一只眼睛的视线方向，下面继续以步骤101和步骤102中的例子进行说明。

具体地，对于某只眼睛e(e∈{L,R})，若无法获得其视线方向或其视线跟踪结果明显错误，则根据另一只眼睛f(f∈{L,R},f≠e)的视线方向和估算e的线性回归模型M^f估算e的视线方向为：从而得到一个合理的双眼视线跟踪结果。

综上所述，本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。

图2是本发明实施例提出的另一种基于线性回归的双向视线方向估计方法的流程示意图。

如图2所示，该基于线性回归的双向视线方向估计方法包括以下步骤：

步骤201，跟踪连续预定数量视频帧的双眼视线方向作为初始数据集。

步骤202，根据初始数据集分别计算双眼间的两个视线方向的线性回归模型。

需要说明的是，步骤S201-S202的描述与上述步骤S101-S102相对应，因此对的步骤S201-S202的描述参考上述步骤S101-S102的描述，在此不再赘述。

步骤203，通过主成分分析法提取初始数据集的特征向量。

具体地，使用主成分分析法(PCA)提取初始数据集的特征向量构成PCA空间。

具体地，使用PCA方法提取步骤101中的初始数据集S°的特征向量为：

用于表示初始数据集的特征，能够避免更新过程中的数据爆炸问题，还为了利用后续视频帧的视线跟踪结果不断更新优化线性回归模型。

步骤204，对当前视频帧进行视线跟踪，如果视线跟踪结果异常，则通过线性回归模型和一只眼睛的视线方向进行视线方向估计。

步骤205，如果视线跟踪结果正常，则将当前视频帧的视线方向表示为特征向量加权和的形式。

步骤206，将当前视频帧的双眼视线方向更新到初始数据集中，并提取新的特征向量。

可以理解的是，在使用线性回归模型处理其他后续视频帧时，一方面要根据视线跟踪的结果决定是否使用线性回归模型进行视线方向估计，另一方面要利用更多数据更新线性回归模型和数据集，使估算结果更准确。

具体地，在进行处理之前，将后续使用的视线方向数据集定义为S，其特征向量为Z，并为其分别赋予初始值为S＝S°，Z＝Z°。下面为根据当前帧视线跟踪结果是否正常进行的不同步骤：

示例一：对于某只眼睛e(e∈{L,R})，若无法获得其视线方向或其视线跟踪结果明显错误，则根据另一只眼睛f(f∈{L,R},f≠e)的视线方向和估算e的线性回归模型M^f估算e的视线方向：从而得到一个合理的双眼视线跟踪结果。

示例二，若两只眼睛的视线跟踪结果均正常，则使用特征向量Z表示当前帧的视线方向G为G^z，即：

若误差大于容差ε，即：||G-G^z ₂>ε₂>ε。则表示当前帧的视线方向包含S中无法表达的双目视线特征，因此要将G加入S并重新使用最小二乘法拟合M^L和M^R以及重新使用PCA方法提取特征向量Z。

综上所述，本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，再通过主成分分析法提取初始数据集的特征向量，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计，在视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式，并将当前视频帧的双眼视线方向更新到初始数据集中，并提取新的特征向量。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性，以及利用后续视频帧的视线跟踪结果不断更新优化线性回归模型，进一步提高视线方向估计的准确性。

为了本领域人员能加清楚上述实施例的具体实施过程，下面结合具体例子举例说明如下：

具体地，在本实施例中包含两段人脸动作的视频，其中一段视频包含一段视频帧中一只眼睛前方有遮挡物，另一段视频包含一段帧序列中一只眼睛的跟踪结果出现明显错误。需要说明的是，为了展示整体人脸模型动画的结果，实施例中使用已重建好的三维人脸模型作为输入。

第一步，跟踪视频中连续若干视频帧的视线方向，取其中前P＝150个有效帧的跟踪结果，即双目视线方向的球面坐标和组成初始数据集S°。两段视频序列中各一帧的图像及视线跟踪结果的模型动画如图3和图4所示。

第二步，据初始数据集S°分别计算双眼间的两个线性回归模型M^L和M^R，由下式表示：和利用最小二乘法及初始数据集S°中的P组双目视线方向数据拟合出两个初始线性回归模型。接着，使用PCA方法提取S°的特征向量用于表示初始数据集的特征。

第三步，在处理后续视频帧之前，先将初始数据集S°和特征向量Z°赋值于S和Z。然后对当前帧进行视线跟踪。

具体地，第一种情况，视线跟踪结果异常，如眼睛前方有遮挡物无法获得视线方向(如图5中B所示)，或视线跟踪结果明显错误(图6中B所示)。在此情况下，为了估计右眼正确的视线方向使用从左眼到右眼的线性回归模型M^L和左眼的视线方向估计右眼的视线方向，即估算后的双目视线结果如图5和图6中的C所示。

具体地，第二种情况，视线跟踪结果正常，则将当前帧的视线方向G表示为Z中特征向量加权和的形式，即：然后计算如此表示后的误差e，即：||G-G^z ₂>ε||₂>ε。若e>ε＝0.05||G||，则将G加入S，并重新使用最小二乘法拟合M^L和M^R以及重新使用PCA方法提取特征向量Z。

需要说明的是，本实施例的方法的硬件PC配置；CPU：Intel(R)Core(TM)i7-47903.6GHz；内存：16G；操作系统：Windows 8。

综上所述，本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，再通过主成分分析法提取初始数据集的特征向量，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计，在视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式，并将当前视频帧的双眼视线方向更新到初始数据集中，并提取新的特征向量。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性，以及利用后续视频帧的视线跟踪结果不断更新优化线性回归模型，进一步提高视线方向估计的准确性。

为了实现上述实施例，本发明还提出一种基于线性回归的双向视线方向估计装置。

图7是本发明实施例提出的一种基于线性回归的双向视线方向估计装置的结构示意图。

如图7所示，该基于线性回归的双向视线方向估计装置包括：跟踪模块11、计算模块12和处理模块13。

其中，跟踪模块11，用于跟踪连续预定数量视频帧的双眼视线方向作为初始数据集。

计算模块12，用于根据初始数据集分别计算双眼间的两个视线方向的线性回归模型。

处理模块13，用于对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型和一只眼睛的视线方向进行视线方向估计。

在本发明的一个实施例中，连续预定数量视频帧为有效视频帧。

进一步地，在本发明实施例的一种可能的实现方式中，计算模块12用于：获取从左眼估算右眼的第一模型矩阵；获取从右眼估算左眼的第二模型矩阵；通过最小二乘法对第一模型矩阵和第二模型矩阵进行拟合得到两个视线方向的线性回归模型。

需要说明的是，前述对基于线性回归的双向视线方向估计方法实施例的解释说明也适用于本实施例的基于线性回归的双向视线方向估计装置，此处不再赘述。

综上所述，本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性。

为了清楚说明上一实施例，本实施例提供了另一种基于线性回归的双向视线方向估计装置。

图8是本发明实施例提出的另一种基于线性回归的双向视线方向估计装置的结构示意图。

如图8所示，在上一实施例的基础上，该装置还包括：提取模块14和更新模块15。

其中，提取模块14，用于通过主成分分析法提取初始数据集的特征向量。

处理模块13,还用于在视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式。

更新模块15，用于将当前视频帧的双眼视线方向更新到初始数据集中，并提取新的特征向量。

需要说明的是，前述对基于线性回归的双向视线方向估计方法实施例的解释说明也适用于本实施例的基于线性回归的双向视线方向估计装置，此处不再赘述。

综上所述，本发明实施例的基于线性回归的双向视线方向估计方法，通过跟踪连续预定数量视频帧的双眼视线方向作为初始数据集，并根据初始数据集分别计算双眼间的两个视线方向的线性回归模型，再通过主成分分析法提取初始数据集的特征向量，最后对当前视频帧进行视线跟踪，在视线跟踪结果异常时通过线性回归模型进行视线方向估计，在视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式，并将当前视频帧的双眼视线方向更新到初始数据集中，并提取新的特征向量。由此，通过将双眼视线方向存在的潜在关系拟合为线性回归模型，从而在进行视线跟踪的过程中若一只眼睛的跟踪结果异常或视线方向无法获得时利用线性回归模型和另一只眼睛的视线方向估计这一眼睛的视线方向，得到一个合理的双目视线方向结果，增加视线跟踪的鲁棒性，以及利用后续视频帧的视线跟踪结果不断更新优化线性回归模型，进一步提高视线方向估计的准确性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于线性回归的双向视线方向估计方法，其特征在于，包括以下步骤：

跟踪连续预定数量视频帧的双眼视线方向作为初始数据集；

根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型；

对当前视频帧进行视线跟踪，如果所述视线跟踪结果异常，则通过所述线性回归模型和一只眼睛的视线方向进行视线方向估计。

2.如权利要求1所述的方法，其特征在于，还包括:

通过主成分分析法提取所述初始数据集的特征向量；

如果所述视线跟踪结果正常，则将当前视频帧的视线方向表示为特征向量加权和的形式。

3.如权利要求2所述的方法，其特征在于，还包括：

将所述当前视频帧的双眼视线方向更新到所述初始数据集中，并提取新的特征向量。

4.如权利要求1所述的方法，其特征在于，所述连续预定数量视频帧为有效视频帧。

5.如权利要求1所述的方法，其特征在于，所述根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型，包括：

获取从左眼估算右眼的第一模型矩阵；

获取从右眼估算左眼的第二模型矩阵；

通过最小二乘法对所述第一模型矩阵和所述第二模型矩阵进行拟合得到所述两个视线方向的线性回归模型。

6.一种基于线性回归的双向视线方向估计装置，其特征在于，包括以下：

跟踪模块，用于跟踪连续预定数量视频帧的双眼视线方向作为初始数据集；

计算模块，用于根据所述初始数据集分别计算双眼间的两个视线方向的线性回归模型；

处理模块，用于对当前视频帧进行视线跟踪，在所述视线跟踪结果异常时通过所述线性回归模型和一只眼睛的视线方向进行视线方向估计。

7.如权利要求6所述的装置，其特征在于，还包括:

提取模块，用于通过主成分分析法提取所述初始数据集的特征向量；

所述处理模块,还用于在所述视线跟踪结果正常时将当前视频帧的视线方向表示为特征向量加权和的形式。

8.如权利要求7所述的装置，其特征在于，还包括：

更新模块，用于将所述当前视频帧的双眼视线方向更新到所述初始数据集中，并提取新的特征向量。

9.如权利要求6所述的装置，其特征在于，所述连续预定数量视频帧为有效视频帧。

10.如权利要求6所述的装置，其特征在于，所述计算模块用于：

获取从左眼估算右眼的第一模型矩阵；

获取从右眼估算左眼的第二模型矩阵；

通过最小二乘法对所述第一模型矩阵和所述第二模型矩阵进行拟合得到所述两个视线方向的线性回归模型。