CN111427451A - 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法 - Google Patents

Abstract

本发明公开了采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，属于眼动追踪技术领域。其通过3D扫描仪对三维场景进行三维扫描与建模，再采用眼动仪对三个不共线点进行定位，建立从眼动仪到扫描仪两者之间的坐标转换关系。然后根据眼动仪的虚拟平面注视点坐标与眼睛坐标建立注视直线方程，通过设置圆柱阈值得到视线点集合，再通过与眼睛距离最小，搜选出注视点，然后通过求解注视直线垂直平面方法，进一步求解更精确的三维注视点坐标，并给出了坐标的解析表达式，从而实现了对眼睛注视的三维场景准确快速追踪。该方法避免了传统方法的解算复杂与计算量庞大的缺点。

Description

采用扫描仪与眼动仪确定注视点在三维场景中位置的方法

技术领域

本发明涉及眼动追踪技术领域，特别涉及一种解决注视点位置在三维空间的解算方法。

背景技术

眼动追踪技术，又称视线追踪技术，目前主要应用于网页布局优化、场景研究、人机交互、虚拟现实、临床医学等领域。视线追踪目前都是依赖于眼动仪设备来实现的。目前市场上有头戴式和遥测式眼动仪两类。头戴式眼动仪需要在头部佩带头盔或眼睛上佩带眼镜，给被试增加了一定的负担。遥测式眼动仪无需给被试佩带任何装置，对被试的干扰性小，可以检测到被试自然状态的眼动数据。

视线追综最关键的技术是要确定注视点在兴趣区的具体位置。这就需要明确两方面的内容：一是确定被试的视线方向，二是根据视线方向确定注视点在所观察的兴趣区的具体位置，而要完成这项内容，需要明确被试眼睛、眼动摄像头、兴趣区的相互位置关系，即建立统一的坐标系。目前，眼动追踪技术中确定视线方向的方法包括眼电图法、电磁感应法、双普金野法、虹膜-巩膜边缘法、角膜反射法等，目前最常用的是瞳孔角膜反射法。而最终如何依据视线方向，确定注视点在场景中的具体位置是至关重要的一步。

头戴式眼动仪头盔上设置有两个摄像机，一个为红外光瞳孔摄像机，另一个为场景普通摄像机。红外瞳孔摄像机将眼睛的视频图像经数字化及瞳孔中心定位后与场景摄像机得到的视场视频信号一起送入控制单元进行同步叠加、进行注视点的标定(建立统一坐标系)及视场匹配，从而确定注视点在场景中的位置，检测过程中，场景摄像头相对于兴趣区的位置是时刻在变化的。遥测单一摄像头的检测范围目前大多局限于平面场景中兴趣区的检测，在检测过程中，摄像头和兴趣区场景的相对位置是固定的。

不管哪类眼动仪，都必须建立场景模型，该模型建立的精确与否直接会影响到注视点的定位精度。目前场景模型的建立主要有场景摄像机进行同步拍摄，拍摄建立场景模型。该种方法导致了后续分析时，需要面对巨量的眼动数据；遥测式单个摄像头眼动仪与平面场景的位置相对固定,通过标定过程就完成了场景模型的建立，即标定眼动仪、被观测物体与测试对象之间的相对位置关系，建了基于眼动仪的坐标系。目前多个摄像头的遥测式眼动仪种类较少，均为国外品牌。如澳大利亚公司的Facelab遥测式眼动仪包括两个独立的摄像头，通过一块标定板及标定过程建立统一的世界坐标系及场景模型。美国公司的SmartEye多摄像头眼动仪是一种是一款可以扩展到多个摄像头的遥测式眼动仪，大大增加了眼动仪检测的视野范围。Smart Eye配有一台场景摄像头，用于场景模型的建立，通过将场景与多个摄像头跟踪的眼动数据叠加，建立世界坐标系。

基于以上背景，本发明提供一种采用3D扫描建立场景模型，最终确定的注视点在x,y,z三个轴向的坐标的方法。该方法可以避免已有方法对巨量眼动数据进行解算标定的麻烦。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，进而至少在一定程度上客服由于相关技术的限制和缺陷而导致的复杂飞行器运动过程乘员加速度测量困难或者真实测量经济费用太高的问题。

本发明提供了采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，包括如下步骤：

步骤S10：选取合适位置假设3D扫描仪，在被扫描对象上贴上定位标点，采用3D扫描仪进行扫描，建立描固定坐标系与初步的三维场景模型，得到三维空间数字化描述；

步骤S20：设置眼动仪，根据眼动仪建立眼动仪坐标系，并通过眼动仪对所述定位标点的扫描，同时选取三个不在一条直线上的点，根据眼动仪数据与3D扫描仪数据，建立过渡矩阵以及飞行器模拟座舱全局坐标系；

步骤S30，根据眼动仪的眼睛坐标与虚平面注视点坐标，建立注视方向的直线方程；

步骤S40，根据所述的直线方程，任选点云中点坐标，求解点云中所选点到注视方向直线的距离；设置视线圆柱阈值，得到满足距离条件的部分点的集合；

步骤S50，根据所述的满足视线圆柱阈值条件的视线圆柱点集合，求解所有点到眼睛的距离，并求解距离最近点的坐标；

步骤S60，根据所述的最近点坐标，求解视线直线的垂直平面，再由垂直平面表达式求解视线投影点坐标，得到所需的三维注视点坐标。

在本发明的一种示例实施例中，选取合适位置假设3D扫描仪，在被扫描对象上贴上定位标点，采用3D扫描仪进行扫描，建立描固定坐标系与初步的三维场景模型，得到三维空间数字化描述包括：

首先，在选定的三维空间(以三维座舱为例)座舱上贴上定位标点(定位标点为带有荧光物质的贴纸)，定位标点之间的平均距离在5-10厘米，相对均匀地贴在三维座舱表面。然后，采用扫描仪对定位标点位置进行扫描，建立飞行器模拟座舱的初步三维模型。最后，3D激光扫描仪在扫描时，会以扫描仪与定位标点的相对位置固定一个坐标系，该固定坐标系记作扫描固定坐标系，所扫描出来的三维模型中的点都基于该扫描固定坐标系，最后得到三维座舱所有点在扫描固定坐标系中的坐标。并将三维座舱所有的点称作点云。

在本发明的一种示例实施例中，根据眼动仪数据与3D扫描仪数据，建立过渡矩阵以及飞行器模拟座舱全局坐标系包括：

首先，采用眼动仪对上述三点进行扫描，选取待转换坐标系(眼动仪坐标系)下的三个不在一条直线上的点，得到待转换坐标系下三个向量坐标为α₁＝(x₁ x₂ x₃)^T，α₂＝(x₂y₂ z₂)^T，α₃＝(x₃ y₃ z₃)^T。

其次，通过扫描仪对上述三点进行扫描获得其在扫描固定坐标系中的坐标，记作β₁＝(x′₁ y′₁ z′₁)^T，β₂＝(x′₂ y′₂ z′₂)^T，β₃＝(x′₃ y′₃ z′₃)^T。

然后，通过下面矩阵变换求解两个坐标系之间的转换矩阵T如下：

T＝(β₁ β₂ β₃)(α₁ α₂ α₃)^-1；

最后，根据转换矩阵，将其余眼动仪的眼动数据坐标乘以相应的转换矩阵，即可完坐标统一与转换，将坐标统一到全局坐标系(即扫描固定坐标系)中。

在本发明的一种示例实施例中，根据眼动仪的眼睛坐标与虚平面注视点坐标，建立注视方向的直线方程包括：根据眼动仪得到眼睛与虚平面注视点的实时坐标(x₁,y₁,z₁)与(x₂,y₂,z₂)，然后根据两点确定一条直线的公式，建立视线直线的方程如下：

其中(x,y,z)为视线方程的未知量，也是空间中所有在视线方向点的坐标。

在本发明的一种示例实施例中，根据所述的直线方程，任选点云中点坐标，求解点云中所选点到注视方向直线的距离，设置视线圆柱阈值，得到满足距离条件的部分点的集合包括：

首先，如图3所示，设任意点云一个点坐标P(x^*,y^*,z^*)，眼睛坐标 P₁(x₁,y₁,z₁)，直线方向向量l＝(x₂-x₁,y₂-y₁,z₂-z₁)＝(Δx,Δy,Δz)，单位方向向量为

按照下式求取点P(x^*,y^*,z^*)到直线的距离为：

然后，设置视线圆柱阈值为ε，当点云中的点所求的到视线直线距离d≤ε时，认为该点在视线圆柱上。最后，根据上述视线圆柱阈值判断方法，求解所有满足视线圆柱阈值条件的点，组成视线圆柱点集合。

在本发明的一种示例实施例中，根据所述的满足视线圆柱阈值条件的视线圆柱点集合，求解所有点到眼睛的距离，并求解距离最近点的坐标包括：

首先，由视线的非穿透性，在上一步找到的满足距离条件的点中，找到离眼睛最近的点，即找到向量

在直线l上投影最小的点，如图4，

为向量

的投影长度p，以下公式计算投影长度p：

其次，在上述投影长度的计算方法下，找到视线圆柱点集合中，投影长度最短的点，记作注视点，其坐标为P(x^o,y^o,z^o)。

在本发明的一种示例实施例中，根据所述的最近点坐标，求解视线直线的垂直平面，再由垂直平面表达式求解视线投影点坐标，得到所需的三维注视点坐标包括：

首先，由直线方向向量l＝(x₂-x₁,y₂-y₁,z₂-z₁)＝(Δx,Δy,Δz)，得到如下垂直平面方程，其设其描述如下：

Δx·x+Δy·y+Δz·z+D＝0；

式中D为一常数。

其次，由于该平面过点P，将点P带入上式，求解得到常数D：

D＝-(Δx·x^o+Δy·y^o+Δz·z^o)；

最后，由视线直线方程与该垂直平面方程联立求解得到的交点，即为所需找到的投影点P′，假设交点坐标为(x′,y′,z′)。联立上两式，即可求解得到x′,y′,z′如下：

至此，本发明提供了一种用3D扫描仪建立场景模型和空间透射法相结合的方法来确定注视点在三维空间位置的方法，确定的每个注视点在三维场景中坐标(x′,y′,z′)的方法。

有益效果

本发明所提供的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法。该方法的优点有四：其一通过设置实现圆柱阈值的方法，能够有效地避免直接待入直线方程二产生的漏解问题；其二通过空间透视法选取到观察者眼睛距离最小的点确定注视点的方法，能快速有效地在众多备选点中找到精准的注视点；其三通过以视线角向量作垂直平面的方法，能进一步深入细致地对注视点进行准确分割，使得所求解的三维空间注视点更加精确。最后一点是通过不共线三点建立三维矩阵变换，能够有效地将扫描仪与眼动仪两者数据统一到一个全局坐标系中，使得处理更加方便快捷。因此，本发明所提供方法在眼动跟踪领域具有极为广泛的应用，而且具有很高的实用价值。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法的设计实施流程图；

图2是本发明实施例所提供方法的眼睛、虚拟平面与注视点三者位置示意图；

图3是本发明实施例所提供方法的求解点P到视线距离示意图；

图4是本发明实施例所提供方法的求解

投影长度p的示意图；

图5是本发明实施例所提供方法的采用垂直平面求解三维注视点示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

本发明采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其首先通过假设3D扫描仪与眼动仪对三维空间进行扫描建模，然后通过不共线的三点的坐标变换，得到扫描仪固定坐标系与眼动仪坐标系两者的转换矩阵，然后通过眼动仪实时的视线数据建立视线方程，并通过设置圆柱阈值避免解遗漏，在通过到眼睛距离最短法则实现空间透视法，最后进一步通过求解视线方向垂面的方式进一步精确求解三维空间注视点，从而得到注视点坐标的解析表达式，实现三维空间视线的准确追踪。该方法在视线追踪领域具有极广阔的应用，以及具有极强的工程实用价值。

以下，将结合附图对本发明实例实施例中提及的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法进行解释以及说明。参考图1所示，采用扫描仪与眼动仪确定注视点在三维场景中位置的方法可以包括以下步骤：

本发明实施例的目的在于提供一种注视点位置在三维场景中的确定方法，进而至少在一定程度上客服由于相关技术的限制和缺陷而导致的眼动数据标定与处理费时与计算复杂问题。

本发明提供了一种注视点位置在三维场景中的确定方法，包括如下步骤：

步骤S10：选取合适位置假设3D扫描仪，在被扫描对象上贴上定位标点，采用3D扫描仪进行扫描，建立描固定坐标系与初步的三维场景模型，得到三维空间数字化描述；

为了确定三维场景中人眼注视点坐标，需要对三维场景进行精确建模。本发明场景建模主要通过3D扫描技术来实现。对场景进行三维建模，将整个三维空间数字化，得到该场景的三维模型。

场景三维建模主要通过3D激光扫描仪完成，3D激光扫描仪具有较高的精度和分辨率，本案例中采用HandySCAN激光扫描仪，其具有极高的可重复性。本案例中以飞行器模拟座舱为例，进行三维建模。

具体的，首先把座舱贴上定位标点(定位标点为带有荧光物质的贴纸)，定位标点之间的平均距离在5-10厘米，相对均匀地贴在三维座舱表面。然后，采用扫描仪对定位标点位置进行扫描，建立飞行器模拟座舱的初步三维模型。

3D激光扫描仪在扫描时，会以扫描仪与定位标点的相对位置固定一个坐标系，该固定坐标系记作扫描固定坐标系，所扫描出来的三维模型中的点都基于该扫描固定坐标系。最后得到三维座舱所有点在扫描固定坐标系中的坐标。并将三维座舱所有的点称作点云。

步骤S20：设置眼动仪，根据眼动仪建立眼动仪坐标系，并通过眼动仪对所述定位标点的扫描，同时选取三个不在一条直线上的点，根据眼动仪数据与3D扫描仪数据，建立过渡矩阵以及飞行器模拟座舱全局坐标系；

眼动仪本身将会给出人眼的坐标与人眼在虚拟平面上的注视点坐标 (图2)，该坐标建立在眼动仪坐标系中，该坐标系记为眼动仪坐标系。扫描固定坐标系与眼动仪坐标系并不统一。所以后续的三维模型全局坐标的转换是非常重要的一步。我们将完成两个坐标系的统一，这样可以大大简化和方便后续的测算。

当眼动仪摄像头摆放妥当，3D扫描仪扫描完成之后，两个坐标系将不会发生改变的。在三维场景扫描时，就将眼动仪固定并作为场景内的物体扫入三维模型当中。

本案例中是以带一个摄像头的眼动仪坐标系作为全局坐标系，将三维模型及数据都转换到全局坐标系中。待求的过渡矩阵为3×3的矩阵。为了得到过渡矩阵，需要得到待转换坐标系的一组值在全局坐标系下的值。

具体的，在实现时，首先选取待转换坐标系(即眼动仪坐标系)下的三个不在一条直线上的点，通过眼动仪，获取其在待转换坐标系下的坐标向量。设待转换坐标系(即眼动仪坐标系)下的三个向量坐标为α₁＝(x₁ x₂ x₃)^T，α₂＝(x₂ y₂ z₂)^T，α₃＝(x₃ y₃ z₃)^T。

其次，通过3D扫描仪，对上述三点进行扫描，并获取其在全局坐标系(即扫描固定坐标系)中的向量坐标，记作β₁＝(x′₁ y′₁ z′₁)^T，β₂＝(x′₂ y′₂ z′₂)^T，β₃＝(x′₃ y′₃ z′₃)^T。

最后，通过下面矩阵变换求解两个坐标系之间的转换矩阵。假设转换矩阵为T如下：

则有以下关系：

T(α₁ α₂ α₃)＝(β₁ β₂ β₃)；

其中(α₁ α₂ α₃)，(β₁ β₂ β₃)均为已知量，可以通过求逆矩阵，按照下式解出T的值如下：

T＝(β₁ β₂ β₃)(α₁ α₂ α₃)^-1；

为了精确获得待转换坐标系下三个不在同一直线上的点的坐标和这些点在全局坐标系下的坐标，本发明例使用了高精度3D扫描仪对工作环境进行3D扫描和精确建模，获取眼动仪的空间位置关系。

在3D模型中，眼动仪建立自己的坐标系。选取三个不在同一直线上的点，获取它们在眼动仪坐标系下的坐标代入T(α₁ α₂ α₃)＝(β₁ β₂ β₃)，即可计算出三维模型数据到眼动仪的转换矩阵。

最后，根据转换矩阵，将其余眼动仪的眼动数据坐标乘以相应的转换矩阵，即可完成全局坐标系下的坐标统一与转换。

步骤S30，根据眼动仪的眼睛坐标与虚平面注视点坐标，建立注视方向的直线方程；

3D扫描三维场景建模后，如何问题式由注视点位置确定到三维场景中。本专利采用空间透射法来确定注视点位置。由于人眼的视线是一条直线，所以在已知的人眼坐标与注视点坐标之间做一条直线，并顺着人眼到注视点的方向将该直线延长出去至三维空间中。三维模型本质上是一个个位置坐标点的集合，而且人眼注视点只会落到三维物体的表面，因此需要找到过该直线(或者与该直线足够近)且距离眼睛最近的坐标点即可，如图2所示。

具体的，首先根据眼动仪得到眼睛与虚平面注视点的实时坐标，分别记作(x₁,y₁,z₁),(x₂,y₂,z₂)，然后根据两点确定一条直线的公式，建立视线直线的方程如下：

其中(x,y,z)为视线方程的未知量，也是空间中所有在视线方向点的坐标。

步骤S40，根据所述的直线方程，任选点云中点坐标，求解点云中所选点到注视方向直线的距离；设置视线圆柱阈值，得到满足距离条件的部分点的集合；

根据上一步得到的视线方程，此时，理论上可以将点云中所有点的坐标点带入该方程，看是否满足该方程。由于这些点云的坐标数值精度较高，极有可能没有任何点正好过该直线。所以我们需要将这条直线变“粗”，将本质上为直线的视线，转变为“视线圆柱”，而落在该“圆柱”内的点，视为满足要求的点。所以我们需要设一个阈值，即“圆柱”的半径，计算出点云中的点到该直线的距离，距离小于该阈值的，则判定该点处于人眼视线上。

具体的，首先如图3所示，设任意点云一个点坐标P(x^*,y^*,z^*)，眼睛坐标P₁(x₁,y₁,z₁)，直线方向向量l＝(x₂-x₁,y₂-y₁,z₂-z₁)＝(Δx,Δy,Δz)，单位方向向量为

则点P(x^*,y^*,z^*)到直线距离公式为：

然后，设置视线圆柱阈值为ε，当点云中的点所求的到视线直线距离 d≤ε时，认为该点在视线圆柱上。

最后，根据上述视线圆柱阈值判断方法，求解所有满足视线圆柱阈值条件的点，组成视线圆柱点集合。

步骤S50，根据所述的满足视线圆柱阈值条件的视线圆柱点集合，求解所有点到眼睛的距离，并求解距离最近点的坐标。

具体的，首先，由于视线的非穿透性，在上一步找到的满足距离条件的点中，需找到离眼睛最近的点，即找到向量

在直线l上投影最小的点，如图4，

为向量

的投影长度p，投影长度p用以下公式计算：

其次，在上述投影长度的计算方法下，找到视线圆柱点集合中，投影长度最短的点，记作注视点，其坐标为P(x^o,y^o,z^o)。

步骤S60，根据所述的最近点坐标，求解视线直线的垂直平面，再由垂直平面表达式求解视线投影点坐标，得到所需的三维注视点坐标

如图5所示，上一步找到了三维模型中的注视点P(x^o,y^o,z^o)后，由于这个点可能并不是正好在人眼视线直线上，而是在“视线圆柱”内，为了使得结果更精确，使注视点落在视线直线上，可以找到该点在视线直线的投影点P′(x′,y′,z′)，而该投影点P′即为最终所需要找到的三维注视点。

具体的，首先找到垂直于视线直线的平面，由视线直线方程可以得到垂直平面方程，其设其描述如下：

Δx·x+Δy·y+Δz·z+D＝0；

式中D为一常数。由于该平面过点P，所以将点P带入上式，可以得到常数D：

D＝-(Δx·x^o+Δy·y^o+Δz·z^o)；

由视线直线方程与该垂直平面方程联立求解得到的交点，即为所需找到的投影点P′，假设其坐标为(x′,y′,z′)。联立上两式，得到x′,y′,z′如下：

至此，本发明提供了一种用3D扫描仪建立场景模型和空间透射法相结合的方法来确定注视点在三维空间位置的方法，确定的每个注视点坐标为x,y,z三维坐标。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (7)

1.采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，包括以下步骤：

步骤S10：选取合适位置假设3D扫描仪，在被扫描对象上贴上定位标点，采用3D扫描仪进行扫描，建立描固定坐标系与初步的三维场景模型，得到三维空间数字化描述；

步骤S20：设置眼动仪，根据眼动仪建立眼动仪坐标系，并通过眼动仪对所述定位标点的扫描，同时选取三个不在一条直线上的点，根据眼动仪数据与3D扫描仪数据，建立过渡矩阵以及飞行器模拟座舱全局坐标系；

步骤S30，根据眼动仪的眼睛坐标与虚平面注视点坐标，建立注视方向的直线方程；

步骤S40，根据所述的直线方程，任选点云中点坐标，求解点云中所选点到注视方向直线的距离；设置视线圆柱阈值，得到满足距离条件的部分点的集合；

步骤S50，根据所述的满足视线圆柱阈值条件的视线圆柱点集合，求解所有点到眼睛的距离，并求解距离最近点的坐标；

步骤S60，根据所述的最近点坐标，求解视线直线的垂直平面，再由垂直平面表达式求解视线投影点坐标，得到所需的三维注视点坐标。

2.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，选取合适位置假设3D扫描仪，在被扫描对象上贴上定位标点，采用3D扫描仪进行扫描，建立描固定坐标系与初步的三维场景模型，得到三维空间数字化描述包括：

首先，在选定的三维空间(以三维座舱为例)座舱上贴上定位标点(定位标点为带有荧光物质的贴纸)，定位标点之间的平均距离在5-10厘米，相对均匀地贴在三维座舱表面。然后，采用扫描仪对定位标点位置进行扫描，建立飞行器模拟座舱的初步三维模型。最后，3D激光扫描仪在扫描时，会以扫描仪与定位标点的相对位置固定一个坐标系，该固定坐标系记作扫描固定坐标系，所扫描出来的三维模型中的点都基于该扫描固定坐标系，最后得到三维座舱所有点在扫描固定坐标系中的坐标。并将三维座舱所有的点称作点云。

3.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，根据眼动仪数据与3D扫描仪数据，建立过渡矩阵以及飞行器模拟座舱全局坐标系包括：

首先，采用眼动仪对上述三点进行扫描，选取待转换坐标系(眼动仪坐标系)下的三个不在一条直线上的点，得到待转换坐标系下三个向量坐标为α₁＝(x₁ x₂ x₃)^T，α₂＝(x₂ y₂z₂)^T，α₃＝(x₃ y₃ z₃)^T。

其次，通过扫描仪对上述三点进行扫描获得其在扫描固定坐标系中的坐标，记作β₁＝(x′₁ y′₁ z′₁)^T，β₂＝(x′₂ y′₂ z′₂)^T，β₃＝(x′₃ y′₃ z′₃)^T。

然后，通过下面矩阵变换求解两个坐标系之间的转换矩阵T如下：

T＝(β₁ β₂ β₃)(α₁ α₂ α₃)^-1；

最后，根据转换矩阵，将其余眼动仪的眼动数据坐标乘以相应的转换矩阵，即可完坐标统一与转换，将坐标统一到全局坐标系(即扫描固定坐标系)中。

4.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，根据眼动仪的眼睛坐标与虚平面注视点坐标，建立注视方向的直线方程包括：根据眼动仪得到眼睛与虚平面注视点的实时坐标(x₁,y₁,z₁)与(x₂,y₂,z₂)，然后根据两点确定一条直线的公式，建立视线直线的方程如下：

其中(x,y,z)为视线方程的未知量，也是空间中所有在视线方向点的坐标。

5.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，根据所述的直线方程，任选点云中点坐标，求解点云中所选点到注视方向直线的距离，设置视线圆柱阈值，得到满足距离条件的部分点的集合包括：

首先，如图3所示，设任意点云一个点坐标P(x^*,y^*,z^*)，眼睛坐标P₁(x₁,y₁,z₁)，直线方向向量l＝(x₂-x₁,y₂-y₁,z₂-z₁)＝(Δx,Δy,Δz)，单位方向向量为

按照下式求取点P(x^*,y^*,z^*)到直线的距离为：

然后，设置视线圆柱阈值为ε，当点云中的点所求的到视线直线距离d≤ε时，认为该点在视线圆柱上。最后，根据上述视线圆柱阈值判断方法，求解所有满足视线圆柱阈值条件的点，组成视线圆柱点集合。

6.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，根据所述的满足视线圆柱阈值条件的视线圆柱点集合，求解所有点到眼睛的距离，并求解距离最近点的坐标包括：

首先，由视线的非穿透性，在上一步找到的满足距离条件的点中，找到离眼睛最近的点，即找到向量

在直线l上投影最小的点，如图4，

为向量

的投影长度p，以下公式计算投影长度p：

其次，在上述投影长度的计算方法下，找到视线圆柱点集合中，投影长度最短的点，记作注视点，其坐标为P(x^o,y^o,z^o)。

7.根据权利要求1所述的所述的采用扫描仪与眼动仪确定注视点在三维场景中位置的方法，其特征在于，根据所述的最近点坐标，求解视线直线的垂直平面，再由垂直平面表达式求解视线投影点坐标，得到所需的三维注视点坐标包括：

首先，由直线方向向量l＝(x₂-x₁,y₂-y₁,z₂-z₁)＝(Δx,Δy,Δz)，得到如下垂直平面方程，其设其描述如下：

Δx·x+Δy·y+Δz·z+D＝0；

式中D为一常数。

其次，由于该平面过点P，将点P带入上式，求解得到常数D：

D＝-(Δx·x^o+Δy·y^o+Δz·z^o)；

最后，由视线直线方程与该垂直平面方程联立求解得到的交点，即为所需找到的投影点P′，假设交点坐标为(x′,y′,z′)。联立上两式，即可求解得到x′,y′,z′如下：

至此，通过3D扫描仪建立场景模型和空间透射法相结合的方法，根据上述公式可以实现眼睛注视点在三维场景中坐标(x′,y′,z′)的实时准确解算。

Images