CN115826766B - 基于显示模拟器的眼动目标获取装置、方法和系统 - Google Patents

Abstract

本说明书本文件涉及数据处理领域，公开了一种基于显示模拟器的眼动目标获取装置、方法和系统，通过结合眼动仪及显示设备辅助定位边框，建立各标记图像与模拟图像的坐标映射关系；使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。本发明通过对显示设备设置辅助定位边框，通过映射可快速获取人眼注视目标位置，降低计算成本，并为每个屏幕设置显示设备辅助定位边框，实现多屏幕的眼动目标定位，为眼动数据的分析提供了依据。

Description

基于显示模拟器的眼动目标获取装置、方法和系统

技术领域

本文件涉及数据处理领域，尤其涉及一种基于显示模拟器的眼动目标获取装置、方法和系统。

背景技术

随着虚拟现实技术的发展，模拟器在培训和科研中的应用越来越广泛。模拟器不仅可以模拟真实使用环境和仿真各项操作的流程，而且方便自动进行各种考核评估。既能够评估操作步骤是否正确，甚至还可以评估使用者的感知和决策过程，如考核使用者的注意力分配和应激响应时间。比如驾驶模拟器，在高速道路场景会评估是否有注意力转移到非驾驶任务，在城市街道场景会评估从行人和非机动车突然出现到驾驶员采取避险操作的应激响应时间。

而飞行模拟器，由于能够提升训练效率、降低培训成本，以及模拟各种飞行环境，在飞行员培训过程中使用尤其广泛。飞行任务由于其操作更加复杂，需要关注的视角更大、仪表更多，对应激响应时间的要求也更高，因此对操作员注意力的持续跟踪显得尤其重要。

眼动行为是心理活动的外在的表现，眼动指标的时空特性能够表征人观察和信息搜索过程中的行为。因此，眼动作为直接反映注意力分配状况的指标，已大量应用在模拟训练的评估与考核中。

对于单显示器的模拟设备，使用屏幕式的眼动仪，将眼动仪贴在显示器下方即可追踪在显示器上的眼动数据。不过屏幕式眼动仪支持的屏幕尺寸有限，如Tobii Pro系列眼动仪最大支持24寸显示器；且使用屏幕式眼动仪时头部的活动范围有限。因此，对于较大场景的模拟器，尤其是多屏显示设备，则屏幕式的眼动仪不再适用。

眼镜式眼动仪允许用户自由移动并与环境自然地交互，可以使用在较大的场景中。眼镜式眼动仪前方有一个场景摄像机，通过算法将人的眼动数据往场景摄像机拍摄视角中进行映射，因此可以追踪在场景摄像机拍摄画面中人的眼动数据。模拟训练时，使用者佩戴眼镜式眼动仪，可以在眼动仪的场景摄像机拍摄画面中看到操作员的关注位置，从而评估紧急事件发生时操作员的响应操作是否得当，并计算应激响应时间等量化指标。

现有技术中只能将眼动仪与对应的平面目标建立映射，可准确追踪的图像尺寸有限，且无法支持跨屏幕或屏幕不是单纯一个平面的目标位置追踪。

发明内容

本说明书提供了一种基于显示模拟器的眼动目标获取装置，用以解决现有技术中只能将眼动仪与对应的平面目标建立映射，可准确追踪的图像尺寸有限，且无法支持跨屏幕或屏幕不是单纯一个平面的目标位置追踪的问题，所述装置包括：

眼动仪、图像采集设备、显示设备和显示设备辅助定位边框；

所述眼动仪，用于获取使用者的注视目标位置；

所述图像采集设备，用于获取使用者的视野图像；

所述显示设备，用于显示模拟图像，提供模拟场景；

所述显示设备辅助定位边框，配置为设置于显示设备四周的标记图像，并记录标记图像与模拟图像的第一相对位置；用于基于标记图像处于视野图像中的位置，通过所述第一相对位置确定注视目标位置处于模拟图像中的位置坐标。

在一些优选的实施方式中，所述显示设备辅助定位边框，基于多个标记图像排列构建，每个标记图像储存的信息包括标记图像的ID，和当前标记图像在对应的模拟图像坐标系中的第一相对位置。

在一些优选的实施方式中，所述标记图像为二维码或预先设定了方向与ID的图像。

在一些优选的实施方式中，所述标记图像，其尺寸满足，，，其中K表示标记图像尺寸，W和H分别表示显示设备屏幕边框的宽和高，k表示操作台至显示设备的距离上能够成功识别的标记图像的最小尺寸，I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。

本发明的第二方面，提出一种基于显示模拟器的眼动目标获取方法，所述目标获取方法通过上述的基于显示模拟器的眼动目标获取装置实施，具体包括：

使眼动仪、视野图像与显示设备的模拟图像时间同步；

步骤S100，建立各标记图像与模拟图像的坐标映射关系；

步骤S200，使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；

步骤S300，基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；

步骤S400，基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

在一些优选的实施方式中，所述步骤S100，具体包括：

步骤S110，对于显示设备的屏幕A，设定所述标记图像与模拟图像的坐标映射关系F为：

，，……，,，……，，其中，屏幕A相对坐标范围为到，，，，；I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。

在一些优选的实施方式中，所述步骤S300，具体包括：

步骤S310，实时扫描出现在视野图像中的标记图像，获得出现的标记图像ID；

步骤S320，当获得的出现的标记图像ID不小于预设的个数时，基于所述出现的标记图像ID调取对应的标记图像与模拟图像的坐标映射关系，记为出现的标记映射关系；

步骤S330，基于所述出现的标记映射关系，计算变换矩阵T；

步骤S340，基于所述变换矩阵T，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在模拟图像的坐标。

在一些优选的实施方式中，所述所述变换矩阵T，基于注视目标位置通过透视变换、薄板样条插值变换或单应性矩阵中任一种方法，计算注视目标位置与标记图像的第二相对位置，基于所述第二相对位置和出现的标记映射关系构建。

在一些优选的实施方式中，所述显示设备，包括由多个屏幕构成的多屏显示设备，每个屏幕四周均设置有显示设备辅助定位边框。

在一些优选的实施方式中，所述多屏显示设备，多个屏幕为均处于同一平面上，或各屏幕均朝向使用者各屏幕间呈预设角度。

在一些优选的实施方式中，当所述显示设备为多屏显示设备时，步骤S100中，所述标记图像与模拟图像的坐标映射关系具体包括标记图像归属的屏幕ID，和标记图像与其归属的屏幕ID中模拟图像的映射关系；

将标记图像根据屏幕ID进行分组，得到屏幕相对坐标集合，和与屏幕相对坐标集合一一对应的模拟图像坐标集合，将屏幕相对坐标集合和模拟图像坐标集合建立映射关系。

在一些优选的实施方式中，当所述显示设备为多屏显示设备时，步骤S300替换为步骤S300B，所述步骤S300B具体包括：

步骤S310B，实时扫描出现在视野图像中，获得属于同一屏幕的出现的标记图像ID；

步骤S320B，当同一屏幕的出现的标记图像ID不小于预设的个数时，基于所述同一屏幕的出现的标记图像ID，调取对应的标记图像与模拟图像的坐标映射关系，即为当前屏幕出现的标记映射关系；

步骤S330B，基于所述当前屏幕出现的标记映射关系，计算当前屏幕的变换矩阵；

步骤S340B，基于所述当前屏幕的变换矩阵，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在当前屏幕的模拟图像的坐标；

步骤S350B，判断所述注视目标位置在当前屏幕的模拟图像的坐标是否在坐标范围（0，1）范围内；若在，则记录当前屏幕的模拟图像的坐标为最终确定的注视目标位置在模拟图像的坐标；若不在，进入步骤S360B；

步骤S360B，重复步骤S310B-步骤S350B的方法，轮询各屏幕并计算目标屏幕位置在模拟图像的坐标，直至出现注视目标位置在当前屏幕的模拟图像的坐标在坐标范围（0，1）范围内，获得最终确定的注视目标位置在模拟图像的坐标；若遍历所有屏幕目标位置在当前屏幕的模拟图像的坐标均不在坐标范围（0，1）范围内，则判断为用户未注视屏幕。

本发明的第三方面，提出一种基于显示模拟器的眼动目标获取系统，所述系统基于上述的基于显示模拟器的眼动目标获取装置实施，所述系统包括：

时间校准模块，配置为使眼动仪、视野图像与显示设备的模拟图像时间同步；

映射建立模块，配置为建立各标记图像与模拟图像的坐标映射关系；

注视目标获取模块，配置为使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；

目标位置转换模块，配置为基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；

训练评价模块，配置为基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

（1）本发明通过对显示设备设置辅助定位边框，通过映射可快速获取人眼注视目标位置，降低计算成本。

（2）本发明通过对多屏幕显示设备的每个屏幕设置显示设备辅助定位边框，能够实现眼动仪在多个屏幕间快速获取准确的目标位置和注视的时间，更为眼动数据的分析提供了准确依据，可以进一步开发应激响应等各种自动评估系统。

（3）本发明通过设置显示设备辅助定位边框，解决了单纯使用目标检测算法定位时，当模拟器显示的模拟图像出现颜色、纹理变化而导致鲁棒性较差的问题。

（4）本发明通过设置显示设备辅助定位边框，实现了在存在部分遮挡的情况下，仍能对眼动仪的注视目标进行精确的位置提取。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书一实施例提供的显示设备辅助定位边框的效果示意图；

图2为本说明书二实施例提供的基于显示模拟器的眼动目标获取方法的流程示意图；

图3为本说明书三实施例提供的多个屏幕构成的多屏显示设备的效果示意图；

图4为本说明书四实施例提供的基于显示模拟器的眼动目标获取系统的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书一实施例提供的一种基于显示模拟器的眼动目标获取装置中显示设备辅助定位边框的效果示意图，参见图1，所述基于显示模拟器的眼动目标获取装置具体包括如下部件：

眼动仪、图像采集设备、显示设备和显示设备辅助定位边框；

所述眼动仪，用于获取使用者的注视目标位置；

所述图像采集设备，用于获取使用者的视野图像；

所述显示设备，用于显示模拟图像，提供模拟场景；

所述显示设备辅助定位边框，配置为设置于显示设备四周的标记图像，并记录标记图像与模拟图像的第一相对位置；用于基于标记图像处于视野图像中的位置，通过所述第一相对位置确定注视目标位置处于模拟图像中的位置坐标。

在本实施例中，所述显示设备辅助定位边框，基于多个标记图像排列构建，每个标记图像储存的信息包括标记图像的ID，和当前标记图像在对应的模拟图像坐标系中的第一相对位置。

在本实施例中，所述标记图像为二维码或预先设定了方向与ID的图像。现有的眼动仪配合定制开发的目标识别技术能够做到识别屏幕边框从而对边框内的注视位置进行定位，但是由于模拟器内容涉及各种场景，通过颜色、纹理等特征鲁棒性较差；而由于视角不同会出现屏幕之间的各种遮挡，甚至有些模拟器为了接近真实还设计了类似汽车A柱的构造，遮挡更加严重，也加大了通过视觉算法检测屏幕的难度。而本实施例通过添加多组标记图像的方式，尤其通过二维码作为标记图像，计算复杂度低、算法简单，对环境、视角具有较高的鲁棒性。以AprilTag为例，如图1所示，一组二维码组成的边框，且每个二维码代表的ID均不相同，通过识别二维码的ID可以获取其在屏幕坐标系中的相对位置。即使出现部分遮挡时，只要能够识别单个二维码，即可计算得到透视变换的变换矩阵，但是由于单个二维码能够得到的范围过小，容易出现误差情况，本实施例设定能够识别出3个二维码以上时构建的变换矩阵误差可以接受。

在本实施例中，所述标记图像，其尺寸满足，，，其中K表示标记图像尺寸，W和H分别表示显示设备屏幕边框的宽和高，k表示操作台至显示设备的距离上能够成功识别的标记图像的最小尺寸，I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。根据需要，也可针对需要定位的注视目标位置可能处于的范围，将标记图像以模拟图像的宽和高进行设置。

本实施例还可直接将标记图像如二维码直接显示在屏幕中，作为模拟图像的边框。

本发明的第二实施例，提出一种基于显示模拟器的眼动目标获取方法，如图2所示，所述目标获取方法通过上述的基于显示模拟器的眼动目标获取装置实施，包括：

使眼动仪、视野图像与显示设备的模拟图像时间同步；

步骤S100，建立各标记图像与模拟图像的坐标映射关系。

在本实施例中，所述步骤S100，具体包括：

步骤S110，对于显示设备的屏幕A，设定所述标记图像与模拟图像的坐标映射关系F为：

，，……，,，……，，其中，屏幕A相对坐标范围为到，，，，；I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。

本实施例通过映射可以获取使用者在多显示器中注视的目标的位置坐标，结合为模拟器制作的内容，可能低成本的获取使用者的关注对象，再结合模拟器设置的事件，可以进一步开发应激响应的自动评估系统。

步骤S200，使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间。

步骤S300，基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置。

在本实施例中，所述步骤S300，具体包括：

步骤S310，实时扫描出现在视野图像中的标记图像，获得出现的标记图像ID；

步骤S320，当获得的出现的标记图像ID不小于预设的个数时，基于所述出现的标记图像ID调取对应的标记图像与模拟图像的坐标映射关系，记为出现的标记映射关系；在本实施例中，即便只检测到一个tag也能够获取到tag的四个端点的信息，足以完成后续变换矩阵的计算，但是由于一个tag中四个端点覆盖的范围过小，所以计算得到的变换矩阵误差过大，因此，本实施例要求预设的个数为3个，获得了3个以上的二维码时能够获取足够的范围用以保障计算得到的变换矩阵T误差在可接受范围内。

步骤S330，基于所述出现的标记映射关系，计算变换矩阵T；

在本实施例中，所述变换矩阵T，基于注视目标位置通过透视变换、薄板样条插值变换或单应性矩阵中任一种方法，计算注视目标位置与标记图像的第二相对位置，基于所述第二相对位置和出现的标记映射关系构建。

眼动目标在场景摄像机拍摄画面坐标系向各屏幕坐标系映射的问题。由于屏幕都是矩形平面，因此只需要找到屏幕边框在场景摄像机画面中位置，即可通过透视变换，得到场景摄像机画面（视野图像）中的点在屏幕坐标系的位置。

以透视变换为例，

通过AprilTag码检测算法，可检测出AprilTag码的四个端点坐标。令、为tag的宽和高，、为屏幕的宽和高，tag四个端点的标记图像坐标为、、、 。根据tagID可得到tag的模拟图像坐标，记为，tag四个端点的模拟图像坐标为、、、，则可得到：

，，，

令变换矩阵，其中，可得到如下方程组

求解该方程组可得到变换矩阵T。同理，若有三个以上tag则可得到多组类似方程，通过最小二乘解即可得到矩阵T。

令 x与 y为变换之前的目标点坐标， 为变换后的坐标，则，；通过统计预设个数的标记图像及其对应的ID和预先记录的位置即可确定变换矩阵中的参数，进而能够实现通过变换矩阵实现坐标转换将注视目标位置转换到屏幕坐标上。

步骤S340，基于所述变换矩阵T，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在模拟图像的坐标。

步骤S400，基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

本发明的第三实施例，公开了一种显示设备为多个屏幕构成的多屏显示设备的基于显示模拟器的眼动目标获取方法，如图3所示；

在本实施例中，每个屏幕四周均设置有显示设备辅助定位边框。所述多屏显示设备，多个屏幕为均处于同一平面上，或各屏幕均朝向使用者各屏幕间呈预设角度。若存在多个屏幕紧挨着、或者屏幕交叠的情况，可通过在两个屏幕交界处，或折叠屏的折叠处，设置公用边框的方式实现注视目标位置在模拟图像中的位置坐标的定位。

传统的眼动目标获取方法，如需获取眼动目标，则需要进行图像识别，难度较高且计算成本较大，且难以实现多屏幕的目标追踪，如在图3中，若模拟器事件为视野屏幕中出现限速标志时，需要获取使用人员关注到“限速标志”对象之后并关注“速度表”对象，由于传统的眼动设备有效定位的范围有限，所以难以对目标进行精确定位比如需要让使用人员关注到图3中屏幕B的区域3之后立刻关注屏幕A的区域9，传统的眼动仪因为目标不在同一屏幕或平面上并且范围过大容易记录错误的模拟图像坐标，而通过本实施例则可实现跨屏幕也让眼动仪能够准确获取关注的坐标，不受视角、部分遮挡影响。

在本实施例中，将第二实施例中的步骤S300替换为步骤S300B，所述步骤S300B具体包括：

步骤S310B，实时扫描出现在视野图像中，获得属于同一屏幕的出现的标记图像ID；

步骤S320B，当同一屏幕的出现的标记图像ID不小于预设的个数时，基于所述同一屏幕的出现的标记图像ID，调取对应的标记图像与模拟图像的坐标映射关系，即为当前屏幕出现的标记映射关系；

步骤S330B，基于所述当前屏幕出现的标记映射关系，计算当前屏幕的变换矩阵；

步骤S340B，基于所述当前屏幕的变换矩阵，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在当前屏幕的模拟图像的坐标；

步骤S350B，判断所述注视目标位置在当前屏幕的模拟图像的坐标是否在坐标范围（0，1）范围内；若在，则记录当前屏幕的模拟图像的坐标为最终确定的注视目标位置在模拟图像的坐标；若不在，进入步骤S360B；

步骤S360B，重复步骤S310B-步骤S350B的方法，轮询各屏幕并计算目标屏幕位置在模拟图像的坐标，直至出现注视目标位置在当前屏幕的模拟图像的坐标在坐标范围（0，1）范围内，获得最终确定的注视目标位置在模拟图像的坐标；若遍历所有屏幕目标位置在当前屏幕的模拟图像的坐标均不在坐标范围（0，1）范围内，则判断为用户未注视屏幕。由于在实际的应用场景中，可能存在多个屏幕视角存在差异、用户的视角也可能存在变换的状况，可能会同时识别出多个二维码故无法确认注视目标位置对应处于哪个屏幕，因此本实施例采用轮询的方式，直至计算得到的注视目标位置对应的模拟图像的坐标处于设定的范围（0,1）内，明确注视目标位置对应的屏幕；更进一步的，由于目标可能会在多个屏幕间切换，所以如果采用现有技术中如边框扫描或图像识别的方式对注视目标位置进行定位，则在实时性方面难以得到保证，并且可能存在同时识别出多个定位锚点如某块屏幕上具备某种特征的图案，由于视角问题可能会将注视目标定位到错误的屏幕上。而本实施例采用包含位置和序号信息的标记图像如二维码，计算速度快，能够满足眼动仪实时性的要求并在多屏幕间切换、目标视野改变的情况下计算出精确的注视目标位置处于模拟图像中的坐标。

本发明的第四实施例，提出了一种基于显示模拟器的眼动目标获取系统，基于上述的基于显示模拟器的眼动目标获取装置实施，如图4所示，所述系统包括：

时间校准模块，配置为使眼动仪、视野图像与显示设备的模拟图像时间同步；

映射建立模块，配置为建立各标记图像与模拟图像的坐标映射关系；

注视目标获取模块，配置为使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；

目标位置转换模块，配置为基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；

训练评价模块，配置为基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于显示模拟器的眼动目标获取方法，其特征在于，具体包括：

使眼动仪、视野图像与显示设备的模拟图像时间同步；

步骤S100，建立各标记图像与模拟图像的坐标映射关系；

步骤S200，使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；

步骤S300，基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；

当所述显示设备为多屏显示设备时，步骤S300替换为步骤S300B，所述步骤S300B具体包括：

步骤S310B，实时扫描出现在视野图像中，获得属于同一屏幕的出现的标记图像ID；

步骤S320B，当同一屏幕的出现的标记图像ID不小于预设的个数时，基于所述同一屏幕的出现的标记图像ID，调取对应的标记图像与模拟图像的坐标映射关系，即为当前屏幕出现的标记映射关系；

步骤S330B，基于所述当前屏幕出现的标记映射关系，计算当前屏幕的变换矩阵  ；

步骤S340B，基于所述当前屏幕的变换矩阵，对各时刻的注视目标位置进行坐标变换 ，获得各时刻注视目标位置在当前屏幕的模拟图像的坐标；

步骤S350B，判断所述注视目标位置在当前屏幕的模拟图像的坐标是否在坐标范围（0，1）范围内；若在，则记录注视目标位置在当前屏幕的模拟图像的坐标为最终确定的注视目标位置在模拟图像的坐标；若不在，进入步骤S360B；

步骤S360B，重复步骤S310B-步骤S350B的方法，轮询各屏幕并计算目标屏幕位置在模拟图像的坐标，直至出现注视目标位置在当前屏幕的模拟图像的坐标在坐标范围（0，1）范围内，获得最终确定的注视目标位置在模拟图像的坐标；若遍历所有屏幕目标位置在当前屏幕的模拟图像的坐标均不在坐标范围（0，1）范围内，则判断为用户未注视屏幕；

步骤S400，基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

2.根据权利要求1所述的基于显示模拟器的眼动目标获取方法，其特征在于，所述步骤S100，具体包括：

步骤S110，对于显示设备的屏幕A，设定所述标记图像与模拟图像的坐标映射关系F为：

， ，……，,，……，，其中，屏幕A相对坐标范围为到，，，，；I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。

3.根据权利要求2所述的基于显示模拟器的眼动目标获取方法，其特征在于，所述步骤S300，具体包括：

步骤S310，实时扫描出现在视野图像中的标记图像，获得出现的标记图像ID；

步骤S320，当获得的出现的标记图像ID不小于预设的个数时，基于所述出现的标记图像ID调取对应的标记图像与模拟图像的坐标映射关系，记为出现的标记映射关系；

步骤S330，基于所述出现的标记映射关系，计算变换矩阵T；

步骤S340，基于所述变换矩阵T，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在模拟图像的坐标。

4.根据权利要求3所述的基于显示模拟器的眼动目标获取方法，其特征在于，所述变换矩阵T，基于注视目标位置通过透视变换、薄板样条插值变换或单应性矩阵中任一种方法，计算注视目标位置与标记图像的第二相对位置，基于所述第二相对位置和出现的标记映射关系构建。

5.根据权利要求1所述的基于显示模拟器的眼动目标获取方法，其特征在于，所述显示设备，包括由多个屏幕构成的多屏显示设备，每个屏幕四周均设置有显示设备辅助定位边框。

6.根据权利要求5所述的基于显示模拟器的眼动目标获取方法，其特征在于，所述多屏显示设备，多个屏幕为均处于同一平面上，或各屏幕均朝向使用者各屏幕间呈预设角度。

7.根据权利要求6所述的基于显示模拟器的眼动目标获取方法，其特征在于，当所述显示设备为多屏显示设备时，步骤S100中，所述标记图像与模拟图像的坐标映射关系具体包括标记图像归属的屏幕ID，和标记图像与其归属的屏幕ID中模拟图像的映射关系；将标记图像根据屏幕ID进行分组，得到屏幕相对坐标集合，和与屏幕相对坐标集合一一对应的模拟图像坐标集合，将屏幕相对坐标集合和模拟图像坐标集合建立映射关系。

8.一种基于显示模拟器的眼动目标获取系统，其特征在于，所述系统包括：

时间校准模块，配置为使眼动仪、视野图像与显示设备的模拟图像时间同步；

映射建立模块，配置为建立各标记图像与模拟图像的坐标映射关系；

注视目标获取模块，配置为使用者佩戴所述眼动仪执行模拟训练任务，实时采集视野图像并获取注视目标位置并记录对应的注视目标时间；

目标位置转换模块，配置为基于所述各标记图像与模拟图像的坐标映射关系，计算各时刻注视目标位置在模拟图像坐标中的位置；

当所述显示设备为多屏显示设备时，目标位置转换模块的功能为：

实时扫描出现在视野图像中，获得属于同一屏幕的出现的标记图像ID；

当同一屏幕的出现的标记图像ID不小于预设的个数时，基于所述同一屏幕的出现的标记图像ID，调取对应的标记图像与模拟图像的坐标映射关系，即为当前屏幕出现的标记映射关系；

基于所述当前屏幕出现的标记映射关系，计算当前屏幕的变换矩阵；

基于所述当前屏幕的变换矩阵，对各时刻的注视目标位置进行坐标变换，获得各时刻注视目标位置在当前屏幕的模拟图像的坐标；

判断所述注视目标位置在当前屏幕的模拟图像的坐标是否在坐标范围（0，1）范围内；若在，则记录注视目标位置在当前屏幕的模拟图像的坐标为最终确定的注视目标位置在模拟图像的坐标；若不在，则轮询各屏幕并计算目标屏幕位置在模拟图像的坐标，直至出现注视目标位置在当前屏幕的模拟图像的坐标在坐标范围（0，1）范围内，获得最终确定的注视目标位置在模拟图像的坐标；若遍历所有屏幕目标位置在当前屏幕的模拟图像的坐标均不在坐标范围（0，1）范围内，则判断为用户未注视屏幕；

训练评价模块，配置为基于所述各时刻注视目标位置在模拟图像坐标中的位置进行训练评价。

9.一种基于显示模拟器的眼动目标获取装置，其特征在于，用于实现如权利要求1至7中任一项所述的基于显示模拟器的眼动目标获取方法，所述装置包括：

眼动仪、图像采集设备、显示设备和显示设备辅助定位边框；

所述眼动仪，用于获取使用者的注视目标位置；

所述图像采集设备，用于获取使用者的视野图像；

所述显示设备，用于显示模拟图像，提供模拟场景；

所述显示设备辅助定位边框，配置为设置于显示设备四周的标记图像，并记录标记图像与模拟图像的第一相对位置；用于基于标记图像处于视野图像中的位置，通过所述第一相对位置确定注视目标位置处于模拟图像中的位置坐标。

10.根据权利要求9所述的基于显示模拟器的眼动目标获取装置，其特征在于，所述显示设备辅助定位边框，基于多个标记图像排列构建，每个标记图像储存的信息包括标记图像的ID，和当前标记图像在对应的模拟图像坐标系中的第一相对位置。

11.根据权利要求9所述的基于显示模拟器的眼动目标获取装置，其特征在于，所述标记图像为二维码或预先设定了方向与ID的图像。

12.根据权利要求9所述的基于显示模拟器的眼动目标获取装置，其特征在于，所述标记图像，其尺寸满足， ，，其中K表示标记图像尺寸，W和H分别表示显示设备屏幕边框的宽和高，k表示操作台至显示设备的距离上能够成功识别的标记图像的最小尺寸，I和J分别表示显示设备宽度方向上一侧所需的标记图像数目和显示设备高度方向上一侧所需的标记图像数目，单个显示设备所需的标记图像数目为。

Images