CN109640785A - 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统 - Google Patents

Abstract

本说明书描述了用于基于视觉简档和目标应用来修改诸如虚拟现实，增强现实或混合现实(VR/AR/MxR)媒体的媒体的方法和系统。在本说明书的实施例中，创建了感知数据交换(SDE)，其能够识别用户和用户组的各种视觉简档。SDE可用于根据每种类型的用户和/或用户组修改一个或多个媒体。

Description

用于获得、聚集和分析视觉数据以评估人的视力性能的方法 和系统

交叉引用

本申请优先依赖于以下美国临时专利申请：

2016年11月23日提交的题为“用于收集基于视觉性能数据的视觉性能数据和修改媒体的方法和系统”的美国临时专利申请62/425,736；

美国临时专利申请号62/381,784，具有相同的标题，于2016年8月31日提交；

2016年7月15日提交的题为“通过感官数据交换平台创建虚拟内容表示的系统和方法”的美国临时专利申请号62/363,074；

2016年7月8日提交的题为“虚拟内容表示”的美国临时专利申请号62/359,796；

美国临时专利申请号62/322,741，具有相同的标题，于2016年4月14日提交；和

美国临时专利申请号62/319,825，具有相同的标题并于2016年4月8日提交。

技术领域

本发明一般涉及视力保健，更具体地涉及用于获得、聚合和分析视觉数据以评估人的视力性能的方法和系统。

背景技术

近年来，各种视觉体验的出现，包括虚拟现实(VR)环境、增强现实(AR)和混合现实(MxR)应用程序，通过各种媒介(如平板电脑和手机)对用户的愿景造成了更大的压力。对视力应变的可靠测量需要理解许多心理测量学以及各种视野参数如何影响这些心理测量学，以及如何修改这些视野参数以避免某些视力问题。

反过来，这需要了解与大脑的多个感觉界面的互操作性、连接性和模块性，其中许多是闭环的。

AR/VR的当前测量和评级系统本质上是定性的。此外，临床测试界面包括EEG、MRI、EOG、MEG、fMRI、超声波和微波。用于测量视野的传统行业标准包括诸如阿姆斯勒网格、汉弗莱视场分析仪、倍频技术、切线屏幕检查、戈德曼方法和八达通周长等测试。对于准确性，通常使用补偿跟踪，Jenson Box和Hick定律测试/标准。多跟踪的行业标准测试包括听觉序列添加，Posner Cueing任务和D2注意力测试。对于耐力，典型的行业标准测试包括视野视野检查(维持固定)和光学相干断层扫描(OCT)测试。行业标准检测测试包括Ishihara测试(彩色视觉/彩色印版)、Farnsworth-Munsell 100色调测试、Pelli Robson对比敏感度图表、Vistech对比度测试、Snellen图表、ETDRS和Tumbling Cs。

虽然存在视觉测试的这些传统行业标准和临床标准，但仍然需要综合的视觉性能指标或评估，其将多个不同的测量集成到单个聚合测量中。还需要一种软件界面，其提供多个数据点的聚合量化。还需要一种用于监视眼睛健康和识别视力随时间的变化的方法和系统。

发明概述

本发明涉及一种使用被编程为执行多个程序指令的计算装置来评估患者的视力性能的方法，包括：通过所述计算装置呈现第一组视觉和/或听觉刺激；使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第一多个反应；通过所述计算装置呈现第二组视觉和/或听觉刺激；使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第二多个反应；和基于所述第一多个反应和所述第二多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。

任选地，该方法还包括产生代表视野的聚集、视力、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的单个视力性能值。任选地，所述第一多个反应包括快速扫描数据、扫视运动数据、眨眼率数据、固定数据、瞳孔直径数据和睑裂距离数据中的至少一种。任选地，所述第二多个反应包括快速扫描数据、扫描运动数据、固定数据、眨眼率数据、瞳孔直径数据、头部运动速度数据、头部运动方向数据、心率数据、运动反应时间数据、平滑追踪数据、睑裂距离数据、脑波活动的程度和速率数据、和收敛程度数据中的至少一种。

任选地，硬件装置包括配置为获取眼睛运动数据的相机、配置为检测头部运动的速率和/或方向的传感器、配置为检测心率的传感器、以及检测脑电波的EEG传感器中的至少一种。任选地，代表所述患者的视野的定量值包括代表所述患者的中心视力的质量的数据和代表所述患者的周边视力的质量的数据。任选地，代表所述患者的视力的定量值包括代表对所述第一组视觉和/或听觉刺激的所述患者的反应时间的质量的数据。任选地，代表所述患者的视力的定量值包括代表所述第一组视觉刺激的所述患者的精确定位的质量的数据，并且其中所述第一组视觉刺激的所述患者的精确定位的所述质量基于相对于所述第一组视觉刺激的位置所述患者的身体反应的位置。

任选地，代表所述患者的患者跟踪多个刺激的能力的定量值包括代表所述患者的同时跟踪第二组视觉刺激中的多个元素的能力的质量的数据。任选地，代表所述患者的视觉耐力的定量值包括代表在呈现所述第一组视觉和/或听觉刺激的持续时间内所述患者的反应时间减少的数据。任选地，代表所述患者的视觉耐力的定量值包括代表在休息期后呈现所述第二组视觉和/或听觉刺激的持续时间内所述患者的反应时间改善的数据。任选地，代表所述患者的视觉检测的定量值包括代表所述患者在何种程度上看到所述第一组视觉刺激的数据。任选地，代表所述患者的视觉检测的定量值包括代表所述患者能够在何种程度上区分所述第一组视觉刺激中的相似颜色、对比度或形状物体的数据。

在另外实施方案中，本发明涉及一种使用被编程为执行多个程序指令的计算装置来评估患者的视力性能的方法，包括：通过所述计算装置上的显示器呈现第一组视觉刺激，其中所述第一组视觉刺激包括从所述患者的周边视力移动到所述患者的中心视力的第一多个视觉元素；使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第一多个反应；通过所述计算装置上的显示器呈现第二组视觉刺激，其中所述第二组视觉刺激包括第二多个视觉元素，在所述患者物理地接触所述第二多个视觉元素时出现和消失；使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第二多个反应；和基于所述第一多个反应和所述第二多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。

任选地，所述第一多个视觉元素的至少一部分具有随时间减小的尺寸。任选地，所述第一多个视觉元素的至少一部分具有随时间增加的运动速度。任选地，随着时间的推移，更多所述第一多个视觉元素同时出现在所述计算装置上。任选地，第三多个视觉元素与所述第二多个视觉元素同时出现，其中所述第三多个视觉元素看起来与所述第二多个视觉元素不同，并且其中如果所述患者物理地接触所述第三多个视觉元素中的任何一个，代表所述患者的视力的定量值减小。

任选地，该方法还包括通过所述计算装置上的显示器呈现第三组视觉刺激，其中所述第三组视觉刺激包括第四多个视觉元素；使用所述计算装置和所述单独硬件装置中的至少一种来监测所述患者的第三多个反应；和基于所述第一多个反应、所述第二多个反应和所述第三多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。任选地，所述患者被指导以识别具有颜色、对比度和/或形状的特定组合的第四多个视觉元素中的一个。

应当理解，虽然上述方法具有呈现视觉刺激的特定顺序，但本发明针对呈现视觉元素的任何顺序和对特定患者视觉定量值的相应监测。例如，任选地，所述第二多个视觉元素的至少一部分具有随时间减小的尺寸。任选地，所述第二多个视觉元素的至少一部分具有随时间增加的运动速度。任选地，随着时间的推移，更多所述第二多个视觉元素同时出现在所述计算装置上。任选地，第三多个视觉元素与所述第一多个视觉元素同时出现，其中所述第三多个视觉元素看起来与所述第一多个视觉元素不同，并且其中如果所述患者物理地接触所述第三多个视觉元素中的任何一个，而不是所述第一多个视觉元素，代表所述患者的视力的定量值减小。

在下面提供的附图和详细描述中将更深入地描述本发明的前述和其他实施例。

附图简述

本发明说明书的这些和其他特征和优点将被理解，因为当结合附图考虑时，通过参考以下详细描述可以更好地理解它们，其中：

图1示出了根据本说明书的实施例的示出用户与示例性感觉数据交换平台(SDEP)的交互的框图；

图2A是说明根据本说明书的实施例的传感器数据流在到达查询处理器之前的处理的框图。

图2B是数据分析链的示例性轮廓；

图3示出了根据本说明书的实施例的数字数据源的概述；

图4示出了根据本说明书的实施例的视觉数据的特征度量；

图5提供了根据本说明书的实施例的颜色对混淆组件的图形表示；

图6示出了说明如何针对投射到3D色度空间中的显示色域的顶表面上的给定色度找到亮度的曲线图；

图7示出了根据本说明书的实施例的听觉信息的特征度量；

图8示出了根据本说明书的示例性实施例的用于眼睛跟踪的特征度量；

图9示出了根据本说明书的实施例的用于手动输入的特征度量；

图10示出了根据本说明书的实施例的头部跟踪的特征度量；

图11示出了根据本说明书的实施例的电生理学和自主监测数据的特征度量；

图12A示出了根据本说明书的实施例的构建策划数据的图像分析的示例性过程；

图12B示出了根据本说明书的实施例的构建策划数据的图像分析的示例性过程；

图12C示出了根据本说明书的实施例的构建策划数据的图像分析的示例性过程；

图12D示出了根据本说明书的实施例的建筑策划数据的图像分析的示例性过程；

图13A示出了瞳孔位置和大小以及注视位置随时间的变化；

图13B示出了瞳孔位置和大小以及注视位置随时间的变化；

图14提供了根据本说明书的一些实施例的包含传入和传出源的示例性度量的列表的表格；

图15是示出从软件应用程序到SDEP的数据流的概述的示例性流程图；

图16是根据本说明书的实施例的处理流程的预处理部分的示例性概要；

图17是分析链的python脚本部分的示例性轮廓；

图18示出了用于实现中央系统的示例性环境，该中央系统利用SDEP来处理心理测量功能并基于用户交互的仿生来模拟视觉行为和感知；

图19示出了根据本说明书的实施例的可通过视觉套件应用程序出现的空屏幕和错误屏幕的屏幕截图；

图20A示出了根据本说明书的实施例的可以通过视觉套件应用出现的闪屏的屏幕截图；

图20B示出了根据本说明书的实施例的可以通过视觉套件应用出现的主屏幕的屏幕截图；

图20C示出了根据本说明书的实施例的登录(登记)过程的屏幕截图的序列(从A到F)，其包括可以通过视觉套件应用程序出现的名为“Jon Snow”的用户的示例性登记；

图20D示出了根据本说明书的实施例的具有可通过视觉套件应用出现的术语和条件的屏幕的屏幕截图；

图20E示出了根据本说明书的实施例的在用户忘记其登录信息的情况下可以通过视觉套件应用程序出现的一系列(从A到B)屏幕截图；

图21A示出了根据本说明书的实施例的屏幕的一系列屏幕截图，其提示用户可以通过视觉套件应用程序出现的人口统计问题；

图21B示出了根据本说明书的实施例的屏幕的另一系列屏幕截图，其提示用户可以通过视觉套件应用程序出现的人口统计问题；

图21C示出了根据本说明书的实施例的屏幕的另一系列屏幕截图，其提示用户可以通过视觉套件应用程序出现的人口统计问题；

图22示出了根据本说明书的实施例的向用户呈现可以通过视觉套件应用出现的初始VPI报告的屏幕的一系列屏幕截图；

图23示出了根据本说明书的实施例的可以在不同时间出现的不同屏幕的屏幕截图，提示用户选择可以通过视觉套件应用程序出现的游戏。

图24A示出了弹出气球第1轮指令的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图24B示出了弹出气球第1轮游戏的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图24C示出了弹出气球第2轮指令的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图24D示出了弹出气球第2轮游戏的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图24E示出了弹出气球第3轮指令的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图24F示出了弹出气球第3轮游戏的屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用程序呈现；

图25A示出了图片完美第1轮游戏的一系列屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图25B示出了图片完美第1轮游戏的一系列屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图25C示出了图片完美第2轮游戏的一系列屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用程序呈现；

图25D示出了图片完美第2轮游戏的一系列屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用来呈现；

图25E示出了图片完美第2轮游戏的一系列屏幕截图，其可以通过根据本说明书的实施例的视觉套件应用程序呈现；

图25F示出了根据本说明书的实施例的可以通过视觉套件应用呈现的用户的示例性游戏后报告的屏幕截图；

图26A示出了根据本说明书的实施例的“形状混合”游戏，其指令和游戏后报告的类似的一组屏幕截图，其可以通过视觉套件应用程序呈现；

图26B示出了根据本说明书的实施例的“形状混合”游戏，其指令和游戏后报告的类似的一组屏幕截图，其可以通过视觉套件应用程序呈现；

图26C示出了根据本说明书的实施例的“形状混合”游戏，其指令和游戏后报告的类似的一组屏幕截图，其可以通过视觉套件应用程序呈现。

图27示出了根据本说明书的实施例的在播放可通过视觉套件应用程序出现的不同游戏之后的VPI游戏报告的屏幕截图；

图28示出了根据本说明书的实施例的可以基于用户的VPI报告出现的一些屏幕截图，其中屏幕建议医生和/或眼保健从业者；

图29示出了根据本说明书的实施例的呈现可通过视觉套件应用出现的用户简档的屏幕的一些屏幕截图；

图30A示出了根据本说明书的实施例的可通过视觉套件应用出现的VPI故障的一些屏幕截图；

图30B示出了VPI故障的一些屏幕截图，其通过根据本说明书的实施例的视觉套件应用提供关于每个FAMED参数的细节；

图30C示出了VPI故障的一些屏幕截图，其通过根据本说明书的实施例的视觉套件应用提供每个FAMED参数内的参数的细节；

图30D示出了VPI故障的一些屏幕截图，其通过根据本说明书的实施例的视觉套件应用提供了每个FAMED参数内的参数的进一步细节；

图31示出了根据本说明书的实施例的“设置”和“设置”内的相关选项的屏幕截图，其可以通过视觉套件应用程序呈现；

图32是示出来自不同游戏和轮次的不同VPI参数的示例性体验的表格。

发明详述

在一个实施例中，本说明书描述了提供给视觉服务提供者的方法、系统和软件，以便响应于各种刺激收集关于人眼的功能和解剖结构的更详细数据。

在一个实施例中，提供了一种感知数据交换平台(SDEP)，其中SDEP可以使游戏的开发者，特别是移动应用程序或其他媒体和/或软件，能够为用户和/或一组用户优化媒体。在实施例中，SDEP或其至少一部分体现在软件应用程序中，该软件应用程序体现在通过一个或多个电子媒体装置呈现给最终用户的软件应用程序中，所述电子媒体装置包括计算机、便携式计算装置、移动装置或任何其他能够呈现虚拟现实(VR)、增强现实(AR)和/或混合现实MxR媒体的装置。

在一个实施例中，用户以允许软件收集用户数据并将其提供给SDEP的方式与体现SDEP的至少一部分的软件程序交互。在一个实施例中，用户可以直接或间接地与SDEP交互以促进数据收集。在一个实施例中，SDEP是动态的双向数据交换平台，具有多个感知和生物识别数据输入、用于分析感觉和生物识别数据的多个程序指令、以及用于传递综合视觉评估的多个输出。

在一些实施例中，SDEP作为一般集体输出输出“视觉数据简档”或“视力性能指数”(VPI)。在一些实施例中，SDEP输出作为一般集体输出视觉性能患者。视觉数据可以使用简档或视力性能索引来优化VR/AR/MxR系统中的广告、游戏或内容的媒体呈现。在实施例中，本说明书的平台能够接收可以加深对患者生活方式和习惯的理解的许多其他数据集。此外，机器学习、计算机视觉和深度学习技术被用来通过分析个人数据来帮助监测和预测健康结果。在实施例中，视力性能指数被用作测量视觉功能的工具。在实施例中，可以基于贯穿本说明书描述的任何多个数据或数据组合来生成视力性能指数，并且不限于本文给出的示例。

在一个实施例中，通过在硬件(例如移动设备、计算机或头戴式显示器(HMD))上执行的操作系统来使用SDEP。在另一实施例中，SDEP由一个或多个内容开发者使用。在一个实施例中，硬件和内容开发者都使用SDEP。SDEP可以使得能够收集与用户如何与所呈现的内容接口有关的数据，他们最关注的内容的哪些方面以及他们的参与程度。可以处理通过SDEP收集的数据以为具有类似人口统计的用户和/或用户组创建简档。对于特定简档，可以以符合该用户和具有类似简档的其他用户的体验的方式符合VR/AR/MxR系统的硬件能力的方式来表示内容。

本说明书针对多个实施例。提供以下公开内容是为了使本领域普通技术人员能够实施本发明。本说明书中使用的语言不应被解释为对任何一个特定实施例的一般否定，或者用于限制权利要求超出其中使用的术语的含义。在不脱离本发明的精神和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。而且，所使用的术语和措辞是出于描述示例性实施例的目的，而不应被认为是限制性的。因此，本发明将被赋予最广泛的范围，包括与所公开的原理和特征一致的许多替换、修改和等同物。为了清楚起见，没有详细描述与本发明相关的技术领域中已知的技术材料的细节，以免不必要地模糊本发明。

术语“和/或”表示所列元素中的一个或全部或所列元素中的任何两个或更多个的组合。

术语“包括”及其变体在这些术语出现在说明书和权利要求书中时不具有限制性含义。

除非另有说明，否则“一”、“一个”、“该”、“一个或多个”和“至少一个”可互换使用并且表示一个或多于一个。

对于包括离散步骤的本文公开的任何方法，可以以任何可行的顺序进行这些步骤。并且，适当地，可以同时进行两个或更多个步骤的任何组合。

此外，通过端点列举的数值范围包括该范围内包含的所有全部或分数(例如，1至5包括1、1.5、2、2.75、3、3.80、4、5等)。除非另有说明，否则在说明书和权利要求中使用的表示组分的量、分子量等的所有数字应理解为在所有情况下均由术语“约”修饰。因此，除非另有相反说明，在说明书和权利要求书中列出的数值参数是近似值，其可以根据本发明寻求获得的所需性质而变化。至少，并不是试图将等同原则限制在权利要求的范围内，每个数值参数至少应该根据报告的有效数字的数量并通过应用普通的舍入技术来解释。

尽管阐述本发明广泛范围的数值范围和参数是近似值，但具体实施例中列出的数值尽可能精确地报告。然而，所有数值固有地包含必然由其各自测试测量中发现的标准偏差产生的范围。

在此应当注意，除非另有明确说明，否则可以使用任何其他实施例来实施与特定实施例相关联描述的任何特征或组件。

应当进一步理解的是，本文呈现的所有传入数据和收集的传出数据是使用硬件装置执行的，例如移动电话、膝上型计算机、平板计算机或专用硬件装置，执行多个程序指令，专门用于呈现、跟踪和监控传入数据，监控、测量和跟踪传出数据，如下面进一步讨论的。

一般定义

在整个说明书中使用术语“虚拟现实”或“VR”，并且在实施例中，是指沉浸式计算机模拟现实，或计算机生成的三维图像或环境模拟，其可由患者使用特殊电子设备(例如内部有屏幕的头盔和/或配有传感器的手套)以看似真实或物理的方式与之交互。

在实施例中，在整个说明书中也与VR一起使用的增强现实(AR)是将计算机生成的图像叠加在用户对现实世界的视图上的技术，从而提供合成视图。在实施例中，普通的头盔式装置是HMD，其是佩戴在头部上或作为头盔的一部分的显示装置，其在一个(单眼HMD)或每个眼睛(双眼HMD)前面具有小显示器。在实施例中，SDEP是基于云的服务，任何一方都可以访问该服务以便改进或以其他方式修改视觉呈现的产品或服务。

此外，在实施例中，混合现实(MxR)在整个说明书中也与VR和AR一起使用。MxR，也称为混合现实，是VR和/或AR环境与真实环境的融合，以产生物理和数字对象共存并实时交互的新级别的视觉体验。

在实施例中，VR、AR和MxR装置可以包括一个或多个电子媒体装置、计算装置、便携式计算装置，所述便携式计算装置包括移动电话、笔记本电脑、患者数字助理(PDA)或任何其他可以支持VR，AR或MxR媒体的电子装置。这里应当注意，虽然本说明书是在虚拟现实的背景下公开的，但是下面描述的任何和所有系统和方法也可以用于增强现实环境以及混合现实环境。因此，在描述虚拟现实(VR)系统的情况下，本领域普通技术人员应该理解，相同的概念可以应用于增强现实(AR)和混合现实(MxR)系统。

眼动追踪定义

在性能方面，一些眼动追踪测量被置于视力性能指数(VPI)成分的背景中，其在本说明书的后续部分中详细定义和描述。眨眼率和聚散度测量可以用于疲劳和恢复的测量。凝视，更具体地说，固定位置可用于估计反应和靶向措施。追踪眼球运动期间的连续错误率也可以成为目标测量。

在实施例中，视力性能指数被用作用于测量视觉功能的工具。在实施例中，视力性能指数可以基于贯穿本说明书描述的任何多个数据或数据组合来生成，并且不限于本文给出的示例。

用于眼睛跟踪的物理测量的各种示例可以具有期望的标准单位、测量值的预期范围和/或在适用的情况下基于那些测量的各种状态或类别的阈值。通过讨论眼动追踪的各种组件和子组件的部分提供了一些参考。

以下术语与视频记录和图像处理技术相结合的眼睛跟踪测量相关联；专家人类得分；和/或来自眼电图(EOG)记录。视频眼睛跟踪(VET)技术可以使用显式算法分析和/或机器学习来独立地估计每只眼睛的比例眼睑开/闭、瞳孔大小、瞳孔位置(相对于面部)和注视方向。EOG记录可以用于估计眼睑和眼睛运动、眼睛注视方向，并且具有有限的精度。两种记录模态都可以每秒数十到数千次的速率进行采样，并允许分析各种测量的位置、速度、方向和加速度。两只眼睛之间的比较允许测量聚散度，这反过来允许估计三维(3D)注视方向。

睑裂指的是眼睑的开口。虽然通常约30毫米(mm)宽乘10mm高，但大多数测量可以相对于在视频上测量的基线距离。特别感兴趣的是与下列术语有关的高度(颅间裂隙高度)：

打开百分比(p_眼睛打开)指的是相对于最大开放距离并且通常在预定义的时间段内测量的左眼(p_左眼打开)、右眼(p_右眼打开)或两眼(p_两眼打开)的打开程度。

打开比例(P_眼睛打开)是指眼睛在一段时间内打开的时间比例(例如，在会话期间(P_(眼睛打开|会话期间)))。“开放”的阈值可以是可变的(例如，P_眼睛打开(其中p_两眼打开≥25％))。

可以将眨眼定义为双眼(p_两眼打开＝0％)的完全闭合，大约在10到400毫秒(ms)之间，具体测量的眨眼闭合时间基于用户和眼睛跟踪方法之间的差异。

眨眼率(频率)(f_眨眼)是指在一段时间内(例如f_(眨眼|目瞟存在))对于所有眨眼和/或眨眼测量的每秒眨眼次数(s^-1或Hz)。眨眼率可以被称为眨眼率的变化率或者部分眨眼率与完全眨眼率的比率。

眨眼计数(N_眨眼)表示在一段时间内(例如)所有眨眼和/或眨眼测量的眨眼次数(例如N_(眨眼|目标存在))。

瞳孔大小(S_瞳孔)指的是瞳孔的大小，通常是以毫米为单位的直径(mm)。

瞳孔位置(〖[x，y]〗_{_瞳孔})指的是左(〖[x，y]〗_{_(左瞳孔)})或右(〖[x，y]〗_{_(右瞳孔)})瞳孔在面部的固定参考系内的位置，通常是时间的函数。瞳孔位置定义包括并且取决于初始瞳孔位置和最终瞳孔位置。

凝视方向(〖[θ，φ]〗_注视)指的是左眼(〖[θ，φ]〗_(左注视))或右眼(〖[θ，φ]〗_(右注视))凝视相对于脸部的3D极坐标中的方向，通常作为时间的函数。这是衡量眼睛所面对的位置，而不考虑眼睛看到的东西。根据任务或目标，它可以进一步分类为相关或不相关。

凝视位置(〖[x，y，z]〗_注视或)指的是笛卡尔坐标或球形3D坐标中环境中凝视的位置(或目的地)，通常作为时间的函数。参考帧可以相对于用户、装置或空间中的某个其他点，但是最常见的是坐标空间的原点将是用户的眼睛(一个或另一个或中间的一点)。凝视位置定义包括并且取决于初始凝视位置和最终凝视位置。

从估计的凝视方向导出聚散，并且可以将其量化为两只眼睛的角度差异(正差异是发散而负是收敛)。当从凝视位置导出时，聚散有助于并且可以量化为凝视位置距眼睛/面部的距离。收敛和分歧可各自由其持续时间和变化率来定义。

固定位置([x，y，z]_固定或)是笛卡尔或球形3D空间中的固定位置，其被测量为用户在某个时间点的凝视的估计位置。固定位置定义包括并且取决于初始固定位置和最终固定位置。

固定持续时间(D_固定)是固定的持续时间(即眼睛凝视到达固定位置和离开时的时间跨度)，通常以毫秒或秒(s)为单位测量。平均持续时间用条D _固定表示，并且可以表示所有固定、一段时间内的固定(例如_D_(固定|目标存在))和/或特定区域内的固定(例如_D_(固定|显示中心))。固定持续时间定义包括并且取决于固定的变化率。

固定率(频率)(f_固定)是指对于所有固定、一段时间内的固定(例如_D_(固定|目标存在))和/或特定区域内的固定(例如_D_(固定|显示中心))测量的每秒固定数(s^(-1)或Hz)。

固定计数(数字)(N_固定)是指针对所有固定、一段时间内的固定(例如_D_(固定|目标存在))和/或特定区域内的固定(例如_D_(固定|显示中心))测量的固定的数量。

扫视位置([x₁，y₁，z₁|x₂，y₂，z₂]扫视或)指笛卡尔或球形3D空间中的扫视眼运动的起始(1)和结束(2)位置。在给定场景中，参考帧通常与用于凝视位置的参考帧相同。扫视位置定义包括并且取决于变化率、初始扫视位置和最终扫视位置。

扫视角度(Θ_扫视)指的是描述扫视的二维(忽略深度)方向的角度，相对于以度(°)或弧度(rad)为单位的某个参考。除非另有说明，否则参考垂直向上，角度顺时针增加。可以指定参考(例如Θ_{扫视-目标})以表示扫视方向与某个期望方向(即朝向目标)的偏差。平均扫视方向用条Θ _扫视表示，并且可以代表所有或一部分扫视(例如_Θ_(扫视|目标存在))；因为方向是有角的(即圆形)，所以除非指定相关参考(例如_θ_(扫视-目标|目标存在))，否则平均方向可以是随机的。扫视角度可以用于确定目标与用户的相关程度，也称为朝向目标的相关性的上下文。

扫视幅度(M_扫视)指的是与行进距离有关的扫视的大小；这可以作为以度(°)或弧度(rad)为单位的视角，关于估计的注视位置的物理距离(例如，以厘米(cm)或英寸(in)为单位)或显示空间中的距离关于显示器上的估计的注视位置(例如，以像素(px)为单位)。参考关于空间中的特定点(P)，与该点的直线平行的扫视幅度的分量可以给出如下：

M_扫视-P＝M_扫视·cos(Θ_扫视-P)

其中M_扫视是扫视的大小，Θ_扫视-P是扫视方向和朝向点P的矢量之间的角度。平均扫视幅度用条M _扫视表示，并且该符号可以应用于所有扫视和/或时间或空间中的子集，并且关于扫视幅度或相对于指定点的扫视幅度的分量。

前扫视指向空间中的某个点移动，通常是目标、感兴趣的区域或一些注意力捕获事件。通过上述术语，前扫视将相对于指定位置具有相对小的扫视角和正幅度分量。

反扫视指的是远离空间中某些点的移动，通常是由于厌恶或基于任务(指示视线)。通过上述术语，反扫视会相对于指定位置具有相对大的扫视角(约±180°或±πrad)和负幅度分量。

回归抑制(IOR)与反眼跳有关，并描述了在搜索或自由观看期间的趋势，以避免最近固定的信息量较少的区域。IOR反映了有效采样场景的一般策略。它可以通过反扫视定义或进行进一步的功能。

Saccade Velocity(v_扫视)或扫视的速度被视为幅度随时间的变化(并且通常不是从幅度分量朝向参考点)。基于扫视速度的大小和方向，它可以指示目标与用户的相关程度。平均扫视速度用条v _扫视表示，并且可以应用于所有扫视或时间和/或空间中的子集。

扫视率(频率)(f_扫视)表示所有扫视、一段时间内的扫视(例如f_(扫视|目标存在))、特定区域内的扫视(例如f_(扫视|显示中心))和/或由其方向定义的扫视(f_(扫视|朝向目标))所测量的每秒扫视的平均数(s^-1或Hz)。

扫视计数(数量)(N_扫视)是对于所有扫视、一段时间内的扫视(例如N_(扫视|目标存在))、特定区域内的扫视(例如N-(扫视|显示中心))和/或由其方向(例如N-(扫视|朝向目标))定义的扫视所测量的扫视的数量。

Pursuit Eye Movements(PEM)用于指平滑追踪眼球运动，其中凝视通过空间跟踪运动物体和前庭眼球运动，以补偿头部或身体运动。它可以由指示平滑PEM的开始、持续时间和/或方向的数据进一步定义。还包括从移动参照系对静止物体的补偿跟踪。PEM通常不包括固定和扫视，而是由偶尔的错误校正扫视中断的连续、相对慢的运动。可以分别减去和分析PEM迹线的平滑和扫视部分。

身体追踪定义

身体追踪需要测量和估计身体和肢体的位置作为时间的函数和/或与一类运动相关的离散事件(例如头部的点头)。信息源包括带有和不带磨损标记的视频跟踪，以帮助图像处理和分析、位置跟踪器、加速度计和各种手持或磨损的装置、平台、椅子或床。

屏幕距离(d_屏幕)指用户眼睛(面部)与给定显示装置之间的距离。作为静态量，确定朝向屏幕上的各种元素的方向(视角)是重要的，但是随着时间的变化，屏幕距离可以测量用户朝向和远离屏幕的移动。屏幕距离取决于用户眼睛(面部)和给定显示装置之间的变化率、初始位置和最终位置。结合面部检测算法，该措施可以从装置相机和具有相对于显示器的已知位置的单独相机进行。

头部方向(面向)([θ，φ]_头部)指的是头部朝向方向相对于身体或环境中的显示器或其他物体的3D极坐标的方向。跟踪随着时间的推移，这可以用于得出诸如点头(有接合和疲劳)、摇晃、摆动或任何其他形式的定向之类的事件。头部方向取决于相对于主体或环境中的显示器或其他物体的变化率、初始位置和头部朝向方向的最终位置。

头部固定虽然类似于固定和与眼睛运动相关的各种措施，但可以进行测量和行为推断。通常头部固定比眼睛固定要长得多。当与前庭眼补偿相结合时，头部运动不一定表示眼睛注视方向的变化。头部固定取决于头部固定的变化率、初始位置和最终位置。

头部扫视虽然类似于扫视，但是它们与眼球运动相关的各种措施可以被测量为快速、离散的头部运动。当在大视角移动凝视时，这些可能伴随着眼球的眼球运动。定向头部扫视也可以是听觉处理的一部分，并且响应于环境中的新颖或意外声音而发生。

头部追踪虽然类似于追踪眼球运动，但往往是在跟踪移动物体和/或补偿移动参考帧时较慢且持续的运动。

肢体追踪指的是使用具有图像处理的视频或佩戴/保持装置的肢体位置随时间变化的各种测量，其本身由视频、加速度计或三角测量来跟踪。这包括指向装置，如计算机鼠标和手持运动控制器。相对肢体位置可用于导出诸如指向方向的辅助测量。肢体追踪取决于肢体的变化率、初始位置和最终位置。

重量分布是指在传感器的空间布置上的重量分布，而用户站立、坐下或躺下可以用于测量身体运动、位置和姿势。重量分布取决于变化率、初始位置和重量的最终位置。

还可以记录包括微表情、眉毛位置、患者嘴巴的边缘、角落和边界以及用户颧骨的位置的面部表情。

电生理学和自主定义

电生理学测量基于通常通过放置在皮肤上的导电电极记录电位(电压)或电位差。取决于放置电极的身体部位，可以基于一组度量和分析进行各种生理和/或行为测量。通常，电压(非常小-微伏μV)被记录为时间的函数，采样率为每秒数千次(kHz)。虽然电生理记录可以测量自主功能，但也可以使用涉及各种传感器的其他方法。压力传感器、光学传感器(例如脉冲氧合)、加速度计等可以提供连续或事件相关的数据。

频域(傅里叶)分析允许将作为时间(时域)的函数的电压电势转换为波形能量作为频率的函数。这可以通过移动的时间窗口来完成，以创建频谱图。作为时间的函数的特定频率或频率范围的总能量可用于测量响应和状态的变化。

脑电图(EEG)是指脑功能的电生理记录。时间平均和频域分析(详见下文)提供状态测量。结合关于刺激的精确定时信息，可以分析事件相关电位(EEG-ERP)作为信息处理的特定方面的波形特征。

频带通常与大脑活动(EEG)相关联，并且在频域分析的背景下，不同频率范围通常用于寻找特定神经过程或共同状态的活动特征。频率范围以每秒周期(s^-1或Hz)为单位指定：

δ-频率小于4Hz。通常与慢波睡眠有关。

θ-4到7Hz之间的频率。通常与嗜睡有关。

α-8到15Hz之间的频率。

β-16到31Hz之间的频率。

γ-频率大于32Hz。

心电图(ECG)是指心脏功能的电生理记录。在这种情况下感兴趣的主要衡量标准是心率。

肌电图(EMG)是指肌肉张力和运动的电生理记录。可以进行微妙的肌肉激活的测量，不一定导致明显的运动。脸上的电极可用于检测面部表情和反应。

电眼摄影(EOG)是指穿过眼睛的电生理学记录。这可以提供眼睛和眼睑运动的敏感度量，但是在导出瞳孔位置和注视方向方面的用途有限。

视网膜电图(ERG)是指视网膜活动的电生理学记录。

电流皮肤反应(GSR)(皮肤电反应)是皮肤电导率的量度。这是交感神经系统的间接测量，因为它涉及汗液的释放。

体温测量可以以离散或连续的方式进行。体温相对快速的变化可能是对刺激的反应的量度。可以通过跟踪温度变化率、初始温度和最终温度来测量移位。

呼吸率是指呼吸速率，可以从许多来源测量，包括光学/视频、呼吸描记术和听觉，并且通常以每分钟呼吸量来测量(min^-1)。呼吸中的短暂停顿(即保持呼吸)可以用发病时间和持续时间来测量。

氧饱和度是血氧的量度，可用作自主神经功能和生理状态的指示。

心率以每分钟的心跳(min^-1)来测量，并且可以从许多来源测量并且用作自主功能和生理状态的指示。

血压通常用两个值来衡量：最大(收缩压)和最小(舒张压)压力，单位为毫米汞柱(mm Hg)。血压可以用作自主功能和生理状态的指示。

传出音频录音定义

来自附近麦克风的录音可以测量用户的行为甚至自主反应。声音响应可以提供响应时间、响应含义或内容(即所说的内容)以及响应持续时间的度量(例如，“yeah”对比“yeeeeeeeaaaah”)。可以测量其他话语，如打哈欠、咕噜声或打鼾。可以测量其他可听见的行为，例如敲击、摇摆、刮擦或通常烦躁的行为。在某些情况下，可以记录呼吸等自主行为。

可以记录诸如口语、短语和较长构造的发声并且在算法上将其转换为文本串以得出特定响应。可以测量每个成分的发作时间和持续时间(响应、单词、音节)。其他非语言反应(大喊、咕噜声、哼唱等)也可以被描述。发声可以反映一系列声乐参数，包括音调、响度和语义。

推断的传出反应是指可以通过音频记录的某些感兴趣的传出反应，并指示对刺激的离散反应或信号一般状态或情绪。感兴趣的行为包括敲击、刮擦、重复的机械相互作用(例如，笔点击)肢体的弹跳或摇动、摇摆和其他重复或其他值得注意的行为。

还可以进行呼吸，例如呼吸率、强度(体积)和潜在形态(口对鼻)的测量。

传入分类/定义

下面讨论的状态通常在各种刺激和刺激与环境状态的组合的背景下或对其的响应中测量。刺激可以通过传入输入模态(视觉、听觉、触觉等)来定义，并通过其特征来描述。特征可以由应用程序设置(例如，设置屏幕上显示的子画面的位置、大小、透明度)或者通过图像/音频处理分析(例如，傅里叶变换、显着性映射、对象分类等)来推断。

如下所述的感兴趣区域可以提前知道并且由应用设置，可以通过各种视觉刺激的位置和范围来定义和/或可以在数据收集之后通过图像处理分析来识别连续的、相关的和/或显着的区域。除了刺激特征之外，可以使用传出测量来识别感兴趣区域(例如，用户倾向于固定的区域由注视位置数据定义)。同样地，传入和传出测量可用于将时间分段为用于概要分析的时段(例如，在保持呼吸时的总注意次数)。

感官数据交换平台概述

参考图1，其示出了根据本说明书的实施例的示出用户与示例性SDEP的交互的框图100。在一个实施例中，用户102与媒体系统接口，例如平板电脑或VR/AR/MxR系统104上的app。媒体系统104可以包括诸如HMD、传感器和/或呈现视觉、听觉的任何其他形式的硬件元件106、向用户提供其他感官媒体并且能够在用户与呈现的媒体交互期间收集用户响应数据的装置。媒体可以由服务器，通过网络或能够向硬件装置(例如HMD)提供内容的任何其他类型的内容平台传送。传感器可以是生理传感器、生物传感器或其他基本和高级传感器以监测用户102。另外，传感器可以包括记录音频、视觉、触觉或可能直接或间接影响用户102的视力性能的任何其他类型的环境条件的环境传感器。媒体系统104还可以包括可以与硬件元件106相关联地执行的软件元件108。示例性软件元件108包括游戏程序、软件应用程序(app)或可以有助于向用户102呈现媒体的任何其他类型的软件元素。软件元素108还可以使系统能够收集用户响应数据。收集的数据可以用关于用户、软件应用程序、游戏(如果有的话)、呈现给用户的媒体、用户与系统交互的会话或任何其他数据的信息来标记。硬件元件106和软件元件108的组合可用于向用户102呈现媒体。

在一个实施例中，从用户102与软件系统104交互收集的刺激和响应数据可以构成数据源110。可以基于软件元素108和SDEP 118之间的交互在SDEP 118内创建数据源110。软件元件108还可以通过软件开发工具包(SDK)中包含的专有函数调用与SDEP 118交互，以供开发人员使用(即，开发者可以使用预定义的函数向/从SDEP 118发送/接收数据)。SDEP118可以包括存储和处理组件，并且可以是计算系统。SDEP 118的功能可以主要驻留在一个或多个服务器上，以及从云服务存储和检索的数据。数据源可以是视觉数据、音频数据、由部署在软件系统104中的传感器收集的数据、用户简档数据或可以与用户102相关的任何其他数据的形式。视觉数据可以主要包括刺激数据并且可以来自相机(例如手机相机或其他视觉设备/装置)，或来自其他间接来源，例如游戏和应用程序(app)。传感器可以提供空间和时间序列数据。用户数据可以涉及登录信息，或者从他们的简档导出的其他用户特定信息，来自社交媒体应用或其他患者来源。在实施例中，数据源大致分类为传入数据源和传出数据源，其在说明书的后续部分中更详细地描述。在一个实施例中，用户简档数据可以从另一个数据库收集，或者可以通过不同的源提供。在示例性实施例中，用户简档数据可以由包括一个或多个视力保健提供者的服务提供者提供。在其他实施例中，可以从其他来源收集用户简档数据，包括用户的装置、应用/游戏中的选择加入选项或任何其他来源。

可以将数据源110提供给数据提取系统112。数据提取系统112可以提取和/或转换数据以准备在数据处理系统114中进一步处理数据。数据适配器是用于在数据源和数据集之间进行通信的一组对象，可以构成数据摄取系统112。例如，图像数据适配器模块可以从图像中提取元数据，并且还可以处理图像数据。在另一示例中，视频数据适配器模块还可以从视频数据源提取元数据，并且还可以包括视频代码转换器以将大量视频存储到分布式文件系统中。在另一示例中，时间序列数据适配器模块将传感器数据解析为时间序列。在另一个实施例中，空间数据适配器模块可以利用来自相对较小区域(例如皮肤)的数据，并对数据进行空间变换以进行区域测量。在另一示例中，用户简档数据适配器模块可以对一般用户数据进行排序，例如通过登录、社交媒体连接API、电话上的唯一标识符等。

SDEP 118还可以包括从数据摄取系统112接收条件数据的数据处理系统114。数据处理系统114内的机器学习模块152可以与存储器154和实时队列156通信以将数据输出到数据服务系统116，其可以包括应用程序接口(API)。在实施例中，机器学习系统可以实现一个或多个已知和定制模型以处理从数据摄取系统112输出的数据。

在实施例中，SDEP 118还可以包括用于后端分析的模块120，其馈送另一个API122。API 122又可以与用户102接口，向用户102提供修改的媒体。

图2A是示出根据本说明书的实施例的传感器数据流在到达查询处理器之前的处理的框图。在一个实施例中，图2A示出了由SDEP接收的传感器数据流的λ架构200。数据处理架构200可以被设计为通过并行处理数据流和批处理来处理大量数据。在一个实施例中，包括实时从用户收集的传感器数据的传感器数据流202被提供给实时层204。实时层204可以通过实时处理器214接收和处理在线数据。批量收集的数据可以提供给批次层206。批处理层206包括主数据集222，用于接收和利用处理附加到现有事件的时间戳记事件。批处理层206可以使用包括可以处理非常大量数据的批处理器216的分布式处理系统来预计算结果。批处理层206可旨在通过能够处理所有可用传感器数据来提供准确数据，以生成批处理视图218。批量上载器220可上载输出以存储在数据库210中，其中更新完全替换现有的预计算批处理视图。可以将来自两个层的处理数据上载到相应的数据库208和210，以进行实时服务和批量服务。随后可以通过查询处理器212访问来自数据库208和210的数据，查询处理器212可以是服务层的一部分。查询处理器212可以通过从处理的数据返回预先计算的视图或构建视图来响应ad-hoc查询。在实施例中，可以独立地利用实时层204、批处理层206和服务层。

数据采集

事件可以在数据流内编码，可能来自应用程序、用户和环境传感器，并且可以承载指示事情何时发生的时间戳。任何具有明确发生时间的事物都可能被视为“事件”。大多数感兴趣的事件可能在时间上是离散的，时间戳指示某个状态的开始或结束。作为例外，可以连续记录电生理学数据，并且通常通过平均与其他事件同步的数据段或通过一些其他分析来分析电生理学数据。

在一个实施例中，从与用户102的交互收集的数据大致分类为传入数据和传出数据，对应于传入事件和传出事件。在周围神经系统中，传入神经纤维是传入神经元(感觉神经元)的神经纤维(轴突)。这是一个漫长的过程(投射)，远离神经细胞体，从感觉受体或感觉器官向中枢神经系统传递神经冲动。神经活动的相反方向是传出传导。相反，传出神经纤维是传出神经元(运动神经元)的神经纤维(轴突)。这是一个漫长的过程(投射)，远离神经细胞体，将神经冲动从中枢神经系统带向外周效应器官(主要是肌肉和腺体)。

“刺激”可以被分类为一个或多个事件，通常是传入的，在用户可以响应的物理世界中形成离散事件。刺激事件可能会或可能不会引起用户的响应，实际上甚至可能根本没有被有意识地感知或感知到；因此，如果发生事件，则可以进行分析。刺激事件类可以包括“特定应用事件”和“一般和/或衍生刺激事件”。

应用特定事件可以包括许多刺激事件类，其可以特定于特定应用的视觉、声音和其他感官效果。所有艺术资产都是潜在的视觉刺激，所有声音资产都是潜在的听觉刺激。可能还有其他形式的输入，包括但不限于味觉、嗅觉、触觉、以及生理输入-心率、脉搏牛、基础体温、以及位置数据-加速度计、视觉-运动-肢体运动、陀螺仪-头部运动/身体运动-方向、力量和时间。突然或逐渐出现或消失、运动开始或偏移、播放或暂停或这些元素的状态的其他变化将决定它们的具体时间戳。定义这些刺激事件类可能需要应用程序开发人员与SDE协作，并且可能包括图像/音频处理和分析代码的特定开发。

一般和/或派生刺激事件是那些在所有应用程序中可能是通用的刺激事件。这些可以包括从视频(例如头戴式摄像机)得到的传入事件或者场景记录的音频数据，而不是直接来自应用程序(它本身将提供这些事件的更准确的记录)。装置具体但不是特定于应用的事件也可以被分类。同样地，对所有应用程序执行的校准和其他活动可以被认为是一般的(尽管可能仍然能够被应用程序分类以便使用)。

在收集和分析大量数据之后，一些刺激事件可能不明显。可以检测和调查趋势，其中创建新的刺激事件类以解释用户之间的响应模式。另外，可以执行描述性和预测性分析，以便根据趋势/模式促进刺激/内容的实时交换，从而使患者改善用户体验。

“响应”可以被分类为一个或多个事件，通常是传出的，由用户形成离散动作或动作模式，可能响应于感知的刺激(真实的或想象的)。响应可以进一步包括通过电生理学和/或自主监测传感器测量的生理状态的任何变化。响应可能不一定是有意识的或自愿的，尽管他们将尽可能被识别为有意识/无意识和自愿/非自愿。响应事件类可以包括离散响应、时间锁定平均响应、时间导数响应和/或导出响应事件。

“离散响应”表示与意志用户行为相关的最常见响应事件，并且在时间上是离散的，具有明确的开始和结束(通常持续在几秒或几毫秒的数量级)。其中包括鼠标或触摸屏输入、发声、扫视和追踪眼球运动、眨眼(自愿或不自愿)、头部或其他身体部位运动和电生理检测到的肌肉运动。

由于某些数据记录的噪声特性，特别是电生理记录，很难检查对个体刺激事件的响应。时间锁定平均响应是指响应特定刺激事件的模式，其可以通过平均从许多刺激响应事件中提取。将特定刺激的每次呈现后立即的一段时间(通常为秒级)的数据放在一边，然后在许多“试验”中取平均值，因此数据中的噪声(可能是随机的随机性)抵消了自身，留下了可以测量其特征的平均响应。

时间导数响应反映了一些反应，特别是自主反应，随着时间的推移变化缓慢；有时太慢，无法与离散的刺激事件相关联。然而，在某些时间段内的平均值、变化速度或速度加速度(以及其他衍生测量值)可以与其他测量状态(传入或传出)相关联。

与刺激事件一样，在收集数据之前，某些响应事件可能不明显，但随着时间的推移会显现出来。无论是通过人工或机器引导分析，数据中都可能出现一些特征响应，因此可称为推断响应事件。

只要有可能，响应将与(可能)引发它们的刺激配对。一些应用可以在数据流中明确表示刺激和响应是如何配对的(如心理物理实验中的情况)。对于一般情况，刺激事件类将在呈现之后立即给定一段时间，在此期间可以合理地做出响应。在该时间范围内发生的任何响应可以与刺激配对。如果没有响应发生，那么将假设用户没有响应该刺激事件。同样，响应事件将在动作之前的一段时间内给出，在此期间刺激可能会引起它。可以检查刺激之后和响应之前的时间窗口，以帮助发现之前未设想的新刺激和响应事件类别。

刺激和响应事件类可以通过其特征(参数、值、类别等)来定义和区分。事件类的某些功能可用于在数据中建立组或类别。某些功能可能(也)用于计算各种指标。功能本质上可以是数字，保存特定于事件类或事件的单个实例的特定值。根据分析，特征可以是分类的，保持命名的身份用于分组或可能稍后转换为数字表示。

刺激事件的特征可能主要构成刺激的物理描述。这些特征中的一些可以定义刺激的事件类别，而其他特征可以描述刺激的特定发生(例如，时间戳)。命名的刺激身份(例如精灵文件名)和状态信息(例如方位或姿势)是刺激特征。图像的像素组成或声音的波形可用于生成刺激的无数不同描述特征。一些刺激特征可能需要通过数据分析来发现，就像一些刺激事件类本身可能从分析中出现一样。

响应特征通常可以包括所作出的响应的类型或类别、位置信息(例如，鼠标点击发生的位置或者扫视起源/着陆的位置、触摸、凝视、固定、头部转动、身体转向、头部方向和速度、或身体/肢体运动)和时间信息。某些派生特征可能来自检查对其做出响应的刺激，例如：响应是“正确”还是“不正确”。

图2B示出了数据分析链的示例性轮廓。数据分析从232处的最低级别开始，此级别的数据可能不会被简化或进一步细分。在232处，单个刺激的参数可以用于基于不同的独立变量的多个测量，其对应于刺激的直接特征。单个响应的参数可以用于基于不同因变量的多个度量。

图3示出了数字数据源的概述300。在实施例中，可以从提供视觉信息307、听觉信息308、空间信息310或其他环境测量状态的源收集传入数据304，包括但不限于温度、压力和湿度。传入数据源304可以包括意图由用户302感知的事件。用户302可以是根据本说明书的各种实施例与媒体系统接口的用户。

可以为多个人收集传入和传出数据，并且该传入和传出数据与对应于多个人中的每个人的简档的人口统计数据相关，其中人口统计数据至少包括多个人中的每个人的性别和年龄。一旦创建了这样的数据库，就可以使该服务的媒体内容对目标群体的视网膜-皮质-皮质通路产生更大的影响来创建针对具有至少一个特定人口统计属性的一组人的医学治疗。

传入数据

传入(刺激)事件可以是在显示器中提供给用户302的显示器上发生的任何事情、来自扬声器或头部/耳机的事件、或者由app生成的触觉输入。数据还可以由环境传感器收集，包括但不限于头戴式摄像机和麦克风，旨在保持用户302可能已经看到、听到或感觉到但不是由应用本身生成的事物的记录。传入数据304可以是刺激的形式，其可以被分解为用于构建分析度量的原始组件(特征或特征集)。

在实施例中，传入(刺激)事件与传出(响应)事件配对。在配对中，每个组件刺激特征可以与每个组件响应特征配对以进行分析。在一些情况下，还可以检查成对的刺激特征或响应特征对的相关性或依赖性。刺激/响应特征对是要生成的大多数可想到的度量的根源。在根据可用的各种其他事件特征进行分组和过滤之前，所有分析可以由这些特征对细分。在实施例中，对于包括传入304和传出306数据源的所有数据源，需要定时信息来将输入与用户302的传感系统相关联并从其输出。可以利用相关性来识别用户的特征度量或心理物理度量。例如，如果媒体系统104记录在时间tS(刺激)在屏幕上绘制对象，并且还记录了用户在时间tR(响应)按下特定键，则可以通过减去tR-tS来导出用户响应刺激所花费的时间。在备选实施例中，用户可以通过触摸或手势按键，或做出手势或与媒体环境交互。该示例将传入数据302和传出数据304相关联。

关联两种类型的传入数据304的示例可以是如果注视跟踪器指示用户的注视位置在指示用户正在跟踪移动物体的给定时间段内平滑地改变。然而，如果头部跟踪器也指示在相反方向上的平滑运动，同时，它还可以指示用户在移动他们的头部时正在跟踪静止物体。

将两种类型的传入数据304相关联的另一示例可以是如果视觉对象在时间t1出现，并且声音文件在时间t2播放。如果t1和t2之间的差异很小(或没有)，则可以将它们视为来自相同的来源。如果差异很大，则可能归因于不同的来源。

从累积的响应事件中获取的数据可用于描述行为模式。独立于刺激可能引起它们的响应模式可用于对用户的各种行为或生理状态进行分类。通过引发它们的刺激对反应进行分组可以提供感知功能的测量。在某些情况下，刺激事件的分析可能会提供有关应用程序本身或用户选择参与的体验的有用信息。分析可以包括以下参数：独特事件、描述性统计和/或心理测量功能。

唯一事件表示原始数据可能感兴趣的实例。一些不常见的刺激或反应事件可能无法提供平均机会，但由于其稀有性而引起关注。某些事件可能触发会话或感兴趣的时间段的结束(例如，用户未能完成任务并且必须重新开始)或发出某些交互阶段的开始。

描述性统计提供了汇总的指标。因此，如果事件或刺激/响应事件或特征配对的多次出现可以通过某种共性来分组，则可以估计集中趋势(例如，平均值)和可变性(例如标准偏差)的度量。这些汇总的指标可以实现对原始数据的行为的更细致和简洁的描述。可能需要一些最低水平的数据累积才能合理准确。

心理测量功能可以形成感知灵敏度和能力测量的基础。每当重复显示特定类别的刺激事件时，至少一个特征在呈现之间变化，则有机会将用户的响应模式映射到该刺激特征(假设响应也变化)。例如，如果游戏中特定对象的大小(刺激特征)变化，并且有时用户找到它并且有时他们没有(响应特征)，那么用户找到该对象的概率可以作为其大小的函数绘制。这可以针对单个刺激/响应事件配对的多个刺激/响应特征对或者针对碰巧具有相同特征配对(例如，大小/检测)的许多不同刺激/响应事件对来完成。当针对刺激特征(大小、对比度、持续时间、速度等)绘制的响应特征(检测、辨别、偏好等)可用于多个刺激水平的平均响应时，该数据的函数(例如，检测与尺寸)可以安装。描述该函数的变量本身可以描述行为。可以定义阈值，其中一方是失败而另一方是成功，或者在一方选择A和另一方选择B等。

视觉信息

返回参照图3，在一个实施例中，对于应用，来自物理显示器和视觉环境的视觉信息数据307是由一个或多个相机捕获的静止图像文件和/或视频文件的形式。在一个实施例中，数据是用于绘制特定刺激或场景的指令的形式(需要的数据量少得多，需要一些额外的渲染时间)。

图4是示出根据本说明书的实施例的视觉数据的特征度量的框图400。特征度量可以表征用户会话并且可以是时间平均的。参考图4，范围402可以指代视觉数据是用于整个场景(整个视觉显示还是来自用户头戴式摄像机的整个图像)。物理属性404可以指场景或其内的对象的客观测量。它们可包括相对于视网膜、头部和身体的位置，正交的3-D色度；和对比度与空间频率与方向的对比。分类属性406可以被命名为图像的属性，其可以包括对象的命名标识和/或组标识。

视觉刺激通常可以被视为由应用程序生成的数字真彩色图像(24位)(由app直接提供的图像数据)或从记录的视频(例如来自头戴式摄像机)获取。图像和视频可以以有损方式压缩；其中数据的加权平均可以解释有损压缩，但是否则图像处理将继续相同。开发者可以选择提供关于刺激的呈现的信息，其可以允许跳过一些图像处理步骤和/或允许用于分析的场景的事后渲染。视觉刺激可以包括但不限于以下部件：物体、尺寸、色度距离、亮度对比度、色度对比度、空间特征提取、显着性图和/或时间动态。

可以通过来自应用程序本身的信息或通过机器学习(类Haar特征分类级联或类似)找到对象(刺激)在图像(或视频帧)中。一旦被识别，属于对象本身的像素(或在对应于以对象为中心的已知大小的边界区域内)将被标记为“对象”。物体周围环境中的像素(必然在图像/场景本身的边界内)与物体的宽度/高度相同(即物体宽度为3倍，物体高度为3倍，不包括物体的中心区域)，将被标记为“环绕声”。如果存在与环绕的相同精确区域的另一图像，但是没有对象存在(因此示出了对象的“后面”)，则没有对象的整个区域可以被标记为“背景”。可以在可能的情况下相对于环绕并且还相对于背景计算度量。对象段或部分可用于将对象分解为其他对象，也可用于标识或类别变量。对象不需要对应于物理对象，并且可以包括场景内的区域或边界或者包括单个图像特征(例如边缘)。

对象大小是用于确定敏锐度的重要特征，或者是从已知敏锐度预测用户是否将检测或正确识别对象的重要特征。可以将对象大小定义为宽度和高度，或者基于对象中像素位置之间的最长水平和垂直距离，或者定义为定义对象位置的矩形边界框的宽度和高度。成功检测对象或将对象与其他对象区分开来可能需要的较小特征可以位于对象内。可以假设对象中的最小特征是其两个维度(宽度和高度)中较小者的10％。还可以假设，对于给定的观看距离，最小特征尺寸与显示器上的像素的尺寸成比例。通过分析图像的傅里叶变换或检查在对象上训练的类似Harr的特征分类级联(或类似的基于机器学习的对象检测)的关键特征，可以更明确地找到最小的特征尺寸。

按颜色划分的两个中的第一个，色度距离是对象与其环绕/背景之间的色差的度量，与任何亮度差异无关。红色、绿色和蓝色值可以在对象的所有像素和环绕/背景的所有像素上独立地平均。这些平均RGB值将转换为CIE三刺激值(X、Y和Z)，然后使用标准转换常数或特定于所用显示器的常数(如果可用)转换为CIE色度(x和y)。在一个实施例中，从RGB到XYZ的转换的转换常数，取自基于标准主要色度的Open CV函数“cvtColor”，D65处的白点和最大白色亮度1，是：

在该实施例中，使用以下内容将RGB转换为xy：

物体的色度与环绕/背景的色度之间的绝对距离将被记录为色度距离。接下来，将从两个色度之间的中点和L、M和S锥体的三个共同点中的每一个绘制线。这些线是L、M和S锥体缺陷的混淆线，缺少其中一种锥体类型的人将无法区分色度。平行于这三条混淆线中的每一条的物体和环绕/背景色度之间的线的分量将被记录为L、M和S特定的色度距离。

图5提供了根据本说明书的实施例的颜色对混淆组件的图形表示。参考该图，在给定的两个色度之间绘制线508。如图所示，三个大点-红色502、绿色504和蓝色506分别是L、M和S锥体的共同点。从每个点延伸出类似颜色编码的虚线。粗线508具有三条虚线相交的中点。基于线508与从中点到每个共同点的线之间的角度，确定三条所得混淆线中每条线的该线的平行分量。在实施例中，颜色之间的平行线越接近特定的混淆线，对于缺乏相应锥体的人来说就越难以辨别。组件长度除以总长度(商将在区间[0,1]中)将大致是颜色混淆的概率。

图6示出了说明如何针对投射到3D色度空间中的显示色域的顶表面上的给定色度找到亮度的曲线图。该图显示了计算机屏幕的完整显示色域到CIE 1931色度空间的投影。虽然用于定义显示器上的像素颜色的RGB空间可以由完美的立方体表示，但是亮度的实际物理特性在某种程度上复杂地从这些值导出，由图6中所示的形状表示。可以有三种方式定义亮度对比度。一般来说，分析的上下文将建议使用三者中的哪一个，但是可以针对任何对象及其环绕/背景计算所有三个。对于在大而均匀的背景上存在小物体的情况(例如，对于文本刺激)，可以使用根据物体的平均RGB和环绕/背景计算的CIE三刺激值Y(对应于亮度)来计算韦伯对比度。这里假设平均亮度大致等于环绕亮度。韦伯对比可以是正面的，也可以是负面的，理论上是无界限的。对于周期性的物体/周围环境，尤其是梯度(例如正弦波光栅)，迈克尔逊对比度可以从刺激中的最小和最大亮度值计算。迈克尔逊对比度总是介于0和1之间。对于大多数情况，有必要计算所有像素值的对比度，而不是平均值或最小值和最大值。通过取所有像素的CIE三刺激值Y的标准偏差，可以找到RMS对比度(均方根或标准偏差)。物体的RMS对比度是一种衡量标准。物体相对于环绕/背景的RMS对比度的RMS对比度是另一个。最后，物体和环绕声的RMS对比度仍然是可以使用的RMS对比度的第三个度量。

可以以上面针对亮度对比度描述的所有方式独立地计算任何一对色度值的色彩对比度。其中最有用的将是CIELAB颜色空间的a*和b*分量，或锥形-对立颜色空间的L对M和S对LM分量。对于任何尺寸对，可以计算韦伯、迈克尔逊和/或RMS对比度，这取决于被分析的刺激的类型。此外，将针对L、M和S锥体缺陷计算RMS对比度。所有像素的CIE色度值将被转换为以L、M和S共聚点为中心的三组极坐标。在一个实施例中，使用以下等式将笛卡尔坐标转换为极坐标，并提供提供除[0,0]之外的中心点的选项：

可以基于每次转换的半径坐标来计算RMS对比度。

除了查找对象之外，算法还可以识别场景中或对象内存在的可以捕获注意力的突出特征，对于用户正在执行的任务或者作为与行为相关联的独立变量感兴趣。边缘，在识别的对象内部和其他方面，可能是固定或其他响应的目标，并且它们的位置可能导致在响应中观察到的位置错误并且值得与正确和不正确的响应相关联。可以从该数据中提取区域、轮廓、表面、反射、阴影和许多其他特征。

显着性图是指从用户交互中收集的数据，以通知显着性模型，以便将来分析刺激场景。可以使用边缘、轮廓和其他图像特征来测量显着性并预测用户响应(包括眼睛凝视注视)可能下降的位置。可以应用多种算法来突出场景中的不同类型的特征。

时间动态也很重要，因为视觉显示或环境的特征及其任何对象和对象特征可能随时间而改变。记录任何变化的时间非常重要，特别是：出现/消失或物体或特征的亮度/对比度变化、运动开始/停止或突然的位置变化(在x、y、z平面中)、速度变化(或加速度或位置的任何更高阶时间导数)以及对象或特征的状态或身份的任何和所有变化。还应记录对象或特征的色度或亮度的变化。还可以记录由于对象的方向或姿势的改变或对象相对于环绕/背景的位置而导致的外观的二次改变。

听觉信息

返回参考图3，可以通过使用麦克风从诸如扬声器的音频输出和环境接收听觉信息308。在一个实施例中，听觉信息308可以以原始波形文件或更具描述性的术语(例如，此时播放的该音频文件)获得。

图7示出了根据本说明书的实施例的用于听觉信息308的特征度量700。参考图7，可以注意位置参考702以识别声音的位置。相对于用户头部，环境中的对象或说话者的位置将随着他们移动头部而变化。通过耳机感知的虚拟源的位置可能不会随着用户转头而改变(除非头部跟踪和声音处理一起工作以模仿这些改变)。

声音的物理属性704可以包括它们的位置(从耳朵之间的强度、定时和频率差导出)、频率成分(从波形导出)和不同源的成分。分类属性706可以被命名为图像的属性，其可以包括对象的命名标识和/或组标识，并且可以遵循与视觉刺激类似的描述。

听觉(声音)刺激通常可以被视为数字波形(具有变化的空间和时间分辨率或比特率和可能的压缩)，或者由应用产生或者从记录的音频(例如头戴式麦克风，优选双耳)获取。可以记录压缩参数(如果有的话)。开发人员可以选择提供有关刺激表示的信息，这可能允许跳过某些处理。可以使用视觉信息来模拟音频环境，从而可以考虑声音反射或遮蔽。可以分解音频刺激以包括以下参数：傅里叶分解、头部中心位置、声音环境和/或对象。

可以执行傅里叶分解以基于声音对象将声波分解成分量。可以将时域波形数据变换到频域，使得可以分析不同音频频率随时间的幅度和相位。这将允许利用声音参数(例如频率、幅度、波长、形状和包络、音色、相位等)作为独立变量。

头部中心位置或头部跟踪数据可能是环境声音所必需的。可以导出声源相对于用户耳朵的位置，并且可以在可能的情况下记录用户耳朵处存在的声音波形(理想地，来自双耳头戴式麦克风)。双耳耳机声源(例如耳机/耳机)可以消除对此的必要性。

类似地，对于环境声音可能需要跟踪身体和/或肢体的数据。可以导出声源相对于用户的身体和肢体的位置。该数据可以与针对环境声音识别的头部跟踪数据相关。该数据可以使人们能够理解身体和肢体如何与头部的运动作出反应。

声音环境在大多数常见用例中并不重要(例如声音来自耳机或直接来自用户前方)，但对于考虑用户预期会响应的环境声音非常重要。环境中反射和/或阻挡声音的物体(通常是频率特定的)可以改变声音的视在源位置和其他频率相关特征。粗略地表征物理环境可能是有用的，因为它影响声音从其源传播到用户的传播。

可以使用用于检测和分割视觉对象的相同类型的机器学习算法(类Haar特征分类级联或类似)来检测和分割音频对象。应该尽可能地使用它来获得准确的音频事件细节，并且还可以用于提取听觉系统用于本地化的音频参数。

大多数分析可能围绕视觉和(在较小程度上)在时间上离散地发生的听觉刺激。其他刺激可以包括以其他形式(例如，触摸、味觉、嗅觉等)感测的那些刺激或者定义用户与应用的交互的上下文(例如环境照明和背景音频)的一般环境状态变量。

其他刺激的例子可能包括以下内容：

触觉刺激，开发者可以选择使用触觉反馈机制，如果他们愿意，可以提供有关这些事件的性质和时间的详细信息。触觉刺激也可以通过直接记录(不太可能)或从其他来源获得(例如通过麦克风听到物理振动的嗡嗡声)。

其他模态刺激，开发人员可以在离散时间启动气味、味道、温度、压力、疼痛或其他感觉，从而产生尚未讨论的刺激事件。与触觉刺激一样，任何此类刺激的记录最好通过函数调用直接来自应用程序本身。

环境刺激或不是在时间上离散地发生并且是恒定状态或稳定重复的刺激可以为在会话中发生的离散刺激和响应提供重要的背景。环境光水平可以影响对比敏感度、基线瞳孔大小、昼夜节律模式和用户的其他生理状态。环境声音可能影响听觉灵敏度，可能掩盖某些听觉刺激并且还影响用户的生理和其他状态。一天中的时间也可能是分类和相关的重要变量。虽然应用程序可能不容易记录，但用户输入可以提供有关睡眠模式、饮食和其他生理相关状态变量的信息以及空间的分类描述，包括温度、压力、湿度(也可能来自位置和其他服务)。

空间信息

返回参考图3，在一个实施例中，空间信息310可以包括围绕用户302的设置的描述。这可以包括用户302的空间定向和用户302周围的物理空间。

在一个实施例中，设置是用户302和app之间发生交互的环境。设置数据可以指在会话期间主要是静态的事物，包括物理设置、环境光水平、室温和其他类型的设置信息。在实施例中，空间信息310是设置数据的一部分。设置数据在整个与用户302的会话中通常可以是恒定的，因此可以不分解为如前所述的“事件”。设置数据可以涉及物理设置或者可以涉及用户302的患者细节。

物理设置数据可以对应于物理空间的任何描述，例如但不限于房间或室外设置，并且可以用于分类或过滤数据。在示例性实施例中，诸如存在的环境照明的物理设置数据可以直接影响瞳孔大小、对比敏感度等的测量。照明可能影响视频眼睛跟踪的质量，以及从场景的视频记录得到的任何传入事件。同样，环境声音可能会影响用户的敏感度以及表征来自录音的传入事件的能力。

患者的细节可以涉及任何患者，主要是人口统计学，关于用户的数据或关于他们当前生理或感知状态的信息(那些在整个会话期间将基本保持不变的状态)。此数据也可用于分类和过滤。患者的细节可以包括关于用户眼睛的光学的任何信息(例如，从用户的眼镜或接触处方的知识得到的那些信息)。患者的细节还可以包括饮食相关信息，例如最近的进餐历史。此外，最近睡眠时间的时间、持续时间和质量、最近摄入的任何精神活性物质(例如咖啡因)和最近的运动或其他身体活动都可能影响整体数据。

传出数据

眼动追踪

视频眼动追踪和眼电图提供有关眼球运动、注视方向、眨眼和瞳孔大小的信息。衍生自这些是对于视觉搜索行为的聚散、疲劳、唤醒、厌恶和信息的测量。有关眼球运动的信息包括启动、持续时间、前扫视运动的类型(朝向目标)、反扫视运动(朝向未预期的目标)、反扫视错误的数量(从意图到非预期目标的时间和方向)、平稳追踪、注视固定持续时间、瞳孔在运动过程中和固定过程中的变化、眨眼率的频率和速度、以及眼球运动的频率和速度。有关聚散的信息可能包括收敛和分歧-在启动和持续时间方面。结合关于视觉场景的信息，可以进行准确度、搜索时间和效率的测量(例如，最小化搜索中的扫视的数量)。

从视频眼睛跟踪数据导出的自主测量可以用于指导针对那些增加或减少唤醒和/或厌恶的刺激选择。关于凝视位置的概要信息可以指示兴趣或参与，并且同样可以用于指导刺激选择。

参考图3，传出数据源306可以包括视频眼睛跟踪数据312。数据312可以测量注视方向、瞳孔大小、眨眼以及可以使用视频眼动仪(VET)或眼电图测量的与用户302眼相关的任何其他数据。这也在图8中示出，图8示出了根据本说明书的示例性实施例的用于眼睛跟踪的特征度量800。视频眼睛跟踪802通常涉及记录用户眼睛的图像并使用图像处理来识别瞳孔和已知光源(通常是红外线)的特定反射，从中可以导出瞳孔大小和注视方向的测量值。角度分辨率(眼睛注视方向)和时间分辨率(每秒帧数)可能限制某些测量的可用性。一些措施可能被记录为离散事件，而其他一些措施则随着时间的推移而被记录，用于分析时间的趋势和统计数据。

凝视方向

通常配备有眼睛跟踪硬件的软件可以提供与用于校准的显示器相关联的坐标中的凝视方向的校准估计。可能/有必要单独执行某些转换。对于具有外部视图相机的头戴式单元，注视位置可以是头部中心坐标或相对于环境中的特定对象(可能提供的参考对象)的坐标。假设凝视方向将以每秒样本的某种速率提供。以下大多数指标将来自这一凝视方向数据流：扫视、追踪、聚散、模式和/或微观。

扫视：由凝视的快速变化(在几毫秒内)分开的相对固定的凝视方向的长时期可被记录为“固定”并且其间的跳跃被记录为“扫视”。将记录位置、开始和结束时间以及持续时间的固定情况。在某些情况下，它们也可以被评定为稳定性(固定期间凝视方向的可变性)。扫视将以其方向(角度)、速度和距离而闻名。值得注意的是，通常会假设，当视觉信息未被(完全)处理时，在扫视期间存在一段皮质抑制。开发人员可以利用这种扫视抑制来改变显示，而不会在显示元素之间产生运动、外观或消失的感知。

追踪：追踪眼球运动的特征可能是注视方向的平滑变化，比典型的扫视更慢(并且没有皮质抑制视觉处理)。这些平滑的眼睛运动通常发生在眼睛追踪/追踪相对于头部朝向的物体移动时，当头部移动或移动物体同时头部也移动时静止物体。身体或参考框架运动还可以生成追踪眼球运动以跟踪物体。基于不可见或模糊目标的预期位置，在没有视觉刺激的情况下可以发生追踪。

聚散度：该度量可能需要同时针对双眼的相对精细的分辨率凝视方向数据，使得眼睛之间的凝视方向的差异可用于确定凝视的深度坐标。对于用户而言，聚散度与物体的距离有关，以测量近会聚点和距离中的无限远之间的物体-所有这些都可以基于收敛和发散之间的聚散度的测量来建模。

模式：可以从眼睛注视方向数据的机器学习分析导出的眼睛运动的重复模式可以用于表征响应事件、用户交互状态或者测量适应、训练或学习的效果。值得注意的是在视觉搜索目标期间的模式或者在完成任务时自由观看场景(例如，学习场景细节以便稍后在存储器任务中识别)。眼睛运动模式也可以用于生成用于创建场景的显着性图的模型，从而引导图像处理。

微扫视：通过相对敏感的方向和时间分辨率，可以测量和表征微观活动。微扫视通常在固定期间存在，并且在刚性或长期固定期间特别令人感兴趣。对显示系统的反馈可以允许创建在视网膜上保持静止的图像，从而导致Troxler衰落。微扫视不受意识控制或意识。

关于可以在一段时间内回答的眼睛跟踪指标的示例问题可以包括：用户看的最多(可能响应于重复事件)的地方、扫视眼球移动的速度和准确度、用户找到目标的速度有多快、用户正确识别目标的速度有多快、追踪/跟踪的准确程度、是否存在对某些区域/刺激的偏好。

在自由观看或搜索期间，扫视之间的固定(相对稳定的眼睛注视方向)通常持续200-300毫秒的量级。扫视具有快速加速的速度，高达每秒500度，最终以快速减速结束。追踪眼球运动是为了稳定地固定在运动物体上，无论是物体运动还是头部运动相对于物体或两者。聚焦眼球运动用于将眼睛聚集在一起以聚焦在近处的物体上。前庭眼运动是源自头部和/或身体运动的补偿性眼球运动。

参考名称为“A Non-Invasive Method for Assessing and Monitoring Brain”的WO2015003097A1。在一个示例中，执行前扫视眼睛跟踪测试。支持扫视测试测量个体将他或她的视线从静止物体移向闪光目标所需的时间量。可以如The Antisaccade：A Reviewof Basic Research and Clinical Studies，S.Everling and B.Fischer，Neuropsychologia Volume 36，Issue 9,1998September September，pages 885-899(例如，“Everling”)中所述进行前扫视眼动追踪测试。

可以在向个体呈现标准化的视觉刺激组的同时执行前扫视测试。在一些实施例中，可以使用相同或不同的刺激多次进行前扫视测试以获得平均结果。前扫视测试的结果可包括例如前扫视反应时间。促扫视反应时间是自愿扫视开始的潜伏期，正常值在大约200-250毫秒之间。前扫视反应时间可以进一步细分为：快速前扫视：80-134ms；快速常规：135-175毫秒；慢速常规：180-399毫秒；和晚：(400-699毫秒)。

类似地，可以执行抗扫视眼睛跟踪测试。抗扫视测试测量个体将他或她的视线从静止物体移开远离闪光目标朝向期望焦点所需的时间量。例如，可以如Everling中所述进行抗扫视眼动追踪测试。在一些示例中，抗扫视测试还可以测量错误时间和/或错误距离；也就是说，眼睛向错误方向移动的时间或距离(朝向闪光目标)。可以使用标准化的视觉刺激组进行抗扫视测试。抗扫视测试的结果可以包括，例如，如上所述的用于前扫视测试的平均反应时间，典型的平均反应时间落入大约190至270ms的范围内。其他结果可包括眼睛运动的初始方向、最终眼睛静止位置、到最终静止位置的时间、初始中心凹距离(即，中央凹在闪光目标的方向上移动的距离)、最终的中央凹静止位置和最终的中心凹距离(即，中央凹在所需焦点方向上移动多远)。

此外，可以执行平滑追踪测试。平滑追踪测试评估个人平稳跟踪移动视觉刺激的能力。平稳追踪测试可以通过要求个人在目标移动穿过屏幕时可视地跟踪目标来进行。平滑追踪测试可以使用标准化的视觉刺激组进行，并且可以用相同或不同的刺激进行多次以获得平均结果。在一些实施例中，平滑追踪测试可以包括基于淡入淡出视觉刺激的使用的测试，其中当个体跟踪目标时，目标淡入并淡出。在平滑追踪测试期间收集的数据可以包括，例如，初始响应等待时间和在目标跟踪期间沿着运动方向捕获中央凹位置的多个样本。可以将每个采样的中央凹位置同时与目标中心的位置进行比较，以产生每个样本的误差值。

对于更灵敏的跟踪硬件，也可以测量眼球震颤(眼睛的恒定震颤)、漂移(由于不完美的控制)和微型级(漂移的校正)。这些也会对凝视位置的粗略测量产生噪声；因此，固定通常以相对稳定的凝视位置测量范围内的平均位置为特征。或者，可以设定凝视速度的阈值(度/秒)，低于该阈值时，任何小的运动都被认为是在固定内。

在例如引起扫视的视觉刺激的开始之后，扫视需要时间来计划和执行，并且典型的延迟或潜伏期至少为150ms。关于扫视之前的潜伏期和可能延长或缩短它们的各种情境，可以说很多。关于眼睛运动和视觉场景中发生的事件的相对时间，我们获得的信息越准确，我们就越多可以说刺激参数对扫视的影响。

虽然通常是相关的，但注意力和眼睛注视的变化不一定必须一起发生。在一些情况下，用户将注意力引导到其视觉外围中的点可能是有效的，例如在观察另一个位置的同时监视一个位置。这些方案可用于生成与视野和多跟踪相关的度量。

可以使用图像处理技术基于视觉系统的模型突出显着更高显着性的场景内的区域。例如，具有更高的高空间频率对比度(即边缘和线条)的区域倾向于捕获注意力和固定。在特定上下文中可以使用眼睛注视方向来基于视觉场景中可用的信息以及观察者可能参与的任何任务来开发自定义显着性图。此工具可用于突出显示感兴趣的区域或更大的参与度。

瞳孔大小

可以测量瞳孔大小作为导出凝视方向所必需的图像处理的一部分。瞳孔大小通常可以响应于光水平而改变，并且还响应于通过自主过程的某些刺激事件而改变。瞳孔的反应不受意识控制或意识的影响(其次是在极端光照变化的情况下)。关于可以在一段时间内回答的眼睛跟踪度量的示例问题可以包括：瞳孔如何响应不同的刺激，瞳孔如何随着时间的推移而表现。

瞳孔直径通常分别在极光和黑暗中落在2到8毫米之间。瞳孔扩张和收缩以响应各种内部和外部刺激。由于基线瞳孔直径的差异，观察者之间以及由于环境照明和生理状态，瞳孔响应通常可以测量为从基线的变化比例。例如，基线瞳孔直径可以是外部刺激事件时刻的直径(图像出现)，并且响应通过刺激事件后1秒内瞳孔扩张或收缩的程度来测量。眼睛的颜色可能会影响收缩的程度，而年龄也可能是一个因素。

除了响应光线、适应距离和其他空间和运动提示，瞳孔直径通常会受到认知负荷、某些图像和阅读的调节。可以在终止视觉搜索期间或在终止视觉搜索时调制瞳孔直径。比例变化的范围可以从几个百分点到几十个百分点。

用于计算确定是否已做出响应的阈值将根据上下文和所使用的硬件的灵敏度而变化。环境照明的变化和/或显示器的平均亮度也会对瞳孔直径和比例变化产生很大影响，因此阈值将需要是可适应的并且可能由数据本身确定(例如，扩张事件的阈值本身是在一个用户的会话内记录的瞳孔直径值范围的百分比)。

再次参考标题为“A Non-Invasive Method for Assessing and MonitoringBrain”的WO2015003097A1。在一个例子中，评估瞳孔反应。通常通过将明亮的光照射到个体的眼睛并评估反应来评估瞳孔反应。在现场设置中，在难以控制照明的情况下，可以使用标准化的一组照片评估瞳孔响应，例如国际情感图像系统(IAPS)标准。已经确定这些照片引起可预测的觉醒模式，包括瞳孔扩张。可以使用各种刺激来执行瞳孔反应测试，例如改变光照条件(包括在个人眼睛中照射光)，或者呈现照片、视频或其他类型的视觉数据。在一些实施方案中，可以用相同或不同的刺激进行多次瞳孔测试以获得平均结果。可以通过初始读取个体的瞳孔直径、瞳孔高度和/或瞳孔宽度来进行瞳孔反应测试，然后向个体呈现视觉刺激以引起瞳孔反应。测量瞳孔扩张的变化(例如，直径、高度、宽度和/或基于这些测量中的一些或全部计算的面积的变化)和扩张所需的时间。瞳孔反应测试的结果可包括，例如，一组扩张(瞳孔散大)结果和一组收缩(瞳孔缩小)结果，其中每组可包括幅度、速度(扩张/收缩的速度)、瞳孔直径、瞳孔高度、瞳孔宽度和响应开始的延迟。

眨眼

视频眼动仪以及用户的面部/眼睛区域的不太专业的视频成像可以检测快速或长时间的眼睛闭合。可以采取预防措施，因为获取的丢失也可能是导致数据丢失的原因。可以记录与疲劳或刺激测量相关的随时间的眨眼事件、有意识或反身和眨眼率。关于眼睛跟踪度量的示例问题在图8中提及。在实施例中，这些是可以在一段时间内回答的问题，并且可以包括：用户是否响应于刺激的开始而眨眼、眨眼率是否响应刺激而改变、总体上是眨眼率变化、眨眼率是否表明疲劳。

成人之间的正常眨眼率在休息时每分钟大约10次眨眼，并且在集中注意力(例如阅读)期间通常降低至每分钟约3次眨眼。眨眼的其他特性，例如眼睑运动的距离/速度和眨眼内各个阶段的持续时间，与非视觉任务中的错误率(例如，使用听觉刺激辨别)和其他措施相关联；只要有可能，使用视频记录来详细分析眼睑位置(即自动眼睑跟踪)可能是有利的。超过150毫秒的眨眼持续时间可被视为长持续时间眨眼。

与大多数测量一样，从基线开始的比例变化可能比眨眼频率或平均持续时间的绝对测量值更有价值。通常，可以基于统计测量来指定显着性，意味着如果其大于测量的一般可变性(例如，使用t检验估计)，则任何偏差都是显着的。

手动输入

返回参考图3，另一个传出数据源306可以是手动输入314。这是传统的计算机交互工具，并且可以以多种形式获得。感兴趣的示例性手动输入314包括输入身份(按下按键)、任何其他手势、触摸屏上或鼠标上的位置坐标(x、y、z)、和/或手或其他肢体的(视频)跟踪。图9示出了根据本说明书的实施例的用于手动输入902的特征度量900。

关于可以在一段时间内回答的手动输入指标的示例问题可以包括：用户点击/触摸最多的位置(可能响应于重复事件)、点击/触摸的速度和准确度、用户寻找目标的速度、用户是否正确识别目标、跟踪准确程度、是否有某些区域/刺激的偏好、用户制作什么样的抓握/触摸动作、手/眼协调如何、是否存在对虚拟刺激的反身动作。

用手指、手和/或手臂、腿或用户身体的任何其他部分做出的响应通常可以产生定时、位置、轨迹、压力和分类数据。这些响应可能在时间上是离散的，但是也可以从手动数据中提取一些持续或状态变量。以下分析响应度量可以从手动响应导出：类别、身份、时间、位置和/或轨迹。

类别：除了点击、触摸、拖动、滑动和滚动等类别之外，还可能有子类别，如双击、点按或按下、多指输入等。通过应用程序可检测的类别区分一个操作与另一个操作的任何变量对于区分响应可能很重要(并且可能会被开发人员用于此目的)。

身份：每当存在针对相同类型的响应事件的多个输入模态时，最明显的是计算机键盘上的键，或者在媒体环境中可能的任何其他手势、可以记录输入的身份。这还包括方向键盘上指示的方向、点击的鼠标按钮、以及可能的触摸板触摸区域(独立于光标位置)或任何其他手势。

定时：可以记录所有响应的开始和结束时间(例如，按钮按下将记录按钮按下事件和按钮按下事件)，并且可以从该响应中导出持续时间。该定时信息对于将响应连接到引起它们的刺激并及时关联事件是关键。

位置：对于可视界面，位置可以是显示坐标。对于诸如点击之类的离散事件，位置可以是单数的，或者以一些合理的速率连续记录以用于跟踪、拖动等。当可能时，这些位置也可以转换为视网膜坐标(通过眼睛注视跟踪的组合)。通过理解位置，可以进行视网膜的形貌，并且视网膜的区域可以与其特定功能相关地进行映射，进一步与脑、身体、内分泌和自主系统相关。对于通过视频/动作捕捉记录的手势，将记录以身体为中心的位置以及由用户控制的任何光标或其他对象的位置。

轨迹：对于滑动、滚动和其他动态手势，除了发生的任何明确的位置变化之外，还可以记录响应的轨迹(即，方向和速度作为矢量)。事实上，这可能来自对位置数据快速变化的分析，除非装置也为这些行动提供事件类型。

头部跟踪

头部跟踪测量主要与虚拟、增强和混合现实显示相关联。它们可以提供与显示的可视环境同步的度量，也可以提供用户对这些环境的反应。朝向或远离刺激定向、与所显示的视觉环境和其他运动行为一致的线性或不线性的补偿性运动可用于导出类似于眼睛跟踪的类似但不太精确的测量。那些与唤醒、疲劳和参与相关的衍生测量可以如前所述进行修改。

如果头部运动，特别是扫视头部运动被证明是用户不匹配和不适的来源，则可能需要修改显示器以减少这种头部运动的次数。将显示元件保持在靠近头部中心的区域内和/或鼓励朝向头部的较慢变化可以减少大的头部运动。关于个体差异：在同一场景中，一些用户会比其他用户更多地移动他们的头脑。有可能训练头部移动器以减少其移动。

返回参考图3，头部跟踪数据316可以是另一种形式的传出数据306源。头部跟踪数据316可以跟踪来自位于HMD、头戴式耳机或其他磨损装置上的视频跟踪(VET或其他)或位置传感器的用户302头部方向和物理位置。除了跟踪用户302的头部之外，还可以跟踪他们的身体。可以从可穿戴装置中的基于视频的运动捕捉或加速度计记录用户的302个身体及其部分的位置。该位置数据通常用于编码手动响应数据(来自手指、手或手臂跟踪)和/或相对于环境的头部方向，以帮助进行眼睛注视测量和更新用户的视觉环境。头部位置数据还可以用于模拟头部阴影对来自环境的声音的影响。图10示出了根据本说明书的实施例的用于头部跟踪的特征度量1000，其可以包括头部朝向1002和/或物理位置1004。

关于可以在一段时间内回答的头部跟踪指标的示例问题可以包括：用户看的最多(可能响应于重复事件)的地方、头部移动的速度和准确度、追踪/跟踪的准确度、是否存在对于某些区域/刺激的偏好、用户是否准确地协调头部和眼睛运动以引导凝视和/或跟踪对象、头部运动是否由于硬件而减少、用户是否对硬件进行许多调整、用户是否被硬件可测量地疲劳。

头部运动在虚拟、增强和混合现实的领域中可能特别重要，并且通常可以与眼睛运动相关，这取决于任务。伴随眼球运动的头部运动倾向存在很大的个体差异。在阅读等任务中，头部运动可以占移动凝视的5％至40％(与眼球运动相结合)。用户通常移动头部的程度可以证明是视觉和前庭感觉不匹配导致的疾病易感性的关键指标。

在这两种方式中，扫视和追踪头部运动可能在质量上有所不同。例如，如果用户使用追踪运动从身体前方、从右侧90度到身体侧来跟踪物体，而不是从前向右自由地引导凝视，则不匹配可能不那么刺耳。如果追踪物体的速度相对稳定，那么通过大部分运动将不可察觉地不匹配。

返回参考图3，还可以通过麦克风跟踪用户302的语音响应。语音识别算法将从记录的声音中提取语义，并标记响应的时间(可能是单个单词或音节)。在不太复杂的场景中，声音响应的强度可能足以标记响应时间。在实施例中，语音和语音数据与若干其他形式的数据相关，例如但不限于头部跟踪、眼睛跟踪、手动输入，以便确定感知水平。

电生理学/自主记录

电生理和自主神经措施大部分落在有意识影响的范围之外，因此也就是表现。这些措施主要涉及唤醒状态，因此可用于指导刺激选择。这里为方便起见，感兴趣的措施将来自脑电图(脑电图-特别是与唤醒状态相关的各种频带的活动)、皮肤电反应(GSR-也与唤醒和对情绪刺激的反应有关)、心率、呼吸率、血氧和骨骼肌反应的潜在量度。

再次参考标题为“A Non-Invasive Method for Assessing and MonitoringBrain”的WO2015003097A1。在一个示例中，通过执行主动脑电波测试来评估脑电波活动。可以使用EEG(脑电图)设备和本领域已知的以下方法进行主动脑电波测试。可以在向个体呈现各种视觉刺激的同时执行主动脑电波测试。在一些实施例中，进行活动脑波测试，同时呈现适合于评估活动脑波活动的标准化视觉刺激组。在一些实施例中，可以使用相同或不同的视觉刺激多次进行主动脑电波测试，以获得平均结果。主动脑电波测试的结果可以包括例如α波、β波、δ波和θ波的时间和空间测量。在一些实施例中，主动脑电波测试的结果可包括两种类型的脑电波的比率；例如，结果可以包括α/θ波的比率。

类似地，可以执行被动脑波测试。可以使用EEG(脑电图)设备进行被动脑波测试，以在个体闭眼时记录脑波数据；即，在没有视觉刺激的情况下。被动波脑电波测试的结果可以包括例如α波、β波、δ波和θ波的时间和空间测量。在一些实施例中，被动脑电波测试的结果可包括两种类型的脑电波的比率；例如，结果可以包括α/θ波的比率。在一些实施例中，可以多次进行被动脑电波测试以获得平均结果。

在可能的情况下，并且依赖于电势和刺激显示器/扬声器的精确定时信息，可以通过重复试验产生时间平均响应。与视觉或听觉处理(事件相关电位，ERP)相关的特征波形可以以各种方式测量和操纵。由于这些不需要用户的意志行为，因此它们代表了较低级别，可以说是更纯粹的感知度量。

返回参考图3，电生理学数据318可以是另一个传出数据源306，其通常可以以大约kHz的速率记录的电压电势的形式获得。这可以包括放置在皮肤或其他暴露组织(特别是眼睛的角膜)上的电极之间的电压电位的任何和所有测量。大多数使用案例可能涉及非侵入性记录，但是可能会出现分析来自植入电极的数据的机会，这些电极被放置用于其他医学上有效的目的。通常可以以每秒数百或数千个样本的速率收集数据。分析可以关注对刺激事件的响应的时间锁定平均值以生成波形、或者关注随时间的数据的各种过滤表示，从中可以推断出各种活动状态。例如，脑电图(EEG)可用于从头皮/头部收集电极记录，以揭示脑的电活动和其他神经活动。记录可以集中在初级感觉处理、次级和后期感觉处理、认知处理或响应生成(运动处理、语言处理)的区域。电眼图(EOG)可以用于从眼睛附近收集电极记录以测量由于相对眼睛位置(凝视方向)引起的场电势的变化，并且还可以测量视网膜功能和肌肉活动的特性。EOG可以提供低空间分辨率替代视频眼睛跟踪。视网膜电图(ERG)可用于从角膜(微创)收集电极记录以捕获来自视网膜的神经活动。与刺激的色彩和空间特性的相关性可以允许表征来自视网膜上的不同锥体类型和位置的响应(这也是通过EEG记录的视觉诱发电位的情况)。心电图(ECG)可用于收集对应于心脏功能的神经肌肉活动，并提供可能响应于刺激的自主状态的测量。神经肌肉电位的测量可以包括放置在任何地方的电极，以记录来自骨骼肌弯曲和/或身体和肢体运动(包括肌电图或EMG)的神经肌肉活动。电流皮肤反应(GSR)的测量可能涉及电极，其可以测量皮肤上的潜在差异，这些差异由于汗液和皮肤的其他状态变化而导致电导变化。这些变化是非自愿的，可能会揭示对刺激或情景的自主反应。

传出数据306的另一个来源可以是自主监测数据320，包括关于心率、呼吸速率、血液氧合、皮肤电导和来自用户302的其他自主(无意识)响应数据的信息，其形式类似于电生理学数据318的形式。压力传感器或其他传感器可以传递关于呼吸率的数据。脉搏血氧仪可以测量血液氧合。压力传感器或其他传感器也可以测量血压。任何和所有无意识的自主测量可以揭示对刺激或一般状态的响应以对其他数据进行分类。图11示出了根据本说明书的实施例的用于电生理学监测数据1102和自主监测数据1104的特征量度1100。

可以在一段时间内回答的关于电生理学度量1102和自主度量1104的示例问题可以包括：对事件的时间平均响应的特征是什么，各种频带或其他派生状态如何随时间或响应于刺激。

用于收集数据的传感器可以是硬件106的一部分，如上面在图1的上下文中描述的。一些传感器可以集成到HMD中(例如，用于脑电图、眼电图、视网膜电图、心血管监测、皮肤电反应等的传感器)。返回参考图3，一些数据可能需要在用户302的身体上的其他地方的传感器。非接触式传感器(甚至视频)可能能够监视一些电生理学数据318和自主监测数据320。在实施例中，这些传感器可以是智能服装和其他服装。可以将成像数据用于用户，对用户或他们的当前状态进行分类。功能成像还可以提供与对刺激的无意识反应有关的数据。成像模式包括X射线/计算机断层扫描(CT)、磁共振成像(MRI)、眼科成像、超声和脑磁图(MEG)。从成像得到的结构数据可用于定位电生理数据源(例如，组合结构、MRI脑电图和MEG数据中的一个或多个)。

度量标准可以分为可以从这些刺激/响应特征对推断的直接测量，以及可以从直接测量推断出的间接测量。应当理解，在大多数情况下，可以统计地组合刺激/响应特征配对的个体出现以估计集中趋势和可变性。来自单个试验的数据、来自特定描述的多次重复试验的描述性统计以及探索刺激和/或响应特征作为建模和预测的连续变量具有潜在价值。

面部模式识别机器学习

SDEP可以将其模型和预测组件与产品结合使用，以便为产品开发定制的预测组件。可以通过收集过程构建SDEP预测组件，通过该收集过程可以策划和标记来自主要和次要来源的自然或无约束设置的视觉数据的大数据集。数据集可以包括通过二次研究(例如通过因特网)可获得的照片、YouTube视频、Twitch、Instagram和面部数据集。策划和标记的数据可用于进一步参与，并为产品构建定制平台。

图12A至12D示出了构建策划数据的图像分析的示例性过程。这些图示描述了模型的示例性基于移动的版本。在其他实施例中，可以在云上执行模型。图12A示出了可以为其开发定制预测组件的对象的示例性图像。图12B示出了对象的图像，其中SDEP识别用于眼睛跟踪、眨眼检测、凝视方向和其他参数和/或面部属性的眼睛。在实施例中，通过一系列图像或通过对象的视频连续地识别眼睛以用于跟踪目的。

图12C示出了来自自然或无约束设置的视觉数据的数据集1202，其可用于在眼睛跟踪、眨眼和凝视方向的上下文中提取面部属性。在实施例中，在从视频中提取帧的不同条件下，用大数据集1202训练SDEP系统。不同的条件可以包括复杂的面部变化、照明条件、遮挡和使用的一般硬件。在实施例中，使用各种计算机视觉技术和深度学习来训练系统。参考图12C和12D，选择图像1204以提取其面部属性以分析对象的情绪。在实施例中，来自数据集的图像(包括图像1204)被策划和标记。

以下步骤概述了示例性数据管理和标签过程：

确定理想的数据源

同时，开发管道以从视频和静止图像执行面部关键点检测。这可以通过利用面部关键点定位来从面部分割和选择眼部区域来实现。可以使用其他关键点特征来确定图像的旋转、俯仰和照明，作为在下游分析中边缘化的可能尺寸。可以识别面部表情以分析情绪。眨眼、眼球运动和微扫视也可以被识别为关键点检测系统的一部分。

可以识别数据源的刮擦并通过SDEP馈送(参见图2B)以获得标准化的一组眼部区域图像。可以对最终图像进行分段/裁剪以仅包括眼睛区域，使得在返回时可获得关于俯仰、旋转和照明的信息。

来自上述处理的输出可以与产品组合以标记眨眼、着色、斜视和产品感兴趣的其他度量。

可以利用上述收集和标记的数据来开发眼部区域的定制预测模型。可以创建定制的机器学习算法以预测关键参数，范围从眨眼率、疲劳、情绪、注视方向、注意力、phorias、会聚、发散、固定、注视方向、瞳孔大小等。此外，多模式方法可以利用SDEP以便从数字刺激中的像素级信息中受益并共同学习与眼睛响应的关系。像素级信息可以被分解为RGB、亮度以与现有的可视建模算法融合。

在实施例中，从眼睛跟踪算法提取眼睛跟踪参数。在一个实施例中，相对于面部的瞳孔位置提供了一种度量，从该度量将眼睛运动分类为固定、追踪和扫视。在一个实施例中，还针对双眼独立地测量瞳孔大小。在一个实施例中，从相对瞳孔位置估计注视方向。可以使用来自双眼的数据和其他测量值(即，面部和屏幕的相对位置)在3D空间中测量凝视位置，包括聚散度的估计。凝视位置提供了另一种分类眼动的方法。

图13A和13B示出了瞳孔位置和尺寸以及随时间的注视位置。而图13A示出了第一时间3D 1 304A和2D 1310A中的瞳孔位置和大小以及注视位置；图13B示出了第二次在3D 1304B和2D 1310A中的瞳孔位置和大小以及注视位置。在一个实施例中，第二时间晚于第一时间。在图像中的任何给定点处，显示(最多)1秒的数据，较旧的数据以不同的颜色显示，例如蓝色。浅蓝色方块表示观察者正在观察的显示。物理尺寸不是按比例的(例如，观看距离大于它在左图中看起来的距离)。左面板1304A和1304B示出了空间的3D等距视图，其中用户的眼睛1306在左侧，显示器1308在右侧。

在左侧，凝视位置在3D 1 304A和1304B中示出。从观察者的显示器1308的表面绘制线到凝视位置；红色表示显示器1308后面的注视位置，绿色表示显示器1308前面的注视位置。三个圆圈传达关于眼睛1306的信息：

最大的深灰色轮廓圆表示眼睛和脸部的平均位置，在空间中相对固定。

内部的浅灰色轮廓表示相对于脸部的平均瞳孔大小和瞳孔位置(移动但不改变大小)。

黑色圆圈表示相对瞳孔大小以及相对于脸部的瞳孔位置(移动和改变大小)。

当瞳孔信息丢失时，可以假设眼睛闭合(或以其他方式遮挡)。

3D 1 304A和1304A中的凝视位置由黑点(由黑线连接)示出，凝视方向从两只眼睛发出。来自显示器的注视深度进一步由从显示器到当前注视位置的绿色(前)或红色(后面)线指示。

在右侧，注视位置1310B和1310B以2D显示。这里没有关于瞳孔的信息。此外，还添加了对眼球运动进行分类的信息：

黑色表示固定，在此期间灰色轮廓增长表示固定的相对持续时间。

蓝色表示追踪。

绿色(带有连接线)表示在扫视期间连接点的线条的扫视。

视力性能指数

一类重要的指标可能是与绩效相关的指标。可以以视力性能指数(VPI)的形式确定用户的表现，其随后在本说明书的实施例中详细描述。

返回参照图1，在一个实施例中，可以处理从用户102收集的数据，例如由媒体系统104收集的数据，以识别用户102的视力性能指数(VPI)(也参考图2B的240)。VPI可以指示在用户102与媒体系统104交互期间评估的用户102的视力性能水平。VPI可以用于识别具有类似VPI的用户102的一组用户。

可以以各种方式测量和操纵VPI。通常，目标可以是改善用户的视力性能，然而，操纵也可以旨在增加挑战(例如，为了参与)，这可能至少暂时地降低性能。在备选实施例中，可以测量和操纵除与视觉相关的性能指标之外的性能指标。例如，可以通过性能指标来测量和操纵诸如设计、参与等其他领域。

再次参考图2B，示出了数据分析链的示例性轮廓。数据分析从232处的最低级别开始，其中数据级别可能不会进一步简化。在232处，单个刺激的参数可以用于基于不同的独立变量的多个测量，其对应于刺激的直接特征。单个响应的参数可以用于基于不同因变量的多个度量。在234处，可以配对独立和因变量以提取用户的视力性能的度量，或者与其他人组合并适合于模型以生成用户的视力性能的度量。在实施例中，配对可以包括通过相关或其他统计/非统计方法将响应事件与一个或多个刺激事件组合。可以对各个对进行过滤以到达236，其中，对于给定类型的交互，可以使用许多对独立变量和因变量来估计模型分布的参数或估计描述性统计。在实施例中，模型分布是对度量将是特定值的频率的期望。在某些情况下，可以使用具有“贝尔曲线”的经典形状的正态分布。一旦完成描述性统计或模型拟合的过程，在238处，可以生成对用户视觉的属性的物理度量的单独估计。个人用户估计可以基于来自多个交互的单个交互或摘要度量。在240处，可以归一化至少一个物理特性的度量以贡献VPI的子分量。在242，可以组合多个VPI子分量分数(例如，平均)以生成分量分数。在实施例中，可以进一步组合组件得分以生成总体VPI。VPI，其子组件和组件在本说明书的后续章节中更详细地讨论。

在实施例中，视力性能的度量可以被呈现为具有相对但非绝对意义的归一化“分数”给用户。这也在图2B的上下文中在240和242处示出。用户可能能够针对一般人群或其特定子集来衡量他们的表现水平。由于与非专用硬件(即在受控实验环境之外使用的移动装置)的数据记录相关的假定的高度测量噪声，传出现象(例如瞳孔大小、注视方向、眨眼检测)和传入参数(例如显示色度、观看距离、音频强度)的精确测量是不可用的。因此，可能需要依赖于所有用户的累积数据的集中趋势(即平均值)和可变性(即标准偏差)的估计，以定义每个度量的“典型”范围，并设定合理的目标来增加或减少这些度量。

对于每种类型的度量，对于各种类型的任务中的每一种，并且通常针对每个独特的场景或上下文，可以独立地对得分进行归一化。这可以使得能够容易地比较和平均不同单元中采取的措施，不同的刺激以及来自不同类型的用户响应。另外，对于任何和所有分数，性能可以被分类为略微或显着高于或低于平均值。可以基于百分位数来确定设置描述性标准(假设给定的度量将在一般人群中正常分布)。以下部分中的示例使用10％和90％，但百分位数可以任意选择，并且可以针对特定上下文进行修改。可以假设10％的用户得分将落在得分的最低或最高10％，因此分别为“异常”低或高。

在一个实施例中，VPI可以是以下参数和子参数中的一个或多个的组合，其本质上可以是传入和传出的。在一些实施例中，VPI可以是心理测量数据的函数，而没有传出数据。直接测量通常将单个响应特征与单个刺激特征相关联。只要有可能，随着刺激特征值的变化，可以从响应模式(平均响应、响应概率或一类响应的比例)建立心理测量功能。直接测量可以包括以下内容：检测、区分、响应时间和/或错误。

间接措施可能是对直接措施和/或直接措施组合的更高层次的解释。这些通常还可以包括对特定情境内或跨特定情境的直接测量的描述以及变量之间的相互作用。间接措施可包括以下内容：多跟踪、疲劳/耐力、适应/学习、偏好、记忆和/或状态。

在实施例中，可以使用其他视觉相关参数来计算VPI，并且可以包括但不限于视场(F)、准确度(A)、多轨迹(M)、耐力(E)和/或检测/鉴别(D)，一起缩写为FAMED，所有这些都在下面更详细地描述。

视野(F)

返回参考图1，视野(F)可以被描述为用户102在任何给定时刻看到的视觉世界的范围。中心视力表示用户102的视野的中心部分，其中用户102具有最大的敏锐度，这对于诸如阅读之类的事物是重要的。周边视力是用户102的视野的外部部分，其对于引导未来行为和捕捉用户102焦点之外的重要事件是重要的。

视场测量用户在与基于准确度和检测度量的中心或外围视野中的刺激进行交互时的相对性能。假设随着视觉偏心率的增加，由于对大多数刺激特征的敏感性降低，外围的性能通常应该更差。中枢和外周刺激的表现比例在一般人群中会有一定的平均值和标准差；与其他测量一样，标准化分数将用于确定用户是否具有异常低或高的视野能力。

如果用户的视野得分异常低，则可以通过增加周边中出现的刺激的准确度和检测得分来改善。这通常需要增加定时和位置的一致性，增加色度和亮度差异(在物体之间和物体内)，增加物体的尺寸并且当在周边中呈现时减慢任何移动目标。

准确度(A)

返回参考图1，准确度(A)可以是做出正确选择和在用户102执行的动作中精确的组合。准确度的测量可以分为两个子组件：反应和目标。反应涉及处理和处理传入信息所需的时间。反应可以指用户102在媒体体验期间做出快速响应的能力。可以将反应测量为在刺激中有足够信息可用于作出决定(即刺激的出现)和记录用户反应的时间之间的时间跨度。对于加速响应，这通常不到一秒钟。

如果用户的反应异常缓慢(异常低分)，则可能是任务太困难并且需要修改稍后在目标和检测的上下文中讨论的刺激参数。在一个实施例中，估计任何给定测量的模型分布(例如，反应时间的对数正态分布)。可以根据估计确定截止值，高于该估计值可以找到5％(或任何其他百分比)的最慢时间跨度。任何与截止值相等或更大的反应时间的测量被认为是“慢”(或“非常慢”)。但是，如果单独的反应异常低，当其他分数正常时，可能表明任务参与不当或分心。减少同时呈现的项目数量或添加额外的、一致的提示以引起注意(例如，伴随视觉刺激的外观添加声音)可能是有帮助的。如果要求用户响应移动物体的位置，则可能需要更长时间来估计轨迹并规划拦截响应；减慢目标可以改善反应。

响应时间对于检测相关测量可能很重要，但与刺激的任何响应相关。响应时间通常是刺激事件与对该事件的响应之间的时间跨度。响应时间可用于测量大脑处理信息所需的时间。作为示例，显示器上的图案的外观可以导致ERG可测量的视网膜的某种响应模式。在从平均ERG波形中明显刺激处理之后的某个时刻，相同刺激的处理将在从头部后方记录的平均视觉诱发电位(VEP)波形中变得明显。在此之后的某个时刻，来自用户的按钮按压响应的平均时间表示刺激被完全处理到产生马达响应的点。虽然刺激和响应事件可能产生多个时间戳，但响应时间通常应当被视为刺激中最早可检测的变化之间的时间，该刺激是选择对已选择响应的最早指示所必需的响应所必需的。例如，如果对象开始朝着显示器上的某个关键点以直线移动，则特定方向上的该初始运动位可能足以使用户知道对象将在何处结束。他们无需等待它到达那里。同样地，开始将鼠标光标(或VR/AR/MxR环境中可接受的任何其他手势)朝向待点击的目标移动可以指示在点击事件实际发生之前已经选择了响应。

在实施例中，作为感知适应、感知学习和训练(更高阶学习)的结果，可以发生响应模式的其他变化，包括改善、减少和一般变化。考虑用户的适应和学习可以解释可以解释的响应的任何可变性，从而减少统计噪声的测量并改善推理功率。

响应中的模式及其变化也可能与系统内的高阶过程有关。用户偶尔会改变他们在执行任务时如何执行任务的想法。因此，在实施例中，分析用户做出的每个选择的偏好，而不管它是否通知视觉处理的模型。

在实施例中，系统使用响应来测量用户的召回或识别。召回是准确生成先前记录的信息。识别是先前记录的信息与新信息之间的正确区分。

根据时间和特定情况下的度量，可以进行记忆回忆和识别以及记忆容量的测量。这些通常属于性能类别，用户可以通过有针对性的练习来提高内存性能。回忆和识别通常通过刺激之间的语义相似性来改善。同样，通过学习将项目彼此关联，可以改善记忆跨度。还可以操纵必须记住项目的时间跨度以改变存储器任务的性能。在保留期内，分散任务或缺乏任务也可能严重影响性能。

对于长期记忆，可能存在增强存储和检索的练习，包括特定项目和更一般地。还可以在某些物理相互作用的背景下导出与肌肉记忆相关的测量。感知适应和感知学习也是测量和操纵的候选者。

定向涉及用户动作中的时间和位置精度的度量。返回参考图1，目标可以涉及用户102的响应相对于VE中的对象的位置的精度。目标测量是用户响应与刺激相关的最佳值之间的误差。响应可以是点击、触摸、手势、眼睛运动、瞳孔响应、眨眼、头部运动、身体/肢体运动或任何其他。如果期望用户准确地及时响应某些事件(而不是响应该事件而导致反应措施)，他们可能会过早或过晚地做出反应。它们的响应精度的可变性产生目标时间误差测量(通常在一秒或更短的数量级)。另外，用户响应的位置可以具有以屏幕上的像素或一些其他物理距离单位测量的一致偏差(平均误差)和/或可变性水平(误差的标准偏差)。

在实施例中，系统分析与用户错误相关的数据，包括用户对理想或最佳响应的不正确选择和偏差。最常见的是这些可能是对刺激的错误识别、在不适当的时间作出反应(假阳性反应)、在适当的时间没有回应(假阴性)以及反应的时间或位置的不准确。响应的变化或响应特征的测量也可以是错误或一般不准确或不一致的指示。

如果用户的定位分数异常低，则可能是目标太小或位置的可变性太大。对于响应的时间安排，更一致的事件定时使得同步响应更容易。这可以是在目标事件之前的某个固定时间发生的重复节奏或提示的形式。对于位置，可以通过限制目标的可能位置来减少错误，或者在移动目标的情况下，使用较慢的速度来减少错误。特别是对于触摸界面或其他情况，其中响应本身可以遮挡目标(即覆盖显示器的手指)，使目标更大可以改善目标分数。

多跟踪(M)

多跟踪(M)通常可以指用户正在进行多个同时响应和/或响应多个同时刺激的情况。它们还包括用户执行多个并发任务的情况，以及对外围发生的刺激事件的响应(可能是注意力集中在其他地方)。可以包括在分开注意的情况下外围检测(作为偏心的函数的检测)和其他性能测量的组合测量。

多跟踪(M)可以表示用户同时感测多个对象的能力。分开的注意力任务可能要求用户对一次发生的多件事情采取行动。多重跟踪测量用户在与聚焦或分散注意环境中呈现的刺激相互作用时的相对表现。通过集中注意力，用户通常需要关注场景的一部分或有限数量的对象或特征。在需要分散注意力的情况下，用户必须监控多个区域并冒着丢失重要事件的风险，尽管警惕。与视野一样，精度和检测的度量用于确定用户在不同多跟踪上下文中的表现。

如果用户的多跟踪得分异常低，则可能表明他们在需要分开注意的任务中表现不佳，或者对需要聚焦注意的任务表现异常。因此，使分开的注意力任务更容易或聚焦注意力任务更加困难可能会改善多重跟踪分数。在分开注意的背景下，通过减少用户需要监视的对象或区域的数量来减少感知负载可能会有所帮助。增加持续时间(对象持久性)和分开注意力的速度减慢也可以提高分数。

疲劳/耐力(E)

由于疲劳，性能指标可能会随着时间的推移而变差。这可能在灵敏度(检测)的降低、正确的区分、响应时间的增加以及恶化率或恶化程度上变得明显。可以跟踪任何和所有措施的疲劳率(随时间变化)和疲劳程度(性能测量的最大减少)。疲劳发作前的延迟，以及休息恢复或活动变化的速度，可能是耐力的特征。

耐力(E)可能与用户随时间保持高水平表现的能力有关。耐力测量与精确度和检测分数随时间的变化趋势有关。耐力的两个衡量标准是疲劳和恢复。

疲劳是衡量一段时间内性能下降的指标。疲劳是用户表现可能开始下降的点，衡量的是下降速度以及表现有多差。疲劳的基本量度可以基于一段时间后半段与前半段的得分之比。我们假设，给定足够长的时间跨度，随着用户变得疲劳，分数将随着时间的推移而降低，因此比率将小于1。比率1表示没有疲劳，比率大于1可能表明学习或训练效果正在改善表现以及缺乏疲劳。如果用户的疲劳分数异常低，那么他们可能希望减少他们参与任务的不间断时间长度。更长时间和/或更频繁的休息可以改善疲劳评分。通常，降低任务难度也应该有所帮助。

恢复是衡量性能在一段时间内恢复到基线水平的指标，假设在间隔期间休息。恢复可能涉及有效地使用提供给用户的休息以恢复到最佳性能。目前实施的恢复的基本衡量标准是比较两个时间跨度的后半部分与第二个时间跨度的前半部分的得分之比。可以选择时间跨度，以使用户在它们之间稍微休息一下。我们假设，给定足够长的时间间隔以确保发生一些疲劳，在休息之前得分将比之后低，因此该比率将小于1。比率1表示没有休息的影响，并且比率大于1可以表示在休息之后的接合减少或者尽管在休息期间存在疲劳。

如果用户的恢复分数异常低，他们可能需要更长时间休息。他们可能没有经历足够的疲劳，以便有可测量的恢复。挑战用户参与更长，不间断的时间跨度可以提高恢复分数。同样，任务难度的增加可能导致更大的疲劳和更多的恢复空间。

检测/辨别(D)

检测/识别(D)可以指用户检测对象的存在或区分多个对象的能力。该参数可以取决于用户对对象的各种属性的敏感度。每当响应事件表示对刺激事件的意识时，可以确定用户检测到该刺激。无意识处理，也许不是意识水平，也可能从电生理学或其他反应中揭示出来。可以通过响应刺激的位置或通过与刺激的存在一致的响应类别(例如，正确识别刺激的一些物理方面)来揭示检测。检测所需的刺激特征参数/值的大小可以定义用户的检测阈值。可以假定刺激的任何特征用于检测，但是如果该特征是刺激的唯一实质定义特征，或者如果该刺激特征出现在用户已作出响应的各种刺激中，则仅可能将检测专门归因于特征。

每当用户正确地识别刺激特征参数/值或基于一个或多个刺激特征在多个替代方案中做出一些选择时，相互作用可以有助于一定程度的区分。在许多情况下，感兴趣的度量可以是在用户可以告诉他们不同之前需要两种不同的事物(辨别阈值)。辨别度量可以指示对某些特征的敏感度的阈值，但是它们也可以用于识别类别边界(例如，两种命名颜色之间的边界)。与检测措施不同，辨别度量不一定取决于正确/不正确的反应。辨别度量可能表明主观经验而非能力。

检测/识别的测量可以分为三个子组件：与检测和/或区分颜色(色度)、对比度(色度对比度)和基于刺激的最小特征的敏度测量相关的测量。这些传入属性，结合手动或声音反应的传出测量、眼动追踪测量(启动前扫视、减少反扫视、持续固定和减少眨眼反应)、注视方向、瞳孔大小、眨眼、头部跟踪测量、电生理学和/或自主记录的测量、面部模式识别和机器学习的测量以及其他措施，如上所述，用于确定灵敏度。所有测量可以基于用户检测微弱可见刺激或区分几乎相同刺激的能力。这些度量基于其特征中的差异(在检测到的对象及其周围或区分对象之间)与不同的子组件相关联。刺激对象可以在多个特征中不同，因此有助于一次测量多个子组件。

色差可以特指色度和/或亮度的差异。如果用户的颜色分数异常低，则可以通过增加颜色差异来简化任务。特定的颜色缺陷可能导致特定颜色差异方向的颜色分数差。使用更多种色调通常会使特定缺陷产生较小的影响并稳定分数。

对比度与颜色的不同之处在于对比度是指在某些视觉上定义的区域内的色度和/或亮度的可变性，而在该上下文中与颜色有关的度量是指平均色度和亮度。如果用户的对比度得分异常低，则可以通过增加显示的对比度范围来改善。对比灵敏度随空间频率而变化，因此增加或减少空间频率(分别使图案更精细或粗糙)也可能有所帮助。改善颜色分数的操作通常也会提高对比度分数。

敏感度测量源自用户可用于检测和区分刺激的最小特征。它与对比度有关，因为空间频率也是用于测量敏锐度的相关物理特征。如果用户的敏感度分数异常低，则可能是对象通常太小而且应该整体放大。它还可能有助于增加尺寸差异，增加对比度并降低空间频率。使用敏感度比使用颜色或对比度更有效，移动刺激的速度可能是一个因素，减慢移动目标可能有助于提高敏感度分数。

以上参数均基于测量功能。在实施例中，可以随时间记录它们的模式。趋势和模式可以实现预测分析，并且还可以帮助患者基于检测功能和最终用户的其他VPI/FAMED功能来改善用户体验。

可以从所讨论的直接测量推断出许多一般的存在状态。可以在每个会话，某些时间段或连续的基础上估计每个状态，并响应刺激事件。这些通常可能与响应率或行为变化有关。图14提供了根据本说明书的一些实施例的包含传入和传出源的示例性度量的列表的表。该表说明了传入源可能导致刺激事件和特征。传入源、刺激事件和特征的组合，当与响应(传出源)进一步组合时，可以指示响应事件和特征。这些组合可暗示心理测量指标。在最后一列中，该表提供了从各种组合中得出的每种心理测量指标的描述。

图15是示出从软件应用程序到SDEP的数据流的概述的示例性流程图。在1502处，可以向用户提供用于交互的界面的软件应用程序。app可以被设计为在HMD或者能够为用户交互提供VR/AR/MxR环境的任何其他装置上运行。由应用软件收集的信息可以在1504提供给软件开发工具包(SDK)。SDK与一组软件开发工具一起工作以生成关于应用软件的使用的分析和数据。在1506处，将数据作为会话数据从SDK提供给SDEP。在1508处，在SDEP处预处理会话数据，其可以包括组织和分类数据以准备分析。在1510，生成预处理的刺激和响应数据并进一步传递以进行分析和处理。在1512处，分析数据并将其转换为性能指数或得分或可感知信息的其他度量，例如VPI得分。在1514处，将分析的数据发送回SDK和/或应用软件，以便修改、分析或定制用户体验。在实施例中，数据从1502传递，从应用软件传递到分析链，并且实时地非侵入地传回应用软件。

图16示出了处理流程的预处理部分的示例性轮廓1600(图15的1508)。

图17是负责接收原始数据(预处理)、选择并实施适当的分析、根据对临时和长期存储的分析发送和接收汇总措施分别评估“耐力”措施和评分标准化、计算将被发送回应用程序以显示给最终用户的分数的数据处理功能的编程语言实现的示例性表示1700。在实施例中，使用的编程语言是Python。该图显示了几个Python函数应用于FAMED数据以获得VPI分数。该图说明了每个FAMED功能的颜色编码过程。在一个实施例中，FOV功能为红色、绿色为精度、紫色为多重跟踪、橙色为耐力和蓝色为检测。在一个实施例中，平行四边形代表变量；圆角矩形表示功能；元素是用户/会话数据的颜色编码，以黄色显示。

参照该图，大红色轮廓1702的内容表示处理功能(va_process_data)，其包括三个主要部分-左部分1704、中部分1706和右部分1708。在一个实施例中，左部分1704接收原始数据并将精确度或检测/识别分析功能应用于数据，从而产生汇总输入数据的单一度量。这被发送到中级功能1706，用于视野和多跟踪的测量以及外部存储。第一个外部存储或缓存返回了最近用于测量耐力的类似度量。来自中级功能1706的输出被发送到另一个外部存储器，该外部存储器累积测量值以便估计归一化的中心趋势(即算术平均值)和可变性(即标准偏差)。来自该第二外部商店的数据与当前测量值组合以在右级部分1708中转换成得分。该图还示出了图的左下方的小子图表1710以示出该位置。

可视化数据包：使用示例

由SDEP根据本说明书的各种实施例生成的数据可以以不同的形式使用。在实施例中，SDEP输出的数据可以不同地包装用于医疗用途(视力、眼睛疲劳、创伤性脑损伤和运动视力性能)、用于运动员/运动等。例如，应用程序包括通过测量眼-脑连接的关键区域来跟踪一段时间内数字眼疲劳的影响或者在诸如足球的接触运动中筛查创伤性脑损伤的能力。

在实施例中，SDEP允许有利地使用从诸如智能装置、可穿戴设备、眼睛跟踪工具、EEG系统以及虚拟现实和增强现实HMD之类的技术生成的数据。

包括VPI在内的性能指标可能因不同的应用而不同。在示例中，检测和准确度度量对于游戏媒体与广告的媒体是不同的。以下描述一些应用的一些示例性实施例。

图18示出了用于实现中央系统1802的示例性环境，该中央系统1802利用SDEP来处理心理测量功能并基于用户交互的仿生来模拟视觉行为和感知。在一个示例中，如下所述，可以向用户呈现类似于游戏的交互式电子媒体，其中他们需要“弹出”出现在屏幕上的不同位置的气球。在这个例子中，系统1802可以利用心理测量功能来测量随后作为FAMED见解呈现给用户的视觉心理测量学。类似地，可能存在其他形式的交互式媒体，其能够收集与视觉感知和空间定向相关的心理测量信息。图18示出了与系统1802和彼此交互的各种感觉心理测量数据，以使得能够通过SDEP和随后的建模进行处理，并且此后支持人工智能系统。

更具体地，本说明书描述了用于训练和开发深度学习系统以便模仿人类感觉系统的方法、系统和软件。在一些实施例中，系统还可以训练和开发模仿人类面部表情的深度学习系统。在一个实施例中，中央系统与一个或多个SDEP系统以及多个自主和体细胞传感器通信以收集可用于训练学习例程的数据。

游戏应用程序测量用户的视力性能

在一个实施例中，本说明书描述了提供给视觉服务提供者的方法、系统和软件，以便响应于各种刺激收集关于人眼的功能和解剖结构的更详细数据。详细数据可以涉及用户视觉的不同方面，并且可以与对应的标准视觉参数进行比较，以生成视力性能得分。分数可以针对视觉的每个不同方面，和/或可以组合以呈现总体视力性能分数。该分数也作为用户视力性能的度量呈现给用户。在实施例中，通过可由用户访问的移动设备或任何其他游戏应用程序向用户提供各种刺激。

示例性应用(在下文中，称为“视觉套件”)可以被设计为通过一系列交互式游戏来测量视觉系统的性能。虽然说明书描述了视觉套件游戏应用程序的特征，但是它们应该仅被视为示例性实施例。替代实施例是可能的并且对于本领域技术人员来说是显而易见的。替代实施例可以包括游戏应用中的上下文、序列、游戏级别、图形表示、评分系统、报告方法、用户界面和其他方面中的一个或多个的变化和/或改进。游戏应用程序可以以各种类别向用户报告一组分数。这些分数可以表示个人用户相对于所有用户的表现。用户得分的加权平均可以产生视力性能指数(VPI)，其与组分得分一样，可以表示用户相对于基线的视力性能，例如更广泛的人口。

在一个实施例中，用户根据本说明书的实施例与游戏应用程序交互。在示例中，游戏应用程序被称为视觉套件应用程序。在一个实施例中，视力配件套件应用程序通过移动平台呈现给用户，例如智能手机或包括HMD的任何其他便携式电子装置。在一个实施例中，通过电子装置向用户呈现一系列视图，其顺序地允许访问一种类型的刺激，其可以是一个或多个交互式游戏的形式。在一个实施例中，用户能够安全地访问视力试剂盒应用程序。在实施例中，多个用户使用单个移动平台来安全地访问视力试剂盒应用程序。通过安全身份验证过程启用安全访问。以下是在尝试安全访问视觉套件应用程序时，通过电子装置的显示向用户呈现的示例性视图和信息：

图19示出了根据本说明书的实施例的可以通过视觉套件应用出现的空屏幕和错误屏幕的屏幕截图1900。

图20A示出了根据本说明书的实施例的可以通过视觉套件应用出现的闪屏的屏幕截图2000A。

图20B示出了根据本说明书的实施例的可以通过视觉套件应用出现的主屏幕的屏幕截图2000B。

在实施例中，应用程序实现安全访问。图20C示出了根据本发明的实施例的登录(注册)过程的屏幕截图200C的系列(从A到F)，其包括可以通过视觉套件应用程序出现的名为“Jon Snow”的用户的示例性注册。

图20D示出了根据本说明书的实施例的具有可通过视觉套件应用程序出现的条款和条件的屏幕的屏幕截图2000D。

图20E示出了根据本说明书的实施例的系列(从A到B)屏幕截图2000E，其可以在用户忘记其登录信息的情况下通过视觉套件应用程序出现。

在实施例中，在第一次访问应用程序时提示用户输入患者信息。例如，提示用户提供人口统计信息。在一些实施例中，随后利用人口统计信息来确定类似人口统计的标准或平均分数，其可以用于比较用户的分数。

图21A示出了根据本说明书的实施例的屏幕的一系列屏幕截图，其提示用户具有可通过视觉套件应用程序出现的人口统计问题。

图21B示出了根据本说明书的实施例的屏幕的另一系列屏幕截图2100B，其提示用户可以通过视觉套件应用程序出现的人口统计问题。

图21C示出了根据本说明书的实施例的屏幕的另一系列屏幕截图210C，其提示用户可以通过视觉套件应用程序出现的人口统计问题。

图22示出了根据本说明书的实施例的屏幕的一系列屏幕截图2200，其向用户呈现可通过视觉套件应用程序出现的初始VPI报告。在一个实施例中，初始VPI报告是具有与实际用户类似的人口统计特征的其他用户的一组分数的示例。在另一实施例中，初始VPI报告存在于返回用户，并且包括用户实现的先前分数。

图23示出了根据本说明书的实施例的可以在不同时间出现的不同屏幕的屏幕截图2300，提示用户选择可以通过视觉套件应用程序出现的游戏。在实施例中，用户界面基于用户的过去交互而不同。可以向用户呈现关于他们之前玩过的游戏的信息。

在一个实施例中，视力套件应用程序分为三个游戏。在游戏中是连续几轮，或多或少改变经验。

游戏1：弹出气球

在这一轮中，用户可能需要点击以响应某些视觉刺激(目标)而不是其他人(干扰者)的外观。这提供了适合于心理测量曲线拟合的数据，其中作为颜色、对比度或敏锐度差异的函数的正确辨别(敲击目标与非敲击目标)的比例可用于估计辨别阈值(即，如上所述的检测测量)。游戏可以鼓励对显示器的特定区域的快速响应，其提供反应时间和目标精确度的数据(即，如上所述的准确度测量)。游戏可以具有多轮，其可以按顺序呈现给用户。或者，用户可以选择与任何一轮进行交互。图24A至24F示出了用于“弹出气球”游戏的各种界面。

第1轮

图24A示出了弹出气球第1轮指令的屏幕截图2400A，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

图24B示出了弹出气球第1轮游戏的屏幕截图2400B，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

第一轮弹出气球的特色是气球从屏幕底部上升到顶部(在显示边缘“漂浮”进入和离开视图)。一些气球具有条纹图案而其他气球是实心的，并且用户可以轻拍条纹气球而忽略实心气球(对比度辨别)。用于每个气球的颜色可以是随机的(尽管条纹气球中的交替条纹是白色的)。气球的大小可能会随着时间的推移而减少。不断变化的尺寸可以反映气球大小和气球内条纹的空间频率的敏锐度影响。在实施例中，移动速度可能随着时间的推移而增加，条纹图案的对比度可能会随着时间的推移而降低。在回合开始时，气球可能一次出现一个。这种外观可以提供并测量用户的集中注意力。渐渐地，一次可以在显示器上呈现更多气球，需要一次跟踪多个对象。同时呈现多个气球可以探测用户的分散注意力。早期的最佳策略可能是在显示器的底部边缘的中间看到气球，因为它们首次出现；因此，出现的气球的水平位置可能或多或少地远离固定。这可以帮助确定对应于视野的用户参数。

第2轮

图24C示出了弹出气球第2轮指令的屏幕截图2400C，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

图24D示出了弹出气球第2轮游戏的屏幕截图2400D，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

在这一轮中，气球不会移动，而是显得非常短暂。没有颜色或对比品种，敏锐度可能是歧视的主要机制。用户可以弹出气球形状，同时忽略其他类似的形状。形状与气球的相似性越高，辨别导致假阳性反应的难度就越大。可以添加与背景的颜色差异的变化作为颜色辨别措施的附加来源。

在这个游戏中，反应时间和目标精度可能是测量精度的主要组成部分。最佳策略可能是固定在显示屏的中心，从而产生视野组件。对象可以一次出现一个，两者之间存在时间间隔，从而否定了多跟踪度量的可能性。

第3轮

图24E示出了弹出气球第3轮指令的屏幕截图2400E，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

图24F示出了弹出气球第3轮游戏的屏幕截图2400F，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

在第三轮，也可能是最后一轮，气球既不会移动也不会短暂出现；相反，可以通过引入具有增加的设置大小的特征结合搜索任务来增加难度。用户可以找到需要颜色和锐度辨别的匹配颜色/形状组合(检测的指示)。反应时间可能是一个重要的特征，在给定刺激的静态和持久性质的情况下，目标精度降低了兴趣(精确度的指示)。尽管可以在某种程度上指示视野，但是当目标朝向气球群的边缘时，可以发现平均随机放置在中心的目标更快。多重跟踪可能会产生重大影响，具体取决于用户是否采用视觉刺激的串行或并行处理；这可以通过设定大小对反应时间的依赖性或缺乏来揭示(希克定律)。

游戏2：画面完美

在该游戏中，可以向用户显示图像以及其失真版本。可以向用户提供工具以改变失真图像的显示参数，以使其与原始图像匹配。在一个实施例中，显示参数可以包括颜色、清晰度和尺寸等中的一个或多个的组合。一旦用户确认完成任务，就可以通过比较用户的选择和正确的选择来向用户呈现结果。在一个实施例中，用户选择与正确选择的接近度越大，用户的视力性能越大。虽然可以鼓励用户快速工作(例如，在固定时间段内进行的设置数量可用于生成反应分数)，但是图片完美游戏可能不需要快速反应。在一个实施例中，游戏包括多轮。图25A和25B分别示出了图片完美第1轮游戏的一系列屏幕截图2500A和2500B，其可以通过根据本说明书的实施例的视觉套件应用来呈现。在一些实施例中，向用户提供滑块以改变不同的参数以便校正失真的图像。在其他实施例中，可以为此目的提供其他图形、数字或任何其他工具。

图25C、25D和25E分别示出了图片完美第2轮游戏的一系列屏幕截图250C、2500D和2500E，其可以通过根据本说明书的实施例的视觉套件应用来呈现。高级回合可以在不同时间向用户呈现原始图像和失真图像，而不是同时出现。然后，用户需要通过从存储器中调用原始图像来校正失真图像。

图25F示出了根据本说明书的实施例的可以通过视觉套件应用呈现的用户的示例性游戏后报告的屏幕截图2500F。

图片完美游戏可以实现与视野和多跟踪相关的视觉参数的部分指示，因为用户可以无限制地自由地采样视觉场景。根据给定轮次中用户可用的滑块，可以进行各种区分度量(检测)。分数可能与每个调整滑块的正确级别和用户设置之间的误差大小成反比。“颜色”、“色调”和“饱和度”调整可能有助于颜色测量。“尺寸”和“锐度”调整可能有助于进行敏锐度测量。游戏3：形状混音/记忆匹配

在开始游戏之前，可以可选地向用户提供与游戏交互的指令。在一个实施例中，向用户呈现包括多个元素的原始图像。用户的任务是编辑备用图像中的元素，以便匹配原始图像中先前显示的元素及其布局。在一些实施例中，向用户提供能够改变每个元素的不同特征的工具。例如，用户能够为每个元素分别改变色调、饱和度、对比度、清晰度、大小或任何其他参数。一旦用户确认完成任务，就可以通过显示与用户重新创建的图像相邻的原始图像来呈现结果。另外，可以向用户呈现数字分数和语言反应。

图26A、26B和26C分别示出了用于“形状混合”游戏，其指令和游戏后报告的类似的一组屏幕截图2600A、2600B和2600C，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

游戏4：速度弹出

在开始游戏之前，可以可选地向用户提供与游戏交互的指令。在一个实施例中，向用户呈现流形状和图像，其包括气球和各种其他形状。用户的任务是点击任何气球，同时避免敲击任何其他形状。在一个实施例中，气球和其他形状的分类都是相同的。另外，可以向用户呈现数字分数和语言反应。

游戏5：比赛弹出

在开始游戏之前，可以可选地向用户提供与游戏交互的指令。在一个实施例中，向用户呈现具有形状和颜色的示例对象。游戏的目的是让用户在形状和颜色方面点击包括与所提供的示例对象匹配的对象的气球。另外，可以向用户呈现数字分数和语言反应。

游戏6场：Star Catch

在开始游戏之前，可以可选地向用户提供与游戏交互的指令。在一个实施例中，期望用户导航船以收集目标形状，其中可以预先为用户定义或呈现目标形状。另外，可以向用户呈现数字分数和语言反应。

在一个实施例中，在每个游戏被播放之后生成游戏后报告，并向用户提供他们的整体VPI以及每个FAMED组件如何受到他们在游戏中的表现的影响。每个报告还可以显示用户与其年龄组相比的表现。此外，每个报告可以为用户提供选项以深入了解VPI。除了本地眼科专家的目录和/或地图之外，还可以在报告旁边呈现有趣的事实。

图27示出了根据本说明书的实施例的在播放可能通过视觉套件应用程序出现的不同游戏之后的VPI游戏报告的屏幕截图2700。

图28示出了根据本说明书的实施例的可以基于用户的VPI报告出现的一些屏幕截图2800，其中屏幕建议医生和/或眼保健从业者。

图29示出了根据本说明书的实施例的呈现可通过视觉套件应用程序出现的用户简档的屏幕的一些屏幕截图2900。每个屏幕截图呈现用户在不同时间跨度和/或不同时间点的简档。用户可以选择通过他们的简档查看VPI的细节。

图30A示出了根据本说明书的实施例的可以通过视觉套件应用出现的VPI故障的一些屏幕截图3000A。

图30B示出了VPI故障的一些屏幕截图3000B，其通过根据本说明书的实施例的视觉套件应用提供关于每个FAMED参数的细节。

图30C示出了VPI故障的一些屏幕截图300C，其通过根据本说明书的实施例的视觉套件应用提供每个FAMED参数内的参数的细节。

图30D示出了VPI故障的一些屏幕截图3000D，其通过根据本说明书的实施例的视觉套件应用提供了每个FAMED参数内的参数的进一步细节。

图31示出了“设置”的屏幕截图3100以及“设置”内的相关选项，其可以通过根据本说明书的实施例的视觉套件应用来呈现。

从VPI及其组件的角度来看，形状混音游戏在提供数据方面可能类似于检测措施。虽然颜色、大小、位置和对比度对性能的影响可能存在差异。用户表现在两个游戏(图片完美和形状混音)上可能相同或不同，但两个游戏可能不会被视为多余。在实施例中，来自形状混音游戏的值可以与图片完美游戏的值互补。

可以针对每个级别，每个游戏和/或用户所玩的所有游戏为用户确定VPI。在一些实施例中，向用户呈现全面的VPI报告。综合报告可以基于通过用户与所有游戏的交互而识别的数据和分数。在一些实施例中，报告另外考虑用户可能与游戏交互的时间段内的不同分数。除了来自每个游戏的VPI得分之外，系统还可以提供额外的显示选项以查看总体VPI得分。

在一些实施例中，系统向用户提供重复与一个或多个游戏的交互，直到用户对VPI得分满意为止。在实施例中，视力套件和所得到的VPI得分或报告可用于增加对用户的视觉系统的认识，提供信息和发展理解，并且能够随时间跟踪视力性能。视力测试套件可以提供视力性能的一般概述，并突出显示可能改进的领域。

在一个实施例中，视力测试套件提供连续反馈并使用各种刺激和响应来形成全面的图像，因此可能提供大量视觉数据。VPI分数使用户能够更加了解他们的视力，并随着时间的推移监控他们的视力性能。视力测试套件应用程序可以测量用户整体视觉的各个方面，告知他们他们可能在最佳状态下的表现，并提供帮助维持他们的视力在高水平的提示。VPI旨在为用户提供与其愿景的特定领域相关的分数。

VPI包括指示五个组件的数据测量：视野、准确度、多跟踪、耐力和检测(F.A.M.E.D.)，其在本说明书的前面部分中介绍和描述。对于视觉套件应用的实施例，检测和准确度可以被认为是表示用户的视觉系统性能参数(例如对比敏感度或反应时间)的估计的主要量度。视野、多跟踪和耐力可以被认为是次要测量，其比较不同环境中的主要测量，例如视野的部分、集中注意力或分散注意力或长时间参与。

每个组件进一步划分为子组件。在VPI系统内，对每个子组件进行评分，子组件得分的加权平均值和其他度量用于生成组件得分，最后组件得分的加权平均值产生视力性能指数(VPI)。视力试剂盒应用程序中的任何给定体验可能只测试其中的一些组件，只有完成所有这些组件才能完整地描绘VPI。下面进一步描述那些子组件元素。

视野

视野可能是衍生的辅助措施。在VPI系统中，这意味着分数基于比较基于刺激在视野中出现的位置的主要测量。视力套件应用程序中的某些体验意味着一种固定在屏幕中心(或底部中心)并监视目标周围显示区域(即弹出气球的第一轮和第二轮)的策略。在这些情况下，我们可以根据刺激相对于假定的固定区域的位置将刺激标记为中央或外围。

可以通过眼睛跟踪来验证该系统。来自使用视觉套件的移动应用的视野分数可能在某种程度上与临床中心视力的视野检查有关。

中心视力

中心视力分数基于检测和准确度测量，其中假设刺激位于中心视野附近(刺激开始时)。这可能与用户必须做出快速反应的场合特别相关(弹出气球)。最后一轮“弹出气球”的相关性可能会降低。

周边视力

周边视力分数基于检测和准确度测量，其中假设刺激位于显示器的边缘。例如，确定周边视力分数，其中刺激大致在显示器的外部左侧和右侧/顶部和底部三分之一内。可以在最佳策略涉及固定在显示器的中心(或底部中心)的那些环境中假设外围刺激开始，例如第一轮和第二轮“弹出气球”。

准确性

在VPI系统内，精度分为两个部分：一个是时间的，一个是空间的。在空间准确性的情况下，可以评价用户精确定位他们的响应(即击中靶心)的能力，并且假设相对于预期目标的响应位置将落入正态分布。在时间情况下，用户采取响应的时间是被测量的，并且假设在出现刺激之后响应刺激所花费的时间通常遵循对数正态分布。在替代实施例中，视力套件还可以包括第二时间模型，其中响应时间通常分布在刺激开始时间周围(在刺激发作之前和之后都发生反应)用于用户可以预期刺激出现并同步响应的情况。

反应

通过从用户的响应时间中减去刺激开始时间(当它出现时，通常立即在视觉套件中)来生成反应时间。这些时间跨度可以以对数正态方式分布，具有特征模式和全宽度-半最大值。反应分数通常可以基于适合数据的分布模式。由于希克定律引起的变化可能存在，但可能不会直接影响用户的得分，因为反应时间适合而不考虑集合大小(与第三轮弹出气球最相关)。反应时间可能与弹出气球游戏最相关。

确定目标

响应位置的目标精确度可以基于用户的响应的位置(例如，点击以弹出气球)与用户响应的刺激的中心之间的距离(以像素为单位)，并且是眼手协调的基本衡量标准(与补偿跟踪任务松散相关)。这项度量来自“弹出气球”游戏，尽管手动灵巧可能对其他游戏的影响微乎其微。目标精确度和反应时间可以彼此具有相反的关系，因为用户关于他们的目标越谨慎，他们的响应可能越慢。在计算用户的总体准确度分数时，此效果可能会平均。

多重追踪

多重跟踪可以基于在集中注意力或分散注意力的情况下比较主要测量。这里，注意力需求与并发任务的数量和并发刺激的数量成比例。

聚焦注意力

聚焦注意力可以被认为是与检测或准确度测量相关联的状态，其中用户在任何给定时间仅执行一个任务和一个刺激。这通常是'图片完美'和'形状混音'游戏的情况，因为用户可以自由地连续处理刺激功能。这也适用于第一轮弹出气球以及整个第二轮的开始。

分开注意

当一次存在多个刺激(目标或干扰物)并且加速响应需要并行处理刺激时，将分开的注意力分配给那些主要测量。第一轮和第三轮“弹出气球”符合这种描述，因为用户可以在存在多种刺激的情况下进行快速反应。

耐力

耐力度量可能与用户如何在一段时间内对主要措施的表现有关。鉴于长期参与，假设业绩将开始下降。休息后，这种损失可能会恢复，性能可能会恢复正常。这种假设依赖于玩游戏的用户到了疲劳的程度，这可能是不合理的。在表演有机会之前，兴趣可能会失败。可以在时间中添加考虑因素，因为这在分析仪表板中很有用。应用程序还可以考虑当前和先前的游戏会话以生成与用户如何实时执行相关的耐力相关分数。

耐力分数与视力试剂盒应用程序中的所有体验相关。然而，生成耐力分数确实需要与不同游戏的一些最小参与持续时间，以便比较当前和过去的数据。耐力分数的相关性不取决于所演奏的内容，而是取决于比赛时间的积累。

疲劳

疲劳基于来自正在进行的游戏会话的早期和后半部分的主要测量来得分。如果用户保持其性能水平(甚至随着练习时间的推移而改善)，则得分会更高；如果用户的表现开始下降，则得分会降低。

复苏

恢复将基于从最后一个会话的后半部分到当前会话的前半部分的主要措施的分数相关联。如果如上所述疲劳导致在上一次会话结束时得分较低，并且如果休息允许表现返回基线，则恢复得分可能更高。如果其余部分不足并且疲劳恢复很少或没有，恢复分数可能会降低。

发现

检测措施广泛地包括敏感性测量(无论是否看到刺激)和歧视测量(从类似刺激中选择)。视力套件可以成功区分刺激，作为颜色、对比度或敏锐度的函数。在这种情况下，可以通过贝叶斯估计将S形函数拟合到数据以导出辨别阈值。与用户交互的游戏在通过调整方法执行的匹配中探测错误。在这种情况下，用户设置中的错误可以作为区分阈值的直接度量。

颜色

视力套件中的颜色性能可以基于对被区分的刺激之间的色度距离的响应。该应用程序可以创建颜色辨别方向的平衡分布，并且可以诊断特定的颜色缺陷。用户的色彩表现可以基于与其他用户相比基于颜色的歧视程度。具有明显色差的用户，例如患有二色性的用户，可能会看到显着较低的分数。有轻微缺陷的用户，例如患有异常三色性的用户，可能会看到较低的分数，但可能在“正常”范围内。

颜色分数可以通过“弹出气球”游戏的第一轮和第三轮以及“图片完美”和“形状混音”游戏中的选定轮次生成，其中要求用户调整图像或形状的颜色(色调)或饱和度。

对比度

视力套件中的对比度性能可能基于对比度很小或没有对比的简单图案(弹出气球)、简单形状(形状混音)和复杂摄影图像(图片完美)之间的区别。第一轮“弹出气球”中的区分可能在某些方面类似于“视觉对比测试系统”。

敏锐度

视力测试套件中的视力表现可以基于区分短暂呈现的形状，对具有轻度视敏度分量的复杂形状的加速响应、大小/对齐(类似于游标视力)和匹配的模糊水平。在某种程度上，敏锐度适用于各种各样的'弹出气球'，以及'图片完美'和'形状混音'轮次的位置、大小或锐度调整。

评分

主要测量(检测和准确性)可以代表与刺激和反应的物理特性相关的各种心理物理测量，并且次要测量(视野、多跟踪和耐力)可能在很大程度上是相关的。为了比较非常不同的体验中的度量，并组合各种组件，可以采用标准化过程来生成分数。在实施例中，针对每个唯一上下文分别进行归一化，其中可以针对每个游戏的每轮来针对每个度量考虑上下文。

通常可以在一般人群中正常分配措施。在内部，可以基于来自所有用户的所有累积数据，针对每个上下文中的每个度量对集中趋势(算术平均值)和可变性(标准偏差)进行估计。在一些实施例中，这些值用于将评估中的用户测量值转换为基于1/2的平均值和1/6的标准偏差的得分(产生大大落在0和1之间的分布)。在一些实施例中，将这些得分乘以常数以给出得分的较大值。在一个实施例中，使用常数20。在实施例中，评分系统被设计成在数据被累积时保持自洽，并且它将告诉用户他们相对于所有用户的表现。

各种VPI组件可能与测量视力性能的其他传统方法有一些差异，特别是在视力套件应用程序提供的少数经验的背景下。

视野得分可能无法揭示暗点或忽视区域的位置或大小。视力性能的所有方面以及视力之外的许多因素都可能影响准确度分数。在这方面，用户之间可能存在一定程度的个体差异，特别是因为它将与个人对电子游戏的亲和力联系在一起。图32提供表3200，以示出来自不同游戏和轮次的不同VPI参数的示例性体验。

在一些实施例中，“弹出气球”游戏的第一轮可以生成与一些FAMED参数相关的数据。来自该体验的数据可以基于颜色、对比度和敏锐度来通知检测的分数；基于反应和目标的准确性；具有潜在耐力的视野和多重跟踪给予足够的游戏时间。这种特殊体验的价值可能主要在于准确度分数、基于对比度和敏锐度的检测分数以及多跟踪分数。

来自“弹出气球”游戏第二轮经验的数据可能会根据敏锐度、基于反应和目标的准确度以及视野来告知检测分数。这里的值可能主要在准确度分数和视野中，在“敏锐度检测”中有一些值。

来自“弹出气球”游戏第三轮经验的数据可以基于反应和目标基于灵敏度、颜色和准确度来通知分数。主要值在于检测和反应测量。

来自“图片完美”游戏的经验的数据可以基于颜色、对比度和/或敏度来通知检测的分数。

以上实施例仅说明了本发明系统的许多应用。尽管这里仅描述了本发明的几个实施例，但应该理解，在不脱离本发明的精神或范围的情况下，本发明可以以许多其他具体形式实施。因此，本示例和实施例被认为是说明性的而非限制性的，并且本发明可以在所附权利要求的范围内进行修改。

Claims (20)

1.一种使用被编程为执行多个程序指令的计算装置来评估患者的视力性能的方法，包括：

通过所述计算装置呈现第一组视觉和/或听觉刺激；

使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第一多个反应；

通过所述计算装置呈现第二组视觉和/或听觉刺激；

使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第二多个反应；和

基于所述第一多个反应和所述第二多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。

2.权利要求1所述的方法，还包括产生代表视野的聚集、视力、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的单个视力性能值。

3.权利要求1所述的方法，其中所述第一多个反应包括快速扫描数据、扫视运动数据、眨眼率数据、固定数据、瞳孔直径数据和睑裂距离数据中的至少一种。

4.权利要求1所述的方法，其中所述第二多个反应包括快速扫描数据、扫描运动数据、固定数据、眨眼率数据、瞳孔直径数据、头部运动速度数据、头部运动方向数据、心率数据、运动反应时间数据、平滑追踪数据、睑裂距离数据、脑波活动的程度和速率数据、和收敛程度数据中的至少一种。

5.权利要求1所述的方法，其中所述硬件装置包括配置为获取眼睛运动数据的相机、配置为检测头部运动的速率和/或方向的传感器、配置为检测心率的传感器、以及检测脑电波的EEG传感器中的至少一种。

6.权利要求1所述的方法，其中代表所述患者的视野的定量值包括代表所述患者的中心视力的质量的数据和代表所述患者的周边视力的质量的数据。

7.权利要求1所述的方法，其中代表所述患者的视力的定量值包括代表对所述第一组视觉和/或听觉刺激的所述患者的反应时间的质量的数据。

8.权利要求1所述的方法，其中代表所述患者的视力的定量值包括代表所述第一组视觉刺激的所述患者的精确定位的质量的数据，并且其中所述第一组视觉刺激的所述患者的精确定位的所述质量基于相对于所述第一组视觉刺激的位置所述患者的身体反应的位置。

9.权利要求1所述的方法，其中代表所述患者的患者跟踪多个刺激的能力的定量值包括代表所述患者的同时跟踪第二组视觉刺激中的多个元素的能力的质量的数据。

10.权利要求1所述的方法，其中代表所述患者的视觉耐力的定量值包括代表在呈现所述第一组视觉和/或听觉刺激的持续时间内所述患者的反应时间减少的数据。

11.权利要求1所述的方法，其中代表所述患者的视觉耐力的定量值包括代表在休息期后呈现所述第二组视觉和/或听觉刺激的持续时间内所述患者的反应时间改善的数据。

12.权利要求1所述的方法，其中代表所述患者的视觉检测的定量值包括代表所述患者在何种程度上看到所述第一组视觉刺激的数据。

13.权利要求1所述的方法，其中代表所述患者的视觉检测的定量值包括代表所述患者能够在何种程度上区分所述第一组视觉刺激中的相似颜色、对比度或形状物体的数据。

14.一种使用被编程为执行多个程序指令的计算装置来评估患者的视力性能的方法，包括：

通过所述计算装置上的显示器呈现第一组视觉刺激，其中所述第一组视觉刺激包括从所述患者的周边视力移动到所述患者的中心视力的第一多个视觉元素；

使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第一多个反应；

通过所述计算装置上的显示器呈现第二组视觉刺激，其中所述第二组视觉刺激包括第二多个视觉元素，在所述患者物理地接触所述第二多个视觉元素时出现和消失；

使用所述计算装置和单独硬件装置中的至少一种来监测所述患者的第二多个反应；和

基于所述第一多个反应和所述第二多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。

15.权利要求14所述的方法，其中所述第一多个视觉元素的至少一部分具有随时间减小的尺寸。

16.权利要求14所述的方法，其中所述第一多个视觉元素的至少一部分具有随时间增加的运动速度。

17.权利要求14所述的方法，其中随着时间的推移，更多所述第一多个视觉元素同时出现在所述计算装置上。

18.权利要求14所述的方法，其中第三多个视觉元素与所述第二多个视觉元素同时出现，其中所述第三多个视觉元素看起来与所述第二多个视觉元素不同，并且其中如果所述患者物理地接触所述第三多个视觉元素中的任何一个，代表所述患者的视力的定量值减小。

19.权利要求14所述的方法，还包括通过所述计算装置上的显示器呈现第三组视觉刺激，其中所述第三组视觉刺激包括第四多个视觉元素；使用所述计算装置和所述单独硬件装置中的至少一种来监测所述患者的第三多个反应；和基于所述第一多个反应、所述第二多个反应和所述第三多个反应，确定代表所述患者的视野、视敏度、所述患者跟踪多个刺激的能力、视觉耐力和视觉检测的定量值。

20.权利要求19所述的方法，其中所述患者被指导以识别具有颜色、对比度和/或形状的特定组合的第四多个视觉元素中的一个。