CN117980867A - 基于对照明的生理响应的交互事件 - Google Patents

Abstract

本文公开的各种具体实施包括在交互元素的呈现期间确定交互事件的设备、系统和方法。例如，示例性过程可以包括在交互元素的呈现期间获得与瞳孔相关联的生理数据，基于该获得的生理数据，确定在该交互元素的该呈现期间的瞳孔响应，基于多个区域的不同照明特性，确定该瞳孔响应对应于与该交互元素的该多个区域中的一个区域的注意力相关联的注意力响应特性，以及基于确定该瞳孔响应对应于在该交互元素的该呈现期间将注意力引导至该区域，确定在该交互元素的该呈现期间的交互事件。

Description

基于对照明的生理响应的交互事件

技术领域

本公开整体涉及经由电子设备呈现内容，尤其涉及在电子内容的呈现期间和/或基于电子内容的呈现和生理数据来确定用户的交互事件的系统、方法和设备。

背景技术

在查看和/或收听电子设备上的内容的同时确定用户的意图可促进更有意义的体验。例如，用户界面元素(例如，可选择的图标或按钮)可基于确定用户作出此类选择的意图而被自动选择，而无需用户必须执行手势、鼠标点击或其他基于输入设备的动作来发起该选择。用于评价查看内容且与该内容交互的用户的意图的改进的技术可增强该用户的享受、理解和对内容的学习。内容创建者和系统能够基于确定与用户界面元素交互的用户意图来提供更好且更定制的用户体验。

发明内容

本文公开的各种具体实施包括评估交互元素的生理数据(例如，凝视特性)和照明特性以预测交互事件(例如，预测用户何时聚焦于内容的特定部分)的设备、系统和方法。例如，一种方法可以识别在体验的特定阶段用户的凝视特性(例如，瞳孔放大对收缩、稳定的凝视方向和/或速度)对应于用户聚焦于特定图标或用户界面元素。例如，用户可以将他们的注意力引导至图标或其他用户界面元素中的明亮特征，以便发起“点击”或其他交互。生理数据可用于确定交互事件。例如，一些具体实施可识别，基于用户在交互元素的具有不同照明特性的不同区域上的聚焦，该用户的眼睛特性(例如，眨眼率、稳定的凝视方向、扫视振幅/速度和/或瞳孔半径)涉及与该交互元素(例如，图标)的呈现的交互。例如，该照明特性可以包括相对暗或亮的区域。另外，确定该用户的眼睛特性可涉及获得眼睛的图像或眼电图(EOG)数据、微扫视和/或头部移动，从中可确定瞳孔响应/凝视方向/运动。

上下文可另外用于确定交互事件。例如，对体验的场景分析可确定对与被呈现给用户的内容相关联的视觉和/或听觉属性(例如，在视频内容中呈现什么)和/或与该用户的环境相关联的属性(例如，用户在哪里、用户在做什么、什么对象在附近)的场景理解。所呈现的内容和该用户的环境两者的这些属性可改进该用户对交互事件的意图的确定。

在一些具体实施中，确定交互事件可以基于该用户的环境的特性(例如，真实世界物理环境、虚拟环境或每一者的组合)。设备(例如，手持式设备、膝上型电脑、台式电脑或头戴式设备(HMD))提供真实世界物理环境或扩展现实(XR)环境的体验(例如，视觉体验和/或听觉体验)。该设备利用一个或多个传感器获得与该用户相关联的生理数据(例如，脑电图(EEG)振幅、瞳孔调制、眼睛凝视扫视、由惯性测量单元(IMU)测量的头部移动等)。基于该获得的生理数据，本文描述的技术可确定该体验期间的交互事件。基于该生理数据和相关联的生理响应(例如，关注该内容的特定区域的用户)，该技术可以基于该交互事件向该用户提供响应，并且调整对应于该体验的该内容。

生理响应数据诸如EEG振幅/频率、瞳孔调制、眼睛凝视扫视等可取决于个人、他或她前方的场景的特性(例如，视频内容)、围绕该用户的该物理环境的属性(包括该用户的活动/移动)。可在用户执行任务时使用具有眼睛跟踪技术的设备(以及其他生理传感器)来获得生理响应数据。在一些具体实施中，可使用其他传感器(诸如EEG传感器或EDA传感器)来获得生理响应数据。观察对体验的生理响应数据的重复测量可给出关于该用户的该意图的见解。

若干不同的体验可利用本文所描述的关于评价交互事件的技术。例如，该方法可被提供来支持想要在不使用手、语音、或像停留时间那样的明显眼睛运动的情况下与用户界面元素交互的用户。另外，确定交互事件可被用作易用性特征，例如，其使得瘫痪用户能够通过使用他们的眼睛选择计算机图形图标来交互。另外，确定交互事件可用于一般应用中(例如，用户界面选择工具、设备唤醒信号等)，并且可与其他基于眼睛或触摸的机制结合，诸如以提高信噪比(SNR)、稳健性、响应时间等。

一些具体实施聚焦于通过结合实践锻炼来提高基于用户的瞳孔响应来评估交互事件的准确性。例如，可实现机器学习算法来确定用户的聚焦是否意味着他或她正打算选择特定图标。

一些具体实施评估生理数据和其他用户信息以帮助改善用户体验。在此类过程中，作为示例，应当通过确保用户理解并同意用户数据的使用、理解使用什么类型的用户数据、控制用户数据的收集和使用以及限制用户数据的分配(例如，通过确保用户数据在用户的设备上被本地处理)来尊重用户偏好和隐私。用户应当具有关于是否获得或使用其用户数据或以其他方式打开和关闭获得或使用用户信息的任何特征选择加入或选择退出的选项。此外，每个用户应当具有访问以及以其他方式找出系统已经收集或确定的关于他或她的任何东西的能力。

一般来讲，本说明书中描述的主题的一个创新方面可以在包括处理器的设备处的方法中体现，该方法包括以下操作：在交互元素的呈现期间获得与瞳孔相关联的生理数据，该交互元素包括具有不同照明特性的多个区域；基于该获得的生理数据，确定在该交互元素的该呈现期间的瞳孔响应；基于该多个区域的该不同照明特性，确定该瞳孔响应对应于与该交互元素的该多个区域中的一个区域的注意力相关联的注意力响应特性；以及基于确定该瞳孔响应对应于在该交互元素的该呈现期间将注意力引导至该区域，确定在该交互元素的该呈现期间的交互事件。

这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

在一些方面，该交互元素的该多个区域的不同照明特性包括一个或多个暗区域和一个或多个亮区域。

在一些方面，该交互元素的每个区域包括亮度水平，并且该多个区域的该不同照明特性基于每个区域相对于照度阈值水平的该亮度水平。

在一些方面，该交互元素的该呈现包括多个像素的像素信息，并且确定该瞳孔响应对应于将注意力引导至该交互元素的该多个区域中的该区域包括基于该像素信息确定该区域中的每个像素的估计感知亮度。

在一些方面，确定交互事件包括：确定该交互元素的该多个区域的场景引起的瞳孔响应变化特性；以及基于该交互元素的该多个区域的该场景引起的瞳孔响应变化特性确定在该交互元素的该呈现期间的该交互事件。

在一些方面，基于该瞳孔响应和该多个区域的该不同照明特性，使用机器学习技术对该交互事件进行分类。

在一些方面，该方法进一步包括响应于确定该交互事件来调整内容。

在一些方面，该瞳孔响应是该瞳孔响应的方向、该瞳孔响应的速度或瞳孔固定。在一些方面，该瞳孔响应得自扫视特性。

在一些方面，该生理数据包括眼睛的图像或眼电图(EOG)数据。在一些方面，该生理数据包括头部移动。

在一些方面，在该交互元素的该呈现期间确定该瞳孔响应基于确定该瞳孔响应对阈值的可变性。

在一些方面，该设备为头戴式设备(HMD)。在一些方面，该交互元素的该呈现为扩展现实(XR)体验。

根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，该指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在该非暂态存储器中并且被配置为由该一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的显示视觉和/或听觉体验并从用户获得生理数据的设备。

图2示出了根据一些具体实施的图1的用户的瞳孔，其中，瞳孔的直径随时间变化。

图3A和图3B示出了根据一些具体实施的基于生理数据来检测查看内容的交互事件。

图4A、图4B和图4C示出了根据一些具体实施的包括具有不同光照特性的多个区域的示例性交互元素。

图5是示出了根据一些具体实施的基于参与者的自愿特征注意力的每个参与者的平均瞳孔响应时间的图表。

图6示出了根据一些具体实施的基于生理数据来检测查看内容的交互事件的系统图。

图7是根据一些具体实施的基于生理数据来确定查看内容的交互事件并且基于该交互事件来升级该内容的方法的流程图表示。

图8示出了根据一些具体实施的示例性设备的设备部件。

图9示出了根据一些具体实施的示例性头戴式设备(HMD)。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例性方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了真实世界环境5，该真实世界环境包括具有显示器15的设备10。在一些具体实施中，设备10向用户25显示内容20，以及与内容20相关联的视觉特性30。例如，内容20可以是按钮、用户界面图标、文本框、图形等。在一些具体实施中，与内容20相关联的视觉特性30包括诸如色调、饱和度、尺寸、形状、空间频率、运动、突出显示等的视觉特性。例如，内容20可被显示为具有覆盖或包围内容20的绿色突出显示的视觉特性30。

在一些具体实施中，内容20可以是视觉体验(例如，教育体验)，并且视觉体验的视觉特性30可在视觉体验期间持续地改变。如本文所用，短语“体验”是指在此期间用户使用电子设备并具有一个或多个交互事件的时间段。在一个示例中，用户具有其中用户在持有、佩戴或接近包括获得指示用户的交互事件的生理数据的一个或多个传感器的电子设备时感知真实世界环境的体验。在另一个示例中，用户具有其中用户感知由电子设备显示的内容而同一或另一电子设备获得生理数据(例如，瞳孔数据、EEG数据等)以评价用户与交互元素(例如，可选择的图标)的交互的体验。该生理数据可以包括但不限于瞳孔数据、EEG数据、头部移动数据、凝视速度、眨眼率、原始眼睛图像、眼睑形状、微扫视、眼睛震颤、眼睛漂移等。在另一个示例中，用户具有其中用户持有、佩戴或接近提供指导体验的一连串可听或视觉指令的电子设备的体验。例如，该指令可以指示该用户在该体验的特定时间段期间具有特定交互事件，例如，指示用户将他或她的注意力聚焦到该交互元素的特定部分以便进一步训练机器学习算法以更好地检测选择该交互元素的用户意图。在这样的体验期间，该同一或另一电子设备可获得生理数据以评估用户与该交互元素交互的意图。

在一些具体实施中，除了查看设备10的显示器上的实际屏幕项目之外，用户25可被指示以视觉方式想象明亮或黑暗的心智图像以引起瞳孔响应并且发起交互的意图。例如，心智图像可以是感知的再次呈现，因此诸如辉度或亮度之类的属性也应当在该图像中显现，并且设备10可以获得生理数据以评估用户与想象的交互元素交互的意图。

在一些具体实施中，视觉特性30是用户的特定于体验的反馈机制(例如，关于在体验期间专注于特定任务(诸如在教育/学习视频的特定部分期间投入注意力)上的视觉或音频提示)。在一些具体实施中，视觉体验(例如，内容20)可占据显示器15的整个显示区域。例如，在体验期间，内容20可以是视频或图像序列，其可包括视觉和/或音频提示作为向用户呈现的关于投入注意力的视觉特性30。本文将进一步讨论可针对内容20显示的其他视觉体验和关于视觉特性30的视觉和/或音频提示。

在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10是可穿戴头戴式显示器(“HMD”)。尽管本文讨论的该示例和其他示例示出了在真实世界环境5中的单个设备10，但是本文公开的技术适用于多个设备和多个传感器，以及其他真实世界环境/体验。例如，设备10的功能可由多个设备执行。

设备10经由传感器35(例如，面向用户以捕获用户的面部特征，头部移动和/或眼睛凝视的光强度数据和/或深度数据的一个或多个相机)从用户25获得生理数据(例如，EEG振幅/频率、瞳孔调制、眼睛凝视扫视等)。例如，设备10获得瞳孔数据40(例如，眼睛凝视特性数据)。在一些具体实施中，用户25的头部移动可由示出的传感器35获得。可替代地，可通过用户25佩戴的另一传感器来获得头部移动。例如，如果设备10被佩戴在头部(例如，HMD)，则用户25的头部移动可由IMU或另一类型的加速计传感器来确定。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近IR(NIR)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备10的照明源可发射NIR光以照射用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔放大或瞳孔直径。此外，从眼睛跟踪图像估计的凝视点可使得能够与设备10的近眼显示器上示出的内容进行基于凝视的交互。

在一些具体实施中，设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。所检测的生理数据可包括但不限于：EEG、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。设备10可通信地耦接到附加传感器。例如，外部传感器(例如，EDA传感器)可经由有线或无线连接通信地耦接到设备10，并且该传外部感器可位于用户25的皮肤上(例如，如用户的手臂上，或放置在用户的手部/手指上)。例如，该传感器可用于检测EDA(例如，皮肤电导)、心率或利用与用户皮肤的接触的其他生理数据。此外，设备10(使用一个或多个传感器)可同时检测多种形式的生理数据，以便受益于生理数据的同步采集。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，用户25的一只或两只眼睛45(包括用户25的一个或两个瞳孔50)以瞳孔响应的形式呈现生理数据(例如，瞳孔数据40)。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔50的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄，或扩张响应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据的图案。

在一些具体实施中，瞳孔响应可响应于用户25的一个或两个耳朵60检测到的听觉反馈(例如，对用户的音频通知)。例如，设备10可包括经由声波14投射声音的扬声器12。设备10可包括其他音频源，例如用于头戴式耳机的头戴式耳机插孔、与外部扬声器的无线连接等。

图2示出了图1的用户25的瞳孔50，其中瞳孔50的直径随时间变化。瞳孔直径跟踪可能潜在地指示用户的生理状态。如图2所示，当前生理状态(例如，当前瞳孔直径)与过去生理状态(例如，过去瞳孔直径55)相比可能变化。例如，当前生理状态可包括当前瞳孔直径并且过去生理状态可包括过去瞳孔直径。

生理数据可随时间而变化，并且设备10可使用生理数据来测量用户对视觉特性30的生理响应或用户与内容20交互的意图中的一者或两者。例如，当由设备10呈现可包括交互元素的内容20时，用户25可选择该交互元素而无需用户25按下物理按钮。在一些具体实施中，生理数据可包括经由眼睛跟踪技术(例如，经由HMD)测量的在用户25扫视内容20之后瞳孔50的半径的视觉或听觉刺激的生理响应。在一些具体实施中，生理数据包括经由EEG技术测量的EEG振幅/频率数据或从EMG传感器或运动传感器测量的EMG数据。

返回到图1，物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境以及/或者与物理环境进行交互。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。如一个示例，XR系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。如另一示例，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板计算机、膝上型计算机等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调节XR环境中图形内容的特征。

有许多不同类型的电子系统使人能够感测和/或与各种XR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板计算机，以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。可替代地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器以及/或者用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些实施方式中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图3A和图3B示出了基于生理数据来评估是否存在查看内容的交互事件。具体地，图3A示出了在内容呈现期间在环境304中向用户(例如，图1的用户25)呈现内容302，其中，该用户经由获得的生理数据具有对该内容的生理响应(例如，该用户看向如由眼睛凝视特征数据检测到的内容的部分)。例如，在内容呈现时刻310a，向用户呈现包括视觉内容(例如，视频)的内容302，并且用户的生理数据诸如瞳孔数据312a(例如，眼睛凝视特性数据)被监测为基线。然后，在内容呈现时刻320a，当用户瞳孔数据322a为参与(例如，观看)内容302时，内容302呈现交互元素350。在分析(例如，通过生理数据指令集)用户的生理数据之后的一段时间之后，如在内容呈现时刻330a所示出的，用户的瞳孔数据332a现在聚焦在交互元素350上。因此，内容302可基于用户对交互元素350的交互/聚焦(例如，用户想要选择由交互元素350表示的虚拟图标)来更新。

图3B示出了与图3A类似的示例，除了用户不将他或她的凝视聚焦在交互元素350上(例如，用户不想选择呈现给他或她的虚拟图标)。例如，在内容呈现时刻310b，向用户呈现包括视觉内容(例如，视频)的内容302，并且用户的生理数据诸如瞳孔数据312b(例如，眼睛凝视特性数据)被监测为基线。然后，在内容呈现时刻320b，当用户瞳孔数据322b为参与(例如，观看)内容302时，内容302呈现交互元素350。在分析(例如，通过生理数据指令集)用户的生理数据之后的一段时间之后，如在内容呈现时刻330b所示出的，确定用户的瞳孔数据332b不聚焦在交互元素350上。因此，可以不基于在内容呈现时刻330b当前不在交互元素350上的用户的交互/聚焦来更新内容302。

图4A、图4B和图4C示出了根据一些具体实施的包括具有不同光照特性的多个区域的示例性交互元素。图4A呈现交互元素410，该交互元素是图3的交互元素350的更近视图，其包括不同的区域即区域412、区域414和区域416。区域412示出了形成示例性形状(例如，三角形及邻近于多个角部中的一者的线)的更明亮的照明特性部。区域414示出了与区域412相比具有不同照明特性(例如，可以更暗)的区域。

图4B呈现包括不同区域即区域422、区域424和区域426的交互元素420(例如，同心圆)。区域422示出了形成示例性形状(例如，圆形)的更明亮的照明特性部。区域424和区域426(例如，分别在区域422外部和内部的区域)示出了与区域422相比具有不同照明特性(例如，可以更暗或更亮)的区域。

图4C呈现包括不同区域即区域432、区域434和区域436的交互元素430(例如，具有两个不同照明特性的正方形)。区域432示出了形成示例性形状(例如，矩形)的更亮的照明特性部。区域434(例如，正方形的另一半)和区域436(例如，正方形外部的区域)示出与区域432相比具有不同照明特性(例如，可以更暗或更亮)的区域。

尽管在图4A中未如此说明，但在一些具体实施中，在由区域412形成的形状内部形成的区域416还可包括与区域414及区域412两者不同的照明特性。例如，如果为交互元素410提供动画效果，则区域416可以以与区域412交替的模式闪烁，而区域414保持不变。如本文所讨论的，如果检测到用户已经将他或她的注意力聚焦在交互元素达特定时间段(例如，大于两秒)，则可以向用户提供动画效果，然后系统可以生成动画效果以让用户知道在附加时间段中交互元素将被激活(例如，用户想要“点击”交互元素410所表示的特定图标)。

在一些具体实施中，如果用户持续地保持关注(例如，“聚焦”)交互元素410的区域412(例如，交互元素410的被照亮部分)，则动画效果可以最初在交互元素410上开始以向用户指示如果他们保持聚焦在交互元素410的区域412上，则其将被选择或者动作将发生(例如，用户正在基于他们的瞳孔响应点击虚拟图标)。如果交互元素410开始改变(例如，变成动画的诸如移动/摇动、视觉外观的改变等)，则用户可知道移开目光，除非用户想要选择该图标。因此，用户必须“停留”一定的时间来选择/点击。例如，在诸如第一交互阈值(例如，聚焦在交互元素410的区域412上的两秒)的一段时间之后，交互元素410改变/动画化，并且如果用户继续看着交互元素410的区域412，则在诸如第二交互阈值(例如，附加的两秒)的更长一段时间之后，选择交互元素410。

图5是示出了根据一些具体实施的基于参与者的自愿特征注意力的每个参与者的平均瞳孔响应时间的示例性图表500。例如，图表500示出了参与者的平均数据，其示出了时间锁定到参与者(右)的自主特征注意力的发起的稳健的瞳孔收缩(红色曲线)。例如，可向每个参与者示出图4A的交互元素410，并且告知每个参与者聚焦在包括与区域414不同的照明特性的特定区域412处。例如，对于数据的第一子集，告知参与者不要聚焦于该图标(例如，交互元素410)，因此每个用户处于“走神”状态，这由线502表示。然后，对于数据的第二子集，告知参与者要聚焦于该图标的被照亮部分(例如，交互元素410的区域412)，因此每个用户处于“聚焦的”状态，这由线504表示。

在一些具体实施中，该交互元素的该呈现包括多个像素的像素信息，并且确定该瞳孔响应对应于将注意力引导至该交互元素的该多个区域中的该区域(例如，图4A的交互元素410的区域412)包括基于该像素信息确定该区域中的每个像素的估计感知亮度。例如，设备10可从显示器收集像素信息并且将RGB值转换成估计感知亮度。在一些具体实施中，可通过使用线性公式来计算该估计感知亮度：Lum＝(0.21R+0.72G+0.07B)。另外或可替代地，可通过使用非线性公式来计算该估计感知亮度：Lum＝sqrt(7.299R²+0.587G²+0.114B²)。此外，在一些具体实施中，估计感知亮度可经由机器学习模型通过特征嵌入来确定。

在一些具体实施中，确定交互事件包括：确定该交互元素的该多个区域的场景引起的瞳孔响应变化特性；以及基于该交互元素的该多个区域的该场景引起的瞳孔响应变化特性确定在该交互元素的该呈现期间的该交互事件。一种方法可包括从该瞳孔响应中减去如由所计算的感知亮度或由经由机器学习模型的特征嵌入给出的低水平场景引起的瞳孔响应变化。例如，当用户的凝视与用户界面元素(例如，图4A的交互元素410的区域412)相交时，机器学习算法基于注意引起的瞳孔响应的存在(例如，在对低水平感知照度进行控制之后)来预测每个时间点的“点击”或“不点击”。在一些具体实施中，本文描述的技术可利用训练或校准序列来适应特定用户25的特定生理特性。在一些具体实施中，该技术向用户25呈现训练场景，在该场景中指示用户25与屏幕项目(例如，交互对象)进行交互。通过向用户25提供已知意图或感兴趣区域(例如，经由指令)，该技术可记录用户的生理数据(例如，瞳孔数据40)并识别与用户的生理数据相关联的模式。在一些具体实施中，该技术可改变与内容20相关联的视觉特性30(例如，反馈机制)，以便进一步适应用户25的独特生理特性。例如，该技术可指示用户在数到三时主观上选择屏幕中心的与所识别的区域相关联的按钮(例如，交互元素)，并记录用户的生理数据(例如，瞳孔数据40)以识别与用户的交互事件相关联的模式。此外，该技术可改变或变更与反馈机制相关联的视觉特性，以便识别与用户对变更的视觉特性的生理响应相关联的模式。在一些具体实施中，与用户25的生理响应相关联的图案被存储在与该用户相关联的用户配置文件中，并且可在将来的任何时间更新或重新校准该用户配置文件。例如，在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验(例如，在学习时用于最佳学习体验的个人教育体验)。在一些具体实施中，可使用“点击”阈值来训练机器学习模型。例如，可实时增加或减少“点击”阈值以最大化真正的正面事件并最小化误报。另外或可替代地，在一些具体实施中，来自用户的隐式反馈(例如，如果交互序列指示一个交互为错误)可用于实时确定真假正面事件，并且可由系统相应地调适“点击”阈值。在一些具体实施中，本文所描述的技术可利用训练过程或校准序列来引入“游戏化”，其中，用户随着时间推移学习实现某个任务，在此过程中存在与关于点击概率的机器学习模型预测的实时输出相对应的动画。例如，控制和关闭环动画，其中，环动画与模型的预测点击概率成比例地关闭。图6是根据一些具体实施的示例性环境600的系统流程图，其中，交互事件评估系统可基于生理数据评估用户的交互事件。在一些具体实施中，示例性环境600的系统流程在设备(例如，图1的设备10)(诸如移动设备、台式计算机、膝上型计算机或服务器设备)上执行。示例性环境600的内容可显示在具有用于显示图像的屏幕(例如，显示器15)和/或用于查看立体图像的屏幕的设备(例如，图1的设备10)(诸如HMD)上。在一些具体实施中，示例性环境600的系统流程在处理逻辑部件(包括硬件、固件、软件或其组合)上执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行示例性环境600的系统流程。

示例性环境600的系统流程：获得内容(例如，视频内容或一系列图像数据)并将其呈现给用户25；分析该内容和/或该环境以获得上下文数据；在该内容的呈现期间获得与该用户相关联的生理数据；基于该用户的该生理数据来评估用户与交互元素605交互的意图；以及基于交互事件来更新该内容(例如，如果用户25聚焦于交互元素605达特定时间段以激活或选择交互元素605)。例如，本文描述的交互事件评估技术基于该获得的生理数据通过更新基于该交互事件(例如，向用户警告他们在内容602的呈现期间已经选择交互元素605的通知、听觉信号、警告等)的该内容来确定用户在体验(例如，观看视频)期间与交互元素605交互的意图。

示例性环境600包括内容指令集610，该内容指令集被配置有能够由处理器执行以提供和/或跟踪要在设备(例如，图1的设备10)上显示的内容602的指令。例如，当用户在物理环境604内(例如，房间、室外等)时，内容指令集610向用户25提供包括内容602的内容呈现时刻612。例如，内容602可包括背景图像和声音数据(例如，视频)。内容呈现时刻612可以是XR体验，或内容呈现时刻612可以是包括某种CGR内容和物理环境的一些图像的MR体验。可替代地，用户可穿戴HMD并经由实时相机视图看向真实物理环境，或者HMD允许用户观看显示器，诸如佩戴用户可通过其观看的智能眼镜，但是仍呈现视觉提示和/或音频提示。在体验期间，当用户25正在查看内容602时，可监测用户的眼睛的瞳孔数据615(例如，瞳孔数据40，诸如眼睛凝视特性数据)并且将其作为生理数据614发送。另外，可监测其他生理数据并将其作为生理数据614(诸如从IMU获得的头部移动数据或图像数据)发送。

环境600还包括生理跟踪指令集630，以使用本文所讨论的技术中的一种或多种技术或可能适当的其他技术来跟踪用户的生理属性作为生理跟踪数据632。例如，生理跟踪指令集630可从查看内容602的用户25获得生理数据614(例如，瞳孔数据615)。另外或可替代地，用户25可佩戴传感器(例如，诸如EEG传感器、EDA传感器、心率传感器等)，该传感器生成传感器数据626(例如，IMU或姿态数据、EEG数据、EDA数据、心率数据等)作为附加生理数据。因此，当内容602作为内容呈现时刻612呈现给用户时，生理数据614(例如，瞳孔数据615)和/或传感器数据626被发送到生理跟踪指令集630，以使用本文所讨论的技术中的一种或多种技术或可能适当的其他技术来跟踪用户的生理属性作为生理跟踪数据632。

在一个示例性具体实施中，环境600还包括上下文指令集640，该上下文指令集被配置有能够由处理器执行以获得呈现给用户的体验数据(例如，内容602)和其他传感器数据(例如，环境604的图像数据、用户25的面部和/或眼睛的图像数据等)并生成上下文数据642(例如，识别内容602和环境604的人、对象等)的指令。例如，上下文指令集640从传感器620(例如，RGB相机、深度相机等)获得内容602和传感器数据622(例如，图像数据)，并且在用户正在观看内容602(例如，第一次观看的内容/视频)的呈现时基于识别内容的区域来确定上下文数据642。可替代地，上下文指令集640从上下文数据库645选择与内容602相关联的上下文数据(例如，如果内容602先前被上下文指令集分析过，即，先前查看/分析的视频)。在一些具体实施中，上下文指令集640生成与内容602和/或环境604相关联的场景理解作为上下文数据642。例如，可利用场景理解来跟踪在内容602的呈现期间用户可能专注于什么、或者用户在哪里、用户正在做什么、关于环境604在用户附近有什么物理对象或人的整体上下文。

在一个示例性具体实施中，环境600还包括交互事件指令集650，该交互事件指令集被配置有能够由处理器执行以使用本文所讨论的技术中的一种或多种技术或可能适当的其他技术基于生理响应(例如，经由瞳孔数据615的眼睛凝视响应)来评价用户25与交互元素605交互的意图的指令。例如，可以评估用户25与交互元素605交互的意图，诸如确定用户25聚焦在交互元素605的特定照明区域上(例如，诸如图4A的交互元素410的区域412)。特别地，交互事件指令集650从生理跟踪指令集630获得生理跟踪数据632，并且在用户正在观看内容602的同时在内容602的呈现期间确定用户25与交互元素605交互(选择交互元素)的意图。在一些具体实施中，交互事件指令集650然后可基于交互事件评估向内容指令集610提供交互事件数据652(例如，用信号通知用户选择交互元素605的数据)。

在一些具体实施中，交互事件指令集650还从具有生理跟踪数据632的上下文指令集640获得上下文数据642(例如，场景理解数据)，以确定用户25在内容602的呈现期间与交互元素605交互(选择交互元素)的意图。例如，上下文数据642可提供场景分析，该场景分析可由交互事件指令集650使用以理解人正在看什么、他们在哪里等，并且改善该用户选择交互元素605的该意图的确定。

图7是示出示例性方法700的流程图。在一些具体实施中，诸如设备10(图1)的设备执行方法700的技术以基于生理数据确定在该用户正在观看内容的同时与交互元素(例如，交互事件)交互的意图，并且基于该交互事件更新该内容。例如，方法700可以识别在体验的特定阶段期间，凝视特性(例如，瞳孔放大对收缩、稳定的凝视方向和/或瞳孔移动的速度)对应于聚焦在特定图标或用户界面元素(在本文中被称为“交互元素”)上的用户。例如，用户可以将他们的注意力引导至图标或其他用户界面元素中的明亮特征，以便发起“点击”或其他交互。这可以用作用户界面选择工具、设备唤醒信号等，并且可与其他基于眼睛或触摸的机制结合以改善SNR、稳健性和响应时间。

在一些具体实施中，在移动设备、台式计算机、膝上型计算机、HMD或服务器设备上执行方法700的技术。在一些具体实施中，在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行方法700。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法700。

在框702处，方法700在交互元素的呈现期间获得与瞳孔相关联的生理数据，以及所述交互元素包括具有不同照明特性的多个区域。例如，该照明特性可包括相对暗或亮的区域(例如，图4A的区域412和区域414)。在一些具体实施中，该交互元素的该多个区域的不同照明特性包括一个或多个暗区域和一个或多个亮区域。

在一些具体实施中，获得生理数据包括EEG振幅/频率、瞳孔调节、眼睛凝视扫视、头部移动等，从这些数据可确定瞳孔响应/凝视方向/移动。在一些具体实施中，获得生理数据(例如，瞳孔数据40)与可涉及获得可从中确定凝视方向和/或移动的眼睛的图像或眼电图信号(EOG)数据的用户的凝视相关联。在一些具体实施中，生理数据包括与用户相关联的皮肤温度、呼吸、光电容积描记图(PPG)、皮肤电活动(EDA)、眼睛凝视跟踪和瞳孔移动中的至少一者。在一些具体实施中，获得生理数据包括头部移动(例如，从IMU或从图像传感器数据获得)。

在一些具体实施中，确定移动和/或用户25的头部27的位置和特征(例如，眼睛、鼻部或鼻孔的边缘)由设备10提取并且用于查找用户25的眼睛45的粗略位置坐标，从而简化精确眼睛45特征(例如，位置、凝视方向等)的确定，并且使得凝视特性测量更可靠和稳健。此外，设备10可容易地将头部27的3D部件的位置与通过眼睛部件图像分析获得的凝视角度信息组合，以便识别用户25在任何给定时间观看到的给定屏幕对象。在一些具体实施中，使用3D标测结合凝视跟踪允许用户25自由地移动他或她的头部27和眼睛45，同时减少或消除使用头部27上的传感器或发射器主动跟踪头部27的需要。

通过跟踪眼睛45，一些具体实施减少了在用户25移动他或她的头部27之后重新校准用户25的需要。在一些具体实施中，设备10使用深度信息来跟踪瞳孔50的移动，由此使得能够基于用户25的单次校准来计算可靠的呈现的瞳孔直径。利用诸如瞳孔中心角膜反射(PCCR)、瞳孔跟踪和瞳孔形状的技术，设备10可从头部27的定点计算瞳孔直径以及眼睛45的凝视角度，并且使用头部27的位置信息以便重新计算凝视角度和其他凝视特性测量。除了减少的重新校准之外，跟踪头部27的进一步有益效果可包括减少光投射源的数量并减少用于跟踪眼睛45的相机的数量。

一些具体实施获得生理数据和其他用户信息以帮助改善用户体验。在此类过程中，作为示例，应当通过确保用户理解并同意用户数据的使用、理解使用什么类型的用户数据、控制用户数据的收集和使用以及限制用户数据的分配(例如，通过确保用户数据在用户的设备上被本地处理)来尊重用户偏好和隐私。用户应当具有关于是否获得或使用其用户数据或以其他方式打开和关闭获得或使用用户信息的任何特征选择加入或选择退出的选项。此外，每个用户将具有访问以及以其他方式找出系统已经收集或确定的关于他或她的任何东西的能力。用户数据安全地存储在用户的设备上。用作机器学习模型的输入的用户数据被安全地存储在用户的设备上，例如，以确保用户的隐私。用户的设备可以具有安全存储区域，例如，安全隔区，用于保护某些用户信息，例如来自图像传感器和用于面部识别、面部识别或生物识别的其他传感器的数据。与用户的身体和/或注意力状态相关联的用户数据可存储在此类安全隔区中，从而限制对用户数据的访问并且限制用户数据向其他设备的传输，以确保用户数据安全地保持在用户的设备上。可以禁止用户数据离开用户设备，并且可以仅在机器学习模型和用户设备上的其他过程中使用。

在框704处，方法700基于该获得的生理数据，确定在该交互元素的该呈现期间的瞳孔响应。例如，瞳孔响应特性可包括测量瞳孔半径的可变性。在一些具体实施中，可基于范围、方差和/或标准偏差来测量可变性。

在一些具体实施中，该瞳孔响应是该瞳孔响应的方向、该瞳孔响应的速度或瞳孔固定(例如，得自眼睛凝视动力学和扫视特性)。在一些具体实施中，该瞳孔响应得自扫视特性(例如，微扫视和扫视侵入)。在一些具体实施中，扫视特性是不同于瞳孔响应的生理数据的单独属性或类型，使得方法700可替代地在框704处确定在该交互元素的该呈现期间除了瞳孔响应之外的扫视特性。例如，扫视特征可包括测量微扫视和/或扫视侵入。

在一些具体实施中，在该交互元素的该呈现期间确定该瞳孔响应基于确定该瞳孔响应对阈值的可变性。该瞳孔响应的可变性的示例性阈值限制可以基于机器学习模型输出。例如，如果机器学习模型将该生理数据作为输入并输出点击意图的概率(例如，70％)，则可以确定导致概率低于70％的任何瞳孔响应是没有点击，而导致机器学习模型输出为70％或高于70％的瞳孔响应是点击。

另一类型的阈值可以是异常值检测，例如，如果该瞳孔响应或其他生理数据改变超出可接受范围，并且该数据可以被拒绝并且被认为是噪声。同样地，如果响应改变如此小以至于系统在测量这样小的改变时将具有低置信度，则系统也可能拒绝该数据作为噪声。

在框706处，方法700基于该多个区域的该不同照明特性确定该瞳孔响应对应于与该交互元素的该多个区域中的一个区域的注意力相关联的注意力响应特性。例如，当用户聚焦于交互元素的特定亮或暗区域(诸如图4A中的不同区域：区域412、区域414和区域416)时，他或她可展现注意力响应特性。在一些具体实施中，该交互元素的每个区域包括亮度水平，并且该多个区域的该不同照明特性基于每个区域相对于照度阈值水平的该亮度水平。例如，该交互元素的不同照明特性可包括确定亮表面面积与暗表面面积的比率、尺寸(以视觉程度计)、时间变化(闪烁、正弦、随机亮度变化等)、空间频率和/或对比度(物品中亮区域与暗区域之间的差异)。另外或可替代地，该交互元素的该不同区域的空间布局可影响对应于将注意力引导至该交互元素的该多个区域中的一个区域的瞳孔响应。例如，该交互元素的该不同区域的空间布局可以是单个大的均匀照明区域。可替代地，该交互元素的空间布局可包括随机混合的(例如，点状排列的)小的亮区域和暗区域以在亮区域和暗区域之间引起“推挽”效应。

在框708处，方法700基于确定该瞳孔响应对应于在该交互元素的该呈现期间将注意力引导至该区域，确定在该交互元素的该呈现期间的交互事件。

在一些具体实施中，可基于基于注意引起的瞳孔响应的存在(例如，在对低水平感知照度进行控制之后)来预测每个时间点的“点击”或“不点击”来确定机器学习算法。在示例性实施方案中，该交互元素的该呈现包括多个像素的像素信息，并且确定该瞳孔响应对应于将注意力引导至该交互元素的该多个区域中的该区域包括基于该像素信息确定该区域中的每个像素的估计感知亮度。在一些具体实施中，确定交互事件包括：确定该交互元素的该多个区域的场景引起的瞳孔响应变化特性；以及基于该交互元素的该多个区域的该场景引起的瞳孔响应变化特性确定在该交互元素的该呈现期间的该交互事件。例如，当用户的凝视与用户界面元素(例如，图3A的交互元素350)相交时，机器学习协议可基于注意引起的瞳孔响应的存在来预测每个时间点的“点击”或“不点击”。因此，在一些具体实施中，可基于该瞳孔响应和该交互元素的该多个区域的该不同照明特性使用机器学习技术(例如，机器学习“点击”模型)对该交互事件进行分类。

在一些具体实施中，机器学习模型是神经网络(例如，人工神经网络)、决策树、支持向量机、贝叶斯网络等。这些标签可事先从用户或事先从人的群体收集，并且稍后针对单独用户进行微调。创建该加标签的数据可能要求许多用户经历其中用户可用混合自然探针收听自然声音(例如，听觉刺激)的体验(例如，冥想体验)，并且然后，随机地询问用户在呈现了探针之后不久有多专注或放松(例如，交互事件)。这些问题的答案可在问题之前的时间生成标签，并且深度神经网络或深度长短期存储器(LSTM)网络可能学习特定于被给定那些标签(例如，低交互事件、高交互事件等)的该用户或任务的特征的组合。

在一些具体实施中，方法700进一步包括响应于确定该交互事件来调整内容。例如，如图6的环境600的系统流程图中所示，当确定用户的意图是在交互元素605上“点击”(例如，交互/聚焦)时，交互事件指令集650向内容指令集610提供交互事件数据652以更新该内容(例如，基于图标-交互元素605的选择来改变该内容)。

在一些具体实施中，本文描述的技术基于识别用户与体验的典型的交互来从用户获得生理数据(例如，瞳孔数据40、EEG振幅/频率数据、瞳孔调制、眼睛凝视扫视、头部移动等)。例如，技术可确定用户的眼睛凝视特性的可变性与同体验的交互相关。另外，本文所述的技术然后可调整该体验的视觉特性，或调整/改变与交互元素相关联的声音，以增强和与体验和/或与在体验内呈现的交互元素的将来交互相关联的生理响应数据。此外，在一些具体实施中，在用户与体验交互之后改变交互元素告知在与该交互元素或该体验的特定阶段的后续交互中用户的生理响应。例如，该用户可呈现与该交互元素内的改变(例如，该交互元素的照度的改变)相关联的预期生理响应。因此，在一些具体实施中，技术基于预期生理响应来识别用户与该交互元素交互的意图。例如，该技术可通过基于该用户与该体验的交互来捕获或存储该用户的生理数据来调适或训练指令集，并且可通过在预期所增强/更新的交互元素的呈现中识别该用户的生理响应来检测用户与该体验交互的将来意图。

在一些具体实施中，体验的定制可由用户控制。例如，用户可选择他或她想要的体验，诸如他或她可选择周围环境、背景场景、音乐等。另外，用户可变更选择交互元素的阈值。例如，该用户可基于会话的先前体验来定制触发改交互元素的灵敏度。例如，用户可能期望没有那么多通知并在触发交互元素之前允许某种程度的走神(例如，眼睛位置偏差)。因此，当满足更高标准时，可在触发阈值时定制特定体验。例如，用户可能必须查看特定交互元素比先前讨论的两秒的阈值更长(或更短)以切换该交互元素(例如，摇动或闪烁)和/或在切换之后查看比两秒的阈值更长(或更短)以实际选择该交互元素。例如，该用户可能想要在切换该交互元素之前的三秒处设置该阈值，但是在实际选择该交互元素之前仅想要额外的一秒(例如，在该交互元素被切换并且开始摇动之后)，并且因此系统执行用户界面元素被选择的动作。

在一些方面，方法700基于环境的传感器数据来确定体验的上下文。例如，确定上下文可涉及使用计算机视觉来生成对环境的视觉属性和/或听觉属性的场景理解—用户在哪里、用户正在做什么、什么对象在附近。另外，可生成对呈现给用户的内容的场景理解，该场景理解包括用户正在观看的内容的视觉和/或听觉属性。

在一些方面，分析所呈现的内容和环境的不同上下文以确定用户在哪里、用户正在做什么、环境中或内容内的什么对象或人在附近、用户早先做什么(例如，在早晨冥想)。另外，上下文分析可包括图像分析(语义分割)、音频分析(振动声音)、位置传感器(用户所在的位置)、运动传感器(快速移动的车辆)，以及甚至访问其他用户数据(例如，用户的日历)。在一个示例性具体实施中，方法700还可包括：通过基于环境的传感器数据来生成对环境的场景理解来确定体验的上下文，该场景理解包括环境的视觉属性或听觉属性；以及基于对环境的场景理解来确定体验的上下文。

在一些具体实施中，传感器数据包括图像数据，并且生成场景理解至少基于执行该图像数据的语义分割以及基于该语义分割来检测该环境内的一个或多个对象。在一些具体实施中，确定体验的上下文包括基于对环境的场景理解来确定用户的活动。在一些具体实施中，传感器数据包括用户的位置数据，并且确定体验的上下文包括基于该位置数据来确定用户在环境内的位置。

在一些具体实施中，确定体验的上下文包括基于用户的计划表来确定用户的活动。例如，当评估特定交互事件时，系统可访问用户的日历以确定特定事件是否正在发生。例如，不同的应用可包括要提供给该用户以经由他或她的瞳孔响应(眼睛凝视特性)进行选择的不同交互元素。

在一些具体实施中，可确定、聚合和使用一个或多个瞳孔或EEG特性来使用统计或机器学习技术对用户确定交互事件的意图进行分类。在一些具体实施中，基于将生理数据的可变性与阈值比较来对生理数据分类。

在一些具体实施中，方法700还包括基于该交互事件来调整对应于体验的内容(例如，针对该交互事件定制)。例如，可基于确定在所呈现的体验期间的交互事件和在其中呈现的体验或内容的变化来提供针对内容开发员的内容推荐。例如，当提供特定类型的内容时，用户可能很专注。在一些具体实施中，方法700还可包括基于内容与体验的相似性来识别内容，并且基于确定用户在体验期间具有交互事件(例如，走神)来向用户提供内容推荐。在一些具体实施中，方法700还可包括基于该交互事件来定制包括在体验中的内容(例如，将该内容分成更小的块)。

在一些具体实施中，估计器或统计学习方法用于更好地理解或预测生理数据(例如，瞳孔数据特性、头部移动等)。例如，可通过用替换数据对数据集进行采样(例如，自助法)来估计瞳孔数据的统计。

在一些具体实施中，可对技术进行多组用户生理数据的训练，然后单独地适应于每个用户。例如，内容创建者可基于用户生理数据来定制体验(例如，教学视频)，诸如用户可能要求背景音乐、不同的氛围照明来进行学习或要求或多或少的音频或视觉提示来继续维持关注状态。

在一些具体实施中，在评估将所呈现的内容或交互元素调节或调整多少以增强用户25对视觉特性30(例如，交互元素)的生理响应(例如，瞳孔响应)时，本文所述的技术可将对用户25的现实世界环境5(例如，视觉品质诸如亮度、对比度、语义背景)作出解释。

在一些具体实施中，本文描述的技术可利用训练或校准序列来适应特定用户25的特定生理特性，如本文结合图5描述的。在一些具体实施中，该技术向用户25呈现训练场景，在该场景中指示用户25与屏幕项目(例如，交互对象)进行交互。通过向用户25提供已知意图或感兴趣区域(例如，经由指令)，该技术可记录用户的生理数据(例如，瞳孔数据40)并识别与用户的生理数据相关联的模式。在一些具体实施中，该技术可改变与内容20相关联的视觉特性30(例如，反馈机制)，以便进一步适应用户25的独特生理特性。例如，该技术可指示用户在数到三时主观上选择屏幕中心的与所识别的区域相关联的按钮(例如，交互元素)，并记录用户的生理数据(例如，瞳孔数据40)以识别与用户的交互事件相关联的模式。此外，该技术可改变或变更与反馈机制相关联的视觉特性，以便识别与用户对变更的视觉特性的生理响应相关联的模式。在一些具体实施中，与用户25的生理响应相关联的图案被存储在与该用户相关联的用户配置文件中，并且可在将来的任何时间更新或重新校准该用户配置文件。例如，在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验(例如，在学习时用于最佳学习体验的个人教育体验)。

在一些具体实施中，应用机器学习模型(例如，经训练的神经网络)来识别生理数据中的模式，包括识别在特定体验(例如，教育、冥想、教学等)期间对内容(例如，图1的内容20)的呈现的生理响应。此外，该机器学习模型可用于将这些模式与对应于用户25与交互元素进行交互的兴趣或意图的指示的学习模式相匹配。在一些具体实施中，本文描述的技术可学习特定于特定用户25的模式。例如，该技术可从确定峰模式表示用户25响应于在内容内的特定视觉特性30的兴趣或意图的指示开始学习，并且使用该信息以随后识别类似的峰模式作为用户25的兴趣或意图的另一个指示。这种学习可考虑到用户与多个视觉特性30的相对交互，以便进一步调整视觉特性30并增强用户对体验和所呈现的内容的生理响应(例如，专注于内容的特定区域而不是其他分散注意力的区域)。

在一些具体实施中，本文描述的技术可在用户凝视方向上的位置处识别呈现在设备10的显示器15上的内容内的特定对象。此外，该技术可响应于从用户25接收的口头言语命令以及识别的交互事件来改变与特定对象或总体内容体验相关联的视觉特性30的状态。例如，在内容内的特定对象可以是与软件应用程序相关联的图标，并且用户25可凝视该图标，说出单词“选择”以选择该应用程序，并且可对该图标应用突出显示效果。然后，该技术可响应于视觉特性30(例如，交互元素)而使用另外的生理数据(例如，瞳孔数据40)来进一步将交互事件识别为对用户的言语命令的确认。在一些具体实施中，该技术可响应于用户凝视的方向而识别给定交互式项目，并且响应于生理数据(例如，凝视特性的可变性)而操纵该给定交互式项目。然后，该技术可基于用响应于与体验的交互(例如，在激烈的视频游戏内交互)的生理数据进一步识别用户的交互事件来确认用户凝视的方向。在一些具体实施中，该技术可基于识别的兴趣或意图来移除交互式项目或对象。在其他具体实施中，在确定了用户25的兴趣或意图时，技术可自动捕获内容的图像。

图8是示例性设备800的框图。设备800示出了设备10的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元802(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器806、一个或多个通信接口808(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如，I/O)接口810、一个或多个显示器812、一个或多个面向内部和/或面向外部的图像传感器系统814、存储器820以及用于互连这些部件和各种其他部件的一条或多条通信总线804。

在一些具体实施中，一条或多条通信总线804包括互连和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器806包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、渡越时间等)等。

在一些具体实施中，一个或多个显示器812被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中，一个或多个显示器812对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效果晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器812对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户的每只眼睛的显示器。

在一些具体实施中，该一个或多个图像传感器系统814被配置为获得对应于物理环境5的至少一部分的图像数据。例如，该一个或多个图像传感器系统814包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统814还包括发射光的照明源，诸如闪光灯。在各种具体实施中，该一个或多个图像传感器系统814还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

存储器820包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器820包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器820任选地包括与一个或多个处理单元802远程定位的一个或多个存储设备。存储器820包括非暂态计算机可读存储介质。

在一些具体实施中，存储器820或存储器820的非暂态计算机可读存储介质存储可选的操作系统830和一个或多个指令集840。操作系统830包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集840包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集840是能够由一个或多个处理单元802执行以实施本文所述技术中的一种或多种的软件。

指令集840包括内容指令集842、生理跟踪指令集844、上下文指令集846和交互事件指令集848。指令集840可体现为单个软件可执行文件或多个软件可执行文件。

在一些具体实施中，内容指令集842可由处理单元802执行以提供和/或跟踪用于在设备上显示的内容。内容指令集842可被配置为随时间而监测和跟踪内容(例如，在体验诸如教育会话期间)和/或识别出现在内容内的变化事件。在一些具体实施中，内容指令集842可被配置为使用本文讨论的技术中的一种或多种技术或可能适当的其他技术来将变化事件添加到内容(例如，反馈机制)中。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，生理跟踪指令集844可由处理单元802执行以使用本文所讨论的技术中的一种或多种技术或可能适当的其他技术来跟踪用户的生理属性(例如，EEG振幅/频率、瞳孔调制、眼睛凝视扫视、心率、EDA数据等)。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，上下文指令集846可由处理单元802执行以使用本文中所讨论的技术中的一种或多种技术(例如，对象检测、面部辨识等)或可能适当的其他技术来确定体验和/或环境的上下文(例如，创建场景理解以确定内容中或环境中的对象或人、用户在哪里、用户正在观看什么等)。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，交互事件指令集848可由处理单元802执行以基于生理数据(例如，瞳孔数据)使用本文所讨论的或以其他方式可为适当的技术中的一者或多者来评估用户与交互元素交互的意图(例如，交互事件确定)。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

尽管指令集840被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图8更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图9示出了根据一些具体实施的示例性头戴式设备900的框图。头戴式设备900包括容纳头戴式设备900的各种部件的外壳901(或壳体)。外壳901包括(或耦接到)设置在外壳901的(相对于用户25的)近侧端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备900保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。

外壳901容纳显示器910，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器910通过具有一个或多个透镜905的目镜发射光，该一个或多个透镜折射由显示器910发射的光，使显示器对用户25表现为处于比从眼睛到显示器910的实际距离更远的虚拟距离。为了用户25能够聚焦在显示器910上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，8cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳901还容纳跟踪系统，该跟踪系统包括一个或多个光源922、相机924和控制器980。一个或多个光源922将光发射到用户25的眼睛上，光反射为可由相机924检测的光图案(例如，闪光圈)。基于该光图案，控制器980可确定用户25的眼动跟踪特征。例如，控制器980可确定用户25的凝视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器980可确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源922发射，从用户25的眼睛反射，并且由相机924检测。在各种具体实施中，来自用户25的眼睛的光在到达相机924之前从热镜反射或通过目镜。

外壳901还容纳包括一个或多个音频源926的音频系统，控制器980可按照本文描述的技术利用该一个或多个音频源经由声波14向用户耳朵60提供音频。例如，音频源926可提供声音以用于背景声音和可在3D坐标系中空间上呈现的反馈机制两者。音频源926可包括扬声器、与外部扬声器系统(诸如头戴式耳机)的连接或经由无线连接而连接的外部扬声器。

显示器910发射第一波长范围内的光，并且一个或多个光源922发射第二波长范围内的光。类似地，相机924检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为410nm至700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm至1410nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地，确定的凝视方向)用于使用户能够进行交互(例如，用户25通过观看显示器910上的选项来选择它)，提供注视点渲染(例如，在用户25正在观看的显示器910的区域中呈现更高的分辨率并且在显示器910上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器910上提供的图像)。

在各种具体实施中，一个或多个光源922朝向用户25的眼睛发射光，该光以多个闪烁的形式反射。

在各种具体实施中，相机924是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔放大。

在各种具体实施中，相机924是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据以改善用户在与电子内容进行交互方面的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进电子设备的交互和控制能力。因此，使用此类个人信息数据使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方式。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分数据而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问他或她的存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (42)

1.一种方法，所述方法包括：

在包括处理器的设备处：

在交互元素的呈现期间获得与瞳孔相关联的生理数据，所述交互元素包括具有不同照明特性的多个区域；

基于所获得的生理数据，确定在所述交互元素的所述呈现期间的瞳孔响应；

基于所述多个区域的所述不同照明特性，确定所述瞳孔响应对应于与所述交互元素的所述多个区域中的一个区域的注意力相关联的注意力响应特性；以及

基于确定所述瞳孔响应对应于在所述交互元素的所述呈现期间将注意力引导至所述区域，确定在所述交互元素的所述呈现期间的交互事件。

2.根据权利要求1所述的方法，其中，所述交互元素的所述多个区域的所述不同照明特性包括一个或多个暗区域和一个或多个亮区域。

3.根据权利要求1或2所述的方法，其中，所述交互元素的每个区域包括亮度水平，并且所述多个区域的所述不同照明特性基于每个区域相对于照度阈值水平的所述亮度水平。

4.根据权利要求1至3中任一项所述的方法，其中，所述交互元素的所述呈现包括多个像素的像素信息，并且确定所述瞳孔响应对应于将注意力引导至所述交互元素的所述多个区域中的所述区域包括：

基于所述像素信息确定所述区域中的每个像素的估计感知亮度。

5.根据权利要求4所述的方法，其中，确定交互事件包括：

确定所述交互元素的所述多个区域的场景引起的瞳孔响应变化特性；以及

基于所述交互元素的所述多个区域的所述场景引起的瞳孔响应变化特性确定在所述交互元素的所述呈现期间的所述交互事件。

6.根据权利要求1至5中任一项所述的方法，其中，基于所述瞳孔响应和所述多个区域的所述不同照明特性，使用机器学习技术对所述交互事件进行分类。

7.根据权利要求1至6中任一项所述的方法，所述方法还包括：

响应于确定所述交互事件来调整内容。

8.根据权利要求1至7中任一项所述的方法，其中，所述瞳孔响应为：

所述瞳孔响应的方向；

所述瞳孔响应的速度；或

瞳孔固定。

9.根据权利要求1至8中任一项所述的方法，其中，所述瞳孔响应得自扫视特性。

10.根据权利要求1至8中任一项所述的方法，其中，所述生理数据包括眼睛的图像或眼电图(EOG)数据。

11.根据权利要求1至10中任一项所述的方法，其中，所述生理数据包括头部移动。

12.根据权利要求1至11中任一项所述的方法，其中，在所述交互元素的所述呈现期间确定所述瞳孔响应基于确定所述瞳孔响应对阈值的可变性。

13.根据权利要求1至12中任一项所述的方法，其中，所述设备是头戴式设备(HMD)。

14.根据权利要求1至13中任一项所述的方法，其中，所述交互元素的所述呈现为扩展现实(XR)体验。

15.一种设备，所述设备包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质包括程序指令，所述程序指令当在所述一个或多个处理器上执行时，使所述一个或多个处理器执行包括以下各项的操作：

在交互元素的呈现期间获得与瞳孔相关联的生理数据，所述交互元素包括具有不同照明特性的多个区域；

基于所获得的生理数据，确定在所述交互元素的所述呈现期间的瞳孔响应；

基于所述多个区域的所述不同照明特性，确定所述瞳孔响应对应于与所述交互元素的所述多个区域中的一个区域的注意力相关联的注意力响应特性；以及

基于确定所述瞳孔响应对应于在所述交互元素的所述呈现期间将注意力引导至所述区域，确定在所述交互元素的所述呈现期间的交互事件。

16.根据权利要求15所述的设备，其中，所述交互元素的所述多个区域的所述不同照明特性包括一个或多个暗区域和一个或多个亮区域。

17.根据权利要求15或16所述的设备，其中，所述交互元素的每个区域包括亮度水平，并且所述多个区域的所述不同照明特性基于每个区域相对于照度阈值水平的所述亮度水平。

18.根据权利要求15至17中任一项所述的设备，其中，所述交互元素的所述呈现包括多个像素的像素信息，并且确定所述瞳孔响应对应于将注意力引导至所述交互元素的所述多个区域中的所述区域包括：

基于所述像素信息确定所述区域中的每个像素的估计感知亮度。

19.根据权利要求18所述的设备，其中，确定交互事件包括：

确定所述交互元素的所述多个区域的场景引起的瞳孔响应变化特性；以及

基于所述交互元素的所述多个区域的所述场景引起的瞳孔响应变化特性确定在所述交互元素的所述呈现期间的所述交互事件。

20.根据权利要求15至19中任一项所述的设备，其中，基于所述瞳孔响应和所述多个区域的所述不同照明特性，使用机器学习技术对所述交互事件进行分类。

21.根据权利要求15至20中任一项所述的设备，其中，所述程序指令当在所述一个或多个处理器上执行时，还使所述一个或多个处理器执行包括以下各项的操作：

响应于确定所述交互事件来调整内容。

22.根据权利要求15至21中任一项所述的设备，其中，所述瞳孔响应为：

所述瞳孔响应的方向；

所述瞳孔响应的速度；或

瞳孔固定。

23.根据权利要求15至22中任一项所述的设备，其中，所述瞳孔响应得自扫视特性。

24.根据权利要求15至22中任一项所述的设备，其中，所述生理数据包括眼睛的图像或眼电图(EOG)数据。

25.根据权利要求15至24中任一项所述的设备，其中，所述生理数据包括头部移动。

26.根据权利要求15至25中任一项所述的设备，其中，在所述交互元素的所述呈现期间确定所述瞳孔响应基于确定所述瞳孔响应对阈值的可变性。

27.根据权利要求15至26中任一项所述的设备，其中，所述设备是头戴式设备(HMD)。

28.根据权利要求15至27中任一项所述的设备，其中，所述交互元素的所述呈现为扩展现实(XR)体验。

29.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够由设备上的一个或多个处理器执行以执行包括以下各项的操作：

在交互元素的呈现期间获得与瞳孔相关联的生理数据，所述交互元素包括具有不同照明特性的多个区域；

基于所获得的生理数据，确定在所述交互元素的所述呈现期间的瞳孔响应；

基于所述多个区域的所述不同照明特性，确定所述瞳孔响应对应于与所述交互元素的所述多个区域中的一个区域的注意力相关联的注意力响应特性；以及

基于确定所述瞳孔响应对应于在所述交互元素的所述呈现期间将注意力引导至所述区域，确定在所述交互元素的所述呈现期间的交互事件。

30.根据权利要求29所述的非暂态计算机可读存储介质，其中，所述交互元素的所述多个区域的所述不同照明特性包括一个或多个暗区域和一个或多个亮区域。

31.根据权利要求29或30所述的非暂态计算机可读存储介质，其中，所述交互元素的每个区域包括亮度水平，并且所述多个区域的所述不同照明特性基于每个区域相对于照度阈值水平的所述亮度水平。

32.根据权利要求29至31中任一项所述的非暂态计算机可读存储介质，其中，所述交互元素的所述呈现包括多个像素的像素信息，并且确定所述瞳孔响应对应于将注意力引导至所述交互元素的所述多个区域中的所述区域包括：

基于所述像素信息确定所述区域中的每个像素的估计感知亮度。

33.根据权利要求32所述的非暂态计算机可读存储介质，其中，确定交互事件包括：

确定所述交互元素的所述多个区域的场景引起的瞳孔响应变化特性；以及

基于所述交互元素的所述多个区域的所述场景引起的瞳孔响应变化特性确定在所述交互元素的所述呈现期间的所述交互事件。

34.根据权利要求29至33中任一项所述的非暂态计算机可读存储介质，其中，基于所述瞳孔响应和所述多个区域的所述不同照明特性，使用机器学习技术对所述交互事件进行分类。

35.根据权利要求29至34中任一项所述的非暂态计算机可读存储介质，其中，所述程序指令当在所述一个或多个处理器上执行时，还使所述一个或多个处理器执行包括以下各项的操作：

响应于确定所述交互事件来调整内容。

36.根据权利要求29至35中任一项所述的非暂态计算机可读存储介质，其中，所述瞳孔响应为：

所述瞳孔响应的方向；

所述瞳孔响应的速度；或

瞳孔固定。

37.根据权利要求29至36中任一项所述的非暂态计算机可读存储介质，其中，所述瞳孔响应得自扫视特性。

38.根据权利要求29至36中任一项所述的非暂态计算机可读存储介质，其中，所述生理数据包括眼睛的图像或眼电图(EOG)数据。

39.根据权利要求29至38中任一项所述的非暂态计算机可读存储介质，其中，所述生理数据包括头部移动。

40.根据权利要求29至39中任一项所述的非暂态计算机可读存储介质，其中，在所述交互元素的所述呈现期间确定所述瞳孔响应基于确定所述瞳孔响应对阈值的可变性。

41.根据权利要求29至40中任一项所述的非暂态计算机可读存储介质，其中，所述设备是头戴式设备(HMD)。

42.根据权利要求29至41中任一项所述的非暂态计算机可读存储介质，其中，所述交互元素的所述呈现为扩展现实(XR)体验。