CN110968189A - 作为认知控制信号的瞳孔调制 - Google Patents

Abstract

本公开涉及作为认知控制信号的瞳孔调制。提供了一个示例性具体实施，该示例性具体实施通过使用生理数据来基于识别的用户的兴趣或意图为用户体验发起用户交互，从而在设备上提供改进的用户体验。例如，传感器可在用户体验期间获得用户的生理数据(例如，瞳孔直径)，其中内容显示在显示器上。该生理数据在该用户体验期间随时间变化并检测图案。所检测的图案用于识别用户对内容的兴趣或用户关于内容的意图。然后基于所识别的兴趣或所识别的意图来发起该用户交互。

Description

作为认知控制信号的瞳孔调制

相关申请的交叉引用

本申请要求2018年9月28日提交的美国临时申请序列No.62/738,031的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及在电子设备上提供用户体验，尤其涉及用于使用生理数据来改善用户体验的系统、方法和设备。

背景技术

电子设备在查看电子内容和与电子内容进行交互方面具有不同的能力。多种输入机制已被结合到多种用户设备中以提供功能性和用户交互(例如，键盘、鼠标、触摸屏、按钮、用于语音命令的麦克风、光学传感器等)。例如，触摸屏已被结合到移动电话(例如，智能电话)、平板计算机、可穿戴设备(例如，手表、眼镜、头戴式设备等)和其他计算设备中，从而允许软件开发者针对娱乐、生产率、健康等来创建参与软件应用程序(“apps”)。在一些情况下，触摸屏结合多种其他输入机制工作以与设备(例如，触摸屏、按钮、用于语音命令的麦克风等)进行交互。

然而，由于设备尺寸限制、显示器尺寸约束、操作约束等，许多设备可能具有有限的设备交互和控制能力，例如，小型或薄的用户设备可能具有有限数量的用于接收用户输入的物理按钮。类似地，小型用户设备可能具有用于提供视觉按钮或其他视觉用户接口元件的空间受限的触摸屏。此外，一些设备可能具有按钮或其他交互元件，在某些状况或某些操作条件下，它们使用起来不自然、麻烦或者令人不适。例如，使用双手与设备进行交互(例如，一只手拿着设备同时另一只手使用接口元件)可能是麻烦的。又如，在用户的手以其他方式被占用或不能使用时(例如，在戴手套、拿东西、牵着孩子的手、开车等时)，可能难以按下小按钮或使用触摸屏功能。在其他示例中，设备交互可能以多种其他方式受到限制。

发明内容

本文所公开的各种具体实施包括在用户体验期间获得用户的生理数据(例如，瞳孔扩张、脑电图等)的设备、系统和方法，其中内容显示在具有一个或多个生理传感器的显示器上。生理数据在用户体验期间随时间变化并且检测图案。此外，在一些具体实施中，生理数据包括非自愿用户响应。根据用户隐私或选择输入/输出设置，检测的图案可用于通过识别用户对内容的兴趣或用户关于内容的意图来协助或帮助用户。识别意图可包括例如识别在特定时刻或将来在内容中执行移动、做出决定或选择目标的意图。因此，可基于识别的兴趣或识别的意图来发起用户交互。在一些具体实施中，检测的图案对于用户是唯一的，并且存储在与用户相关联的用户配置文件中。例如，用户配置文件可用于提供个性化用户体验，该个性化用户体验基于用户的唯一检测图案来识别用户的兴趣或意图。

在一些具体实施中，生理数据是瞳孔扩张数据并且表示时变瞳孔直径。因此，检测的图案可以是瞳孔扩张图案。在一些具体实施中，在检测瞳孔扩张图案时解释外源信号。例如，外源信号可由环境光变化、色变、眼睛的调节、内容照明变化、周期性瞳孔扩张、环境噪声的变化或设备的移动变化引起。在一些具体实施中，训练机器学习技术以识别生理数据对应于用户兴趣或用户意图的图案。

在一些具体实施中，获得附加数据并且基于该数据来识别兴趣或意图。该数据可包括例如在用户体验期间由图像传感器检测到的身体部位的手势，在用户体验期间由声音传感器检测到的语音的语音命令，在用户体验期间由眼睛传感器检测到的固定注视，在用户体验期间由眼睛传感器检测到的注视图案的序列，定向响应(例如，头部移动)，在用户体验期间由移动传感器检测到的移动，在用户体验期间由图像传感器检测到的面部表情或者包含在内容中的属性。在一些具体实施中，该方法包括基于在用户体验期间先前识别的兴趣或先前识别的意图来识别相关兴趣或意图。在一些具体实施中，该方法包括基于在用户体验期间先前识别的兴趣或先前识别的意图来确定对识别的兴趣或识别的意图的置信度。在一些具体实施中，接收关于自愿用户移动(例如，手臂移动)的数据并且将自愿用户移动解释为基于在生理数据中捕获的用户的非自愿特征来与内容交互的意图。例如，用户可使用自然手臂手势，并且在用户瞳孔的非自愿变化显示该意图时，仅将手势识别为有意命令。此外，识别兴趣可包括在特定时刻或将来识别内容中的特定对象中的兴趣。

在一些具体实施中，渐进式界面有助于由在生理数据中捕获的用户的非自愿特征所支持的交互的可用性。例如，对用户的系统反馈可明确地调用低置信度多模态信号以开始与用户的一些初始反馈的低承诺交互(例如，突出显示或选择对象、或显示一个或多个菜单项)。来自用户的响应于低承诺交互的进一步输入可渐进地导致更高承诺动作(例如，作用于或删除项目)。

在一些具体实施中，发起用户交互包括提供与内容中的对象相关联的附加内容，例如，对应于识别的兴趣或识别的意图的附加内容。在一些具体实施中，发起用户交互包括基于识别的兴趣或识别的意图来移除内容中的对象。在一些具体实施中，发起用户交互包括在基于识别的兴趣或识别的意图确定的用户体验期间间或自动捕获内容的图像。

在一些具体实施中，检测图像包括使用第一传感器跟踪与生理数据相关联的生理属性并且基于该跟踪来激活第二传感器以获得生理数据。在一些具体实施中，设备(例如，头戴式设、手持设备、膝上型计算机或台式计算机)利用板载传感器来获得生理数据，并且在其他具体实施中，该设备包括多个物理上独立的设备和传感器的组合。

在一些具体实施中，接收来自用户的知情同意以获得生理数据和/或附加数据。此外，用户可同意选择输入/输出特征益处或选择基于生理数据可自动调用的某些动作或动作类型。在一些具体实施中，表示同意的提示包括呈现在设备的显示部分上的图形提示。例如，图形用户界面可包括许可请求和允许用户输入同意的输入部分。在一些具体实施中，表示同意的提示包括所生成的音频提示。例如，音频提示可包括解释许可请求的音频段，并且可在用户发出指示同意的语音响应时接收同意。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器、图像传感器以及用于执行或导致执行本文所述方法中的任一种的装置。

附图说明

因此，本公开能够被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的显示内容并获得来自用户的生理数据的设备。

图2示出了图1的用户的瞳孔，其中瞳孔的直径随时间变化。

图3A是示出根据一些具体实施的生理数据图案的检测的图表。

图3B是示出根据一些具体实施的生理数据和外源信号的图表。

图4是示出根据一些具体实施的示例性设备的设备部件的框图。

图5是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图6是用于基于识别的用户的兴趣或识别的用户的意图来发起用户交互的方法的流程图表示，其中基于在用户体验期间使用传感器获得的用户的生理数据来识别兴趣或意图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例性具体实施的透彻理解。然而，附图仅示出了本公开的一些示例性方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了显示内容15并且从用户25获得生理数据45的设备10。尽管本文讨论的该示例和其他示例示出了现实世界环境5中的单个设备10，但是本文公开的技术适用于多个设备以及其他现实世界环境。例如，设备10的功能可由多个设备执行。此外，本文讨论的该示例和其他示例在假设用户25已经提供知情同意以受益于本文公开的技术的情况下操作。例如，用户25可同意跟踪或使用生理数据45，选择输入/输出特征益处，或选择可由设备10基于生理数据45自动调用的某些动作或动作类型。

在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10是可穿戴头戴式显示器(“HMD”)。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，HMD的眼睛跟踪系统可包括一个或多个红外(“IR”)发光二极管(“LED”)、眼睛跟踪相机(例如，近红外(“NIR”)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，HMD的照明源可发射NIR光以照明用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张。例如，从眼睛跟踪图像估计的注视点可使得能够与HMD的近眼显示器上示出的内容进行基于注视的交互。

在一些具体实施中，设备10具有图形用户界面(“GUI”)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10呈现在用户体验期间在设备10的显示器上显示内容15的体验。传感器20在用户体验期间检测用户25的生理数据45。在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。检测的生理数据可包括但不限于：脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能性近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据45，以便受益于生理数据45的同步获取。此外，在一些具体实施中，生理数据45表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，用户25的一只或两只眼睛30(包括用户25的一个或两个瞳孔35)以瞳孔响应的形式呈现生理数据45。用户25的瞳孔响应通过视神经和动眼神经颅神经导致瞳孔35的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄；或扩张反应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据45的图案。

图2示出了图1的用户25的瞳孔35，其中瞳孔35的直径随时间变化。如图2所示，过去生理状态55可与当前生理状态50不同。例如，当前生理状态可包括当前瞳孔直径并且过去生理状态可包括过去瞳孔直径。

生理数据45可随时间变化并且设备10可使用生理数据45来检测图案。在一些具体实施中，图案是生理数据45从一次到另一次的变化，并且在一些其他具体实施中，图案是一段时间内生理数据的一系列变化。基于检测图案，设备10可通过识别用户25的兴趣或意图40来帮助用户25，并且可基于识别的兴趣或意图40来发起用户交互。

图3A是示出生理数据45的图案的检测的图表300。图表300示出了生理数据45的时变图案305，例如瞳孔扩张(y轴)随时间(x轴)推移的量。图案305包括可被设备10解释为用户25的兴趣或意图40的指示的峰值图案310。在一些具体实施中，设备10利用经训练的模型以确定峰值图案310指示用户20正在峰值图案310的时间期间非自愿地信令兴趣或意图40，例如，基于用户在该时间段内正在观看或以其他方式体验到的东西。在一些具体实施中，应用机器学习模型(例如，训练神经网络)来识别生理数据45中的图案。此外，机器学习模型可用于将该图案与对应于兴趣或意图40的指示的学习图案相匹配。设备10可学习特定于特定用户25的图案。例如，设备10可从确定峰值图案310表示用户25的兴趣或意图的指示开始学习，并且使用该信息来调整模型以随后识别类似的峰值图案320作为用户25的兴趣或意图的另一指示。此类学习可考虑用户的交互，该交互可确认对兴趣或意图的预测，例如，如果模型预测单击按钮的意图并且用户单击按钮，则可相应地更新模型。又如，可基于用户想象按压按钮(即，不以物理方式按压按钮)来训练或调整模型。

图3B是示出生理数据45(例如，基于所测量的瞳孔扩张)和外源信号360(例如，设备10处的环境光的测量)的图表350。外源信号360对应于可能影响生理数据的任何因素的量度。例如，设备10处的环境光的量可导致对用户眼睛的扩张量的变化，例如，环境光的减小可导致眼睛的更多扩张等。

在一些具体实施中，基于外源信号360来调节或以其他方式解释生理数据45。例如，对应于用户眼睛的扩张的峰图案310可被初步地解释为意图或兴趣的指示。由于外源数据360在峰值310的时间段期间是水平的(例如，指示恒定的环境光水平)，因此接受应将扩张解释为意图或兴趣的指示的确定。

相比之下，对应于用户眼睛的扩张的峰图案390可类似地被初步解释为意图或兴趣的指示，但该确定可被拒绝。在该示例中，外源信号360指示在与峰值图案390相同的时间段内的增加370和之后的减少380。因此，外源信号可对应于导致峰值图案390的外源因素(而不是用户25的兴趣或意图)。因此，设备10可拒绝将峰图案390的初步解释作为意图或兴趣的指示。在一些具体实施中，使用模型来解释外源信号，例如，训练模型以解释在与外源信号中的图案相同的时间段期间发生的生理数据45中的图案。

在一些具体实施中，对应于瞳孔扩张数据中的瞳孔直径变化的外源信号由环境光变化、色变、眼睛的调节、内容照明变化、周期性瞳孔扩张、环境噪声的变化或设备的移动变化引起。例如，环境光的増加可对应于瞳孔直径的减小。同样，内容照明的色变或变化可对应于瞳孔直径的増大或减小。此外，外源信号也可与毒品或药物的使用相关。例如，麻醉制剂或阿片类药物可与瞳孔的缩小相关联，并且可卡因或苯丙胺可与瞳孔的扩大相关联。在一些具体实施中，基于瞳孔响应，设备10检测对应于一个或多个外源因素的图案，例如，基于使用机器学习模型来学习此类图案。设备10可将对应于兴趣或意图的生理数据45的图案与对应于外源因素的生理数据45的图案区分开，例如，基于使用机器学习模型来学习这种区别。

在一些具体实施中，设备10检测用户25的眼睛30的位置和用户25的瞳孔35的位置，例如，通过处理和分析包括从一只或两只眼睛反射的光(通常是红外和/或由红-绿-蓝-加色模型产生的颜色)的图像，以便定位和测量瞳孔的直径。反射光可源自设备10的光投射源，或任何其他天然(例如，太阳光)或人造(例如，灯)光源。使用诸如检测瞳孔中心角膜反射(PCCR)的技术，设备10可处理和分析包括从眼睛30的元件(包括瞳孔35)反射的光的图像，以便确定瞳孔35的直径。另外，设备10可处理从用户25的眼睛30反射的光(例如，来自设备上或其他地方的照明源)作为闪烁。

在一些具体实施中，用户25的头部27的位置和特征(例如，眼睛、鼻部或鼻孔的边缘)由设备10提取并且用于查找用户25的眼睛30的粗略位置坐标，从而简化精确眼睛30特征(例如，位置、注视方向等)的确定，并且使得瞳孔直径50测量更可靠和稳健。此外，设备10可容易地将头部27的3D部件的位置与通过眼睛部件图像分析获得的注视角度信息组合，以便识别用户25在任何给定时间观看到的给定屏幕对象。在一些具体实施中，使用3D标测结合注视跟踪允许用户25自由地移动其头部27和眼睛30，同时减少或消除使用头部27上的传感器或发射器主动跟踪头部27的需要。

通过跟踪眼睛30，一些具体实施减少了在用户25移动其头部27之后重新校准用户25的需要。在一些具体实施中，设备10使用深度信息来跟踪瞳孔35的移动，从而使得能够基于用户25的单次校准来计算可靠的瞳孔直径50。利用诸如瞳孔中心角膜反射(PCCR)、瞳孔跟踪和瞳孔形状的技术，设备10可从头部27的定点计算瞳孔直径50以及眼睛30的注视角度，并且使用头部27的位置信息以重新计算注视角度。除了减少的重新校准之外，跟踪头部27的进一步有益效果可包括减少光投射源的数量并减少用于跟踪眼睛30的相机的数量。

一些具体实施为设备10提供用于导航通过用户界面的更快、更有效的方法和界面。此类方法和界面可补充或替换用于导航用户界面的常规方法。此类方法和界面可减少对用户25所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面可节省功率，并且增大电池充电之间的时间间隔。此外，一些具体实施基于检测与生理数据45相关联的图案来増强用户界面的导航。

根据一些具体实施，在设备10的屏幕上显示具有一个或多个可选对象的用户界面，并且用户25的兴趣或意图40与可选对象中的一个相关联。此外，在一些具体实施中，用户25的兴趣或意图40与选择可选对象中的一个相关联。在一些具体实施中，设备10接收对应于第一手势的输入并使用识别的用户25的兴趣或意图40来确认该输入。在一些具体实施中，设备10将第一手势作为自愿数据(即，用户25具有控制的行为)接收。例如，可基于用户的语音输入、手势、触摸输入、按键等来接收自愿数据。在一些具体实施中，用户25的兴趣或意图40与用户10和设备25通信的多种类型的输入(即，多模态)相关联。例如，不止一个低承诺自愿交互可组合地与用户25的兴趣或意图40相关联。

在一些具体实施中，响应于接收对应于识别的兴趣或意图40的输入，设备10搜索目标可选对象并移动或以其他方式改变对象选择指示符。在识别到目标可选对象时，设备10可将对象选择指示符朝目标可选对象移动。在未识别到目标可选对象时，移动对象选择指示符可包括根据识别的用户兴趣或意图40移动对象选择指示符。

在一些具体实施中，设备10基于识别的用户兴趣或意图40来搜索目标可选对象。在一些具体实施中，设备10通过基于第一识别的用户兴趣或意图40计算对象选择指示符的轨线来根据用户兴趣或意图40移动对象选择指示符，然后基于第二识别的兴趣或意图40终止对象选择指示符的轨线。此外，在基于识别的用户兴趣或意图40来计算对象选择指示符的轨线时，设备10可搜索符合预定义候选标准的一个或多个候选可选对象，并且当发现一个或多个候选可选对象时，设备10可将相应的候选可选对象识别为目标可选对象。例如，候选可选对象可基于候选可选对象与轨线的终止点的接近度(例如，可选对象最靠近或在轨线的终点的预定义距离内)而被识别为目标可选对象。

在一些具体实施中，在未找到候选可选对象时，设备10根据识别的用户兴趣或意图40将对象选择指示符移动到轨线的终止点。在一些具体实施中，基于对象选择指示符的模拟物理特性来计算轨线。在一些具体实施中，对象选择指示符对用户25不可见。

为计算设备提供了更快、更高效的方法和界面以用于导航用户界面，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于导航用户界面的常规方法。

在一些具体实施中，设备10使用检测的生理数据图案来控制设备10的功能。在一些具体实施中，设备10在用户25的兴趣点40处(例如，在用户注视方向的位置处)识别呈现在设备10的显示器上的给定交互式项目，并且基于识别的用户25的兴趣或意图40来响应性地改变给定交互式项目的状态。

在一些具体实施中，改变给定交互式项目的状态包括执行与给定交互式项目相关联的操作。例如，交互式项目可包括菜单选项，用户25可选择该菜单选项以在显示器15上呈现特定内容(例如，电影或电视节目)。在一些具体实施中，设备10通过将从用户25接收到的输入导向给给定交互式项目来改变给定交互式项目的状态。在一些具体实施中，设备10基于其他数据来识别给定的交互式项目并且基于识别的用户兴趣或意图40与交互式项目进行交互。例如，如果用户25正在注视可选按钮，则设备10可基于用户的注视来识别可选按钮，然后基于识别的用户兴趣或意图40来选择可选按钮。

在一些具体实施中，设备10在用户注视方向上的位置处识别呈现在设备10的显示器上的给定交互式项目。此外，设备10可响应于从用户25接收的口头言语命令以及识别的用户25的兴趣或意图40来改变给定交互式项目的状态。例如，给定交互式项目可包括与软件应用程序相关联的图标，并且用户25可在该图标处注视并说出词语“开始”以执行该应用程序。然后，设备10可使用识别的用户25的兴趣或意图40作为对用户的言语命令的确认。在一些具体实施中，设备10被配置为响应于用户注视的方向来识别给定交互式项目，并且响应于由肢体或身身体部位(例如，手指或手)执行的手势来操纵给定交互式项目。然后，设备10可基于识别用户兴趣或意图40来确认手势。在一些具体实施中，设备10基于识别的兴趣或意图40来移除交互式项目或对象。在其他具体实施中，在确定用户25的兴趣或意图40时，设备10自动捕获内容的图像。

在一些具体实施中，设备10被配置为提供渐进式界面。渐进式界面可帮助来自用户25的自愿输入与生理数据45(例如，用户25的一个或多个非自愿特征)组合或由生理数据支持的可用性。例如，设备10可向用户25提供关于识别的用户25的兴趣或意图40的渐进式反馈。在一些具体实施中，设备10响应于检测生理数据的图案或响应于接收自愿用户输入而开始与用户25进行低承诺交互。例如，响应于用户兴趣或意图40的一个或多个较低置信度检测，设备10可与用户25执行低承诺交互(例如，突出显示或选择对象、或显示一个或多个菜单项)。在一些具体实施中，低承诺交互可指示用户25渐进地执行更高承诺动作以确认用户兴趣或意图40。例如，设备10可响应于来自用户25的进一步输入来执行或删除项目。

作为节电特征，设备10可检测用户25何时不观看显示器并且设备10可激活省电技术，例如，在用户25离开超过某个阈值时间段时禁用生理传感器。此外，在一些具体实施中，在用户25不观看显示器时，设备10完全暗化或暗化显示器(即，降低亮度)。在用户25再次观看显示器时，设备10可停用节电技术。在一些具体实施中，设备10使用第一传感器跟踪生理属性，然后基于该跟踪来激活第二传感器来以获得生理数据45。例如，设备10可使用相机来识别用户25正在朝着设备10的方向观看，然后在确定用户25正朝设备10的方向观看时激活眼睛传感器。

在一些具体实施中，确定用户意图和输入设备10的组合用于创建交互式用户界面，该交互式用户界面利用输入设备10来识别屏幕上的交互式项目并且确定用户在与屏幕上交互式项目进行交互时的兴趣或意图40。例如，用户25可使用鼠标基于用户所确定的兴趣或意图40来选择屏幕上的交互式项目，例如，由确定用户的兴趣或意图40而不是鼠标点击触发的“鼠标点击”类型事件。在一些具体实施中，确定用户意图和注视跟踪的组合用于创建交互式用户界面，该交互式用户界面可检测用户25正在观看(例如，注视跟踪)哪个屏幕交互式项目并且确定用户与屏幕上交互式项目进行交互时的兴趣或意图40，从而避免对鼠标和/或键盘的需要。

此外，确定用户兴趣或意图40与其他模式(诸如注视跟踪、面部手势检测、3D标测/手势检测和/或语音检测)的组合使得用户25能够在不使用鼠标或触摸屏的情况下完全控制屏幕对象。这样，用户25可执行全范围的指向和选择功能，包括搜索大量的信息项目和选择。组合的界面模式还可用于在某个交互式项目的上下文中搜索和执行控制功能，诸如在打开的文件内执行查找、剪切、复制和粘贴功能。在一些具体实施中，设备10识别第一兴趣或第一兴趣组，然后基于先前识别的兴趣渐进地识别第二兴趣或第二兴趣组。

当选择给定交互式项目时，设备10可向用户25传送指示选择(即，在执行诸如呈现选择交互式内容的动作之前)的视觉反馈或音频反馈。视觉反馈的示例包括改变所选择的项目的尺寸和/或外观，或通过用边框围绕所选择的项目来突出显示所选择的项目。音频反馈的示例包括非言语类型的音频反馈(例如，点击声、蜂鸣声、风声或其他各种类型的非言语声音效果)以及具有不同程度的口头(例如，输出确认选择的一个或多个口头词)的音频反馈。在一些具体实施中，传送视觉或音频反馈通过基于用户的兴趣或意图40向用户25信令正在采取或将采取动作来増强用户25的体验。

在一些具体实施中，设备10利用训练或校准序列来适应特定用户25的特定生理特性。在一些具体实施中，设备10向用户25呈现训练场景，在该场景中指示用户25与屏幕项目进行交互。通过向用户25提供已知意图或感兴趣区域(例如，经由指令)，设备10可记录用户的生理数据45并识别与用户的意图或兴趣40相关联的图案。例如，设备10可指示用户在数到三时主观上选择屏幕中心的按钮，并记录用户的生理数据45以识别与用户的意图或兴趣40相关联的图案。在一些具体实施中，与用户的意图或兴趣40相关联的图案被存储在与用户相关联的用户配置文件中，并且可在将来的任何时间更新或重新校准用户配置文件。例如，在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验。

图4是根据一些具体实施的设备10的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元402(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器406、一个或多个通信接口408(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口410、一个或多个显示器412、一个或多个面向内部和/或面向外部的图像传感器414、存储器420以及用于互连这些部件和各种其他部件的一条或多条通信总线404。

在一些具体实施中，一条或多条通信总线404包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器406包括以下项中的至少一个：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器412被配置为向用户25呈现用户体验。在一些具体实施中，一个或多个显示器412对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)、视网膜投影系统和/或类似显示器类型。在一些具体实施中，一个或多个显示器412对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户25每只眼睛的显示器，例如，HMD。在一些具体实施中，一个或多个显示器412能够呈现MR内容，包括VR或AR内容。

在一些具体实施中，一个或多个图像传感器系统414被配置为获得与包括用户25眼睛的用户25面部的至少一部分对应的图像数据。例如，一个或多个图像传感器系统414包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统414还包括在用户25面部的一部分上发射光的照明源，诸如闪光灯或闪光源。

存储器420包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器420包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器420包括非暂态计算机可读存储介质。在一些具体实施中，存储器420或者存储器420的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者他们的子集，其中包括任选的操作系统430和用户体验模块440。

操作系统430包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。在一些具体实施中，用户体验模块440被配置为呈现用户体验，该用户体验利用生理数据45经由一个或多个输入/输出(I/O)设备和传感器406经由对用户25进行情景感知动态失真校正来识别用户25的兴趣或意图40。为此，在各种具体实施中，用户体验模块440包括生理特性跟踪单元442、兴趣或意图单元444和呈现单元446。

在一些具体实施中，生理特性跟踪单元442被配置为获得生理数据(例如，瞳孔扩张、脑电图等)并使用所获得的生理数据来识别生理数据的图案。出于该目的，在各种具体实施中，生理特性跟踪单元442包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，兴趣或意图单元444被配置为使用识别的生理数据图案来识别设备的用户的兴趣或意图。出于该目的，在各种具体实施中，兴趣或意向单元444包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，呈现单元446被配置为基于识别的兴趣或意图经由一个或多个显示器412呈现内容。出于该目的，在各种具体实施中，呈现单元446包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管生理特性跟踪单元442、兴趣或意图单元444以及呈现单元448被示出为驻留在单个设备(例如，设备10)上，但是应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。

此外，图4更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图5示出了根据一些具体实施的示例性头戴式设备500的框图。头戴式设备500包括容纳头戴式设备500的各种部件的外壳501(或封装件)。外壳501包括(或耦合到)设置在外壳501的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备500保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。

外壳501容纳显示器510，该显示器显示图像，朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器510通过具有一个或多个透镜505的目镜发射光，该透镜折射由显示器510发射的光，使显示器对用户25显示为比从眼睛到显示器510的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器510上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳501还容纳跟踪系统，该跟踪系统包括一个或多个光源522、相机524和控制器580。一个或多个光源522将光发射到用户25的眼睛上，其反射为可由相机524检测的光图案(例如，闪光圈)。基于光图案，控制器580可确定用户25的眼睛跟踪特性。例如，控制器580可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器580可确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源522发射，从用户25的眼睛反射，并且由相机524检测。在各种具体实施中，来自用户25的眼睛的光在到达相机524之前从热镜反射或通过目镜。

显示器510发射第一波长范围内的光，并且一个或多个光源522发射第二波长范围内的光。类似地，相机524检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内的波长范围约为400nm-700nm)，并且第二波长范围是近红外波长范围(例如，近红外光谱内的波长范围约为700nm-1400nm)。

在各种具体实施中，眼睛跟踪(或者具体地，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看他来选择显示器510上的选项)，提供有孔的渲染(例如，在用户25正在观看的显示器510的区域中呈现更高的分辨率并且在显示器510上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器510上提供的图像)。

在各种具体实施中，一个或多个光源522朝向用户25的眼睛发射光，该光以多个闪烁的形式反射。

在各种具体实施中，相机524是基于帧/快门的相机，其在特定时间点或以帧速率的多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机524是在多个相应位置处包括多个光传感器(例如，光传感器矩阵)的事件相机，该多个光传感器响应于特定光传感器检测到光强度变化生成指示特定光传感器的特定位置的事件消息。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

图6是根据一些具体实施用于基于识别的用户的兴趣或识别的用户的意图来发起用户交互的方法600的流程图表示，其中基于在用户体验期间使用传感器获得的用户的生理数据来识别兴趣或意图。在一些具体实施中，方法600由一个或多个设备执行。方法600可在移动设备、HMD、台式计算机、膝上型电脑或服务器设备上执行。方法600可在具有用于显示3D图像的屏幕和/或用于观看立体图像的屏幕的设备上执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框图610处，方法600在用户体验期间在用户的设备处获得生理数据，其中设备的显示器上显示内容。在一些具体实施中，生理数据包括脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能性近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应或其任何组合。例如，生理数据可以是瞳孔响应，其中在一段时间内测量瞳孔的直径。

在一些具体实施中，方法600通过向用户呈现指示用户兴趣或意图的内容和指令来执行训练功能。方法600可记录与内容的呈现相关联的生理数据，以便识别与指示的意图或兴趣时刻的定时相关联的图案。

在框图620处，方法600使用生理数据检测图案。在一些具体实施中，方法600将在框图610处获得的生理数据和与用户兴趣或意图相关联的图案进行比较。在一些具体实施中，方法600解释可影响检测图案的任何外源信号。例如，増加的环境光可导致影响瞳孔响应的外源信号。

在框图630处，方法600基于检测图案来识别用户对内容的兴趣或用户关于内容的意图。在一些具体实施中，当用户与设备进行交互时，设备检测与步骤620相关联的图案以便识别用户的当前兴趣或意图。在一些具体实施中，当前兴趣或意图是显示在设备的屏幕上的可选对象。此外，可基于识别的图案与另一个输入相组合来识别兴趣或意图，例如，通过识别与生理数据相关联的图案来确认手势的意图。

在框图640处，方法600基于识别的兴趣或识别的意图来发起用户交互。在一些具体实施中，用户交互包括移动对象选择指示符、选择对象、改变交互式项目的状态、对有兴趣或意图的对象进行记录、或者以其他方式执行与给定交互式项目相关联的操作。例如，对用户当前兴趣水平或交互意图的信心可导致离散的用户交互(例如，“点击”类事件)或跨越一段时间的连续用户动作(例如，持续事件)。

本公开设想将为用户提供用于受益于生理数据45的任何使用的选项以识别用户意图或兴趣，改善用户界面或以其他方式改善用户体验。例如，用户可定制设备偏好以选择是否使用生理数据来増强用户体验。此外，可为用户提供用于基于生理数据45的任何使用来选择可自动或不可自动调用的动作或动作类型的选项。

本公开还设想到负责此类个人信息和/或生理数据45的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

就广告递送服务而言，本公开还设想到用户选择性地阻止使用或访问个人信息数据和/或生理数据45的场景。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。

因此，虽然本公开广泛地覆盖了使用包括生理数据45的个人信息数据来实现一个或多个各种所公开的具体实施，但本发明还设想各种具体实施也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种具体实施不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度的个人信息(诸如，与用户25相关联的设备10所请求的内容、对内容递送服务可用的其他非个人信息或公开可用信息)来推断偏好，从而选择内容并递送给用户。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法，包括：

在包括处理器、计算机可读存储介质、显示器和传感器的设备处：

在用户体验期间获得用户的生理数据，其中在所述显示器上显示内容，所述生理数据是使用所述传感器获得的并在所述用户体验期间随时间变化；

使用所述生理数据来检测图案；

基于检测所述图案，识别所述用户对所述内容的兴趣或所述用户关于所述内容的意图；以及

基于识别所述兴趣或所述意图来为所述用户体验发起用户交互。

2.根据权利要求1所述的方法，其中：

所述生理数据是表示时变瞳孔直径的瞳孔扩张数据；并且

检测所述图案包括检测瞳孔扩张图案。

3.根据权利要求2所述的方法，其中检测所述瞳孔扩张图案包括：解释对应于所述瞳孔扩张数据中的瞳孔直径变化的外源信号，所述外源信号由环境光变化、色变、眼睛的调节、内容照明变化、周期性瞳孔扩张、环境噪声的变化或所述设备的移动变化引起。

4.根据权利要求1所述的方法，其中检测所述图案包括应用经训练的机器学习技术来识别生理数据中对应于用户兴趣或用户意图的图案。

5.根据权利要求1所述的方法，其中所述生理数据表示非自愿数据。

6.根据权利要求1所述的方法，还包括获得自愿数据，其中识别所述兴趣或所述意图还基于所述自愿数据。

7.根据权利要求6所述的方法，其中所述自愿数据包括：

在所述用户体验期间由图像传感器检测到的身体部位的手势；

在所述用户体验期间由声音传感器检测到的语音的语音命令；

在所述用户体验期间由眼睛传感器检测到的固定注视；

在所述用户体验期间由眼睛传感器检测到的注视图案的序列；

定向响应【例如，头部移动】；

在所述用户体验期间由移动传感器检测到的移动；

在所述用户体验期间由图像传感器检测到的面部表情；或者

包含在所述内容中的属性。

8.根据权利要求1所述的方法，还包括基于在所述用户体验期间先前识别的兴趣或先前识别的意图来渐进地识别相关兴趣或意图。

9.根据权利要求1所述的方法，还包括基于在所述用户体验期间先前识别的兴趣或先前识别的意图来确定对所识别的兴趣或所识别的意图的置信度。

10.根据权利要求1所述的方法，其中识别所述意图包括识别在特定时刻或将来在所述内容中执行移动、做出决定或选择目标的意图。

11.根据权利要求1所述的方法，其中识别所述意图包括：

接收关于自愿用户移动的数据；以及

将所述自愿用户移动解释为基于所述生理数据中的非自愿数据与所述内容进行交互的意图。

12.根据权利要求1所述的方法，其中识别所述兴趣包括在特定时刻或将来识别所述内容中的特定对象中的兴趣。

13.根据权利要求1所述的方法，其中发起所述用户交互包括：

提供与对应于所识别的兴趣或所识别的意图的内容中的对象相关联的附加内容；

基于所识别的兴趣或所识别的意图来移除所述内容中的对象；或者

在基于所识别的兴趣或所识别的意图确定的所述用户体验期间间或自动捕获所述内容的图像。

14.根据权利要求1所述的方法，其中检测所述图案包括：

使用第一传感器跟踪与所述生理数据相关联的生理属性；以及

基于所述跟踪来激活第二传感器以获得所述生理数据。

15.根据权利要求1所述的方法，其中所述生理数据包括功能性近红外光谱信号(fNIRS)的脑电图(EEG)数据。

16.根据权利要求1所述的方法，还包括接收所述用户的知情同意以获得所述用户的所述生理数据或所述自愿数据。

17.一种系统，包括：

电子设备，所述电子设备具有显示器和传感器；

处理器；和

包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述系统执行操作，所述操作包括：

在用户体验期间获得用户的生理数据，其中在所述显示器上显示内容，所述生理数据是使用所述传感器获得的并在所述用户体验期间随时间变化；

使用所述生理数据来检测图案；

基于检测所述图案，识别所述用户对所述内容的兴趣或所述用户关于所述内容的意图；以及

基于所识别的兴趣或所识别的意图来为所述用户体验发起用户交互。

18.根据权利要求17所述的系统，其中：

所述生理数据是表示时变瞳孔直径的瞳孔扩张数据；以及

检测所述图案包括检测瞳孔扩张图案，其中检测所述瞳孔扩张图案包括：解释对应于瞳孔扩张数据中的瞳孔直径变化的外源信号，所述外源信号由环境光变化、色变、眼睛的调节、内容照明变化、周期性瞳孔扩张、环境噪声的变化或所述设备的移动变化引起。

19.根据权利要求17所述的方法，其中所述电子设备为头戴式设备(HMD)。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行的程序指令以执行包括以下项的操作：

在用户体验期间获得用户的生理数据，其中在显示器上显示内容，所述生理数据是使用所述传感器获得的并在所述用户体验期间随时间变化；

使用所述生理数据来检测图案；

基于检测所述图案，识别所述用户对所述内容的兴趣或所述用户关于所述内容的意图；以及

基于所识别的兴趣或所识别的意图来为所述用户体验发起用户交互。

Images