CN114175045B - 利用亮度变化来确定用户特征 - Google Patents

Abstract

本文公开的一些实施方式基于用户对其中一部分或全部内容快速变得更亮或更暗的亮度变化事件的生理(例如，瞳孔)响应来识别用户的状态(例如，专心、分心、走神等)。

Description

利用亮度变化来确定用户特征

相关申请的交叉引用

本专利申请要求于2019年7月30日提交的美国临时专利申请序列号62/880,206和于2020年7月21日提交的美国专利申请序列号16/934,071的权益，上述专利申请中的每个专利申请全文以引用方式并入本文。

技术领域

本公开整体涉及在电子设备上显示内容，并且具体地涉及用于评估正在观看电子设备上显示的内容的用户的状态的系统、方法和设备。

背景技术

当观看电子设备上的内容时，用户的状态(例如，分心、专心等)可能对用户的体验具有显著影响。基于能够确定用户的状态，内容创建者和显示系统可能能够提供用户更可能享受、理解和学习的更好且更定制的用户体验。

发明内容

内容的属性可导致观看内容的用户的身体中的特定类型的生理响应。例如，用户的瞳孔可以响应于内容的亮度变化而自动经历扩张或收缩，例如，当内容从大部分昏暗变化到大部分明亮时，反之亦然。本文的具体实施认识到用户对此类内容变化的生理响应可取决于用户的状态。例如，用户的瞳孔对亮度快速变化的响应的幅度或动态可根据用户的状态而不同。例如，如果内容的亮度在用户是专心且专注的时候增加，则与用户在相同亮度增加期间空闲或疲劳的情况相比，瞳孔响应可能较慢且在幅度方面更小。本文公开的一些具体实施基于用户对其中一部分或全部内容快速变得更亮或更暗的亮度变化事件的生理(例如，瞳孔)响应如何来识别用户的状态(例如，专心、分心、走神等)。一些具体实施基于检测用户状态而通过提供替代内容和/或建议(例如，用户休息)来在用户体验期间改进用户的享受和/或理解。

在一些具体实施中，具有处理器、显示器和传感器的设备实施一种方法。该方法识别与显示器上的内容相关联的亮度变化事件。该亮度变化事件可能是对用户观看的更亮或更暗内容的相对快速变化。亮度变化事件可以在用户浏览内容时自然地发生、或有意地嵌入该内容中以用于触发可以用于评估状态的响应。该方法使用传感器来获得感知与显示器上的内容相关联的亮度变化事件的用户的生理响应(例如，瞳孔扩张或收缩)。在一些具体实施中，例如，头戴式设备(HMD)上的面向内的相机捕获用户的眼睛的图像，并且通过计算机视觉技术确定瞳孔直径/半径。该方法基于瞳孔响应来评估用户的状态。可以基于瞳孔响应的幅度和/或动态来确定该状态。在一些具体实施中，将瞳孔响应与用户自身的先前响应进行比较以确定用户的当前状态。在一些具体实施中，基于多个用户对各种类型的内容的瞳孔响应来评估瞳孔响应，例如，比较用户的当前瞳孔响应与对类似的亮度变化事件的典型或平均用户响应。在一些具体实施中，使用统计的或基于机器学习的分类技术来确定状态。

根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的显示内容并从用户获取生理数据的设备。

图2示出了图1的用户的瞳孔，其中瞳孔的直径变化。

图3是用于基于用户的瞳孔对亮度变化事件的响应如何来识别用户的状态的方法的流程图表示。

图4是示出示例性中央凹亮度记录的图表。

图5是示出对亮度增加的瞳孔半径响应的图表。

图6是示出对亮度减小的瞳孔半径响应的图表。

图7是示出根据一些具体实施的示例性设备的设备部件的框图。

图8是根据一些具体实施的示例性头戴式设备(HMD)的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了物理环境5，其包括具有显示器15的设备10。该设备10向用户25显示内容20。该内容可以包括视频、展示、其他时变内容或作为计算机生成的现实(CGR)环境的一部分呈现的内容。设备10被配置为经由传感器35从用户25获取生理数据(例如，瞳孔数据、心电图(ECG)数据)。

虽然设备10被示出为手持式设备，但是其它具体实施涉及用户与之交互但无需手持的设备和由用户佩戴的设备。在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10是可穿戴头戴式显示器(“HMD”)。

此外，尽管本文讨论的该示例和其他示例示出了物理环境5中的单个设备10，但是本文公开的技术适用于多个设备以及多个现实世界环境。例如，设备10的功能可由多个设备执行。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备10的照明源可发射NIR光以照明用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像起估计的注视点可使得能够与内容进行基于注视的交互。

在一些具体实施中，设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。检测的生理数据可包括但不限于：脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据，以便受益于生理数据的同步采集。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，用户25的一只或两只眼睛45(包括用户25的一个或两个瞳孔50)以瞳孔响应的形式呈现生理数据。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔50的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄，或扩张响应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据的图案。

图2示出了图1的用户25的瞳孔50，其中瞳孔50的直径随时间变化。如图2所示，当前的生理状态(例如，当前的瞳孔直径55)与过去的生理状态(例如，过去的瞳孔直径60)相比可能变化。例如，当前生理状态可包括当前瞳孔直径并且过去生理状态可包括过去瞳孔直径。该生理数据可表示随时间动态地变化的响应模式。

设备10可使用该生理数据来实施本文公开的技术。例如，可以将用户的瞳孔对内容中的亮度变化事件的响应与用户对相同或其它内容中的类似亮度变化事件的先前响应进行比较。

根据一些具体实施，图3是用于基于用户的瞳孔对亮度变化事件的响应如何来识别用户的状态的方法300的流程图表示。在一些具体实施中，方法300由一个或多个设备(例如，设备10)执行。方法300可在移动设备、HMD、台式计算机、膝上型计算机或服务器设备上执行。方法300可在具有用于显示3D图像的屏幕或用于观看立体图像的屏幕的HMD上执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框310处，方法300在设备的显示器上显示内容。该内容可以包括视频、展示、其他时变内容或作为计算机生成的现实(CGR)环境的一部分呈现的内容。计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

在框320处，方法300识别与内容相关联的亮度变化事件。该亮度变化可以是通过监测和跟踪随时间的内容亮度而检测到的更亮或更暗内容的快速变化。该亮度变化可以是在预定时间段内超过阈值的亮度(例如，平均亮度)变化。

在一些具体实施中，收集像素信息，并且将所收集的RGB值(或其它像素值)转换为估计的感知亮度。可以使用线性公式(例如，LUM＝0.21Red(R)+0.72Green(G)+0.07Blue(B))或非线性公式式(例如，LUM＝sqrt(0.299R²+0.587G²+0.115B²))来确定亮度。

该亮度变化事件可以在用户浏览内容时自然地发生，例如，当用户从内容内的光线明亮的对象看到光线昏暗的对象时。

该亮度变化事件可以被有意地嵌入内容中。在一个示例中，每几秒一次将人工亮度探针(例如，小的突然亮度变化)插入到内容中。在另一个示例中，人工亮度探针是顺序的(例如，在几秒钟内以特定频率插入)。

在一些具体实施中，该亮度变化是中央凹的，例如涉及用户正聚焦于其上的单个或一组项目的变化的亮度。可以通过眼睛跟踪和场景分割算法来确定用户正聚焦于其上的项目。在一些具体实施中，确定注视点，并且针对亮度变化事件检测来考虑围绕该注视点的圆形区域内的对象。焦点区域的半径或其它量纲可以基于特定用户的注视特征来个性化。

在一些具体实施中，该亮度变化事件是中央凹外的，例如，涉及在当前焦点周围的区域(例如，圆形区域)之外发生的亮度变化。

在一些具体实施中，亮度变化事件是基于特征的，例如，基于场景中的某些彩色对象或特定纹理的强度变化的亮度变化。

在一些具体实施中，通过改变帧间内容来实现亮度变化。例如，头戴式设备(HMD)可以使用低余晖显示器，其在渲染的帧之间短暂地显示黑色(通过硬件或软件手段)。这些帧间时刻可以被有意改变以导致内容内的随时间的亮度变化事件。例如，可以改变一些帧间时刻，以显示白色、灰色或以其它方式比原本要显示的内容更亮的内容。

在框330处，方法300使用传感器获得感知亮度变化事件的用户的瞳孔响应。在一些具体实施中，使用眼睛跟踪系统在一段时间内测量瞳孔的直径。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和移动，并检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。在一些具体实施中，在头戴式设备(HMD)中实现的眼睛跟踪系统在用户观看内容时收集瞳孔半径数据。

在框340处，方法300基于瞳孔响应来评估用户的状态。用户状态的示例包括但不限于：专心的、不专心的、敏锐的、专注的、不敏锐的、分心的、感兴趣的、不感兴趣的、好奇的,过分好奇的、多疑的、批判的、确定的、决定的、评估、合乎逻辑地评估、情绪化地评估、接受的、不接受的、发白日梦的、思考的、观察的、放松的、处理信息、与过去的经验有关的、回忆、留心、走神、疲倦、休息、警觉、吸引、排斥、内疚和愤慨。评估用户的状态可涉及确定状态类型的水平或程度，例如，按数值标度来确定专心程度或不专心程度。作为特定示例，取决于瞳孔响应幅度，方法300可以从0到1的归一化标度上的分数0.6来确定用户是专心的(0是不专心并且1是完全专注的)。

在一些具体实施中，方法300可以根据亮度事件之后的瞳孔响应的动态(例如，基于瞳孔半径达到最小值花费的时间、瞳孔半径返回到正常水平有多快、或瞳孔的其它动态行为)来对多于两个状态进行分类或以其它方式确定。例如，方法300可被配置为确定用户是不专心的并且进一步被配置为确定用户不专心的原因是因为用户是疲倦的、休息的而非发白日梦、分心等。该方法可以使用用于此类子类别分类的机器学习模型。

在一些具体实施中，基于瞳孔直径或半径的变化的幅度来确定状态。在一些具体实施中，基于瞳孔响应的模式或其它动态来确定状态。

在一些具体实施中，使用统计的或基于机器学习的分类技术来确定状态。在一些具体实施中，使用统计的或基于机器学习的技术将瞳孔响应聚合并分类为不同状态。例如，可训练机器学习模型以将对亮度变化事件的瞳孔响应分类成一个或固定数量的类别。在一个示例中，瞳孔响应被分类为专心的、不专心的或中性的。在另一示例中，瞳孔响应被分类为观察或处理信息。

在一些具体实施中，将瞳孔响应与用户自身的先前响应进行比较以确定用户的当前状态。在一些具体实施中，基于多个用户对各种类型的内容的瞳孔响应来评估瞳孔响应，例如，比较用户的当前瞳孔响应与对类似的亮度变化事件的典型或平均用户响应。

观察瞳孔在持续时间(例如，数秒到数分钟)内对亮度变化的重复响应可提供关于用户在不同时间尺度处的潜在状态的洞察。这些亮度变化可以伴随内容自然地发生，当用户浏览设备的屏幕的不同位置而发生，或者嵌入内容中，对于用户而言是不明显的，例如，使用对像素值的基础RGB(或灰色)比例的轻微调整。

在一些具体实施中，方法300基于用户的状态向用户提供反馈。例如，方法300可检测到注意力不集中并向用户提供通知以休息、重新观看内容的特定部分或改变内容呈现速度。在另一示例中，方法300可检测内容中的高度专心时刻，并且为用户建议内容的相似时刻。在另一示例中，可以基于确定用户的状态概况来为用户提供通知以在特定时间或特定条件下观看内容。例如，此类概况可以指示用户在早晨比下午或傍晚更加专心，并且可以在上午8:30向用户提供表明现在是学习或从事该内容的好时机的通知。

在一些具体实施中，方法300向内容创建者提供反馈以促进对内容或未来/相关内容的改进。通知可以确认与一个或多个用户的状态相关联的内容的一部分，例如，确认用户通常在内容的特定部分期间的注意力比在内容的另一部分期间更少。在一些具体实施中，已观看内容的多个用户的状态数据被聚合以提供关于该内容的反馈。内容创建者可以基于此类反馈修改内容以使得该部分更短或更引人注目。

在一些具体实施中，基于用户的状态根据自动确定的显示参数来自动调整或呈现内容。例如，基于确定用户处于特定状态，内容可被分成较小的部分，其中可在各部分之间休息。

方法300提供了灵活且微妙的方式来确定用户的专心水平和其它状态，而不需要行为响应和中断。方法300可被提供给希望学习新技能、观看讲座或执行需要长时间注意力持续的任务以及许多其它使用情况中的用户，并且可以向此类用户提供信息以促进用户的目的。例如，方法300可以告知用户他或她的注意力何时低并且建议休息。此类反馈可以实现更多产的工作和学习计划。

图4是示出来自观看烹饪教学视频的用户的示例性中央凹亮度记录410的图表400。平均亮度值420随时间波动，因为用户的眼睛扫视和内容变化。用点(例如，点430)表示当亮度快速减小时的时间实例。在一些具体实施中，可以在其中亮度快速减小的每个实例之后的几秒内测量生理(例如，瞳孔)响应。类似地，可以在其中亮度快速增加的每个实例之后的几秒内测量生理(例如，瞳孔)响应。

图5是示出对图4中的亮度增加的平均瞳孔半径响应的图表500。在此示例中，在第一半部510期间对突然亮度增加的平均瞳孔半径响应不同于在第二半520期间对突然亮度增加的平均瞳孔半径响应。例如，在第二半部期间，瞳孔半径的变化的平均幅度大于第一半部。在一些具体实施中，较大的瞳孔响应与相对不专心状态相关联。因此，平均瞳孔半径响应的差异可指示用户在观看内容的第一半部时比观看内容的第二半部处于更专心状态。注意，图表中的阴影区域表示标准偏差。

图6是示出对图4中的亮度减小的平均瞳孔半径响应的图表。在此示例中，在第一半部610期间对突然亮度减小的平均瞳孔半径响应不同于在第二半620期间对突然亮度减小的平均瞳孔半径响应。例如，在第二半部期间，瞳孔半径的变化的平均幅度大于第一半部。在一些具体实施中，较大的瞳孔响应与相对不专心状态相关联。因此，平均瞳孔半径响应的差异可指示用户在观看内容的第一半部时比观看内容的第二半部处于更专心状态。注意，图表中的阴影区域表示标准偏差。

图7是根据一些具体实施的设备10的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元702(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器706、一个或多个通信接口708(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如，I/O)接口710、一个或多个显示器712、一个或多个面向内部和/或面向外部的图像传感器系统714、存储器720以及用于互连这些部件和各种其他部件的一条或多条通信总线704。

在一些具体实施中，该一条或多条通信总线704包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器706包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)和/或类似的装置。

在一些具体实施中，一个或多个显示器712被配置为向用户25呈现用户体验。在一些具体实施中，一个或多个显示器712对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)、视网膜投影系统和/或类似显示器类型。在一些具体实施中，一个或多个显示器712对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户25的每只眼睛的显示器，例如，HMD。在一些具体实施中，一个或多个显示器712能够呈现CGR内容。

在一些具体实施中，一个或多个图像传感器系统714被配置为获取与包括用户25的眼睛的用户25的面部的至少一部分对应的图像数据。例如，该一个或多个图像传感器系统714包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统714还包括对用户25的面部的该部分发射光的照明源，诸如闪光灯或闪光源。

存储器720包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器720包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器720任选地包括与一个或多个处理单元702远程定位的一个或多个存储设备。存储器720包括非暂态计算机可读存储介质。在一些具体实施中，存储器720或存储器720的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统720和用户体验模块740。

操作系统730包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，用户体验模块740被配置为在电子设备上显示内容并评估观看此类内容的用户的状态。为此，在各种具体实施中，用户体验模块740包括内容单元742、生理跟踪(例如，瞳孔)单元744和用户状态单元746。

在一些具体实施中，内容单元742被配置为提供和/或跟踪用于在设备上显示的内容。内容单元742可被配置为监视和跟踪随时间的内容亮度和/或识别在内容内发生的亮度变化事件。在一些具体实施中，内容单元742可被配置为使用本文讨论的技术中的一种或多种技术或另有可能适当的技术将人工亮度变化事件添加到内容中。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，生理跟踪(例如，瞳孔)单元744被配置为使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来跟踪用户的瞳孔或其它生理属性。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，用户状态单元746被配置为使用本文讨论的技术中的一个或多个技术或另有可能适当的技术基于生理响应来评估用户的状态。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

尽管图7的单元和模块被示出为驻留在单个设备(例如，设备10)上，但应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。

此外，图7更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图7中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图8示出了根据一些具体实施的示例性头戴式设备1000的框图。头戴式设备1000包括容纳头戴式设备1000的各种部件的外壳1001(或壳体)。外壳1001包括(或耦接到)设置在外壳1001的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备1000保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。

外壳1001容纳显示器1010，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器1010通过具有一个或多个透镜1002的目镜发射光，该透镜折射由显示器1010发射的光，使显示器对用户25显示为比从眼睛到显示器1010的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器1010上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳1001还容纳跟踪系统，该跟踪系统包括一个或多个光源1022、相机1024和控制器1080。一个或多个光源1022将光发射到用户25的眼睛上，其反射为可由相机1024检测的光图案(例如，闪光圈)。基于该光图案，控制器1080可确定用户25的眼动跟踪特征。例如，控制器1080可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器1080可确定瞳孔中心、瞳孔尺寸或关注点。因此，在各种具体实施中，光由所述一个或多个光源1022发射，从用户25的眼睛反射，并且由相机1024检测。在各种具体实施中，来自用户25的眼睛的光在到达相机1024之前从热镜反射或通过目镜。

显示器1010发射第一波长范围内的光，并且所述一个或多个光源1022发射第二波长范围内的光。类似地，相机1024检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地讲，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看显示器1010上的选项来选择它)，提供有孔的渲染(例如，在用户25正在观看的显示器1010的区域中呈现更高的分辨率并且在显示器1010上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器1010上提供的图像)。

在各种具体实施中，一个或多个光源1022朝向用户25的眼睛发射光，该光以多个闪光的形式反射。

在各种具体实施中，相机1024是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机1024是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示所述特定光传感器的特定位置的事件消息。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据来改善用户在使用电子内容方面的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (21)

1.一种用于评估用户的状态的方法，所述方法包括：

在包括处理器、显示器和传感器的设备处：

识别与所述显示器上的内容相关联的亮度变化事件；

使用所述传感器获得感知与所述显示器上的所述内容相关联的所述亮度变化事件的用户的瞳孔响应；

确定所述用户对所述亮度变化事件的所述瞳孔响应的幅度；以及

基于感知所述亮度变化的所述用户的所述瞳孔响应的幅度来评估所述用户的状态，其中瞳孔响应的相对较大的幅度被确定为对应于不专心、分心或走神状态，而瞳孔响应的相对较小的幅度被确定为对应于专心状态。

2.根据权利要求1所述的方法，其中基于所述瞳孔响应中的瞳孔直径或半径的变化的幅度来评估所述状态。

3.根据权利要求1所述的方法，其中基于所述瞳孔响应中的瞳孔变化的动态来评估所述状态。

4.根据权利要求3所述的方法，其中所述动态包括瞳孔半径达到最小值花费的时间或瞳孔半径返回到正常水平有多快。

5.根据权利要求1所述的方法，其中基于将所述用户的所述瞳孔响应与所述用户的对先前亮度变化的先前瞳孔响应进行比较来评估所述状态。

6.根据权利要求1所述的方法，其中使用机器学习模型来评估所述状态，所述机器学习模型是利用对多个状态中的亮度变化的先前用户响应被训练的。

7.根据权利要求1所述的方法，其中所述状态是使用统计的或基于机器学习的分类技术被评估的。

8.根据权利要求1所述的方法，其中所述亮度变化事件包括在时间段内超过阈值的亮度变化。

9.根据权利要求1所述的方法，其中基于使用线性公式确定亮度来确定所述亮度变化事件。

10.根据权利要求1所述的方法，还包括通过在所述内容中嵌入人工变化来创建所述亮度变化事件。

11.根据权利要求10所述的方法，还包括通过在时间段中以预定频率在所述内容中嵌入人工变化来创建所述亮度变化事件。

12.根据权利要求10所述的方法，其中所述人工变化包括改变所述用户正聚焦于其上的项目的亮度。

13.根据权利要求10所述的方法，其中所述人工变化包括改变当前焦点区域之外的亮度。

14.根据权利要求10所述的方法，其中所述人工变化包括基于对象的颜色或纹理而改变与所述对象相关联的亮度。

15.根据权利要求10所述的方法，其中所述人工变化包括在所述内容的渲染帧之间的帧间时刻期间调整亮度。

16.根据权利要求1所述的方法，还包括基于所述状态向所述用户提供通知。

17.根据权利要求1所述的方法，还包括基于所述用户的所述状态定制所述内容。

18.根据权利要求1所述的方法，还包括聚合针对观看所述内容的多个用户而确定的状态以提供关于所述内容的反馈。

19.根据权利要求1所述的方法，其中所述设备是头戴式设备(HMD)，并且所述内容包括计算机生成的现实(CGR)环境。

20.一种系统，包括：

具有显示器和传感器的设备；

处理器；以及

包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述系统执行操作，所述操作包括：

识别与所述显示器上的内容相关联的亮度变化事件；

使用所述传感器获得感知与所述显示器上的所述内容相关联的所述亮度变化事件的用户的瞳孔响应；

确定所述用户对所述亮度变化事件的所述瞳孔响应的幅度；以及

基于感知所述亮度变化的所述用户的所述瞳孔响应的幅度来评估所述用户的状态，其中瞳孔响应的相对较大的幅度被确定为对应于不专心、分心或走神状态，而瞳孔响应的相对较小的幅度被确定为对应于专心状态。

21.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行的程序指令以执行包括以下项的操作：

识别与显示器上的内容相关联的亮度变化事件；

使用所述传感器获得感知与所述显示器上的所述内容相关联的所述亮度变化事件的用户的瞳孔响应；

确定所述用户对所述亮度变化事件的所述瞳孔响应的幅度；以及

基于感知所述亮度变化的所述用户的所述瞳孔响应的幅度来评估所述用户的状态，其中瞳孔响应的相对较大的幅度被确定为对应于不专心、分心或走神状态，而瞳孔响应的相对较小的幅度被确定为对应于专心状态。

Images