CN116547637A - 使用生理数据来检测用户与对象接触 - Google Patents

Abstract

本文所公开的一些具体实施提供了使用例如来自眼睛跟踪或肌电图(EMG)传感器的生理数据来预测或以其他方式确定用户与对象接触的各方面的系统、方法和设备。用户与对象接触的这种确定可用于多个目的。

Description

使用生理数据来检测用户与对象接触

技术领域

本公开整体涉及在电子设备上提供改进的用户体验，并且具体地涉及用户与对象接触的系统、方法和设备。

背景技术

基于计算机的现有技术基于图像(例如，用户的手和他或她的周围物理环境的图像)来做出关于用户活动的各种确定。例如，各种技术用于使用用户的手的图像来识别指向、挥手和其他手势。用于基于图像数据来检测用户与对象接触的技术可能不如所期望的那样准确。例如，此类技术可能不会提供相对于识别用户的手指是否正触摸对象或悬停在稍高于对象处的足够准确性。作为另一个示例，此类技术可能不会提供相对于精确地识别用户与对象之间的触摸发生的时间的足够准确性。

发明内容

本文所公开的一些具体实施提供了使用生理数据(例如，基于眼睛跟踪数据和/或来自肌电图(EMG)传感器的数据)来预测或以其他方式确定用户与对象接触的各方面的系统、方法和设备。用户与对象接触的这种确定可用于多个目的。例如，用户与对象接触的这种确定可用于识别提供给电子设备的输入。在另一个示例中，这种确定用于确定与物理环境中的桌子、墙壁和其他对象的用户交互。在另一个示例中，用户与对象接触的这种确定可用于确定在扩展现实(XR)环境中的与物理对象的用户交互。在一些具体实施中，生理数据用于补充在手跟踪过程中使用的图像数据。例如，手跟踪算法可跟踪手位置并且基于用户的手和对象的图像或深度数据来确定手与对象接触。在该示例中，由手跟踪算法确定的手与对象接触可基于生理数据和/或使用生理数据来确认。

在一些具体实施中，具有处理器的电子设备实现一种方法。当用户正使用该电子设备时，该方法经由传感器获得该用户在一定时间段期间的生理数据。作为示例，这可涉及获得眼睛的图像、测量可根据其确定注视方向/移动的角膜-视网膜静息电位的眼电图(EOG)数据和/或测量肌生成信号的肌电图(EMG)数据。时间段可以是固定时间窗，例如，100ms、200ms、300ms、400ms、500ms等。

使用生理数据，该方法确定用户的眼睛或肌肉在该时间段期间的特性。在一些具体实施中，特性涉及注视方向、注视速度、注视方向变化、瞳孔半径、瞳孔扩张和/或瞳孔收缩。在一些具体实施中，头戴式设备(HMD)上的面向内的相机捕获用户的眼睛的图像，并且经由计算机视觉技术确定一个或多个眼睛特性。在一些具体实施中，特性涉及基于肌电图(EMG)数据的肌肉状态。在一些具体实施中，特性是多个用户特性(例如，眼睛和肌肉特性两者)的组合。

使用用户的眼睛或肌肉的特性，方法确定用户与对象接触。在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法确定生理数据的时间段是否紧接在触摸事件之前，例如，给定从时间-300ms到时间0的时间段的数据，在时间0处是否将存在触摸事件。在一些具体实施中，给定该时间段的生理数据，方法预测在未来时间段内是否将存在触摸事件，例如，给定从时间-300ms到时间0的时间段的数据，在时间0和时间300ms之间是否将存在触摸事件。在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法预测触摸事件将何时发生。在一些具体实施中，使用分类器或其他机器学习模型来执行预测。

根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的在用户与对象接触期间从用户获得生理数据的设备。

图2示出了根据一些具体实施的在用户与对象接触期间从用户获得生理数据的设备。

图3示出了根据一些具体实施的在用户与对象接触期间从用户获得生理数据的设备。

图4示出了图1至图3的用户的瞳孔，其中瞳孔的直径变化。

图5是示出使用生理数据来预测用户与对象接触的示例性方法的流程图。

图6示出了与用户与对象接触相关联的示例性生理数据。

图7示出了与用户与对象接触相关联的时间段。

图8示出了电极对在用户的腕部上的示例性定位。

图9是示出根据一些具体实施的示例性设备的设备部件的框图。

图10是根据一些具体实施的示例性头戴式设备(HMD)的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了包括设备10的物理环境5，该设备被配置为经由设备10上的传感器从用户25获得生理数据(例如，眼睛数据、肌肉数据等)。设备可实现本文中公开的技术中的一者或两者以获得生理数据，基于生理数据来确定用户特性，并且基于用户特性来确定用户与对象接触。在图1中，用户25在与物理环境中的一个或多个对象交互时使用设备10。设备上的传感器被配置为捕获生理数据(例如，基于传感器捕获用户的图像、接触用户的皮肤等)。在设备10的使用期间，用户使手指20触摸对象15。由设备10的传感器获得的生理数据用于预测或以其他方式确定这种用户与对象接触的各方面，例如，预测接触将在预定时间段内发生或者估计这种接触将何时发生。

图2示出了在用户与对象接触期间从用户25获得生理数据的设备10的另一个示例。在该示例中，在设备10的使用期间，用户使一只手上的手指20触摸他或她的另一只手的手掌30。在该示例中，用户自己的手掌是用户触摸并且该触摸检测到的对象。由设备10的传感器获得的生理数据用于预测或以其他方式确定用户与对象接触(与他或她的手掌30)的各方面，例如，预测接触将在预定时间段内发生或者估计这种接触将何时发生。

图3示出了在用户与对象接触期间从用户25获得生理数据的设备10的另一个示例。在该示例中，在设备10的使用期间，用户使手指20触摸设备10自身的触摸屏部分20。由设备10的传感器35获得的生理数据(例如，注视方向、注视速度等，基于用户眼睛的图像数据来确定)用于预测或以其他方式确定用户与对象接触(与设备10)的各方面，例如，预测接触将在预定时间段内发生或者估计这种接触将何时发生。

在图1至图3的示例中，可基于生理数据和附加信息来确定用户与对象接触。例如，手跟踪算法可利用由设备10的相机捕获的图像光强度和/或深度传感器图像(例如，用户的手10和对象15/手掌30/设备10的图像)。基于图像的手跟踪和基于生理数据的接触检测可被组合以提供比彼此独立地使用技术更稳健且更准确的用户与对象接触跟踪。

虽然设备10在图1至图3中被示为移动设备，但其他具体实施涉及其他类型的设备。在一些具体实施中，如图1和图3所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10为可穿戴设备，诸如头戴式设备(HMD)、手表、臂章、手镯、项链、脚镯或戒指。

此外，尽管本文讨论的这些示例和其他示例示出了物理环境5中的单个设备10，但是本文公开的技术适用于多个设备以及多个现实世界环境。例如，设备10的功能可由多个设备执行。

在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)照相机)和向用户25的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备10的照明源可发射NIR光以照明用户25的眼睛，并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像起估计的注视点可使得能够与内容进行基于注视的交互。

在一些具体实施中，设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。检测的生理数据可包括但不限于：脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据，以便受益于生理数据的同步采集。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。

在一些具体实施中，用户25的一只或两只眼睛(包括用户的一个或两个瞳孔)以瞳孔响应的形式呈现生理数据。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄，或扩张响应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据的图案。

图4示出了图1至图3的用户25的眼睛45的瞳孔50，其中瞳孔50的直径随时间变化。如图4所示，当前的生理状态(例如，当前的瞳孔直径55)与过去的生理状态(例如，过去的瞳孔直径60)相比可能变化。例如，当前生理状态可包括当前瞳孔直径并且过去生理状态可包括过去瞳孔直径。该生理数据可表示随时间动态地变化的响应模式。

根据一些具体实施，图5是用于使用生理数据来预测或以其他方式确定用户与对象接触的各方面的方法500的流程图表示。在一些具体实施中，方法500由一个或多个设备(例如，设备10)执行。方法500可在移动设备、HMD、台式计算机、膝上型计算机或服务器设备上执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框510处，当用户正使用电子设备时，方法500获得用户在一定时间段期间的生理数据。作为示例，这可涉及获得眼睛的图像、测量可根据其确定注视方向/移动的角膜-视网膜静息电位的眼电图(EOG)数据和/或测量肌生成信号的肌电图(EMG)数据。时间段可以是固定时间窗，例如，100ms、200ms、300ms、400ms、500ms等。

在框520处，基于生理数据，方法500确定用户的眼睛或肌肉在该时间段期间的特性。在一些具体实施中，特性涉及注视方向、注视速度、注视方向变化、瞳孔半径、瞳孔扩张和/或瞳孔收缩。在一些具体实施中，头戴式设备(HMD)上的面向内的相机捕获用户的眼睛的图像，并且经由计算机视觉技术确定一个或多个眼睛特性。在一些具体实施中，特性涉及基于肌电图(EMG)数据的肌肉状态。在一些具体实施中，特性是多个用户特性(例如，眼睛和肌肉特性两者)的组合。

在框530处，基于用户的眼睛或肌肉的特性，方法500确定用户与对象接触。一个或多个眼睛特性可指示用户与对象接触。例如，在导致用户与对象接触的时间段期间，用户的注视可稳定并且该稳定可以是基于生理数据确定的眼睛特性。在一些具体实施中，确定用户与对象接触涉及(a)预测时间段是否紧接在用户与对象接触之前，(b)用户与对象接触是否将在该时间段之后的第二时间段内发生，和/或(c)将发生用户与对象接触的时间。

如图6所示，在导致用户与对象接触的时间段610期间(在时间0处)，注视速度稳定。瞳孔特性可类似地指示用户与对象接触。如图6所示，在导致用户与对象接触的时间段610期间(在时间0处)，瞳孔半径增大。

方法500可涉及使用用户和对象的图像来跟踪用户相对于对象的位置，以及基于用户与对象接触的跟踪和确定来确定用户与对象接触的发生。图6示出了在时间段610期间的手指速度，其可用于确定触摸已经发生或将发生。用户/对象、用户的眼睛和用户的身体的来自图像传感器的传感器数据的组合可被组合(例如，经由传感器融合技术)以确定用户与对象接触将发生、将在特定时间发生、将在特定时间窗内发生、已发生、已在特定时间发生或已在特定时间窗内发生。

在一些具体实施中，使用根据生理数据确定的用户特性来区分用户与对象接触和用户(例如，相对紧密地)悬停在对象上方/附近。当基于用户和对象的光强度和/或深度图像数据时，特别是在用户/对象远离传感器或者光强度和/或深度图像数据有噪声的情况下，在接触和悬停之间的区分可能缺乏精度。生理数据可用于区分接触和悬停用户交互和/或增加触摸已发生或将发生的置信度。在一些具体实施中，生理数据可用于区分接触的类型和/或检测接触的不同方面，例如接触的向下触摸和向上触摸方面。

返回到图5，在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法500确定生理数据的时间段是否紧接在触摸事件之前，例如，给定从时间-300ms到时间0的时间段的数据，在时间0处是否将存在触摸事件。

图7示出了可被分析以做出用户与对象接触确定的两个示例性时间段。在此示例中，第一时间段710(即，-600ms到-300ms)和第二时间段720(即，-300ms到0)可用于分类触摸事件是否将在时间730处发生。在一些具体实施中，方法500重复地评估增量时间窗(例如，300ms块)中的传入(例如，最近获得的)生理数据以确定用户与对象接触将发生、将在特定时间发生、将在特定时间窗内发生、已发生、已在特定时间发生、或已在特定时间窗内发生。

一个或多个肌肉特性可指示用户与对象接触。例如，在导致用户与对象接触的时间段期间，如基于手表的传感器所检测到的用户的围绕腕部的肌肉可表现出可用于确定用户与对象接触的特定模式或基于时间的特性。在另一个示例中，图8示出了电极对在用户腕部上的示例性定位的定位，该电极对用于检测表现出可用于确定用户与对象接触的一个或多个模式或基于时间的特性的用户肌肉。

返回到图5，在一些具体实施中，给定时间段的生理数据，方法500预测在未来时间段内是否将存在触摸事件。例如，给定从时间-300ms到时间0的时间段的数据，方法500可确定在时间0和时间300ms之间是否将存在触摸事件。

在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法500预测触摸事件将何时发生。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

本文公开的一些具体实施通过以下方式来确定用户与对象接触：使用生理数据以识别指示用户与对象接触的用户特性。在一些具体实施中，使用来自多个用户的训练数据来训练机器学习模型以进行这种确定。可通过手动标记触摸事件的各方面或通过使用次要技术(例如，使用触摸设备作为对象以提供可与预测的用户与对象接触进行比较的精确接触检测)来确定地面实况数据。在一些具体实施中，使用用户特定数据来训练或细化机器学习模型。例如，可指示用户执行任务序列，在该任务序列期间，用户与设备的触摸屏进行接触以提供可与预测的用户与对象接触进行比较的精确接触检测。

在一些具体实施中，训练机器学习模型以使用/融合多种类型的输入(例如，用户/对象的图像、生理数据、声音数据和/或用户特定数据)来预测或以其他方式确定用户与对象接触的各方面。在一些具体实施中，机器学习模型是神经网络(例如，人工神经网络)、决策树、支持向量机、贝叶斯网络等。

在一些具体实施中，用户与对象接触是用户与物理环境的物理对象之间的接触。在一些具体实施中，用户与对象接触是用户与虚拟(例如，计算机生成的)对象之间的虚拟接触。例如，这种虚拟接触可在用户的手指占据与虚拟对象的3D位置相同的位置(或处于与其直接相邻的3D位置中)时发生。在一些具体实施中，虚拟对象被定位成覆盖物理对象，例如定位在墙壁或桌子等上的虚拟触摸屏。在一些具体实施中，虚拟对象被定位在与用户所位于的空的空间相对应的位置处。

图9是根据一些具体实施的设备10的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元902(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器906、一个或多个通信接口908(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口910、一个或多个显示器912、一个或多个面向内部和/或面向外部的图像传感器914、存储器920以及用于互连这些部件和各种其他部件的一条或多条通信总线904。

在一些具体实施中，该一条或多条通信总线904包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备和传感器906包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器、脑电图(EEG)传感器、心电图(ECG)传感器、肌电图(EMG)传感器、功能性近红外光谱信号(fNIRS)传感器、皮肤电导传感器或图像传感器，例如用于瞳孔响应等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、渡越时间等)等。

在一些具体实施中，一个或多个显示器912被配置为向用户25呈现用户体验。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)、视网膜投影系统和/或类似显示器类型。在一些具体实施中，一个或多个显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户25的每只眼睛的显示器，例如，HMD。在一些具体实施中，一个或多个显示器912能够呈现扩展现实(XR)内容，例如，增强现实内容、虚拟现实内容等。

在一些具体实施中，一个或多个图像传感器系统914被配置为获取与包括用户25的眼睛的用户25的面部的至少一部分对应的图像数据。例如，该一个或多个图像传感器系统914包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统914还包括在用户25的面部的一部分上发射光的照明源，诸如闪光灯或闪光源。

存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920可选地包括与一个或多个处理单元902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。在一些具体实施中，存储器920或者存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统920和用户体验模块940。

操作系统930包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，模块940被配置为使用生理数据来预测或以其他方式确定用户与对象接触的各方面。为此，在各种具体实施中，模块940包括生理数据跟踪单元942、用户特性单元944和预测单元946。

在一些具体实施中，生理数据跟踪单元942被配置为使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来跟踪用户的瞳孔、肌肉或其他生理属性。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，用户特性单元944被配置为使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来确定用户特性(例如，眼睛或肌肉特性)。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，预测单元946被配置为使用本文讨论的技术中的一个或多个技术或另有可能适当的技术来预测或以其他方式确定用户与对象接触的各方面。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

尽管图9的单元和模块被示出为驻留在单个设备(例如，设备10)上，但应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。

此外，图9更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图8中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图10示出了根据一些具体实施的示例性头戴式设备1000的框图。头戴式设备1000包括容纳头戴式设备1000的各种部件的外壳1001(或壳体)。外壳1001包括(或耦接到)设置在外壳1001的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备1000保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。

外壳1001容纳显示器1010，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器1010通过具有一个或多个透镜1005的目镜发射光，该透镜折射由显示器1010发射的光，使显示器对用户25显示为比从眼睛到显示器1010的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器1010上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳1001还容纳跟踪系统，该跟踪系统包括一个或多个光源1022、相机1024和控制器1080。一个或多个光源1022将光发射到用户25的眼睛上，其反射为可由相机1024检测的光图案(例如，闪光圈)。基于该光图案，控制器1080可确定用户25的眼动跟踪特征。例如，控制器1080可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器1080可确定瞳孔中心、瞳孔尺寸或关注点。因此，在各种具体实施中，光由所述一个或多个光源1022发射，从用户25的眼睛反射，并且由相机1024检测。在各种具体实施中，来自用户25的眼睛的光在到达相机1024之前从热镜反射或通过目镜。

显示器1010发射第一波长范围内的光，并且所述一个或多个光源1022发射第二波长范围内的光。类似地，相机1024检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地讲，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看显示器1010上的选项来选择它)，提供有孔的渲染(例如，在用户25正在观看的显示器1010的区域中呈现更高的分辨率并且在显示器1010上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器1010上提供的图像)。

在各种具体实施中，一个或多个光源1022朝向用户25的眼睛发射光，该光以多个闪光的形式反射。

在各种具体实施中，相机1024是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本发明技术的一个方面是收集和使用生理数据来改善用户的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

一些具体实施提供一种方法，该方法包括：在包括处理器的电子设备处：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的眼睛在该时间段期间的特性，其中该特性基于该生理数据来确定；以及基于该用户的该眼睛在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该生理数据包括该眼睛的图像，并且该特性包括注视方向、注视速度或瞳孔半径。在一些具体实施中，该生理数据包括眼电图(EOG)数据，并且该特性包括注视方向或注视速度。在一些具体实施中，该方法还包括：使用该用户和该对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

一些具体实施提供了一种设备，包括：非暂态计算机可读存储介质；和一个或多个处理器，该一个或多个处理器耦接到该非暂态计算机可读存储介质，其中该非暂态计算机可读存储介质包括程序指令，该程序指令在该一个或多个处理器上执行时，致使该系统执行操作。该操作包括：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的眼睛在该时间段期间的特性，其中该特性基于该生理数据来确定；以及基于该用户的该眼睛在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该生理数据包括该眼睛的图像，并且该特性包括注视方向、注视速度或瞳孔半径。在一些具体实施中，该生理数据包括眼电图(EOG)数据，并且该特性包括注视方向或注视速度。在一些具体实施中，该操作还包括：使用该用户和对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

一些具体实施提供了一种非暂态计算机可读存储介质，其在计算机上存储计算机可执行程序指令以执行包括以下的操作：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的眼睛在该时间段期间的特性，其中该特性基于该生理数据来确定；以及基于该用户的该眼睛在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该生理数据包括该眼睛的图像，并且该特性包括注视方向、注视速度或瞳孔半径。在一些具体实施中，该生理数据包括眼电图(EOG)数据，并且该特性包括注视方向或注视速度。在一些具体实施中，该操作还包括：使用该用户和对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

一些具体实施提供一种方法，该方法包括：在包括处理器的电子设备处：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的肌肉在该时间段期间的特性，其中该特性基于该生理数据来确定，其中该生理数据包括肌电图(EMG)数据；以及基于该用户的该肌肉在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该方法包括：使用该用户和对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

一些具体实施提供了一种设备，包括：非暂态计算机可读存储介质；和一个或多个处理器，该一个或多个处理器耦接到该非暂态计算机可读存储介质，其中该非暂态计算机可读存储介质包括程序指令，该程序指令在该一个或多个处理器上执行时，致使该系统执行操作。该操作包括：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的肌肉在该时间段期间的特性，其中该特性基于该生理数据来确定，其中该生理数据包括肌电图(EMG)数据；以及基于该用户的该肌肉在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该操作包括：使用该用户和对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

一些具体实施提供了一种非暂态计算机可读存储介质，其在计算机上存储计算机可执行程序指令以执行包括以下的操作：当用户正使用该电子设备时，经由传感器获得该用户在一定时间段期间的生理数据；确定该用户的肌肉在该时间段期间的特性，其中该特性基于该生理数据来确定，其中该生理数据包括肌电图(EMG)数据；以及基于该用户的该肌肉在该时间段期间的该特性来确定用户与对象接触。在一些具体实施中，使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。在一些具体实施中，确定该用户与对象接触包括预测该时间段是否紧接在该用户与对象接触之前。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触是否将在该时间段之后的第二时间段内发生。在一些具体实施中，确定该用户与对象接触包括预测该用户与对象接触将发生的时间。在一些具体实施中，该操作包括：使用该用户和对象的图像来跟踪该用户相对于该对象的位置；以及基于该用户与对象接触的该跟踪和该确定来确定该用户与对象接触的发生。在一些具体实施中，设备是头戴式设备(HMD)。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法，包括：

在包括处理器的电子设备处：

当用户正使用所述电子设备时，经由传感器获得所述用户在一定时间段期间的生理数据；

确定所述用户的眼睛在所述时间段期间的特性，其中所述特性基于所述生理数据来确定；以及

基于所述用户的所述眼睛在所述时间段期间的所述特性来确定用户与对象接触。

2.根据权利要求1所述的方法，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

3.根据权利要求1至2中任一项所述的方法，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

4.根据权利要求1至3中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。

5.根据权利要求1至4中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触将发生的时间。

6.根据权利要求1至5中任一项所述的方法，其中所述生理数据包括所述眼睛的图像，并且所述特性包括注视方向、注视速度或瞳孔半径。

7.根据权利要求1至6中任一项所述的方法，其中所述生理数据包括眼电图(EOG)数据，并且所述特性包括注视方向或注视速度。

8.根据权利要求1至7中任一项所述的方法，还包括：

使用所述用户和对象的图像来跟踪所述用户相对于所述对象的位置；以及

基于所述跟踪和所述用户与对象接触的所述确定来确定所述用户与对象接触的发生。

9.根据权利要求1至8中任一项所述的方法，其中所述设备是头戴式设备(HMD)。

10.一种方法，包括：

在包括处理器的电子设备处：

当用户正使用所述电子设备时，经由传感器获得所述用户在一定时间段期间的生理数据；

确定所述用户的肌肉在所述时间段期间的特性，其中所述特性基于所述生理数据来确定，其中所述生理数据包括肌电图(EMG)数据；以及

基于所述用户的所述肌肉在所述时间段期间的所述特性来确定用户与对象接触。

11.根据权利要求10所述的方法，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

12.根据权利要求10至11中任一项所述的方法，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

13.根据权利要求10至12中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。

14.根据权利要求10至13中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触将发生的时间。

15.根据权利要求10至14中任一项所述的方法，还包括：

使用所述用户和对象的图像来跟踪所述用户相对于所述对象的位置；以及

基于所述跟踪和所述用户与对象接触的所述确定来确定所述用户与对象接触的发生。

16.根据权利要求10至15中任一项所述的方法，其中所述设备是头戴式设备(HMD)。

17.一种设备，所述设备包括：

非暂态计算机可读存储介质；以及

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：

当用户正使用所述电子设备时，经由传感器获得所述用户在一定时间段期间的生理数据；

确定所述用户的眼睛在所述时间段期间的特性，其中所述特性基于所述生理数据来确定；以及

基于所述用户的所述眼睛在所述时间段期间的所述特性来确定用户与对象接触。

18.根据权利要求17所述的设备，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

19.根据权利要求17至18中任一项所述的设备，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

20.根据权利要求17至19中任一项所述的设备，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。