CN116569124A - 基于眼睛注视的生物反馈 - Google Patents
基于眼睛注视的生物反馈 Download PDFInfo
- Publication number
- CN116569124A CN116569124A CN202180057733.7A CN202180057733A CN116569124A CN 116569124 A CN116569124 A CN 116569124A CN 202180057733 A CN202180057733 A CN 202180057733A CN 116569124 A CN116569124 A CN 116569124A
- Authority
- CN
- China
- Prior art keywords
- user
- content
- gaze
- experience
- implementations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本文公开的各种具体实施包括基于用户的注视特性来确定在体验(例如,可包括真实世界物理环境、虚拟内容或每一者的组合的视觉内容和/或听觉内容)期间的该用户的注意力状态以增强该体验的设备、系统和方法。例如,示例性过程可包括:在体验期间获得与用户的注视相关联的生理数据;基于所获得的生理数据来确定在该体验的段期间的注视特性;以及基于对在体验的段期间的该用户的该注视特性分类来确定该用户在该体验的该段期间具有第一注意力状态。
Description
技术领域
本公开总体涉及用电子设备显示内容,并且具体地讲,涉及在内容的显示期间确定用户的注意力状态的系统、方法和设备。
背景技术
当观看电子设备上的内容时,用户的认知状态并更具体地是用户的注意力状态可能对用户的体验具有显著影响。例如,在扩展现实(XR)环境中使用头戴式设备(HMD)时可能需要保持专注和参与以获得有意义的体验,诸如冥想、学习新的技能、观看教学或娱乐内容或阅读文档。用于评价查看内容和与内容交互的用户的注意力状态的改善的技术可增强用户的享受、理解和对内容的学习。此外,内容可能不以对特定用户有意义的方式进行呈现。基于能够确定用户的认知状态,内容创建者和显示系统可能能够提供用户更可能享受、理解和学习的更好且更定制的用户体验。
发明内容
本文公开的各种具体实施包括基于用户的注视特性来确定在内容(例如,可包括真实世界物理环境、虚拟内容或每一者的组合的视觉内容和/或听觉内容)的呈现期间或之后的该用户的注意力状态以增强该体验的设备、系统和方法。该设备(例如,手持式设备、膝上型电脑、台式电脑或头戴式设备(HMD))向用户提供内容(例如,视觉体验和/或听觉体验)并用传感器获得与用户对内容的响应相关联的生理数据(例如,注视特性)。基于所获得的生理数据,本文描述的技术可通过对用户的注视特性分类来确定在呈现(例如,冥想体验)期间或之后的用户的注意力状态(例如,冥想对走神)。基于所分类的注视特性,该技术可向用户提供当前注意力状态不同于内容的预期注意力状态的反馈、推荐该内容的类似内容或类似部分和/或基于当前注意力状态不同于内容的预期注意力状态来调整内容或对应于该内容的反馈机制。
在一个示例性具体实施中,用本文描述的技术对冥想和正念实践的整合可通过向个体提供关于冥想表现的实时反馈来增强冥想体验。当在扩展现实(XR)环境中使用HMD时在冥想期间保持专注和参与可改善用户的冥想实践并帮助用户得到与冥想相关联的益处。例如,对冥想感兴趣的新手可能在冥想会话期间保持在任务上有困难,并且他们可能受益于对他们的表现的准确反馈。本文描述的技术可基于用户的注视特性的可变性来检测用户在冥想时何时分心。在冥想期间发现所定义的注意力流失的标志并提供表现反馈可增强用户体验,从而提供来自冥想会话的附加益处,并且提供经指导且支持的教导方法(例如,支架式教导方法)以使用户通过其冥想实践。
眼睛注视模式可基于个体的注意力状态和在他或她前面的场景的特性而变化。在用户执行需要不同注意力水平(诸如对呼吸冥想的专注的注意力)的正念任务时,可在使用具有眼睛跟踪技术的HDM时获得这些模式。在冥想会话的过程中,注意力可能朝向和远离呼吸波动。当个体在睁眼冥想任务期间专注于他或她的呼吸时,眼睛注视可能在时间上是缓慢的并被约束到场景的特定区域。当个体失去专注并开始走神时,眼睛注视稳定性可能降低和/或眼睛注视速度可能增大。观察在持续时间(数秒到数分钟)内对眼睛注视速度和位置的重复测量可给出关于用户在不同时间尺度上的潜在注意力状态的洞察。这些注意力度量可用于在冥想体验期间提供反馈。
除冥想体验之外的体验的其他示例可利用本文描述的关于注意力状态的技术。例如,教育体验可在学生看起来走神时通知他或她保持集中。另一个示例可以是通知需要专注于他或她在手边的当前任务上的工作者的工作场所体验。例如,向可能在长时间外科手术期间变得有点累的外科医生提供反馈、提醒进行长时间驾驶的卡车驾驶员他或她正在失去专注并可能需要靠边停车进行睡眠等。本文描述的技术可针对可能需要一些类型的反馈机制来维护一个或多个特定注意力状态的任何用户和体验定制。
一般来讲,本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中:在呈现内容期间或之后获得与用户的注视相关联的生理数据;基于所获得的生理数据来确定注视特性的可变性;以及基于对在该呈现期间的该用户的该注视特性的该可变性分类来确定该用户在该呈现期间具有第一注意力状态。
这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
在一些具体实施中,该方法还包括响应于确定第一注意力状态不同于针对内容预期的第二注意力状态而在该内容期间呈现反馈。在一些具体实施中,该方法还包括响应于确定第一注意力状态不同于针对内容预期的第二注意力状态而调整该内容。
在一些具体实施中,注视特性是注视方向、注视速度或注视定点。在一些具体实施中,注视特性得自扫视特性。
在一些具体实施中,生理数据包括眼睛的图像或眼电图(EOG)数据。在一些具体实施中,使用统计技术或机器学习技术来对注视特性的可变性分类。在一些具体实施中,基于将注视特性的可变性与阈值比较来对注视特性的可变性分类。
在一些具体实施中,设备是头戴式设备(HMD)。在一些具体实施中,内容是向用户呈现的扩展现实(XR)体验。在一些具体实施中,内容是向用户呈现的混合现实(MR)体验。在一些具体实施中,内容是向用户呈现的真实世界体验。在一些具体实施中,内容是冥想体验。
根据一些具体实施中,非暂态计算机可读存储介质中存储有指令,所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1示出了根据一些具体实施的显示视觉体验并从用户获得生理数据的设备。
图2示出了根据一些具体实施的图1的用户的瞳孔,其中注视特性随时间变化。
图3是用于对注视特性的可变性分类以确定用户的注意力状态的方法的流程图表示。
图4A和图4B是示出在两个不同注意力状态期间的用户的注视特性的可变性的图表。
图5A和图5B是示出在两个不同注意力状态期间的用户的注视特性的可变性的图表。
图6是示出根据一些具体实施的示例性设备的设备部件的框图。
图7是根据一些具体实施的示例性头戴式设备(HMD)的框图。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。
图1示出了真实世界环境5,该真实世界环境包括具有显示器15的设备10。在一些具体实施中,设备10向用户25显示内容20,以及与内容20相关联的视觉特性30。例如,内容20可以是按钮、用户界面图标、文本框、图形等。在一些具体实施中,与内容20相关联的视觉特性30包括诸如色调、饱和度、尺寸、形状、空间频率、运动、突出显示等的视觉特性。例如,内容20可被显示为具有覆盖或包围内容20的绿色突出显示的视觉特性30。
在一些具体实施中,内容20可以是视觉体验(例如,冥想体验),并且视觉体验的视觉特性30可在视觉体验期间持续地改变。如本文所用,短语“体验”是指在此期间用户使用电子设备并具有一个或多个注意力状态的时间段。在一个示例中,用户具有其中用户在持有、佩戴或接近包括获得生理数据以评价指示用户的注意力状态的眼睛特性的一个或多个传感器的电子设备时感知真实世界环境的体验。在另一个示例中,用户具有其中用户感知由电子设备显示的内容而相同或另一个电子器件获得生理数据以评价用户的眼睛特性和/或注意力状态的体验。在另一个示例中,用户具有其中用户持有、佩戴或接近提供指导体验的一连串可听或视觉指令的电子设备的体验。例如,指令可指示用户在体验的特定时段期间具有特定注意力状态,例如指示用户在前30秒专注于他或她的呼吸上,在接下来30秒停止专注于他或她的呼吸上,在再接下来45秒重新专注于他或她的呼吸上等。在这样的体验期间,相同或另一个电子设备可获得生理数据以评价用户的眼睛特性和/或注意力状态。
在一些具体实施中,视觉特性30是用户的特定于体验的反馈机制(例如,关于在体验期间专注在特定任务(诸如在冥想体验期间的呼吸)上的视觉或音频提示)。在一些具体实施中,视觉体验(例如,内容20)可占据显示器15的整个显示区域。例如,在冥想体验期间,内容20可以是冥想视频或图像序列,其可包括视觉和/或音频提示作为向用户呈现的关于专注在呼吸上的视觉特性30。本文将进一步讨论可针对内容20显示的其他视觉体验和关于视觉特性30的视觉和/或音频提示。
设备10经由传感器35从用户25获取生理数据(例如,瞳孔数据)。例如,设备10获得眼睛注视特性数据40。尽管本文讨论的该示例和其他示例示出了现实世界环境5中的单个设备10,但是本文公开的技术适用于多个设备以及其他现实世界环境。例如,设备10的功能可由多个设备执行。
在一些具体实施中,如图1所示,设备10是手持电子设备(例如,智能手机或平板电脑)。在一些具体实施中,设备10是膝上型计算机或台式计算机。在一些具体实施中,设备10具有触控板,并且在一些具体实施中,设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中,设备10是可穿戴头戴式显示器(“HMD”)。
在一些具体实施中,设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。例如,眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如,近红外(NIR)照相机)和向用户25的眼睛发射光(例如,NIR光)的照明源(例如,NIR光源)。此外,设备10的照明源可发射NIR光以照明用户25的眼睛,并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中,可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动,或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外,从眼睛跟踪图像估计的注视点可使得能够与设备10的近眼显示器上示出的内容进行基于注视的交互。
在一些具体实施中,设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中,用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中,这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。
在一些具体实施中,设备10采用各种生理传感器、检测或测量系统。检测的生理数据可包括但不限于:脑电图(EEG)、心电图(ECG)、肌电图(EMG)、功能近红外光谱信号(fNIRS)、血压、皮肤电导或瞳孔响应。此外,设备10可同时检测多种形式的生理数据,以便受益于生理数据的同步采集。此外,在一些具体实施中,生理数据表示非自愿数据,即,不受意识控制的响应。例如,瞳孔响应可表示非自愿移动。
在一些具体实施中,用户25的一只或两只眼睛45(包括用户25的一个或两个瞳孔50)以瞳孔响应的形式呈现生理数据(例如,眼睛注视特性数据40)。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔50的尺寸或直径的变化。例如,瞳孔响应可包括收缩响应(瞳孔缩小),即,瞳孔变窄,或扩张响应(瞳孔散大),即,瞳孔加宽。在一些具体实施中,设备10可检测表示时变瞳孔直径的生理数据的图案。
图2示出了图1的用户25的瞳孔50a至50b,其中瞳孔50a至50b的直径随时间变化。如图2所示,与过去的生理状态(例如,过去的瞳孔直径60a至60b)相比,当前生理状态(例如,当前瞳孔直径55a至55b)可变化。例如,当前生理状态可包括当前瞳孔直径,并且过去的生理状态可包括过去的瞳孔直径。
生理数据可随时间而变化,并且设备10可使用生理数据来测量用户对视觉特性30的生理响应或用户与内容20交互的意图中的一者或两者。例如,当由设备10呈现内容20诸如体验列表时,用户25可选择体验而无需用户25完成物理按钮按下。在一些具体实施中,生理数据包括经由眼睛跟踪技术测量的用户25扫视内容20后瞳孔50的半径的响应。
返回到图1,根据一些具体实施,设备10可生成并向其相应用户呈现扩展现实(XR)环境。人可使用电子设备与完全或部分模拟的扩展现实(XR)环境交互和/或感知完全或部分模拟的XR环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统,人的物理运动或其表示的一些可被跟踪,并且作为响应,能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如,该XR系统可以检测用户头部的移动,并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如,该XR系统可以检测呈现XR环境的电子设备(例如,移动电话、平板电脑、膝上型电脑等)的移动,并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中,该XR系统可以响应于诸如物理运动的表示的其他输入(例如,语音命令)而调节图形内容的特征。
许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如,接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如,可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如,智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可具有媒介,光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术,例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中,透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如,作为全息图或投影到物理表面上)。
图3是示出示例性方法300的流程图。在一些具体实施中,设备诸如设备10(图1)执行方法300的技术以基于用户的注视特性来确定在体验(例如,可以是真实世界物理环境、虚拟内容或每一者的组合的视觉电子内容和/或听觉电子内容)期间的用户的注意力状态以增强该体验。在一些具体实施中,在移动设备、台式电脑、膝上型电脑、HMD或服务器设备上执行方法300的技术。在一些具体实施中,在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行方法300。在一些具体实施中,在执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器上执行方法300。
在框302处,方法300在体验期间获得与用户的注视相关联的生理数据。例如,获得与用户的注视相关联的生理数据(例如,眼睛注视特性数据40)可涉及获得可从中确定注视方向和/或移动的眼睛的图像或眼电图信号(EOG)数据。在一些具体实施中,体验可以是在用户穿戴设备诸如HMD时提供的冥想体验。这样的冥想体验可包括要求一个或多个注意力状态(例如,专注于呼吸对未专注/走神)的一个或多个时段。在一些具体实施中,体验是向用户呈现的真实世界环境。例如,体验可包括物理环境的实时视频(例如,用于冥想的大自然的实时场景视图)或通过HMD的实时视图(例如,用户位于用于冥想的大自然的真实世界场景视图处,诸如安静的公园)。附加地,体验可以是向用户呈现的混合现实(MR)体验,其中虚拟现实图像可覆盖到物理环境的实时视图(例如,增强现实(AR))上。
在框304处,方法300基于所获得的生理数据来确定在体验期间的注视特性的可变性。例如,注视特性可包括注视方向的可变性、注视速度的可变性、得自眼睛注视动态和扫视特性的注视定点的可变性。在一些具体实施中,可基于范围、方差和/或标准偏差来测量可变性。在一些具体实施中,在某一时间间隔(例如,10秒至30秒)内确定可变性,并且在每个时间间隔内(例如,每隔1秒至10秒)测量推断。例如,在一个示例性具体实施中,使用20秒时间窗,其中每隔2秒进行推断。可通过比较跨某一范围的时间窗的分类器性能来确定时间窗(例如,示例性20秒时间窗)。
在一些具体实施中,注视特性(例如,眼睛注视特性数据40)是注视方向、注视速度和/或注视定点(例如,得自眼睛注视动态和扫视特性)。在一些具体实施中,注视特性得自扫视特性(例如,微扫视和扫视侵入)。在一些具体实施中,注视特性稳定性的其他度量可包括扫视间间隔(在扫视之间的时间量)、微扫视速率和从IMU和/或相机(例如,在设备诸如图1的设备10上的IMU和/或相机)确定的头部移动。
在框306处,方法300基于对在体验期间的用户的注视特性的可变性分类来确定用户在体验期间具有第一注意力状态。例如,可确定、聚合和使用一个或多个注视特性来使用统计或机器学习技术对用户的注意力状态分类。在一些具体实施中,基于将注视特性的可变性与阈值比较来对注视特性的可变性分类。例如,如果在初始时段期间(例如,30秒)确定用户的眼睛位置的基线(在为“0”的X眼睛位置的基线处),并且在后续时段(例如,30秒)期间,平均眼睛位置在后续时段期间偏离基线超过+/-0.2,则本文描述的技术可将用户分类为从第一注意力状态(例如,冥想)转变并进入第二注意力状态(例如,走神)。在一些具体实施中,可在最后30秒中连续地测量动态并可频繁地(例如,每隔2秒)更新模型输出。在一些具体实施中,评级可在其中他们具有积极(例如,专心)或消极(例如,走神)冥想体验的时间内从参与者收集并使用来自那些会话的注视统计来训练机器学习算法。然后,该算法可用于同一个人上以提供针对将来会话的个性化反馈。
在一些具体实施中,可基于确定第一注意力状态(例如,走神)与体验的预期注意力状态(例如,冥想)不同来向用户提供反馈。在一些具体实施中,方法300还可包括响应于确定第一注意力状态与体验的预期的第二注意力状态不同而在体验期间呈现反馈(例如,音频反馈,诸如“控制您的呼吸”、视觉反馈等)。在一个示例中,在冥想体验的指示用户专注于他或她的呼吸上的部分期间,该方法基于检测到用户相反地处于走神的注意力状态来确定呈现反馈来提醒用户专注于呼吸上。
在一些具体实施中,可基于确定在所呈现的体验期间的注意力状态和在其中呈现的体验的变化来提供针对体验开发员的内容推荐。例如,当提供特定类型的内容时,用户可能很专注。在一些具体实施中,方法300还可包括基于内容与体验的相似性来识别内容,并且基于确定用户在体验期间具有第一注意力状态(例如,走神)来向用户提供内容推荐。
在一些具体实施中,可基于与体验的预期注意力状态不同的注意力状态来与体验对应地调整体验的内容。例如,可由有经验的开发员调整内容以改善所记录的内容以用于用户或其他用户的后续使用。在一些具体实施中,方法300还可包括响应于确定第一注意力状态与旨在用于体验的第二注意力状态不同而调整对应于体验的内容。
在一些具体实施中,本文描述的技术基于识别用户与体验的典型交互来从用户获得生理数据(例如,眼睛注视特性数据40)。例如,技术可确定用户的注视特性的可变性与同体验的交互相关。另外,本文描述的技术然后可调整体验的视觉特性以增强与同体验的将来交互相关联的注视特性。此外,在一些具体实施中,在用户与体验交互之后改变体验的视觉特性告知在与体验或体验的特定段的后续交互中用户的生理响应。例如,在视觉特性在体验内改变之前,用户可呈现与视觉特性的变化相关联的预期生理响应。因此,在一些具体实施中,技术基于预期生理响应来识别用户与体验交互的意图。例如,技术可通过捕获或存储基于用户与体验的交互的用户的注视特性(包括用户对体验的增强的视觉特性的响应)来适应或训练指令集,并且可通过识别用户在期待增强的视觉特性的显示时(例如,在与体验的特定段的交互之前)的生理响应来检测用户与体验交互的将来意图。
在一些具体实施中,估计器或统计学习方法用于更好地理解或预测生理数据(例如,注视特性)。例如,可通过利用替换来对数据集进行采样(例如,自助法)来估计注视特性数据的统计。
图4至图5呈现了在冥想会话(例如,体验)期间与两个示例性参与者相关联的眼睛注视特性的图形示例。在一些具体实施中,本文描述的技术可向用户呈现体验(例如,冥想体验)并跟踪与用户相关联的眼睛注视特性的可变性。例如,眼睛注视模式可基于个体的注意力状态和在他们前面的场景的特性而变化。在用户执行需要不同注意力水平(诸如对呼吸冥想的专注的注意力)的正念任务时,可在使用具有眼睛跟踪技术的HDM时获得这些模式。在冥想会话的过程中,个体的注意力可能朝向和远离呼吸波动(例如,受控/专注呼吸技巧)。当个体在睁眼冥想任务期间专注于他或她的呼吸时,眼睛注视方向可能在时间上是缓慢的并被约束到场景的特定区域。当个体失去专注并开始走神时,眼睛注视稳定性可能降低和/或眼睛注视速度可能增大。观察在持续时间(数秒到数分钟)内对眼睛注视速度和位置的重复测量可给出关于用户在不同时间尺度上的潜在注意力状态的洞察。这些注意力度量如图4至图5所示可用于在冥想体验期间提供反馈。
图4A和图4B分别示出了眼睛注视特性的可变性(例如,分别是第一参与者和第二参与者的随时间(x轴)的眼睛注视位置(X)(y轴))的图表400A和400B。区域410a和区域410b表示其中每个用户在睁眼冥想任务期间专注于他或她的呼吸技巧的冥想体验段。例如,向用户提供视觉提示或听觉提示以控制他或她的呼吸并专注于他或她的冥想技巧。区域420a和区域420b表示其中每个用户未专注于他或她的冥想技巧的冥想体验段。例如,在这些部分期间向用户提供停止专注于他或她的呼吸的指令,并且因此,用户对他或她的冥想技巧的专注度可能下降。如在图表400A和400B中明显的,当用户专注于呼吸而不是走神时,存在与眼睛注视位置(X)的统计相关性,具体地,当用户专注于他或她的呼吸时而不是当用户走神时,存在更大的稳定性和更小的可变性。
图5A和图5B分别示出了眼睛注视特性的可变性(例如,分别是第一参与者和第二参与者的随时间(x轴)的注视速度(y轴))的图表500A和500B。区域510a和区域510b表示其中每个用户在睁眼冥想任务期间专注于他或她的呼吸技巧的冥想体验段。例如,向用户提供视觉提示或听觉提示以控制他或她的呼吸并专注于他或她的冥想技巧。区域520a和区域520b表示其中每个用户未专注于他或她的冥想技巧的冥想体验段。例如,在这些部分期间向用户提供停止专注于他或她的呼吸的指令,并且因此,用户对他或她的冥想技巧的专注度下降。如在图表500A和500B中清楚的,当用户专注于呼吸而不是走神时,存在与注视速度的统计相关性,具体地,与当用户走神时相比,当用户专注于他或她的呼吸时,存在更大的稳定性和更小的可变性。
在一些具体实施中,可对技术进行多组用户生理数据的训练,然后单独地适应于每个用户。例如,内容创建者可基于用户生理数据来定制冥想体验,诸如用户可能要求背景音乐来进行冥想或要求或多或少的音频或视觉提示来继续维持冥想。
在一些具体实施中,体验的定制可由用户控制。例如,用户可选择他或她想要的冥想体验,诸如他或她可选择周围环境、背景场景、音乐等。附加地,用户可变更提供反馈机制的阈值。例如,用户可基于会话的先前体验来定制触发反馈机制的灵敏度。例如,用户可能期望没有那么多反馈通知并在触发通知之前允许某种程度的走神(例如,眼睛位置偏差)。因此,当满足更高标准时,可在触发阈值时定制特定体验。例如,在一些体验(诸如教育体验)中,用户可能不想在学习会话期间受到打扰,即使他或她短暂地盯着任务或走神(例如,未看向屏幕或书籍)片刻(例如,少于30秒)来思考他或她刚刚阅读的内容也是如此。然而,学生/读者将希望在他或她走神达较长时段(例如,长于或等于30秒)的情况下得到通知。
在一些具体实施中,在评估将体验或反馈机制调节或调整多少以增强用户25对视觉特性30(例如,反馈机制)的生理响应(例如,瞳孔响应)时,本文描述的技术可将对用户25的现实世界环境5(例如,视觉品质诸如亮度、对比度、语义背景)作出解释。
在一些具体实施中,生理数据(例如,眼睛注视特性数据40)可随时间而变化,并且本文描述的技术可使用生理数据来检测模式。在一些具体实施中,图案是生理数据从一个时间到另一个时间的变化,并且在一些其他具体实施中,图案是一段时间内生理数据的一系列变化。基于检测到模式,本文描述的技术可识别用户的注意力状态(例如,走神)的变化,并且然后,可在体验(例如,冥想会话)期间向用户25提供反馈机制(例如,关于专注于呼吸上的视觉或听觉提示)以返回预期状态(例如,冥想)。例如,可通过检测在用户的注视特性中的模式来识别用户25的注意力状态,可调整与体验相关联的视觉或听觉提示(例如,表明“专注于呼吸上”的语音的反馈机制”还可包括视觉提示或场景的周围环境的变化),并且与所调整的体验相比的用户的注视特性可用于确认用户的注意力状态。
在一些具体实施中,本文描述的技术可利用训练或校准序列来适应特定用户25的特定生理特性。在一些具体实施中,该技术向用户25呈现训练场景,在该场景中指示用户25与屏幕项目(例如,反馈对象)进行交互。通过向用户25提供已知意图或感兴趣区域(例如,经由指令),该技术可记录用户的生理数据(例如,眼睛注视特性数据40)并识别与用户的注视相关联的模式。在一些具体实施中,该技术可改变与内容20(例如,体验)相关联的视觉特性30(例如,反馈机制),以便进一步适应用户25的独特生理特性。例如,该技术可指示用户在数到三时主观上选择屏幕中心的按钮,并记录用户的生理数据(例如,眼睛注视特性数据40)以识别与用户的注意力状态相关联的模式。此外,该技术可改变或变更与按钮相关联的视觉特性,以便识别与用户对变更的视觉特性的生理响应相关联的模式。在一些具体实施中,与用户25的生理响应相关联的图案被存储在与该用户相关联的用户配置文件中,并且可在将来的任何时间更新或重新校准该用户配置文件。例如,在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验(例如,个人冥想体验)。
在一些具体实施中,应用机器学习模型(例如,经训练的神经网络)来识别生理数据中的模式,包括识别对体验(例如,图1的内容20)的生理响应。此外,该机器学习模型可用于将这些模式与对应于用户25与体验进行交互的兴趣或意图的指示的学习模式相匹配。在一些具体实施中,本文描述的技术可学习特定于特定用户25的模式。例如,该技术可从确定峰模式表示用户25响应于在体验内的特定视觉特性30的兴趣或意图的指示开始学习,并且使用该信息以随后识别类似的峰模式作为用户25的兴趣或意图的另一个指示。这种学习可考虑到用户与多个视觉特征30的相对交互,以便进一步调整视觉特征30并增强用户对体验的生理响应。
在一些具体实施中,用户25的头部27的位置和特征(例如,眼睛、鼻部或鼻孔的边缘)由设备10提取并且用于查找用户25的眼睛45的粗略位置坐标,从而简化精确眼睛45特征(例如,位置、注视方向等)的确定,并且使得注视特性测量更可靠和稳健。此外,设备10可容易地将头部27的3D部件的位置与通过眼睛部件图像分析获得的注视角度信息组合,以便识别用户25在任何给定时间观看到的给定屏幕对象。在一些具体实施中,使用3D标测结合注视跟踪允许用户25自由地移动他或她的头部27和眼睛45,同时减少或消除使用头部27上的传感器或发射器主动跟踪头部27的需要。
通过跟踪眼睛45,一些具体实施减少了在用户25移动他或她的头部27之后重新校准用户25的需要。在一些具体实施中,设备10使用深度信息来跟踪瞳孔50的移动,从而使得能够基于用户25的单次校准来计算可靠的呈现的瞳孔直径55。利用诸如瞳孔中心角膜反射(PCCR)、瞳孔跟踪和瞳孔形状的技术,设备10可从头部27的定点计算瞳孔直径55以及眼睛45的注视角度,并且使用头部27的位置信息以便重新计算注视角度和其他注视特性测量。除了减少的重新校准之外,跟踪头部27的进一步有益效果可包括减少光投射源的数量并减少用于跟踪眼睛45的相机的数量。
在一些具体实施中,本文描述的技术可在用户注视方向上的位置处识别呈现在设备10的显示器15上的体验内的特定对象。此外,该技术可响应于从用户25接收的口头言语命令以及用户25的识别的注意力状态来改变与特定对象或总体体验相关联的视觉特性30的状态。例如,在体验内的特定对象可以是与软件应用程序相关联的图标,并且用户25可注视该图标,说出单词“选择”以选择该应用程序,并且可对该图标应用突出显示效果。然后,该技术可响应于视觉特性30(例如,反馈机制)而使用另外的生理数据(例如,眼睛注视特性数据40)来进一步将用户25的注意力状态识别为对用户的言语命令的确认。在一些具体实施中,该技术可响应于用户注视的方向而识别给定交互式项目,并且响应于生理数据(例如,注视特性的可变性)而操纵该给定交互式项目。然后,该技术可基于用生理数据进一步识别用户的注意力状态来确认用户注视的方向。在一些具体实施中,该技术可基于识别的兴趣或意图来移除交互式项目或对象。在其他具体实施中,在确定了用户25的兴趣或意图时,技术可自动捕获内容的图像。
作为节电特征,本文描述的技术可检测用户25何时不观看显示器并且本文描述的技术可激活省电技术,例如,在用户25移开目光超过某个阈值时间段时禁用生理传感器。此外,在一些具体实施中,在用户25不观看显示器时,该技术可使显示器变暗或完全变黑(例如,降低亮度)。在用户25再次观看显示器时,该技术可停用节电技术。在一些具体实施中,该技术可使用第一传感器跟踪生理属性,然后基于该跟踪来激活第二传感器以获得生理数据。例如,该技术可使用相机(例如,在设备10上的相机)来识别用户25正在朝着设备10的方向观看,然后在确定用户25正朝设备10的方向观看时激活眼睛传感器。
在一些具体实施中,本文描述的技术可利用训练或校准序列来适应在体验期间的特定用户25的特定生理特性。在一些具体实施中,结束可向用户25呈现训练场景体验,在该体验中指示用户25与屏幕项目进行交互。通过向用户25提供与在体验内的已知对象相关联的一个或多个已知视觉特性30,设备10可记录用户的生理数据,并且该技术可识别与用户的意图或兴趣相关联的模式。例如,该技术可指示用户25在数到三时聚焦在显示器15的中心的红色按钮上,并记录用户的生理数据以识别与在涉及红色视觉特性30时的用户的意图或兴趣相关联的模式。然后,该技术可利用多个其他不同颜色的按钮重复相同的过程,以便识别引起用户25的最强生理响应的颜色。在一些具体实施中,与用户的意图或兴趣相关联的图案、与特定视觉特征30相关联的生理数据,或相对于用户25的特定视觉特征30的排名或分析被存储在与该用户相关联的用户配置文件中,并且该用户配置文件可在将来的任何时间更新或重新校准。例如,在用户体验期间可随时间推移自动修改用户配置文件以提供更个性化的用户体验。
图6是示例性设备600的框图。设备600示出了设备10的示例性设备配置。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,设备10包括一个或多个处理单元602(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器606、一个或多个通信接口608(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如,I/O)接口610、一个或多个显示器612、一个或多个面向内部和/或面向外部的图像传感器系统614、存储器620以及用于互连这些部件和各种其他部件的一条或多条通信总线604。
在一些具体实施中,一条或多条通信总线604包括互连和控制系统部件之间的通信的电路。在一些具体实施中,该一个或多个I/O设备及传感器606包括以下各项中的至少一者:惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、飞行时间等),等等。
在一些具体实施中,一个或多个显示器612被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中,一个或多个显示器612对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中,一个或多个显示器612对应于衍射、反射、偏振、全息等波导显示器。例如,设备10包括单个显示器。又如,设备10包括针对用户的每只眼睛的显示器。
在一些具体实施中,该一个或多个图像传感器系统614被配置为获得对应于物理环境5的至少一部分的图像数据。例如,该一个或多个图像传感器系统614包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中,一个或多个图像传感器系统614还包括发射光的照明源,诸如闪光灯。在各种具体实施中,该一个或多个图像传感器系统614还包括相机上图像信号处理器(ISP),该ISP被配置为对图像数据执行多个处理操作。
存储器620包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中,存储器620包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器620任选地包括与一个或多个处理单元602远程定位的一个或多个存储设备。存储器620包括非暂态计算机可读存储介质。
在一些具体实施中,存储器620或存储器620的非暂态计算机可读存储介质存储任选的操作系统630和一个或多个指令集640。操作系统630包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,指令集640包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中,指令集640是能够由一个或多个处理单元602执行以实施本文所述技术中的一种或多种的软件。
指令集640包括内容指令集642、生理跟踪指令集644和注意力状态指令集646。指令集640可体现为单个软件可执行文件或多个软件可执行文件。
在一些具体实施中,内容指令集642可由处理单元602执行以提供和/或跟踪用于在设备上显示的内容。内容指令集642可被配置为随时间而监测和跟踪内容(例如,在体验诸如冥想会话期间)和/或识别出现在内容内的变化事件。在一些具体实施中,内容指令集642可被配置为使用本文讨论的技术中的一种或多种技术或可能适当的其他技术来将变化事件添加到内容(例如,反馈机制)中。出于这些目的,在各种具体实施中,该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中,生理跟踪(例如,眼睛注视特性)指令集644可由处理单元602执行以使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来跟踪用户的眼睛注视特性或其他生理属性。出于这些目的,在各种具体实施中,该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中,注意力状态指令集646可由处理单元602执行以使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来基于生理响应(例如,眼睛注视响应)来评价用户的认知状态(例如,注意力状态,诸如走神、冥想等)。出于这些目的,在各种具体实施中,该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
尽管指令集640被示出为驻留在单个设备上,但应当理解,在其他具体实施中,元件的任何组合可位于单独的计算设备中。此外,图6更多地用作存在于特定具体实施中的各种特征部的功能描述,该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化,并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图7示出了根据一些具体实施的示例性头戴式设备700的框图。头戴式设备700包括容纳头戴式设备700的各种部件的外壳701(或封装件)。外壳701包括(或耦接到)设置在外壳701的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中,眼垫是塑料或橡胶件,其舒适且贴合地将头戴式设备700保持在用户25的面部上的适当位置(例如,围绕用户25的眼睛)。
外壳701容纳显示器710,该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中,显示器710通过具有一个或多个透镜705的目镜发射光,该透镜折射由显示器710发射的光,使显示器对用户25显示为比从眼睛到显示器710的实际距离更远的虚拟距离。为了用户25能够聚焦在显示器710上,在各种具体实施中,虚拟距离至少大于眼睛的最小焦距(例如,7cm)。此外,为了提供更好的用户体验,在各种具体实施中,虚拟距离大于1米。
外壳701还容纳跟踪系统,该跟踪系统包括一个或多个光源722、相机724和控制器780。一个或多个光源722将光发射到用户25的眼睛上,其反射为可由相机724检测的光图案(例如,闪光圈)。基于该光图案,控制器880可确定用户25的眼动跟踪特征。例如,控制器780可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如,控制器780可确定瞳孔中心、瞳孔大小或关注点。因此,在各种具体实施中,光由一个或多个光源722发射,从用户25的眼睛反射,并且由相机724检测。在各种具体实施中,来自用户25的眼睛的光在到达相机724之前从热镜反射或通过目镜。
显示器710发射第一波长范围内的光,并且一个或多个光源722发射第二波长范围内的光。类似地,相机724检测第二波长范围内的光。在各种具体实施中,第一波长范围是可见波长范围(例如,可见光谱内大约为400nm-700nm的波长范围),并且第二波长范围是近红外波长范围(例如,近红外光谱内约为700nm-1400nm的波长范围)。
在各种具体实施中,眼睛跟踪(或者具体地,确定的注视方向)用于使用户能够进行交互(例如,用户25通过观看显示器710上的选项来选择它),提供有孔的渲染(例如,在用户25正在观看的显示器710的区域中呈现更高的分辨率并且在显示器710上的其他地方呈现更低的分辨率),或者校正失真(例如,对于要在显示器710上提供的图像)。
在各种具体实施中,该一个或多个光源722朝向用户25的眼睛发射光,该光以多个闪烁的形式反射。
在各种具体实施中,相机724是基于帧/快门的相机,其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵,所述像素对应于相机的光传感器矩阵的位置。在具体实施中,每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。
在各种具体实施中,相机724是包括在多个相应位置处的多个光传感器(例如,光传感器矩阵)的事件相机,该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。
应当理解,上文所描述的具体实施以示例的方式引用,并且本公开不限于上文已特别示出和描述的内容。相反地,范围包括上文所描述的各种特征的组合和子组合两者,以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。
如上所述,本发明技术的一个方面是收集和使用生理数据以改善用户在与电子内容进行交互方面的电子设备体验。在一些情况下,该所搜集的数据可包括个人信息。例如,此类信息可包括唯一地识别特定的人或可用于识别个体的兴趣、特性或行为的数据。此类信息数据可包括生理数据、人口数据、位置数据、个人设备的设备特性或任何其他个人信息。可为了用户的利益而使用此类信息。例如,个人信息数据用于改善电子设备的交互和控制能力。任何个人信息和/或生理数据都应当根据众所周知的隐私政策和/或隐私实践进行使用。此类策略和实践应当满足或超出行业或政府信息隐私和数据要求。此类信息的集合应当基于用户同意,并且应当仅用于合法和合理的用途。此外,所收集的个人信息不应当在那些合法的用途之外进行使用或共享,应采取合理措施以保护对信息的访问并确保该访问安全。
在一些具体实施中,用户可选择性地阻止对个人信息的访问和/或使用。可提供硬件或软件元件,以防止或阻止对此类信息的访问。例如,系统可被配置为使用户能够选择“加入”或“退出”个人信息的收集。在另一个示例中,用户可选择不提供用于特定目的诸如目标内容递送的个人信息。
虽然本公开广泛地涵盖个人信息的使用,但是也可实施各种具体实施而不需要访问此类个人信息。各种具体实施不会由于缺少此类个人信息的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置,从而选择内容并将该内容递送至用户。
在一些具体实施中,以仅允许数据的所有者访问数据的方式存储数据。例如,可使用公钥/私钥系统对数据诸如个人信息进行加密。在一些其他具体实施中,数据可匿名存储(例如,无需识别关于用户的个人信息,诸如法定姓名、用户名、时间和位置数据等)。这使其他人无法确定与所存储的数据相关联的用户的身份。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中,没有详细地介绍普通技术人员已知的方法、装置或系统,以便不使要求保护的主题晦涩难懂。
除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种对象,但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样,单数形式的“一个”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。
Claims (20)
1.一种方法,所述方法包括:
在包括处理器的设备处:
向用户呈现内容并在所述呈现期间或之后获得与所述用户的注视相关联的生理数据;
基于所获得的生理数据来确定注视特性的可变性;以及
基于对所述用户的所述注视特性的所述可变性进行分类来确定所述用户在所述呈现期间或之后具有第一注意力状态。
2.根据权利要求1所述的方法,还包括响应于确定所述第一注意力状态不同于针对所述内容预期的第二注意力状态而在所述呈现期间或之后呈现反馈。
3.根据权利要求1或2所述的方法,还包括:
基于第二内容与所述内容的相似性来识别所述第二内容;以及
基于确定所述用户具有所述第一注意力状态来向所述用户提供所述第二内容的推荐。
4.根据权利要求1至3中任一项所述的方法,还包括响应于确定所述第一注意力状态不同于针对所述内容预期的第二注意力状态而调整所述内容。
5.根据权利要求1至4中任一项所述的方法,其中所述注视特性是:
所述注视的方向;
所述注视的速度;或者
注视定点。
6.根据权利要求1至5中任一项所述的方法,其中所述注视特性得自扫视特性。
7.根据权利要求1至6中任一项所述的方法,其中所述生理数据包括眼睛的图像或眼电图(EOG)数据。
8.根据权利要求1至7中任一项所述的方法,其中使用统计技术或机器学习技术来对所述注视特性的所述可变性分类。
9.根据权利要求1至8中任一项所述的方法,其中基于将所述注视特性的所述可变性与阈值比较来对所述注视特性的所述可变性分类。
10.根据权利要求1至9中任一项所述的方法,其中所述设备是头戴式设备(HMD)。
11.根据权利要求1至10中任一项所述的方法,其中所述内容是向所述用户呈现的扩展现实(XR)环境。
12.根据权利要求1至10中任一项所述的方法,其中所述内容是向所述用户呈现的混合现实(MR)环境。
13.根据权利要求1至10中任一项所述的方法,其中所述内容是向所述用户呈现的真实世界环境。
14.根据权利要求1至13中任一项所述的方法,其中所述内容是冥想体验。
15.一种设备,所述设备包括:
非暂态计算机可读存储介质;和
一个或多个处理器,所述一个或多个处理器耦接到所述非暂态计算机可读存储介质,其中所述非暂态计算机可读存储介质包括程序指令,所述程序指令在所述一个或多个处理器上执行时,使所述系统执行包括以下操作的操作:
向用户呈现内容并在所述呈现期间或之后获得与所述用户的注视相关联的生理数据;
基于所获得的生理数据来确定在所述内容的段期间的注视特性;以及
基于对在体验的段期间的所述用户的所述注视特性进行分类来确定所述用户在所述体验的所述段期间具有第一注意力状态。
16.根据权利要求15所述的设备,其中所述程序指令使所述系统执行操作,所述操作包括响应于确定所述第一注意力状态不同于针对所述段预期的第二注意力状态而在所述呈现期间或之后呈现反馈。
17.根据权利要求15或16所述的设备,其中所述程序指令使所述系统执行操作,所述操作包括
基于第二内容与所述段的相似性来识别所述第二内容;以及
基于确定所述用户在所述段期间具有所述第一注意力状态来向所述用户提供所述第二内容的推荐。
18.根据权利要求15至17中任一项所述的设备,其中所述程序指令使所述系统执行操作,所述操作包括响应于确定所述第一注意力状态不同于针对所述段预期的第二注意力状态而调整对应于所述段的内容。
19.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储能够经由一个或多个处理器执行以执行操作的程序指令,所述操作包括:
向用户呈现内容并在所述呈现期间或之后获得与所述用户的注视相关联的生理数据;
基于所获得的生理数据来确定在所述内容的段期间的注视特性;以及
基于对在体验的段期间的所述用户的所述注视特性进行分类来确定所述用户在所述体验的所述段期间具有第一注意力状态。
20.根据权利要求19所述的非暂态计算机可读存储介质,其中所述操作还包括响应于确定所述第一注意力状态不同于针对所述段预期的第二注意力状态而在所述呈现期间呈现反馈。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063033898P | 2020-06-03 | 2020-06-03 | |
US63/033,898 | 2020-06-03 | ||
PCT/US2021/034185 WO2021247312A1 (en) | 2020-06-03 | 2021-05-26 | Eye-gaze based biofeedback |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116569124A true CN116569124A (zh) | 2023-08-08 |
Family
ID=76523473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180057733.7A Pending CN116569124A (zh) | 2020-06-03 | 2021-05-26 | 基于眼睛注视的生物反馈 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230259203A1 (zh) |
EP (1) | EP4162345A1 (zh) |
CN (1) | CN116569124A (zh) |
WO (1) | WO2021247312A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150213634A1 (en) * | 2013-01-28 | 2015-07-30 | Amit V. KARMARKAR | Method and system of modifying text content presentation settings as determined by user states based on user eye metric data |
US20190265802A1 (en) * | 2013-06-20 | 2019-08-29 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
US9958939B2 (en) * | 2013-10-31 | 2018-05-01 | Sync-Think, Inc. | System and method for dynamic content delivery based on gaze analytics |
US20190108191A1 (en) * | 2014-08-21 | 2019-04-11 | Affectomatics Ltd. | Affective response-based recommendation of a repeated experience |
US10120413B2 (en) * | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
CN104538407B (zh) * | 2015-01-14 | 2017-11-10 | 京东方科技集团股份有限公司 | 显示面板及其制备方法、显示装置 |
AU2017248362A1 (en) * | 2016-04-08 | 2018-11-22 | Vizzario, Inc. | Methods and systems for obtaining. analyzing, and generating vision performance data and modifying media based on the data |
-
2021
- 2021-05-26 WO PCT/US2021/034185 patent/WO2021247312A1/en active Application Filing
- 2021-05-26 CN CN202180057733.7A patent/CN116569124A/zh active Pending
- 2021-05-26 EP EP21733636.1A patent/EP4162345A1/en active Pending
-
2022
- 2022-12-01 US US18/072,796 patent/US20230259203A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021247312A1 (en) | 2021-12-09 |
EP4162345A1 (en) | 2023-04-12 |
US20230259203A1 (en) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110968189B (zh) | 作为认知控制信号的瞳孔调制 | |
US11782508B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
US11861837B2 (en) | Utilization of luminance changes to determine user characteristics | |
US20230282080A1 (en) | Sound-based attentive state assessment | |
US20230259203A1 (en) | Eye-gaze based biofeedback | |
US20240115831A1 (en) | Enhanced meditation experience based on bio-feedback | |
US20230418372A1 (en) | Gaze behavior detection | |
CN117120958A (zh) | 压力检测 | |
CN116997880A (zh) | 注意力检测 | |
EP4314998A1 (en) | Stress detection | |
CN117980867A (zh) | 基于对照明的生理响应的交互事件 | |
US20230229246A1 (en) | Optimization on an input sensor based on sensor data | |
CN117677345A (zh) | 基于生物反馈的增强型冥想体验 | |
US20230288985A1 (en) | Adjusting image content to improve user experience | |
WO2023049089A1 (en) | Interaction events based on physiological response to illumination | |
WO2023114079A1 (en) | User interactions and eye tracking with text embedded elements | |
WO2024058986A1 (en) | User feedback based on retention prediction | |
CN116547637A (zh) | 使用生理数据来检测用户与对象接触 | |
CN116507992A (zh) | 使用生理数据检测非预期用户界面行为 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |