CN108628437B - 用户意识测程法校正技术 - Google Patents
用户意识测程法校正技术 Download PDFInfo
- Publication number
- CN108628437B CN108628437B CN201810150692.6A CN201810150692A CN108628437B CN 108628437 B CN108628437 B CN 108628437B CN 201810150692 A CN201810150692 A CN 201810150692A CN 108628437 B CN108628437 B CN 108628437B
- Authority
- CN
- China
- Prior art keywords
- reduced
- perceived state
- correction
- reduced perceived
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
系统,装置和方法可提供用于基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况,基于一个或多个第二信号来检测相对于头戴式显示器的降低的感知状态,以及在降低的感知状态期间触发对姿势漂移状况的校正的技术。另外,降低的感知状态可对应于,例如,眨眼状况、扫视运动状况和/或增加的头部旋转速率。
Description
技术领域
实施例一般涉及测程法(odometry)校正技术。更具体地,实施例涉及在用户处于降低的感知状态时对测程法漂移校正的使用。
背景技术
增强现实(AR)和虚拟现实(VR)应用可随时间估计头戴式装置(headset)的运动(例如,旋转和平移)(“测程法”)。一些头戴式装置可基于由内而外的跟踪来操作(例如,微软全息眼镜)。由内而外的跟踪可能会缺少绝对的参考地标,并因此可能在用户的姿势中引入累积误差(“漂移”)。虽然可能存在校正漂移的方法,但是人类的感知可能会对这些校正引起的任何不一致或不连续非常敏感。
附图说明
通过阅读以下说明书和所附权利要求并通过参考以下附图,各实施例的各种优点对于本领域技术人员将变得显而易见,其中:
图1是根据实施例的基于用户姿势状况在所显示的图片中作出的改变的示例的例示;
图2A是根据实施例的操作半导体封装装置的方法的示例的流程图;
图2B是根据另一实施例的触发对姿势漂移状况的校正的方法的示例的流程图;
图2C是根据另一实施例的操作半导体封装装置的方法的示例的流程图;
图3A是根据实施例的头戴式系统的示例的框图;
图3B是根据实施例的系统的示例的框图;
图3C是根据实施例的包括具有可穿戴形状因子的外壳的系统的例示;
图4是根据实施例的处理器的示例的框图;以及
图5是根据实施例的计算系统的示例的框图。
实施例描述
图1例示出基于用户姿势状况在所显示的图片中作出的改变的示例。例如,当头戴式系统(例如,头戴式显示器/HMD)的用户处于如位置102所示的“正常”位置(即,头和身体处于静止位置,并且眼睛完全打开)时,用户能够看到未受干扰的图片104。一旦用户位置改变,例如,如位置106所例示的用户眨眼,当用户再次打开他或她的眼睛时,图片就会变得失真,如图片112中所显示的。例如,在如位置108所示的扫视期间,或当用户如位置110所示的那样旋转他或她的头时,以及当用户再次回到正常位置时,图片变得失真,如图片112所显示的。在眨眼、扫视和转头运动期间,图片112中的失真发生,因为视觉系统被抑制并且位置感知对不一致的视觉惯性信息更为容忍。如将更详细地讨论的,姿势漂移中的校正可在位置106、108和/或110中所反映的降低的感知状态期间进行。
图2A例示出根据实施例的操作半导体封装装置以实现漂移校正的方法201的示例的流程图。方法201可被实现为一组逻辑指令中的一个或多个模块,这组逻辑指令被存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等非瞬态机器或计算机可读存储介质中,存储在诸如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的可配置逻辑中,存储在使用诸如例如专用集成电路(ASIC)、互补式金属氧化物半导体(CMOS)的电路技术或晶体管-晶体管逻辑(TTL)技术的固定功能硬件逻辑或其任意组合中。
例如,实现方法201所示出的操作的计算机程序代码可以以一种或多种编程语言的任何组合来进行编写,包括诸如C#、Java或类似语言的面向对象编程语言。另外,逻辑指令可包括汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、用于集成电路的配置数据、个性化电子电路和/或源于硬件(例如、主机处理器、中央处理单元/CPU、微控制器等)的其他结构组件的状态信息。
所例示的处理框202提供用于基于一个或多个第一信号来检测相对于头戴式显示器(HMD)的姿势漂移状况。该一个或多个第一信号可由,例如,一个或多个漂移检测器来生成。框204可基于一个或多个第二信号来检测相对于HMD的降低的感知状态。该一个或多个第二信号可由,例如,感知监测器来生成。降低的感知状态可对应于,例如,眨眼状况和/或扫视运动状况。降低的感知状态还可对应于,例如,增加的头部旋转速率。在所例示的处理框206中,在降低的感知状态期间触发对姿势漂移状况的校正。
图2B例示出触发对姿势漂移状况的校正的方法203的示例的流程图。方法203可因此被合并到已经讨论过的框206中(图2A)。方法203可被实现为一组逻辑指令中的一个或多个模块,这组逻辑指令被存储在诸如RAM、ROM、PROM、固件、闪存等非瞬态机器或计算机可读存储介质中,存储在诸如例如PLA、FPGA、CPLD的可配置逻辑中,存储在使用诸如例如ASIC、CMOS的电路技术或TTL技术的固定功能硬件逻辑或其任意组合中。
所例示的处理框205,漂移校正装置针对降低的感知状态选择预分配值。预分配值可表示对于在该状态下改变姿势的人类感知容忍度。例如,系统可分配以下值:
针对眨眼状况,1cm和0.1o;
针对扫视运动状况,0.2cm和0.03o;以及
当不存在降低的感知状态时,0cm和0.0o。
在所例示的处理框207中,漂移校正装置将预分配值作为测程法校正应用于头戴式显示器。
图2C例示出响应于降低的感知状态的方法209的示例的流程图。方法209可因此被合并到已经讨论过的框204中(图2A)。方法209可被实现为一组逻辑指令中的一个或多个模块,这组逻辑指令被存储在诸如RAM、ROM、PROM、固件、闪存等非瞬态机器或计算机可读存储介质中,存储在诸如例如PLA、FPGA、CPLD的可配置逻辑中,存储在使用诸如例如ASIC、CMOS的电路技术或TTL技术的固定功能硬件逻辑或其任意组合中。
所例示的处理框211判定降低的感知状态是否不存在。如已经注意到的,框211可包括分析来自(例如,用于检测眨眼和/或扫视运动状况的)眼睛跟踪器、(例如,用于检测增加的头部旋转速率的)惯性测量单元等或其任意组合的一个或多个信号。如果降低的感知状态不存在,则框215可绕过对姿势漂移的校正。
图3A示出的是根据实施例的头戴式系统300的示例的框图。系统300一般可实现已讨论的方法201(图2A)、方法203(图2B)和/或方法209(图2C)的一个或多个方面。在所例示的示例中,系统300可包括生成一个或多个第一信号的漂移输入子系统302。输入子系统302可包括,例如,外部相机304和/或处理单元306(例如,CPU、数字信号处理器/DSP),其中相机304和处理单元306可响应于,例如,姿势漂移和/或HMD运动而检测和生成(多个)第一信号。因此,第一信号可包括由外部相机304生成的静止图像和/或视频帧、由处理单元306生成的姿势数据等等。
系统300还可包括生成一个或多个第二信号的感知监测器308。感知监测器308可包括,例如,响应于诸如眨眼状况和/或扫视运动状况之类的降低的感知状态而检测和生成一个或多个第二信号的内部相机和/或眼睛跟踪器310。感知监测器308还可包括,例如,响应于诸如增加的头部旋转速率之类的降低的感知状态而检测和生成(多个)第二信号的惯性测量单元(IMU)312。
系统300还可包括与漂移输入子系统302和感知监测器308通信地耦合的漂移校正装置314(例如,被配置为校正漂移的半导体封装装置)。装置314可包括,例如,衬底316(例如,硅、蓝宝石、砷化镓)和耦合到衬底316的逻辑318(例如,晶体管阵列和其他集成电路/IC组件)。逻辑318可包括可配置逻辑,固定功能逻辑硬件等或其任意组合。逻辑318还可包括从非瞬态计算机可读存储介质取回并在一个或多个处理器核上执行的逻辑指令。
图3B示出根据另一实施例的系统322的示例的框图。系统322一般可以是具有计算功能(例如,个人数字助理/PDA、笔记本计算机、平板计算机、服务器),通信功能(例如,智能电话),成像功能,媒体播放功能(例如,智能电视/TV),可穿戴功能(例如,手表、眼镜(eyewear)、头戴物、鞋、首饰),车载功能(例如,汽车、卡车、摩托车)等或其任何组合的电子设备/平台的一部分。在所例示的示例中,系统322包括用于向系统322供应电力的电源(例如,电池)332以及具有集成存储器控制器(IMC)330的处理器324(例如,主机处理器、中央处理单元/CPU)。IMC 326可与系统存储器336通信。系统存储器336可包括,例如被配置为诸如例如双列直插存储器模块(DIMM)、小型双列直插存储器模块(SODIMM)等的一个或多个存储器模块的易失性动态随机存取存储器(DRAM)。
所例示出的系统322还包括输入输出(IO)模块334,该IO模块334与处理器324一起在半导体衬底316上被实现为片上系统(SoC),其中IO模块334充当主机设备并且可与以下各项通信:例如,显示器319(例如,HMD、触摸屏、液晶显示器/LCD、发光二极管/LED显示器)、存储器设备338(例如,大容量存储)、IMU 312、外部相机304、内部相机310和无线接口电路340。IMC 330可包括存储在系统存储器336/存储器设备338和/或使处理器324能够与半导体封装装置314(图3A)类似地起作用的逻辑318中的指令(未示出),并且可实现已讨论的方法201、203和209(分别地图2A、2B和2C)的一个或多个方面。可用逻辑指令、可配置逻辑和/或固定功能逻辑硬件实现的逻辑318可任选地在系统322中的其他地方被实现。
因此,逻辑318可基于一个或多个第一信号来检测相对于显示器319的姿势漂移状况,基于一个或多个第二信号来检测相对于显示器319的穿戴者的降低的感知状态,并在降低的感知状态期间触发对姿势漂移状况的校正。在此方面,基于视觉(或惯性加视觉)的测程法可计算系统322的相对姿势(例如,“自运动(egomotion)”)。由于一般可能不存在针对该位置的绝对参考,因此测程法估计误差可沿运动累积(即,漂移)。可能存在若干方法来检测测程法漂移:一种方法是重定位。重定位包括标识不同特征并将它们与当前位置一起存储在设备存储器中。当那些特征被再次标识时,可(使用适当的几何变换)将所存储的位置与当前位置进行比较。第二种方法可以是在更大的数据集(例如,传感器所捕捉的所有数据)上并使用比可用于实时计算的更稳健的优化(例如,“光束法平差(bundleadjustment)”)来优化测程法计算。第三种方法可以是组合重定位与优化。在一个示例中,逻辑318基于降低的感知状态来选择预分配值并将该预分配值作为测程法校正应用于显示器319。
图3C示出根据实施例的包括具有可穿戴形状因子的外壳317的头戴式系统300。取决于情形,可穿戴形状因子可包括,例如,眼镜、头戴物或其他可穿戴形状因子。系统300还可包括已讨论的漂移输入子系统302、感知监测器308和漂移校正装置314。
图4例示了根据一个实施例的处理器核200。处理器核200可以是任何类型的处理器的核,诸如微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器、或用于执行代码的其他设备。尽管图4中仅例示了一个处理器核200,但处理元件可替换地包括一个以上图4中所例示的处理器核200。处理器核200可以是单线程核,或对于至少一个实施例,处理器核200可以是多线程的,因为处理器核200可包括每个核一个以上硬件线程上下文(或“逻辑处理器”)。
图4还例示了耦合到处理器核200的存储器270。存储器270可以是本领域技术人员已知的或以其他方式对本领域技术人员可用的各种各样的存储器(包括存储器层级的各个层)中的任何一种。存储器270可包括要由处理器核200执行的一个或多个代码213指令,其中代码213可实现已讨论的方法201、203和209(分别地图2A、2B和2C)。处理器核200遵循由代码213指示的指令的程序序列。每条指令可进入前端部分214并由一个或多个解码器220处理。解码器220可生成微操作(诸如,按预定义格式的固定宽度的微操作)作为其输出,或者可生成反映原始代码指令的其他指令、微指令或控制信号。所例示的前端部分214还包括寄存器重命名逻辑225和调度逻辑230,这些逻辑一般分配资源并将与转换指令相对应的操作进行排队以供执行。
处理器核200被示为包括具有一组执行单元255-1到255-N的执行逻辑250。一些实施例可以包括专用于特定功能或功能集的多个执行单元。其他实施例可包括仅一个执行单元或可执行特定的功能的仅一个执行单元。所例示的执行逻辑250执行由代码指令指定的操作。
在完成执行由代码指令指定的操作之后,后端逻辑260引退代码213的指令。在一个实施例中,处理器核200允许乱序执行,但是要求指令的有序引退。引退逻辑265可采取如本领域技术人员已知的各种形式(例如,重排序缓冲器等等)。以此方式,至少在由解码器生成的输出、由寄存器重命名逻辑225利用的硬件寄存器和表、以及由执行逻辑250修改的任何寄存器(未示出)方面,处理器核200在代码213的执行期间被转换。
尽管在图4中未例示,但处理元件可包括与处理器核200一起在芯片上的其他元件。例如,处理元件可包括与处理器核200一起的存储器控制逻辑。处理元件可包括I/O控制逻辑和/或可包括与存储器控制逻辑集成的I/O控制逻辑。处理元件也可以包括一个或多个高速缓存。
现在参考图5,所示为根据实施例的系统1000实施例的框图。图5中所示出的是多处理器系统1000,其包括第一处理元件1070和第二处理元件1080。尽管示出了两个处理元件1070和1080,但是要理解,系统1000的实施例还可包括仅一个此类处理元件。
系统1000被例示为点对点互连系统,其中第一处理元件1070和第二处理元件1080经由点对点互连1050相耦合。应当理解,图5中所例示的互连中的任何或全部可被实现为多分支总线而不是点对点互连。
如图5中所示,处理元件1070和1080中的每一者可以是包括第一和第二处理器核(即,处理器核1074a和1074b以及处理器核1084a和1084b)的多核处理器。此类核1074a、1074b、1084a、1084b可被配置成以与上面结合图4所讨论的方式类似的方式来执行指令代码。
每个处理元件1070、1080可包括至少一个共享高速缓存1896a、1896b(例如,静态随机访问存储器/SRAM)。共享高速缓存1896a、1896b可存储分别由处理器的一个或多个组件(诸如核1074a、1074b以及1084a、1084b)利用的数据(例如,对象、指令)。例如,共享高速缓存1896a、1896b可本地地高速缓存存储器1032、1034中所存储的数据以供处理器的各组件的更快速访问。在一个或多个实施例中,共享高速缓存1896a、1896b可包括一个或多个中级高速缓存,诸如2级(L2)、3级(L3)、4级(L4),或其他级的高速缓存,末级高速缓存(LLC),和/或其组合。
虽然被示出为仅具有两个处理元件1070、1080,但要理解,各实施例的范围并不受限于此。在其他实施例中,在给定的处理器中可存在一个或多个附加处理元件。替换地,处理元件1070、1080中的一者或多者可以是除处理器之外的元件,诸如加速器或现场可编程门阵列。例如,(诸)附加处理元件可包括与第一处理器1070相同的(诸)附加处理器、与第一处理器1070异构或不对称的(诸)附加处理器、加速器(诸如举例而言,图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列、或任何其他处理元件。在包括架构、微架构、热、功耗特性等一系列品质度量方面,处理元件1070、1080之间可存在各种差异。这些差异自身可有效地表现为处理元件1070、1080之中的不对称性和异构性。对于至少一个实施例,各种处理元件1070、1080可驻留在相同的管芯封装中。
第一处理元件1070可进一步包括存储器控制器逻辑(MC)1072以及点对点(P-P)接口1076和1078。类似地,第二处理元件1080可包括MC 1082以及P-P接口1086和1088。如图5中所示,MC 1072和1082将处理器耦合到相应的存储器,即存储器1032和存储器1034,这些存储器可以是本地附连到相应处理器的主存储器的部分。虽然MC 1072和1082被例示为集成到处理元件1070、1080中,但对于替换实施例,MC逻辑可以是处理元件1070、1080外部的分立逻辑,而不是被集成于其中。
第一处理元件1070和第二处理元件1080可分别经由P-P互连1076、1086耦合到I/O子系统1090。如图5中所示,I/O子系统1090包括P-P接口1094和1098。此外,I/O子系统1090包括将I/O子系统1090与高性能图形引擎1038耦合的接口1092。在一个实施例中,可使用总线1049将图形引擎1038耦合到I/O子系统1090。替换地,点对点互连可耦合这些组件。
进而,I/O子系统1090可经由接口1096耦合到第一总线1016。在一个实施例中,第一总线1016可以是外设组件互连(PCI)总线,或诸如高速PCI总线或另一第三代I/O互连总线之类的总线,尽管各实施例的范围并不受限于此。
如图5中所示,各种I/O设备1014(例如,相机、传感器)可与总线桥1018一起耦合到第一总线1016,该总线桥1018可将第一总线1016耦合到第二总线1020。在一个实施例中,第二总线1020可以是低引脚计数(LPC)总线。各种设备可以被耦合至第二总线1020,在一个实施例中,这些设备包括例如键盘/鼠标1012、网络控制器/(多个)通信设备1026(其进而可以与计算机网络通信),以及可包括代码1030的例如盘驱动器或者其他大容量存储设备的数据存储单元1019。代码1030可包括用于执行上述一种或多种方法的诸个实施例的指令。因此,所例示的代码1030可实现已讨论的方法201、203和209(图2A、2B和2C),并且可类似于已讨论的代码213(图4)。系统1000还可包括诸如例如,装置314(图3A)之类的情绪训练(emotional workout)装置。此外,音频I/O 1024可以被耦合到第二总线1020。
注意,构想了其他实施例。例如,系统可实现多分支总线或者另一此类通信拓扑,而不是图5的点对点架构。另外,替换地可使用比图5中所示的更多或更少的集成芯片来划分图5的各元件。此外,网络控制器/(多个)通信设备1026可被实现为HFI(主机结构接口),也被称为NIC(网络接口卡),其与处理元件1070、1080中的一个或多个集成在相同的管芯上或相同的封装中。
附加注解与示例:
示例1可包括头戴式系统,该头戴式系统包括显示器、相机、无线接口电路、电池、包括可穿戴形状因子的外壳、用于生成一个或多个第一信号的一个或多个漂移检测器、用于生成一个或多个第二信号的感知监测器、一个或多个处理器、存储器、以及用于存储指令的一个或多个存储设备,当指令被该一个或多个处理器中的至少一者执行时,使系统基于该一个或多个第一信号中的至少一者来检测相对于显示器的姿势漂移状况,基于该一个或多个第二信号中的至少一者来检测相对于显示器的穿戴者的降低的感知状态,以及在降低的感知状态期间触发对姿势漂移状况的校正。
示例2可包括示例1的系统,其中感知监测器包括眼睛跟踪器并且降低的感知状态将对应于眨眼状况。
示例3可包括示例1的系统,其中感知监测器包括眼睛跟踪器并且降低的感知状态将对应于扫视运动状况。
示例4可包括示例1的系统,其中感知监测器包括惯性测量单元并且降低的感知状态将对应于增加的头部旋转速率。
示例5可包括示例1的系统,其中指令在被执行时,使系统基于降低的感知状态来选择预分配值,将该预分配值作为测程法校正应用于显示器,并且在降低的感知状态不存在时绕过校正。
示例6可包括示例1到5中的任一项,其中可穿戴形状因子为眼镜形状因子。
示例7可包括半导体封装装置,包括衬底和耦合到该衬底的逻辑,其中该逻辑以可配置逻辑或固定功能硬件逻辑中的一个或多个来实现,该逻辑用于基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况,基于一个或多个第二信号来检测相对于头戴式显示器的降低的感知状态,以及在降低的感知状态期间触发对姿势漂移状况的校正。
示例8可包括示例7的装置,其中降低的感知状态将对应于眨眼状况。
示例9可包括示例7的装置,其中降低的感知状态将对应于扫视运动状况。
示例10可包括示例7的装置,其中降低的感知状态将对应于增加的头部旋转速率。
示例11可包括示例7到10中的任一项的装置,其中逻辑进一步用于针对降低的感知状态选择预分配值,并且将该预分配值作为测程法校正应用于头戴式显示器。
示例12可包括示例7到11中的任一项的装置,其中逻辑进一步用于在降低的感知状态不存在时绕过测程法校正。
示例13可包括操作半导体封装装置的方法,该方法包括基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况,基于一个或多个第二信号来检测相对于头戴式显示器的降低的感知状态,以及在降低的感知状态期间触发对姿势漂移状况的校正。
示例14可包括示例13的方法,其中降低的感知状态对应于眨眼状况。
示例15可包括示例13的方法,其中降低的感知状态对应于扫视运动状况。
示例16可包括示例13的方法,其中降低的感知状态对应于增加的头部旋转速率。
示例17可包括示例13到16中的任一项的方法,其中触发对姿势漂移状况的校正包括针对降低的感知状态选择预分配值,并且将该预分配值作为测程法校正应用于头戴式显示器。
示例18可包括示例13到17中的任一项的方法,其中触发对姿势漂移状况的校正进一步包括在降低的感知状态不存在时绕过测程法校正。
示例19可包括至少一个非瞬态计算机可读存储介质,该至少一个非瞬态计算机可读存储介质包括一组指令,如果该指令被计算设备执行,则使计算设备基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况,基于一个或多个第二信号来检测相对于头戴式显示器的降低的感知状态,并且在降低的感知状态期间触发对姿势漂移状况的校正。
示例20可包括示例19的至少一个非瞬态计算机可读存储介质,其中降低的感知状态将对应于眨眼状况。
示例21可包括示例19的至少一个非瞬态计算机可读存储介质,其中降低的感知状态将对应于扫视运动状况。
示例22可包括示例19的至少一个非瞬态计算机可读存储介质,其中降低的感知状态将对应于增加的头部旋转速率。
示例23可包括示例19到22中的任一项的至少一个非瞬态计算机可读存储介质,其中如果指令被执行,则使计算设备针对降低的感知状态选择预分配值,并且将该预分配值作为测程法校正应用于头戴式显示器。
示例24可包括示例19到23中的任一项的至少一个非瞬态计算机可读存储介质,其中如果指令被执行,则使计算设备在降低的感知状态不存在时绕过测程法校正。
示例25可包括半导体封装装置,该半导体封装装置包括用于基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况的装置,用于基于一个或多个第二信号来检测相对于头戴式显示器的降低的感知状态的装置,以及用于在降低的感知状态期间触发对姿势漂移状况的校正的装置。
示例26可包括示例25的装置,其中降低的感知状态将对应于眨眼状况。
示例27可包括示例25的装置,其中降低的感知状态将对应于扫视运动状况。
示例28可包括示例25的装置,其中降低的感知状态将对应于增加的头部旋转速率。
示例29可包括示例25到28中的任一项的装置,其中用于触发对姿势漂移状况的校正的装置进一步包括用于针对降低的感知状态选择预分配值的装置,以及用于将该预分配值作为测程法校正应用于头戴式显示器的装置。
示例30可包括示例25到29中的任一项的装置,其中用于触发对姿势漂移状况的校正的装置进一步包括用于在降低的感知状态不存在时绕过测程法校正的装置。
各实施例适用于与各种类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的例子包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、片上系统(SoC)、SSD/NAND控制器ASIC等等。另外,在一些附图中,信号导线是用线表示的。一些线可以不同以表示更具构成性的信号路径,具有数字标号以表示构成性信号路径的数目,和/或在一端或多端具有箭头以表示主要信息流向。但是,这不应以限制性方式来解释。相反,这种增加的细节可与一个或多个示例性实施例结合使用于便更容易地理解电路。任何所表示的信号线(不管是否具有附加信息)实际上可包括一个或多个信号,这些信号可在多个方向上传播且可用任何适合类型的信号方案来实现,例如用差分对来实现的数字或模拟线路、光纤线路,和/或单端线路。
已给出示例尺寸/模型/值/范围,尽管各实施例不仅限于此。随着制造技术(例如光刻法)随时间的成熟,可望能制造出更小尺寸的设备。另外,为了例示和说明的简单,与IC芯片公知的功率/接地连接和其它组件可在附图中示出也可不示出,并且这样做也是为了不使所述实施例的某些方面变得晦涩。此外,各种配置可以方框图形式示出以避免使各实施例变得晦涩,并鉴于相对于这些方框图配置的实现的具体细节很大程度地依赖于所述实施例实现的平台这一事实,即这些具体细节应当落在本领域内技术人员的眼界内。在阐述具体细节(例如电路)以描述示例性实施例的情形下,显然本领域内技术人员能不经过这些具体细节或对这些具体细节作出变化地实现各实施例。说明书由此被视为是说明性的而不是限制性的。
术语“耦合”在本文中被用于表示所讨论的组件之间的任何类型的直接或间接关系,且可应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外,术语“第一”、“第二”等等本文只用于便于讨论,没有特定时间的或按时间顺序的意义,除非另有陈述。
如在本申请和权利要求书中所使用的,由术语“一个或多个”联接的项列表可以意味着列举的项的任何组合。例如,短语“A、B或C中的一个或多个”可以意味着A;B;C;A和B;A和C;B和C;或A、B和C。
本领域内技术人员从前面的描述将可以理解,所述实施例的广泛技术可以用多种形式来实现。因此,尽管已结合其特定示例描述了所述实施例,然而所述实施例的真实范围不受此限,因为本领域内技术人员在研究附图、说明书和下面的权利要求书之后很容易理解其它的修正形式。
Claims (21)
1.一种头戴式系统,包括:
显示器;
相机;
无线接口电路;
电池;
外壳,所述外壳包括可穿戴形状因子;
一个或多个漂移检测器,用于生成一个或多个第一信号;
感知监测器,用于生成一个或多个第二信号;
一个或多个处理器;
存储器;以及
一个或多个存储设备,用于存储指令,所述指令在被所述一个或多个处理器中的至少一者执行时,使所述系统用于:
基于所述一个或多个第一信号中的至少一者来检测相对于所述显示器的姿势漂移状况;
基于所述一个或多个第二信号中的至少一者来检测相对于所述显示器的穿戴者的降低的感知状态;以及
在所述降低的感知状态期间触发对所述姿势漂移状况的校正,所述校正用于包括基于所述降低的感知状态下的感知容忍度选择预分配值以及将所述预分配值应用于所述显示器。
2.如权利要求1所述的系统,其特征在于,所述感知监测器包括眼睛跟踪器并且所述降低的感知状态对应于眨眼状况。
3.如权利要求1所述的系统,其特征在于,所述感知监测器包括眼睛跟踪器并且所述降低的感知状态对应于扫视运动状况。
4.如权利要求1所述的系统,其特征在于,所述感知监测器包括惯性测量单元并且所述降低的感知状态对应于增加的头部旋转速率。
5.如权利要求1所述的系统,其特征在于,所述指令在被执行时,使所述系统用于在所述降低的感知状态不存在时绕过所述校正。
6.如权利要求1到5中任一项所述的系统,其特征在于,所述可穿戴形状因子为眼镜形状因子。
7.一种半导体封装装置,包括:
衬底;以及
耦合到所述衬底的逻辑,其中所述逻辑以可配置逻辑或固定功能硬件逻辑中的一个或多个实现,所述逻辑用于:
基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况;
基于一个或多个第二信号来检测相对于所述头戴式显示器的降低的感知状态;以及
在所述降低的感知状态期间触发对所述姿势漂移状况的校正,所述校正用于包括基于所述降低的感知状态下的感知容忍度选择预分配值以及将所述预分配值应用于所述头戴式显示器。
8.如权利要求7所述的装置,其特征在于,所述降低的感知状态对应于眨眼状况。
9.如权利要求7所述的装置,其特征在于,所述降低的感知状态对应于扫视运动状况。
10.如权利要求7所述的装置,其特征在于,所述降低的感知状态对应于增加的头部旋转速率。
11.如权利要求7所述的装置,其特征在于,所述逻辑进一步用于在所述降低的感知状态不存在时绕过所述校正。
12.一种操作半导体封装装置的方法,包括:
基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况;
基于一个或多个第二信号来检测相对于所述头戴式显示器的降低的感知状态;以及
在所述降低的感知状态期间触发对所述姿势漂移状况的校正,所述校正包括基于所述降低的感知状态下的感知容忍度选择预分配值以及将所述预分配值应用于所述头戴式显示器。
13.如权利要求12所述的方法,其特征在于,所述降低的感知状态对应于眨眼状况。
14.如权利要求12所述的方法,其特征在于,所述降低的感知状态对应于扫视运动状况。
15.如权利要求12所述的方法,其特征在于,所述降低的感知状态对应于增加的头部旋转速率。
16.如权利要求12所述的方法,其特征在于,触发对所述姿势漂移状况的校正进一步包括在所述降低的感知状态不存在时绕过所述校正。
17.一种半导体封装装置,包括:
用于基于一个或多个第一信号来检测相对于头戴式显示器的姿势漂移状况的装置;
用于基于一个或多个第二信号来检测相对于所述头戴式显示器的降低的感知状态的装置;以及
用于在所述降低的感知状态期间触发对所述姿势漂移状况的校正的装置,所述校正包括基于所述降低的感知状态下的感知容忍度选择预分配值以及将所述预分配值应用于所述头戴式显示器。
18.如权利要求17所述的装置,其特征在于,所述降低的感知状态对应于眨眼状况。
19.如权利要求17所述的装置,其特征在于,所述降低的感知状态对应于扫视运动状况。
20.如权利要求17所述的装置,其特征在于,所述降低的感知状态对应于增加的头部旋转速率。
21.如权利要求17所述的装置,进一步包括:
用于在所述降低的感知状态不存在时绕过所述校正的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/463,799 | 2017-03-20 | ||
US15/463,799 US10191539B2 (en) | 2017-03-20 | 2017-03-20 | User aware odometry correction technology |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108628437A CN108628437A (zh) | 2018-10-09 |
CN108628437B true CN108628437B (zh) | 2023-08-01 |
Family
ID=63371950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810150692.6A Active CN108628437B (zh) | 2017-03-20 | 2018-02-13 | 用户意识测程法校正技术 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10191539B2 (zh) |
CN (1) | CN108628437B (zh) |
DE (1) | DE102018204213A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1640212A1 (en) * | 2004-09-28 | 2006-03-29 | Aisin Seiki Kabushiki Kaisha | Monitoring system for monitoring surroundings of vehicle |
CN106200901A (zh) * | 2016-06-24 | 2016-12-07 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5583590A (en) * | 1992-05-04 | 1996-12-10 | Wabash Scientific Corp. | Alert monitoring system |
US20040212546A1 (en) * | 2003-04-23 | 2004-10-28 | Dixon Brian S. | Perception-based management of color in display systems |
US9566441B2 (en) * | 2010-04-30 | 2017-02-14 | Medtronic, Inc. | Detecting posture sensor signal shift or drift in medical devices |
EP2748765B1 (en) * | 2011-08-25 | 2022-12-14 | Cornell University | Retinal encoder for machine vision |
US8963805B2 (en) * | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
US9370302B2 (en) * | 2014-07-08 | 2016-06-21 | Wesley W. O. Krueger | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment |
WO2015123774A1 (en) * | 2014-02-18 | 2015-08-27 | Sulon Technologies Inc. | System and method for augmented reality and virtual reality applications |
KR102253444B1 (ko) * | 2014-07-08 | 2021-05-20 | 삼성디스플레이 주식회사 | 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체 |
US9625990B2 (en) * | 2015-03-03 | 2017-04-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist systems including user eye tracking cameras |
US20160282626A1 (en) * | 2015-03-27 | 2016-09-29 | Osterhout Group, Inc. | See-through computer display systems |
US10007352B2 (en) * | 2015-08-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Holographic display system with undo functionality |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10401952B2 (en) * | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
-
2017
- 2017-03-20 US US15/463,799 patent/US10191539B2/en active Active
-
2018
- 2018-02-13 CN CN201810150692.6A patent/CN108628437B/zh active Active
- 2018-03-20 DE DE102018204213.6A patent/DE102018204213A1/de active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1640212A1 (en) * | 2004-09-28 | 2006-03-29 | Aisin Seiki Kabushiki Kaisha | Monitoring system for monitoring surroundings of vehicle |
CN106200901A (zh) * | 2016-06-24 | 2016-12-07 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
Also Published As
Publication number | Publication date |
---|---|
DE102018204213A1 (de) | 2018-09-20 |
US20180267602A1 (en) | 2018-09-20 |
CN108628437A (zh) | 2018-10-09 |
US10191539B2 (en) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3574407B1 (en) | No miss cache structure for real-time image transformations with data compression | |
US10877556B2 (en) | Eye tracking system | |
EP3574408B1 (en) | No miss cache structure for real-time image transformations | |
US9202280B2 (en) | Position estimation based rotation of switched off light source | |
US10672368B2 (en) | No miss cache structure for real-time image transformations with multiple LSR processing engines | |
US10948985B2 (en) | Retina space display stabilization and a foveated display for augmented reality | |
CN109643469B (zh) | 增强现实渲染的结构化内容 | |
US20200226028A1 (en) | Technology to enable secure and resilient recovery of firmware data | |
EP3866003A1 (en) | Deployment of bios to operating system data exchange | |
US9265415B1 (en) | Input detection | |
US11577161B2 (en) | Range of motion control in XR applications on information handling systems | |
CN108628437B (zh) | 用户意识测程法校正技术 | |
US11327561B1 (en) | Display system | |
WO2021168601A1 (en) | Implementing external memory training at runtime | |
WO2021232396A1 (en) | Accelerating system boot times via host-managed device memory | |
CN112584127A (zh) | 基于注视的曝光 | |
US20240104967A1 (en) | Synthetic Gaze Enrollment | |
US20240103618A1 (en) | Corrected Gaze Direction and Origin | |
US20240211039A1 (en) | Visual Axis Enrollment | |
JP7517772B2 (ja) | 性能強化コンピューティングシステム、半導体基板、コンピュータプログラム、及び、性能強化コンピューティングシステムを操作するための方法 | |
WO2024064378A1 (en) | Synthetic gaze enrollment | |
WO2023060459A1 (en) | Sample-adaptive 3d feature calibration and association agent | |
WO2024138044A1 (en) | Visual axis enrollment | |
CN117761893A (zh) | 经校正凝视方向和原点 | |
CN117714668A (zh) | 用于现场相机校准的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |