CN109491087A - 用于ar/vr/mr的模块化拆卸式可穿戴装置 - Google Patents

用于ar/vr/mr的模块化拆卸式可穿戴装置 Download PDF

Info

Publication number
CN109491087A
CN109491087A CN201811003882.1A CN201811003882A CN109491087A CN 109491087 A CN109491087 A CN 109491087A CN 201811003882 A CN201811003882 A CN 201811003882A CN 109491087 A CN109491087 A CN 109491087A
Authority
CN
China
Prior art keywords
assembly apparatus
wearable device
physical structure
viewer
mountable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811003882.1A
Other languages
English (en)
Other versions
CN109491087B (zh
Inventor
A·尼南
N·马门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN202211078807.8A priority Critical patent/CN115327780A/zh
Publication of CN109491087A publication Critical patent/CN109491087A/zh
Application granted granted Critical
Publication of CN109491087B publication Critical patent/CN109491087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明涉及用于AR/VR/MR的模块化拆卸式可穿戴装置。一种用于扩增媒体内容体验的可穿戴装置能够形成有可安装物理结构,所述可安装物理结构具有可移除安装位置和通过所述可移除安装位置可移除安装的组件装置。所述组件装置能够基于其中将操作所述可穿戴装置的特定类型的内容消费环境而特定地选择。在观看者在所述特定类型的内容消费环境中的内容消费对话中使用包含所述可安装物理结构和所述组件装置的所述可穿戴装置之后,只要所述组件装置随后从所述可安装物理结构移除,所述可安装物理结构就可以经受所述组件装置不会经受的装置清洗过程。

Description

用于AR/VR/MR的模块化拆卸式可穿戴装置
相关申请的交叉引用
本申请要求2017年9月11日提交的第62/556,915号美国临时申请和2017年12月4日提交的第17205123.7号欧洲专利申请的优先权,所述两个申请均以引用的方式并入本文中。
技术领域
本发明大体上涉及显示器系统,且具体地说,涉及用于扩增现实(AR)、虚拟现实(VR)、混合现实(MR)等等的模块化拆卸式可穿戴装置。
背景技术
支持AR、VR、MR等等的可穿戴装置可供观看者用于混合在装置显示器上的图像中描绘的虚拟对象与物理环境中的物理对象,或混合在装置显示器上的图像中描绘的虚拟对象与在不同显示器(例如,电影院显示器、电视等等)上的其它图像中描绘的其它虚拟对象。为了向观看者提供一种自然顺畅的用户体验,可穿戴装置可花费巨大的成本将大量精密且复杂的电气和光学组件集成到具有适用于穿戴的外观尺寸的总体系统中。
如果要用于大众娱乐场所,例如电影院,可穿戴装置将需要遵守严格的法律和行业准则,这些法律和行业准则用来约束这些装置应该如何进行清洁。因为可穿戴装置含有许多敏感的电气和光学组件,所以依照法律和行业准则的严格装置清洗过程很可能会因为在装置清洗过程中使用的液体、化学制剂高压力以及剧烈移动而损坏这些可穿戴装置并使它们劣化。
在这一部分中描述的方法是可以实行的,但不一定在先前就已经想到或实行。因此,除非另有指示,否则不应假设在这一部分中描述的任一种方法仅凭借它们包含在这一部分中就能够作为现有技术。类似地,除非另有指示,否则相对于一或多个方法所说明的问题不应假设为已被这一部分中的任何现有技术所辨识。
发明内容
本公开的一方面涉及一种用于扩增媒体内容体验的可穿戴装置,包括:具有一或多个可移除安装位置的可安装物理结构;通过所述一或多个可移除安装位置以可移除方式安装的一或多个组件装置;其中所述一或多个组件装置基于其中将操作所述可穿戴装置的特定类型的内容消费环境而特定地选择;其中在观看者在所述特定类型的内容消费环境中的内容消费对话中使用包含所述可安装物理结构和所述一或多个组件装置的所述可穿戴装置之后,只要所述一或多个组件装置在所述内容消费对话之后就接着从所述可安装物理结构移除,所述可安装物理结构就经受所述一或多个组件装置不会经受的装置清洗过程。
在本公开的另一方面中,一种方法包括:使一或多个组件装置可移除安装到可安装物理结构中,以形成用于特定类型的内容消费环境的可穿戴装置,其中所述一或多个组件装置被安装到所述可安装物理结构的一或多个可移除安装位置中,且具有在一或多个位置误差容限内的一或多个实际位置误差;校准所述一或多个组件装置以产生校准偏移,从而补偿在所述一或多个位置误差容限内的所述一或多个实际位置误差;至少部分地基于所述校准偏移,向所述可穿戴装置的观看者呈现媒体内容。
在本公开的又一方面中,提供一或多种非暂时性计算机可读存储媒体以存储软件指令,所述软件指令在由一或多个处理器执行时使所述方法被执行。
附图说明
借助于实例但非限制在附图的图中说明本发明,且附图中相似参考标号指代类似元件,且其中:
图1示出实例可安装物理结构的侧视图和透视图;
图2A到图2F示出实例可穿戴装置;
图3A和图3B示出用于可穿戴装置中的组件装置的装置校准的实例过程流;
图4示出实例过程流;以及
图5说明在其上可实施如本文中所描述的计算机或计算装置的实例硬件平台。
具体实施方式
本文中描述涉及用于扩增现实(AR)、虚拟现实(VR)、混合现实(MR)等等的模块化拆卸式可穿戴装置的实例实施例。在以下描述中,出于解释的目的,阐述许多特定细节以便提供对本发明的透彻理解。然而,很明显,可以在没有这些特定细节的情况下实践本发明。在其它情况下,并未详尽地描述熟知的结构和装置,以免不必要地封闭、模糊或混淆本发明。
本文中根据以下提纲描述实例实施例:
1.综述
2.可洗和不可洗组件
3.可安装物理结构
4.能够由外而内地跟踪的可穿戴装置
5.能够由内而外地跟踪的可穿戴装置
6.能够眼动跟踪的可穿戴装置
7.额外实例
8.装置校准
9.实例过程流
10.实施机构-硬件概述
11.等同方案、扩展方案、替代方案及杂项
1.综述
此概述呈现本发明的实例实施例的一些方面的基本描述。应注意,此概述并未深入或详尽地总结实例实施例的各方面。此外,应注意,此概述并非意图被理解为识别实例实施例的任何特别显著的方面或元件,也并非意图被理解为描绘实例实施例(具体来说)或本发明(一般来说)的任何范围。此概述仅以经精简和简化格式呈现涉及实例实施例的一些概念,并且应理解为仅是对随后的实例实施例的更详细描述的概念性序言。应注意,尽管本文中论述单独的实施例,但是本文中论述的实施例和/或部分实施例的任何组合可进行组合以形成其它实施例。
如本文中所描述的可穿戴装置可由支持VR、AR、MR等等的模块化拆卸式组件装置形成。组件装置中的一些或全部可借助于在用于形成可穿戴装置的可安装物理结构上的可移除安装位置而附接到可穿戴装置上和从可穿戴装置移除。另外,任选地或可替代地,组件装置中的任一个、一些或全部可单独地、以特定组件装置组合或在不同可穿戴装置中使用。另外,任选地或可替代地,组件装置中的任一个、一些或全部可共同或单独清洁。
在一些实施例中,可穿戴装置可为AR耳机,其包括存取媒体内容的成像器,所述媒体内容为基于位置的,或者可与在整体扩增电影院体验中提供的其它图像一起获得。
例如,成像器可用于提供位置依赖或位置独立的内容,所述内容可与物理场景互补。
另外,任选地或可替代地,为了增强电影院3D体验,可将无源光学系统或无源光学堆叠并入(例如,安装、夹持、构建等)到可穿戴装置中以分离在电影院显示器上呈现的3D彩色图像。成像器可用于提供可与3D彩色图像中所描绘的场景互补的额外媒体内容。
组件装置的模块化和可拆卸性允许针对不同内容消费环境来灵活地进行组合。并不是制作适用于所有内容消费环境的有效且昂贵的单个整体式装置,而是可以由观看者或电影院工作人员在现场个别地制作针对特定内容消费环境优化的不同可穿戴装置或具有不同组件装置组合的可穿戴装置。因此,可穿戴装置可被制成重量更小且浪费更少(例如,通过仅包含将用于特定内容消费环境的组件装置,等等)。
可穿戴装置可经特别设计以使可穿戴装置中将与观看者的头发、皮肤或体液物理接触(例如,从要求相对严格的清洗的管理法律法规的视角来看,与观看者的头发、皮肤或体液有显著物理接触)的部件成为在内容消费对话结束时可以移除以便清洗的单独模块化拆卸式组件装置。此类单独的模块化拆卸式组件装置可包含但不一定仅限于以下各者中的任一者、一些或全部:提供可移除安装位置的物理结构、与物理接触完全或基本隔离的光学组件、与物理接触完全或基本隔离的电子组件等。
相比之下,可以用轻柔的清洁操作(例如,简单的擦拭)来清洁的或不需要进行相对严格的装置清洗的电子和光学部件可被放置在与观看者的头发、皮肤或体液无物理接触或与观看者的头发、皮肤或体液无显著物理接触的模块化拆卸式组件装置中。此类单独模块化拆卸式组件装置可包含但不一定仅限于以下各者中的任一者、一些或全部:成像装置、媒体流装置、定位和映射装置、除插入式媒体存储和音频装置(例如,闪存驱动器、USB驱动器、耳塞、耳机、夹式麦克风等)以外的电子装置等等。
给定用于清洁在例如电影院的公共场所中使用的装置的严格法律和准则,单个整体式装置将包含多个电子和光学部件,且用相对严格的装置清洗过程清洗的成本过高,从而使得此类装置在大众娱乐场所中不具有商业可行性。用于形成如本文中所描述的可穿戴装置的模块化拆卸式设计可用于避免形成这种整体式装置,并避免需要清洗精密的电子和光学部件,从而使得并入AR显示器的扩增电影院体验具有商业可行性。
AR或VR跟踪系统还可至少部分地基于模块化拆卸式组件装置来实施。例如,在室外使用时,例如同时定位和映射(SLAM)装置的由内而外跟踪装置可附接到可穿戴装置上。在其中可以进行外部装置跟踪(例如,基于激光扫描和装置图像捕获的那些跟踪)的室内使用时,可以移除SLAM装置,从而大大减小可穿戴装置的体积和重量。简单的IR光源或光回射器可安置在用于外部装置跟踪的可穿戴装置上(或在跟踪时安置在可穿戴装置外),以便获取光源和回射器的图像、确定光源或回射器的位置并产生供可穿戴装置在AR或VR中使用的3D定位和映射数据。
这些技术所提供的模块化和灵活设计可使得这些AR或VR系统在许多内容消费环境中都具有商业可行性和可操作性,内容消费环境不必限于电影院中的扩增娱乐体验。并不是追求适用于所有使用情况或所有内容消费环境的单个有效系统,而是可以由终端用户或工作人员在现场以一种灵活的方式将可穿戴装置调适成适用于这些使用情况和内容消费环境。终端用户或工作人员可决定他们是否或何时想要获得用于个别使用情况或个别内容消费环境的特定组件装置。
因为组件装置可通过可移除安装位置附接到可穿戴装置和从可穿戴装置移除,所以这些组件装置可因为与可移除安装位置或实际附接操作相关联的细微移动或不准确性而定位和/或定向成具有位置误差容限(或位置容差)。
在VR/AR/MR对话开始时和/或在整个VR/AR/MR对话中,可执行装置校准以产生厂外校准偏移(non-factory calibration offsets)。厂外校准偏移可用于替换工厂设定校准偏移或与工厂设定校准偏移组合成将用于可穿戴装置的实际装置操作的整体校准偏移。
装置校准的过程流可基于主-代理模型或对等模型来实行。装置校准控制器的角色可被静态地指派给特定类型的组件装置(或通过特定类型的组件装置实施)或被动态地指派给特定组件装置,例如通过装置协商协议操作、通过装置选择协议操作、通过装置发现协议操作、根据装置附接时间的时间顺序、根据装置相关ID的数值顺序等等。
可穿戴装置的组件装置可独立地或自主地校准,例如同时或按任何顺序。另外,任选地或可替代地,组件装置可依序校准。
例如,如果组件装置A和B均存在于可穿戴装置中,且如果组件装置A依赖于组件装置B(例如,成像器在观看方向方面依赖于视线跟踪器、视线跟踪器在坐标值方面依赖于SLAM装置或外部装置跟踪器,等等),那么可以首先校准被依赖的组件装置,即本实例中的组件装置B,然后校准依赖于这一组件装置的另一组件装置。在一些实施例中,SLAM装置或外部装置跟踪器可在视线跟踪器之前接受校准。在其中通过外部装置跟踪器执行由外而内的装置跟踪的电影院中,可以先校准和/或对准外部装置跟踪器,然后(另外,任选地或可替代地)可进一步校准和/或对准所有可穿戴装置。
组件装置可合作性地一起接受校准,例如在对等模型中。可用装置校准结果或默认校准参数可通过控制器交换或点对点交换。在装置校准时产生的校准偏移可高速缓存或存储在存储器(例如,寄存器、高速缓存存储器、RAM、ROM、快闪存储器等)中。
在一些实例实施例中,如本文中所描述的机构形成媒体处理系统的一部分,包含但不限于以下各者中的任一者:基于云的服务器、移动装置、虚拟现实系统、扩增现实系统、抬头显示装置、头盔式显示装置、CAVE类系统、墙壁大小的显示器、视频游戏装置、显示装置、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于住宅的系统、通信装置、视频处理系统、视频编解码器系统、播音室系统、流媒体服务器、基于云的内容服务系统、手持式装置、游戏机、电视、电影院显示器、笔记本电脑、上网本、平板电脑、蜂窝无线电话、电子书阅读器、销售点终端、台式电脑、计算机工作站、计算机服务器、计算机查询一体机或各种其它种类的终端和媒体处理单元。
所属领域的技术人员将容易清楚对优选实施例的各种修改以及本文中所描述的通用原理和特征。因此,本公开并非意图限于所示的实施例,而应符合与本文中所描述的原理和特征相一致的最广泛范围。
2.可洗和不可洗组件
如本文中所描述的可穿戴装置可用于与AR、VR、MR等等相关的各种显示器应用。实例可穿戴装置包含但不一定仅限于以下各者中的一或多者:图像投影仪、AR显示器、HoloLens显示器、Magic Leap显示器、混合现实(MR)显示器、张量显示器、立体显示器、光场(LF)显示器、Immy显示器、Meta显示器、一副相对简单的AR眼镜等等。实例可穿戴装置和装置显示器可查询第62/484,157号美国临时专利申请(代理人案号:D17013USP1;60175-0303),申请名称为“扩增3D娱乐系统(AUGMENTED 3D ENTERTAINMENT SYSTEMS)”,由AjitNinan和Neil Mammen在2017年4月11日申请,所述申请的全部内容以引用的方式并入本文中,如同在本文中完整阐述。
可穿戴装置可采用模块化拆卸式设计,其中这些应用中所涉及的多个组件装置可并入到可安装物理结构(例如,眼镜框等)中或可从可安装物理结构移除,以形成可穿戴装置作为单个物理上整体互连的系统。此类可穿戴装置可用于多种内容消费环境中的一些或全部,例如大众娱乐场所、家庭环境等等。
当在内容消费对话中被观看者(例如,人类用户等)戴着时,可穿戴装置可相对于观看者(例如,观看者的头部等)的位置和/或定向相对静止或固定。因此,当观看者的头部做一个动作时,可穿戴装置与观看者的头部一起移动,而不会相对于观看者的头部进行运动或相对于观看者的头部仅具有极小运动。
如本文中所描述的可穿戴装置可在公共场所与特定组件装置的组合一起安放以供多个观看者在不同时间使用,所述公共场所例如电影院、博物馆、教师、展馆、播音室等。基于设置在可穿戴装置的物理结构上的对应的物理装置附接(或安装)机构,特定装置的组合可并入到可穿戴装置中。在例如电影院的大众娱乐环境中,可穿戴装置(例如,安装有特定组件装置的电影院眼镜等)可在第一时间在第一内容消费对话中戴在第一观看者的头部上,在第二不同时间在第二内容消费对话中戴在第二不同观看者的头部上,等等。
可穿戴装置包括在装置可洗性方面具有两种类型的组件装置。可穿戴装置中的第一类型的组件装置是与穿戴可穿戴装置的观看者的身体(例如,皮肤、眉毛、头发、例如汗液和泪液的体液,等等)有相对显著的物理接触的组件装置。可穿戴装置中的第二类型的组件装置是与观看者的身体无物理接触或与观看者的身体无显著物理接触的组件装置。
与观看者有显著物理接触的组件装置(例如,第一类型的组件装置等)可专门设计成可洗的。这些组件装置可能不包括任何敏感组件(例如,有源电气组件、有源光学组件等)。另外,任选地或可替代地,这些组件装置可包括处于物理外壳中而在装置清洗过程中不被损坏的敏感组件。
如本文中所使用,术语“可洗”可指代一种防液体的组件装置,所述组件装置可以用水等液体、工业清洁剂等化学制剂、装置清洗(例如,手动、机器等)方法、在装置清洗过程中施加的压力和移动等等清洗。可使用如本文中所描述的装置清洗过程来遵守法律和/或相关行业协会(例如,数字影院促进会(Digital Cinema Initiatives)或DCI等)的准则,以防红眼病等传染性疾病和/或去除在内容消费对话之后留在如本文中所描述的组件装置上的体液(或体液残余物)。
与观看者有显著物理接触的组件装置(例如,第一组件装置类型等)可能不包括任何电气有源组件,例如电池、电动组件等。另外,任选地或可替代地,组件装置可含有电气有源组件,但是这些电气有源组件在装置清洗过程中特定地为封闭的或全密封的,以使得在装置清洗过程中组件不被损坏。
类似地,与观看者有显著物理接触的组件装置可能不包括任何光学有源组件,例如激光源、有源光发射器等。另外,任选地或可替代地,组件装置可含有光学有源组件,但是这些光学有源组件在装置清洗过程中特定地为封闭的或全密封的,以使得在装置清洗过程中组件不被损坏。
与观看者无物理接触或与观看者无显著物理接触的组件装置(例如,第二类型的组件装置等)可被专门设计成不可洗或只能轻柔洗。这些组件装置可包括敏感组件(例如,有源电气组件、有源光学组件等)。另外,任选地或可替代地,这些组件装置可包括在暴露于或处于用于清洗可洗组件装置的装置清洗过程时可能会损坏的敏感组件。
如本文中所使用,术语“不可洗”或“轻柔洗”可指代一种可能不防液体的组件装置,所述组件装置不能用相对严格的装置清洗过程清洗,或者只能用不那么严格的清洗过程清洗,例如用供观看者或服务提供者使用的清洁布进行物理擦拭。
与观看者无物理接触或与观看者无显著物理接触的组件装置可包括电气有源组件,例如电池、电动组件等。另外,任选地或可替代地,此类组件装置可含有在暴露于或处于用于清洗可洗组件装置的装置清洗过程时可以封闭或全密封也可以不封闭或全密封的电气有源组件。
类似地,与观看者无物理接触或与观看者无显著物理接触的组件装置可包括光学有源组件,例如激光源、有源光发射器等。另外,任选地或可替代地,此类组件装置可含有在暴露于或处于用于清洗可洗组件装置的装置清洗过程时可以封闭或全密封也可以不封闭或全密封的光学有源组件。
形成如本文中所描述的可穿戴装置的一些或全部组件装置中的每一个可为模块化的且可从可安装物理结构中拆卸,所述可安装物理结构用于安装组件装置以形成物理上整体互连的系统。
如本文中所描述的技术可以不再需要针对多种不同类型的内容消费环境中的每一种制作昂贵的单个整体式装置。根据如本文所描述的技术,观看者或工作人员(例如,在现场、在运行时间、就在AR/VR/MR对话之前或在AR/VR/MR对话期间等)可通过向可安装物理结构添加/安装或从可安装物理结构移除/拆卸不同组件装置来进行特定组件装置的不同组合以适应不同内容消费环境,这取决于实际内容消费环境(或实际内容消费环境类型),而不是制作和使用可适用于多种不同类型的内容消费环境且可针对任何特定内容消费环境进行欠加工(under-engineered)或过度加工(over engineered)的昂贵的单个整体式装置。如本文中所使用,术语“内容消费环境”指代其中可借助于可穿戴装置消费与AR、VR、MR等有关的媒体内容的物理环境或娱乐场所。
3.可安装物理结构
图1示出实例可安装物理结构102的侧视图和透视图。可安装物理结构102充当支撑构件,一或多个组件装置可以可移除方式安装到所述支撑构件上以形成适用于特定显示器应用、特定内容消费环境等等的可穿戴装置。可安装物理结构102可具有规则或不规则形状、骨架形状、互连形状、连续形状、具有一或多个面积空隙(area void)或体积空隙(volume void)的形状、具有物理缺口的形状、物理钥匙图案等。
在一些实施例中,可安装物理结构102可具有一种在处于其中形成有可安装物理结构102的可穿戴装置用于消费媒体内容的内容消费对话中时被刚性设定的形状。在一些实施例中,可安装物理结构102可具有在不处于此类内容消费对话中时(例如,至少部分地,等等)可折叠或可以其它方式变形的形状。
借助实例但非限制,可安装物理结构102表示为包括框架前部104、镜腿106等的眼镜框。前部框架104可包括两个空间空隙108-1和108-2,其中右视图光学堆叠和左视图光学堆叠可永久性地装入或可以可移除方式安装。在一些实施例中,空间空隙108-1和108-2分别永久性或可移除地装有电光堆叠,例如透镜和其它电光组件。在一些实施例中,空间空隙108-1和108-2可表示可安装物理结构102的额外可移除安装位置。
可安装物理结构102可包括一或多个可移除安装位置110-1到110-8,如图1中所示。这些可移除安装位置可分布在可安装物理结构的各种部件(例如,镜腿106等)中,不一定仅限于前部框架104。
可移除安装位置指代可安装物理结构102中的用于安装(例如,进入等)在可安装物理结构102上或从可安装物理结构102移除(例如,弹出等)的特定部分或部件,所述可安装物理结构102是具有与用于组件装置安装或移除操作的可移除安装位置机械或非机械(例如,磁性,等等)相容的附接构件的组件装置。
例如,可移除安装位置可为但不限于用于(例如,刚性地、紧固地、巧妙地、紧密地、在用于附接和移除的最小误差内等等)安装(例如,装配、附接等)一或多种类型的组件装置的特定成形的凹入或突出容器。这些组件装置可具有相应成形的突出或凹入插入构件,其中的每一个与可移除安装位置的特定成形的凹入或突出容器匹配。另外,任选地或可替代地,这些组件装置可具有相容的附接和拆卸构件(例如,夹式机制等),它们与用于组件装置安装或移除操作的可移除安装位置机械或非机械(例如,磁性,等等)相容。另外,任选地或可替代地,当用于例如AR、VR、MR应用的视觉应用时,这些组件装置可在可移除安装位置处紧固地附接到可安装物理结构102上,并具有相对较高的空间精度(例如,在位置和/或定向方面,等等),例如通过锁定机构、磁体、配合形状、弹簧等等中的一或多个。
如本文中所描述的可移除安装位置可成形有或配备有它们个别的钥匙图案(如形成有特定物理形状或用特定物理形状实施)。例如,如本文中所描述的可移除安装位置的特定钥匙图案可仅接受用于安装的特定组件装置的特定成形插入构件,但是拒绝其它组件装置的(例如,全部等)其它成形插入构件。
并不是右侧组件装置,而是左侧组件装置可以被允许通过匹配左侧组件装置的左侧特定成形插入构件和可安装物理结构102的左侧可安装位置的左侧特定钥匙图案而插入到可安装物理结构102的左侧中。
相反地,并不是左侧组件装置,而是右侧组件装置可以被允许通过匹配右侧组件装置的右侧特定成形插入构件和可安装物理结构102的右侧可安装位置的右侧特定钥匙图案而插入到可安装物理结构102的右侧中。
在一些实施例中,自身未安装有任何装置的可安装物理结构102可以不包括任何电气组件。在一些实施例中,自身未安装有任何装置的可安装物理结构102可以不包括任何有源电气组件,但是可以包括或可嵌入有无源电气组件,例如金属(例如,铝、金、铜、金属合金等)或非金属(例如,基于薄膜、基于稀土元素、基于石墨烯、基于纳米管等)导电互连件,例如在可移除安装位置110-1到110-8中的一些或全部之间或当中。
在一些实施例中,自身未安装有任何装置的可安装物理结构102可以不包括任何光学组件。在一些实施例中,自身未安装有任何装置的可安装物理结构102可以不包括有源光学组件,但是可以包括或可嵌入有无源光学组件,例如透镜、镜、波导等等,例如以用于从附接在可移除安装位置110-1到110-8中的一或多个处的一或多个组件装置、向所述一或多个组件装置或通过所述一或多个组件装置接收、重新引导或注入光线。
在一些实施例中,自身未安装有任何装置的可安装物理结构102可包括有源电气组件或有源光学组件中的一或多个。这些有源组件中的一些或全部可在装置清洗过程中和/或在内容消费对话中为永久性封闭的(例如,全密封的,以防在装置清洗过程中接触清洗液体或化学制剂等)。另外,任选地或可替代地,这些有源组件中的一些或全部可为暂时封闭的(例如,一次性或可移除式遮盖、一次性或可移除式壳体等),以防这些组件在装置清洗过程中接触清洗液体或化学制剂和/或在内容消费对话中接触观看者的头发、皮肤、身体部位或体液。例如,清洗敏感的组件装置可被放在临时的一次性遮盖中,仅暴露附接部分以插入到可安装物理结构102中。临时的一次性遮盖可以防止观看者与组件装置产生显著到足以导致用相对严格的装置清洗过程清洗组件装置的物理接触。
4.能够由外而内地跟踪的可穿戴装置
图2A示出可由可移除方式安装在可安装物理结构(例如,图1的102,等等)上的一或多个模块化拆卸式组件装置形成的实例可穿戴装置122。在一些实施例中,可穿戴装置122包括右视图光学堆叠124-1、左视图光学堆叠124-2、右视图成像器126-1、左视图成像器126-2、一或多个光源134-1、134-2、134-3等。
如图2A中所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图2A中所描绘的组件/装置中的一些或全部可以通信方式(例如,以无线方式、以电感方式、在特用网络中、在通过使用一或多个装置感测和/或发现协议形成的网络中、利用有线连接等)与如图2A中所描绘的一些其它组件/装置或与在图2A中未描绘的其它组件/装置耦合。
在一些实施例中,如本文中所描述的可穿戴装置被戴在或安装在观看者112的头上。可穿戴装置(例如,122等)可表示或包含以下各者中的一或多者:眼镜框、耳机、移动电话的可穿戴外围设备、面罩、头盔、绑带附件、环、表带、头饰等。眼镜框可针对个别观看者进行个性化,或可具有设计成供相对较大的观看者群体穿戴或安装的通用大小(例如,最大大小、适合儿童的大小等)。借助实例但非限制,眼镜框用于(例如,以可移除方式、以不可移除方式等)将右视图光学堆叠124-1和左视图光学堆叠124-2分别装配在观看者112的右眼130-1和左眼130-2的前方。
另外,任选地或可替代地,眼镜框用于(例如,以可移除方式、以不可移除方式等)将右视图成像器126-1和左视图成像器126-2附接或安装(例如)在眼镜框的顶部框边上。另外,任选地或可替代地,眼镜框用于(例如,以可移除方式、以不可移除方式等)将SLAM装置128附接或安装(例如)在眼镜框的顶部横梁上。
右视图光学堆叠124-1可供可穿戴装置122的观看者112用于观看在电影院显示器或非电影院显示器上呈现的右视图图像。左视图光学堆叠124-2可供可穿戴装置122的观看者112用于观看在电影院或非电影院显示器上呈现的左视图图像。观看者112通过右视图光学堆叠124-1观看到的右视图图像和观看者112通过左视图光学堆叠124-2观看到的左视图图像形成立体图像。
右视图成像器126-1可供观看者112用于观看在组件装置显示器上呈现的右视图显示器图像,所述组件装置显示器由右视图成像器126-1和左视图成像器126-2虚拟地或物理地形成。左视图成像器126-2可供观看者112用于观看在组件装置显示器上呈现的左视图装置显示器图像。观看者112通过右视图成像器126-1观看到的右视图显示器图像和观看者112通过左视图成像器126-2观看到的左视图显示器图像形成立体(组件装置)显示器图像,所述立体(组件装置)显示器图像可与同一观看者112通过右视图光学堆叠124-1和左视图光学堆叠124-2观看到的立体图像互补。
在一些实施例中,组件装置显示器不是物理显示器,而是由右视图成像器126-1和左视图成像器126-2发出的光线形成的图像平面或虚拟显示器。更具体地说,右视图成像器126-1发出到达观看者112的右眼130-1的右视图光线以允许观看者112在视觉上地感知或观看到右视图显示器图像,就好像右视图显示器图像在组件装置显示器处显示一样。同样地,左视图成像器126-2发出到达观看者112的左眼130-2的左视图光线以允许观看者112视觉上感知或观看到左视图显示器图像,就好像左视图显示器图像在组件装置显示器处显示一样。
在一些实施例中,组件装置显示器116可位于与电影院或非电影院显示器参照观看者112的深度不同或相同的深度处。如本文中所使用,术语“深度”可指代观看者和显示器(例如,电影院或非电影院显示器、装置显示器等)的图像平面之间的(例如,前视等)空间距离。
在一些实施例中,组件装置显示器116可在位于观看者前方单个距离的单个图像平面处或在位于观看者前方多个不同距离(例如,通过时分复用等)的多个图像平面处显示或投射装置显示器图像。图像平面的这些距离可为固定的或可自动调节的。
例如,右视图成像器126-1和左视图成像器126-2可与透镜元件(例如,具有固定焦距、包含在右视图光学堆叠124-1和左视图光学堆叠124-2中,等等)一起用于向观看者112投射来自固定深度处的图像平面(或组件装置显示器)的右视图(组件装置)显示器图像和左视图(组件装置)显示器图像。
在另一非限制性实例中,右视图成像器126-1和左视图成像器126-2可与透镜元件(例如,具有固定焦距、具有可变焦距、包含在右视图光学堆叠124-1和左视图光学堆叠124-2中,等等)一起用于向观看者112投射来自多个固定深度处的图像平面(或组件装置显示器)的右视图和左视图(组件装置)显示器图像。
在一些实施例中,与可穿戴装置122或附接在其中的左视图成像器126-1和右视图成像器126-2一起操作或实施在它们中的装置图像呈现器可产生右视图和左视图显示器图像作为一组时间连续或时间同步的3D图像。
实例(组件)电影院或非电影院显示器、装置显示器、图像呈现器等等可查询:2016年10月31日申请的第62/414,901号美国临时专利申请,申请名称为“具有焦点可调节透镜的护目镜装置(EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES)”;2017年4月11日申请的第62/484,157号美国临时专利申请,申请名称为“扩增3D娱乐系统(AUGMENTED 3DENTERTAINMENT SYSTEMS)”,上述两个申请的全部内容以引用的方式并入本文中,如同在本文中完整阐述。
如本文中所描述的电光堆叠可包括一或多个光学和/或电光组件层,包含但不限于以下各者中的一或多者的组合:透光组件层、光反射组件层、滤光层、光调制层、微棱镜层、微透镜层、可变或固定透镜、分束器、合束器、光引擎、用于控制透光程度(或透射率)或光反射程度(反射率)的开关元件(例如,基于晶体管等),等等。
右视图光学堆叠124-1表示允许用于在电影院或非电影院显示器上呈现右视图图像的右视图光线——来自电影院或非电影院显示器——到达(或被传输到)观看者112的右眼130-1的电光堆叠。左视图光学堆叠124-2表示允许用于在电影院或非电影院显示器上呈现左视图图像的左视图光线——来自电影院或非电影院显示器——到达(或被传输到)观看者112的左眼130-2的电光堆叠。在运行时间,当右视图电影院显示器图像正在电影院或非电影院显示器上呈现时,右视图光学堆叠124-1对于右视图光线可为光学透明的;且当左视图图像正在电影院或非电影院显示器上呈现时,左视图光学堆叠124-2对于左视图光线可为光学透明的。
如本文中所描述的技术可用于支持利用各种右眼/左眼分离技术来呈现和观看3D图像,右眼/左眼分离技术包含但不限于基于互补色、线性偏振、圆偏振、快门镜、光谱空间分离等等的那些技术。前述右眼/左眼分离技术中的任一种可用于左视图光学堆叠124-1和右视图光学堆叠124-2以允许用于呈现左视图图像和右视图图像的光线分别到达观看者112的右眼130-1和左眼130-2——或分别到达在空间上分离达瞳孔间距132的眼部视觉甜蜜点(sweet spot)(例如,中央窝视觉)。
在一些实施例中,右视图光学堆叠124-1和左视图光学堆叠124-2可实施互补色3D技术以用于观看在电影院或非电影院显示器上呈现的右视图和左视图图像。右视图光学堆叠124-1和左视图光学堆叠124-2通过利用两个彩色滤光片进行滤光(例如,用于呈现一个图像的红色光和用于呈现另一图像的蓝绿光,等等)来提供右眼/左眼分离,所述彩色滤光片例如红色滤光片和蓝绿色滤光片。
在一些实施例中,右视图光学堆叠124-1和左视图光学堆叠124-2可实施线性极化3D技术以用于观看在电影院或非电影院显示器上呈现的右视图和左视图图像。右视图光学堆叠124-1和左视图光学堆叠124-2通过利用两个正交线性偏光片过滤线性偏振光(用于呈现一个图像的竖直偏振光和用于呈现另一图像的水平偏振光)来提供右眼/左眼分离,所述线性偏光片例如竖直偏光片和水平偏光片。
在一些实施例中,右视图光学堆叠124-1和左视图光学堆叠124-2可实施圆偏振3D技术以用于观看在电影院或非电影院显示器上呈现的右视图和左视图图像。右视图光学堆叠124-1和左视图光学堆叠124-2通过利用两个正交圆偏光片过滤圆偏振光(用于呈现一个图像的右偏振光和用于呈现另一图像的左偏振光)来提供右眼/左眼分离,所述圆偏光片例如右偏光片和左偏光片。
在一些实施例中,右视图光学堆叠124-1和左视图光学堆叠124-2可实施快门镜3D技术以用于观看在电影院或非电影院显示器上呈现的右视图和左视图图像。右视图光学堆叠124-1和左视图光学堆叠124-2通过使右眼和左眼的时间复用观看与个别的右侧图像和左侧的时间复用呈现同步来进行右眼/左眼快门(用于呈现一个图像的第一图像显示时间间隔和用于呈现另一图像的第二图像显示时间间隔),以提供右眼/左眼分离。
在一些实施例中,右视图光学堆叠124-1和左视图光学堆叠124-2可实施光谱空间分离3D技术以用于观看在电影院或非电影院显示器上呈现的左视图和右视图图像。右视图光学堆叠124-1和左视图光学堆叠124-2通过利用两个光谱滤光片(例如,通过第一组红色、绿色及蓝色光但拒绝第二组红色、绿色及蓝色光的第一滤光片和通过第二组红色、绿色及蓝色光但拒绝第一组红色、绿色及蓝色光的第二滤光片,等等)进行滤光(例如,用于呈现一个图像的第一组红色、绿色及蓝色光和用于呈现另一图像的第二组红色、绿色及蓝色光,其中第一组红色、绿色及蓝色光与第二组红色、绿色及蓝色光光谱分离,等等)来提供右眼/左眼分离。
在各种实施例中,相比于用于呈现右视图和左视图图像的那些左眼/右眼分离技术,右视图成像器126-1和左视图成像器126-2可使用相同或不同的用于呈现右视图和左视图(组件装置)图像的左眼/右眼分离技术。在实例中,可穿戴装置122可包括空间分离的右视图成像器126-1和左视图成像器126-2——例如,位置相距距离大致为瞳孔间距132——以分别向右眼130-1和左眼130-2投射右视图和左视图(组件装置)显示器图像。在另一实例中,可穿戴装置122可包括中心成像器(例如,安装在眼镜框的顶部横梁上,等等)以分别将右视图和左视图(组件装置)显示器图像传送或投射到右眼130-1和左眼130-2。
光源134-1到134-3可以可移除方式或以不可移除方式与可安装物理结构102的一或多个(例如,以机械方式等)刚性部件(例如,鼻梁架、顶部横梁、框边等)附接。当观看者112戴着可穿戴装置122时,光源134-1到134-3的空间位置相对于可穿戴装置122静止,但是可能并不相对于观看者112或可穿戴装置122位于其中的3D空间静止,因为观看者的身体或头部在移动。
如本文中所描述的光源可具有适配到可安装物理结构102上的容器中的附接机构,例如插入突片、键控机械部件等。在一些实施例中,附接机构可紧固地适配到容器中,且无法被观看者(例如,112,等等)轻易地或随意地移除。在一些实施例中,如本文中所描述的光源可永久性地附连到物理结构102上。
在各种实施例中,光源134-1到134-3中无一者或光源134-1到134-3中的一些或全部可为光发射器(例如,LED灯、红外光发射器等),所述光发射器发出将被安放在物理环境中的装置跟踪器捕获到装置跟踪图像中的光线,观看者112或可穿戴装置122位于所述物理环境中。另外,任选地或可替代地,光源134-1到134-3中无一者或光源134-1到134-3中的一些或全部可为光反射器,所述光反射器发出将被装置跟踪器捕获到装置跟踪图像中的光线。
例如,在一些实施例中,可穿戴装置122上的光源134-1到134-3全都是光反射器。装置跟踪器可包括激光扫描仪,所述激光扫描仪发出扫描激光束(例如,具有人类视觉不可见的光波长,等等)以扫描存在于物理空间中的可穿戴装置(例如,122,等等)的光源。可穿戴装置122上的光源134-1到134-3可为回射器(例如,将入射光线反射回到发送器或特定方向,等等)、散射反射器等,它们从激光扫描仪接收扫描激光束的入射激光光线并朝向激光扫描仪将这些入射光线重新引导/反射成反射光线。在一些实施例中,光反射器134-1到134-3可包括将接收到的激光光线转换成再生光线的光转换材料,例如量子点等。来自光源134-1到134-3的经反射或再生光线可聚焦或(任选地或可替代地)散射到激光扫描仪、与激光扫描仪一起操作的一或多个光传感器、与激光扫描仪一起操作的一或多个图像捕获装置等等上。来自光源134-1到134-3的经反射或再生光线可被捕获到装置跟踪图像中,如本文中所描述。
另外,任选地或可替代地,一或多个射频(RF)跟踪ID信号、一或多个光跟踪ID信号等可由单独装置(与可穿戴装置122一起操作,且安装在可穿戴装置122的观看者的就座空间处)发送,并由装置跟踪器的一或多个装置ID传感器捕获,以确定与可穿戴装置122有关的装置ID信息;所述单独装置可为静止的、以可移除方式或以不可移除方式附接到座椅上,等等。
在一些实施例中,可穿戴装置122上的光源134-1到134-3中的一个被选作或用作光发射器,而所有其余光源是光反射器。借助于说明而不是限制,光源134-1可被选作光发射器,其可包括以下各者中的一或多者:LED灯、激光发射器、具有光转换材料的光发射器等。其余光源(134-2和134-3)可为光反射器,每一个光反射器可包括以下各者中的一或多者:回射器、散射反射器等。光反射器134-1发出聚焦或(任选地或可替代地)散射到装置跟踪器中的一或多个跟踪图像传感器上的光线。同时,光反射器134-2和134-3从光源134-1接收入射光线并将这些入射光线重新引导/反射成反射光线。在一些实施例中,光反射器134-2和134-3可包括将接收到的激光光线转换成再生光线的光转换材料,例如量子点等。来自光源134-2和134-3的经反射/再生光线可聚焦或(或者,任选地或可替代地)散射到装置跟踪器中的跟踪图像传感器上。发出的光线、经反射/再生光线可被捕获到装置跟踪图像中,如本文中所描述。
另外,任选地或可替代地,来自如本文中所描述的光发射器的光线可以数字方式用可穿戴装置(102)的装置ID信息编码;来自光发射器或光反射器的以数字方式编码的光线的至少一部分可由一或多个跟踪传感器组合件(例如,124,等等)中的一或多个装置ID传感器捕获。
在一些实施例中,可穿戴装置122的光源134-1到134-3中的光发射器可以电气方式或以光电方式耦合到光发射控制器,所述光发射控制器可控制光发射器发出逻辑上表示用装置ID信息和任选地与可穿戴装置122有关的其它信息编码的一或多个装置ID信号的光线。
实例光源、装置跟踪等等可查询第62/484,131号美国临时专利申请(代理人案号:D17011USP1;60175-0301),申请名称为“无源多个可穿戴装置跟踪(PASSIVE MULTI-WEARABLE-DEVICES TRACKING)”,由Ajit Ninan和Neil Mammen在2017年4月11日申请,所述申请的全部内容以引用的方式并入本文中,如同在本文中完整阐述。
如本文中所描述的装置跟踪器的实例可包含但不一定仅限于以下各者中的任一者:外部装置跟踪器、内部装置跟踪器、由外而内的装置跟踪器、由内而外的装置跟踪器等。
5.能够由内而外地跟踪的可穿戴装置
图2B示出可由以可移除方式安装在可安装物理结构(例如,图1的102,等等)上的一或多个模块化拆卸式组件装置形成的实例可穿戴装置122-1。在一些实施例中,可穿戴装置122-1包括右视图光学堆叠124-3、左视图光学堆叠124-4、右视图成像器126-1、左视图成像器126-2、同时定位和映射(SLAM)装置128等。
如图2B中所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图2B中所描绘的组件/装置中的一些或全部可以通信方式(例如,以无线方式、以电感方式、在特用网络中、在通过使用一或多个装置感测和/或发现协议形成的网络中、利用有线连接等)与如图2B中所描绘的一些其它组件/装置或与在图2B中未描绘的其它组件/装置耦合。
借助实例但非限制,可安装物理结构102可为用于分别在观看者112的右眼130-1和左眼130-2的前方(例如,以可移除方式、以不可移除方式,等等)装配右视图光学堆叠124-3和左视图光学堆叠124-4的眼镜框。
另外,任选地或可替代地,眼镜框用于(例如,以可移除方式、以不可移除方式等)将右视图成像器126-1和左视图成像器126-2附接或安装(例如)在眼镜框的顶部框边上。另外,任选地或可替代地,眼镜框用于(例如,以可移除方式、以不可移除方式等)将SLAM装置128附接或安装(例如)在眼镜框的顶部横梁上。
右视图光学堆叠124-3和左视图光学堆叠124-4可供可穿戴装置122的观看者112用于观看观看者112或可穿戴装置122-1位于其中的物理环境。
右视图成像器126-1可供观看者112用于观看在组件装置显示器上呈现的右视图显示器图像,所述组件装置显示器由右视图成像器126-1和左视图成像器126-2虚拟地或物理地形成。左视图成像器126-2可供观看者112用于观看在组件装置显示器上呈现的左视图装置显示器图像。观看者112通过右视图成像器126-1观看到的右视图显示器图像和观看者112通过左视图成像器126-2观看到的左视图显示器图像形成立体(组件装置)显示器图像,所述立体(组件装置)显示器图像可描绘物体并提供互补信息,所述互补信息在空间上对准或描绘于同一观看者112通过右视图光学堆叠124-3和左视图光学堆叠124-4观看到的物理空间的特定物理位置处。
右视图成像器126-1和左视图成像器126-2可与透镜元件(例如,具有固定焦距、包含在右视图光学堆叠124-3和左视图光学堆叠124-4中,等等)一起用于向观看者112投射来自固定深度处的图像平面(或组件装置显示器)的右视图和左视图(组件装置)显示器图像。
在另一非限制性实例中,右视图成像器126-1和左视图成像器126-2可与透镜元件(例如,具有固定焦距、具有可变焦距、包含在右视图光学堆叠124-3和左视图光学堆叠124-4中,等等)一起用于向观看者112投射来自多个固定深度处的图像平面(或组件装置显示器)的右视图和左视图(组件装置)显示器图像。
右视图光学堆叠124-3和左视图光学堆叠124-4表示对于从存在于物理空间中的物理物体、个人等等发出的光光学透明的电光堆叠。
SLAM装置128可用于构造或更新观看者112或可穿戴装置122位于其中的物理环境(例如,内容消费环境、电影院、家庭娱乐室、场所、游乐园、旅游胜地、博物馆等)的3D地图。SLAM装置可包括以下各者或与以下各者一起操作:一或多个图像传感器(例如,相机元件等)、位置和/或定向传感器(例如,GPS单元、运动传感器等)、通信装置/接口(例如,以无线方式、基于有线连接、Wi-Fi、红外、蓝牙、基于激光、基于LED,等等)等等。图像传感器可供SLAM装置128用于获取物理环境的图像。位置和/或定向传感器可供SLAM装置128用于收集关于观看者112或可穿戴装置122在任何给定时间点的位置和/或定向的传感器数据。通信装置/接口可供SLAM装置128用于与可穿戴装置122的其它组件装置通信,并与基于云的服务器或内建式服务器(例如,内容消费环境中的装置图像呈现器、媒体流服务器、映射数据服务器、执行SLAM算法或分析的服务器,等等)和/或在可穿戴装置122外部或相对于可穿戴装置122远程的计算系统通信。在一些实施例中,SLAM装置128基于以下中的一些或全部而执行SLAM算法或分析:物理环境的图像、关于位置和/或定向的传感器数据和高速缓存在本地数据存储装置中或从外部服务器接收的地图信息等等,以在根据获取图像和传感器数据的时间测量的严格时间预算(例如,小于一毫秒、一毫秒、五毫秒等)内,同时获得观看者112或可穿戴装置122的位置(其可包含位置和定向两者)以及物理环境的地图(例如,2D地图、3D地图等)。另外,任选地或可替代地,在一些实施例中,相对于SLAM装置128远程的服务器可与SLAM装置128一起用于接收图像和/或传感器数据中的一些或全部并执行SLAM算法或分析中的一些或全部。
6.能够眼动跟踪的可穿戴装置
图2C和图2D示出可由以可移除方式安装在可安装物理结构(例如,图1的102,等等)上的一或多个模块化拆卸式组件装置形成的实例可穿戴装置122-2和122-3。
如图2C中所示,可穿戴装置122-2包括组件装置,例如右视图光学堆叠124-1、左视图光学堆叠124-2、右视图成像器126-1、左视图成像器126-2、一或多个光源134-1、134-2、134-3等,如图2A中所示;可穿戴装置122-2进一步包括右侧视线(或眼睛)跟踪器136-1和左侧视线(或眼睛)跟踪器136-2。
如图2D中所示,可穿戴装置122-3包括右视图光学堆叠124-3、左视图光学堆叠124-4、右视图成像器126-1、左视图成像器126-2、同时定位和映射(SLAM)装置128等,如图2B中所说明;可穿戴装置122-4进一步包括右侧视线跟踪器136-1和左侧视线跟踪器136-2。
如图2C和图2D中的每一个所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图2C和图2D中的每一个所描绘的组件/装置中的一些或全部可以通信方式(例如,以无线方式、以电感方式、在特用网络中、在通过使用一或多个装置感测和/或发现协议形成的网络中、利用有线连接等)与如图2C和图2D中的每一个所描绘的一些其它组件/装置或与在图2C和图2D中的每一个中未描绘的其它组件/装置耦合。
例如图2C和图2D的136-1或136-2的视线(或眼睛)跟踪器表示用于实时或近实时地跟踪观看者112的眼睛在任何给定时间的视线(或观看)方向的组件装置。为了跟踪眼睛的移动和/或视线方向,视线跟踪器可实施以下各者中的一或多者:嵌入镜方法、嵌入磁场传感器方法、视频眼震方法、眼电图方法、基于红外光或近红外光的瞳孔跟踪方法等,视线装置可包括以下各者或与以下各者一起操作:一或多个图像或非图像传感器、传感器数据分析器、通信装置/接口(例如,以无线方式、基于有线连接、Wi-Fi、红外、蓝牙、基于激光、基于LED,等等)等等。图像和/或非图像传感器可供眼睛跟踪器用于获取眼睛或眼睛的一些或全部部分(例如,虹膜、瞳孔、角膜、视网膜血管等等)的图像和/或非图像传感器数据。传感器数据分析器可供眼睛跟踪器用于分析图像和/或非图像传感器数据以确定眼睛的视线(或观看)方向,例如在根据获取图像和/或传感器数据的时间测量的严格时间预算(例如,小于一毫秒、一毫秒、五毫秒等)内。通信装置/接口可供视线跟踪器用于与可穿戴装置(例如,122-2、122-3,等等)的其它组件装置(包含但不限于跟踪观看者112的另一只眼睛的视线或观看方向的对应视线跟踪器)通信,并与基于云的服务器或内建式服务器(例如,内容消费环境中的装置图像呈现器、媒体流服务器等)和/或在可穿戴装置(例如,122-2、122-3,等等)外部或相对于可穿戴装置远程的计算系统通信。另外,任选地或可替代地,在一些实施例中,相对于视线跟踪器远程的服务器可与视线跟踪器一起用于接收图像和/或传感器数据中的一些或全部并执行视线跟踪算法或分析中的一些或全部。
7.额外实例
在一些实施例中,如本文中所描述的装置图像呈现器(未示出)可实施为与左视图成像器126-1和右视图成像器126-2分开的装置或可实施为左视图成像器126-1和右视图成像器126-2的一部分。装置图像呈现器以通信方式耦合到如本文中所描述的可穿戴装置(例如,122、122-1、122-2,等等)的一些或全部组件装置;接收由装置跟踪器或由具有可穿戴装置(例如,122、122-1、122-2,等等)的SLAM装置跟踪/监测的可穿戴装置(例如,122、122-1、122-2,等等)的位置和方向(或定向)数据;至少部分地基于可穿戴装置(例如,122、122-1、122-2,等等)的位置和方向数据,产生可穿戴装置(例如,122、122-1、122-2,等等)的一或多个(组件装置)显示器图像;利用可穿戴装置(例如,122、122-1、122-2,等等)的左视图成像器126-1和右视图成像器126-2在组件装置显示器上呈现显示器图像;等等。装置图像呈现器可利用可穿戴装置(例如,122、122-1、122-2,等等)的左视图成像器126-1和右视图成像器126-2和/或其它本地或远程装置通过一或多个数据连接传送控制信息、状态信息、位置和方向数据、图像数据,例如显示器图像、元数据等。实例数据连接可包含但不限于无线数据连接、有线数据连接、基于射频的数据连接、蜂窝式数据连接、Wi-Fi数据连接、基于红外的数据连接、通过HDMI电缆的数据连接、通过光缆的数据连接、通过高速串行接口(HSSI)的数据连接、高清串行数字接口(HD-SDI)、12G-SDI、USB电缆等等。
实例(装置)图像呈现器、电影院或非电影院图像呈现、(组件装置)显示器图像呈现等等可查询:第62/484,121号美国临时专利申请(代理人案号:D16152BUSP1;60175-0298),申请名称为“分层式扩增娱乐体验(LAYERED AUGMENTED ENTERTAINMENTEXPERIENCES)”,由Ajit Ninan、Neil Mammen和Tyrome Brown在2017年4月11日申请;第62/484,148号美国临时专利申请(代理人案号:D17012USP1;60175-0302),申请名称为“调适可穿戴装置的视频图像(ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES)”,由Ajit Ninan和Neil Mammen在2017年4月11日申请,所述申请的全部内容以引用的方式并入本文中,如同在本文中完整阐述。
图2E示出可穿戴装置122-4,其中组件装置附接到可穿戴装置122-4的另一组件装置上的可移除安装位置上。
如图所示,可穿戴装置122-4包括成像器126,所述成像器126安装在可穿戴装置122-4的第一可移除安装位置上,第一可移除安装位置例如位于用作可穿戴装置122-4中的可安装物理结构的眼镜框的顶部横梁处。
在一些实施例中,如本文中所描述的组件装置可包括零个、一或多个可移除安装位置。例如,成像器126可以与第二可移除安装位置在一起。SLAM装置(例如,128,等等)可安装到成像器126的第二可移除安装位置上以成为可穿戴装置122-4的一部分。
图2F示出其中组件装置密封到可穿戴装置的可安装物理结构102中的可穿戴装置。如图所示,眼镜框的镜腿106可嵌入有组件装置。组件装置可为但不一定仅限于内置式扬声器138。内置式扬声器138可通过位于眼镜框的镜腿中的密封部件140密封(例如,完全地、密闭地等)。在包含内置式扬声器138的眼镜处于装置清洗过程中时,密封部件140可使内置式扬声器138免于与液体或化学制剂物理接触。
在一些实施例中,密封部件140可由声传输材料142制成,例如能够以所有人类可以听到的声频中的一些或全部传输声音的刚性材料。通过密封部件140的声传输材料142传输的声音可进一步通过戴着可穿戴装置的观看者的头骨结构(其与声传输材料142物理接触)而传播到观看者的耳中。
因此,在一些实施例中,作为可穿戴装置的一部分的一或多个组件装置可以不可移除方式(或永久性地)并入为如本文中所描述的可安装物理结构的一部分。以不可移除方式并入的组件装置可为内置式扬声器、视线跟踪器、光学堆叠、成像器、SLAM装置等。
另外,任选地或可替代地,组件装置的一部分可以不可移除方式并入到可安装物理结构中,但是组件装置的其余部分可直接或间接地可移除安装到可安装物理结构上。例如,成像器的光波导可用于接收从成像器的光引擎产生的光线。成像器的光波导可嵌入有整体物理结构,而成像器中包含但不限于光引擎的其它部分可并入到单独的可移除安装组件装置中。
除了可移除安装到将并入到可穿戴装置中的组件装置上的机械功能之外,如本文中所描述的可移除安装位置还可并入其它功能。在一些实施例中,可移除安装位置可并入电气功能(例如,电气接口等),例如数据连接器等。例如,一旦组件装置安装在可移除安装位置处,有线数据连接就可通过组件装置和其它组件装置之间的数据连接器实现。另外,任选地或可替代地,可移除安装位置还可并入光学功能(例如,光学接口等),例如光学连接器等。例如,一旦组件装置安装在可移除安装位置处,光就可通过组件装置和其它组件装置之间的光学连接器接收和/或传输。
根据如本文所描述的技术,可穿戴装置可相对有效地由最终用户(例如,电影院中的观看者、家庭娱乐室中的观看者、在任何物理环境中行走的观看者等)向可穿戴装置或其中的可安装物理结构添加或从其移除模块化拆卸式组件装置来形成。
一或多个组件装置——例如以下各者中的一或多者:成像器、SLAM装置、视线跟踪器、专门配置成在室外使用的光学堆叠、专门配置成在室内使用的光学堆叠、专门配置成用于在电影院使用的光学堆叠、配置成用于多种用途(在多种不同物理环境中)的光学堆叠、用于装置跟踪的红外或非红外光源、RF组件装置、其它电子部件等等——可借助于可安装物理结构和已经被观看者组装到可穿戴装置中的组件装置上的可移除安装位置而紧固地(例如,适合地、以相对较高的空间精度,等等)直接或间接附接到可穿戴装置的可安装物理结构上。
可移除安装在可穿戴装置上的组件装置在可穿戴装置不需要这些组件装置在其中将使用可穿戴装置的目标物理环境中操作的情况下可被观看者从可穿戴装置中移除。
因此,特定模块化拆卸式组件装置的组合可分别组装并用于不同的特定目标物理环境。观看者可轻易地在相对较短的时间间隔(例如,小于一分钟、一分钟左右、几分钟等)内将这些组件装置组装到可穿戴装置中,以形成适用于不同的特定目标物理环境的经个别配置的可穿戴装置。
在一些物理环境中,例如在电影院、室内、家庭娱乐场景等等中,由外而内的装置跟踪可由外部装置跟踪器执行,所述外部装置跟踪器跟踪由与可穿戴装置安置在一起或安置在可穿戴装置上的光源形成的图像。在这些环境中,可在这些可穿戴装置上移除/拆卸执行由内而外的装置跟踪(与利用外部装置跟踪器执行的由外而内的装置跟踪相反)的相对较大SLAM装置,或以其它方式使SLAM装置不存在于这些可穿戴装置上。当在这些环境中从可穿戴装置中移除SLAM装置或以其它方式使SLAM装置不存在时,通常较大且电光复杂的SLAM装置不经受(例如,严格的,等等)装置清洗过程、液体或化学制剂。此外,当在这些环境中通过由外而内的跟踪跟踪可穿戴装置时,可穿戴装置不需要实施由内而外的装置跟踪和相关的复杂功能性。可穿戴装置可并入相对简单的组件,并与这些简单组件共同占用相对较小或不那么大的外观尺寸,从而使得观看者或向观看者提供可穿戴装置的至少一些部分的电影院工作人员能够易于处理、组装、拆卸、重新组装和清洗可穿戴装置。
另外,任选地或可替代地,可穿戴装置上剩余的组件装置可附接到可穿戴装置上,其方式为对装置清洗过程更敏感的组件装置(例如,有源光学和/或电气组件没有全密封的那些组件装置等)定位/定向成不接触或最低程度地接触观看者的头发、皮肤或体液,而对装置清洗过程不敏感的组件装置(例如,不具有光学和/或电气组件、不具有有源光学和/或电气组件或其中有源光学和/或电气组件被全密封的那些组件装置等)可定位/定向以相对较高程度或相对较大范围与观看者进行物理接触。
设想电影院工作人员提供由电影院中的观看者在不同观看时间共享的成像器。这些成像器可包括敏感的电气和/或光学组件(例如,有源电气组件、有源光学组件等)。法律和行业准则会规定与观看者的头发、皮肤和体液具有相对紧密的物理接触的任何装置必须具有相对严格的装置清洗过程。由多个观看者共享的每一个成像器可模块化到单个物理外壳中并以可移除方式附接到一个可穿戴装置的可安装物理结构上。成像器可定位/定向成不接触或最低程度地接触观看者的头发、皮肤或体液以遵守法律和行业准则。尽管可穿戴装置中与观看者具有更紧密的物理接触的部分必须经受装置清洗过程,但是成像器可以不经受或经受相对轻柔的清洗(例如,观看者用一次性湿布擦拭等),同时不会违反法律和/或行业准则。
另外,任选地或可替代地,在一些实施例中,用于非电影院物理环境的由观看者私有的成像器可被观看者带入例如电影院的装置共享环境以获取扩增3D内容。
当在其中外部装置跟踪器可用于跟踪观看者的可穿戴装置的内容消费环境(例如,电影院)中操作时,并不是在可穿戴装置中可能不存在的SLAM装置,而是外部装置跟踪器可以与成像器和/或装置图像呈现器交互操作以呈现图像,所述图像在空间上正确地对准到观看者通过分开的光学堆叠(例如,124-1和124-2,等等)感知到的物理或虚拟场景中的物体或位置。
当在其中外部装置跟踪器不可用于跟踪观看者的可穿戴装置的其它物理环境中操作时,附接到可穿戴装置上的SLAM装置可与成像器交互操作以呈现图像,所述图像在空间上正确地对准到观看者通过分开的光学堆叠(例如,124-3和124-4,等等)感知到的物理或虚拟场景中的物体或位置。
成像器可实施相同成像引擎以与执行由内而外的跟踪的SLAM装置通信或与执行由外而内的跟踪的外部装置跟踪器通信。即使一些其它数据是至少部分地基于装置跟踪数据而产生,但是装置跟踪数据可以从外部装置跟踪器或SLAM装置流式传输到成像器,这取决于是否存在外部装置跟踪器或SLAM装置用于执行装置跟踪。
应注意,在各种实施例中,作为电影院的添加或替代,外部或由外而内的装置跟踪可用于其它物理环境。例如,家庭娱乐场景可实施外部或由外而内的装置跟踪,并向存在于家庭娱乐场景中的可穿戴装置或其成像器和/或其它组件装置提供/流式传输装置跟踪数据。因此,如本文中所描述的技术可用于在多种物理环境中获取和消费扩增内容,例如扩增3D内容。
8.装置校准
尽管组件装置可通过可安装物理结构上和/或已经附接的组件装置上的可移除安装位置附接到可穿戴装置上和从可穿戴装置移除,但是这些组件装置可定位和/或定向成相对于针对可穿戴装置静止的空间坐标系具有位置误差容限(或位置容差)。对于能够以相对较高的空间精度(例如,在位置和/或定向方面等)操作的这些组件装置,可以使用校准操作来确定补偿这些误差所需要的校准偏移。
例如,成像器可用于如本文中所描述的可穿戴装置中以呈现与通过和成像器分开的光学堆叠观看到的电影院或非电影院图像叠加(或叠置)的(组件装置)显示器图像。显示器图像中所描绘的物体、所描绘的人等等在空间上应该准确地位于或对准于电影院或非电影院图像中的对应空间位置和/或定向,以便向可穿戴装置的观看者提供相对较高质量的用户体验。例如,显示器图像中描绘的苹果在空间上应该准确地(例如,在大小、深度、几何形状等方面)位于或对准于例如对应于电影院或非电影院图像中描绘的桌子的空间位置和/或定向的空间位置和/或定向。
另外,任选地或可替代地,在一些内容消费情形中,成像器可用于呈现与通过和成像器分开的光学堆叠观看到的物理环境中的物理物体、个人等等叠加(或叠置)的显示器图像。显示器图像中所描绘的物体、所描绘的人等等在空间上应该准确地位于或对准于物理环境中的对应空间位置和/或定向。例如,显示器图像中描绘的苹果在空间上应该准确(例如,在大小、深度、几何形状等方面)位于或对准于例如对应于物理环境中的桌子的空间位置和/或定向的空间位置和/或定向。
如本文中所描述的成像器可使用多种AR显示装置校准方法中的一或多种来校准。例如,测试图像(或合成图像)可在校准操作时或动态地(例如,在VR/AR/MR对话期间等)由成像器呈现,以确定或测量在显示器图像中在空间上准确地描绘物体、个人等等所需要的校准偏移(例如,在水平和/或竖直移位的像素数目、旋转角度、分数像素移位等方面)。另外,任选地或可替代地,在物理环境中具有预设(或已知)空间位置和/或定向的位置或物体(例如,物理物体、所描绘的物体、物理基准标记、在显示屏的已知位置处描绘的基准标记、测试图像模式等)可用于校准和对准物理环境中的成像器。校准和对准的结果可用于产生校准偏移以供成像器补偿在成像器附接到可穿戴装置上时的任何误差。
如本文中所描述的视线(或眼睛)跟踪器可使用多种视线跟踪器校准方法中的一或多种来校准。例如,在电影院中,具有预设空间位置的视觉刺激可用于吸引观看者观看,同时可以产生和分析观看者的眼睛和/或眼睛移动的图像或传感器数据。校准结果可用于产生校准偏移以供视线跟踪器中的每一个补偿在视线跟踪器附接到可穿戴装置上时的任何误差。
如本文中所描述的SLAM装置可使用多种SLAM装置校准方法中的一或多种来校准。例如,在电影院中,具有在物理环境的坐标系中的预设坐标值的空间位置可供SLAM装置用于产生位置传感器数据、确定/估计空间位置的坐标值,并比较经估计坐标值与预设坐标值。校准或比较的结果可用于产生校准偏移以供SLAM装置补偿在SLAM装置附接到可穿戴装置上时的任何误差。
相同类型的组件装置在制造过程中产生的空间精度可能不同。在一些实施例中,工厂设定校准偏移可通过在工厂执行的组件装置的装置校准产生。工厂设定校准偏移可利用组件装置或在服务器处存储。组件装置可以可移除方式安装到用于内容消费环境中的VR/AR/MR对话的可穿戴装置中。由于在将组件附接到可穿戴装置上的对应可移除安装点上时存在容差和细微移动,工厂设定校准偏移可为无效的。在VR/AR/MR对话开始时和/或在整个VR/AR/MR对话中,可执行空间装置校准以产生厂外校准偏移。厂外校准偏移可用于替换工厂设定校准偏移或与工厂设定校准偏移组合成将用于可穿戴装置的实际装置操作的有效校准偏移。例如,当成像器附接到可穿戴装置中时,位置和/或定向误差可被引入到光投射或光波导中,以使像素从正确位置移位或旋转。由于位置和/或定向误差,成像器可将意图用于对应于特定像素位置的微光纤(在光波导中)的光注入或引导到对应于不同像素位置的不同微光纤(在光波导中)。有效校准偏移可用于校正这些位置和/或定向误差,并使得成像器能够显示其中所描绘的物体对准于正确的空间位置的图像。
在一些实施例中,如本文中所描述的可穿戴装置的组件装置中的一些或全部可独立且自主地执行它们个别的空间装置校准操作。例如,这些组件装置中的每一个可独立且自主地执行它个别的空间装置校准操作,且完全不需要与其它组件装置交换状态或与装置校准操作有关的信息。
在一些实施例中,如本文中所描述的可穿戴装置的组件装置中的一些或全部可联合且合作性地执行它们个别的空间装置校准操作。这些组件装置可与其它组件装置交换状态或与装置校准操作有关的信息。在非限制性实例中,SLAM装置可将物理环境中的物理物体的坐标值传递到其它组件装置,例如视线跟踪器,以供视线跟踪器产生将用于确定或估计观看者的眼睛的观看方向的校准偏移。在另一非限制性实例中,成像器和视线跟踪器可使它们个别的校准偏移同步,其方式为观看者的眼睛的观看方向在由视线跟踪器确定时可有效且准确地映射到特定位置,例如与成像器相关联的装置显示器上的像素位置。
在一些实施例中,观看者或工作人员可按任何顺序将形成可穿戴装置的组件装置中的一些或全部附接到可安装物理结构上。组件装置中的一些或全部中的每一个可包括它个别的处理引擎,所述处理引擎支持如本文中所描述的空间装置校准操作中的一些或全部。组件装置的个别处理引擎可经配置以检测组件装置当前是否(例如,紧固地、操作性地,等等)附接到可穿戴装置。
在组件装置实施装置校准控制器的情况下,响应于检测到组件装置自身紧固地附接到可穿戴装置中,组件装置或其中的装置校准控制器可识别当前(例如,紧固地、操作性地,等等)附接到可穿戴装置的一些或全部其它组件装置的类型,并选择一种用于校准和/或对准可穿戴装置的所附接的组件装置的方法。
在组件装置未实施装置校准控制器的情况下,响应于检测到组件装置紧固地附接到可穿戴装置中,组件装置或其中的处理引擎可向当前附接到可穿戴装置上的其它组件装置中的一些或全部发送装置附接信号。装置附接信号可通过有线数据连接(例如,数据总线、互连件、数据连接交叉开关(data connection cross bar)等)或通过无线数据连接来。装置附接信号可在线性或对数时间尺度上定期发送,直到指派为装置校准控制器的组件装置对装置附接信号作出响应为止。
存在数种方法可供可穿戴装置选择用于校准和/或对准可穿戴装置的所附接的组件装置。
用于组件装置校准和/或对准的一或多个通信机构还可用于实际操作(用于消费VR/AR/MR内容)。例如,观看方向在通过视线跟踪器确定时可通过通信机构传递到成像器。在一些实施例中,成像器可呈现当前观看者以相对较高的视敏度观看的方向所指向的图像部分或所描绘物体。观看方向还可被提供到SLAM装置或外部装置跟踪器以产生3D映射信息,且对应于观看方向的空间位置具有相对较高的分辨率。3D映射信息可被提供到成像器。至少部分地基于3D地图信息,成像器可在空间上将组件装置显示器图像中所描绘的物体准确地呈现和对准于正确的空间位置,就好像所描绘的物体是由3D映射信息所表示的物理环境的固有部分一样(例如,所描绘的苹果就好像它在具有正确的大小、方向、几何结构的物理物理上)。
在装置校准时产生的偏移可高速缓存或存储在存储器(例如,寄存器、高速缓存存储器、RAM、ROM、快闪存储器等)中。
图3A示出用于可穿戴装置中的组件装置的装置校准的实例过程流。
如本文中所描述的过程流可基于主-代理模型实行。可穿戴装置可包括使过程流中的一些或全部被执行的装置校准控制器(通过软件、硬件或软件和硬件的组合实施)。装置校准控制器可用单个组件装置(例如,主组件装置等)实施,例如成像器、视线跟踪器、SLAM装置等等。例如代理组件装置的其它组件装置可实施装置校准代理(通过软件、硬件或软件和硬件的组合实施),所述装置校准代理与主组件装置中的装置校准控制器通信且与其一起操作以通过一种合作性正确和/或语义正确的方式实行装置校准操作。在一些实施例中,装置校准控制器的角色可被静态地指派给特定类型的组件装置。例如,成像器可预配置有装置校准控制器。在一些实施例中,装置校准控制器可被动态地指派给特定组件装置,例如通过装置协商协议操作、通过装置选择协议操作、通过装置发现协议操作、根据装置附接时间的时间顺序、根据装置相关ID的数值顺序等等。
另外,任选地或可替代地,如本文中所描述的过程流可基于对等模型实行。可穿戴装置可以用可穿戴装置的组件装置中的一些或全部实施分布装置校准控制器。组件装置与彼此通信并与彼此一起操作以通过一种合作性正确和/或语义正确的方式实行组件装置的装置校准操作。如本文中所使用,术语“装置校准控制器”可指代通过单个组件装置或通过一组组件装置共同实施的装置校准控制器。
在框202中,可穿戴装置或其中的装置校准控制器发现以可移除方式安装以形成可穿戴装置的组件装置,例如通过组件装置所支持的装置发现协议。
在框204中,可穿戴装置识别待校准组件装置。在一些实施例中,待校准组件装置可设定校准指示符,例如数据字段值、特定信标、特定数据标记等等,以指示所述组件装置是待校准组件装置。装置校准控制器可存取校准指示符。
例如,当组件装置插入到可穿戴装置中时,组件装置或其中的处理引擎可进入装置初始化状态,其中组件装置设定校准指示符以指示需要校准(例如,刚刚插入的,等等)可穿戴装置。响应于接收到校准指示符,装置校准控制器识别组件装置是可穿戴装置中将接受校准的一或多个组件装置中的一个。
在框206中,可穿戴装置确定校准这些组件装置的顺序,并基于所确定的顺序执行组件装置的校准。
在一些实施例中,待校准组件装置中的一些或全部中的每一个可独立地或自主地接受校准,例如同时或按任何顺序。在一些实施例中,这些组件装置中的一些或全部可依序校准。例如,如果组件装置A和B均存在于可穿戴装置中,且如果组件装置A依赖于组件装置B(例如,成像器在观看方向方面依赖于视线跟踪器,视线跟踪器在坐标值方面依赖于SLAM装置或外部装置跟踪器,等等),那么可以首先校准被依赖的组件装置,即本实例中的组件装置B,然后校准依赖于这一组件装置的另一组件装置。举例来说,在一些实施例中,SLAM装置或外部装置跟踪器可在视线跟踪器之前接受校准。在其中通过外部装置跟踪器执行装置跟踪的电影院中,可以先校准外部装置跟踪器,然后(另外,任选地或可替代地)可进一步校准所有可穿戴装置。
另外,任选地或可替代地,待校准组件装置中的一些或全部可合作性地一起接受校准,例如在对等模型中。可用装置校准结果或默认校准参数可通过控制器或点对点交换。
在框208中,可穿戴装置或其中的装置校准控制器接收和/或提取零个、一或多个校准相关参数,以在组件装置或与可穿戴装置一起操作的其它装置中的一些或全部当中共享。
在实例中,图像呈现器可通过可穿戴装置或通过在可穿戴装置外部的外部装置实施。图像呈现器可接收可穿戴装置的成像器的校准偏移和/或校准相关参数、产生(组件装置)显示器图像,并至少部分地基于校准偏移和/或校准相关参数来变换(例如,移位、旋转、缩放等)显示器图像。变换后的显示器图像可被提供到成像器以供呈现。
在另一实例中,可穿戴装置的装置校准控制器可接收校准相关参数,例如从SLAM装置或外部装置跟踪器提取的校准偏移。尽管成像器或另一组件装置在装置校准时或在正常操作中从SLAM装置或外部装置接收坐标值时,但这些校准相关参数或校准偏移可以用于将接收到的坐标值调整到经校准坐标值。
图3B示出用于可穿戴装置中的组件装置的装置校准的实例过程流。如本文中所描述的过程流可基于主-代理模型或基于对等模型来实行。
在框222中,可穿戴装置检测到组件装置附接到可穿戴装置上。可通过可穿戴装置的系统配置/重新配置控制器、通过可穿戴装置的装置校准控制器等进行所述检测。
在框224中,可穿戴装置从可穿戴装置中已经校准的其它已附接组件装置识别零个、一或多个校准相关参数。这可至少部分地基于待校准组件装置的类型来确定。组件装置所需要的任何识别出的校准相关参数可从其它已附接组件装置中提取并被传递给待校准组件装置。
在框226中,可穿戴装置使组件装置接受校准。
在框228中,可穿戴装置从经校准组件装置识别用于共享的零个、一或多个校准相关参数,从经校准组件装置提取这些校准相关参数,并与可穿戴装置的其它组件装置共享这些参数。
9.实例过程流
图4示出根据本发明的实例实施例的实例过程流。在一些实例实施例中,一或多个计算装置或组件可执行此过程流中的至少一些。在框402中,使一或多个组件装置可移除安装到可安装物理结构中,以形成用于特定类型的内容消费环境的可穿戴装置。一或多个组件装置被安装到可安装物理结构的一或多个可移除安装位置中,且具有在一或多个位置误差容限内的一或多个实际位置误差。
在框404中,一或多个组件装置接受校准以产生校准偏移,从而补偿一或多个位置误差容限内的一或多个实际位置误差。
在框406中,至少部分地基于校准偏移,向可穿戴装置的观看者呈现媒体内容。
在实施例中,使用主-代理模型来校准一或多个组件装置。
在实施例中,使用对等模型来校准一或多个组件装置。
在实施例中,一或多个组件装置中的至少一个相对于一或多个组件装置中的所有其它组件装置进行自主且独立的校准。
在实施例中,一或多个组件装置中的第一组件装置的一或多个第一校准偏移用于产生一或多个组件装置中的第二不同组件装置的一或多个第二校准偏移。
在实施例中,一或多个组件装置按时间顺序接受校准。
在实施例中,一或多个组件装置包括用于呈现组件装置显示器图像的成像器;成像器的一或多个校准偏移用于在空间上将组件装置显示器图像中描绘的物体与由除可穿戴装置以外的显示器系统产生的其它显示器图像中描绘的其它物体准确对准。
在实施例中,一或多个组件装置包括用于呈现组件装置显示器图像的成像器;成像器的一或多个校准偏移用于在空间上将组件装置显示器图像中描绘的物体与物理场景中的物理物体准确对准。
在实施例中,用于扩增媒体内容体验的可穿戴装置包括:具有一或多个可移除安装位置的可安装物理结构;通过一或多个可移除安装位置以可移除方式安装的一或多个组件装置。一或多个组件装置基于其中将操作可穿戴装置的特定类型的内容消费环境而特定地选择。在观看者在特定类型的内容消费环境中的内容消费对话中使用包含可安装物理结构和一或多个组件装置的可穿戴装置之后,只要一或多个组件装置在内容消费对话之后就接着从可安装物理结构移除,可安装物理结构就经受一或多个组件装置不会经受的装置清洗过程。
在实施例中,一或多个组件装置中的每一组件装置表示封闭在专用于每一此类组件装置的个别物理外壳中的模块化装置。
在实施例中,可安装物理结构具有一组光源位于其上的外部表面;来自一组光源的光供存在于特定类型的内容消费环境中的外部装置跟踪器用于进行由外而内的装置跟踪。
在实施例中,一或多个组件装置中的每一组件装置可从可安装物理结构移除且可安装到不同的可安装物理结构上以形成不同的可穿戴装置。
在实施例中,不同的可穿戴装置在以下各者中的一者中操作:特定内容消费环境、不同于特定内容消费环境的一或多个内容消费环境,等等。
在实施例中,可安装物理结构由大众娱乐场所的工作人员提供;可安装物理结构将用根据法律或行业规定的装置清洗过程清洗;装置清洗过程包含使用以下各者中的一或多者:液体、化学制剂、压力、移动等等。
在实施例中,可安装物理结构不含在装置清洗过程中易损坏和与液体物理接触的电子组件。
在实施例中,可安装物理结构不含在装置清洗过程中易损坏和与液体物理接触的光学组件。
在实施例中,一或多个组件装置中的至少一个包括在装置清洗过程中易损坏和与液体物理接触的电子组件。
在实施例中,一或多个组件装置中的至少一个包括在装置清洗过程中易损坏和与液体物理接触的光学组件。
在实施例中,一或多个组件装置中的至少一个经受不同于所述装置清洗过程的第二装置清洗过程。
在实施例中,装置清洗过程经特别设计以允许可安装物理结构用于特定类型的内容消费环境中的第二不同观看者的第二不同可穿戴装置。
在实施例中,一或多个组件装置中的组件装置安装到一或多个可移除安装位置中的可移除安装位置;所述可移除安装位置不含任何电气或光学接口。
在实施例中,一或多个组件装置中的组件装置安装到一或多个可移除安装位置中的可移除安装位置;所述可移除安装位置包括到所述组件装置的光学接口。
在实施例中,一或多个组件装置包含以下各者中的一或多者:用于观看物理场景的光学堆叠、用于观看通过在可穿戴装置外部的显示器系统呈现的图像的光学堆叠、供可穿戴装置呈现组件装置显示器图像的成像器、同时定位和映射装置、眼动跟踪装置等等。
在实施例中,特定类型的内容消费环境表示以下各者中的一者:基于电影院的内容消费环境、基于家庭的内容消费环境、室外内容消费环境等等。
在实施例中,可穿戴装置包括用于观看通过除可穿戴装置以外的显示器系统呈现的三维图像的光学堆叠。
在实施例中,光学堆叠以不可移除方式构建到可穿戴装置中。
在实施例中,光学堆叠被夹到可穿戴装置上。
在实施例中,一或多个组件装置中的每一个包括其自身的电源。
在实施例中,一或多个组件装置中的组件装置产生以光学方式传送到可穿戴装置中的另一组件装置中的图像呈现光。
在实施例中,所有一或多个组件装置都以无线方式互连。
在实施例中,一或多个组件装置中的至少两个使用由一或多个可移除安装位置提供的电气或光学接口而以电气方式或以光学方式互连。
在实施例中,在可穿戴装置的观看者将一或多个组件装置可移除安装到可穿戴装置的可安装物理结构中之后,一或多个组件装置接受校准以产生厂外校准偏移。
在实施例中,可穿戴装置包括可移除安装到一或多个组件装置中的组件装置的可移除安装位置的又一组件装置。
在实施例中,可穿戴装置包括通过观看者的骨骼结构传输声音的一或多个音频扬声器。
在各种实例实施例中,设备、系统、设备或一或多个其它计算装置执行如所描述的前述方法中的任一种或其一部分。在实施例中,非暂时性计算机可读存储媒体存储软件指令,所述软件指令在由一或多个处理器执行时执行如本文中所描述的方法。
应注意,尽管本文中论述单独的实施例,但是本文中论述的实施例和/或部分实施例的任何组合可进行组合以形成其它实施例。
10.实施机构-硬件概述
根据一个实施例,本文中所描述的技术通过一或多个专用计算装置实施。所述专用计算装置可为硬连线的以执行技术,或可包含经持续编程以执行技术的数字电子装置,如一或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA),或可包含经编程以依照固件、存储器、其它存储装置或组合中的程序指令执行技术的一或多个通用硬件处理器。此类专用计算装置还可将定制硬连线的逻辑、ASIC或FPGA与定制编程组合以实现技术。专用计算装置可为台式电脑系统、便携式计算机系统、手持型装置、联网装置或并有硬连线和/或程序逻辑以实施技术的任何其它装置。
例如,图5是示出在其上可实施本发明的实例实施例的计算机系统500的框图。计算机系统500包含总线502或用于传送信息的其它通信机构,以及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可为(例如)通用微处理器。
计算机系统500还包含主存储器506,例如随机存取存储器(RAM)或其它动态存储装置,所述主存储器506耦合到总线502以存储将通过处理器504执行的信息和指令。主存储器506还可用于在执行将通过处理器504执行的指令期间存储临时变量或其它中间信息。此类指令在存储于处理器504可存取的非暂时性存储媒体中时将计算机系统500呈现到经定制以执行在指令中指定的操作的专用机器中。
计算系统500进一步包含只读存储器(ROM)508或耦合到总线502以存储处理器504的静态信息和指令的其它静态存储装置。
提供存储装置510,例如磁盘或光盘、固态RAM,并且所述存储装置510耦合到总线502以存储信息和指令。
计算机系统500可通过总线502耦合到显示器512,例如液晶显示器,以向计算机观看者显示信息。包含文字数字和其它按键的输入装置514耦合到总线502以向处理器504传送信息和命令选择。另一类型的观看者输入装置是光标控制件516,例如鼠标、轨迹球或光标方向键,以用于向处理器504传送方向信息和命令选择并控制显示器512上的光标移动。此输入装置通常具有两个轴线中的两个自由度,即第一轴(例如,x)和第二轴(例如,y),从而允许装置指定平面中的位置。
计算机系统500可使用定制的硬连线逻辑、一或多个ASIC或FPGA、固件和/或程序逻辑实施本文中所描述的技术,所述程序逻辑与计算机系统组合而使计算机系统500变成专用机器或将计算机系统500编程成专用机器。根据一个实施例,响应于处理器504执行主存储器506中所含的一或多个指令的一或多个序列,通过计算机系统500执行本文中的技术。此类指令可从例如存储装置510的另一存储媒体读取到主存储器506中。主存储器506中所含的指令的序列的执行使处理器504执行本文中所描述的过程步骤。在替代实施例中,硬连线电路可代替软件指令或与软件指令组合而使用。
如本文所使用的术语“存储媒体”是指存储使机器以特定方式操作的数据和/或指令的任何非暂时性媒体。此类存储媒体可包括非易失性媒体和/或易失性媒体。非易失性媒体包含例如光盘或磁盘,例如存储装置510。易失性媒体包含动态存储器,例如主存储器506。存储媒体的共同形式包含例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储媒体、CD-ROM、任何其它光学数据存储媒体、具有孔图案的任何物理媒体、RAM、PROM和EPROM、闪存EPROM、NVRAM、任何其它存储器芯片或盒带。
存储媒体与传输媒体不同但可以与传输媒体结合使用。传输媒体参与存储媒体之间的信息传递。例如,传输媒体包含同轴电缆、铜线和光纤,包含包括总线502的电线。传输媒体还可采用声波或光波的形式,例如在无线电波和红外数据通信期间产生的那些。
各种形式的媒体可涉及向处理器504运送一或多个指令的一或多个序列以供执行。例如,指令最初可承载在远程计算机的磁盘或固态驱动器上。远程计算机可将指令载入到它的动态存储器中并使用调制解调器通过电话线发送指令。在计算机系统500本地的调制解调器可通过电话线接收数据,并使用红外传输器将数据转换成红外信号。红外检测器可接收红外信号中承载的数据,并且适当的电路可将数据置于总线502上。总线502将数据运送到主存储器506,处理器504从所述主存储器506获取指令并执行。由主存储器506接收的指令可以任选地在处理器504执行之前或之后存储在存储装置510上。
计算机系统500还包含耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信,所述网络链路520连接到局域网522。例如,通信接口518可为综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一实例,通信接口518可为局域网(LAN)卡,以提供到相容LAN的数据通信连接。还可实施无线链路。在任何此类实施方案中,通信接口518发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。
网络链路520通常提供通过一或多个网络到其它数据装置的数据通信。例如,网络链路520可提供通过局域网522到主机524或到由因特网服务提供方(ISP)526操作的数据设备的连接。ISP 526随后通过现在通常被称为“因特网”528的全球包数据通信网络提供数据通信服务。局域网522和因特网528均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和网络链路520上并通过通信接口518的信号是传输媒体的实例形式,所述信号向计算机系统500和从计算机系统500运送数字数据。
计算机系统500可通过网络、网络链路520和通信接口518发送消息和接收数据,包含程序代码。在因特网实例中,服务器530可通过因特网528、ISP 526、局域网522和通信接口518传输应用程序的请求代码。
接收到的代码可在其被接收时由处理器504执行,和/或存储在存储装置510或其它非易失性存储器中以供稍后执行。
11.等同方案、扩展方案、替代方案及杂项
在前文说明书中,本发明的实例实施例已经参考可针对不同实施方案变化的许多特定细节进行描述。本发明以及申请人认为是本发明的内容的唯一且专门的指示是根据本申请确定的一组权利要求,所述权利要求是此类权利要求公布的特定形式,包含任何后续修正。本文中针对此类权利要求中所含的术语明确地阐述的任何定义将决定此类术语在权利要求中使用的含义。因此,未在权利要求中明确引用的限制、元素、特性、特征、优点或属性不应当以任何方式限制此类权利要求的范围。因此,应在说明性意义上而非限制性意义上看待说明书和图式。

Claims (20)

1.一种用于扩增媒体内容体验的可穿戴装置,包括:
具有一或多个可移除安装位置的可安装物理结构;
通过所述一或多个可移除安装位置以可移除方式安装的一或多个组件装置;
其中所述一或多个组件装置基于其中将操作所述可穿戴装置的特定类型的内容消费环境而特定地选择;
其中在观看者在所述特定类型的内容消费环境中的内容消费对话中使用包含所述可安装物理结构和所述一或多个组件装置的所述可穿戴装置之后,只要所述一或多个组件装置在所述内容消费对话之后就接着从所述可安装物理结构移除,所述可安装物理结构就经受所述一或多个组件装置不会经受的装置清洗过程。
2.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置中的每一组件装置表示封闭在专用于每一此类组件装置的个别物理外壳中的模块化装置。
3.根据权利要求1所述的可穿戴装置,其中所述可安装物理结构具有一组光源位于其上的外部表面,并且其中来自所述一组光源的光供存在于所述特定类型的内容消费环境中的外部装置跟踪器用于进行由外而内的装置跟踪。
4.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置中的每一组件装置能够从可安装物理结构移除且能够安装不同的可安装物理结构上以形成不同的可穿戴装置。
5.根据权利要求1所述的可穿戴装置,其中所述可安装物理结构由大众娱乐场所的工作人员提供,其中所述可安装物理结构将用根据法律或行业规定的所述装置清洗过程清洗,并且其中所述装置清洗过程包含使用以下各者中的一或多者:液体、化学制剂、压力或移动。
6.根据权利要求1所述的可穿戴装置,其中所述可安装物理结构不含在所述装置清洗过程中易损坏和与液体物理接触的电子组件。
7.根据权利要求1所述的可穿戴装置,其中所述可安装物理结构不含在所述装置清洗过程中易损坏和与液体物理接触的光学组件。
8.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置中的至少一个包括在所述装置清洗过程中易损坏和与液体物理接触的电子或光学组件。
9.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置包含以下各者中的一或多者:用于观看物理场景的光学堆叠、用于观看通过在所述可穿戴装置外部的显示器系统呈现的图像的光学堆叠、供所述可穿戴装置呈现组件装置显示器图像的成像器、同时定位和映射装置或眼动跟踪装置。
10.根据权利要求1所述的可穿戴装置,其中所述可穿戴装置包括用于观看通过除所述可穿戴装置以外的显示器系统呈现的三维图像的光学堆叠。
11.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置中的组件装置产生以光学方式传送到所述可穿戴装置中的另一组件装置中的图像呈现光。
12.根据权利要求1所述的可穿戴装置,其中所有所述一或多个组件装置都以无线方式互连。
13.根据权利要求1所述的可穿戴装置,其中所述一或多个组件装置中的至少两个使用由所述一或多个可移除安装位置提供的电气或光学接口而以电气方式或以光学方式互连。
14.根据权利要求1所述的可穿戴装置,其中在所述可穿戴装置的观看者将所述一或多个组件装置可移除安装到所述可穿戴装置的所述可安装物理结构中之后,所述一或多个组件装置接受校准以产生厂外校准偏移。
15.根据权利要求1所述的可穿戴装置,其中所述可穿戴装置包括可移除安装到所述一或多个组件装置中的组件装置的可移除安装位置的又一组件装置。
16.根据权利要求1所述的可穿戴装置,其中所述可穿戴装置包括通过所述观看者的骨骼结构传输声音的一或多个音频扬声器。
17.一种方法,包括:
使一或多个组件装置可移除安装到可安装物理结构中,以形成用于特定类型的内容消费环境的可穿戴装置,其中所述一或多个组件装置被安装到所述可安装物理结构的一或多个可移除安装位置中,且具有在一或多个位置误差容限内的一或多个实际位置误差;
校准所述一或多个组件装置以产生校准偏移,从而补偿在所述一或多个位置误差容限内的所述一或多个实际位置误差;
至少部分地基于所述校准偏移,向所述可穿戴装置的观看者呈现媒体内容。
18.根据权利要求17所述的方法,其中使用主-代理模型来校准所述一或多个组件装置。
19.根据权利要求17所述的方法,其中使用对等模型来校准所述一或多个组件装置。
20.一或多种存储软件指令的非暂时性计算机可读存储媒体,所述软件指令在由一或多个处理器执行时使根据权利要求17所述的方法被执行。
CN201811003882.1A 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置 Active CN109491087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211078807.8A CN115327780A (zh) 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762556915P 2017-09-11 2017-09-11
US62/556,915 2017-09-11
EP17205123 2017-12-04
EP17205123.7 2017-12-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211078807.8A Division CN115327780A (zh) 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置

Publications (2)

Publication Number Publication Date
CN109491087A true CN109491087A (zh) 2019-03-19
CN109491087B CN109491087B (zh) 2022-09-20

Family

ID=65630993

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811003882.1A Active CN109491087B (zh) 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置
CN202211078807.8A Pending CN115327780A (zh) 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211078807.8A Pending CN115327780A (zh) 2017-09-11 2018-08-30 用于ar/vr/mr的模块化拆卸式可穿戴装置

Country Status (2)

Country Link
US (3) US11036055B2 (zh)
CN (2) CN109491087B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914604A (zh) * 2019-05-10 2020-11-10 丽宝大数据股份有限公司 将头发颜色套用至眉毛的扩充实境显示方法
CN112882234A (zh) * 2021-01-20 2021-06-01 山东梦幻视界智能科技有限公司 一种融合现实(mr)智能眼镜
WO2023273236A1 (zh) * 2021-06-29 2023-01-05 歌尔科技有限公司 智能眼镜腿的控制方法及装置、计算机可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491087B (zh) * 2017-09-11 2022-09-20 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
US10893261B2 (en) 2017-12-06 2021-01-12 Dolby Laboratories Licensing Corporation Positional zero latency
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11355094B2 (en) * 2018-09-22 2022-06-07 BadVR, Inc. Wireless virtual display controller
US11481999B2 (en) * 2018-11-13 2022-10-25 Kabushiki Kaisha Toshiba Maintenance work support system and maintenance work support method
US10778953B2 (en) 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11836410B2 (en) 2019-08-06 2023-12-05 Universal City Studios Llc Interactive headgear
US11082685B2 (en) 2019-11-05 2021-08-03 Universal City Studios Llc Head-mounted device for displaying projected images
US11625973B2 (en) * 2020-04-22 2023-04-11 Igt Multi-user gaze detection at electronic gaming devices
US11774770B2 (en) 2020-06-03 2023-10-03 Universal City Studios Llc Interface device with three-dimensional (3-D) viewing functionality
US11520152B1 (en) * 2020-08-06 2022-12-06 Apple Inc. Head-mounted display systems with gaze tracker alignment monitoring
US11892647B2 (en) 2020-09-28 2024-02-06 Hewlett-Packard Development Company, L.P. Head mountable device with tracking feature
TWI801055B (zh) 2021-12-23 2023-05-01 宏碁股份有限公司 擴增實境顯示裝置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796374A (en) * 1996-03-08 1998-08-18 Virtual Vision, Inc. Support for a head mounted display system
DE10159883A1 (de) * 2001-12-06 2003-10-02 Manfred Rennings Brillenreinigungssystem
JP2005070554A (ja) * 2003-08-26 2005-03-17 Matsushita Electric Works Ltd ゴーグル装着部交換シート
US20080137192A1 (en) * 2004-12-23 2008-06-12 Guido Soyez Lens Module Comprising at Least One Exchangeable Optical Element
US20120013984A1 (en) * 2010-07-13 2012-01-19 Olympus Corporation Jacket and head-mounted optical system
US20120038663A1 (en) * 2010-08-12 2012-02-16 Harald Gustafsson Composition of a Digital Image for Display on a Transparent Screen
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20130173029A1 (en) * 2011-12-29 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Optical device with interchangeable corrective elements
WO2014082023A1 (en) * 2012-11-23 2014-05-30 Greenbaum Eric Head mounted display
US20140267941A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Method and system to control the focus depth of projected images
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
US20150323797A1 (en) * 2014-05-07 2015-11-12 Technical Illusions, Inc. Two section head mounted display
US20160021358A1 (en) * 2014-07-16 2016-01-21 Quanta Computer Inc. Head mounted display system
US20160025978A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment Inc. Virtual reality headset with see-through mode
JP2016081027A (ja) * 2014-10-11 2016-05-16 深▲セン▼超多▲維▼光▲電▼子有限公司 立体表示装置の校正システム及びその校正方法
WO2016154827A1 (zh) * 2015-03-27 2016-10-06 深圳市柔宇科技有限公司 一种模块化的头戴式显示设备及拆装模组
US20160291688A1 (en) * 2013-12-25 2016-10-06 Sony Corporation Posture measuring device and posture measuring method, image processing device and image processing method, display device and display method, computer program, and image display system
CN106840205A (zh) * 2017-01-19 2017-06-13 北京小鸟看看科技有限公司 陀螺仪校准补偿方法及装置、虚拟现实头戴设备
WO2017132862A1 (zh) * 2016-02-03 2017-08-10 深圳多哚新技术有限责任公司 一种可拆卸鼻托的vr眼镜

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
JP3443293B2 (ja) 1997-08-29 2003-09-02 三洋電機株式会社 立体表示装置
US6480174B1 (en) * 1999-10-09 2002-11-12 Optimize Incorporated Eyeglass-mount display having personalized fit module
TW594658B (en) * 2002-07-01 2004-06-21 Leadtek Research Inc Helmet-mounted display
US8746558B2 (en) 2010-03-15 2014-06-10 Dolby Laboratories Licensing Corporation 3D glasses and related systems
US20130176626A1 (en) 2012-01-05 2013-07-11 Google Inc. Wearable device assembly with input and output structures
JP6076099B2 (ja) * 2013-01-18 2017-02-08 オリンパス株式会社 眼鏡型操作デバイス及び眼鏡型操作システム
US10409073B2 (en) * 2013-05-17 2019-09-10 Tilt Five, Inc Virtual reality attachment for a head mounted display
KR102088020B1 (ko) * 2013-09-26 2020-03-11 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9274340B2 (en) 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US9946343B2 (en) * 2016-04-26 2018-04-17 Oculus Vr, Llc Motion tracker with an array of distinct light sources
US10146067B2 (en) * 2016-09-09 2018-12-04 Ching-Lai Tsai Eye-protective shade for augmented reality smart glasses
WO2018053509A1 (en) * 2016-09-19 2018-03-22 Sensics, Inc. Head-mounted display for public use
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10928638B2 (en) 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US11363250B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Augmented 3D entertainment systems
CN109491087B (zh) * 2017-09-11 2022-09-20 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
US11272170B2 (en) * 2019-08-26 2022-03-08 Alexander Shau Ergonomic protective eyewear
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
DE102018121258A1 (de) * 2018-08-30 2020-03-05 Vr Coaster Gmbh & Co. Kg Head Mounted Display sowie Vergnügungseinrichtung mit einem solchen Head Mounted Display

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796374A (en) * 1996-03-08 1998-08-18 Virtual Vision, Inc. Support for a head mounted display system
DE10159883A1 (de) * 2001-12-06 2003-10-02 Manfred Rennings Brillenreinigungssystem
JP2005070554A (ja) * 2003-08-26 2005-03-17 Matsushita Electric Works Ltd ゴーグル装着部交換シート
US20080137192A1 (en) * 2004-12-23 2008-06-12 Guido Soyez Lens Module Comprising at Least One Exchangeable Optical Element
US20120013984A1 (en) * 2010-07-13 2012-01-19 Olympus Corporation Jacket and head-mounted optical system
US20120038663A1 (en) * 2010-08-12 2012-02-16 Harald Gustafsson Composition of a Digital Image for Display on a Transparent Screen
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20130173029A1 (en) * 2011-12-29 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Optical device with interchangeable corrective elements
WO2014082023A1 (en) * 2012-11-23 2014-05-30 Greenbaum Eric Head mounted display
US20140267941A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Method and system to control the focus depth of projected images
US20160291688A1 (en) * 2013-12-25 2016-10-06 Sony Corporation Posture measuring device and posture measuring method, image processing device and image processing method, display device and display method, computer program, and image display system
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
US20150323797A1 (en) * 2014-05-07 2015-11-12 Technical Illusions, Inc. Two section head mounted display
US20160021358A1 (en) * 2014-07-16 2016-01-21 Quanta Computer Inc. Head mounted display system
US20160025978A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment Inc. Virtual reality headset with see-through mode
JP2016081027A (ja) * 2014-10-11 2016-05-16 深▲セン▼超多▲維▼光▲電▼子有限公司 立体表示装置の校正システム及びその校正方法
WO2016154827A1 (zh) * 2015-03-27 2016-10-06 深圳市柔宇科技有限公司 一种模块化的头戴式显示设备及拆装模组
WO2017132862A1 (zh) * 2016-02-03 2017-08-10 深圳多哚新技术有限责任公司 一种可拆卸鼻托的vr眼镜
CN106840205A (zh) * 2017-01-19 2017-06-13 北京小鸟看看科技有限公司 陀螺仪校准补偿方法及装置、虚拟现实头戴设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914604A (zh) * 2019-05-10 2020-11-10 丽宝大数据股份有限公司 将头发颜色套用至眉毛的扩充实境显示方法
CN112882234A (zh) * 2021-01-20 2021-06-01 山东梦幻视界智能科技有限公司 一种融合现实(mr)智能眼镜
WO2023273236A1 (zh) * 2021-06-29 2023-01-05 歌尔科技有限公司 智能眼镜腿的控制方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
CN109491087B (zh) 2022-09-20
US20210373346A1 (en) 2021-12-02
US11762209B2 (en) 2023-09-19
US20190079302A1 (en) 2019-03-14
CN115327780A (zh) 2022-11-11
US20230034477A1 (en) 2023-02-02
US11036055B2 (en) 2021-06-15
US11409115B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
CN109491087A (zh) 用于ar/vr/mr的模块化拆卸式可穿戴装置
CN105474633B (zh) 控制定向背光的光源
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
EP3242274B1 (en) Method and device for displaying three-dimensional objects
US20110298794A1 (en) Circular polarized contact lenses and methods thereof
US20160269685A1 (en) Video interaction between physical locations
CN205610834U (zh) 立体显示系统
CN103999445A (zh) 头戴式显示器
KR20110114671A (ko) 입체 영상 촬상 표시 시스템
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
CN109660786A (zh) 一种裸眼3d立体成像及观测方法
CN204578692U (zh) 立体显示系统
CN105812772B (zh) 医疗图像立体显示系统及方法
JP2011250368A (ja) 立体表示装置、表示制御回路、および表示方法
US8400493B2 (en) Virtual stereoscopic camera
Kim et al. Glasses-free randot stereotest
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
CN204539353U (zh) 医疗图像立体显示系统
CN108696740A (zh) 一种基于增强现实的直播方法及设备
JP2001218231A (ja) 立体画像を表示する装置および方法
CN109565584A (zh) 立体数字内容的动态重配准
CN102547316A (zh) 具有立体投影功能的可携式电子装置及其控制方法
CN105812776A (zh) 基于软镜的立体显示系统及方法
JP2005328332A (ja) 三次元画像通信端末

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant