CN114127837A - 内容提供系统和方法 - Google Patents

内容提供系统和方法 Download PDF

Info

Publication number
CN114127837A
CN114127837A CN202080048293.4A CN202080048293A CN114127837A CN 114127837 A CN114127837 A CN 114127837A CN 202080048293 A CN202080048293 A CN 202080048293A CN 114127837 A CN114127837 A CN 114127837A
Authority
CN
China
Prior art keywords
resource
mobile device
content
resource device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080048293.4A
Other languages
English (en)
Inventor
E·C·布洛伊
A·拉比诺维奇
D·C·伦德马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114127837A publication Critical patent/CN114127837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

本发明提供了内容提供系统。移动设备具有移动设备处理器。移动设备移动设备具有通信接口,其连接到移动设备处理器和第一资源设备通信接口并且在移动设备处理器的控制下接收由第一资源设备发射器发送的第一内容。移动设备移动设备具有移动设备输出设备,其连接到移动设备处理器并且在移动设备处理器的控制下能够提供可由用户感测的输出。

Description

内容提供系统和方法
相关申请的交叉引用
本申请要求于2019年5月1日提交的美国临时专利申请号62/841,806的优先权,其全部内容以其整体通过引用并入本文。
技术领域
本发明涉及连接的移动计算系统、方法和配置,并且更具体地涉及以可用于虚拟和/或增强现实操作的至少一个可穿戴组件为特征的内容提供系统、移动计算系统、方法和配置。
背景技术
具有一个或多个增强现实系统的内容提供系统对于观看具有数字内容的叠加的现实世界变得流行。内容提供系统可例如包括诸如头戴式观看组件的移动设备。内容提供系统还可包括资源设备,该资源设备具有包括内容和存储介质的资源设备数据集。资源设备将内容发送到移动设备。移动设备具有连接的输出设备,该输出设备能够提供可由用户感测的输出。
发明内容
本发明提供了一种内容提供系统,包括:移动设备,其可具有移动设备处理器;移动设备通信接口,其连接到移动设备处理器和第一资源设备通信接口并且在移动设备处理器的控制下接收由第一资源设备发射器发送的第一内容;以及移动设备输出设备,其连接到移动设备处理器并且在移动设备处理器的控制下能够提供可由用户感测的输出。
该内容提供系统还可包括:第一资源设备,其可具有第一资源设备处理器、第一资源设备存储介质和包括第一资源设备存储介质上的第一内容的第一资源设备数据集,第一资源设备通信接口,其形成第一资源设备的一部分并连接到第一资源设备处理器,并且在第一资源设备处理器的控制下。
该内容提供系统可包括第一资源设备在第一位置处,其中,移动设备通信接口创建与第一资源设备的第一连接,以及其中,内容是特定于第一连接的第一地理参数的第一内容。
该内容提供系统还可包括:第二资源设备,其可具有第二资源设备处理器、第二资源设备存储介质、包括第二资源设备存储介质上的第二内容的第二资源设备数据集、以及第二资源设备通信接口,其形成第二资源设备的一部分并连接到第二资源设备处理器,并且在第二资源设备处理器的控制下,其中,第二资源设备在第二位置处,其中,移动设备通信接口创建与第二资源设备的第二连接,以及其中,内容是特定于第二连接的第二地理参数的第二内容。
该内容提供系统可包括:移动设备包括可耦接到用户的头部的头戴式观看组件,并且第一和第二内容,其向用户提供关于如由用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
该内容提供系统还可包括用于用户进入的定位岛,其中,特定特征已被预配置为由移动设备定位和解释以确定相对于用户周围世界的地理参数。
该内容提供系统可包括是视觉上可检测的特征的特定特征。
该内容提供系统可包括是无线连接相关特征的特定特征。
该内容提供系统还可包括连接到头戴式观看组件的多个传感器,该多个传感器由移动设备用来确定相对于用户周围世界的地理参数。
该内容提供系统还可包括用户界面,该用户界面被配置为允许用户进行以下中的至少一种:摄取、利用、观看和绕过第一或第二内容的某些信息。
该内容提供系统可包括是无线连接的连接。
该内容提供系统可包括:第一资源设备在第一位置处,其中,移动设备具有在第一位置处检测第一特征的传感器,并且第一特征用于确定与第一特征相关联的第一地理参数,以及其中,内容是特定于第一地理参数的第一内容。
该内容提供系统可包括:第二资源设备在第二位置处,其中,移动设备具有在第二位置处检测第二特征的传感器,并且第二特征用于确定与第二特征相关联的第二地理参数,以及其中,利用特定于第二地理参数的第二内容更新第一内容。
该内容提供系统可包括:移动设备包括可耦接到用户的头部的头戴式观看组件,并且第一和第二内容向用户提供关于如由用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
该内容提供系统还可包括在移动设备与具有多个数据源的资源层之间的空间计算层,该空间计算层被编程为接收数据资源,集成数据资源以确定集成简档,以及基于集成简档确定第一内容。
该内容提供系统可包括:空间计算层可包括空间计算资源设备,该空间计算资源设备可具有空间计算资源设备处理器、空间计算资源设备存储介质、以及空间计算资源设备存储介质上的空间计算资源设备数据集,并且可由处理器执行以接收数据资源、集成数据资源以确定集成简档、以及基于集成简档确定第一内容。
该内容提供系统还可包括抽象和仲裁层,抽象和仲裁层插入移动设备与资源层之间并且被编程以做出工作负载决策,以及基于工作负载决策分发任务。
该内容提供系统还可包括拍摄移动设备周围的物理世界的图像的相机设备,其中,图像用于做出工作负载决策。
该内容提供系统还可包括拍摄移动设备周围的物理世界的图像的相机设备,其中,图像形成数据资源之一。
该内容提供系统可包括:第一资源设备是边缘资源设备,其中,移动设备通信接口包括一个或多个移动设备接收器,其连接到移动设备处理器并与第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。
该内容提供系统可包括:第二资源设备是具有比第一延迟慢的第二延迟的雾资源设备。
该内容提供系统可包括:移动设备通信接口包括一个或多个移动设备接收器,其连接到移动设备处理器并与第二资源设备的连接并行地连接到移动设备处理器和第三资源设备通信接口,以接收由第三资源设备发射器发送的第三内容,其中,第三资源设备是具有比第二延迟慢的第三延迟的云资源设备。
该内容提供系统可包括:到边缘资源设备的连接通过蜂窝塔,以及到雾资源设备的连接通过Wi-Fi连接设备。
该内容提供系统可包括:蜂窝塔连接到雾资源设备。
该内容提供系统可包括:Wi-Fi连接设备连接到雾资源设备。
该内容提供系统还可包括至少一个相机以捕获至少第一和第二图像,其中,移动设备处理器将第一图像发送到边缘资源设备以用于更快的处理,并且将第二图像发送到雾资源设备以用于更慢的处理。
该内容提供系统可包括:至少一个相机是拍摄用户的第一图像的房间相机。
该内容提供系统还可包括:传感器,其将传感器输入提供到处理器中;姿势估计器,其可由处理器执行以基于传感器输入计算移动设备的姿势,包括移动设备的位置和取向中的至少一种;可操纵无线连接器,其在移动设备与边缘资源设备之间创建可操纵无线连接;以及操纵系统,其连接到姿势估计器并且具有向可操纵无线连接器提供输入的输出,以操纵可操纵无线连接来至少改进连接。
该内容提供系统可包括:可操纵无线连接器是相控阵天线。
该内容提供系统可包括:可操纵无线连接器是雷达全息图类型的传输连接器。
该内容提供系统还可包括仲裁器功能,该仲裁器功能可由处理器执行,以分别确定多少边缘和雾资源通过边缘和雾资源设备可用,根据可用资源的确定向边缘和雾资源发送处理任务,并且接收从边缘和雾资源返回的结果。
该内容提供系统可包括:仲裁器功能可由处理器执行以组合来自边缘和雾资源的结果。
该内容提供系统还可包括运行时间控制器功能,其可由处理器执行,以确定进程是否是运行时间进程,如果做出任务是运行时间进程的确定,那么立即执行任务而不利用仲裁器功能做出确定,并且如果做出任务不是运行时间进程的确定,那么利用仲裁器功能做出确定。
该内容提供系统还可包括多个边缘资源设备,数据在多个边缘资源设备与雾资源设备之间交换,该数据包括由不同传感器捕获并发送到边缘资源设备的空间中的点;以及超级点计算功能,其可由处理器执行以确定超级点,超级点是选择来自边缘资源设备中的两个或两个以上的数据重叠的点中的点。
该内容提供系统还可包括多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
该内容提供系统还可包括上下文触发器功能,其可在处理器处执行以为一组超级点生成上下文触发器,并且将上下文触发器存储在计算机可读介质上。
该内容提供系统还可包括可由移动设备处理器执行的渲染引擎,其中,上下文触发器用作用于基于第一内容渲染对象的句柄(handle)。
该内容提供系统还可包括渲染功能,其可由移动设备处理器执行,以将移动设备连接到多个资源设备,其中,每个资源设备接收相应渲染请求,以基于相应渲染请求从远程设备中的每一个接收渲染,比较渲染以确定优选渲染,以及利用移动设备处理器选择优选渲染作为由第一资源设备发射器发送的第一内容。
该内容提供系统可包括:渲染形成具有多项式预测的系统,以用于将帧渲染成移动设备被预测为摆放或观看的未来。
本发明还提供了一种提供内容的方法,包括:在移动设备的移动设备处理器的控制下将移动设备的移动设备通信接口连接到第一资源设备的第一资源设备通信接口,以及在移动设备处理器的控制下利用移动设备通信接口接收由第一资源设备发射器发送的第一内容。
该方法还可包括:在第一资源设备处理器的控制下,在连接到第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集,以及利用连接到第一资源设备处理器的第一资源设备通信接口并且在第一资源设备处理器的控制下发送第一内容。
该方法可包括:第一资源设备在第一位置处,其中,移动设备通信接口创建与第一资源设备的第一连接,以及其中,内容是特定于第一连接的第一地理参数的第一内容。
该方法还可包括:在第二资源设备处理器的控制下,在连接到第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集,以及利用连接到第二资源设备处理器的第二资源设备通信接口并且在第二资源设备处理器的控制下发送第二内容,其中,第二资源设备在第二位置处,其中,移动设备通信接口创建与第二资源设备的第二连接,以及其中,内容是特定于第二连接的第二地理参数的第二内容。
该方法可包括:移动设备包括可耦接到用户的头部的头戴式观看组件,并且第一和第二内容向用户提供关于如由用户看到的特定世界视图的附加内容、增强内容和信息中的至少一种。
该方法可包括:用户进入定位岛,其中,特定特征已被预配置为由移动设备定位和解释以确定相对于用户周围世界的地理参数。
该方法可包括:特定特征是视觉上可检测的特征。
该方法可包括:特定特征是无线连接相关的特征。
该方法可包括:多个传感器连接到头戴式观看组件,该多个传感器由移动设备用来确定相对于用户周围世界的地理参数。
该方法还可包括:通过用户界面接收来自用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过第一或第二内容的某些信息。
该方法可包括:连接是无线连接。
该方法可包括:第一资源设备在第一位置处,其中,移动设备具有在第一位置处检测第一特征的传感器,并且第一特征用于确定与第一特征相关联的第一地理参数,以及其中,内容是特定于第一地理参数的第一内容。
该方法可包括:第二资源设备在第二位置处,其中,移动设备具有在第二位置处检测第二特征的传感器,并且第二特征用于确定与第二特征相关联的第二地理参数,以及其中,利用特定于第二地理参数的第二内容更新第一内容。
该方法可包括:移动设备包括可耦接到用户的头部的头戴式观看组件,并且第一和第二内容向用户提供关于如由用户看到的特定世界视图的附加内容、增强内容和信息中的至少一种。
该方法还可包括:通过移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,通过空间计算层集成数据资源以确定集成简档,以及通过空间计算层基于集成简档确定第一内容。
该方法可包括:空间计算层可包括空间计算资源设备,该空间计算资源设备具有空间计算资源设备处理器;空间计算资源设备存储介质、以及空间计算资源设备存储介质上的空间计算资源设备数据集,并且可由处理器执行以接收数据资源、集成数据资源以确定集成简档、以及基于集成简档确定第一内容。
该方法还可包括:利用插入在移动设备与资源层之间的抽象和仲裁层,做出工作负载决策,以及利用抽象和仲裁层基于工作负载分发任务。
该方法还可包括利用相机设备拍摄移动设备周围的物理世界的图像,其中,图像用于做出工作负载决策。
该方法还可包括:利用相机设备拍摄移动设备周围的物理世界的图像,其中,图像形成数据资源之一。
该方法可包括:第一资源设备是边缘资源设备,还包括:在移动设备的移动设备处理器的控制下并且与第一资源设备的连接并行地将移动设备的移动设备通信接口连接到第二资源设备的第二资源设备通信接口,在移动设备处理器的控制下利用移动设备通信接口接收由第二资源设备发射器发送的第二内容。
该方法可包括:第二资源设备是具有比第一延迟慢的第二延迟的雾资源设备。
该方法还可包括:在移动设备的移动设备处理器的控制下并且与第二资源设备的连接并行地将移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,第三资源设备是具有比第二延迟慢的第三延迟的云资源设备;以及在移动设备处理器的控制下利用移动设备通信接口接收由第三资源设备发射器发送的第三内容。
该方法可包括:到边缘资源设备的连接通过蜂窝塔,以及到雾资源设备的连接通过Wi-Fi连接设备。
该方法可包括:蜂窝塔连接到雾资源设备。
该方法可包括:Wi-Fi连接设备连接到雾资源设备。
该方法还可包括利用至少一个相机捕获至少第一和第二图像,其中,移动设备处理器将第一图像发送到边缘资源设备,并且将第二图像发送到雾资源设备。
该方法可包括:至少一个相机是拍摄用户的第一图像的房间相机。
该方法还可包括:通过处理器接收传感器输入;利用处理器基于传感器输入来确定移动设备的姿势,包括移动设备的位置和取向中的至少一种;以及利用处理器操纵可操纵无线连接器,该可操纵无线连接器基于姿势在移动设备与边缘资源设备之间创建无线连接以至少改进连接。
该方法可包括:可操纵无线连接器是相控阵天线。
该方法可包括:可操纵无线连接器是雷达全息图类型的传输连接器。
该方法还可包括:利用由处理器执行的仲裁器功能确定多少边缘和雾资源分别通过边缘和雾资源设备可用;根据可用资源的确定,利用仲裁器功能向边缘和雾资源发送处理任务;以及利用仲裁器功能接收来自边缘和雾资源的结果。
该方法还可包括:利用仲裁器功能组合来自边缘和雾资源的结果。
该方法还可包括:通过移动设备处理器确定进程是否是运行时间进程,如果做出任务是运行时间进程的确定,那么立即执行任务而不利用仲裁器功能做出确定,并且如果做出任务不是运行时间进程的确定,那么利用仲裁器功能做出确定。
该方法还可包括:在多个边缘资源设备与雾资源设备之间交换数据,该数据包括由不同传感器捕获并发送到边缘资源设备的空间中的点;以及确定超级点,超级点是选择来自边缘资源设备的两个或两个以上的数据重叠的点中的点。
该方法还可包括:使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
该方法还可包括:利用处理器为一组超级点生成上下文触发器,以及利用处理器将上下文触发器存储在计算机可读介质上。
该方法还可包括:将上下文触发器用作基于第一内容渲染对象的句柄。
该方法还可包括:在移动设备处理器的控制下,将移动设备连接到多个资源设备;通过移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;利用移动设备处理器基于相应渲染请求从远程设备中的每一个接收渲染;利用移动设备处理器比较渲染以确定优选渲染;以及在移动设备处理器的控制下利用移动设备通信接口选择优选渲染作为由第一资源设备发射器发送的第一内容。
该方法可包括:渲染形成具有多项式预测的系统,以用于将帧渲染成移动设备被预测为摆放或观看的未来。
附图说明
本发明通过示例参考附图进一步描述,其中:
图1是根据本发明的实施例的增强现实系统、移动计算系统、可穿戴计算系统和内容提供系统的透视图;
图2至图5是移动计算系统(诸如图1的可穿戴计算系统(XR))的用户在世界中操作的行进场景的俯视图;
图6至图8是可形成图1的系统的一部分的无线设备的框图;
图9是ArUco标记的视图;
图10是穿戴增强现实系统的用户使用“定位岛”在世界上导航的流程图;
图11是示出了其进一步的细节的图1的系统的透视图;
图12是穿戴增强现实系统的用户使用用于定位的连接资源在世界上导航的流程图;
图13是穿戴增强现实系统的用户使用用于定位的几何形状在世界上导航的流程图;
图14是示出“空间计算”的概念的图;
图15是示出用空间计算系统表示用户与物理世界之间的关系的又一方式的图;
图16是关于空间计算环境的连接元件的分层描绘的框图;
图17是人类如何在空间计算架构内并且通常处理和保存信息的基本原则的框图;
图18是以人为中心的空间计算层和与许多不同数据源的信息耦接的框图;
图19A和图19B是一种配置的框图,在该配置中,用户穿戴诸如图1所描绘的系统的系统,其中“边缘”计算和/或存储资源通常比“雾”计算和/或存储资源更靠近用户定位,“雾”计算和/或存储资源比通常更强大且更遥远的“云”资源更近;
图20A和图20B是具有类似于图19A和图19B所示的连接计算系统的连接计算系统的用户的框图,其中,计算基于延迟和计算要求在边缘、雾和云计算资源之间分布;
图21是以人为中心的空间计算层和与许多不同数据源的信息耦接的框图;
图22A和图22B是一种配置的框图,在该配置中,利用了在用户周围具有多个相机的房间,并且出于各种原因,来自相机的图像可以被分离并引导到不同的计算资源中;
图23A和图23B是经由边缘计算资源连接到用户的本地计算资源的各种“物联网”资源的框图;
图24A和图24B是可连接到边缘计算资源的可穿戴技术类型的框图;
图25A和图25E是允许用户利用有线连接将其本地系统耦接到外部资源用于附加计算机、存储装置和/或电源的配置的框图,诸如经由直接耦接到一个或多个天线、计算工作站、膝上型计算机、诸如智能电话和/或平板电脑的移动计算设备、边缘计算资源和用于对其本地计算系统电源(即电池)充电的电源(图25A)、互连辅助计算组件(图25B)、与其他计算资源无线互耦(图25C)、耦接到汽车(图25D),以及具有附加的计算和/或存储资源(图25E);
图26A和图26C是以朝向一个或多个特定移动计算设备的可操纵连接和集中或聚焦连接为特征的透视图;
图27是雾计算(也可以被称为“环境计算”)被示出有与相对于用户设备的延迟水平相对应的不同计算“环”的透视图;
图28A至图28C是系统的框图,在该系统中,在边缘、雾和云层之间,可能存在包括各种形式的连接(包括光纤、同轴电缆、双绞线电缆卫星、各种其他无线连接模态)的通信层;
图29A和图29B是使用基于硬件的连接以及各种无线连接范例的各种类型的连接资源的框图;
图30A和图30B是具有硬件耦接到腰带包式计算组件(图30A)或平板电脑类型的互连(图30)的头部可穿戴组件的配置的框图;
图31是用于相对于外部资源(诸如边缘计算、雾计算和云计算资源)进行仲裁和分配的范例的流程图;
图32是图示以人为中心的集成空间计算(“MagicVerse”)通用操作内容提供系统的概念的图;
图33是示出在较大的雾计算节点内部的多个重叠边缘计算节点的连接的示意图,其中在边缘计算设备之间启用无缝切换或传送;
图34是用于可以具有互连的分布式资源的通用启动/引导程序的组件的框图;
图35是大型多人在线(MMO)配置的示意图,其中示出了计算要求相对于单独XR用户节点规模的一般化;
图36是如图35所示的以人为中心的集成空间计算的各种计算堆栈的框图;
图37是用于发现、切换和控制移动用户的直接半径内的元素的配置的示意图;
图38是基于超级点的同时定位和地图构建(“SLAM”)系统的框图;
图39是示出在较大的雾计算节点内部的多个重叠边缘计算节点的连接的进一步的细节的示意图,其中,在边缘计算设备之间启用无缝切换或传送;
图40是可包括能够创建世界的深度图的传感器的边缘节点的示意图,例如,这可包括一对立体相机、RGB-D相机、LiDAR设备和/或结构光传感器,其中的每一个还可包括IMU、麦克风阵列和/或扬声器和/或用作Wi-Fi或5G天线;
图41是“可通行世界”系统的示意图,其中每个在线XR创建针对环境的聚合模型的一部分;
图42是重现世界的数字孪生的系统的框图;
图43是用于过滤空间信息的系统的框图;
图44是针对操作、锚点或超级点的世界重建阶段显示姿势确定的经典实施方式的示意图;
图45是用于使用锚定图进行姿势估计的一个实施方式的时间线;
图46是使用自适应计算能力边缘/雾/云资源渲染平行帧作为预测并且在最后一刻选择最接近实际值的帧的系统的时间线;
图47是简化的物理世界的流程图,其中我们在不同水平处针对空间计算中的不同过程使用上文所描述的框架;以及
图48至图66是以在使用聚合空间计算的各种场景中使用的各种XR设备为特征的各种示例性实施例的图示。
具体实施方式
图1示出了内容提供系统,其以增强现实系统为特征,该增强现实系统具有头戴式观看组件(2)、手持式控制器组件(4)和可以被配置为作为腰带包等穿戴在用户上的互连辅助计算或控制器组件(6)。这些组件中的每一个可以经由有线或无线通信配置(诸如由IEEE802.11、蓝牙(RTM)和其他连接标准和配置所指定的配置)彼此连接(10、12、14、16、17、18),并且连接到其他连接资源(8),诸如云计算或云存储资源。如例如在美国专利申请序列号14/555,585、14/690,401、14/331,218、15/481,255和62/518,539中所描述的,其中的每一个以整体内容通过引用并入本文,描述了这样的组件的各方面,诸如所描绘的两个光学元件(20)以及视觉组件的各种实施例,通过该两种光学元件,用户可以看到他们周围的世界;该视觉组件可以由相关联的系统组件产生用于增强现实体验。存在优化用于可穿戴计算系统中的紧凑和持久连接的系统和组件的需要。
图1的内容提供系统是内容提供系统的示例,该内容提供系统包括:移动设备(头戴式观看组件(2)),其具有移动设备处理器;移动设备通信接口,其连接到移动设备处理器和第一资源设备通信接口并且在移动设备处理器的控制下接收由第一资源设备发射器发送的第一内容;以及移动设备输出设备,其连接到移动设备处理器并且在移动设备处理器的控制下能够提供可由用户感测的输出。内容提供系统还包括:第一资源设备(连接资源(8)),其具有第一资源设备处理器、第一资源设备存储介质和包括第一资源设备存储介质上的第一内容的第一资源设备数据集,第一资源设备通信接口,其形成第一资源设备的一部分并连接到第一资源设备处理器,并且在第一资源设备处理器的控制下。
参考图2,描绘了移动计算系统(诸如参考图1所描述的可穿戴计算系统)的用户在世界中操作的行进场景(160)。图2示出了以被配置为连接用户的可穿戴计算系统的至少一个无线设备(40)为特征的用户的家(22)。当用户导航他周围的世界时,此处在一个说明性示例中,用户从家(22,点A-80)行进(30)到工作(24,点B-82,点C-84,点D-86,点E-88),然后在返回(34,点N-106,点O-108)到家(22)休息之前从工作(24)行进(32,点I-96,点J-98)到公园(26点)散步(28,点K-100,点L-102,点M-104)——一路上,在他的移动计算系统与各种无线设备(40、42、44、46、48、50、52、54和如图3和图4的放大图所示的其他设备)进行无线联系。优选地,移动计算系统被配置为利用各种无线设备和与其交换的信息来向用户提供相对低的延迟和稳健的连接体验,通常经受于可由用户选择的用户偏好。
移动计算系统可被配置为使得用户选择其当天计算体验的某些方面。例如,通过图形用户界面、语音控制和/或手势,用户可以向移动计算系统输入他将具有典型的工作日、通常的路线、在回家的路上在公园停下来散步。移动计算系统具有“人工智能”方面,使得它使用与用户的电子日历的集成来临时理解他的日程表,这经受快速确认。例如,当他离开去上班时,系统可被配置为说或显示:“去上班,常规路线和常规计算配置”,并且该常规路线可以通过他的移动计算系统从先前的GPS和/或移动三角测量数据获取。“通常的计算配置”可由用户定制并且经受规定,例如,系统可被配置为仅呈现某些非遮挡性视觉、无广告、以及无购物或其他与在用户驾驶时驾驶无关的信息,并且在用户开车上班时提供新闻节目或当前最喜爱的有声读物的音频版本。当用户在上班途中导航驾驶时,他可以离开与他的家庭无线设备(40)的连接,并且进入或保持与其他无线设备(42、44、46、48)的连接。这些无线设备中的每一个可被配置为以相对低的延迟向用户的移动计算系统提供关于用户的体验的信息(即,通过本地存储可能关于该位置处的用户的某些信息)。图6和图7示出了如本文所描述的可使用的无线设备的某些方面,图8和图9的实施例以非存储信标和/或标记配置为特征,非存储信标和/或标记配置也可用于直接连接到本地相关的基于云的信息而不受益于本地存储装置。
例如,当用户从点A(80)到点B(82)到点C(84)行进时,点C(84)周围的本地无线设备(44)可被配置为向用户的移动系统传递几何信息,该几何信息可在用户的移动计算系统上用于突出显示在这样的位置的何处创建沟槽,使得用户可以在驾车经过时清楚地看见和/或理解危险,并且该几何信息(例如,其可以以沟槽的突出轮廓为特征,也可以以一个或多个照片或其他非几何信息为特征)可以本地存储在本地无线设备(44)上,使得它不需要从更多远程资源取出,这可能涉及向驱动器获得信息的更大的延迟。除了降低延迟之外,本地存储还可用于减小用户的移动计算系统上的总体计算负载,因为移动系统可以接收其以其他方式必须基于传感器(例如,其可包括本地移动硬件的一部分)生成或构建的信息。
一旦用户到达其工作的停车场(24),例如,系统可被配置为检测步行速度,并且由用户配置为在用户走向办公室时,经由与其计算机化日历系统的集成与用户一起回顾其一天的日程表。某些不驻留在其本地移动计算系统上的附加信息可以从本地源(例如48、50)取出,该本地源可以以特定的存储容量为特征,以再次利于与直接云连接相比更小的移动开销和更低的延迟。
参考图4,一旦在办公室(24)中,用户就可以与各种无线设备(50、60、62、64、66、68、70、72、74)连接,其中的每一个可以被配置为能够提供基于位置的信息。例如,当在点F(90)处时,用户的移动计算系统可被配置为检测位置(诸如通过GPS、计算机视觉、标记或信标标识和/或无线设备(60、62、64)三角测量),并且然后将关于该位置的信息(诸如房间的几何形状的密集三角形网格)、或关于该房间是谁的办公室的某些信息、关于该人的信息、或可能被认为相关的其他信息从本地存储(即,从无线设备60、62、64)快速上传到他的移动计算系统,诸如通过在用户的移动计算系统上自动工作的人工智能代理。各种其他无线设备(50、66、68、70、72、74)可定位在办公室的其他位置,并且被配置为以其他基于位置的信息为特征,再次向本地用户提供低延迟和稳健的移动计算功能而无需一切(诸如确定房间几何形状)由移动计算系统本地的传感器设施实时从头开始。
参考图3,类似的无线设备资源(40、56、58)可在家(22)中使用以在用户利用其移动计算系统导航(P-110、Q-112、R-114、S-116、T-118、U-120)回家时协助基于位置的信息。在办公室(24)或家(22)环境中,移动计算系统可被配置为利用与驾驶完全不同的外部资源。例如,用户的移动计算系统的人工智能组件可能知道当用户在周六早上7点到8点之间四处走动时用户喜欢观看前一周的晚间新闻要点(可能以通常在驾驶时不可接受但在行走时可接受的显示方式,或者当用户停止走动并就坐或站着不动时自动扩展),因此当检测到步行速度时,系统可被配置为在这两个小时之间从本地存储递送这样的要点,同时还收集其他基于位置的信息,诸如相关位置的房屋内的各种对象或结构的位置(即,以减小计算机视觉处理负载)。
类似地,当用户导航行走(28)通过公园(26)时,如图5中的放大视图所示,本地无线设备资源(54)可用于提供基于位置的信息,诸如用户在他行走时可能正在观察的与雕塑花园相关的背景信息,当用户以定制和/或可定制在公园散步场景的方式四处走动时(即,与驾驶或在家或工作中四处走动相反),这样的信息可以被显示或再现为音频。
参考图6,前述无线设备中的一个或多个(40、42、44、46、48、50、52、54和如图3和图4的放大图所示的其他无线设备)可包括如图6所示的系统,其中,本地控制器(134),诸如处理器,连接(138)到电源(132),诸如电池;收发器(130),诸如被配置为诸如通过使用移动电信(即,GSM、EDGE、HSPA/+、3G、4G、5G)、Wi-Fi(即,IEEE 802.11标准,诸如802.11a、802.11b、802.11g、802.11n、Wi-Fi 6-也称为IEEE 802.11 AX、IEEE 802.11AY、IEEE 802.11AX-Halo,其是相对低的功率变化,这可能对相对靠近用户的设备最有用)、WiMax和/或蓝牙(RTM,即1.x、2.x、3.x、4.x)配置,与移动计算系统和其他计算系统和资源无线通信的发射和接收天线;以及本地存储设备(136),诸如大容量存储设备或储存器设备。存储设备(136)可以连接(140)到外部存储资源(146),诸如云存储资源,本地电源(132)可以连接(142)到外部电源(148),诸如用于长期充电或补充,收发器(130)可以连接(144)到外部连接资源(150)以提供例如对互联网骨干网的访问。所有这些本地和连接的资源可基于这样的设备的位置来配置,以向本地用户提供本地场景定制的信息,无论这样的信息是否与交通、购物、天气、结构、文化等相关。图7示出了类似于图6的实施例的实施例,但是没有本地存储设施-其组件连接(141)到远程存储资源(146),诸如云资源,图7中的这样的实施例可以在各种配置中使用以代替诸如图6中的实施例而不受益于直接本地存储(如上文所描述的,这样的本地存储对在向区域中的移动系统提供信息方面减少延迟可能是有益的)。参考图8,在没有本地存储能力的进一步的场景中,发射器信标(41)类型的设备,例如仅特写发射器(131),不是双向收发器,诸如被配置为诸如通过使用移动电信(即,GSM、EDGE、HSPA/+、3G、4G、5G)、Wi-Fi(即,802.11标准,诸如802.11a、802.11b、802.11g、802.11n)、WiMax和/或蓝牙(RTM,即,1.x、2.x、3.x、4.x)配置)与移动计算系统和其他计算系统和资源无线通信的发射天线;以及相对长寿命的电池(132)可用于连接到本地定位的移动计算设备以共享位置或信标标识信息,其用作将移动计算系统与相关云资源连接的指针(即,绕过本地存储,但是提供类似于以下内容的信息:你在这里+指向相关云资源的指针)。参考图9,在非常基本的场景中,非电子标记(43),例如ArUco标记,可用于也用作指针以将移动计算系统与相关云资源连接(即,绕过本地存储,但提供类似于以下内容的信息:你在这里+指向相关云资源的指针)。
如上文所描述的,为了减小延迟并通常增加对相关基于位置的信息的有用访问,具有本地化存储资源的无线设备(诸如图6所描绘的无线设备)可位于诸如住宅、企业等结构的内部;-以及诸如城市市区的外部,、商场或商店的外部等。类似地,没有本地化存储能力-但连接或指向远程存储资源的无线设备也可位于诸如住宅、企业等结构的内部;-以及诸如城市市区的外部、商场或商店的外部等。
移动计算系统可由用户定制以呈现在时域基础上过滤的信息,诸如通过这样的信息多么陈旧或“过时”。例如,用户可能能够将系统配置为在他驾驶时仅提供10分钟老的或更新的交通信息等(即,时域方面可以是定制/可配置的)。可替代地,用户可能能够将系统配置为仅呈现1年老的或更新的建筑(即,建筑物内的墙的位置)等(即,时域方面可以是定制/可配置的)。
参考图10至图13,常常希望使系统被配置为使得用户的位置和/或取向(即,经由确定耦接组件的位置和/或取向,诸如可耦接到用户头部的头戴式观看组件2)可用于在用户导航世界时向用户提供关于用户的特定世界视图的附加和/或增强内容和/或信息。
例如,如图10的示例所示,用户可能穿戴如图1所描绘的增强现实系统(200)导航世界。用户可进入区域(诸如可步行区域,或建筑物内或外的功能体积),其中,特定特征(诸如有意视觉可检测特征)和无线连接相关特征,已预配置为由用户的增强现实系统定位和解释,使得系统被配置为确定用户相对于紧靠用户周围的世界的位置和/或取向。这样的相对信息丰富的区域可以被称为“定位岛”。例如,某些连接资源(8)可包括无线连接设备,诸如802.11设备,其可以广播诸如SSID和/或IP地址的信息,并且可以确定其相对信号强度,并且可以与接近度相关。进一步的可检测特征可例如包括具有已知位置的蓝牙、音频和/或红外信标,和/或具有已知位置的海报或其他视觉特征。这些输入的组合检测和分析,诸如通过连接到主体系统的头部可穿戴组件(2)的多个传感器(其可包括诸如单色相机、彩色相机、蓝牙探测器、麦克风、深度相机、立体相机等组件),可用于基于对关于这样的项目的预定或已知位置的信息的分析来确定用户(202)的位置和/或取向,关于这样的项目的预定或已知位置的信息例如可包含在连接资源(8)上,诸如云存储系统,像例如参考图6所描述的云存储系统。
再次参考图10,一旦确定了用户的初始位置和/或取向,用户的增强现实系统的传感器连同定位岛的特定特征一起可用于维持用户在区域或体积中的位置和/或取向的更新确定(204)。当用户在场所周围观看和/或导航时,给定用户相对于场所的坐标系的位置和/或取向的更新确定,则某些特定内容和信息可以通过用户的增强现实系统呈现给用户,包括但不限于经由“可通行世界”配置的关于其他远程场所的内容和信息(诸如,例如在美国专利申请序列号13/663,466中所描述的内容和信息,其以整体内容通过引用并入本文),“可通行世界”配置可被配置为例如允许其他用户和对象虚拟地“传送”到不同的位置,以看到关于场所的图像,和/或与实际或虚拟存在的其他人通信(206)。用户的增强现实系统的用户界面可被配置为允许用户摄取、利用、观看和/或绕过通过用户的增强现实系统呈现的某些信息。例如,如果用户正在走过特别地可标识的特征丰富(即,诸如“定位岛”)和内容丰富的购物区,但是当时不想看到关于购物的信息的任何虚拟呈现,则用户可以将他或她的系统配置为不显示这样的信息,以及相反仅显示已选择用于显示的信息,诸如紧急个人消息信息。
根据参考图10所描述的附加细节,第一资源设备在第一位置处,其中,移动设备通信接口创建与第一资源设备的第一连接,并且其中,内容是特定于第一连接的第一地理参数的第一内容。内容提供系统还包括:第二资源设备,其具有第二资源设备处理器、第二资源设备存储介质、包括第二资源设备存储介质上的第二内容的第二资源设备数据集、以及第二资源设备通信接口,其形成第二资源设备的一部分并连接到第二资源设备处理器,并且在第二资源设备处理器的控制下,其中,第二资源设备在第二位置处,其中,移动设备通信接口创建与第二资源设备的第二连接,以及其中,内容是特定于第二连接的第二地理参数的第二内容。
参考图11,示出了类似于图1的系统的系统,但也示出了突出显示可用于协助用户的定位的多个无线连接资源(即,在确定组件的位置和/或取向时,例如在操作中可耦接到用户头部的头部可耦接组件2)。例如,参考图11,除了主系统组件(2、4、6)彼此连接并连接到诸如云存储或云计算资源的连接资源(8)之外,这些系统组件可以无线地耦接到可以帮助用户定位的设备,例如,蓝牙设备(222),诸如具有已知标识和/或位置的发射器信标;802.11设备(218),诸如具有特定SSID、IP地址标识符和/或信号强度或接近感测和/或发送能力的Wi-Fi路由器;车辆或其组件(220),其可配置为发送关于速度、位置和/或取向的信息(例如,某些机动车辆内的某些速度计系统可被配置为通过与具有GPS跟踪能力的组件(诸如车载GPS跟踪装置)相互耦接来发送瞬时速度和近似GPS位置,可以利用与用户所位于的车辆相关的这样的速度、位置和/或取向信息来减少显示“抖动”,并且还帮助向用户呈现关于可通过车窗看到的现实世界特征(诸如,正在经过的山顶的标签,或车辆外部的其他特征)的显示图像,在涉及具有这样的车辆或结构外部的观看入口的车辆或其他结构的某些实施例中,可以利用关于这样的车辆、结构和/或入口的几何形状的信息,诸如来自连接资源8云存储库,以相对于车辆或结构适当地为每个用户放置虚拟内容);移动连接网络收发器(210),诸如为LTE连接配置的移动连接网络收发器,其不仅可以连接用户的系统,而且还可以提供三角测量位置和/或取向集成以及集成的GPS信息;被配置为向连接的设备提供位置信息的GPS发射器和/或收发器(212);音频发射器或收发器信标(214,216),诸如被配置为通过使用通常不可听的频率来帮助定位或引导附近系统的音频发射器或收发器信标(例如,在各种实施例中,音频发射器或收发器可用于帮助移动系统,诸如增强现实系统以最小侵入性“磨合”(“honing in upon”)或定位(即,类似于黑暗中的第一人可以在黑暗中向第二人吹口哨以帮助该第二人找到第一人的方式)不仅音频发射器或收发器,而且另一个相邻或共同定位的定位资产,诸如灯、红外、RF或其他信标、发射器和/或收发器(即,通过增强现实系统上可用的传感器套件(诸如图1和图11中特写的传感器套件)自动地,或在其他实施例中手动或半自动地,使得音频发射器和/或收发器在针对用户的用户界面中被定向地表示,诸如经由视觉指示器,诸如用户界面中的箭头,和/或通过头戴式组件中的集成的扬声器的音频指示器),和/或可由用户的增强现实系统检测以类似地吸引和/或标识关于位置和/或取向的信息的红外信标。
参考图12,示出了关于诸如图11所示的系统的系统的操作实施例。用户穿戴增强现实系统导航工作(200)。在各种无线连接资源的范围内,诸如移动电信收发器(诸如LTE)、GPS设备、802.11设备和各种类型的信标(诸如蓝牙RF、音频和/或红外信标),用户的增强现实系统可被配置为确定用户相对于紧靠用户周围的世界的位置和/或取向(224)。一旦确定了用户的初始位置和/或取向,则用户的增强现实系统的传感器连同特定无线连接资源一起可用于维持用户在区域或体积中的位置和/或取向的更新确定(226)。当用户在场所周围观看和/或导航时,假定用户相对于场所的坐标系的位置和/或取向的更新确定,则某些特定内容和信息可以通过用户的增强现实系统呈现给用户,包括但不限于经由“可通行世界”配置的关于其他远程场所的内容和信息(诸如,例如在美国专利申请序列号13/663,466中所描述的内容和信息,其以整体内容通过引用并入本文),“可通行世界”配置可被配置为例如允许其他用户和对象虚拟地“传送”到不同的位置,以看到关于场所的图像,和/或与实际或虚拟存在的其他人通信(206)。用户的增强现实系统的用户界面可被配置为允许用户摄取、利用、观看和/或绕过通过用户的增强现实系统呈现的某些信息(208),如上文关于图10通过示例所描述的。
参考图13,在另一实施例中,可以分析其他可检测资源,诸如建筑物、天际线、地平线和/或全景的不同几何形状,诸如经由计算机视觉和/或图像或特征处理技术,利用连接的系统和资源(诸如图1和图11所描绘的系统和资源)来确定用户的位置和/或取向。用户穿戴增强现实系统导航世界(200)。在各种结构或其他可检测资源(诸如一个或多个建筑物、天际线、地平线和/或全景的不同几何形状)附近内,用户的增强现实系统可被配置为通过处理、阈值化这样的图像的各方面和/或将这样的图像的各方面与关于这样的场景或资源的已知图像进行比较来确定用户相对于紧靠用户周围的世界的位置和/或取向(228)。一旦确定了用户的初始位置和/或取向,则用户的增强现实系统的传感器(诸如彩色、单色和/或红外相机)可用于维持用户在区域或体积中的位置和/或取向的更新确定(230)。当用户在场所周围观看和/或导航时,给定用户相对于场所的坐标系的位置和/或取向的更新确定,则某些特定内容和信息可以通过用户的增强现实系统呈现给用户,包括但不限于经由“可通行世界”配置的关于其他远程场所的内容和信息(诸如,例如在美国专利申请序列号13/663,466中所描述的内容和信息,其以整体内容通过引用并入本文),“可通行世界”可被配置为例如允许其他用户和对象虚拟地“传送”到不同的位置,以看到关于场所的图像,和/或与实际或虚拟存在的其他人通信(206)。用户的增强现实系统的用户界面可被配置为允许用户摄取、利用、观看和/或绕过通过用户的增强现实系统呈现的某些信息,如例如上文关于图10所描述的。
因此,图13描述了附加细节,其中第一资源设备在第一位置处,其中移动设备具有在第一位置处检测第一特征的传感器,并且第一特征用于确定与第一特征相关联的第一地理参数,以及其中内容是特定于第一地理参数的第一内容。
参考图14至图18,呈现了用于互连或集成计算的范例,其可被称为“空间计算”。如上文参考图1至图13所描述的,连接的和便携式个人计算系统(诸如图1所示的那些)可以集成到用户的直接世界中,使得用户能够存在于他们周围的空间中,同时还以复杂的方式与计算系统交互。这部分地由于这样的系统的便携性质,但也由于如上文所描述的各种资源的连接性,并且还由于各种实施例被设计为在还操作计算系统时利于正常活动的事实。换句话说,在各种实例中,可以在人在通过室内或室外的日常生活空间四处走动和工作时穿戴和操作这样的计算系统,并且计算系统可以被配置并且适于基于或响应于由于用户周围的空间环境而提供的某些输入来为用户提供专门和定制的功能。
参考图14,“空间计算”的概念可定义为与多个属性相关联,包括但不限于存在性、持久性、规模、感悟力、交互性、尊重和感觉。例如,在存在性方面,主体集成系统组件可被配置为放大用户的能力而不影响用户在物理世界中的存在。在持久性方面,主体集成系统组件可被配置为利于用户的注意力、聚焦、以及与他们周围的物理世界和与其相关联的任何“数字居民”(即,诸如数字或虚拟角色或数字表示的访客)的交互的生命周期,以随时间在上下文和深度方面增长,其中数字内容和居民可配置为继续其生活路径,即使主体计算系统未由用户主动利用。在规模方面,主体集成系统组件可被配置为向用户递送从非常大的规模到相对小规模的图像或内容的任何内容。在感悟力方面,主体集成系统组件可被配置为利用信息、信号、连接的设备和其他输入来向用户提供对其周围的物理和数字世界的增强理解。在交互性方面,主体集成系统组件可被配置为呈现响应于自然人类信号或输入(诸如头、眼、手、声音、面部和其他输入)以及与各种工具相关联的输入的数字内容。在尊重方面,主体集成系统组件可被配置为提供集成到用户周围世界的图像、内容和数字行为,诸如通过提供综合光影投射来匹配房间,通过向音频中添加混响来匹配房间的声音物理,或者通过相对于彼此适当地遮挡各种数字/虚拟对象,如现实中所感知的。在感觉方面,主体集成系统组件可被配置为提供用户是谁以及用户周围的世界是什么样的综合意识水平,使得系统能够像用户那样综合理解世界,并且利用该综合智能向用户提供个性化和主观体验。
参考图15,图示了用空间计算系统表示用户与物理世界之间的关系的又一方式。随着计算硬件的突破,诸如在中央处理单元(“CPU”)、图形处理单元(“GPU”)连同普遍的高带宽数据传送能力和相对便宜和高速存储设备中,存在用于空间计算配置的重要因素的汇合。在所描绘的空间计算范式的中心是用户,其具有高度进化和高能力的人类计算系统(即,大脑)。直接邻近所描绘的用户是直观界面层,包括诸如图1所示的系统,其中用户可穿戴可穿戴计算系统并且使用语音命令、手势、手持组件等与其交互,如前述通过引用合并的描述中所描述的。人机界面设备(250)还可包括计算系统,诸如平板计算机、智能电话、和膝上型计算机、车辆(例如自动驾驶车辆)、各种类型的可穿戴电子设备、无人机、机器人以及向人类用户提供对计算和连接资源的访问的各种其他系统,例如,在图16中所示,它示出了关于空间计算环境的连接元件的又一分层描述。
所描绘的下一层是安全/加密层(252)。该层被配置为将用户与可能想要获得对用户数据或元数据的访问的其他系统或用户隔离和保护,该用户数据或元数据可包括,例如,用户喜欢什么、用户做什么、用户位于哪里。诸如区块链的技术可用于协助保证和配置这样的安全层,以及例如与可被配置为安全地表示在数字世界中用户是谁的数字标识交互;并且可通过生物认证技术来促进。
下一邻近定位层是以人为中心的集成空间计算层(254),其也可以在商标名“MagicVerse”下被提及。该空间计算层也在图16中示出,它可被配置为从多个来源接收数据,包括但不限于外部开发者、私人开发者、政府来源、人工智能来源、预训练模型、深度学习模型、心理数据库、时事数据库、关于一个或多个用户的单独操作(其也可称为用户的“生命流”)的数据源、设备数据源、权威数据源、公司数据源、学习数据源、网状数据源、上下文数据源、政府服务、公共源、竞争对手源、通信源、新兴数据源、设备数据源、网格或映射操作、上下文化信息、设备数据源和管理服务。
向前参考图17,当组装空间计算架构时,理解人类如何处理和保存信息的一些基本原则是有用的。如图17所示,由于眼睛、耳朵和其他人体感官的操作,人脑能够接收大量信息,并且该信息可以进入感官记忆缓冲区。事实证明,许多该信息未被保留,可能因为它像其他保留部分一样有用。有用信息的组件可被移动到工作记忆缓冲区,并且最终可能被移动到长期记忆,在那里存在潜在的无限存储和无限保留。在各种实施例中,空间计算系统可被配置为增加推入工作存储器的信息的比例,该信息实际上是对用户有用的信息。换句话说,偏好是尽可能地向用户增加价值,尤其是用户大脑的认知负荷将被增加。
返回参考图15,以人为中心的空间计算层或“MagicVerse”与其周围的一切进行接口。例如,向前参考图18,在各种实施例中,以尽可能并行的配置在与许多不同数据源的信息耦接中示出了以人为中心的空间计算层。以人为中心的空间计算层可以理解为与用户周围的所有系统的集成,从智能电话到物联网集成能力的设备,到虚拟现实/增强现实/混合现实(所谓的“XR”)设备,到各种车辆、数据库、网络和系统。
图15所示的下一层是插入用户、人机设备界面、以人为中心的空间计算层与诸如边缘计算(258)、雾计算(260)和云计算资源(262)的计算资源层之间的抽象和仲裁层(256)。
图15至图18描述了移动设备与资源层之间的空间计算层的附加细节,该资源层具有多个数据源并且被编程为接收数据资源、集成数据资源以确定集成简档;以及基于集成简档确定第一内容。空间计算层包括空间计算资源设备,该空间计算资源设备具有空间计算资源设备处理器、空间计算资源设备存储介质、以及空间计算资源设备存储介质上的空间计算资源设备数据集,并且空间计算资源设备数据集可由处理器执行以接收数据资源、集成数据资源以确定集成简档,以及基于集成简档确定第一内容。内容提供系统还包括抽象和仲裁层,该抽象和冲裁层插入移动设备与资源层之间并且被编程以做出工作负载决策,以及基于工作负载决策分发任务。
三个最外层中的一部分被描绘为缺失以表示真实物理世界(264)是集成系统的一部分的事实,换句话说,世界可用于协助计算、做出各种决策和标识各种项目。内容提供系统包括拍摄移动设备周围的物理世界的图像的相机设备。图像可用于做出工作负载决策。图像可以形成数据资源中的一个。
参考图19A至图26C,示出了关于连接替代方案的各种实施例,其适于与各种主体空间计算配置一起使用。例如,参考图19A,示出了利用相对高带宽的移动电信连接(诸如使用3G、4G、5G、LTE和其他电信技术可用的那些移动电信连接)以及本地网络连接(诸如经由Wi-Fi和电缆连接端点)的配置,其中,这样的连接改进可用于以相对低的延迟连接到远程(即,不直接搭载在用户的身上)计算资源。
图19A示出了用户穿戴诸如图1所描绘的系统的系统的配置,例如包括头部可穿戴组件(2)和互连的辅助计算或控制器组件(6,由于在一些变型中,这样的计算组件可被配置为连接到用户的腰带或腰部区域的事实,也可称为“腰带包”)。图19B示出了类似于图19A的配置的配置,例外的是,用户穿戴单组件配置(即,它仅具有头部可穿戴组件2,其中互连辅助计算或控制器组件6的功能替代是以雾、边缘和/或云资源的形式离开人)。返回参考图19A,所谓的“边缘”计算和/或存储资源通常比“雾”计算和/或存储资源更靠近用户定位,“雾”计算和/或存储资源比通常更强大且更遥远的“云”资源更近。如图19A和图19B所示,通常更近的(并且在原始计算资源方面不太强大的)边缘资源将以比雾资源(其通常将具有中间级别的原始计算资源)和定位更远的云资源相对更低的延迟可用于用户的本地互连计算资源(2、6),雾资源通常被定义为具有中级延迟,以及云资源具有最多延迟以及通常最原始的计算能力。因此,利用这样的配置,当资源离用户更远定位时,存在更多延迟和更多原始计算资源能力。
图19A和图19B描述了附加细节,其中,移动设备通信接口包括一个或多个移动设备接收器,其连接到移动设备处理器并与第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。在给定示例中,第二资源设备是具有比第一延迟慢的第二延迟的雾资源设备。移动设备通信接口包括一个或多个移动设备接收器,其连接到移动设备处理器并与第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由第三资源设备发射器发送的第三内容,其中,第三资源设备是具有比第二延迟慢的第三延迟的云资源设备。到边缘资源设备的连接通过蜂窝塔,以及到雾资源设备的连接通过Wi-Fi连接设备。蜂窝塔连接到雾资源设备。Wi-Fi连接设备连接到雾资源设备。
在各种实施例中,取决于用于计算工作负载相对于延迟的需要,控制这样的配置以将工作负载分发到各种资源。例如,参考图20A和图20B,其示出了用户以及类似于图19A和图19B所示的连接计算系统的连接计算系统,可以基于延迟和计算需求在边缘、雾和云计算资源之间分布计算。返回参考图19A和图19B,这样的计算需要可以通过被配置为进行计算抽象、人工智能(“AI”)抽象、网络抽象和仲裁计算的应用编程接口(“API”)从用户本地的资源引导,以基于延迟和计算需求驱动将计算任务分布到各种边缘、雾和云计算资源。换句话说,无论用户本地具有的将与以人为中心的集成空间计算系统(再次,也可以被称为“MagicVerse”)进行接口的哪个XR计算设备(即,诸如图1所示的可穿戴系统,或平板计算机等),都可以分离工作负载,并且基于该工作负载无论以什么格式出现,以及在何处它需要用于外部计算和/或存储资源,以及所涉及的文件类型的大小-计算抽象节点可被配置为操纵这样的处理和引导,诸如通过读取特定的文件格式、缓存具有特定大小的分组、根据需要移动某些文档或文件等。例如,AI抽象节点可被配置为接收工作负载并且检查需要利用和运行什么种类的处理模型,并且从存储器中取出特定的工作负载元素,使得当接收更多数据时,它可以运行更快。网络抽象节点可被配置为恒定分析连接的网络资源、分析它们的连接质量、信号强度和将遇到的各种类型的过程的能力,使得它可以有助于尽可能最佳地将工作负载引导到各种网络资源。仲裁节点可被配置为在划分各种任务和子任务并将其发送到各种资源时执行。参考图21,计算负载可以以多种方式、多个方向分布,使得端点处的净结果在性能和延迟方面得以优化。例如,头部姿势确定(即,当穿戴诸如图1所描绘的头部穿戴组件2时,用户头部相对于用户周围环境的取向,将通常影响用户在诸如图1所示的增强现实配置中的感知),其中,相对低的延迟可能是最重要的,可以至少主要使用边缘资源运行,而超低延迟不那么重要(即,标签在运行时间不是绝对必要的)的语义标签服务可以使用数据中心云资源运行。如上所述,边缘资源通常被配置为具有较低的延迟和较低的原始计算能力,它们可能位于计算需要的“边缘”,因此资源的名称。存在许多不同的方式来配置边缘计算资源。例如,可商购的边缘类型资源可包括由Intel,Inc.在商标“MovidiusNeural Computer Stick”(TM)下或Nvidia,Inc.在“Jetson Nano”(TM)或“Jetson TX2”(TM)下销售的资源,或由Nvidia,Inc.在“AGX Xavier”(TM)下销售的资源。这些的每一个通常包括CPU和图形GPU资源,它们可以与相机设备、麦克风设备、存储器设备等相互耦接,并且例如用高速带宽连接连接到用户端点。这样的资源还可配置为包括定制处理器,诸如专用集成电路(“ASIC”),其可具体用于深度学习或神经网络任务。边缘计算节点还可被配置为被聚合以增加用户位于任何房间的计算资源(即,具有5个边缘节点的房间可配置为在功能上具有5倍于没有边缘节点的计算能力,抽象层和仲裁层(诸如图19A和图19B所示的抽象层和仲裁层)协调这样的活动)。
参考图22A和图22B,示出了利用用户周围具有多个相机的房间的配置,出于各种原因,来自相机的图像可以被分离并引导到不同的计算资源中。例如,在将以相对高的频率重复进行头部姿势确定过程的场景中,帧可被并行发送到边缘节点以用于相对低延迟处理,这可以被称为动态分辨率计算方案(在一个变型中,其可被配置用于张量训练分解以执行分辨率的动态降级,其可简化为采用张量并组合较低秩特征,使得系统仅计算片段或部分),帧也可以发送到雾和云资源,以相对于用户的XR计算系统进一步上下文化和理解(图22A示出了与图1中所示的用户计算配置类似的用户计算配置,图19A、20A、23A和24A的用户计算配置也是如此),图22B示出了如图19B、20B、23B和24B中的配置,没有互连辅助计算组件(6),由于这样的资源的功能替代定位在边缘、雾和云资源的聚合内。
图22A和22B示出了捕获至少第一和第二图像的至少一个相机的附加细节,其中,移动设备处理器将第一图像发送到边缘资源设备用于更快的处理,并且将第二图像发送到雾资源设备用于更慢的处理。至少一个相机是拍摄用户的第一图像的房间相机。
参考图23A和23B,各种“物联网”(即,被配置为通常通过诸如基于IEEE 802.11的无线网络的互联网连接来容易地与网络控制进行接口)资源可以经由边缘计算资源连接到用户的本地计算资源,并且因此,关于这些资源中的每一个的处理和控制可以至少部分地在可穿戴计算系统之外完成。
参考图24A和24B,许多类型的可穿戴技术可以连接到边缘计算资源,诸如经由可用的网络连接模态,例如IEEE 802.11Wi-Fi模态、WiFi-6模态和/或蓝牙(TM)模态。
参考图25A,对于类似于图1所描绘的系统的系统,系统可被配置为允许用户利用有线连接将其本地系统耦接到用于附加的计算机、存储器和/或电源的外部资源,诸如经由直接耦接到一个或多个天线、计算工作站、膝上型计算机、诸如智能电话和/或平板电脑的移动计算设备、边缘计算资源以及用于对本地计算系统电源(即电池)供电的电源。这样的连接性可以由配置为作为诸如Android(TM)、iOS(TM)、Windows(TM)、Linux(TM)等的每个连接的资源操作系统之上的层操作的API来促进。优选地,这样的资源可由用户在操作期间添加或断开,这取决于用户保持近距离的能力和利用这样的资源的愿望。在另一实施例中,多个这样的资源可以以与用户的本地计算系统互连地桥接在一起。参考图25B,示出了类似于图25A的实施例的实施例,例外的是,互连辅助计算组件(6)可以诸如经由蓝牙、802.11、WiFi-6、Wi-Fi Halo等耦接到用户并且无线耦接到听觉可穿戴组件(2)。这样的配置可以在以上上下文中使用,诸如在图19A、20A、22A、23A和24A中所示的配置中(换句话说,利用这样的“混合”配置,用户身上仍然具有互连辅助计算组件6,但是该组件无线连接到头部可穿戴组件2而不是通过拴系耦接连接)。参考图25C,用户被示出有头戴式组件,诸如图1中所示的头戴式组件(元件2),其无线地与其他计算资源相互耦接,如图19B、20B、22B、23B和24B的实施例中,还示出了用户个人上的XR设备,其也可以与所描绘的远程资源相互耦接,诸如通过有线或无线连接。图25D示出了这样的远程资源不仅可以相互耦接到可穿戴或可手持XR或其他设备,而且可以相互耦接到各种本地计算资源,诸如可耦接到例如用户可能坐的汽车的资源。参考图25E,示出了类似于图25C的配置的配置,但是也提醒,如例如参考图19B、20B、21、22B、23B和24B所讨论的,附加的计算和/或存储资源也可以相互耦接,诸如雾和/或云资源。
参考图26A至图26C,随着相对高带宽、低延迟移动连接变得更普遍,而不是或除了将移动设备置于来自各种源的有效信号云中,如图26A所示,波束成形配置,诸如如图26B所示的特写相控阵天线配置的波束成形配置,可用于有效地“操纵”和集中或聚焦朝向一个或多个特定移动计算设备的连接,如图26C所示。利用对特定移动计算设备的位置和/或取向的增强的知识或理解(例如,在各种实施例中,由于姿势确定技术,诸如涉及定位在这样的移动计算设备上或耦接到这样的移动计算设备的相机的技术),连接资源可以至少以更定向和保守的方式提供(即,姿势可被映射并且反馈到波束成形天线以更精确地引导连接)。在一个变型中,如图26C所示的配置可以例如使用雷达全息图类型的传输连接器来实现,使得使用聚焦信号相干来形成有效的点到点通信链路。
图26A至图26C描述了内容提供系统的附加特征,还包括:传感器(350),其将传感器输入提供到处理器(352)中;姿势估计器(352),其可由处理器(352)执行以基于传感器输入计算移动设备(头戴式观看组件(2))的姿势,包括移动设备的位置和取向中的至少一个;可操纵无线连接器(358),其在移动设备与边缘资源设备(362)之间创建可操纵无线连接(360);以及操纵系统,其连接到姿势估计器并且具有向可操纵无线连接器提供输入以操纵可操纵无线连接来至少改进连接的输出。尽管所有这些特征在26A到26C中不存在,但是它们可以从26A到26C或本文中的其他附图和相关描述来推断。
参考图27,示出了雾计算(其也可被称为“环境计算”)的描绘,具有不同的计算“环”,其对应于相对于用户设备的延迟水平,诸如各种XR设备、机器人、汽车和外环中示出的其他设备。向内的相邻环示出了边缘计算资源,其可包括各种边缘节点硬件,诸如上文所描述的边缘节点硬件,这些硬件可包括各种形式的专有5G天线和连接模态。中心环表示云资源。
参考图28A至图28C,在边缘、雾和云层之间,可以存在包括各种形式的连接的通信层,包括光纤、同轴电缆、双绞线电缆卫星、各种其他无线连接模态。图28A示出了无线连接到可以顺序连接到雾和云资源的边缘资源的用户,图28B示出了用户硬件连接(即,经由电缆、光纤或其他非无线连接模态)到可以顺序连接到雾和云资源的边缘资源的配置,图28C示出了用户并行地无线连接和硬件连接到所有资源,因此设想了各种这样的连接置换。返回参考图21,关于管理这样的资源的一个挑战是如何在边缘、雾和云资源之间的层次结构上下移动和分布计算负载。在各种实施例中,可以利用基于强化学习的深层仲裁层(即,在一个变型中,功能请求可以发送到边缘资源,某些任务可以发送到雾资源,强化学习范例的“回报”可能是无论什么计算节点配置最快结束的情况,并且因此反馈环优化了响应仲裁配置,其中总体功能是随着资源“学习”如何优化而改进的功能)。
返回参考图15,描绘了冲击到边缘、云和雾层中的物理世界,这意味着表示某些事物距离越远,其功能上越接近云数据中心,而且这些资源可以并行访问。
参考图29A和图29B,示出了用于XR设备的各种类型的连接资源,诸如用于诸如图1所示的系统的系统的头部可穿戴组件(2),如上所述,这样的组件可以使用基于硬件的连接以及各种无线连接范例连接到其他资源。参考图30A,具有硬件耦接到腰带包式计算组件的头部可穿戴组件的类似于图1的配置的配置可连接到如上文例如参考图19A、20A、22A、24A和25A所描述的各种离开人的资源,图30B示出了一个或多个XR设备(诸如头部可穿戴AR组件、平板计算机或智能电话)可以连接到如例如在图19B、20B、22B、24B和25B、25C、25D和25E中所描述的外部资源的配置。
参考图31,示出了用于相对于外部资源(诸如边缘计算(416A)、雾计算(416B)和云计算(416C)资源进行仲裁和分配的范例(400到428)。例如,如图31所示,可以从用户本地的XR设备(即,诸如可穿戴计算组件、平板计算机、智能电话)接收(400)数据,可以进行简单逻辑格式检查(402),并且系统可被配置为利用简单错误检查(404)验证在格式检查中做出了正确选择,然后可将数据转换为优选格式(406)以用于优化计算接口,可替代地可利用用于各种连接资源的API,可以进行附加错误检查(408)以确认合适的转换,然后呈现关于相关过程是否是运行时间过程的决策(410),如果是的话,那么系统可被配置为立即处理问题并将其返回(412)到连接的设备。如果不是的话,则可以考虑对外部资源的批处理,在这种情况下,仲裁器功能(414)被配置为分析多少云、边缘和/或雾资源(416A至416C)实例可得并将被利用,并且发送出处理任务。一旦该数据被处理,它可以被组合(422)回单个模型,该模型可以返回(424)到设备。组合模型(418)的副本可以连同相关的资源配置细节一起取得,并且反馈(420)给仲裁器(414)并且在后台以不同的场景运行(并且将在其“学习”并且优化配置以应用于该类型的数据输入时继续这样做,其中误差函数最终朝向零移动)。
图31描述了内容提供系统(400至428)包括仲裁器功能,其可由处理器执行以分别确定多少边缘和雾资源通过边缘和雾资源设备可得,根据可得资源的确定向边缘和雾资源发送处理任务,并且从边缘和雾资源接收返回的结果。仲裁器功能可由处理器执行以组合来自边缘和雾资源的结果。该内容提供系统还包括运行时间控制器功能,其可由处理器执行以确定进程是否是运行时间进程,如果做出任务是运行时间进程的确定,那么立即执行任务而不利用仲裁器功能做出确定,并且如果做出任务不是运行时间进程的确定,那么利用仲裁器功能做出确定。
参考图32,示出了以人为中心的集成空间计算(“MagicVerse”)通用操作图的一个变型。以相对简化的形式示出了用于创建空间计算类型的体验的基本操作元素。例如,参考最底部描绘的层,可以经由同时定位和地图构建(“SLAM”)和视觉里程计技术以几何方式至少部分地重建物理世界,系统还可连接到与环境因素相关的信息,诸如天气、电源配置、附近的物联网设备、以及连接因素,这样的数据可以用作输入,以创建什么可以被称为环境的“数字孪生”(或物理世界的数字重建模型,如从图32底部第二层所示),其对关于特定感兴趣环境内的事物(其可以是房间、建筑物、或甚至城市)的几何形状、地图构建、位置、取向,以及其他因素进行建模。安全层可被配置为控制对空间计算范式的特定方面的访问,如例如上文所讨论的。安全层还可被配置为保护和管理个人数据、解锁门、建筑物和具有“地理围栏”类型的安全管理的其他结构等。下一个描绘的层是“姿势”层,该“姿势”层可被配置为构造包括投影矩阵的聚合“姿势图”,投影矩阵是关于捕获这样的数据的各种其他设备(诸如其他XR设备)的位置和取向的6自由度(DOF)描述符。换句话说,系统优选地被配置为利用相同环境或附近环境内的其他设备的存在和数据捕获,使得可以呈现和利用这些数据集的聚合来协助相对于这样的环境的交互、地图构建、定位、取向、交互和分析。所描绘的“渲染层”可被配置为聚合本地设备和可由诸如边缘、雾和/或云的资源互连的其他附近设备正在渲染的所有信息。这包括创建用于开始和停止预测的区域,使得在运行时间处实现更复杂和更高维度的预测。还描绘的是“语义层”,该“语义层”可被配置为分割和标记物理世界中的对象,如要显示给一个或多个用户的世界的数字模型中所表示的。该层通常可以被认为是用于自然语言处理以及其他递归神经网络(“RNN”)、卷积神经网络(“CNN”)和深度学习方法的基础。“上下文层”可被配置为基于推断的动作和配置,以人类相关术语提供从语义层返回的结果。该层和语义层可被配置为向“人工智能”功能提供关键输入。“体验层”和“应用层”以可执行用户界面的形式直接暴露于用户,例如,使用各种XR设备,诸如像图1所示的系统的系统。这些上层被配置为利用来自所描绘的它们下面的所有层的信息,以创建多用户、多设备、多位置、多应用体验,优选地以人类操作者尽可能可用的方式。
参考图33,示出了显示较大的雾计算节点内部的多个重叠边缘计算节点的连接的视图,其中边缘计算设备之间启用了无缝切换或传送。在为类似大型多人在线“MMO”系统所设计的系统中,各种组件可被配置为实时或近实时扫描附近的物理世界环境,以持续建立更精细的网格和地图构建信息。并行地,在这些网格和地图内使用的特征标识可用于创建非常可靠和高置信点,这可以被称为“超级点”。这些超级点可以被上下文化以表示世界中的物理对象,并且用于重叠相同空间中的多个设备。当相同应用在多个设备上运行时,这些超级点可用于创建参考公共坐标系的锚,公共坐标系用于将内容的变换矩阵投射到每个相关XR设备上的每个用户。换句话说,这些用户中的每一个能够利用超级点来协助姿势确定、定位(即,相对于超级点的局部坐标系中的位置和取向确定),它们有效地变为用于XR用户在现实或虚拟空间中导航的可靠航路点。
如在类似MMO的系统中,内容基于用户在其内交互的坐标系来存储。这可以在数据库中完成,其中特定内容片段可以具有JSON(JavaScript对象表示法),其描述位置、取向、状态、时间戳、所有者等。该存储的信息通常直到用户跨越基于位置的边界并在预测的未来开始下载内容才在用户的XR设备上本地复制。为了预测未来,机器学习和/或深度学习算法可被配置为使用诸如速度、加速度、距离、方向、行为和其他因素的信息。该内容可被配置为始终位于相同位置,除非通过手动方式(即,诸如使用XR界面拖放)或通过编程操纵与要重新定位的一个或多个用户交互。一旦基于前述因素下载了新内容,就可以将其保存到本地计算设备上,诸如以参考图1的计算包(6)的形式示出的本地计算设备。取决于情境因素和可用资源,可以连续、定时或根据需要进行这样的下载。在各种实施例中,诸如图1所描绘的实施例,其中不存在显著的连接的计算资源可得,所有渲染(诸如用于头部姿势和其他混合现实通用操作运行时间组件)可在本地计算资源上完成(即,诸如CPU和GPU,其可本地安置到用户身上)。
图33描述了内容提供系统包括多个边缘资源设备,数据在多个边缘资源设备与雾资源设备之间交换,该数据包括由不同传感器捕获并发送到边缘资源设备的空间点;以及超级点计算功能,其可由处理器执行以确定超级点是选择来自边缘资源设备中的两个或两个以上的数据重叠的点中的点。该内容提供系统还包括多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
参考图34,示出了用于可具有互连的分布式资源(即,诸如边缘、雾和/或云资源)以及它们之间的点对点加密的配置的通用启动(stratup)/启动(bootup)程序到操作,例如,通过无线或有线连接,诸如前述WiFi、移动无线以及其他基于硬件和基于无线的连接范例,来提供连接性。
参考图35,示出了另一类似MMO的配置,其中示出了计算要求相对于单独XR用户节点规模的一般化。换句话说,在各种实施例中,其花费相对大量的外部资源来支持每个单独的XR用户节点,还如图16所示,其中许多资源被朝向每个以人为中心的集成空间计算实例驱动。
图35描述了内容提供系统包括上下文触发器功能,其通过处理器执行以为一组超级点生成上下文触发器,并且将上下文触发器存储在计算机可读介质上。
参考图36,示出了用于如图35所示的以人为中心的集成空间计算的实施例的各种计算堆栈。物理世界由所有用户共享,基于由每个用户使用的每个特定XR设备的参数,系统被配置为抽象与每个这样的设备的交互。例如,Android(TM)手机将使用Android(TM)操作系统,并且可以使用AR core(TM)用于感知和锚定。这允许系统与已经开发的感知堆栈一起工作,该感知堆栈可以被优化以用于在以人为中心的集成空间计算世界中通过许多特定设备交互。为了使能许多不同的设备的使用,可以分发软件开发工具包(“SDK”)。术语“空间地图集”可用于参考网格所有权和操作配置,其中各种对象、位置和地图特征可利用中央权威数据库来标记、拥有、销售、排除、保护和管理。“上下文触发器”是对一个或多个超级点和相关元数据的描述,其可用于描述现实和/或数字世界中各种事物是什么,以及如何以各种方式利用它们。例如,关于手机结构的四个角超级点可以被指定为使手机结构操作作为数字环境中的剑柄。在所示堆栈的顶部,示出了应用客户端和后端信息,该信息可表示XR和/或服务器级别的交互层,以供用户与以人为中心的集成空间计算配置交互。
参考图37,示出了用于发现、切换和控制XR用户的直接半径内的元素的配置。矩形堆栈是指适于空间计算的应用管理工具,圆形堆栈属于物理世界的数字模型(即“数字孪生”)、经由发布的SDK和API的第三方开发者内容以及作为服务的XR配置的集成,其中,XR设备的用户可以有效地登录到策展环境以体验增强或虚拟现实图像、声音等。
对于必须直接与物理3D世界交互的机器(例如,行走和拾取鞭打(thrash)的机器人)或间接与3D世界交互的机器(例如,创建尊重3D世界几何形状的高质量3D图形的混合现实眼镜),什么可以被称为“空间理解”是重要技能。人类通常已经具有出色的空间推理技能,但是即使由用户穿戴的“智能眼镜”也必须执行其自己版本的空间推理。计算机科学家已经开发某些适合于提取三维数据和关于世界的空间推理的算法。“超级点”的概念已在上文和相关联的合并参考文件中描述,在本文中我们描述了严重依赖于输入图像流的基于超级点的空间推理公式。
如上所述,与空间计算配置相关的一类特定3D构建算法通常被称为同时定位和地图构建(“SLAM”)。SLAM系统可被配置为将一系列图像(彩色或深度图像)和其他传感器读数(例如惯性测量单元(“IMU”)当作输入,并提供当前设备姿势的实时定位。姿势通常是对应于相机坐标系的旋转矩阵R和平移向量t。SLAM算法可被配置为能够产生姿势,因为在场景后面它交错了两个核心操作:针对地图的地图构建和定位。
术语“视觉SLAM”可用于参考严重依赖于相机图像的SLAM的变型。与机器人界为帮助执行用于工业应用的SLAM而开发的3D扫描仪(诸如LIDAR)相反,相机显著地更小、更普遍、更便宜并且更容易工作。现代现成的相机模块非常小,并且利用相机图像,构建非常小且有效的视觉SLAM系统是可能的。
什么可以被称为“单目视觉SLAM”是使用单相机的视觉SLAM的变型。与使用两个或两个以上相机相反,使用单个相机的主要益处是减少的客户端形状因子。对于两个相机,必须非常小心地保持多相机组件刚性。
单目视觉SLAM的两个主要缺点如下:
1.当不存在视差时,诸如相机系统关于相机中心旋转,单目视觉SLAM通常不能恢复3D结构。当系统初始启动没有3D结构时,并且当算法内部的3D地图的初始化期间存在不足视差运动时,这特别有问题。
2.第二挑战在于单目视觉SLAM通常不能够恢复世界的绝对规模。对于具有恢复点深度Zi的任何给定单目轨迹,将所有点3D坐标乘以标量alpha并且也通过alpha缩放平移是可能的。
然而,少量额外信息,诸如来自本地IMU的里程计读数或来自RGBD传感器的深度数据,足以防止单目算法总体上退化。
视觉SLAM系统对图像进行操作,并且产生姿势和3D地图。整个算法可以分解为两个阶段:前端和后端。前端的目标是提取显著的2D图像特征并对其进行描述,使得不再需要原始RGB图像。前端的任务通常被称为“数据抽象”,因为高维图像被减少为2D点和描述符,其最近邻关系保持不变。对于适当训练的描述符,我们可以采取它们之间的欧几里德距离来确定它们是否对应于相同的物理3D点——但是原始图像上的欧几里德距离没有意义。后端的目标是从前端取得抽象,即提取的2D点和描述符,并且将它们缝合在一起以创建3D地图。
如上文所描述的并且在合并的参考文件中,超级点是可用于基于卷积深度学习的前端、设计用于单目视觉SLAM的术语。用于视觉SLAM的传统计算机视觉前端可由手工制作的2D关键点检测器和描述符组成。传统方法通常遵循以下步骤:1.)提取2D关键点,2.)从提取的2D关键点周围的图像裁剪补丁,3.)计算用于每个补丁的描述符。“深度学习”配置允许我们训练共同执行兴趣点和描述符计算的单个多头卷积神经网络。
给定图像中跟踪的一系列2D点,“束调整”是用于算法的术语,该算法可用于共同优化用于最好地解释2D点观察的3D结构和相机姿势。算法可被配置为使用非线性最小二乘公式最小化3D点的重投影误差(或整流误差)。
作为特征提取的深度学习公式的超级点可被配置为包含非常少手动工程(即手动输入)的网络。虽然网络可以被设计为将图像当作输入,并且提供2d点位置和相关联的描述符,但是其通常不这么做,直到其首先对适当的数据集进行训练。从未明确描绘如何提取这些2D点的知识。在标记的数据集上使用反向传播对网络进行训练。
我们先前已经描述了如何训练超级点的第一部分:关键点定位头部。这可以通过创建角的大型合成数据集和产生的网络(其正如超级点一样,但不包含描述符)来实现,这可以被称为“奇点”(“MagicPoint”)。
一旦人们具有奇点,则人们具有从任意图像中提取2D关键点的方式。通常,人们仍然需要1.)改进现实世界图像上的关键点检测的性能2.)将描述符添加到网络中。改进现实世界图像上的性能意味着人们必须对现实世界图像进行训练。添加描述符意味着人们通常必须对图像对进行训练,因为人们必须向算法提供正关键点对和负关键点对来学习其描述符插入。
所谓的奇点配置可以使用具有可称为“单应性自适应”的程序的合成单应性在真实图像上运行。这比每个图像仅运行一次奇点提供了这些图像上的更好的标签。合成单应性可用于取得输入图像I并且创建两个弯曲版本I’和I”。由于单应性的组合仍然是单应性,因此人们可以用它们之间的单应性训练一对图像(I’,I”)。
产生的系统可以被称为超级点-v1(superpoint_v1),并且是使用单应性自适应在随机现实世界图像上运行奇点的结果。
在这一点上,人们具有可称为“超级点-v1”的对象,提供裸骨视觉里程计或视觉SLAM系统所需要的全部的卷积前端。然而,超级点_v1使用随机(非时间顺序的图像)来训练,并且所有图像-图像变化归因于合成单应性和合成噪声。为了制造更好的超级点系统,人们可以使用SLAM的输出在现实世界序列上重新训练“超级点_v2”。
参考图38,基于超级点的SLAM由两个关键组件组成,基于深度学习的前端(参见框2)和基于束调整的后端(参见框3和框4)。对于管线的前端或“特征提取”阶段,人们可以使用如上文所描述的超级点网络,该超级点网络产生2d点位置以及每个点的实值描述符。
后端可被配置为执行两个任务:提供当前测量的姿势(定位,参见图1中的框2),以及将当前测量集成到当前3D地图中(地图更新,参见图1中的框3)。系统能够利用以深度图像形式的辅助输入(如从多视图立体系统、深度传感器或基于深度学习的深度回归网络获得的)以及辅助姿势(如从像苹果的(TM)ARKit(TM)和谷歌的ARCore(TM)的消费者智能电话中存在的现成增强现实框架获得的)。主体系统可被配置为不要求辅助输入(参见图38中的框1,底部),但是它们可用于改进定位和地图构建。
定位模块(参见图38中的框3)可配置为将点和描述符以及当前3D地图(其是3D点及其相关联的描述符的集合)当作输入,并且产生当前姿势估计。该模块可通过关联观察到的2d点的有效现实世界深度值来利用来自深度图的信息。来自框1的辅助姿势信息也可以作为输入馈送到定位模块。在缺少诸如深度或姿势的辅助信息的情况下,模块可被配置为使用透视n点(“PnP”)算法来估计地图中的3D点与来自当前图像的2d点观察之间的变换。
地图更新模块可被配置为将当前地图以及具有估计姿势的当前图像观察当作输入,并且产生新的更新的地图。可以通过最小化大量关键帧中的3D点的重投影误差来更新地图。这可以通过设置束调整优化问题来实现,与在已知的“运动结构(Structure-from-Motion)”计算机视觉文献中通常所做的一样。束调整问题是非线性最小二乘优化问题,并且可以使用二阶Levenberg–Marquardt算法有效解决。
通常,使用超级点的系统可被配置以使得其需要关于计算的布局做出某些设计决策。在一个极端情况下,处理相机传感器和形成性能良好的强度图像所涉及的所有计算必须本地发生(参见图38中的框1)。下面描述了具有四个分布式SLAM系统的系列,该系统本地执行必要计算的子集,并且剩余操作在云中执行。四个系统如下:1.本地设备上,2.云地图构建,3.本地超级点,以及4.所有云。
本地设备上的SLAM(100%本地)。在一个极端情况下,取得定位和映射要求的所有信息并且将其直接放在具有相机的设备上是可能的。在该场景中,图38中的框1、框2、框3和框4都可以本地执行。
本地超级点、本地定位、云地图构建SLAM(66.7%本地)。另一个客户端变型是本地执行超级点提取以及针对已知地图执行定位的客户端变型。利用这样的配置,在云上运行的仅有部分是地图更新操作(框4)。云组件将更新地图(使用潜在更大的计算资源集),并且将地图的版本向下发送给客户端。该版本允许在存在通信信道中断的情况下进行更无缝的跟踪。
本地超级点、云定位、云地图构建SLAM(33.3%本地)。在本实施例中,虽然必须在设备上本地执行相机捕获(即,数据中心的服务器机架旁边的相机将对SLAM没有帮助),但是可能的是,仅在本地设备上执行计算的子集并且在云中执行剩余部分。在该版本的客户端中,框1和框2(参考图38)本地执行,而框3和框4在云中执行。为了实现这一点,本地系统通常必须将点和描述符发送到云中用于进一步处理。
基于云的SLAM(0%本地)。在另一极端情况下,在云中执行所有SLAM计算(即,如上文所描述的边缘、雾、云资源,为了简洁起见,在本章节中,我们仅是指“云”)是可能的,其中设备仅向云计算资源提供图像和通信信道。利用这样的瘦客户端配置,可以在云中执行框2、框3和框4。框1(图像形成和捕获)仍然本地执行。为了使这样的系统实时(即每秒30+帧,“fps”),我们可能需要快速编码图像并将其发送到远程计算资源。必须使将图像编码为适合的有效负载和通过网络发送图像所需的时间尽可能少。
比较和带宽要求。在上文所讨论的涉及云组件的每个配置中,通常必须将来自本地设备的一些信息发送到云。在云slam的情况下,人们必须对图像进行编码并将其发送到云中的slam系统。在本地超级点处理的情况下,人们可能需要将点和描述符发送到云。在具有云地图构建和设备上定位的混合系统的情况下,人们可能需要将点、描述符和估计姿势发送到云,但是其不需要以30+fps完成。如果地图管理在云中发生,但是本地存在定位模块,那么关于当前地图的信息可能周期性地从云发送到客户端。
Figure BDA0003447663940000401
表1.本地vs.云SLAM计算资源分配。地图*指示更新的地图不必从云非常快速地发送。
来自其他传感器和计算资源的协助。其他传感器(诸如IMU和深度传感器)的输出可用于补充通常仅处理原始图像(颜色或灰度)的超级点。这些附加传感器通常必须定位在与物理图像传感器相同的设备上。人们可以将这些额外的信息位称为辅助输入,因为它们不是我们工作方法的硬性要求。从计算资源角度,人们还可添加附加的计算单元(诸如更多CPU或更多GPU)。例如,附加的计算资源可能被放置为远离本地设备,也可能正好位于云数据中心。这样,当负载低时,附加的计算资源可用于其他任务。
头戴式显示器、智能电话和其他客户端上的超级点。基于主体超级点的SLAM框架被设计为跨我们称为客户端的广谱设备工作。在一个极端情况下,客户端可以是具有Wi-Fi模块的准系统(barebrones)图像传感器,并且刚好足够的计算来通过网络编码和发送图像。在另一极端情况下,如上文所描述的,客户端可包含多个相机、头部可穿戴显示器、附加的本地耦合计算资源,诸如边缘注释等。
基于图像的定位和跨时间的重新定位。通过聚焦于基于机器学习的视觉信息提取和总结,主题方法被设计为对在任何给定环境中通常跨1-2天的光照变化和环境变化更稳健。这利于SLAM会话持续多天。使用经典的图像特征提取程序,在跟踪场景中,仅提取的2D特征的小子集是可匹配的。由于RANSAC和其他异常值拒绝机制在传统SLAM方法中大量使用,因此这些2D特征对于跨时间大变化的重新定位的任务通常不是非常稳健。
跨设备定位和跨时间的重新定位。通过聚焦于图像,使用一种客户端构建地图以及然后在另一客户端内使用该地图可能更容易。
多用户定位和地图构建。通过在云中执行云更新操作,使多个客户端共享和更新单个3D地图可能相对容易。
前述配置利于开发和使用具有高度分布式资源库的空间计算系统,诸如下文以及上文参考各种边缘、雾和云资源集成所描述的那些。
参考图39,随着深度学习配置、增加的带宽通信和高级通信芯片集的出现,人们可以将系统配置为具有低延迟和相对高的计算能力。下面描述的是关于各种配置的进一步的细节,其中某些服务从用户身上的本地计算硬件移动到更分布式的位置。这利于将与用户相关联的XR设备有效地转换为瘦客户端配置类型,其中本地硬件正在中继计算信息,而不是自己完成所有的“繁重提升”。
因此,在这些相关实施例中,其也可以被称为“自适应神经计算”的主题的变型,人们可以像在较少连接的配置中一样从许多相同的服务和源中取出,并且挑战变得更集中于连接而不是本地承载所有必需的计算机硬件。利用以IEEE 802.11ax/ay(即Wi-Fi 6)和5G可实现的速度和带宽,人们能够重新思考可以执行关于空间计算的各种任务的方式。
通常,关于自适应神经计算配置的挑战之一是重新定位操作XR设备要求的服务的计算负载。如上文所描述的,在各种实施例中,这可以通过创建边缘节点计算设备和传感器以及优化的雾节点和云计算设施来促进。
自适应神经计算边缘节点可以是放置在需要点或计算“边缘”的综合物联网(即,使用常规网络基础设施容易连接的)类型的设备。这样的设备可包括能够高带宽连接的小型计算机、高速存储器、GPU、CPU和相机接口。如上文所描述的,合适的边缘节点包括但不限于由Nvidia(TM)和Intel(TM)销售的那些边缘节点。
参考图40,合适的边缘节点还可包括能够创建世界深度图的传感器,例如,这可包括一对立体相机、RGB-D相机、LiDAR设备和/或结构光传感器,其中的每一个还可包括IMU、麦克风阵列和/或扬声器。优选的边缘节点也可用作Wi-Fi或5G天线。
这样的边缘计算设备可以被配置为用于低延迟操作的主设备,以利于与空间计算系统的集成。例如,图25A至图25C示出了用于用户与数据和数字世界接口的能力的渐进增强的实施例。
集成的边缘节点可以被配置为从便携式和小型到完整的内部部署(on-premises)服务器能力的规模。如上所述,使用这种跨云系统的分布式计算的目的在于,在需要点,将不在拴系到可穿戴设备的小型计算机上执行低延迟操作。
上文参考类似MMO配置描述的世界重建(即,网格化、SLAM),其中所有或大部分计算资源在用户个人身上,采用基于本地服务的连续操作配置。人们可以利用“绝对”坐标系作为世界模型(数字孪生的几何形状)。该模型可以通过一系列变换来馈送,直到以真实比例配置将其放置在物理环境上。这些变换基本上是考虑用户系统的内在和外在因素、用户正在使用的设备类型或用户的当前状态的校准文件。
参考图41,通过每个在线XR为环境创建聚合模型的一部分的“可通行世界”系统,附加用户取决于对创建这样的聚合的其他设备的扫描。相反,通过绝对世界模型,可以在特定用户的运行时间使用之前捕获或创建扫描,使得当具有XR设备的用户进入给定房间时,至少存在可以使用这样的房间的基线模型,同时可以执行新/附加扫描以改进这样的模型。所谓的“基线”模型变为原始数据,其可以上下文化,使得当用户的XR设备进入该空间时,存在更少的延迟,并且体验更自然(即,用户的XR设备已经知道某种东西是“椅子”,或者能够基于可用信息快速确定这一点)。
一旦人们在权威服务器中具有该世界模型,则人们可以按照确定为最有用的时间表实现从数字孪生服务器到本地环境中的边缘/雾节点的上传和下载。这确保设备如特定应用所要求的一样最新。
一旦建立了坐标系,则其可以用数据填充。存在各种方式来实现这一点。例如,来自不同用户的XR设备的数据可以管线化或包括在对区域设置来说是新的XR设备的本地存储上。在另一实施例中,各种技术和硬件(诸如机器人、传感器集成背包等)可用于提供各种环境的周期性更新的网格化/扫描。这些数据源所做的是捕获世界中的数据并使用可通行的世界对象识别器、时间特征、对比特征和监督特征定义,我们可以对准地图,并且通过传感器融合技术,诸如扩展卡尔曼-布西滤波器(EKF)或反馈粒子滤波器(FPF),如果需要的话,我们可以执行连续时间非线性过滤并在运行时间对准这些地图。这种组合图可能变为用于如何执行空间计算中的任务的基础。该实施方式中的主要目标是效率,因此这意味着我们不需要不断地重建世界,我们仅需要捕获构图世界中的差异或增量。换句话说,如果特定环境的网格是稳定的,则不需要替换整个网格,而仅需要添加增量或改变。
利用权威网格存储设备(诸如云服务器)中的所有原始地图数据,现在人们可以取得这样的数据并创建可以更详细地表达的智能平滑和纹理化的世界视图。这是因为可能希望不仅想要使用该地图将数字内容与其对准,而且想要通过XR技术为虚拟现实重新创建世界。在此之前,人们可以将世界上下文化以利于在消耗数据以及原始几何形状中的关键特征之前进行预识别。
参考图42,人们可能需要诸如通过利用诸如来自室外的原始网格数据(如图42最左侧所示的)重新创建世界的数字孪生,可能利用许多方法并组合到网格数据库中。例如,重新创建外部世界的方法可包括立体相机重建、运动结构、多视图立体重建、基于图像的建模、基于LiDar的建模、逆过程建模、立面(faqade)分解、立面建模、地面重建、空中重建和大量模型重建。这些方法都可以向网格数据库贡献信息。然后,原始信息可以被上下文化。通过多层语言处理过程、RNN、CNN、监督学习方法和其他方法,这样做的一种方法被称为“品牌识别”。人们可以初始通过许多层将信息上下文化,首先,人们可以使用诸如“边缘收缩”的技术来标识和简化点云和几何信息。例如,人们可以使用持续同源性框架来分析这些变化。再次参考图42,人们可以标识用于取得原始点云或几何信息并将其上下文化用于由连接的XR用户消耗的各种方法,想到这样的配置的一个目标,其是将用户和物理世界统一到不断增长和丰富的数字世界。采用这样的过程和配置使世界上下文化,从而提供了扩展到更多算法和模型的能力。参考图43,人们可以采取该权威的可查询网格,并且提取可标识为永久的、半永久的和临时的特征。我们可以利用学习算法来确定这一点,诸如来自点云的自动参数模型重建。这是可用于填充房间内部的间隙或扫描伪影并使用诸如墙和门口的公共特征创建内部房间的三维重建的另一技术。
下一层可能是标识房间中的半永久性结构或物品。一种实施方式利用“分层细粒度分割”(即,分割为越来越小的特征)来实现这一点,这涉及语义标记对象上的特征,直到特征不再相互区分。这一点的示例将是不断分割然后标记椅子的片段。
在理解房间中的对象之后,半永久性对象可能被标识为可以移动但可能将不频繁移动和/或将花费巨大努力来移动的那些对象,诸如大餐桌。然后,人们可以标识动态移动的对象,诸如膝上型电脑或天空中的云。例如,这可以通过利用主动对象分析的对象级场景重建来实现。通过不断扫描房间并查看动态对象,系统可被配置为能够增加适当分割的概率。
返回参考图43,所有这种算法严格性利于空间信息的过滤,使得用户不需要使用它,除非它是重要的,或者使能XR体验的服务需要计算更少,因为它们仅跟踪表示分段对象的点簇。
一旦房间被分割、标记和上下文化,人们可能转向将房间连接到数字“插座”——这是一个隐喻,其可用于在数字世界与物理世界之间形成交叉点。数字插座可以是对象、设备、机器人、或将数字世界插入到物理世界的任何事物。与底层数字世界交互的意图及其如何影响物理世界可以通过这些插座传达,诸如通过元数据传达到每个特定插座。例如,如果物理世界太暗,则XR设备使用这样的插座的用户界面可以与物联网(“IoT”)控制器配对,该物联网(“IoT”)控制器与改变设备的灯光设置的应用和用户界面(“UI”)集成。作为另一示例,当特定的远程定位的XR设备用户在他想要查看特定建筑物时考虑加入哪个端口或插座时,他可以选择插座,该插座基于元数据将带他虚拟地直接进入一个非常网格化的房间,其具有大量关于房间所有特征的预先存在的全彩数据。该交互可能要求许多过程,并且将这样的过程组合为用户可使用的工具来改变他们对感知世界的理解。
人们现在可能具有完全上下文化并且稳健的物理世界的数字孪生。参考图44,对许多XR设备(如在图1的系统中特写头部可穿戴显示组件的那些设备)的运行时间舒适性最重要的一个过程是具有合理的准确度水平的头部姿势或无论什么相对于实际或虚拟世界的相关系统(即,并非所有系统具有用于用户的头部可穿戴XR配置)的姿势的相对低延迟确定。如图44所示,头部姿势可以发生在存在有限计算资源的设备上,但是由于相关空间已经在世界重建方面预定义或预填充,使得人们可以使用已标识的永久性、半永久性以及临时性特征,并且在该分类内标识锚点,诸如超级点,如上文所描述的。超级点是可用于描述特定区域之间的数学关系的计算图,这些特定区域的特性与增加这些区域的标识概率的其他特征相关。使用超级点锁定姿势与常规姿势确定方法不同。再次参考关于具有头部可穿戴XR用户配置的头部姿势的图44,系统可被配置为优化针对在6DOF中的头部姿势而跟踪的特征,使得从其他空间传播的误差或到世界地图的残余拟合误差从方程中空间过滤掉。系统可被配置为在与传感器(即,相机)封装在一起的本地处理器(诸如定制ASIC)上执行姿势计算。
姿势相关数据可以从用户的XR设备或从其他XR设备流式传输到可用的边缘节点、雾节点或云。如上所述,这样的分布可被配置为仅需要少量信息,并且在计算负载低的时候,设备可以将图像流式传输回到边缘节点以确保定位没有漂移。
在图44中,示出了姿势确定的经典实现。可被配置为不断构图环境的用户的XR设备构建世界地图或协助构建世界地图。这样的世界地图是姿势参考的内容。图44示出了表示在网格化过程期间发现的稀疏点的一维线。该线然后用模型拟合以简化计算,并且这允许拟合的残差和误差传播在配准中发挥重要作用。由于数字对象与物理世界冲突,因此这些错误可能导致破坏交互范例的误配准、尺度模糊和抖动。现在,可以基于来自每个空间中的设备的本地扫描,将拟合模型分解为合理的片段用于传输和存储器管理。由于前述残余误差,因此这些分解模型通过定义被误配准。误配准的数量取决于全局误差,以及获取几何形状和点云信息的扫描质量。
图44中的第二行示出了在世界重建操作阶段期间如何定义锚点或超级点。这些锚点可变为用于跨一系列XR设备的所有设备定位到绝对坐标系的定位工具。图45示出了用于使用锚定图进行姿势估计的一种实施方式。
该空间计算实施方式中的下一个元素是将对象渲染到XR设备采取的路线。由于这些设备可以具有多种类型的操作系统,因此人们可以采用被配置为利用数字世界和物理世界的空间性质的流式或边缘渲染协议,具有分布式计算资源和各种级别的延迟,如上文所描述的。这就是说,基于上文所描述的姿势方法,通常已知设备在房间中何处。由于重建的世界,该房间也是已知的。
边缘渲染可以通过现代连接可用性促进,并且随着越来越多的XR系统变得被使用,边缘渲染应当变得越来越普遍。远程渲染可以通过许多经典渲染管线的变型来实现,但是通常将提供比大多数空间计算配置中可接受的更多的延迟,以有效地传递推断的数据。
用于为空间计算系统实现远程渲染的一种方法是利用由流出电影或电视节目的公司(即,诸如Netflix(TM))使用的常规渲染和流技术。换句话说,系统可用于在分布式边缘/雾/云资源上实现当前渲染管线,并且然后取得该输出,将3D内容转换为2D视频,并将其流式传输到设备。
图46示出了另一实施例,其中人们可以利用边缘/雾/云资源的自适应计算能力来渲染并行帧作为预测,并且在最后时刻选择最接近实际值的帧。由于空间计算的性质(即,可以检测姿势与渲染内容的接近度),系统可被配置以使得对于实时之前的给定数量的帧(诸如,例如四帧),系统可以基于头部姿势测量和绝对世界中的内容放置来渲染多个副本。该过程可以重复给定数量的帧,并且在直接渲染到设备上之前,可以从设备取得最后姿势值,以及可以使其相关帧发送到设备的模型最佳匹配。这允许系统具有多项式预测,其用于将帧渲染到XR设备被预测为摆放或“观看”的未来。
如上所述,对于本文所描述的配置,人们可以利用无线连接的最新发展,包括但不限于WiFi-6,其也可以被称为兼容的IEEE 802.11ax标准;或者将能够有效地将信号发送到设备的任何后继者。
用于在特定XR设备上渲染的一个总体模式可包括计算分布式云中的所有相关过程,将结果流式传输到XR设备-直接传输到所述设备的帧缓冲器,以及在显示器上为用户产生图像。
前述超级点技术可用于聚集网格或形成它们之间的几何关系。
物理世界不仅是空间计算中的交互元素-其也是计算体系结构的主要输入中的一个。为了该简化数据发生,我们需要理解用户或体验(基于位置的体验LBE)所位于的环境。
图46描述了内容提供系统还包括:渲染功能,其可由移动设备处理器执行以将移动设备连接到多个资源设备,发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求,基于相应渲染请求从远程设备中的每一个接收渲染;比较所述渲染以确定优选渲染;以及在移动设备处理器的控制下利用移动设备通信接口选择优选渲染由第一资源设备发射器发送的第一内容。渲染形成具有多项式预测的系统,以用于将帧渲染到移动设备被预测为摆放或观看的未来。
图47示出了简化物理世界所需要的步骤,其中我们使用上文所描述在不同水平处针对空间计算中不同过程的框架。物理世界是复杂和随机的,因此要求用于创建简化和推断来自网格抽象层(498)的意义的世界的准确和精确重建的动态框架。为了针对该过程构图物理世界,人们通常更喜欢重新创建世界的几何形状(500)的硬件。对此的先前工作已经证明是有效的,但是完全卷积的神经网络已经证明增加这一点的准确度并且减小计算负载。人们可用于以几何方式重新创建物理世界的硬件(502)可包括RGB相机、RGB-D相机、热相机、短波红外(SWIR)相机、中波红外(MWIR)相机、激光扫描装置、结构光模块、阵列及这些的组合,以及过程再现和完成。世界的这些图像、点云和几何表示可以用许多不同的设备针对许多不同的区域和环境捕获。它们能够以各种现代图像格式,以全图像分辨率、亚采样或超采样存储。
一旦人们具有来自一个或多个传感器的原始信息,在运行时间处,或保存并且然后处理,或其某种组合,人们可以找到感兴趣点。如上所述,人们可以使用超级点技术(504),其采用自监督兴趣点检测器和描述符,从而允许标识感兴趣的特征。
为了优化将来自多个源的数据摄取或处理成作为世界的数字表示的单个网格(506),人们可能需要执行若干个后端过程(512、514、516、518)。一个可用于将世界的任何新区域增添到可被称为“权威智能网格服务器”(或“AIMS”)的对象中,该权威智能网格服务器也可被称为“空间地图集”。如果数据确实存在,那么人们可以执行传感器融合以将信息合并到一个单个网格中。该类型的传感器融合可以用传统方法完成,诸如卡尔曼滤波器的多种变型,或者我们可以使用深度学习技术来使用找到的感兴趣的超级点特征,并且对每种传感器类型和格式执行特征级融合,通过使用超级点完全卷积神经网络结构,我们可以利用每种类型的传感器创建合成数据集,并且然后使用该数据集来训练单独CNN中的每一个。一旦超级点算法已经针对每种传感器类型进行调谐,则可以按照下面图像的一般模式进行特征级融合,其中人们已经实现了特定模式的神经网络。
一旦计算了统一网格,则我们面临对网格做什么的挑战。在一个框架中,人们可以寻求进一步的上下文化,在另一个框架中,系统可被配置为创建智能网格(507)。超级点智能网格可以采用使用超级点算法,并且利用实现的同形适配来创建主网格的智能插值,并且通过使能更大概率的附加特征来添加数据点。为了实现这一点,人们可以遵循与超级点特征检测器相同的过程,从而增加训练集以将2D形状的三维网格包括在原始超级点中。可能需要这一点的原因是在网格统一之后,相同的超级点可能不完全一致,并且人们可能想要帧中的所有特征被提取,因为系统将使用它们覆盖(508)线框上的纹理。特征平面的单应适配可能产生一组超级点,并且由于整个地图在3D空间中,因此人们也可以沿着由从用户到该点的深度所创建的弧关于该超级点旋转用户视角,以创建由超级点标识的特征的更多视角。然后,我们将使用我们创建的所有点将纹理(510)附接到3D地图和伪深度图像的表面。
参考图48至图66,示出了特写各种场景中使用的各种XR设备的各种示例性实施例。例如,参考图48,示出了办公环境,其中利用空间计算对公司信息进行聚合,用于由具有各种XR设备的各种用户的协作、调度和生产。
参考图49,XR用户被示出由远程定位的医生打断,远程定位的医生由XR用户的集成健康感测能力警告,使得远程医师可以通知本地XR用户他似乎遇到了相对高的心血管压力水平。
参考图50,示出XR用户利用集成到空间计算范例中的智能家电和可穿戴系统工作,使得可以对用户的健康和健身计划执行分析,使得可以基于这样的数据提出改进建议。
参考图51,示出了图示的室外生活场景,将来自多个来源的数据牵引到一起,使得许多用户可以物理上或虚拟地体验相同的场景。
参考图52,关于特定用户的所谓的“生命流”数据基于当前活动和先前活动标识用户的低血糖,包括热量摄入、睡眠、体力活动和其他因素。
参考图53,通过在公共物理空间中的虚拟存在来示出各种XR用户,其中空间计算集成使得他们可以操纵他们周围的公共物理空间中的物理对象,诸如棋子。
参考图54,示出了购物场景,使得XR设备的用户能够将他们在家中或位于某个其他位置的衣服与他们能够在实体商店中可视化的衣服相比较,并且同时虚拟地在商店中作为他们在所述实体商店中的虚拟自我“试穿”衣服商品。
参考图55,XR用户正坐下来弹奏实际的物理钢琴,并且询问关于如何弹奏特定奏鸣曲的指令。关于奏鸣曲的执行的信息被定位到物理钢琴的适当键上以协助用户,以及甚至还关于如何改进其演奏对用户进行建议。
参考图56,示出了协作场景,其中五个XR用户能够可视化从远程公司数据库取得的虚拟家庭模型,他们能够在运行时改变家庭模型的各方面,并且将这些改变保存在远程计算资源上用于将来使用。
参考图57,一些XR用户被示出试图找到最近的实际公共洗手间。其当前位置信息的回归分析协助系统确定最近可用洗手间的位置,然后系统可被配置为在用户步行到所述洗手间时向其提供虚拟视觉引导。
参考图58,示出了在产前瑜伽教练场景中的两个XR设备用户,其中教练一旦被客户授予访问权,就可以监测母亲和儿童生命体征安全。
参考图59,连接的空间计算系统可经受适当的权限利用许多互连XR用户的数据,通过不仅利用他们自己的数据,而且利用他们所有数据的聚合,来协助这些用户进行日常交互,例如,用于交通和拥堵分析。
参考图60,示出了具有移动挑战的XR用户与她的XR设备通话,其中她的XR设备被配置为响应于语音命令和查询,使得其可以返回关于查询的信息,并且还优选地协助控制并且甚至导航她的移动辅助设备。换句话说,她可以要求空间计算系统以自主或半自主的方式将她带到洗手间,同时还优选地不仅避开结构,而且避开交通,诸如其他人的活动。
参考图61,XR用户访问其初级保健医师,并且讨论和利用自上次访问以来的聚合数据来模拟和提供针对患者的不同行动过程的可视化。例如,医师可以协助XR用户理解他或她在膝关节置换手术后的样子。
参考图62,用户被示出通过口头界面(即,不一定是可视化XR系统,而仅基于音频的空间计算系统)说话,他询问系统关于他正在喝的特定葡萄酒细节,并且基于不仅基于云的互联网格式信息而且基于他自己的特定元数据(诸如他自己的葡萄酒兴趣)接收响应信息。
参考图63,通过利用GPS定位装置(即,通常电池供电且便携式的小型GPS发射器可耦接到衣服、背包、鞋等),空间计算系统可用于实时或近实时跟踪其他人,诸如儿童或老人。
参考图64,多个XR用户被示出参与虚拟排球比赛,使得每个用户通过其XR设备观看时,必须与虚拟球相交,并且基于其XR设备的物理姿势变化和变化率在球上施加虚拟力(即,他们可以使用其智能电话或平板电脑具有其球拍)。
参考图65,两个XR用户被示出坐在雕塑花园外面,并且希望知道关于特定雕塑的更多信息,他们可以使用视觉搜索工具来使用其XR设备的可视化工具在互联网上收集和检查信息,并且可以共享和/或保存他们的发现。
参考图66,系统可被配置为具有光学系统,该光学系统使用各种光中继器(即波导、“鸟浴”式光学器件、体积相位全息图等)来拍摄缝合在一起(即聚合)的时间复用图像,并在一种配置中将其显示给用户。该相同系统可用于将眼睛信息中继回到相机,其中在一些实例中,人们可以以不排他地取决于用户瞳孔直径的方式观看注视向量、小凹。人们可以创建一个或多个红光、绿光和蓝光光源,并且通过相位调制装置反射、折射、衍射离开/通过诸如硅上相位液晶(“LCOS”,形成空间光调制器)或2D或3D光阀。这些激光+调制器对中的每一对可耦接到镜的扫描或波束成形阵列,在该阵列处,视场范围可由系统的进入角(即入射角)管理。一个实施例可以采用该信息在帧率范围处对全视场进行时间复用,以包括创建舒适观看体验的视场。该时间复用图像具有在不同深度处(即,感知焦平面或焦深度)呈现给用户的能力。
在本文中描述了本发明的各种示例实施例。以非限制性的意义对这些示例进行参考。它们被提供以示出本发明的更宽的适用方面。可以对所描述的本发明做出各种改变并且可以代替等效物而不脱离本发明的真实精神和范围。另外,可以做出许多修改以将特定情况、材料、物质的组成、过程、(一个或多个)过程动作或(一个或多个)步骤适于本发明的(一个或多个)目的、精神或范围。而且,如由本领域的技术人员将理解到的,本文中所描述和所示出的每个单独变型具有可以容易地与其他数个实施例中的任一个的特征分离或者组合的分立部件和特征,而不脱离本公开的范围或精神。所有这样的修改旨在在与本公开相关联的权利要求的范围内。
本发明包括可以使用主题设备执行的方法。方法可以包括提供这样的合适的设备的动作。这样的提供可以由终端用户执行。换句话说,“提供”动作仅要求终端用户获得、访问、接近、定位、设定、激活、加电或其他动作来提供本方法中的必要设备。本文中记载的方法可以以记载事件的逻辑上可能的任何次序以及以事件的记载次序执行。
上文已经阐述了本发明的示例方面连同关于材料选择和制造的细节。至于本发明的其他细节,这些可以结合上文提到的专利和公开以及通常由本领域的技术人员已知或者理解的来理解。就如通常或者逻辑上使用的附加动作而言,相对于本发明的基于方法的方面可以同样适用。
另外,虽然已经参考可选地包含各种特征的数个示例描述了本发明,但是本发明将不限于如相对于本发明的每个变型预期的描述或指示的发明。可以对所描述的本发明做出各种改变并且可以代替等效物(无论是记载在本文中还是出于某种简洁的缘故未包括),而不脱离本发明的真实精神和范围。另外,在提供值的范围的情况下,应当理解,该范围的上限与下限之间的每个中间值和该声称的范围中的任何其他声称的值或中间值涵盖在本发明中。
而且,应预期到,可以独立地或者与本文所描述的特征中的任何一个或多个组合来阐述并且要求保护所描述的本发明变型的任何可选特征。对于单数项的引用包括存在多个相同项的可能性。更特别地,如在本文和与其相关联的权利要求中所使用的,除非特别另外说明,否则单数形式“一(a/an)”、“所述(said)”和“该(the)”包括复数指示物。换句话说,冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项中的“至少一个”。还应注意到,这样的权利要求可以被撰写为排除任何可选元素。如此,该语句旨在用作用于结合权利要求元素的记载来使用如“仅仅”、“仅”等这样的专用术语或者使用“否定”限制的先行基础。
在不使用这样的专用术语的情况下,与本公开相关联的权利要求中的术语“包括”应当允许包括任何附加元素—而不管给定数目的元素是否被列举在这样的权利要求中,或者特征的添加可以被认为是转换这样的权利要求中阐述的元素的性质。除了如本文具体定义的之外,本文中使用的所有技术和科学术语将被给定为尽可能宽的通常理解的意义,同时维持权利要求有效性。
本发明的宽度将不限于所提供的示例和/或本说明书,而是相反仅通过与本公开相关联的权利要求语言的范围来限定。
虽然在附图中已经描述和示出了某些示例性实施例,但是应当理解,这些实施例仅是说明性的而不是对本发明的限制,并且本发明不限于示出和描述的具体构造和布置,因为本领域普通技术人员可以进行修改。

Claims (555)

1.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
移动设备接收器,其连接到所述移动设备处理器;以及所述第一资源设备的第一资源设备通信接口在第一位置处,并且在所述移动设备处理器的控制下接收由所述第一资源设备通信接口发送的第一内容,使得所述移动设备通信接口创建与所述第一资源设备的第一连接,其中,所述第一内容特定于所述第一连接的第一地理参数;以及
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出。
2.根据权利要求1所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
3.根据权利要求1所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
4.根据权利要求3所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
5.根据权利要求3所述的内容提供系统,还包括:
用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
6.根据权利要求5所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
7.根据权利要求5所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
8.根据权利要求5所述的内容提供系统,其中,多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
9.根据权利要求5所述的内容提供系统,还包括:
用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
10.根据权利要求1所述的内容提供系统,其中,所述连接是无线连接。
11.根据权利要求1所述的内容提供系统,其中,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
12.根据权利要求11所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
13.根据权利要求12所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
14.根据权利要求1所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
15.根据权利要求14所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
16.根据权利要求14所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
17.根据权利要求14所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
18.根据权利要求14所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
19.根据权利要求1所述的内容提供系统,其中,所述第一资源设备是边缘资源设备,还包括:
其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。
20.根据权利要求19所述的内容提供系统,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
21.根据权利要求20所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
22.根据权利要求20所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
23.根据权利要求22所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
24.根据权利要求22所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
25.根据权利要求19所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
26.根据权利要求25所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
27.根据权利要求19所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
28.根据权利要求27所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
29.根据权利要求27所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
30.根据权利要求19所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
31.根据权利要求30所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
32.根据权利要求30所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
33.根据权利要求19所述的内容提供系统,还包括:
多个边缘资源设备,数据在多个所述边缘资源设备与所述雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
超级点计算功能,其能够由处理器执行以确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
34.根据权利要求33所述的内容提供系统,还包括:
多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
35.根据权利要求34所述的内容提供系统,还包括:
上下文触发器功能,其能够在处理器处执行以为一组所述超级点生成上下文触发器,并且将所述上下文触发器存储在计算机可读介质上。
36.根据权利要求35所述的内容提供系统,还包括:
渲染引擎,其能够由所述移动设备处理器执行,其中,所述上下文触发器用作用于基于所述第一内容渲染对象的句柄。
37.根据权利要求1所述的内容提供系统,还包括:
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
利用所述移动设备处理器选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
38.根据权利要求37所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,以用于将帧渲染成预测所述移动设备将摆放或观看的未来。
39.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下将所述移动设备的移动设备通信接口连接到第一位置处的第一资源设备的第一资源设备通信接口,使得所述移动设备通信接口创建与所述第一资源设备的第一连接;
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第一资源设备发射器发送的第一内容,其中,所述第一内容特定于所述第一连接的第一地理参数。
40.根据权利要求39所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
41.根据权利要求39所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;以及
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
42.根据权利要求41所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一个。
43.根据权利要求41所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的地理参数。
44.根据权利要求43所述的方法,其中,所述特定特征是视觉上可检测的特征。
45.根据权利要求43所述的方法,其中,所述特定特征是无线连接相关特征。
46.根据权利要求43所述的方法,其中,多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
47.根据权利要求43所述的方法,还包括:
通过用户界面接收来自所述用户的输入以以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
48.根据权利要求39所述的方法,其中,所述连接是无线连接。
49.根据权利要求39所述的方法,其中,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的所述第一地理参数,以及其中,所述第一内容特定于第一地理参数。
50.根据权利要求49所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
51.根据权利要求50所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
52.根据权利要求39所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
53.根据权利要求52所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
54.根据权利要求52所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
55.根据权利要求52所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
56.根据权利要求52所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
57.根据权利要求39所述的方法,其中,所述第一资源设备是边缘资源设备,还包括:
在移动设备的移动设备处理器的控制下并且与所述第一资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第二资源设备的第二资源设备通信接口;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第二资源设备发射器发送的第二内容。
58.根据权利要求57所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
59.根据权利要求58所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
60.根据权利要求58所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
61.根据权利要求60所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
62.根据权利要求60所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
63.根据权利要求57所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
64.根据权利要求63所述的方法,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
65.根据权利要求57所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
66.根据权利要求65所述的方法,其中,所述可操纵无线连接器是相控阵天线。
67.根据权利要求65所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
68.根据权利要求57所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收来自所述边缘和雾资源的结果。
69.根据权利要求68所述的方法,还包括:
利用所述仲裁器功能组合从所述边缘和雾资源返回的结果。
70.根据权利要求68所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
71.根据权利要求57所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及确定超级点,所述超级点是选择来自所述边缘资源设备的两个或两个以上的数据重叠的点中的点。
72.根据权利要求71所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
73.根据权利要求72所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
74.根据权利要求73所述的方法,还包括:
将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
75.根据权利要求39所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
76.根据权利要求75所述的方法,其中,所述渲染形成具有多项式预测的系统,以用于将帧渲染成预测所述移动设备将摆放或观看的未来。
77.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
传感器,其连接到所述移动设备处理器并且能够检测所述第一位置处的第一特征,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数;
移动设备接收器,其连接到所述移动设备处理器;以及所述第一资源设备的第一资源设备通信接口在所述第一位置处,并且在所述移动设备处理器的控制下接收由所述第一资源设备通信接口发送的第一内容,使得所述移动设备通信接口创建与所述第一资源设备的第一连接,其中,所述第一内容特定于第一地理参数;以及
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出。
78.根据权利要求77所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
79.根据权利要求77所述的内容提供系统,其中,所述第一特征是天际线、地平线或全景。
80.根据权利要求79所述的内容提供系统,其中,所述传感器连接到所述移动设备处理器并且能够检测第二位置处的第二特征,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,
其中,所述移动设备通信接口能连接到在所述第二位置处的所述第二资源设备的所述第二资源设备通信接口,以接收由所述第二资源设备通信接口发送的第二内容,使得所述移动设备通信接口创建与所述第二资源设备的第二连接,
其中,所述第二内容特定于第二地理参数;以及
其中,所述移动设备输出设备能够提供能够由所述用户感测的输出。
81.根据权利要求80所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
82.根据权利要求80所述的内容提供系统,还包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
83.根据权利要求82所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
84.根据权利要求82所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
85.根据权利要求82所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
86.根据权利要求82所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
87.根据权利要求80所述的内容提供系统,其中,其中,所述第一内容利用特定于第二地理参数的第二内容更新。
88.根据权利要求87所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
89.根据权利要求77所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
90.根据权利要求89所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
91.根据权利要求89所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
92.根据权利要求89所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
93.根据权利要求89所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
94.根据权利要求77所述的内容提供系统,其中,所述第一资源设备是边缘资源设备,还包括:
其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。
95.根据权利要求94所述的内容提供系统,其中,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
96.根据权利要求95所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
97.根据权利要求95所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
98.根据权利要求97所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
99.根据权利要求97所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
100.根据权利要求94所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
101.根据权利要求100所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
102.根据权利要求94所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
103.根据权利要求102所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
104.根据权利要求102所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
105.根据权利要求94所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
106.根据权利要求105所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
107.根据权利要求105所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
108.根据权利要求94所述的内容提供系统,还包括:
多个边缘资源设备,数据在多个所述边缘资源设备与所述雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
超级点计算功能,其能够由处理器执行以确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
109.根据权利要求108所述的内容提供系统,还包括:
多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
110.根据权利要求109所述的内容提供系统,还包括:
上下文触发器功能,其能够在处理器处执行以为一组所述超级点生成上下文触发器,并且将所述上下文触发器存储在计算机可读介质上。
111.根据权利要求110所述的内容提供系统,还包括:
渲染引擎,其能够由所述移动设备处理器执行,其中,所述上下文触发器用作用于基于所述第一内容渲染对象的句柄。
112.根据权利要求77所述的内容提供系统,还包括:
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
利用所述移动设备处理器选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
113.根据权利要求112所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,以用于将帧渲染成预测所述移动设备将摆放或观看的未来。
114.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下将所述移动设备的移动设备通信接口连接到第一位置处的第一资源设备的第一资源设备通信接口,使得所述移动设备通信接口创建与所述第一资源设备的第一连接;
利用所述移动设备的传感器在所述第一位置处检测第一特征,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第一资源设备发射器发送的第一内容,其中,所述第一内容特定于第一地理参数。
115.根据权利要求114所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
116.根据权利要求114所述的方法,其中,所述第一特征是天际线、地平线或全景。
117.根据权利要求116所述的方法,还包括:
在移动设备的所述移动设备处理器的控制下将所述移动设备的所述移动设备通信接口连接到第二位置处的第二资源设备的第二资源设备通信接口,使得所述移动设备通信接口创建与所述第二资源设备的第二连接;
利用所述移动设备的传感器在所述第二位置处检测第二特征,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第二资源设备发射器发送的第二内容,其中,所述第二内容特定于第二地理参数。
118.根据权利要求117所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
119.根据权利要求117所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
120.根据权利要求119所述的方法,其中,所述特定特征是视觉上可检测的特征。
121.根据权利要求119所述的方法,其中,所述特定特征是无线连接相关特征。
122.根据权利要求119所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
123.根据权利要求119所述的方法,还包括:通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
124.根据权利要求117所述的方法,其中,所述第一内容利用特定于第二地理参数的第二内容更新。
125.根据权利要求124所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
126.根据权利要求114所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
127.根据权利要求126所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
128.根据权利要求126所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
129.根据权利要求126所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
130.根据权利要求126所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
131.根据权利要求114所述的方法,其中,所述第一资源设备是边缘资源设备,还包括:
在移动设备的移动设备处理器的控制下并且与所述第一资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第二资源设备的第二资源设备通信接口;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第二资源设备发射器发送的第二内容。
132.根据权利要求131所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
133.根据权利要求132所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与所述第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
134.根据权利要求132所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
135.根据权利要求134所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
136.根据权利要求134所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
137.根据权利要求131所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
138.根据权利要求137所述的方法,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
139.根据权利要求131所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
140.根据权利要求139所述的方法,其中,所述可操纵无线连接器是相控阵天线。
141.根据权利要求139所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
142.根据权利要求131所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果。
143.根据权利要求142所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
144.根据权利要求142所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
145.根据权利要求131所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
146.根据权利要求145所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
147.根据权利要求146所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
148.根据权利要求147所述的方法,还包括:
将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
149.根据权利要求114所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
150.根据权利要求149所述的方法,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
151.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
移动设备通信接口,其连接到所述移动设备处理器和第一资源设备通信接口并且在所述移动设备处理器的控制下接收由所述第一资源设备发射器发送的第一内容;
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出;以及
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
152.根据权利要求151所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
153.根据权利要求151所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
154.根据权利要求153所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
155.根据权利要求154所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
156.根据权利要求154所述的内容提供系统,包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
157.根据权利要求156所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
158.根据权利要求156所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
159.根据权利要求156所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
160.根据权利要求156所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
161.根据权利要求153所述的内容提供系统,其中,所述连接是无线连接。
162.根据权利要求151所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
163.根据权利要求162所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
164.根据权利要求163所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
165.根据权利要求151所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
166.根据权利要求151所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
167.根据权利要求151所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
168.根据权利要求151所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
169.根据权利要求151所述的内容提供系统,其中,所述第一资源设备是边缘资源设备,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。
170.根据权利要求169所述的内容提供系统,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
171.根据权利要求170所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
172.根据权利要求170所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
173.根据权利要求172所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
174.根据权利要求172所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
175.根据权利要求169所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
176.根据权利要求175所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
177.根据权利要求169所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
178.根据权利要求177所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
179.根据权利要求177所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
180.根据权利要求169所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
181.根据权利要求180所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
182.根据权利要求180所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
183.根据权利要求169所述的内容提供系统,还包括:
多个边缘资源设备,数据在多个所述边缘资源设备与所述雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
超级点计算功能,其能够由处理器执行以确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
184.根据权利要求183所述的内容提供系统,还包括:
多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
185.根据权利要求184所述的内容提供系统,还包括:
上下文触发器功能,其能够在处理器处执行以为一组所述超级点生成上下文触发器,并且将所述上下文触发器存储在计算机可读介质上。
186.根据权利要求185所述的内容提供系统,还包括:
渲染引擎,其能够由所述移动设备处理器执行,其中,所述上下文触发器用作用于基于所述第一内容渲染对象的句柄。
187.根据权利要求151所述的内容提供系统,还包括:
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
利用所述移动设备处理器选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
188.根据权利要求187所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
189.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下将所述移动设备的移动设备通信接口连接到第一资源设备的第一资源设备通信接口;
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第一资源设备发射器发送的第一内容,
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
190.根据权利要求189所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
191.根据权利要求189所述的方法,其中,所述第一资源设备在第一位置处,
其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
192.根据权利要求191所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;以及
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
193.根据权利要求192所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
194.根据权利要求192所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
195.根据权利要求194所述的方法,其中,所述特定特征是视觉上可检测的特征。
196.根据权利要求194所述的方法,其中,所述特定特征是无线连接相关特征。
197.根据权利要求194所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
198.根据权利要求194所述的方法,通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
199.根据权利要求191所述的方法,其中,所述连接是无线连接。
200.根据权利要求189所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
201.根据权利要求200所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
202.根据权利要求201所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
203.根据权利要求189所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
204.根据权利要求189所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策;以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
205.根据权利要求189所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
206.根据权利要求189所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
207.根据权利要求189所述的方法,其中,所述第一资源设备是边缘资源设备,还包括:
在移动设备的移动设备处理器的控制下并且与第一资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第二资源设备的第二资源设备通信接口;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第二资源设备发射器发送的第二内容。
208.根据权利要求207所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
209.根据权利要求208所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与所述第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
210.根据权利要求208所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
211.根据权利要求210所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
212.根据权利要求210所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
213.根据权利要求207所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
214.根据权利要求213所述的方法,其中,所述至少一个相机是拍摄所述用户的第一图像的房间相机。
215.根据权利要求207所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
216.根据权利要求215所述的方法,其中,所述可操纵无线连接器是相控阵天线。
217.根据权利要求215所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
218.根据权利要求207所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果。
219.根据权利要求218所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
220.根据权利要求218所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
221.根据权利要求207所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
222.根据权利要求221所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
223.根据权利要求222所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
224.根据权利要求223所述的方法,还包括:将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
225.根据权利要求189所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
226.根据权利要求225所述的方法,其中,所述渲染形成具有多项式预测的系统,以用于将帧渲染成预测所述移动设备将摆放或观看的未来。
227.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
一个或多个移动设备接收器,其在移动设备的移动设备处理器的控制下并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中,所述第一资源设备是具有第一延迟的边缘资源设备,并且所述第二资源设备是为具有比所述第一延迟慢的第二延迟的雾资源设备;以及
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出,所述输出基于由所述移动设备从所述边缘和雾资源设备接收的第一和第二内容。
228.根据权利要求227所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
229.根据权利要求227所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
230.根据权利要求229所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
231.根据权利要求230所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
232.根据权利要求230所述的内容提供系统,包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
233.根据权利要求232所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
234.根据权利要求232所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
235.根据权利要求232所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
236.根据权利要求232所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
237.根据权利要求229所述的内容提供系统,其中,所述连接是无线连接。
238.根据权利要求227所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
239.根据权利要求238所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
240.根据权利要求239所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
241.根据权利要求227所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
242.根据权利要求241所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
243.根据权利要求241所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
244.根据权利要求241所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
245.根据权利要求241所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
246.根据权利要求1所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
247.根据权利要求1所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
248.根据权利要求247所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
249.根据权利要求247所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
250.根据权利要求227所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
251.根据权利要求250所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
252.根据权利要求227所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
253.根据权利要求252所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
254.根据权利要求252所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
255.根据权利要求227所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
256.根据权利要求255所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
257.根据权利要求255所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
258.根据权利要求227所述的内容提供系统,还包括:
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
利用所述移动设备处理器选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
259.根据权利要求258所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
260.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下,将所述移动设备的一个或多个移动设备接收器并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中,所述第一资源设备是具有第一延迟的边缘资源设备,并且所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述边缘和雾资源设备发送的第一内容和第二内容。
261.根据权利要求260所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
262.根据权利要求260所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
263.根据权利要求262所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;以及
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
264.根据权利要求263所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
265.根据权利要求263所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的地理参数。
266.根据权利要求265所述的方法,其中,所述特定特征是视觉上可检测的特征。
267.根据权利要求265所述的方法,其中,所述特定特征是无线连接相关特征。
268.根据权利要求265所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围世界的所述地理参数。
269.根据权利要求265所述的方法,通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息中的至少一个。
270.根据权利要求262所述的方法,其中,所述连接是无线连接。
271.根据权利要求260所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
272.根据权利要求271所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
273.根据权利要求272所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
274.根据权利要求260所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
275.根据权利要求274所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
276.根据权利要求274所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
277.根据权利要求274所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
278.根据权利要求274所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
279.根据权利要求1所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
280.根据权利要求1所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
281.根据权利要求280所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
282.根据权利要求280所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
283.根据权利要求260所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
284.根据权利要求283所述的方法,其中,所述至少一个相机是拍摄所述用户的第一图像的房间相机。
285.根据权利要求260所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
286.根据权利要求285所述的方法,其中,所述可操纵无线连接器是相控阵天线。
287.根据权利要求285所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
288.根据权利要求260所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收来自所述边缘和雾资源的结果。
289.根据权利要求288所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
290.根据权利要求288所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
291.根据权利要求260所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择优选渲染作为由所述第一资源设备发射器发送的第一内容。
292.根据权利要求291所述的方法,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
293.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
一个或多个移动设备接收器,其在移动设备的移动设备处理器的控制下并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中所述第一资源设备是边缘资源设备,并且所述第二资源设备是雾资源设备;
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出;
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
294.根据权利要求293所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
295.根据权利要求293所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
296.根据权利要求295所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
297.根据权利要求296所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
298.根据权利要求296所述的内容提供系统,包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
299.根据权利要求298所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
300.根据权利要求298所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
301.根据权利要求298所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
302.根据权利要求298所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
303.根据权利要求295所述的内容提供系统,其中,所述连接是无线连接。
304.根据权利要求293所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
305.根据权利要求304所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
306.根据权利要求305所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
307.根据权利要求293所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
308.根据权利要求307所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
309.根据权利要求307所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
310.根据权利要求307所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
311.根据权利要求307所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源中的一个。
312.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下,将所述移动设备的一个或多个移动设备接收器并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中所述第一资源设备是边缘资源设备,并且所述第二资源设备是雾资源设备;
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种;
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第一资源设备发送的第一内容。
313.根据权利要求330所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
314.根据权利要求330所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
315.根据权利要求332所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
316.根据权利要求333所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
317.根据权利要求333所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
318.根据权利要求335所述的方法,其中,所述特定特征是视觉上可检测的特征。
319.根据权利要求335所述的方法,其中,所述特定特征是无线连接相关特征。
320.根据权利要求335所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
321.根据权利要求335所述的方法,通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
322.根据权利要求332所述的方法,其中,所述连接是无线连接。
323.根据权利要求330所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
324.根据权利要求341所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
325.根据权利要求342所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
326.根据权利要求330所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
327.根据权利要求344所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
328.根据权利要求344所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
329.根据权利要求344所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
330.根据权利要求344所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
331.根据权利要求330所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
332.根据权利要求349所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与所述第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
333.根据权利要求349所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
334.根据权利要求351所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
335.根据权利要求351所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
336.根据权利要求330所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
337.根据权利要求354所述的方法,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
338.根据权利要求330所述的方法,其中,所述可操纵无线连接器是相控阵天线。
339.根据权利要求330所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
340.根据权利要求330所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果。
341.根据权利要求358所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
342.根据权利要求358所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
343.根据权利要求330所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
确定超级点,所述超级点是选择来自所述边缘资源设备的两个或两个以上的数据重叠的点中的点。
344.根据权利要求361所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
345.根据权利要求362所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
346.根据权利要求363所述的方法,将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
347.根据权利要求330所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的所述第一内容。
348.根据权利要求365所述的方法,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
349.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
一个或多个移动设备接收器,其在移动设备的移动设备处理器的控制下并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中所述第一资源设备是边缘资源设备,并且所述第二资源设备是雾资源设备;以及
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出;以及
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
350.根据权利要求367所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
351.根据权利要求367所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
352.根据权利要求369所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
353.根据权利要求370所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
354.根据权利要求370所述的内容提供系统,还包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
355.根据权利要求372所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
356.根据权利要求372所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
357.根据权利要求372所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
358.根据权利要求372所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
359.根据权利要求369所述的内容提供系统,其中,所述连接是无线连接。
360.根据权利要求367所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
361.根据权利要求378所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
362.根据权利要求379所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
363.根据权利要求367所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
364.根据权利要求381所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
365.根据权利要求381所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
366.根据权利要求381所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
367.根据权利要求381所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
368.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下,将所述移动设备的一个或多个移动设备接收器并行连接到第一资源设备的第一资源设备通信接口和第二资源设备的第二资源设备通信接口,其中所述第一资源设备是边缘资源设备,并且所述第二资源设备是雾资源设备;
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第一资源设备发送的第一内容。
369.根据权利要求405所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
370.根据权利要求405所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
371.根据权利要求407所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;以及
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
372.根据权利要求408所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
373.根据权利要求408所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
374.根据权利要求410所述的方法,其中,所述特定特征是视觉上可检测的特征。
375.根据权利要求410所述的方法,其中,所述特定特征是无线连接相关特征。
376.根据权利要求410所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
377.根据权利要求410所述的方法,还包括:通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
378.根据权利要求407所述的方法,其中,所述连接是无线连接。
379.根据权利要求405所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
380.根据权利要求416所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
381.根据权利要求417所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
382.根据权利要求405所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
383.根据权利要求419所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
384.根据权利要求419所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
385.根据权利要求419所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
386.根据权利要求419所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
387.根据权利要求405所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
388.根据权利要求424所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与所述第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
389.根据权利要求424所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
390.根据权利要求426所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
391.根据权利要求426所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
392.根据权利要求405所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
393.根据权利要求429所述的方法,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
394.根据权利要求405所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
395.根据权利要求431所述的方法,其中,所述可操纵无线连接器是相控阵天线。
396.根据权利要求431所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
397.根据权利要求405所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果。
398.根据权利要求405所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
399.根据权利要求405所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
400.根据权利要求405所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及确定超级点,所述超级点是选择来自所述边缘资源设备的两个或两个以上的数据重叠的点中的点。
401.根据权利要求437所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
402.根据权利要求438所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
403.根据权利要求439所述的方法,将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
404.根据权利要求405所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
405.根据权利要求441所述的方法,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆出或观看的未来。
406.一种内容提供系统,包括:
多个移动设备,每个移动设备具有:
移动设备处理器;
一个或多个设备接收器,其在移动设备的移动设备处理器的控制下并行连接到相应第一资源设备的多个第一资源设备通信接口中的一个,所述相应第一资源设备是边缘资源设备,数据在所述多个边缘资源设备与雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;
移动设备输出设备,其连接到所述移动设备处理器并且在移动设备处理器的控制下能够提供能够由用户感测的输出,所述输出基于由所述移动设备从所述边缘和雾资源设备接收的第一和第二内容;以及
超级点计算功能,其能够由处理器执行以确定超级点,所述超级点是选择其中所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
407.根据权利要求443所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
408.根据权利要求443所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
409.根据权利要求445所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
410.根据权利要求446所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
411.根据权利要求446所述的内容提供系统,还包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
412.根据权利要求448所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
413.根据权利要求448所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
414.根据权利要求448所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围世界的所述地理参数。
415.根据权利要求448所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
416.根据权利要求445所述的内容提供系统,其中,所述连接是无线连接。
417.根据权利要求443所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
418.根据权利要求454所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
419.根据权利要求455所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
420.根据权利要求443所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
421.根据权利要求457所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
422.根据权利要求457所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
423.根据权利要求457所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
424.根据权利要求457所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
425.根据权利要求443所述的内容提供系统,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
426.根据权利要求462所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,所述一个或多个移动设备接收器连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
427.根据权利要求462所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
428.根据权利要求464所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
429.根据权利要求464所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
430.根据权利要求443所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
431.根据权利要求467所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的第一图像的房间相机。
432.根据权利要求443所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
433.根据权利要求469所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
434.根据权利要求469所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
435.根据权利要求443所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
436.根据权利要求472所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
437.根据权利要求472所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
438.根据权利要求443所述的内容提供系统,还包括:
多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
439.根据权利要求475所述的内容提供系统,还包括:
上下文触发器功能,其能够在处理器处执行以为一组所述超级点生成上下文触发器,并且将所述上下文触发器存储在计算机可读介质上。
440.根据权利要求476所述的内容提供系统,还包括:
渲染引擎,其能够由所述移动设备处理器执行,其中,所述上下文触发器用作用于基于所述第一内容渲染对象的句柄。
441.根据权利要求443所述的内容提供系统,还包括:
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染由所述第一资源设备发射器发送的第一内容。
442.根据权利要求478所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
443.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下,在移动设备的移动设备处理器的控制下,并行连接到相应第一资源设备的多个第一资源设备通信接口中的一个,所述相应第一资源设备是边缘资源设备,数据在所述多个边缘资源设备与雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述边缘和雾资源设备发送的第一内容和第二内容;以及
确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
444.根据权利要求480所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
445.根据权利要求480所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
446.根据权利要求482所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;以及
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
447.根据权利要求483所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
448.根据权利要求483所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
449.根据权利要求485所述的方法,其中,所述特定特征是视觉上可检测的特征。
450.根据权利要求485所述的方法,其中,所述特定特征是无线连接相关特征。
451.根据权利要求485所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围世界的地理参数。
452.根据权利要求485所述的方法,还包括:通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
453.根据权利要求482所述的方法,其中,所述连接是无线连接。
454.根据权利要求480所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
455.根据权利要求491所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
456.根据权利要求492所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
457.根据权利要求480所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
458.根据权利要求494所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
459.根据权利要求494所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
460.根据权利要求494所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
461.根据权利要求494所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
462.根据权利要求480所述的方法,其中,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
463.根据权利要求499所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
464.根据权利要求499所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
465.根据权利要求501所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
466.根据权利要求501所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
467.根据权利要求480所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
468.根据权利要求504所述的方法,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
469.根据权利要求480所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
470.根据权利要求506所述的方法,其中,所述可操纵无线连接器是相控阵天线。
471.根据权利要求506所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
472.根据权利要求480所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用所述仲裁器功能接收从所述边缘和雾资源返回的结果。
473.根据权利要求509所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
474.根据权利要求509所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
475.根据权利要求480所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
476.根据权利要求512所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用所述处理器将所述上下文触发器存储在计算机可读介质上。
477.根据权利要求513所述的方法,还包括:将所述上下文触发器用作基于所述第一内容渲染对象的句柄。
478.根据权利要求480所述的方法,还包括:
在所述移动设备处理器的控制下,将所述移动设备连接到多个资源设备,
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的所述第一内容。
479.根据权利要求515所述的方法,其中,渲染形成具有多项式预测的系统,用于将帧渲染成预测移动设备将摆放或观看的未来。
480.一种内容提供系统,包括:
移动设备,其具有:
移动设备处理器;
移动设备通信接口,其连接到所述移动设备处理器和第一资源设备通信接口并且在所述移动设备处理器的控制下接收由所述第一资源设备发射器发送的第一内容;
移动设备输出设备,其连接到所述移动设备处理器并且在所述移动设备处理器的控制下能够提供能够由用户感测的输出;
渲染功能,其能够由所述移动设备处理器执行以:
将所述移动设备连接到多个资源设备;
发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
基于所述相应渲染请求从所述远程设备中的每一个接收渲染;
比较所述渲染以确定优选渲染;以及
选择所述优选渲染作为由所述第一资源设备发射器发送的第一内容。
481.根据权利要求517所述的内容提供系统,还包括:
第一资源设备,其具有:
第一资源设备处理器;
第一资源设备存储介质;以及
第一资源设备数据集,其包括所述第一资源设备存储介质上的第一内容,所述第一资源设备通信接口形成所述第一资源设备的一部分并连接到所述第一资源设备处理器,并且在所述第一资源设备处理器的控制下。
482.根据权利要求517所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
483.根据权利要求519所述的内容提供系统,还包括:
第二资源设备,其具有:
第二资源设备处理器;
第二资源设备存储介质;
第二资源设备数据集,其包括所述第二资源设备存储介质上的第二内容;以及
第二资源设备通信接口,其形成所述第二资源设备的一部分并连接到所述第二资源设备处理器,并且在所述第二资源设备处理器的控制下,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
484.根据权利要求520所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
485.根据权利要求520所述的内容提供系统,还包括:用于所述用户进入的定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的地理参数。
486.根据权利要求522所述的内容提供系统,其中,所述特定特征是视觉上可检测的特征。
487.根据权利要求522所述的内容提供系统,其中,所述特定特征是无线连接相关特征。
488.根据权利要求522所述的内容提供系统,还包括:多个传感器,其连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围的世界的所述地理参数。
489.根据权利要求522所述的内容提供系统,还包括:用户界面,其被配置为允许所述用户进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
490.根据权利要求519所述的内容提供系统,其中,所述连接是无线连接。
491.根据权利要求517所述的内容提供系统,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
492.根据权利要求528所述的内容提供系统,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
493.根据权利要求529所述的内容提供系统,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
494.根据权利要求517所述的内容提供系统,还包括:
空间计算层,其在所述移动设备与具有多个数据源的资源层之间,并且被编程为:
接收数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
495.根据权利要求531所述的内容提供系统,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
496.根据权利要求531所述的内容提供系统,还包括:
抽象和仲裁层,其插入在所述移动设备与所述资源层之间并且被编程为:
做出工作负载决策;以及
基于所述工作负载决策来分发任务。
497.根据权利要求531所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
498.根据权利要求531所述的内容提供系统,还包括:
相机设备,其拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
499.根据权利要求517所述的内容提供系统,其中,所述第一资源设备是边缘资源设备,以及其中,所述移动设备通信接口包括一个或多个移动设备接收器,所述一个或多个移动设备接收器连接到所述移动设备处理器并与所述第一资源设备的连接并行地连接到第二资源设备通信接口,以接收第二内容。
500.根据权利要求536所述的内容提供系统,其中,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
501.根据权利要求537所述的内容提供系统,其中,所述移动设备通信接口包括一个或多个移动设备接收器,其连接到所述移动设备处理器并与所述第二资源设备的连接并行地连接到第三资源设备通信接口,以接收由所述第三资源设备发射器发送的第三内容,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备。
502.根据权利要求537所述的内容提供系统,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
503.根据权利要求539所述的内容提供系统,其中,所述蜂窝塔连接到所述雾资源设备。
504.根据权利要求539所述的内容提供系统,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
505.根据权利要求536所述的内容提供系统,还包括:
至少一个相机,其捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备以用于更快的处理,并且将所述第二图像发送到所述雾资源设备以用于更慢的处理。
506.根据权利要求542所述的内容提供系统,其中,所述至少一个相机是拍摄所述用户的所述第一图像的房间相机。
507.根据权利要求536所述的内容提供系统,还包括:
传感器,其将传感器输入提供到处理器中;
姿势估计器,其能够由处理器执行以基于所述传感器输入计算所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,
可操纵无线连接器,其在所述移动设备与所述边缘资源设备之间创建可操纵无线连接;以及
操纵系统,其连接到所述姿势估计器并且具有向所述可操纵无线连接器提供输入的输出,以操纵所述可操纵无线连接来至少改进所述连接。
508.根据权利要求544所述的内容提供系统,其中,所述可操纵无线连接器是相控阵天线。
509.根据权利要求544所述的内容提供系统,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
510.根据权利要求536所述的内容提供系统,还包括:
仲裁器功能,其能够由处理器执行以:
分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,向所述边缘和雾资源发送处理任务;以及
接收从所述边缘和雾资源返回的结果。
511.根据权利要求547所述的内容提供系统,其中,所述仲裁器功能能够由所述处理器执行以:
组合来自所述边缘和雾资源的结果。
512.根据权利要求547所述的内容提供系统,还包括:
运行时间控制器功能,其能够由所述处理器执行以:
确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
513.根据权利要求536所述的内容提供系统,包括:
多个边缘资源设备,数据在多个所述边缘资源设备与所述雾资源设备之间交换,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
超级点计算功能,其能够由处理器执行以确定超级点,所述超级点是选择来自所述边缘资源设备中的两个或两个以上的数据重叠的点中的点。
514.根据权利要求550所述的内容提供系统,还包括:
多个移动设备,其中,每个超级点在每个移动设备中被用于相应移动设备的定位、取向或姿势估计。
515.根据权利要求551所述的内容提供系统,还包括:
上下文触发器功能,其能够在处理器处执行以为一组所述超级点生成上下文触发器,并且将所述上下文触发器存储在计算机可读介质上。
516.根据权利要求552所述的内容提供系统,还包括:
渲染引擎,其能够由所述移动设备处理器执行,其中,所述上下文触发器用作用于基于所述第一内容渲染对象的句柄。
517.根据权利要求517所述的内容提供系统,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
518.一种提供内容的方法,包括:
在移动设备的移动设备处理器的控制下将所述移动设备的移动设备通信接口连接到多个第一资源设备中的每一个的第一资源设备通信接口;
通过所述移动设备处理器发送一个或多个渲染请求,其中,每个资源设备接收相应渲染请求;
利用所述移动设备处理器基于所述相应渲染请求从所述远程设备中的每一个接收渲染,
利用所述移动设备处理器比较所述渲染以确定优选渲染,以及
在所述移动设备处理器的控制下利用所述移动设备通信接口选择所述优选渲染作为由所述第一资源设备发射器发送的所述第一内容。
519.根据权利要求555所述的方法,还包括:
在第一资源设备处理器的控制下,在连接到所述第一资源设备处理器的第一资源设备存储介质上存储包括第一内容的第一资源设备数据集;以及
利用连接到所述第一资源设备处理器的第一资源设备通信接口并且在所述第一资源设备处理器的控制下发送所述第一内容。
520.根据权利要求555所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备通信接口创建与所述第一资源设备的第一连接,以及其中,所述第一内容特定于所述第一连接的第一地理参数。
521.根据权利要求557所述的方法,还包括:
在第二资源设备处理器的控制下,在连接到所述第二资源设备处理器的第二资源设备存储介质上存储包括第二内容的第二资源设备数据集;
利用连接到所述第二资源设备处理器的第二资源设备通信接口并且在所述第二资源设备处理器的控制下发送所述第二内容,
其中,所述第二资源设备在第二位置处,
其中,所述移动设备通信接口创建与所述第二资源设备的第二连接,以及
其中,所述第二内容特定于所述第二连接的第二地理参数。
522.根据权利要求558所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
523.根据权利要求558所述的方法,其中,所述用户进入定位岛,其中,特定特征已被预配置为由所述移动设备定位和解释以确定相对于所述用户周围的世界的所述地理参数。
524.根据权利要求560所述的方法,其中,所述特定特征是视觉上可检测的特征。
525.根据权利要求560所述的方法,其中,所述特定特征是无线连接相关特征。
526.根据权利要求560所述的方法,其中,多个传感器连接到所述头戴式观看组件,所述多个传感器由所述移动设备用来确定相对于所述用户周围世界的所述地理参数。
527.根据权利要求560所述的方法,还包括:通过用户界面接收来自所述用户的输入以进行以下中的至少一种:摄取、利用、观看和绕过所述第一或第二内容的某些信息。
528.根据权利要求557所述的方法,其中,所述连接是无线连接。
529.根据权利要求555所述的方法,其中,所述第一资源设备在第一位置处,其中,所述移动设备具有在所述第一位置处检测第一特征的传感器,并且所述第一特征用于确定与所述第一特征相关联的第一地理参数,以及其中,所述第一内容特定于第一地理参数。
530.根据权利要求566所述的方法,其中,所述第二资源设备在第二位置处,其中,所述移动设备具有在所述第二位置处检测第二特征的传感器,并且所述第二特征用于确定与所述第二特征相关联的第二地理参数,以及其中,所述第一内容利用特定于第二地理参数的第二内容更新。
531.根据权利要求567所述的方法,其中,所述移动设备包括能耦接到所述用户的头部的头戴式观看组件,并且所述第一和第二内容向所述用户提供关于如由所述用户看到的世界的特定视图的附加内容、增强内容和信息中的至少一种。
532.根据权利要求555所述的方法,还包括:
通过所述移动设备与具有多个数据源的资源层之间的空间计算层接收数据资源,
通过所述空间计算层集成所述数据资源以确定集成简档;以及
通过所述空间计算层基于所述集成简档确定所述第一内容。
533.根据权利要求569所述的方法,其中,所述空间计算层包括:
空间计算资源设备,其具有:
空间计算资源设备处理器;
空间计算资源设备存储介质;以及
空间计算资源设备数据集,其在所述空间计算资源设备存储介质上并且能够由所述处理器执行以:
接收所述数据资源;
集成所述数据资源以确定集成简档;以及
基于所述集成简档来确定所述第一内容。
534.根据权利要求569所述的方法,还包括:
利用插入在所述移动设备与所述资源层之间的抽象和仲裁层,做出工作负载决策,以及
利用所述抽象和仲裁层基于所述工作负载决策分发任务。
535.根据权利要求569所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像用于做出所述工作负载决策。
536.根据权利要求569所述的方法,还包括:
利用相机设备拍摄所述移动设备周围的物理世界的图像,其中,所述图像形成所述数据资源之一。
537.根据权利要求555所述的方法,其中,所述第一资源设备是边缘资源设备,还包括:
在移动设备的移动设备处理器的控制下并且与所述第一资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第二资源设备的第二资源设备通信接口;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第二资源设备发射器发送的第二内容。
538.根据权利要求574所述的方法,其中,所述第二资源设备是具有比所述第一延迟慢的第二延迟的雾资源设备。
539.根据权利要求575所述的方法,还包括:
在移动设备的移动设备处理器的控制下并且与所述第二资源设备的连接并行地将所述移动设备的移动设备通信接口连接到第三资源设备的第三资源设备通信接口,其中,所述第三资源设备是具有比所述第二延迟慢的第三延迟的云资源设备;以及
在所述移动设备处理器的控制下利用所述移动设备通信接口接收由所述第三资源设备发射器发送的第三内容。
540.根据权利要求575所述的方法,其中,到所述边缘资源设备的连接通过蜂窝塔,以及到所述雾资源设备的连接通过Wi-Fi连接设备。
541.根据权利要求577所述的方法,其中,所述蜂窝塔连接到所述雾资源设备。
542.根据权利要求577所述的方法,其中,所述Wi-Fi连接设备连接到所述雾资源设备。
543.根据权利要求574所述的方法,还包括:
利用至少一个相机捕获至少第一和第二图像,其中,所述移动设备处理器将所述第一图像发送到所述边缘资源设备,并且将所述第二图像发送到所述雾资源设备。
544.根据权利要求580所述的方法,其中,所述至少一个相机是拍摄所述用户的第一图像的房间相机。
545.根据权利要求574所述的方法,还包括:
通过处理器接收传感器输入,
利用所述处理器基于所述传感器输入来确定所述移动设备的姿势,包括所述移动设备的位置和取向中的至少一种,以及
利用所述处理器操纵可操纵无线连接器,所述可操纵无线连接器基于所述姿势在所述移动设备与所述边缘资源设备之间创建无线连接以至少改进所述连接。
546.根据权利要求582所述的方法,其中,所述可操纵无线连接器是相控阵天线。
547.根据权利要求582所述的方法,其中,所述可操纵无线连接器是雷达全息图类型的传输连接器。
548.根据权利要求574所述的方法,还包括:
利用由处理器执行的仲裁器功能分别确定多少边缘和雾资源通过所述边缘和雾资源设备可用;
根据可用资源的确定,利用所述仲裁器功能向所述边缘和雾资源发送处理任务;以及
利用仲裁器功能接收从边缘和雾资源返回的结果。
549.根据权利要求585所述的方法,还包括:
利用所述仲裁器功能组合来自所述边缘和雾资源的结果。
550.根据权利要求585所述的方法,还包括:
通过所述移动设备处理器确定进程是否是运行时间进程;
如果做出所述任务是运行时间进程的确定,那么立即执行所述任务而不利用所述仲裁器功能做出所述确定;以及
如果做出所述任务不是运行时间进程的确定,那么利用所述仲裁器功能做出所述确定。
551.根据权利要求574所述的方法,还包括:
在多个边缘资源设备与所述雾资源设备之间交换数据,所述数据包括由不同传感器捕获并发送到所述边缘资源设备的空间点;以及
确定超级点,所述超级点是选择来自所述边缘资源设备的两个或两个以上的数据重叠的点中的点。
552.根据权利要求588所述的方法,还包括:
使用多个移动设备中的每个超级点用于相应移动设备的定位、定向或姿势估计。
553.根据权利要求589所述的方法,还包括:
利用处理器为一组超级点生成上下文触发器,以及
利用处理器将上下文触发器存储在计算机可读介质上。
554.根据权利要求590所述的方法,将上下文触发器用作基于第一内容渲染对象的句柄。
555.根据权利要求555所述的方法,其中,所述渲染形成具有多项式预测的系统,用于将帧渲染成预测所述移动设备将摆放或观看的未来。
CN202080048293.4A 2019-05-01 2020-05-01 内容提供系统和方法 Pending CN114127837A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962841806P 2019-05-01 2019-05-01
US62/841,806 2019-05-01
PCT/US2020/031036 WO2020223636A1 (en) 2019-05-01 2020-05-01 Content provisioning system and method

Publications (1)

Publication Number Publication Date
CN114127837A true CN114127837A (zh) 2022-03-01

Family

ID=73016789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080048293.4A Pending CN114127837A (zh) 2019-05-01 2020-05-01 内容提供系统和方法

Country Status (5)

Country Link
US (2) US11445232B2 (zh)
EP (1) EP3963565A4 (zh)
JP (1) JP2022530900A (zh)
CN (1) CN114127837A (zh)
WO (1) WO2020223636A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415901A (zh) * 2022-03-30 2022-04-29 深圳市海清视讯科技有限公司 人机交互方法、装置、设备及存储介质
US11675324B2 (en) * 2019-09-19 2023-06-13 Bao Tran Air transportation systems and methods

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7123554B2 (ja) * 2017-12-25 2022-08-23 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10915115B2 (en) * 2018-08-02 2021-02-09 Nvidia Corporation Method and apparatus for enabling map updates using a blockchain platform
JP7259601B2 (ja) * 2019-07-08 2023-04-18 株式会社デンソーウェーブ 認証システム
KR20210042537A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 대면적의 공간에서 로컬 영역별로 위치를 추정하는 방법 및 이를 구현하는 로봇과 클라우드 서버
US11742908B2 (en) * 2019-11-04 2023-08-29 Qualcomm Incorporated Wireless device cooperative transmission schemes
JP2023510091A (ja) * 2019-12-10 2023-03-13 ウッドサイド エナジー テクノロジーズ プロプライエタリー リミテッド アセット管理システム
KR20220033924A (ko) * 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
CN115963918A (zh) * 2021-05-31 2023-04-14 富联国基(上海)电子有限公司 一种扩增实境锚点的建立方法与系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016821A1 (en) * 2012-07-12 2014-01-16 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US20150009099A1 (en) * 2011-05-09 2015-01-08 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20170100664A1 (en) * 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US20170127295A1 (en) * 2015-06-15 2017-05-04 Searete Llc Methods and systems for communication with beamforming antennas
US20170232345A1 (en) * 2007-06-22 2017-08-17 Broadcom Corporation Game console and gaming object with motion prediction modeling and methods for use therewith
US20180067779A1 (en) * 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
US10218679B1 (en) * 2017-09-27 2019-02-26 Citrix Systems, Inc. Secure single sign on and conditional access for client applications

Family Cites Families (431)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541736B1 (en) 2001-12-10 2003-04-01 Usun Technology Co., Ltd. Circuit board/printed circuit board having pre-reserved conductive heating circuits
US4344092A (en) 1980-10-21 1982-08-10 Circon Corporation Miniature video camera means for video system
US4652930A (en) 1984-11-19 1987-03-24 Rca Corporation Television camera structure
US4810080A (en) 1987-09-03 1989-03-07 American Optical Corporation Protective eyewear with removable nosepiece and corrective spectacle
US5142684A (en) 1989-06-23 1992-08-25 Hand Held Products, Inc. Power conservation in microprocessor controlled devices
US4997268A (en) 1989-07-24 1991-03-05 Dauvergne Hector A Corrective lens configuration
US5074295A (en) 1989-08-03 1991-12-24 Jamie, Inc. Mouth-held holder
US5007727A (en) 1990-02-26 1991-04-16 Alan Kahaney Combination prescription lens and sunglasses assembly
US5396635A (en) 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
US5240220A (en) 1990-09-12 1993-08-31 Elbex Video Ltd. TV camera supporting device
WO1993001743A1 (en) 1991-07-22 1993-02-04 Adair Edwin Lloyd Sterile video microscope holder for operating room
US5251635A (en) 1991-09-03 1993-10-12 General Electric Company Stereoscopic X-ray fluoroscopy system using radiofrequency fields
US5224198A (en) 1991-09-30 1993-06-29 Motorola, Inc. Waveguide virtual image display
US5497463A (en) 1992-09-25 1996-03-05 Bull Hn Information Systems Inc. Ally mechanism for interconnecting non-distributed computing environment (DCE) and DCE systems to operate in a network system
US5937202A (en) 1993-02-11 1999-08-10 3-D Computing, Inc. High-speed, parallel, processor architecture for front-end electronics, based on a single type of ASIC, and method use thereof
US5410763A (en) 1993-02-11 1995-05-02 Etablissments Bolle Eyeshield with detachable components
US5682255A (en) 1993-02-26 1997-10-28 Yeda Research & Development Co. Ltd. Holographic optical devices for the transmission of optical signals of a plurality of channels
US6023288A (en) 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
EP0632360A1 (en) 1993-06-29 1995-01-04 Xerox Corporation Reducing computer power consumption by dynamic voltage and frequency variation
US5455625A (en) 1993-09-23 1995-10-03 Rosco Inc. Video camera unit, protective enclosure and power circuit for same, particularly for use in vehicles
US5689669A (en) * 1994-04-29 1997-11-18 General Magic Graphical user interface for navigating between levels displaying hallway and room metaphors
US6016147A (en) * 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US5835061A (en) 1995-06-06 1998-11-10 Wayport, Inc. Method and apparatus for geographic-based communications service
CA2180899A1 (en) * 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5826092A (en) 1995-09-15 1998-10-20 Gateway 2000, Inc. Method and apparatus for performance optimization in power-managed computer systems
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5864365A (en) 1996-01-26 1999-01-26 Kaman Sciences Corporation Environmentally controlled camera housing assembly
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US5854872A (en) 1996-10-08 1998-12-29 Clio Technologies, Inc. Divergent angle rotator system and method for collimating light beams
US8005254B2 (en) 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
US6012811A (en) 1996-12-13 2000-01-11 Contour Optik, Inc. Eyeglass frames with magnets at bridges for attachment
JP3465528B2 (ja) 1997-04-22 2003-11-10 三菱瓦斯化学株式会社 新規な光学材料用樹脂
JPH10309381A (ja) * 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6271843B1 (en) * 1997-05-30 2001-08-07 International Business Machines Corporation Methods systems and computer program products for transporting users in three dimensional virtual reality worlds using transportation vehicles
CN1171182C (zh) 1997-08-29 2004-10-13 世雅企业股份有限公司 图象处理系统和图象处理方法
JPH11142783A (ja) 1997-11-12 1999-05-28 Olympus Optical Co Ltd 画像表示装置
US6243091B1 (en) * 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US6385735B1 (en) 1997-12-15 2002-05-07 Intel Corporation Method and apparatus for limiting processor clock frequency
US6079982A (en) * 1997-12-31 2000-06-27 Meader; Gregory M Interactive simulator ride
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6362817B1 (en) * 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6076927A (en) 1998-07-10 2000-06-20 Owens; Raymond L. Adjustable focal length eye glasses
US6119147A (en) * 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
JP2000099332A (ja) 1998-09-25 2000-04-07 Hitachi Ltd 遠隔手続き呼び出し最適化方法とこれを用いたプログラム実行方法
US6414679B1 (en) * 1998-10-08 2002-07-02 Cyberworld International Corporation Architecture and methods for generating and displaying three dimensional representations
US6415388B1 (en) 1998-10-30 2002-07-02 Intel Corporation Method and apparatus for power throttling in a microprocessor using a closed loop feedback system
US6918667B1 (en) 1998-11-02 2005-07-19 Gary Martin Zelman Auxiliary eyewear attachment apparatus
US6487319B1 (en) 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
US7111290B1 (en) 1999-01-28 2006-09-19 Ati International Srl Profiling program execution to identify frequently-executed portions and to assist binary translation
US6396522B1 (en) * 1999-03-08 2002-05-28 Dassault Systemes Selection navigator
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
AU4190900A (en) * 1999-04-06 2000-10-23 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6375369B1 (en) 1999-04-22 2002-04-23 Videolarm, Inc. Housing for a surveillance camera
GB9930850D0 (en) * 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
US6621508B1 (en) * 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
US9129034B2 (en) * 2000-02-04 2015-09-08 Browse3D Corporation System and method for web browsing
KR20000030430A (ko) * 2000-02-29 2000-06-05 김양신 3차원 그래픽 가상공간을 이용한 인터넷 광고시스템
JP4479051B2 (ja) * 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
KR100487543B1 (ko) 2000-09-01 2005-05-03 엘지전자 주식회사 시피유 스케쥴링 방법
US7788323B2 (en) * 2000-09-21 2010-08-31 International Business Machines Corporation Method and apparatus for sharing information in a virtual environment
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US7168051B2 (en) * 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
TW522256B (en) 2000-12-15 2003-03-01 Samsung Electronics Co Ltd Wearable display system
US6715089B2 (en) 2001-01-22 2004-03-30 Ati International Srl Reducing power consumption by estimating engine load and reducing engine clock speed
US20020108064A1 (en) 2001-02-07 2002-08-08 Patrick Nunally System and method for optimizing power/performance in network-centric microprocessor-controlled devices
US6807352B2 (en) 2001-02-11 2004-10-19 Georgia Tech Research Corporation Optical waveguides with embedded air-gap cladding layer and methods of fabrication thereof
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US7176942B2 (en) * 2001-03-23 2007-02-13 Dassault Systemes Collaborative design
US20020140848A1 (en) 2001-03-30 2002-10-03 Pelco Controllable sealed chamber for surveillance camera
EP1249717A3 (en) 2001-04-10 2005-05-11 Matsushita Electric Industrial Co., Ltd. Antireflection coating and optical element using the same
JPWO2002088913A1 (ja) 2001-04-27 2004-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Maschines Corporation プロセッサの動作速度を制御するための方法および装置
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6622253B2 (en) 2001-08-02 2003-09-16 Scientific-Atlanta, Inc. Controlling processor clock rate based on thread priority
US6762845B2 (en) 2001-08-23 2004-07-13 Zygo Corporation Multiple-pass interferometry
IL160902A0 (en) 2001-09-25 2004-08-31 Cambridge Flat Projection Flat-panel projection display
US6833955B2 (en) 2001-10-09 2004-12-21 Planop Planar Optics Ltd. Compact two-plane optical device
AU2002361572A1 (en) 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
US7076674B2 (en) 2001-12-19 2006-07-11 Hewlett-Packard Development Company L.P. Portable computer having dual clock mode
US7305020B2 (en) 2002-02-04 2007-12-04 Vizionware, Inc. Method and system of reducing electromagnetic interference emissions
US7038694B1 (en) * 2002-03-11 2006-05-02 Microsoft Corporation Automatic scenery object generation
EP1351117A1 (en) 2002-04-03 2003-10-08 Hewlett-Packard Company Data processing system and method
CN102902839B (zh) 2002-04-25 2016-04-06 新思科技公司 管理集成电路设计的装置和方法
US6849558B2 (en) 2002-05-22 2005-02-01 The Board Of Trustees Of The Leland Stanford Junior University Replication and transfer of microstructures and nanostructures
KR100382232B1 (en) 2002-05-31 2003-05-09 Palm Palm Tech Mobile terminal having enhanced power managing function and power managing method thereof
US7046515B1 (en) 2002-06-06 2006-05-16 Raytheon Company Method and apparatus for cooling a circuit component
US7155617B2 (en) 2002-08-01 2006-12-26 Texas Instruments Incorporated Methods and systems for performing dynamic power management via frequency and voltage scaling
US6714157B2 (en) 2002-08-02 2004-03-30 The Boeing Company Multiple time-interleaved radar operation using a single radar at different angles
US20040113887A1 (en) * 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
KR100480786B1 (ko) 2002-09-02 2005-04-07 삼성전자주식회사 커플러를 가지는 집적형 광 헤드
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
WO2004051450A2 (en) 2002-12-04 2004-06-17 Koninklijke Philips Electronics N.V. Software-based control of microprocessor power dissipation
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US20050128212A1 (en) * 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
AU2003901272A0 (en) 2003-03-19 2003-04-03 Martin Hogan Pty Ltd Improvements in or relating to eyewear attachments
US7294360B2 (en) 2003-03-31 2007-11-13 Planar Systems, Inc. Conformal coatings for micro-optical elements, and method for making the same
US20040205757A1 (en) 2003-04-09 2004-10-14 Pering Trevor A. Performance scheduling using multiple constraints
WO2004109349A2 (en) 2003-06-10 2004-12-16 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
US20040268159A1 (en) 2003-06-30 2004-12-30 Microsoft Corporation Power profiling
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7134031B2 (en) 2003-08-04 2006-11-07 Arm Limited Performance control within a multi-processor system
JP3931336B2 (ja) * 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
US7434083B1 (en) 2004-01-06 2008-10-07 Apple Inc. Method and apparatus for the generation and control of clock signals
JP4699699B2 (ja) 2004-01-15 2011-06-15 株式会社東芝 ビーム光走査装置及び画像形成装置
US7269590B2 (en) 2004-01-29 2007-09-11 Yahoo! Inc. Method and system for customizing views of information associated with a social network user
KR101128635B1 (ko) 2004-03-29 2012-03-26 소니 주식회사 광학 장치 및 허상 표시 장치
US7219245B1 (en) 2004-06-03 2007-05-15 Advanced Micro Devices, Inc. Adaptive CPU clock management
US20060019723A1 (en) 2004-06-29 2006-01-26 Pieter Vorenkamp Automatic control of power save operation in a portable communication device utilizing historical usage information
US7382288B1 (en) * 2004-06-30 2008-06-03 Rockwell Collins, Inc. Display of airport signs on head-up display
GB0416038D0 (en) 2004-07-16 2004-08-18 Portland Press Ltd Document display system
US20070189669A1 (en) 2004-07-22 2007-08-16 Maurizio Tormen Integrated wavelength selective grating-based filter
WO2006020846A2 (en) * 2004-08-11 2006-02-23 THE GOVERNMENT OF THE UNITED STATES OF AMERICA as represented by THE SECRETARY OF THE NAVY Naval Research Laboratory Simulated locomotion method and apparatus
EP1850731A2 (en) 2004-08-12 2007-11-07 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7029114B2 (en) 2004-09-03 2006-04-18 E'lite Optik U.S. L.P. Eyewear assembly with auxiliary frame and lens assembly
EP2637047A3 (en) 2004-09-16 2014-02-26 Nikon Corporation MgF2 optical thin film including amorphous silicon oxide binder, optical element provided with the same, and method for producing mgF2 optical thin film
US20060090092A1 (en) 2004-10-25 2006-04-27 Verhulst Anton H Clock timing adjustment
US7536567B2 (en) 2004-12-10 2009-05-19 Hewlett-Packard Development Company, L.P. BIOS-based systems and methods of processor power management
US20060126181A1 (en) 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
US8619365B2 (en) 2004-12-29 2013-12-31 Corning Incorporated Anti-reflective coating for optical windows and elements
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7573640B2 (en) 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7948683B2 (en) 2006-05-14 2011-05-24 Holochip Corporation Fluidic lens with manually-adjustable focus
US7644148B2 (en) 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
JP4567786B2 (ja) 2005-06-03 2010-10-20 ノキア コーポレイション 射出瞳を拡大する汎用的な回折的光学方法
US7933395B1 (en) * 2005-06-27 2011-04-26 Google Inc. Virtual tour of user-defined paths in a geographic information system
JP4776285B2 (ja) 2005-07-01 2011-09-21 ソニー株式会社 照明光学装置及びこれを用いた虚像表示装置
US7739524B2 (en) 2005-08-29 2010-06-15 The Invention Science Fund I, Inc Power consumption management
US20070058248A1 (en) 2005-09-14 2007-03-15 Nguyen Minh T Sport view binocular-zoom lens focus system
US20080043334A1 (en) 2006-08-18 2008-02-21 Mirage Innovations Ltd. Diffractive optical relay and method for manufacturing the same
US20100232016A1 (en) 2005-09-28 2010-09-16 Mirage Innovations Ltd. Stereoscopic Binocular System, Device and Method
US7817150B2 (en) * 2005-09-30 2010-10-19 Rockwell Automation Technologies, Inc. Three-dimensional immersive system for representing an automation control environment
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
KR101193331B1 (ko) 2005-10-14 2012-10-19 엘지전자 주식회사 그래픽장치의 전력소모를 관리하는 시스템 및 방법
ATE422679T1 (de) 2005-11-03 2009-02-15 Mirage Innovations Ltd Binokulare optische relaiseinrichtung
JP5266059B2 (ja) 2005-11-18 2013-08-21 ナノコンプ オイ リミテッド 回折格子の製造方法
JP5226528B2 (ja) 2005-11-21 2013-07-03 マイクロビジョン,インク. 像誘導基板を有するディスプレイ
US7917573B2 (en) 2005-11-30 2011-03-29 International Business Machines Corporation Measuring and reporting processor capacity and processor usage in a computer system with processors of different speed and/or architecture
JP2007199841A (ja) 2006-01-24 2007-08-09 Seiko Epson Corp 電子機器のコントローラ、バス制御装置
ES2605367T3 (es) 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
JP2007219106A (ja) 2006-02-16 2007-08-30 Konica Minolta Holdings Inc 光束径拡大光学素子、映像表示装置およびヘッドマウントディスプレイ
US7461535B2 (en) 2006-03-01 2008-12-09 Memsic, Inc. Multi-temperature programming for accelerometer
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7353134B2 (en) 2006-03-09 2008-04-01 Dean A. Cirielli Three-dimensional position and motion telemetry input
CA2645817C (en) 2006-03-15 2016-05-03 Google Inc. Automatic display of resized images
WO2007141587A1 (en) 2006-06-02 2007-12-13 Nokia Corporation Color distribution in exit pupil expanders
EP1868149B1 (en) * 2006-06-14 2019-08-07 Dassault Systèmes Improved computerized collaborative work
US7692855B2 (en) 2006-06-28 2010-04-06 Essilor International Compagnie Generale D'optique Optical article having a temperature-resistant anti-reflection coating with optimized thickness ratio of low index and high index layers
US9015501B2 (en) 2006-07-13 2015-04-21 International Business Machines Corporation Structure for asymmetrical performance multi-processors
US7724980B1 (en) 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US8214660B2 (en) 2006-07-26 2012-07-03 International Business Machines Corporation Structure for an apparatus for monitoring and controlling heat generation in a multi-core processor
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US7640449B2 (en) 2006-08-17 2009-12-29 Via Technologies, Inc. Systems and methods for dynamic clock frequencies for low power design
US9582060B2 (en) 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
JP4861105B2 (ja) * 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 空間掲示板システム
US20080068557A1 (en) 2006-09-20 2008-03-20 Gilbert Menduni Lens holding frame
US20080125218A1 (en) * 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
US20090300528A1 (en) * 2006-09-29 2009-12-03 Stambaugh Thomas M Browser event tracking for distributed web-based processing, spatial organization and display of information
US20080146942A1 (en) 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
JP4847351B2 (ja) 2007-01-11 2011-12-28 キヤノン株式会社 回折光学素子及びそれを用いた回折格子
US7418368B2 (en) 2007-01-18 2008-08-26 International Business Machines Corporation Method and system for testing processor cores
JP4348441B2 (ja) 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
US8726681B2 (en) 2007-01-23 2014-05-20 Hewlett-Packard Development Company, L.P. Method and system of cooling components of a computer system
EP3667399A1 (en) 2007-06-04 2020-06-17 Magic Leap, Inc. A diffractive beam expander
US8060759B1 (en) 2007-06-29 2011-11-15 Emc Corporation System and method of managing and optimizing power consumption in a storage system
US9387402B2 (en) * 2007-09-18 2016-07-12 Disney Enterprises, Inc. Method and system for converting a computer virtual environment into a real-life simulation environment
US8368721B2 (en) * 2007-10-06 2013-02-05 Mccoy Anthony Apparatus and method for on-field virtual reality simulation of US football and other sports
US7844724B2 (en) * 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
WO2009074976A2 (en) * 2007-12-12 2009-06-18 Bio-Ride Ltd. System and methodology for providing shared internet experience
WO2009077802A1 (en) 2007-12-18 2009-06-25 Nokia Corporation Exit pupil expanders with wide field-of-view
DE102008005817A1 (de) 2008-01-24 2009-07-30 Carl Zeiss Ag Optisches Anzeigegerät
EP2242419B1 (en) 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
JP2009244869A (ja) 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8296196B2 (en) * 2008-05-15 2012-10-23 International Business Machines Corporation Tag along shopping
US20090309819A1 (en) 2008-06-13 2009-12-17 Element Labs, Inc. Collapsible Support Structure for a Display
JP5181860B2 (ja) 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
US8250389B2 (en) 2008-07-03 2012-08-21 International Business Machines Corporation Profiling an application for power consumption during execution on a plurality of compute nodes
US10885471B2 (en) 2008-07-18 2021-01-05 Disney Enterprises, Inc. System and method for providing location-based data on a wireless portable device
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8229800B2 (en) * 2008-09-13 2012-07-24 At&T Intellectual Property I, L.P. System and method for an enhanced shopping experience
US7885506B2 (en) 2008-09-26 2011-02-08 Nokia Corporation Device and a method for polarized illumination of a micro-display
CN102224476B (zh) 2008-10-14 2017-08-01 奥布隆工业有限公司 多进程交互系统和方法
WO2010065786A1 (en) 2008-12-03 2010-06-10 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for determining the positioin of the tip of a medical catheter within the body of a patient
US20100153934A1 (en) 2008-12-12 2010-06-17 Peter Lachner Prefetch for systems with heterogeneous architectures
US8325088B2 (en) 2009-02-04 2012-12-04 Google Inc. Mobile device battery management
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8411086B2 (en) * 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8699141B2 (en) 2009-03-13 2014-04-15 Knowles Electronics, Llc Lens assembly apparatus and method
JP5121764B2 (ja) 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
US9095436B2 (en) 2009-04-14 2015-08-04 The Invention Science Fund I, Llc Adjustable orthopedic implant and method for treating an orthopedic condition in a subject
US20100274567A1 (en) * 2009-04-22 2010-10-28 Mark Carlson Announcing information about payment transactions of any member of a consumer group
US20100274627A1 (en) * 2009-04-22 2010-10-28 Mark Carlson Receiving an announcement triggered by location data
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20110010636A1 (en) * 2009-07-13 2011-01-13 International Business Machines Corporation Specification of a characteristic of a virtual universe establishment
US20110022870A1 (en) 2009-07-21 2011-01-27 Microsoft Corporation Component power monitoring and workload optimization
US8758125B2 (en) 2009-07-24 2014-06-24 Wms Gaming, Inc. Controlling event-driven behavior of wagering game objects
US8738949B2 (en) 2009-08-31 2014-05-27 Empire Technology Development Llc Power management for processor
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
US8909962B2 (en) 2009-12-16 2014-12-09 Qualcomm Incorporated System and method for controlling central processing unit power with guaranteed transient deadlines
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8751854B2 (en) 2009-12-21 2014-06-10 Empire Technology Development Llc Processor core clock rate selection
US8565554B2 (en) 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
KR101099137B1 (ko) 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
US8549339B2 (en) 2010-02-26 2013-10-01 Empire Technology Development Llc Processor core communication in multi-core processor
US11275482B2 (en) 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
WO2011107831A1 (en) 2010-03-04 2011-09-09 Nokia Corporation Optical apparatus and method for expanding an exit pupil
US9547910B2 (en) 2010-03-04 2017-01-17 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP2012015774A (ja) 2010-06-30 2012-01-19 Toshiba Corp 立体視映像処理装置および立体視映像処理方法
US8560876B2 (en) 2010-07-06 2013-10-15 Sap Ag Clock acceleration of CPU core based on scanned result of task for parallel execution controlling key word
US8601288B2 (en) 2010-08-31 2013-12-03 Sonics, Inc. Intelligent power controller
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
JP5632693B2 (ja) 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20120081392A1 (en) 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8688926B2 (en) 2010-10-10 2014-04-01 Liqid Inc. Systems and methods for optimizing data storage among a plurality of solid state memory subsystems
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
JP5854593B2 (ja) 2010-11-17 2016-02-09 キヤノン株式会社 積層型回折光学素子
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8949637B2 (en) 2011-03-24 2015-02-03 Intel Corporation Obtaining power profile information with low overhead
EP2691936A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US8856571B2 (en) 2011-04-05 2014-10-07 Apple Inc. Adjusting device performance over multiple time domains
KR101210163B1 (ko) 2011-04-05 2012-12-07 엘지이노텍 주식회사 광학 시트 및 이를 포함하는 표시장치
US9245307B2 (en) 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
US10606066B2 (en) 2011-06-21 2020-03-31 Gholam A. Peyman Fluidic light field camera
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
JP6061926B2 (ja) 2011-06-27 2017-01-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 身体管腔のライブ3d画像を提供するためのシステム、その作動方法及びコンピュータプログラム
US8548290B2 (en) 2011-08-23 2013-10-01 Vuzix Corporation Dynamic apertured waveguide for near-eye display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9835765B2 (en) 2011-09-27 2017-12-05 Canon Kabushiki Kaisha Optical element and method for manufacturing the same
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9125301B2 (en) 2011-10-18 2015-09-01 Integrated Microwave Corporation Integral heater assembly and method for carrier or host board of electronic package assembly
US8782454B2 (en) 2011-10-28 2014-07-15 Apple Inc. System and method for managing clock speed based on task urgency
US9678102B2 (en) 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
US8891918B2 (en) 2011-11-17 2014-11-18 At&T Intellectual Property I, L.P. Methods, systems, and products for image displays
US8608309B2 (en) 2011-12-30 2013-12-17 A New Vision Llc Eyeglass system
EP2797657B1 (en) 2011-12-30 2019-03-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
US9619240B2 (en) 2012-02-04 2017-04-11 Empire Technology Development Llc Core-level dynamic voltage and frequency scaling in a chip multiprocessor
GB2499635B (en) 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US9704220B1 (en) 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
US10013511B2 (en) 2012-04-09 2018-07-03 Purdue Research Foundation System and method for energy usage accounting in software applications
US20130278633A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US10627623B2 (en) 2012-05-03 2020-04-21 Nokia Technologies Oy Image providing apparatus, method and computer program
WO2013177316A2 (en) 2012-05-22 2013-11-28 Xockets IP, LLC Efficient packet handling, redirection, and inspection using offload processors
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113291B2 (en) 2012-06-18 2015-08-18 Qualcomm Incorporated Location detection within identifiable pre-defined geographic areas
US8848741B2 (en) 2012-06-21 2014-09-30 Breakingpoint Systems, Inc. High-speed CLD-based TCP segmentation offload
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
TW201403299A (zh) 2012-07-04 2014-01-16 Acer Inc 中央處理器控制方法
US8605764B1 (en) 2012-07-09 2013-12-10 Microvision, Inc. Laser diode junction temperature compensation
JP6218833B2 (ja) 2012-08-20 2017-10-25 キャメロン,ドナルド,ケヴィン 処理リソース割り当て
CN102829880B (zh) 2012-08-23 2014-04-16 江苏物联网研究发展中心 基于黒硅的高性能mems热电堆红外探测器及其制备方法
IN2015KN00682A (zh) 2012-09-03 2015-07-17 Sensomotoric Instr Ges Für Innovative Sensorik Mbh
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9584382B2 (en) 2012-11-28 2017-02-28 At&T Intellectual Property I, L.P. Collecting and using quality of experience information
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US20150355481A1 (en) 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB201301764D0 (en) 2013-01-31 2013-03-20 Adlens Ltd Actuation of fluid-filled lenses
WO2014124706A1 (en) 2013-02-15 2014-08-21 Adlens Limited Adjustable lens and article of eyewear
US8884663B2 (en) 2013-02-25 2014-11-11 Advanced Micro Devices, Inc. State machine for low-noise clocking of high frequency clock
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
WO2014144035A1 (en) 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
US9235395B2 (en) 2013-05-30 2016-01-12 National Instruments Corporation Graphical development and deployment of parallel floating-point math functionality on a system with heterogeneous hardware components
JP6232763B2 (ja) 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
JP2016529559A (ja) 2013-08-27 2016-09-23 フラメリ・インコーポレーテッド 取り外し可能眼鏡レンズおよびフレームプラットフォーム
CN105474125B (zh) 2013-09-27 2019-01-01 英特尔公司 用于跟踪唤醒锁定使用的技术
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
KR102189115B1 (ko) 2013-11-11 2020-12-09 삼성전자주식회사 대칭형 다중 프로세서를 구비한 시스템 온-칩 및 이를 위한 최대 동작 클럭 주파수 결정 방법
US9286725B2 (en) 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US9927923B2 (en) 2013-11-19 2018-03-27 Hitachi Maxell, Ltd. Projection-type video display device
WO2015079610A1 (ja) 2013-11-26 2015-06-04 ソニー株式会社 ヘッドマウントディスプレイ
NZ720610A (en) 2013-11-27 2020-04-24 Magic Leap Inc Virtual and augmented reality systems and methods
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9383630B2 (en) 2014-03-05 2016-07-05 Mygo, Llc Camera mouth mount
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20170123775A1 (en) 2014-03-26 2017-05-04 Empire Technology Development Llc Compilation of application into multiple instruction sets for a heterogeneous processor
US20150301955A1 (en) 2014-04-21 2015-10-22 Qualcomm Incorporated Extending protection domains to co-processors
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
EP2952850A1 (en) 2014-06-03 2015-12-09 Optotune AG Optical device, particularly for tuning the focal length of a lens of the device by means of optical feedback
RU2603238C2 (ru) 2014-07-15 2016-11-27 Самсунг Электроникс Ко., Лтд. Световодная структура, голографическое оптическое устройство и система формирования изображений
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160093269A1 (en) 2014-09-26 2016-03-31 Pixtronix, Inc. Laser-Pumped Phosphor Backlight and Methods
KR20240005987A (ko) 2014-09-29 2024-01-12 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
US10371936B2 (en) 2014-11-10 2019-08-06 Leo D. Didomenico Wide angle, broad-band, polarization independent beam steering and concentration of wave energy utilizing electronically controlled soft matter
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US10794728B2 (en) 2014-12-19 2020-10-06 Invensense, Inc. Device and method for sensor calibration
US10096162B2 (en) 2014-12-22 2018-10-09 Dimensions And Shapes, Llc Headset vision system for portable devices that provides an augmented reality display and/or a virtual reality display
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
WO2016149536A1 (en) 2015-03-17 2016-09-22 Ocutrx Vision Technologies, Llc. Correction of vision defects using a visual display
EP3745167A1 (en) 2015-04-07 2020-12-02 Magic Leap, Inc. Diffraction grating and method of manufacture
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
CN107533339B (zh) 2015-04-20 2020-05-22 深圳市大疆创新科技有限公司 用于对传感器操作进行热调节的系统和方法
US10909464B2 (en) 2015-04-29 2021-02-02 Microsoft Technology Licensing, Llc Semantic locations prediction
US9664569B2 (en) 2015-05-15 2017-05-30 Google Inc. Circuit board configurations facilitating operation of heat sensitive sensor components
KR20160139727A (ko) 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
GB2539009A (en) 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
US10832479B2 (en) 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
FR3037672B1 (fr) 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
US9519084B1 (en) 2015-06-18 2016-12-13 Oculus Vr, Llc Securing a fresnel lens to a refractive optical element
CA2991644C (en) 2015-07-06 2022-03-01 Frank Jones Methods and devices for demountable head mounted displays
US11190681B1 (en) 2015-07-10 2021-11-30 Snap Inc. Systems and methods for DSP fast boot
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
US9781246B2 (en) * 2015-08-28 2017-10-03 Qualcomm Incorporated Augmenting reality using a small cell
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US9489027B1 (en) 2015-08-31 2016-11-08 Wave Resource Strategies, Inc. System and method for the accurate recordation of power consumption in a computing device utilizing power profiles
US9880611B2 (en) 2015-08-31 2018-01-30 Google Llc Energy saving mode for electronic devices
JP6615541B2 (ja) 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US20150378407A1 (en) 2015-09-04 2015-12-31 Mediatek Inc. Loading-Based Dynamic Voltage And Frequency Scaling
KR102161161B1 (ko) * 2015-09-11 2020-09-29 아마존 테크놀로지스, 인크. 에지 위치들에서 맞춤형 이벤트-트리거된 컴퓨터의 조작을 위한 시스템, 방법 및 컴퓨터-판독가능한 스토리지 매체
GB2542853B (en) 2015-10-02 2021-12-15 Cambridge Consultants Processing apparatus and methods
US10067346B2 (en) 2015-10-23 2018-09-04 Microsoft Technology Licensing, Llc Holographic display
CN113489967A (zh) 2015-11-04 2021-10-08 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
US9671615B1 (en) 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
EP3190447B1 (en) 2016-01-06 2020-02-05 Ricoh Company, Ltd. Light guide and virtual image display device
WO2017120475A1 (en) 2016-01-06 2017-07-13 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US9891436B2 (en) 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
JP6686504B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
CN109348738B (zh) 2016-02-18 2021-11-16 富士电机株式会社 信号传输装置
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10223605B2 (en) 2016-03-18 2019-03-05 Colorvision International, Inc. Interactive virtual aquarium simulation system and associated methods
JP2019514448A (ja) 2016-03-31 2019-06-06 ゾール メディカル コーポレイションZOLL Medical Corporation 患者の動きを追跡するシステムおよび方法
CA3018782A1 (en) 2016-04-07 2017-10-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3236211A1 (en) 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
US10197804B2 (en) 2016-04-25 2019-02-05 Microsoft Technology Licensing, Llc Refractive coating for diffractive optical elements
NZ787464A (en) 2016-04-26 2023-06-30 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10241346B2 (en) 2016-05-07 2019-03-26 Microsoft Technology Licensing, Llc Degrees of freedom for diffraction elements in wave expander
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
US10215986B2 (en) 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10114440B2 (en) 2016-06-22 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Applying power management based on a target time
US10372184B2 (en) 2016-06-28 2019-08-06 Renesas Electronics America Inc. Method and apparatus for implementing power modes in microcontrollers using power profiles
US10839732B2 (en) 2016-07-07 2020-11-17 Hitachi-Lg Data Storage, Inc. Video display device
TW201803289A (zh) 2016-07-11 2018-01-16 原相科技股份有限公司 可利用較小電路面積並同時考量節能省電以偵測空氣中之干擾訊號之功率來控制放大器之增益值的無線收發機裝置及方法
CN113240601B (zh) 2016-08-04 2024-03-26 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10676345B2 (en) 2016-08-15 2020-06-09 Y-Sensors Ltd. Temperature stabilized MEMS device
US10267970B2 (en) 2016-08-22 2019-04-23 Magic Leap, Inc. Thermal dissipation for wearable device
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US20180082480A1 (en) 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
EP3320829A1 (en) 2016-11-10 2018-05-16 E-Health Technical Solutions, S.L. System for integrally measuring clinical parameters of visual function
JP7076447B2 (ja) 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
CN108885533B (zh) * 2016-12-21 2021-05-07 杰创科科技有限公司 组合虚拟现实和增强现实
US10203252B2 (en) 2016-12-29 2019-02-12 Industrial Technology Research Institute Microelectromechanical apparatus having a measuring range selector
US10489975B2 (en) 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
EP3376279B1 (en) 2017-03-13 2022-08-31 Essilor International Optical device for a head-mounted display, and head-mounted device incorporating it for augmented reality
US10452123B2 (en) 2017-03-30 2019-10-22 Google Llc Predictive power saving and screen dimming for computing devices
US10241545B1 (en) 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11236993B1 (en) 2017-06-08 2022-02-01 Facebook Technologies, Llc Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US20190196690A1 (en) 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190056591A1 (en) 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Optical waveguide with multiple antireflective coatings
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
ES2859474T3 (es) 2017-11-13 2021-10-04 Vr Coaster Gmbh & Co Kg Dispositivo para vivir una simulación de realidad virtual en un mundo submarino
KR102411287B1 (ko) 2017-11-22 2022-06-22 삼성전자 주식회사 미디어 출력 제어 장치 및 방법
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US10620430B2 (en) 2018-01-12 2020-04-14 Microsoft Technology Licensing, Llc Geometrically multiplexed RGB lasers in a scanning MEMS display system for HMDS
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
GB201805301D0 (en) 2018-03-29 2018-05-16 Adlens Ltd Improvements In Or Relating To Variable Focusing Power Optical Devices
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
JP6779939B2 (ja) 2018-04-19 2020-11-04 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10969486B2 (en) * 2018-04-26 2021-04-06 SCRRD, Inc. Augmented reality platform and method for use of same
US10740966B2 (en) 2018-05-14 2020-08-11 Microsoft Technology Licensing, Llc Fake thickness on a two-dimensional object
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
US11017217B2 (en) * 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10678323B2 (en) * 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10516853B1 (en) * 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10838488B2 (en) * 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US11216150B2 (en) 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
US20210008413A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive Personal Training System
US11174153B2 (en) 2019-08-21 2021-11-16 Invensense, Inc. Package level thermal gradient sensing
US11209656B1 (en) 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170232345A1 (en) * 2007-06-22 2017-08-17 Broadcom Corporation Game console and gaming object with motion prediction modeling and methods for use therewith
US20150009099A1 (en) * 2011-05-09 2015-01-08 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
US20140016821A1 (en) * 2012-07-12 2014-01-16 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20170127295A1 (en) * 2015-06-15 2017-05-04 Searete Llc Methods and systems for communication with beamforming antennas
US20170100664A1 (en) * 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US20180067779A1 (en) * 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
US10218679B1 (en) * 2017-09-27 2019-02-26 Citrix Systems, Inc. Secure single sign on and conditional access for client applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11675324B2 (en) * 2019-09-19 2023-06-13 Bao Tran Air transportation systems and methods
CN114415901A (zh) * 2022-03-30 2022-04-29 深圳市海清视讯科技有限公司 人机交互方法、装置、设备及存储介质
CN114415901B (zh) * 2022-03-30 2022-06-28 深圳市海清视讯科技有限公司 人机交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2022530900A (ja) 2022-07-04
US11445232B2 (en) 2022-09-13
US20220337899A1 (en) 2022-10-20
EP3963565A4 (en) 2022-10-12
EP3963565A1 (en) 2022-03-09
WO2020223636A1 (en) 2020-11-05
US20200351537A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US11445232B2 (en) Content provisioning system and method
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US11386629B2 (en) Cross reality system
US11830149B2 (en) Cross reality system with prioritization of geolocation information for localization
US11568605B2 (en) Cross reality system with localization service
US11257294B2 (en) Cross reality system supporting multiple device types
US11900547B2 (en) Cross reality system for large scale environments
US11967020B2 (en) Cross reality system with map processing using multi-resolution frame descriptors
US20230209373A1 (en) Cross reality system with wireless fingerprints
US11532124B2 (en) Cross reality system with WIFI/GPS based map merge
CN115427758A (zh) 具有精确共享地图的交叉现实系统
CN115380264A (zh) 用于大规模环境的交叉现实系统
US11967021B2 (en) Cross reality system for large scale environment reconstruction
CN113544748A (zh) 交叉现实系统
US20220406024A1 (en) Cross reality system with buffering for localization accuracy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination