CN110199321B - 用于混合现实系统的定位确定 - Google Patents

用于混合现实系统的定位确定 Download PDF

Info

Publication number
CN110199321B
CN110199321B CN201880007856.8A CN201880007856A CN110199321B CN 110199321 B CN110199321 B CN 110199321B CN 201880007856 A CN201880007856 A CN 201880007856A CN 110199321 B CN110199321 B CN 110199321B
Authority
CN
China
Prior art keywords
map region
augmented reality
keyframes
key frame
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880007856.8A
Other languages
English (en)
Other versions
CN110199321A (zh
Inventor
B·Z·莱因哈特
S·P·霍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN110199321A publication Critical patent/CN110199321A/zh
Application granted granted Critical
Publication of CN110199321B publication Critical patent/CN110199321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Telephonic Communication Services (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

为了使用增强现实系统实现共享用户体验，必须提供共享参考点以使虚拟对象具有一致的放置(位置和取向)。此外，用户的位置和取向(姿势)必须相对于相同的共享参考点是可确定的。然而，在没有高度灵敏和昂贵的全球定位系统(GPS)设备的情况下，姿势信息可能难以确定为合理的精度水平。因此，提供了一种用于确定增强现实系统的姿势信息的替代方法，其可以用于执行基于位置的内容获取和共享。此外，提供了一种确定增强现实系统的姿势信息的替代方法，该增强现实系统使用来自已经现有的GPS设备的信息。

Description

用于混合现实系统的定位确定
相关申请的交叉引用
本申请要求2017年1月23日提交的题为“LOCALIZATION DETERMINATION FORMIXED REALITY SYSTEMS(用于混合现实系统的定位确定)”的美国临时专利申请No.62/449,512的优先权，其公开内容通过引用明确地整体并入本申请。本申请涉及2015年4月18日提交的美国专利申请序列No.14/690,401，其要求2014年4月18日提交的题为“SYSTEMSAND METHOD FOR AUGMENTED AND VIRTUAL REALITY(用于增强和虚拟现实的系统和方法)”的美国临时专利申请No.61/981,701和2014年6月14日提交的题为“METHODS AND SYSTEMSFOR CREATING VIRTUAL AND AUGMENTED REALITY(用于创建虚拟和增强现实的方法和系统)”的美国临时专利申请序列No.62/012,273的优先权。14/690,401申请还涉及2014年7月14日提交的题为“PLANAR WAVEGUIDE APPARATUS WITH DIFFRACTION ELEMENT(S)ANDSYSTEM EMPLOYING SAME(具有衍射元件的平面波导装置和使用该装置的系统)”的美国专利申请序列No.14/331,218。上述专利申请的内容在此通过引用明确地整体并入本申请。
技术领域
本公开一般涉及用于针对一个或多个用户的交互式虚拟或增强现实环境的信息持久性和基于位置的内容共享的定位确定的系统和方法。
背景技术
增强现实(AR)环境由计算机部分地使用描述环境的数据生成。该数据可以描述用户可以感知和交互的各种对象(虚拟的和物理的)。这些对象的示例包括用于用户观看所渲染和显示的对象、用于用户听见所播放的音频，以及用于用户感觉的触知(或触觉)反馈。用户可以通过各种视觉、听觉和触觉方法感知这些AR环境并与之交互。
虚拟现实(VR)或AR系统可用于许多应用，仅举几个示例，涵盖科学可视化、医学训练、军事训练、工程设计和原型制作、远程操纵和远程呈现以及个人娱乐等领域。与VR相比，AR包括与物理世界的真实对象相关联的一个或多个虚拟对象，例如，虚拟对象与物理世界的真实对象相关联定位。这增强了用户利用AR设备的体验和乐趣，并为各种应用打开了大门，允许用户可以同时体验真实对象和虚拟对象。
然而，在提供AR系统方面存在重大挑战。一个初步的挑战是如何确定用户和设备的位置达到足够的精度水平，而不需要专门针对解决该问题的附加设备或硬件，诸如定位信标和/或GPS设备，其增加了设备的成本并增加了整体尺寸和功率要求。
因此，需要用于定位确定的改进的系统和方法，以为一个或多个用户提供交互式AR环境的基于位置的内容共享。。
发明内容
本公开的实施例涉及用于针对一个或多个用户的交互式虚拟或增强现实环境的基于位置的内容共享的定位确定的改进的设备、系统和方法。
在此描述的实施例提供增强现实系统，通常具有用户佩戴的组件，诸如头戴式显示器。实施例提供用于确定用户的位置以实现基于位置的内容共享的过程和系统，诸如与同一区域中的其他用户也能够与之交互的一个或多个虚拟对象交互。
在一些实施例中，基于一个或多个条件启动位置确定序列。例如，在启动时，在确定设备不知道其所在的区域时，在确定设备不知道其位置和取向时，在任何应用的开始时，在用户启动时，或其任何组合时，可以启动位置确定序列。
在一些实施例中，执行区域定位过程，其包括在用户位置处收集元数据，并将收集的元数据与先前收集的元数据进行比较。收集的元数据可以对应于任何通信网络，例如WiFi、蓝牙、ZigBee等。此外，所收集的元数据可以对应于诸如广播电视和无线电的单向通信网络。可以将收集的元数据本地、远程或其某种组合与先前收集的元数据进行比较。另外，可以使用分数、权重或置信度阈值来处理所收集的元数据，其中可以进一步处理/评估本地和远程确定之间的冲突以解决冲突的结果。
在一些实施例中，区域定位过程包括从包括全球定位系统(GPS)的设备收集元数据。元数据可以包括关于设备的信息，如何收集元数据以及来自设备自身的GPS数据。可以使用启发法来处理GPS数据，以便基于GPS数据和与传输的媒介/方法有关的信号信息(例如，WiFi网络的信号强度)来确定增强现实显示设备可以位于的位置范围。此外，在一些实施例中，启发式处理可以扩展到其它网络，诸如WiFi网络，其中WiFi热点的位置在给定范围内是已知的，并且使用诸如信号强度的其它数据来启发式地确定位置信息。然而，在一些实施例中，元数据不包括来自任何全球定位系统的信息。
在一些实施例中，执行粗略定位过程。粗略定位过程经由关键帧分析来操作，以确定与在用户设备处捕获的关键帧最优匹配的关键帧。例如，每个地图区域可以与在已知位置和取向(姿势)处拍摄的一些数量的先前捕获的关键帧相关联。因此，可以将在用户设备处拍摄的关键帧与先前捕获的关键帧进行比较，以确定每个先前捕获的关键帧与在用户设备处拍摄的关键帧的相似程度。最后，可以选择最相似的关键帧(例如，具有最优相似性分数的关键帧)以在精细定位过程期间进行进一步处理。在一些实施例中，最相似的关键帧也是最近的关键帧。然而，在一些实施例中，最近的关键帧可能不是最相似的关键帧，因为最近的关键帧捕获与用户设备处捕获的关键帧的视野不充分重叠的视图。
在一些实施例中，执行精细定位过程。在一些实施例中，精细定位过程使用在先前步骤中识别的最相似的关键帧来确定用户设备的姿势。首先，通过任何已知的计算机视觉技术相对于最相似的关键帧确定用户设备的相对姿势。其次，确定增强现实设备相对于区域原点的位置。这可以通过链接两个变换来实现：一个从原点到关键帧，并且一个从关键帧到增强现实设备。因此，可以相对于地图区域原点确定增强现实设备的姿势。此外，虽然这里将精细定位过程讨论为两步过程，但在一些实施例中，该过程可以组合成单个步骤，或者分成多个步骤。
在一些实施例中，上述过程的执行可用于触发基于位置的内容活动。例如，可以在如下过程时触发内容获取：在区域定位过程时，例如当区域定位过程确定用户位于对应于购物商场的区域时，转移与购物商场相关联的应用；在粗略定位过程时，例如当在距电影院票务窗口的给定距离内捕获所识别的最优匹配关键帧时，转移与电影院相关联的应用；或在精细定位过程时，例如针对一个或多个附近店面，转移虚拟菜单应用和订购系统。此外，可以在位置确定序列期间触发内容共享。该过程类似于内容获取，但适用于从该区域的用户发送的内容。例如，可以在所识别的地图区域的级别触发内容共享，例如，在公共表演中结合虚拟对象的街头表演者，可以基于如下来触发内容共享：基于与最优匹配关键帧的接近度，例如，电影院将用于虚拟问答游戏的虚拟对象发送给等待进入电影院以用于相关电影的顾客；或者基于所识别的位置，例如电影院将特殊内容流式传输给被识别为在电影院本身内的顾客，其中内容甚至可以对应于所持有的特定电影票。
在一些实施例中，基于位置的内容活动包括通过本地通信网络在设备之间的单向或双向内容交换。例如，单向内容交换可能包括从一个设备流式传输到一个或多个设备内容(诸如呈现材料)，而双向内容交换可能包括两个或更多个人交换内容以促进联合创建呈现材料。
在详细说明、附图和权利要求中描述了本公开的附加和其它目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应该注意的是，附图未按比例绘制，并且在所有附图中相似结构或功能的元件由相同的附图标记表示。为了更好地理解如何获得本公开的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的其特定实施例来呈现上面简要描述的本公开的更详细描述。应理解，这些附图仅描绘了本公开的典型实施例，并且因此不应认为是对其范围的限制，将通过使用附图以附加的特征和细节来描述和解释本公开，在附图中：
图1示出了针对增强现实显示设备执行位置确定的示例环境。
图2A-2B示出了根据一些实施例的示例增强现实内容服务器和增强现实系统。
图3示出了根据一些实施例的用于执行定位过程的示例过程流程。
图4A-4C示出了根据一些实施例的用于图3中所示的“执行区域定位”步骤的示例过程流程。
图5示出了根据一些实施例的用于图3中所示的“执行粗略定位”步骤的示例过程流程。
图6示出了根据一些实施例的用于图3中所示的“执行精细定位”步骤的示例过程流程。
图7A-7J提供了根据一些实施例的用户在未确定位置处的定位过程的说明性示例。
图8A-8D提供了根据一些实施例的用户在未确定位置处的区域定位过程的说明性示例。
图9示出了可以实现本公开的示例计算系统的架构。
具体实施方式
本公开的实施例涉及用于针对一个或多个用户的交互式虚拟现实(VR)或增强现实(AR)环境的基于位置的内容共享的定位确定的改进的设备、系统和方法。
在此所示的实施例提供用于确定用户的位置以提供基于位置的内容共享的过程和系统，诸如与相同区域中的其他用户也能够与之交互的一个或多个虚拟对象的交互。
图1示出了针对AR显示设备执行位置确定的示例环境。在此公开的示例环境包括用于确定用户位置以便共享内容的系统，诸如虚拟对象和其它虚拟显示的内容，无论是共享、流式传输还是在本地生成。
增强现实显示设备101向用户呈现增强现实视图102。通常，AR包括真实世界的某些部分的视图，其中一个或多个虚拟对象覆盖在该视图上，例如，通过将虚拟对象投影到将一个或多个显示的虚拟对象反射到用户的眼睛中的一对AR眼镜上，使得虚拟对象被放置在用户和真实世界之间。此外，可以使用各种设备和技术来使虚拟对象相对于真实世界出现在特定位置内。例如，所描绘的增强现实显示器101可用于在增强现实显示设备视图102中在冲浪板上显示小精灵骑乘波。可通过将各种传感器放置在增强现实显示设备101上来促进这种显示，诸如用于立体视觉在眼镜的左侧和右侧上的相机、用于检测运动和取向的加速度计、磁力计和陀螺仪。在2014年11月27日提交的美国专利申请No.14/555,585中描述了关于示例性增强现实显示设备的进一步细节，该申请通过引用整体并入在此。
增强现实显示设备视图102还包括显示的详细初始化过程103，其包括收集元数据，识别地图区域，识别最近的关键帧，以及识别取向。该过程将在下面更详细地讨论。然而，该过程不一定需要向用户显示，或者在替代方案中，可以向用户显示其一些部分/概要信息。
增强现实系统110提供用于定位过程的模块和数据库元件。这些模块和数据库元件可以在诸如图9中公开的和在此对应段落的计算系统上实现。模块和数据库元件本身可以包括软件、硬件或其某种组合。这种系统可以在专用计算模块中提供，该专用计算模块连接到增强现实显示设备101(有线或无线)，作为增强现实显示设备101本身的一部分，作为连接到增强现实显示设备101并且经由有线或无线或其任何组合连接的另一系统或计算设备的一部分。
增强现实系统110使用初始化模块111启动定位过程。例如，初始化模块111可用于确定增强现实显示设备101是否知道增强现实显示设备101处于什么区域区/位置，增强现实显示设备101是否知道哪个关键帧是最近的关键帧，以及增强现实显示设备101是否知道它相对于区域区原点的取向。结果，初始化模块111可以在过程的正确阶段处触发定位，例如当区域未知时触发区域定位或如果区域已知但是取向和最近的关键帧未知则触发粗略定位。然而，在大多数情况下，增强现实显示设备101将利用区域定位模块(例如，区域定位接口模块113)开始定位过程。
定位接口模块112包括区域定位接口模块113、粗略定位接口模块114以及精细定位接口模块115。每个模块处理定位过程的不同部分以便确定相对于特定区域的原点的当前位置和取向。
区域定位接口模块113使用由增强现实系统110支持的任何网络来收集相关区域元数据，诸如范围内的无线网络设备。无线网络可以包括诸如蓝牙的短范围网络，以及诸如WiFi的较长范围网络。此外，可以使用其它无线网络标准，诸如WiMAX、ZigBee或蜂窝网络。此外，单向网络还可以提供相关的元数据，诸如数字或模拟电视信号、无线信号或与区域相关联的任何其它信号。在收集元数据期间或之后，它可以本地存储在适当的存储位置，例如临时存储器或本地高速缓存/数据库130中。可以在地图区域数据集131中组织元数据并将其组织到区域元数据部分132中。另外，地图区域数据131可以包括临时或工作地图区域。例如，地图区域数据131可以对应于尚未识别/未限定的地图区域。最后，可以将元数据发送到增强现实内容服务器150，以确定与所识别的元数据最匹配的地图区域。在一些实施例中，对应于所识别的地图区域的地图区域数据可以被发送到增强现实系统110以执行粗略定位和精细定位。在一些实施例中，粗略定位过程可以在增强现实内容服务器150或与其相关联的设备处执行。然而，本示例提供了在增强现实系统110处执行粗略定位和精细定位。当填充时的地图区域数据131至少包括区域区/位置限定(诸如区域边界和拓扑数据)，以及与该区域相关联的一组关键帧。
粗略定位接口模块114可以接收区域区/位置信息并且可以适当地将它存储在诸如本地高速缓存/数据库130内的区域区/位置133中。粗略定位接口模块114还可以接收也可以适当存储的关键帧信息。例如，粗略定位接口模块114可以接收关键帧134并将关键帧134存储在本地高速缓存/数据库130内。粗略定位接口模块114可以确定关键帧134的特征134a并将特征134a存储在本地高速缓存/数据库130内。特征的示例包括边缘、拐角、斑点、脊等。粗略定位接口模块114然后可以捕获关键帧(例如，关键帧134的关键帧)并且将捕获的关键帧与从增强现实内容服务器150接收的一组关键帧(例如，关键帧164)和/或其特征(例如，特征164a)进行比较，以识别最近和/或最优匹配关键帧。在一些实施例中，粗略定位接口模块114可以将关键帧134中的特征134a与来自增强现实内容服务器150的服务器数据库160的关键帧164的特征164a进行比较。然而，最优匹配关键帧可能并不总是最近的关键帧。例如，如果最近的关键帧位于使得其显示在增强现实显示设备101的视野之外的视图，则使用该增强现实显示设备101捕获的关键帧将不会发现所捕获的关键帧类似于最近的关键帧，因为捕获的最近的关键帧从视图中隐藏。在一些实施例中，关键帧可以用360度或类似的相机或相机的某种组合来捕获，以捕获大于用户可见的视野。下面将讨论识别最近或最优匹配关键帧的过程的进一步细节。关于关键帧处理的进一步细节在2015年5月7日提交的标题为“CREATING A TOPOLOGICAL MAP FOR LOCALIZATION IN AUGMENTED OR VIRTUALREALITY SYSTEMS”的美国专利申请No.14/705,983中描述，该申请通过引用整体结合在此。
一旦确定了最近或最优匹配的关键帧(在此的匹配关键帧)，则精细定位接口模块115可以将匹配关键帧与使用该增强现实显示设备101捕获的关键帧进行比较。基于该比较，增强现实系统110可以确定增强现实显示设备101的姿势(位置和取向)。通常以两个步骤执行确定姿势。首先，相对于关键帧确定相对姿势。其次，确定增强现实显示设备101相对于地图区域原点的位置。这可以通过链接两个变换来实现：一个从地图区域原点到关键帧，以及一个从关键帧到增强现实显示设备101。因此，为了确定增强现实显示设备101的地图区域原点，可以将相对于关键帧的相对位置转换为相对于地图区域原点的相对位置，这使得能够在给定区域中共享用户体验，因为多个增强现实显示设备用户可以相对于共享地图区域原点和物理空间在相同位置中与相同虚拟对象交互。
本地高速缓存/数据库130可以仅包括非易失性存储装置，例如固态驱动器、硬盘驱动器或任何其它持久性可重写的一种介质或多种介质。然而，本地高速缓存/数据库130还可以仅包括易失性存储装置，例如随机存取存储器(RAM)，或者在替代方案中，可以包括易失性和非易失性存储装置的某种组合。此外，本地高速缓存/数据库130可以被划分为不同的区，诸如用于保持工作区或当前区的地图区域数据131的易失性存储器，以及用于存储当前或工作地图区域的地图区域数据的非易失性部分，其不需要频繁访问或者不需要存储先前访问或标记的地图区域(诸如家庭办公室、商务会议室或其它位置)的地图区域数据。
增强现实内容服务器150至少具有定位模块151和服务器数据库160。定位模块151主要镜像定位接口模块112。然而，将关于图2A更详细地讨论定位模块151。
服务器数据库160基本上与本地高速缓存/数据库130相同，其中地图区域数据161镜像地图区域数据131的数据，区域元数据162对应于区域元数据132，区域区/位置163对应于区域区/位置133，关键帧164对应于关键帧134，以及特征164a对应于特征134a。然而，除了通过增强现实内容服务器150之外，服务器数据库160可以聚合来自增强现实系统110不易访问的多个源的数据。例如，服务器数据库160可以包括从其他用户、从其它系统以及甚至从不是增强现实系统(例如映射系统)的源收集的元数据，以及其它数据，诸如表示不同无线网络设备(诸如蜂窝电话塔、WiFi热点和广播媒体天线)的物理位置的数据。
图2A-2B示出了根据一些实施例的示例增强现实内容服务器和增强现实系统。图2A提供了具有服务器端基础设施的更详细视图的实施例，而图2B提供了增强现实设备的更详细视图的实施例。
图2A示出了示例增强现实内容服务器150和服务器数据库160。除了图1中所示的元素之外，增强现实内容服务器150和服务器数据库160已被修改以示出用于定位和内容服务的数据和模块。
具有相同附图标记的项目与关于图1描述的项目相同，例外之处在于在这里不同描述。具体地，上面关于图1描述了增强现实内容服务器150、定位模块151、服务器数据库160、地图区域数据161、区域元数据162、区域区/位置163、关键帧164以及特征164a。然而，可以在定位模块151中找到一个差异，该定位模块151现在已经填充有区域定位模块152、粗略定位模块153和精细定位模块154。
区域定位模块152可用于选择匹配或最优匹配地图区域或区。区域定位模块152可以使用从用户设备(例如，增强现实显示设备101)收集的元数据，无论是单独还是与坐标信息组合，以确定区域位置。将至少关于图3-图7J讨论这些技术。然而，简要地，该技术包括收集在增强现实设备(例如，增强现实显示设备101)处可访问或可识别的相关元数据，诸如通过收集关于可在增强现实设备处感测的无线网络的信息，并比较由增强现实设备接收/收集的元数据与多个地图区域数据集(例如，地图区域数据161)的区域元数据162。例如，区域定位模块152可以将一组接收的元数据与多组地图区域数据(诸如地图区域数据161)进行比较，每组地图区域数据包括或对应于一组区域元数据，以识别与接收/收集的区域元数据匹配或最优匹配的一个或多个地图区域。
一旦识别出特定地图区域，粗略定位模块153可用于识别最优匹配关键帧。一般而言，地图区域包括区域区/位置。例如，用户的家可以包括一个区域，其中该区域的边界与其属性边界(例如，地块)相同，并且区域区/位置还可以与区域线框165相关联，该区域线框165表示家的各种墙壁、门窗以及其它相关对象或物理特征。在该位置内，一些用户设备可能先前已经向增强现实内容服务器150提供了关键帧，该关键帧先前被存储为关键帧164。关键帧164本身对应于在已知位置和取向处捕获的图像，通常是立体图像。可以确定和存储与关键帧164相关联的特征164a。特征的示例包括边缘、拐角、斑点、脊等。通过识别与与在增强现实显示设备101处拍摄的图像最优匹配的识别的区域区相关联的关键帧164的关键帧，关键帧164可以用作执行粗略定位的过程的一部分。粗略定位可以包括捕获关键帧134，确定关键帧134中的特征134a，以及将关键帧134中的特征134a与关键帧164中的特征164a进行比较。在一些实施例中，当关键帧164已经存在于设备上时(诸如与存储在本地高速缓存/数据库130中的地图区域数据131相关联的关键帧)，或者如果关键帧164被发送到增强现实系统110，则可以在增强现实系统110上执行确定最优匹配关键帧的必要处理。然而，在一些实施例中，增强现实内容服务器可以执行关键帧164的处理。
精细定位模块154可以用作确定增强现实系统110相对于地图区域原点的位置和取向的过程的一部分。通常，这可以分两步完成。首先，可以相对于匹配关键帧确定增强现实系统110的相对位置和取向。其次，可以通过将相对于匹配关键帧的相对位置和取向转换为相对于地图区域原点的位置和取向来确定增强现实系统110的位置和取向。此外，在确定用户设备的姿势时，等待时间可能是一个问题，因为如果等待时间太长，则用户可能不再处于相同或充分相似的姿势。然而，增强现实系统110的处理能力可以使得与增强现实内容服务器150处的处理时间相结合的等待时间小于增强现实系统110处的处理时间。因此，在一些实施例中，精细定位可以在增强现实内容服务器150处被执行。另外，可以关于指示增强现实内容服务器150处的等待时间和处理时间小于增强现实系统110处的处理时间的确定或其它数据来预测执行。
在定位模块151的操作期间和之后的各种时间，增强现实内容服务器150可以利用所收集的信息来启动附加内容服务。可以采取这种动作以便设置内容流式传输和内容共享。
例如，区域定位模块152可以用于触发来自应用和数据170的应用和相关联数据的相关传输。例如，区域定位模块152可以确定所识别的区域区/位置包括本地的健身中心。结果，健身中心的应用或与健身活动相关联的应用可以被发送到用户设备(例如，增强现实显示设备101)，使得用户可以在完成转移时或者在立即完成用户的位置和取向的确定或其某种组合时开始使用该应用。在一个用例中，用户可以能够使用应用在一个或多个健身器上设置预约并开始与虚拟教练的训练课程。为了促进这种活动，内容流式传输模块156可以用于管理应用的选择和来自服务器数据库160的数据流式传输，例如用于用户设备的系统/配置数据172和与特定用户相关联的用户数据171(例如，作为GOLD'S GYM的当前成员的状态和应用偏好)可用于在确定用户的位置和取向之前触发数据的自动传输。
在另一个示例中，区域定位模块152可以用于触发应用和相关联数据的相关传输以用于内容共享。例如，可以发送应用以促进虚拟群组骑行课程。使用该应用，用户可以参与群组课程，其中每个用户被显示与该课程中的其他用户相关联的虚拟对象，使得真实对象(例如，其他参与者)被虚拟对象增强，并且虚拟对象由来自直接或从本地网络(例如设施WiFi网络)内发送的各个用户的数据提供或填充，以便避免引起延迟。例如，个体参与者可以选择或被分配虚拟徽标和数字，用于虚拟地应用于他们的物理服装的团队，作为仅可由那些使用增强现实设备(例如，增强现实显示设备101)观看的虚拟对象。为了促进这种活动，内容共享模块155可以确定要从应用和数据170提供的适当的应用和数据。此外，用于地图区域数据161的用户列表和数据168可以识别该区域内存在的各个用户，同时该区域的虚拟/物理对象数据166可以识别相对于真实世界对象的对象及其位置。此外，在一些实施例中，地图区域可以与应用列表和相关联数据167相关联。
区域线框165可以提供物理对象(例如，墙壁、窗户、栏杆、楼梯等)的虚拟表示。线框数据对于确定要显示的虚拟对象特别有用。例如，在给出呈现的会议室中的用户通常期望呈现仅由同一房间中的用户可见。使用线框信息，内容共享模块155可以确定用户是否在同一会议室中并且限制或阻止对不在同一房间中的用户对至少呈现的虚拟部分的访问。
图2B示出了示例性增强现实系统110和本地高速缓存/数据库130。除了图1中所示的元素之外，增强现实系统110和本地高速缓存/数据库130已被修改为包括附加数据和模块并用于操作增强现实系统110。
具有相同附图标记的项目与关于图1和2A描述的项目相同，例外之处在于它们在这里以不同方式描述。具体地，初始化模块111、定位接口模块112、区域定位接口模块113、粗略定位模块114和精细定位接口模块115如前所述。
内容共享接口模块121为增强现实系统110提供用于内容共享的增强现实显示设备101侧功能。例如，内容共享接口模块121可用于与其他用户共享虚拟对象，该虚拟对象由用户或用户的增强现实显示设备101生成。例如，用户的增强现实显示设备101可以在其中存储诸如用户数据141中的呈现，用户的增强现实显示设备101可以直接或通过本地网络向其他用户提供该呈现。在操作中，这可以通过如下来执行：首先使用用户列表和数据138和/或用户列表和数据168确定哪些用户在指定区域中，并且其次通过在共享内容的用户和接收内容的用户之间建立连接，使得共享内容可以直接或经由本地网络发送给用户，但不通过外部服务器发送共享内容。此外，在一些实施例中，可以使用增强现实内容服务器150来促进或发送和处理一些或所有内容共享。然而，本地操纵或时间敏感的内容通常将通过直接或通过本地网络从内容提供方到内容接收方的传输来本地共享，以避免由增强现实内容服务器150引起的任何延迟。
内容流式传输接口模块122类似于内容共享接口模块121，例外之处在于提供内容流式传输接口模块122以解决不源自增强现实系统110的内容。源自其它地方的内容呈现出与源自增强现实系统110的内容不同的问题。具体地，诸如在共享观看期间，如果内容必须被发送到增强现实内容服务器150并且然后重新发送到内容所有者本地的设备，则增强现实显示设备101提供的内容通常会遭受不自然的延迟。然而，如果内容在被增强现实系统110重新发送到其他用户设备之前，首先发送到特定增强现实系统110，则源自其它地方的内容将遭受不自然的延迟。因此，对于使用内容流式传输接口模块122流式传输到两个或更多个设备的内容，增强现实内容服务器150可用于将内容发送到相应设备，使得所有用户同时接收这种内容或者增强现实内容服务器150或内容流式传输接口模块122可用于例如通过使用时间戳和可调节延迟来同步在相应设备处的回放。
本地高速缓存/数据库130主要镜像服务器数据库160。然而，本地高速缓存/数据库130为增强现实系统110提供数据管理，并且因此可以包括服务器数据库160中不存在的一些数据。例如，本地高速缓存/数据库130可以包括为持续跟踪而维护的临时数据和镜像服务器数据库160的一部分的其它数据，例如，使用中或经常使用的地图区域数据的本地副本，与喜爱/加书签的位置相关联的数据，或先前访问的地图区域的地图区域数据131。然而，本地高速缓存/数据库130中的大多数数据对应于服务器数据库160上的数据或其子集。例如，区域元数据132对应于区域元数据162，区域区/位置133对应于区域区/位置163，关键帧134对应于关键帧164，特征134a对应于特征164a，区域线框135对应于区域线框165，虚拟/物理对象数据136对应于虚拟/物理对象数据166，应用列表和数据137对应于应用列表和数据167，用户列表和数据138对应于用户列表和数据168，应用和数据140对应于应用和数据170，用户数据141对应于用户数据171，以及系统/配置数据142对应于系统/配置数据172。
最后，增强现实系统110可包括用于与增强现实显示设备101接口的显示设备控制器123，用于监视和管理传感器及其收集的数据的设备传感器模块124，以及用于为用户提供以接口和控制增强现实显示设备101的用户界面模块125。
图3示出了根据一些实施例的用于执行定位过程的示例过程流程。通常，该过程通过执行地图区域的识别，最近参考点的识别以及使用该参考点确定位置和取向来操作。此外，在该过程的每个阶段期间，可以采取某些步骤来获取内容并适当地执行内容共享。
该过程开始于302，其中启动位置确定序列。启动可以由任何数量的事物触发。例如，一旦启动，一旦确定增强现实显示设备101不知道其所处于的地图区域，一旦确定增强现实显示设备101不知道其位置或取向，一旦应用开始，一旦用户启动，或其任何组合，则可以触发位置确定序列。
在304处，执行区域定位以确定增强现实显示设备101处于哪个地图区域中。将参考图4A-4C进一步讨论该过程。然而，简要地，通过收集在增强现实显示设备101位置处可识别的相关元数据来执行区域定位，该相关元数据进而与先前存储的元数据(例如，在服务器数据库160处)进行比较，以识别与所收集的数据最优匹配的区域。
在306处，一旦已经识别了地图区域，就可以执行粗略定位。简而言之，通过首先在增强现实显示设备101处捕获关键帧并且识别与地图区域相关联的(一组关键帧中的)关键帧来执行粗略定位，该地图区域与要在执行精细定位中使用的捕获关键帧最优匹配。关于图5进一步描述粗略定位过程。
一旦识别出最优匹配关键帧，就可以在308处执行精细定位。可以使用许多技术来执行精细定位，例如确定用户相对于最优匹配关键帧的相对位置，并且然后将相对于最优匹配关键帧的用户相对位置转换为相对于共享地图区域原点的相对位置，以便提供一致且可共享的虚拟对象定位，例如位于每个用户的相同位置处并在多个增强现实会话中持续的虚拟对象。关于图6进一步描述该过程。
可以在310处执行基于并行位置的内容获取。可以在任何数量的阶段处触发该过程。例如，当区域定位过程确定用户处于对应于商场的地图区域的区域时，区域定位过程可以触发与购物商场相关联的应用的转移，当识别出的最优匹配关键帧位于距电影院票务窗口的给定距离内时，粗略定位过程可以触发与电影院相关联的应用的转移，或者精细定位过程可用于触发一个或多个附近店面的虚拟菜单应用和订购系统的自动转移。
可以在312处执行基于并行位置的内容共享。该过程类似于内容获取的过程，但是针对从该区域中的用户发送的内容。例如，可以在所识别的地图区域的级别触发内容共享，例如，在公共表演中结合虚拟对象的街头表演者，可以基于与最优匹配关键帧的接近度来触发内容共享，例如，电影院将用于虚拟问答游戏的虚拟对象发送给等待进入影院以进行相关电影的顾客，或者基于所识别的位置，例如电影院将特殊内容流式传输给被识别为在电影院本身内的顾客以及与所持有的特定电影票对应的内容。
图4A-4C示出了根据一些实施例的图3中所示的执行区域定位步骤304的示例过程流程。图4A-4C各自示出了用于通过在增强现实系统、增强现实内容服务器或其某种组合处执行处理来确定地图区域的三种可能的过程流程的一种可能流程。此外，虽然分开示出，但是每个流程的方面可以适当地在任何其它过程流程中执行。
图4A提供了通过收集元数据并将该元数据发送到增强现实内容服务器以进行处理而执行的区域定位过程的图示。
该过程开始于402A，其中在增强现实系统的物理位置处收集元数据。元数据可包括任何相关的可识别数据，例如任何可识别的WiFi网络信息、蓝牙设备、无线电台、广播电视、蜂窝塔或经由无线协议发送的任何其它信息。在一些实施例中，可以收集附加元数据，诸如温度、太阳、月亮的位置、快速响应代码(QR代码)、路牌信息，或经由图像处理可检索的任何其它数据。
一旦收集了相关元数据，就可以在404A处将其发送到数据服务或增强现实内容服务器处的区域定位模块。然后可以将该信息存储在相关联的数据库中或临时存储器中以用于处理。
在406A处，所收集的元数据用于确定对应的地图区域位置。这可以使用匹配数据的任何技术来执行以识别具有存储在增强现实内容服务器处的对应元数据(例如，区域元数据162)的地图区域，并且缩小那些地图区域以识别与所接收的元数据最优匹配的地图区域。例如，一组元数据可能包括对应于10个WiFi网络的信息，并且在第一遍中，可以缩小地图区域以仅包括与元数据中识别的10个WiFi网络中的至少一个WiFi网络相关联的地图区域，接着进一步处理以使用其它或附加数据确定最优匹配地图区域。此外，在一些实施例中，可以为包括至少一些匹配元数据的一组潜在地图区域的每个地图区域生成分数，并且可以选择具有最高分数的区域作为最优匹配地图区域。
在一个实施例中，可以使用启发式方法和位置信息在406A处处理元数据。例如，GPS数据可以从蜂窝设备收集并经由对等WiFi(诸如APIPA或BONJOUR)、广播通用数据报协议、蓝牙或任何其它无线设备到设备方法发送到增强现实系统。可以分析GPS数据或与其相关联的数据以确定GPS数据具有什么精度水平(例如，精确到0.1米内或1.0米内)。然后，GPS数据可以与表示蜂窝设备和增强现实系统之间的距离(例如，在蜂窝设备的1至5米范围内)的数据组合。使用该类型的处理，可以在区内(例如，在内部边界和外部边界之间)找到增强现实显示设备的位置。例如，假设蜂窝设备距离增强现实系统最多5米并且GPS数据的精度水平在1米内，则我们知道增强现实显示设备处于蜂窝设备周围的6米区内。该6米区可以足够精确以将增强现实显示设备识别为在特定地图区域内但是将取决于各种因素，例如，地图区域大小和远离地图区域边界的GPS坐标的位置。可以从其它蜂窝设备使用附加的GPS信息，以帮助缩小增强现实设备所处的范围，其中附加的GPS信息可以用于生成增强现实显示设备可以位于的附加区，以及其中增强现实系统位于所有区重叠的区的区域内。此外，其它设备可以与GPS坐标相关联。例如，WiFi热点可以映射到特定区域和坐标，例如，可以假设STARBUCKS处的热点位于在使用地图数据确定的某组坐标处容纳特定的STARBUCKS的结构内。另外，用于设备的GPS信息可能首先包括快速捕获但不是特别准确的位置数据，例如，精确到1米内的粗略位置信息。然而，GPS数据可以由具有更准确位置信息的蜂窝设备更新，例如，精确到0.1米内的精细位置信息。因此，用于蜂窝设备的GPS位置信息最初可能不足以准确地识别对应的地图区域，但随着时间的推移可能变得如此。此外，GPS信息可以由任何启用GPS设备提供，该设备包括用于在该设备和增强现实系统之间进行数据的对等传输的系统/组件。在一些实施例中，启发式方法可以与上面描述的元数据匹配技术组合，诸如用于预处理数据以便缩小潜在的地图区域或者在具有其它类似数据的地图区域之间进行选择。
在一些实施例中，诸如基于通信协议，增强现实显示设备之间的距离可以是预先确定的。例如，不同的最大距离可以与蓝牙通信协议的不同版本相关联，并且那些协议也可以与默认的最小距离(例如，零米)相关联。在一些实施例中，可以基于信号强度信息确定最小和最大距离。例如，WiFi通信协议通常与用于传输的不同信号强度相关联，并且与用于被环境中的材料的吸收的不同特性相关联。因此，使用在增强现实系统处收集的信息，可以执行计算以估计距发送设备的距离。可以使用默认或简单模型分析这种信息，无论环境特性如何，该模型始终以相同方式应用。然而，在一些实施例中，计算可以考虑例如墙壁的发射率、环境空气温度、湿度等的事项。以该方式，增强现实系统可以至少基于信号强度来估计增强现实系统距发送设备的最小距离和最大距离。
一旦识别出最优匹配地图区域，增强现实内容服务器就可以在408A处向用户增强现实系统发送新的/更新的地图区域数据，包括与以下对应的任何数据：区域元数据132、区域区/位置133、关键帧134、区域线框135、虚拟/物理对象数据136以及用户列表和数据138。此外，可以实现各种阈值或条件以用于更新地图区域元数据，使得用于任何给定地图区域的元数据不是仅仅由于单件元数据的单个出现而更新，而是由于可能在最短时间量内和/或来自最少数量的用户或设备的一些次数的出现。
最后，406A和/或408A处的过程可以触发针对所识别的地图区域的基于并行位置的内容过程410A的启动，如上面关于内容获取310和内容共享312所讨论的。
图4B提供了通过收集元数据并将该元数据发送到增强现实内容服务器以进行处理同时还在增强现实系统处处理相同元数据而执行的区域定位过程的图示。
该过程开始于402B，其中如上面关于402A所讨论的，在增强现实系统的物理位置处收集元数据。然而，与图4A中所示的过程相反，本图示包括在403B处确定所收集的元数据是否包括与存储在增强现实系统110处的地图区域(例如，在区域元数据132处存储在本地高速缓存/数据库130中的地图区域)对应的元数据。如果元数据对应于本地存储的元数据，则该过程继续在405B处对地图区域的本地确定以及在404B和406B处对地图区域的远程确定。否则，该过程仅通过例如在增强现实内容服务器150处对地图区域的远程确定来进行。
在404B处将元数据信息发送到数据服务与上面关于404A所讨论的内容基本上相同。同样地，在406B处确定对应的地图区域位置基本上等同于在406A中讨论的。最后，在405B处使用本地数据库/高速缓存确定对应的地图区域位置也与406A基本上相同，例外之处在于405B使用本地数据集而不是存储在增强现实内容服务器150处的数据集进行操作。
在407B处，该过程确定是否存在地图区域冲突，例如，在增强现实显示设备处识别的地图区域与在远程服务器处识别的地图区域不同。这可以在增强现实显示设备、增强现实系统110处或在远程设备、增强现实内容服务器150处执行。这可以使用任何数量的技术来执行，例如，比较地图区域ID，比较地图区域区/边界，比较地图区域原点，比较一些或所有地图区域数据，或其任何组合。此外，在403B处确定在增强现实显示设备处没有对应存储的地图区域的情况下，该过程可以跳过407B处的确定并直接进行到408B，其中如关于408A所描述的，增强现实显示设备接收新的或更新的地图区域数据。
在407B处的确定包括地图区域冲突的情况下，过程进行到409B，其中解决冲突。这基本上是上面关于406A描述的过程的有限形式，其中在增强现实显示设备处识别的地图区域和在远程系统处识别的地图区域二者都被评估以确定哪个是更优的匹配。这可以在本地或远程设备处执行。然而，本图示假设这将在远程设备处发生，因为远程设备包括全组地图数据，而增强现实显示设备包括有限组地图数据，其可能不如远程设备上的那样是最新的。无论如何，该过程可以在增强现实显示设备处执行，只要增强现实设备包括或提供适当的数据以能够执行可靠的确定。
最后，该过程可以在410B处启动基于并行位置的内容过程，类似于上面关于410A所讨论的。
图4C提供了当元数据对应于存储的地图区域时通过首先在增强现实系统处处理收集的元数据并且当所识别的地图区域低于给定阈值的置信水平时随后在增强现实内容服务器处处理元数据而执行的区域定位过程的图示。
如关于图4B中的图示，本图包括与图4A和4B的步骤对应的多个步骤。具体地，402C对应于402A，404C对应于404A，406C对应于406A，408C对应于408A，以及410C对应于410A。此外，403C类似于403B，例外之处在于当增强现实显示设备包括与在增强现实显示设备处收集的至少一些元数据匹配的元数据相关联的一个或多个地图区域时，仅本地确定哪个地图区域是最优匹配。然后计算分数以确定该匹配是否被认为具有足够的置信水平。当没有匹配的存储元数据或者当置信水平低于指定阈值时，该过程在404C处进行。
当在403C处确定在增强现实显示设备处存在匹配元数据时，如405B中所讨论的，该过程通过使用本地数据库/高速缓存130确定对应的地图区域在405C处继续。随后，在407C处计算地图区域的置信水平。可以使用任何适当的技术来计算置信水平，例如，确定与与对应的地图区域匹配的地图区域相关联的元数据量，计算不具有对应匹配的元数据量，实现不同类型数据的权重或其任何组合。
最后，如果在409C处确定所计算的置信水平高于给定阈值，则该过程可以进行到410C，否则该过程在增强现实内容服务器处进行到404C、406C和408C以确定最优匹配地图区域。
虽然前面已经分别示出了权重和置信度阈值，但是可以使用权重和置信度阈值以及任何其它技术来确定最优匹配地图区域。此外，所公开的技术可以用于实施最小置信度阈值，诸如用于确定最优匹配地图区域是否具有足够的相似性以用作匹配地图区域。例如，如果没有找到包括任何匹配元数据的地图区域，或者如果只找到一小部分元数据但该元数据与多个地图区域匹配，则可以发现该位置具有不足以将任何特定地图区域识别为匹配地图区域的信息。
图5示出了根据一些实施例的用于图3中所示的“执行粗略定位”步骤的示例过程流程。该过程通常包括在本地设备(例如，增强现实显示设备)处捕获关键帧并将该关键帧与一组先前捕获的关键帧进行比较以确定最近或最优匹配关键帧。如图所示，该过程在增强现实内容服务器上执行。然而，这里没有这种限制，因为本地设备(增强现实系统110)也可以用于处理关键帧。两者之间的唯一区别在于诸如当附加关键帧可用或关键帧数据已过时时，在本地设备处处理关键帧可能需要将一个或多个关键帧转移到本地设备。
该过程开始于502，其中在本地设备处捕获关键帧。例如，可以使用附接到或集成在增强现实显示设备中并使用设备传感器模块124控制的装置来捕获关键帧。该设备可以包括单个相机、用于立体视觉的双相机、360度相机、或其某种组合。此外，因为装置附接到或集成在增强现实显示设备中，所以所捕获的图像具有相对于用户的位置的已知/固定位置。
在504处，识别与先前识别的地图区域相关联的一个或多个关键帧。关键帧可以存储为地图区域数据组的一部分，诸如分别包括关键帧134和164以及分别包括特征134a和164a的地图区域数据131和161中所示。然而，本公开不限于此。关键帧和特征可以以任何方式存储，诸如经由关键帧/特征数据库，其中各个关键帧和相关联特征用一个或多个标识符识别，例如，基于地图区域ID，基于任何数据生成的唯一识别密钥，基于与这些关键帧相关联的位置/定位信息，或其任何组合。可以分别确定关键帧134和164中的特征134a和164a。
在506处，将在本地设备处捕获的关键帧与在504处识别的一个或多个关键帧进行比较，以生成每个关键帧的相似性分数。可以使用任何适当的技术来执行该过程。在一些实施例中，关键帧134中的特征134a与关键帧164的特征164a进行比较。在这些实施例中，关键帧134的相似性分数基于特征134a和特征164a。
最后，在508处，选择具有最优相似性分数的关键帧，其可用于触发用于所识别的关键帧的基于并行位置的内容过程510，如上面关于内容获取310和内容共享312所讨论的。
图6示出了根据一些实施例的用于图3中所示的“执行精细定位”步骤的示例过程流程。
在602处，将捕获的关键帧与最优匹配关键帧进行比较。可以使用任何适当的技术来执行该过程，以便确定相对于最优匹配关键帧的设备姿势。
最后，在604处，可以使用最优匹配关键帧相对于地图区域原点的位置和本地设备相对于该关键帧的相对位置来确定本地设备的姿势。可以使用相对于关键帧的相对姿势和相对于地图区域原点的关键帧姿势来确定增强现实设备相对于地图区域原点的位置。这可以通过链接两个变换来实现：一个是从地图区域原点到关键帧，并且一个是从关键帧到本地设备。因此，可以相对于地图区域原点确定本地设备的姿势。因此，为了确定本地设备(例如，增强现实显示设备101)的地图区域原点，可以将相对于关键帧的相对位置转换为相对于地图区域原点的相对位置。
一旦确定了本地设备相对于地图区域原点的位置，就可以启动取决于已知位置的基于位置的服务。例如，在610处，可以基于本地设备位置和取向来执行基于位置的内容获取，例如，从增强现实内容服务器150中提取预约调度数据和预约应用以用于视野中的一个或多个餐馆。在基于位置的服务的另一示例中，在612处，基于位置的内容共享可以基于该区域中的另一个用户正在共享内容(例如，加入包括作为讨论或呈现的一部分的虚拟对象的会议)的确定来启动。
图7A-7J提供了根据一些实施例的用户在未确定位置处的定位过程的说明性示例。在一些实施例中，增强现实显示设备可以假定当前位置是最后已知位置，以便促进先前在视图内或在增强现实显示设备的可访问区域内检索潜在的相关数据或显示虚拟对象。为了与也使用增强现实系统的其他用户实现共享体验，必须确认或确定位置和特定定位信息。无论如何，本示例假定没有默认位置/定位信息。
图7A示出了由用户在增强现实系统110未确定/未识别的用户位置702处佩戴的增强现实显示设备701(例如，增强现实显示设备101)。由于任何数量的理由，位置可能未确定/未识别，例如增强现实显示设备701刚刚开机/重启，传感器数据已损坏，无线信号可能已丢失等。因此，触发增强现实显示设备701执行定位的需要。
图7B示出了相对于用户位置702的两个不同通信协议的相对范围。作为两者中的较短者的第一范围是蓝牙信号范围720。作为两者中的较长者的第二范围是WiFi信号范围710。
图7C示出了可以由增强现实显示设备701识别或不可识别的各种WiFi网络的添加。如图所示，WiFi信号范围710内的WiFi信号(这里是710c-d、710f-m、710o-r，以及710t)可以由增强现实显示设备701检测，而710a-b、710e、710n和710s与增强现实显示设备701相距太远而无法检测。这样，增强现实显示设备701可以收集与这些WiFi网络对应的元数据，以用于确定正确的地图区域位置。
图7D示出了相对于用户位置702接近定位的各种蓝牙网络的添加。类似于先前讨论的WiFi网络，可以收集关于检测范围720内的网络/设备的元数据。在这里，这包括720h、720l和720m，而720a-g、720i-k和720n-s是不可检测的。
图7E示出了一组地图区域的覆盖。地图区域705(X0，Y0)-705(X3，Y3)被示为这里通过它们在X轴704和Y轴703上的位置识别的一组方形区。可以通过将收集的元数据与先前存储在与相应地图区域(例如，已知与一个或多个识别的WiFi网络和蓝牙设备相关联的地图区域)相关联的位置中的元数据进行匹配来识别这些地图区域。然而，该区可以具有任何形状，并且可以如前所述以任何方式识别，并且仅为了便于说明而以该方式示出。此外，增强现实显示设备701相对于地图区域的位置在过程的该部分期间不会被增强现实系统(例如，增强现实系统110)或增强现实内容服务器(例如，增强现实内容服务器150)所知，然而为了连续性，用户位置和地图区域在实际位置中示出。
图7F示出了作为最优匹配地图区域的地图区域的确定。这可以如上所述执行，其中可以将在增强现实系统处收集的元数据与在已知位置处收集的先前存储的元数据进行比较，以识别最优匹配地图区域。例如，可以选择包括与所收集的元数据最匹配的元数据的地图区域作为设备所在的地图区域。这里，地图区域705(X2，Y1)已被识别为最优匹配地图区域。
图7G示出了在最优匹配地图区域内的已知位置处的一组关键帧。如这里所示，关键帧706a-e可以在地图区域705(X2，Y1)上随机分散。然而，可以使用其它技术来收集关键帧，诸如每当用户处于或接近所需的捕获位置或通过设置过程时触发关键帧的捕获。如前所述处理关键帧本身以确定最优匹配或最近的关键帧。
图7H示出了相对于捕获的关键帧的最优匹配关键帧的选择。具体地，确定关键帧706a与在用户设备处捕获的关键帧最相似。随后，可以相对于关键帧确定增强现实显示设备701的相对位置，并且最终可以相对于图7I中所示的地图区域原点707转换增强现实显示设备701的相对位置。
最后，图7J示出了响应于增强现实显示设备701的位置的确定而相对于地图区域原点707显示的示例虚拟对象708。该虚拟对象708将以相同的位置和取向显示给所有用户并且因此便于分享经验。因此，一个用户可能指向虚拟标志，而另一个用户可能自然地朝那个方向看，并且能够确定用户指向虚拟标志，或可替代地用户可能已经看过标志并且理解这是用户指向的标志。
图8A-8D提供了根据一些实施例的用户在未确定位置处的区域定位过程的说明性示例。该图示提供了一种方法，该方法可以作为图7A-7J中所示的过程的替代或组合来单独执行。具体而言，图8A-8D示出了确定增强现实显示设备所处的地图区域的基于位置的启发式方法。
图8A包括地图区域805(X0，Y0)-805(X3，Y3)，其示出为这里通过它们在X轴804和Y轴803上的位置识别的一组方形区。这些基本上等同于先前针对地图区域705(X0，Y0)-705(X3，Y3)和X轴704和Y轴703的图示。同样，增强现实显示设备801等同于增强现实显示设备701，并且用户位置802等同于用户位置702。
图8B示出了源自已知边界的无线信号的添加。具体地，咖啡馆810代表具有信号源自已知边界的已知位置。至少基于与信号相关联的元数据，识别距离咖啡馆810的边界的最小和最大距离。最小距离被示为具有圆角的矩形元素811，而最大距离被示为具有圆角的矩形元素812。这种信号可以包括WiFi热点、WiMAX接入点或任何其它适当的无线通信协议。
由811和812之间的空间表示的区表示增强现实显示设备801可以位于其中的可能位置。如图所示，这包括六个地图区域-(X1，Y0)，(X2，Y0)，(X3，Y0)，(X1，Y1)，(X2，Y1)和(X3，Y1)-但没有附加信息的情况下，六个中没有一个可以可靠地识别为匹配地图区域。在一些实施例中，可以基于上面讨论的处理的元数据匹配来收集附加信息，其中所收集的元数据用于确定六个地图区域中的哪个地图区域是正确的区域。
图8C示出了由于设备820而生成的新位置数据的添加。设备820可能包括GPS映射设备、蜂窝设备、具有GPS或辅助GPS的蜂窝设备，或具有可以与增强现实系统(例如，增强现实系统110)交换GPS数据的无线通信协议的任何其它设备。与设备820相关联的是最小距离821和最大距离822，两者都被示为增强现实系统可能位于其中的圆形边界。作为与设备820通信的结果而收集的信息本身将表明增强现实显示设备801位于以下四个地图区域中的一个地图区域：(X2，Y1)，(X3，Y1)，(X2，Y2)和(X3，Y2)，如由821和822限定的区域所示。然而，该信息可以与已经收集的其它信息组合，该收集的信息指示增强现实系统应该位于重叠区850中，其中由811和812界定的区域与由821和822界定的区域重叠。基于该信息，可以确定增强现实系统位于地图区域(X2，Y1)或地图区域(X3，Y1)中。在一些实施例中，可以经由上面讨论的元数据匹配过程将该信息与附加元数据组合，以确定两个地图区域中的哪个地图区域是正确的地图区域。
图8D示出了提供可用于识别距测量点的最小和最大距离的信息的另一设备。这里已经识别了设备830，并且已经提供了用于确定距其测量位置的最小距离831和距其测量位置的最大距离832的位置信息。因此，通过将该附加信息添加到确定重叠区850，可以将重叠区850缩小到所有边界包含的区域，该区域指示增强现实系统位于地图区域(X2，Y1)内。
此外，尽管图8A-8D中所示的示例利用了基于位置的启发式数据处理，但是诸如图7A-7J的元数据匹配过程中所示的附加数据可用于帮助确定正确的地图区域。例如，基于位置的启发式信息可能是不完整的，或者在收集一组或多组位置数据(例如，增强现实系统所在的区)之后，所收集的元数据可能不足以确定增强现实系统所处的正确地图区域。此外，可以以任何顺序分析所收集的任何数据，包括在接收到数据时对其进行分析，使得一旦接收到足以确定正确的地图区域的任何信息组合，可以完成该过程并且可以完成粗略和精细的定位过程。
系统架构
图9示出了可以实现本公开的示例计算系统的架构。
例如，增强现实内容服务器150可以包括或包含链接在一起以服务来自任何数量的增强现实系统的请求的与图9中所示的计算机系统900类似的一个或多个系统。此外，增强现实系统110还可以对应于计算机系统，如计算机系统900。此外，增强现实内容服务器150和增强现实系统110的模块可以实现为硬件、软件或其某种组合，作为计算机系统900的一部分。
计算机系统900包括总线906或用于传送信息的其它通信机制，其连接子系统和设备，诸如处理器907、系统存储器908(例如，RAM)、静态存储设备909(例如，ROM)、磁盘驱动器910(例如，磁或光)、数据接口933(例如，数据库连接)、通信接口914(例如，调制解调器或以太网卡)、显示器911(例如，CRT或LCD)、输入设备912(例如，键盘和光标控制)。
根据本公开的一个实施例，计算机系统900通过处理器907执行包含在系统存储器908中的一个或多个指令的一个或多个序列来执行特定操作。这种指令可以从另一计算机可读/可用介质(诸如静态存储设备909或磁盘驱动器910)读入系统存储器908。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
如在此使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器907提供指令以供执行的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，诸如磁盘驱动器910。易失性介质包括动态存储器，诸如系统存储器908。
计算机可读介质的常见形式包括，例如软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、具有孔洞图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如，NAND闪存、NOR闪存)、任何其它存储器芯片或盒式磁带，或计算机可以读取的任何其它介质。
在一些实施例中，实施本公开的指令序列的执行由单个计算机系统900执行。在一些实施例中，通过通信链路915(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统900可以彼此协调地执行实施本公开所需的指令序列。
计算机系统900可以通过通信链路915和通信接口914发送和接收包括程序(即应用代码)的消息、数据和指令。接收的程序代码可以在接收时由处理器907执行，和/或存储在磁盘驱动器910中或其它非易失性存储器中以供稍后执行。存储介质931中的数据库932可用于存储系统900经由数据接口933访问的数据。
除了要求保护的发明之外并且通过非限制性示例，在此描述了本发明的其它实施例或方面。
1.一种体现在非暂态计算机可读介质中的计算机程序产品，该计算机可读介质具有存储在其上的指令序列，该指令序列当由处理器执行时，使处理器执行用于确定增强现实显示设备的位置和取向信息的过程，该过程包括：识别与增强现实显示设备的当前位置相关联的地图区域；识别与地图区域相关联的匹配关键帧；确定增强现实显示设备相对于共享地图区域原点的姿势。
2.根据实施例1所述的计算机程序产品，其中，识别与当前位置相关联的地图区域包括：接收元数据，该元数据在增强现实显示设备的当前位置处被收集；以及分析元数据以确定地图区域，其中，元数据对应于与一个或多个通信网络有关的信息。
3.根据实施例1所述的计算机程序产品，其中，识别与地图区域相关联的匹配关键帧包括：接收第一多个关键帧；捕获第一多个关键帧的关键帧；将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较，该第二多个关键帧包括具有已知姿势的先前捕获的关键帧，该已知姿势至少包括表示相应关键帧的位置和取向的信息；通过相对于第二多个关键帧分析捕获的关键帧，确定第二多个关键帧中的至少一些关键帧的相似性分数；以及至少基于相似性分数选择第二多个关键帧的关键帧作为匹配关键帧。
4.根据实施例3所述的计算机程序产品，其中，确定增强现实显示设备相对于共享地图区域原点的姿势包括：通过执行关键帧分析，使用所捕获的关键帧和匹配关键帧确定相对于匹配关键帧的姿势；以及使用至少相对于匹配关键帧的姿势将相对于匹配关键帧的姿势转换为相对于共享地图区域原点的姿势。
5.根据实施例3所述的方法，其中，识别与地图区域相关联的匹配关键帧进一步包括：确定所捕获的关键帧的特征；其中，将捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较包括将捕获的关键帧的特征与第二多个关键帧的特征进行比较，并且其中，确定第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于第二多个关键帧的特征分析捕获的关键帧的特征。
6.根据实施例1所述的计算机程序产品，该过程进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送基于位置的内容，其中，基于位置的内容对应于与地图区域、匹配关键帧或姿势中的至少一个相关联的一个或多个对象或一个或多个应用的数据。
7.根据实施例1所述的计算机程序产品，该过程进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送用于执行内容共享的用户数据，其中，内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
8.根据实施例1所述的计算机程序产品，该过程进一步包括响应于识别地图区域而发送地图区域数据。
9.一种用于确定增强现实显示设备的位置和取向信息的系统，包括：用于存储数据和指令的存储器；以及执行指令以启用动作的处理器，该动作包括：识别与增强现实显示设备的当前位置相关联的地图区域；识别与地图区域相关联的匹配关键帧；以及确定增强现实显示设备相对于共享地图区域原点的姿势。
10.根据实施例9所述的系统，其中，识别与当前位置相关联的地图区域包括：接收元数据，该元数据在增强现实显示设备的当前位置处被收集；以及分析元数据以确定地图区域，其中，元数据对应于与一个或多个通信网络有关的信息。
11.根据实施例9所述的系统，其中，识别与地图区域相关联的匹配关键帧包括：接收第一多个关键帧；捕获第一多个关键帧的关键帧；将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较，该第二多个关键帧包括具有已知姿势的先前捕获的关键帧，该已知姿势至少包括表示相应关键帧的位置和取向的信息；通过相对于第二多个关键帧分析捕获的关键帧，确定第二多个关键帧中的至少一些关键帧的相似性分数；并且至少基于相似性分数选择第二多个关键帧的关键帧作为匹配关键帧。
12.根据实施例11所述的系统，其中，确定增强现实显示设备相对于共享地图区域原点的姿势包括：通过执行关键帧分析，使用所捕获的关键帧和匹配关键帧确定相对于匹配关键帧的姿势；以及使用至少相对于匹配关键帧的姿势将相对于匹配关键帧的姿势转换为相对于共享地图区域原点的姿势。
13.根据实施例11所述的方法，其中，识别与地图区域相关联的匹配关键帧进一步包括：确定所捕获的关键帧的特征；其中，将捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较包括将捕获的关键帧的特征与第二多个关键帧的特征进行比较，并且其中，确定第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于第二多个关键帧的特征分析所捕获的关键帧的特征。
14.根据实施例9所述的系统，其中，该动作进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送基于位置的内容，其中，基于位置的内容对应于与地图区域、匹配关键帧或姿势中的至少一个相关联的一个或多个对象或一个或多个应用的数据。
15.根据实施例9所述的系统，其中，该动作进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送用于执行内容共享的用户数据，其中，内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
16.根据实施例9所述的系统，其中，该动作进一步包括响应于识别地图区域而发送地图区域数据。
17.一种包含在非暂态计算机可读介质中的计算机程序产品，该计算机可读介质具有存储在其上的指令序列，该指令序列当由处理器执行时使处理器执行用于确定增强现实显示设备的位置和取向信息的过程，该过程包括：识别与增强现实显示设备的当前位置相关联的地图区域，其中，至少通过使用从一个或多个设备接收的位置信息执行启发式处理来识别地图区域；识别与地图区域相关联的匹配关键帧；以及确定增强现实显示设备相对于共享地图区域原点的姿势。
18.根据实施例17所述的计算机程序产品，其中，使用位置信息执行启发式处理包括：识别与一个或多个设备的位置对应的位置数据，由与一个或多个设备相关联的全球定位系统生成的位置数据，以及使用相应的对等通信协议在增强现实显示设备和一个或多个设备的相应设备之间无线发送的位置数据；确定来自一个或多个设备中的至少一个设备的位置数据的精度水平；估计增强现实显示设备与一个或多个设备中的至少一个设备之间的最小距离和最大距离；以及使用一个或多个设备中的至少一个设备的精度水平、最小距离和最大距离来确定增强现实显示设备所处的至少一个估计区域。
19.根据实施例18所述的计算机程序产品，其中，最小距离是针对相应对等通信协议的至少一个对等通信协议预先确定的。
20.根据实施例18所述的计算机程序产品，其中，最大距离是针对相应对等通信协议的至少一个对等通信协议预先确定的。
21.根据实施例18所述的计算机程序产品，其中，至少基于相应对等通信协议的至少一个对等通信协议的信号强度信息来确定最小距离。
22.根据实施例18所述的计算机程序产品，其中，至少基于相应对等通信协议的至少一个对等通信协议的信号强度信息来确定最大距离。
23.根据实施例18所述的计算机程序产品，其中，至少一个估计区对应于单个地图区域。
24.根据实施例18所述的计算机程序产品，其中，处理多个估计区以确定估计的重叠区。
25.根据实施例24所述的计算机程序产品，其中，估计的重叠区不对应于单个地图区域。
26.根据实施例18所述的计算机程序产品，其中，识别与当前位置相关联的地图区域进一步包括：接收元数据，该元数据在增强现实显示设备的当前位置处被收集；以及分析元数据以确定地图区域，其中，元数据对应于与一个或多个通信网络有关的信息。
27.根据实施例17所述的计算机程序产品，其中，识别与地图区域相关联的匹配关键帧包括：接收第一多个关键帧；捕获第一多个关键帧的关键帧；将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较，该第二多个关键帧包括具有已知姿势的先前捕获的关键帧，该姿势至少包括表示相应关键帧的位置和取向的信息；通过相对于第二多个关键帧分析所捕获的关键帧，确定第二多个关键帧中的至少一些关键帧的相似性分数；以及至少基于相似性分数选择第二多个关键帧的关键帧作为匹配关键帧。
28.根据实施例27所述的计算机程序产品，其中，确定增强现实显示设备相对于共享地图区域原点的姿势包括：通过执行关键帧分析，使用所捕获的关键帧和匹配关键帧确定相对于匹配关键帧的姿势；以及使用至少与匹配关键帧对应的姿势将相对于匹配关键帧的姿势转换为相对于共享地图区域原点的姿势。
29.根据实施例27所述的方法，其中，识别与地图区域相关联的匹配关键帧进一步包括：确定所捕获的关键帧的特征；其中，将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较包括将所捕获的关键帧的特征与第二多个关键帧的特征进行比较，以及其中，确定第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于第二多个关键帧的特征分析所捕获的关键帧的特征。
30.根据实施例17所述的计算机程序产品，该过程进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送基于位置的内容，其中，基于位置的内容对应于与地图区域、匹配关键帧或姿势中的至少一个相关联的一个或多个对象或一个或多个应用的数据。
31.根据实施例17所述的计算机程序产品，该过程进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送用于执行内容共享的用户数据，其中内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
32.根据实施例17所述的计算机程序产品，该过程进一步包括响应于确定地图区域而发送地图区域数据。
33.一种用于确定增强现实显示设备的位置和取向信息的系统，包括：用于存储数据和指令的存储器；以及执行指令以启用动作的处理器，该动作包括：识别与增强现实显示设备的当前位置相关联的地图区域，其中，至少通过如下来识别地图区域：使用从一个或多个设备接收的位置信息执行启发式处理；识别与地图区域相关联的匹配关键帧；确定增强现实显示设备相对于共享地图区域原点的姿势。
34.根据实施例33所述的系统，其中，使用位置信息执行启发式处理包括：识别与一个或多个设备的位置对应的位置数据，由与一个或多个设备相关联的全球定位系统生成的位置数据，以及使用相应的对等通信协议在增强现实显示设备和一个或多个设备的相应设备之间无线发送的位置数据；确定来自一个或多个设备中的至少一个设备的位置数据的精度水平；估计增强现实显示设备与一个或多个设备中的至少一个设备之间的最小距离和最大距离；以及使用一个或多个设备中的至少一个设备的精度水平、最小距离和最大距离来确定增强现实显示设备所处的至少一个估计区域。
35.根据实施例34所述的系统，其中，最小距离是针对相应对等通信协议的至少一个对等通信协议预先确定的。
36.根据实施例34所述的系统，其中，最大距离是针对相应对等通信协议的至少一个对等通信协议预先确定的。
37.根据实施例34所述的系统，其中，至少基于相应对等通信协议的至少一个对等通信协议的信号强度信息来确定最小距离。
38.根据实施例34所述的系统，其中，至少基于相应对等通信协议的至少一个对等通信协议的信号强度信息来确定最大距离。
39.根据实施例34所述的系统，其中，至少一个估计区对应于单个地图区域。
40.根据实施例34所述的系统，其中，处理多个估计区以确定估计的重叠区。
41.根据实施例40所述的系统，其中，估计的重叠区不对应于单个地图区域。
42.根据实施例41所述的系统，其中，识别与当前位置相关联的地图区域进一步包括：接收元数据，该元数据在增强现实显示设备的当前位置处被收集；以及分析元数据以确定地图区域，其中，元数据对应于与一个或多个通信网络有关的信息。
43.根据实施例34所述的系统，其中，识别与地图区域相关联的匹配关键帧包括：接收第一多个关键帧；捕获第一多个关键帧的关键帧；将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较，该第二多个关键帧包括具有已知姿势的先前捕获的关键帧，该姿势至少包括表示相应关键帧的位置和取向的信息；通过相对于第二多个关键帧分析所捕获的关键帧，确定第二多个关键帧中的至少一些关键帧的相似性分数；以及至少基于相似性分数选择第二多个关键帧的关键帧作为匹配关键帧。
44.根据实施例43所述的系统，其中，确定增强现实显示设备相对于共享地图区域原点的姿势包括：通过执行关键帧分析，使用所捕获的关键帧和匹配关键帧确定相对于匹配关键帧的姿势；以及使用至少与匹配关键帧对应的姿势将相对于匹配关键帧的姿势转换为相对于共享地图区域原点的姿势。
45.根据实施例43所述的方法，其中，识别与地图区域相关联的匹配关键帧进一步包括：确定所捕获的关键帧的特征；其中，将所捕获的关键帧和与地图区域相关联的第二多个关键帧进行比较包括将所捕获的关键帧的特征与第二多个关键帧的特征进行比较，以及其中，确定第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于第二多个关键帧的特征分析所捕获的关键帧的特征。
46.根据实施例33所述的系统，该动作进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个来发送基于位置的内容，其中，基于位置的内容对应于与地图区域、匹配关键帧或姿势中的至少一个相关联的一个或多个对象或一个或多个应用的数据。
47.根据实施例33所述的系统，该动作进一步包括响应于识别地图区域，识别匹配关键帧或确定姿势中的至少一个而发送用户数据以执行内容共享，其中，内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
48.根据实施例33所述的系统，该动作进一步包括响应于确定地图区域而发送地图区域数据。
在前述说明书中，已经参考其具体实施例描述了本公开。然而，显而易见的是，在不脱离本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本公开的范围或操作。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (22)

1.一种用于确定增强现实显示设备的位置和取向信息的方法，包括：
识别与所述增强现实显示设备的当前位置相关联的地图区域；
识别与所述地图区域相关联的匹配关键帧；以及
确定所述增强现实显示设备相对于共享地图区域原点的姿势，
其中，识别与所述地图区域相关联的所述匹配关键帧包括：
接收第一多个关键帧；
捕获所述第一多个关键帧的关键帧；
将所捕获的关键帧和与所述地图区域相关联的第二多个关键帧进行比较，所述第二多个关键帧包括具有已知姿势的先前捕获的关键帧，所述已知姿势至少包括表示相应关键帧的位置和取向的信息；
通过相对于所述第二多个关键帧分析所捕获的关键帧，确定所述第二多个关键帧中的至少一些关键帧的相似性分数；以及
至少基于所述相似性分数选择所述第二多个关键帧的关键帧作为所述匹配关键帧，
其中，相对于所述共享地图区域原点确定所述增强现实显示设备的姿势包括：
通过执行关键帧分析，使用所捕获的关键帧和所述匹配关键帧确定相对于所述匹配关键帧的姿势；以及
至少使用相对于所述匹配关键帧的所述姿势将相对于所述匹配关键帧的所述姿势转换为相对于所述共享地图区域原点的姿势。
2.根据权利要求1所述的方法，其中，识别与所述当前位置相关联的所述地图区域包括：
接收元数据，所述元数据在所述增强现实显示设备的所述当前位置处被收集；以及
分析所述元数据以确定所述地图区域，其中，所述元数据对应于与一个或多个通信网络有关的信息。
3.根据权利要求1所述的方法，其中，识别与所述地图区域相关联的所述匹配关键帧进一步包括：
确定所捕获的关键帧的特征；
其中，将所捕获的关键帧和与所述地图区域相关联的所述第二多个关键帧进行比较包括：将所捕获的关键帧的所述特征与所述第二多个关键帧的特征进行比较，以及
其中，确定所述第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于所述第二多个关键帧的所述特征分析所捕获的关键帧的所述特征。
4.根据权利要求1所述的方法，进一步包括：响应于识别所述地图区域，识别所述匹配关键帧或确定所述姿势中的至少一个来发送基于位置的内容，其中，基于位置的内容对应于与所述地图区域、所述匹配关键帧或所述姿势中的至少一个相关联的一个或多个对象或一个或多个应用的数据。
5.根据权利要求1所述的方法，进一步包括：响应于识别所述地图区域，识别所述匹配关键帧或确定所述姿势中的至少一个来发送用户数据用于执行内容共享，其中，内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
6.根据权利要求1所述的方法，进一步包括：响应于识别所述地图区域来发送地图区域数据。
7.一种用于确定增强现实显示设备的位置和取向信息的方法，包括：
识别与所述增强现实显示设备的当前位置相关联的地图区域，其中，至少通过使用从一个或多个设备接收的位置信息执行启发式处理来识别所述地图区域；
识别与所述地图区域相关联的匹配关键帧；以及
确定所述增强现实显示设备相对于共享地图区域原点的姿势，
其中，识别与所述地图区域相关联的所述匹配关键帧包括：
接收第一多个关键帧；
捕获所述第一多个关键帧的关键帧；
将所捕获的关键帧和与所述地图区域相关联的第二多个关键帧进行比较，所述第二多个关键帧包括具有已知姿势的先前捕获的关键帧，所述已知姿势至少包括表示相应关键帧的位置和取向的信息；
通过相对于所述第二多个关键帧分析所捕获的关键帧，确定所述第二多个关键帧中的至少一些关键帧的相似性分数；以及
至少基于所述相似性分数选择所述第二多个关键帧的关键帧作为所述匹配关键帧，
其中，相对于所述共享地图区域原点确定所述增强现实显示设备的姿势包括：
通过执行关键帧分析，使用所捕获的关键帧和所述匹配关键帧确定相对于所述匹配关键帧的姿势；以及
至少使用相对于所述匹配关键帧的所述姿势将相对于所述匹配关键帧的所述姿势转换为相对于所述共享地图区域原点的姿势。
8.一种用于确定增强现实显示设备的位置和取向信息的方法，包括：
识别与所述增强现实显示设备的当前位置相关联的地图区域，其中，至少通过使用从一个或多个设备接收的位置信息执行启发式处理来识别所述地图区域；
识别与所述地图区域相关联的匹配关键帧；以及
确定所述增强现实显示设备相对于共享地图区域原点的姿势，
其中，使用位置信息执行启发式处理包括：
识别与所述一个或多个设备的位置对应的位置数据，由与所述一个或多个设备相关联的全球定位系统生成的所述位置数据，以及使用相应的对等通信协议在所述增强现实显示设备和所述一个或多个设备的相应设备之间无线发送的所述位置数据；
确定来自所述一个或多个设备中的至少一个设备的所述位置数据的精度水平；
估计所述增强现实显示设备与所述一个或多个设备中的所述至少一个设备之间的最小距离和最大距离；以及
使用所述一个或多个设备中的至少一个设备的所述精度水平、所述最小距离和所述最大距离来确定所述增强现实显示设备所处的至少一个估计区。
9.根据权利要求8所述的方法，其中，所述最小距离是针对所述相应的对等通信协议的至少一个对等通信协议预先确定的。
10.根据权利要求8所述的方法，其中，所述最大距离是针对所述相应的对等通信协议的至少一个对等通信协议预先确定的。
11.根据权利要求8所述的方法，其中，至少基于所述相应的对等通信协议的至少一个对等通信协议的信号强度信息来确定所述最小距离。
12.根据权利要求8所述的方法，其中，至少基于所述相应的对等通信协议的至少一个对等通信协议的信号强度信息来确定所述最大距离。
13.根据权利要求8所述的方法，其中，所述至少一个估计区对应于单个地图区域。
14.根据权利要求8所述的方法，其中，处理多个估计区以确定估计区的重叠。
15.根据权利要求14所述的方法，其中，所述估计区的重叠不对应于单个地图区域。
16.根据权利要求15所述的方法，其中，识别与所述当前位置相关联的所述地图区域进一步包括：
接收元数据，所述元数据在所述增强现实显示设备的所述当前位置处被收集；以及
分析所述元数据以确定匹配地图区域，其中，所述元数据对应于与一个或多个通信网络有关的信息。
17.根据权利要求8所述的方法，其中，识别与所述地图区域相关联的所述匹配关键帧包括：
接收第一多个关键帧；
捕获所述第一多个关键帧的关键帧；
将所捕获的关键帧和与所述地图区域相关联的第二多个关键帧进行比较，所述第二多个关键帧包括具有已知姿势的先前捕获的关键帧，姿势至少包括表示相应关键帧的位置和取向的信息；
通过相对于所述第二多个关键帧分析所捕获的关键帧，确定所述第二多个关键帧中的至少一些关键帧的相似性分数；以及
至少基于所述相似性分数选择所述第二多个关键帧的关键帧作为所述匹配关键帧。
18.根据权利要求17所述的方法，其中，确定所述增强现实显示设备相对于所述共享地图区域原点的姿势包括：
通过执行关键帧分析，使用所捕获的关键帧和所述匹配关键帧确定相对于所述匹配关键帧的姿势；以及
至少使用与所述匹配关键帧对应的所述姿势将相对于所述匹配关键帧的所述姿势转换为相对于所述共享地图区域原点的姿势。
19.根据权利要求17所述的方法，其中，识别与所述地图区域相关联的所述匹配关键帧进一步包括：
确定所捕获的关键帧的特征；
其中，将所捕获的关键帧和与所述地图区域相关联的所述第二多个关键帧进行比较包括：将所捕获的关键帧的所述特征与所述第二多个关键帧的特征进行比较，以及
其中，确定所述第二多个关键帧中的至少一些关键帧的相似性分数包括：相对于所述第二多个关键帧的所述特征分析所捕获的关键帧的所述特征。
20.根据权利要求7所述的方法，所述方法进一步包括：响应于识别所述地图区域，识别所述匹配关键帧或确定所述姿势来发送基于位置的内容，其中，基于位置的内容对应于与所述地图区域、所述匹配关键帧或所述姿势相关联的一个或多个对象或一个或多个应用的数据。
21.根据权利要求7所述的方法，所述方法进一步包括：响应于识别所述地图区域，识别所述匹配关键帧或确定所述姿势来发送用户数据以提供执行内容共享，其中，内容共享包括通过本地通信网络在设备之间进行单向或双向内容交换。
22.根据权利要求7所述的方法，所述方法进一步包括：响应于确定所述地图区域来发送地图区域数据。
CN201880007856.8A 2017-01-23 2018-01-23 用于混合现实系统的定位确定 Active CN110199321B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762449512P 2017-01-23 2017-01-23
US62/449,512 2017-01-23
PCT/US2018/014876 WO2018136946A1 (en) 2017-01-23 2018-01-23 Localization determination for mixed reality systems

Publications (2)

Publication Number Publication Date
CN110199321A CN110199321A (zh) 2019-09-03
CN110199321B true CN110199321B (zh) 2024-02-23

Family

ID=62907370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007856.8A Active CN110199321B (zh) 2017-01-23 2018-01-23 用于混合现实系统的定位确定

Country Status (9)

Country Link
US (3) US10812936B2 (zh)
EP (2) EP3989173A1 (zh)
JP (3) JP6918122B2 (zh)
KR (2) KR102627363B1 (zh)
CN (1) CN110199321B (zh)
AU (3) AU2018210015B2 (zh)
CA (1) CA3047013A1 (zh)
IL (3) IL297825A (zh)
WO (1) WO2018136946A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
WO2017201569A1 (en) * 2016-05-23 2017-11-30 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
IL298822A (en) 2017-03-17 2023-02-01 Magic Leap Inc A mixed reality system with color virtual content distortion and a method for creating virtual content using it
US10769752B2 (en) 2017-03-17 2020-09-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
GB201705767D0 (en) 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
US10943521B2 (en) 2018-07-23 2021-03-09 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2020026246A1 (en) * 2018-08-02 2020-02-06 Resight Ltd. A system and method for generating a collection of approximately coordinated region maps
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
CN111179162B (zh) * 2018-11-12 2023-10-24 北京魔门塔科技有限公司 一种特殊环境下的定位初始化方法及车载终端
US10902685B2 (en) 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
KR102577903B1 (ko) 2019-02-25 2023-09-14 나이앤틱, 인크. 증강 현실 모바일 에지 컴퓨팅
US11263615B2 (en) * 2019-03-01 2022-03-01 Visa International Service Association System, method, and computer program product for authentication by augmented reality for fraud prevention
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US11334746B2 (en) * 2019-05-01 2022-05-17 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group
AU2020356625A1 (en) * 2019-09-25 2022-04-28 Noodle Technology Inc. Augmenting reality by capturing signals using wireless radios
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
KR20210061869A (ko) * 2019-11-20 2021-05-28 주식회사 알체라 증강현실 콘텐츠 제작 방법 및 장치
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
BR112022012090A2 (pt) * 2019-12-20 2022-08-30 Interdigital Ce Patent Holdings Método, dispositivo de usuário, dispositivo de servidor, e, mídia de armazenamento não transitória legível por computador
WO2021124291A1 (en) * 2019-12-20 2021-06-24 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
CN115461787A (zh) * 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
WO2021227082A1 (en) * 2020-05-15 2021-11-18 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
US11212640B1 (en) * 2020-06-24 2021-12-28 Charles Isgar Data gathering zone system
US11616699B2 (en) * 2020-07-27 2023-03-28 Charter Communications Operating, Llc Obtaining location metadata for network devices using augmented reality
CN112115224B (zh) * 2020-09-24 2024-03-08 北京百度网讯科技有限公司 地图数据的辅助质检方法、装置、电子设备及存储介质
US20220207120A1 (en) * 2020-12-30 2022-06-30 Inka Entworks, Inc Apparatus and method for embedding plurality of forensic marks
EP4358524A1 (en) * 2021-07-13 2024-04-24 LG Electronics Inc. Mr service platform for providing mixed reality automotive meta service, and control method therefor
WO2023215054A1 (en) * 2022-05-06 2023-11-09 Emed Labs, Llc Systems and methods for ensuring and verifying remote health or diagnostic test quality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品

Family Cites Families (245)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
DE69318304T2 (de) 1992-08-14 1998-08-20 British Telecomm Ortungssystem
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CA2238693C (en) 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP2001208529A (ja) 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6985620B2 (en) 2000-03-07 2006-01-10 Sarnoff Corporation Method of pose estimation and model refinement for video representation of a three dimensional scene
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
JP2008521110A (ja) 2004-11-19 2008-06-19 ダーム インタラクティブ，エスエル ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＲｅｓｏｕｒｃｅｓのアプリケーション用に画像取り込み機能を具備した個人用装置とその方法
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
EP3169059B1 (en) 2005-04-26 2018-06-13 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
CN102016928B (zh) 2008-01-23 2014-01-08 英特尔公司 用于提高的图形性能的方法、设备
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
WO2010055737A1 (ja) 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US9728007B2 (en) * 2010-05-18 2017-08-08 Teknologian Tutkimuskeskus Vtt Oy Mobile device, server arrangement and method for augmented reality applications
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
CN103155003B (zh) 2010-10-08 2016-09-28 松下电器产业株式会社 姿势估计装置及姿势估计方法
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) * 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) * 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
EP2745236A1 (en) * 2011-08-18 2014-06-25 Layar B.V. Computer-vision based augmented reality system
WO2013023705A1 (en) 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US9400941B2 (en) 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
WO2013040274A2 (en) 2011-09-13 2013-03-21 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
AU2012341069B2 (en) 2011-11-23 2018-04-05 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US8989775B2 (en) * 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9256788B2 (en) * 2012-11-02 2016-02-09 Qualcomm Incorporated Method for initializing and solving the local geometry or surface normals of surfels using images in a parallelizable architecture
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) * 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
CN108427504B (zh) 2013-03-15 2021-06-11 奇跃公司 显示系统和方法
US9542613B2 (en) 2013-03-15 2017-01-10 Orcam Technologies Ltd. Systems and methods for processing images
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) * 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150098616A1 (en) * 2013-10-03 2015-04-09 Qualcomm Incorporated Object recognition and map generation with environment references
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
MX358833B (es) 2013-12-19 2018-09-05 Avigilon Fortress Corp Sistema y metodo para identificar caras en medios no restringidos.
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9804395B2 (en) 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
US20170076328A1 (en) * 2014-03-04 2017-03-16 Google Inc. Map personalization based on social cues
US20160203624A1 (en) * 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9953243B2 (en) 2014-04-25 2018-04-24 Google Llc Electronic device localization based on imagery
CN105005457B (zh) * 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
US11030784B2 (en) 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016002409A1 (ja) 2014-07-01 2016-01-07 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) * 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
EP3192058A4 (en) 2014-09-08 2018-05-02 Simx LLC Augmented reality simulator for professional and educational training
US20170280133A1 (en) 2014-09-09 2017-09-28 Nokia Technologies Oy Stereo image recording and playback
US20160104308A1 (en) 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc. Performance optimization for data visualization
US9478029B2 (en) * 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) * 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US20160131904A1 (en) 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
EP3796235A1 (en) 2014-12-17 2021-03-24 Google LLC Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
CN115267648A (zh) 2015-03-07 2022-11-01 维里蒂股份公司 分布式定位系统和方法以及自定位设备
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
NZ735943A (en) 2015-05-04 2021-07-30 Magic Leap Inc Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) * 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
JP2019505926A (ja) 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US10453175B2 (en) 2016-02-22 2019-10-22 Google Llc Separate time-warping for a scene and an object for display of virtual reality content
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
CN108604391B (zh) 2016-05-29 2022-06-14 谷歌有限责任公司 基于虚拟/增强现实系统中的深度信息的时间扭曲调整
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) * 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
CN109863533B (zh) 2016-08-22 2024-03-15 奇跃公司 虚拟、增强和混合现实系统和方法
US10318115B2 (en) * 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
US10942252B2 (en) 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
IL298822A (en) 2017-03-17 2023-02-01 Magic Leap Inc A mixed reality system with color virtual content distortion and a method for creating virtual content using it
US10769752B2 (en) 2017-03-17 2020-09-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
US10991280B2 (en) 2017-05-01 2021-04-27 Pure Depth Limited Head tracking based field sequential saccadic break up reduction
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品

Also Published As

Publication number Publication date
IL297825A (en) 2023-01-01
IL284404A (en) 2021-07-29
US20180213359A1 (en) 2018-07-26
AU2021204725A1 (en) 2021-08-12
KR20210049208A (ko) 2021-05-04
EP3571669B1 (en) 2021-09-15
EP3989173A1 (en) 2022-04-27
CN110199321A (zh) 2019-09-03
CA3047013A1 (en) 2018-07-26
AU2022259806A1 (en) 2022-12-01
KR20190108119A (ko) 2019-09-23
US20200367018A1 (en) 2020-11-19
AU2018210015B2 (en) 2021-04-08
JP2021182745A (ja) 2021-11-25
US10812936B2 (en) 2020-10-20
JP2023017849A (ja) 2023-02-07
US11711668B2 (en) 2023-07-25
JP6918122B2 (ja) 2021-08-11
US20220053287A1 (en) 2022-02-17
KR102627363B1 (ko) 2024-01-18
IL267946A (en) 2019-09-26
JP7425848B2 (ja) 2024-01-31
EP3571669A4 (en) 2020-02-12
JP2020509633A (ja) 2020-03-26
WO2018136946A1 (en) 2018-07-26
IL284404B (en) 2022-12-01
EP3571669A1 (en) 2019-11-27
AU2021204725B2 (en) 2022-08-04
IL267946B (en) 2021-07-29
JP7169405B2 (ja) 2022-11-10
KR102247675B1 (ko) 2021-04-30
IL284404B2 (en) 2023-04-01
US11206507B2 (en) 2021-12-21
AU2018210015A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN110199321B (zh) 用于混合现实系统的定位确定
US10499002B2 (en) Information processing apparatus and information processing method
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN101101520B (zh) 基于指示设备的用户接口系统
CN112949375A (zh) 计算系统、计算方法及存储介质
US9292963B2 (en) Three-dimensional object model determination using a beacon
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
Braun et al. Low-cost indoor localization using cameras–evaluating ambitrack and its applications in ambient assisted living
EP4276413A1 (en) Map generation system and method
KR101480300B1 (ko) 메인 스크린과 제2 스크린 간의 상대 위치를 이용한 인터랙티브 콘텐트 제공 시스템 및 그 방법
Rahman et al. Mobile pointme based pervasive gaming interaction with learning objects annotated physical atlas
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法
JP2022176060A (ja) 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant