CN108604383A - 重新定位系统和方法 - Google Patents

重新定位系统和方法 Download PDF

Info

Publication number
CN108604383A
CN108604383A CN201680080997.3A CN201680080997A CN108604383A CN 108604383 A CN108604383 A CN 108604383A CN 201680080997 A CN201680080997 A CN 201680080997A CN 108604383 A CN108604383 A CN 108604383A
Authority
CN
China
Prior art keywords
image
data
dimensional vector
neural network
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680080997.3A
Other languages
English (en)
Inventor
B·施罗德
T·J·马利耶维奇
A·拉比诺维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201562263529P priority Critical
Priority to US62/263,529 priority
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to PCT/US2016/065001 priority patent/WO2017096396A1/en
Publication of CN108604383A publication Critical patent/CN108604383A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00—Methods or arrangements for recognising patterns
    • G06K9/62—Methods or arrangements for pattern recognition using electronic means
    • G06K9/6267—Classification techniques
    • G06K9/6268—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/627—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns
    • G06K9/6271—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes
    • G06K9/6272—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes based on distances to cluster centroïds
    • G06K9/6273—Smoothing the distance, e.g. Radial Basis Function Networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Computing arrangements based on biological models using neural network models
    • G06N3/04—Architectures, e.g. interconnection topology
    • G06N3/0454—Architectures, e.g. interconnection topology using a combination of multiple neural nets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Computing arrangements based on biological models using neural network models
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

一种确定图像捕获设备的姿态的方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外，所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。

Description

重新定位系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2015年12月4曰提交的序列号为62/263,529、g#S“REL0CALIZATI0N SYSTEMS AND METHODS (重新定位系统和方法)”、代理案卷号为9512-30061.00US的美国临 时申请的优先权。本申请包括与20ie年5月9日提交的序列号为15/150,〇42、名称为 ^DEVICES,METHODS AND SYSTEMS FOR BIOMETRIC USER RECOGNITION UTILIZING NEURAL NETWORKS (用于利用神经网络的生物用户识别的设备、方法和系统），’、代理案卷号为 ML • 2〇028 • 00的美国实用新型专利申请中描述的主题类似的主题。上述专利申请的全部内 容通过引用特此明确地全部并入此文，就像完整阐述一样。
[0003]本文中的主题可以与诸如由诸如佛罗里达州劳德代尔堡的奇跃公司等的组织设 计的那些可穿戴计算系统及其部件的各种系统一起应用和/或使用。以下文献的全部内容 通过引用特此明确地全部并入此文，就像完整阐述一样:序列号为14/641，376的美国专利 申请;序列号为14/555,585的美国专利申请;序列号为14/205,126的美国专利申请;序列号 为14/212,961的美国专利申请;序列号为14/690,401的美国专利申请;序列号为13/663, 466的美国专利申请；以及序列号为13/684，489的美国专利申请。
技术领域
[0004]本公开涉及用于定位姿态敏感系统的设备、方法和系统。特别地，本公开涉及用于 重新定位已经或丢失和/或尚未建立系统姿态的姿态敏感系统的设备、方法和系统。
背景技术
[0005]越来越多的系统需要姿态信息以使系统最优运行。为了最优性能而需要姿态信息 的系统的不例包括但不限于机器人技术和混合现实(MR)系统（g卩，虚拟现实(VR)和/或增强 现实(AR)系统）。这样的系统可以被统称为“姿态敏感”系统。姿态信息的一个示例是在三维 空间中对姿态敏感系统进行定位和定向的沿六个自由度的空间信息。
[0006]姿态敏感系统可能在各种事件后“丢失”（即，失去对系统姿态的追踪）。这些事件 中的一些包括:1 •快速相机运动(例如，在运动参与者穿戴的AR系统中）；2.遮挡(例如，被走 入视场的人遮挡）；3.运动模糊（例如，在AR系统用户快速转动头部的情况下）；4.照明不良 (例如，闪烁的灯）；5.偶发系统故障（例如，电源故障）；以及6.无特征的环境(例如，具有素 色墙的房间）。这些事件中和许多其他事件中的任一事件可以极大地影响基于特征的追踪， 例如当前具有鲁棒追踪前端的同时定位和建图（“SLAM”）系统所采用的追踪，从而导致这些 系统丢失。
[0007]因此，重新定位（即，当系统在已经建图的空间中“丢失”时在图中找到系统的姿 态)是实时视觉追踪的有挑战性的关键方面。追踪故障是SLAM系统中的重要问题，且系统恢 复(或者重新定位)的能力依赖于系统精确地识别其先前己经访问过的位置的能力。
[0008]机器人技术中基于图像的定位问题通常被称为丢失机器人问题(或者绑架机器人 问题）。丢失机器人问题还与唤醒机器人问题和循环闭合检测两者都有关。唤醒机器人问题 涉及首次开启系统。循环闭合检测涉及重新访问先前访问过的位置的成功追踪的系统。在 循环闭合检测中，图像定位系统必须识别出之前系统已经访问过该位置。这样的循环闭合 检测有助于防止定位漂移，且在构建大型环境的3D地图时是重要的。因此，姿态敏感系统定 位在除丢失系统场景以外的情况下是有用的。
[0009] MR系统(例如AR系统)具有比典型机器人系统更高的定位要求。本文描述的和要求 保护的用于定位姿态敏感系统的设备、方法和系统可以有助于全部姿态敏感系统的最优运 行。
发明内容
[0010] 在涉及一种确定图像捕获设备的姿态的方法的一个实施例中，所述方法包括使用 图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法 进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的己知数据结构。 此外，所述方法包括读取与所述最相似的己知数据结构对应的元数据以确定所述图像捕获 设备的姿态。
[0011] 在一个或多个实施例中，所述数据结构是所捕获的图像的紧凑表示。所述数据结 构可以是N维矢量。所述数据结构可以是128维矢量。
[0012] 在一个或多个实施例中，生成与所捕获的图像对应的数据结构包括使用神经网络 将所捕获的图像映射为所述N维矢量。所述神经网络可以是卷积神经网络。
[0013] 在一个或多个实施例中，所述多个己知数据结构中的每个是N维空间中的相应的 已知N维矢量。所述多个已知数据结构中的每个可以是128维空间中的相应的己知128维矢 量。
[0014]所述数据结构可以是N维矢量。将所述数据结构与所述多个已知数据结构进行比 较以识别最相似的已知数据结构可以包括确定所述N维矢量与每个相应的已知N维矢量之 间的相应的欧几里德距离。将所述数据结构与所述多个已知数据结构进行比较以识别最相 似的已知数据结构还可以包括将与所述N维矢量具有最小距离的已知N维矢量识别为所述 最相似的已知数据结构。
[0015] 在一个或多个实施例中，所述方法还包括通过将多个已知图像映射为所述多个已 知数据结构来训练神经网络。所述神经网络可以是卷积神经网络。训练所述神经网络可以 包括基于对所述多个已知图像中的己知图像的对进行的比较来修改所述神经网络。
[0016] 在一个或多个实施例中，训练所述神经网络包括基于对所述多个已知图像中的三 元组（triplet)进行的比较来修改所述神经网络。所述多个己知图像中的每个已知图像可 以具有包括姿态数据的相应元数据。训练所述神经网络可以包括访问用所述相应元数据注 释的所述已知图像的数据库。所述姿态数据可以对与己知图像对应的相机的平移和旋转进 行编码。
[0017] 在一个或多个实施例中，所述多个已知数据结构中的每个已知数据结构是N维空 间中的相应的已知N维矢量。所述三元组中的第一已知图像可以是所述三元组中的第二已 知图像的匹配图像。所述三元组中的第三己知图像可以是所述三元组中的所述第一已知图 像的不匹配图像。在与匹配的第一己知图像和第二已知图像对应的相应的第一和第二姿态 数据之间的第一欧几里德距离可以小于预定阈值。在与不匹配的第一已知图像和第三已知 图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离可以大于所述 预定阈值。
[0018] 在一个或多个实施例中，训练所述神经网络包括减小在N维空间中与匹配的第一 已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧 几里德距离。训练所述神经网络还可以包括增大在所述N维空间中与不匹配的第一已知图 像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德 距离。
[0019]在一个或多个实施例中，所述方法还包括将所述数据结构与所述多个已知数据结 构进行比较以实时识别所述最相似的己知数据结构。与所述最相似的已知数据结构对应的 元数据可以包括与所述最相似的己知数据结构对应的姿态数据。所述方法还包括根据所述 最相似的己知数据结构的元数据中的姿态数据确定所述图像捕获设备的姿态。
附图说明
[0020]附图示出了本发明的各种实施例的设计和使用。应当注意，附图未按比例绘制，并 且在所有附图中，相似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何 获得本发明的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的具体实施 例来对上面简要描述的本发明进行更详细的描述。应当理解，这些附图仅描绘了本发明的 典型实施例，因此不应被认为限制本发明的范围，通过使用附图，将更加具体和详细地描述 和解释本发明，附图中：
[0021]图1是根据一个实施例的用于定位/重新定位系统的查询图像和六个己知图像的 不意图；
[0022]图2是根据一个实施例的将图像嵌入数据结构的示意图；
[0023]图3是根据一个实施例的用于训练神经网络的方法的示意图；
[0024]图4是根据一个实施例的用于定位/重新定位姿态敏感系统的方法中的数据流的 不意图；
[0025]图5是示出根据一个实施例的用于定位/重新定位姿态敏感系统的方法的流程图。
具体实施方式
[0026]本发明的各种实施例在单个实施例或多个实施例中涉及用于定位/重新定位姿态 敏感系统(例如增强现实(AR)系统)的方法、系统和制品。在具体实施方式、附图以及权利要 求中描述了本发明的其他目的、特征以及优点。
[0027]现在将参照附图详细描述各种实施例，提供各种实施例作为本发明的例示性示例 以使本领域技术人员能够实践本发明。值得注意的是，以下附图和示例不旨在限制本发明 的范围。在可以使用已知部件(或方法或过程)部分地或完全地实施本发明的某些要素的情 况下，将仅描述这样的已知部件(或方法或过程)的对本发明的理解所必需的那些部分，且 将省略这样的已知组件(或方法或过程）的其他部分的详细描述以不使本发明模糊。另外， 各种实施例包含对本文中以例示的方式提到的部件的现在或未来已知的等同物。
[0028] 定位/重新定位系统和方法
[0029]增强现实显示系统的各种实施例已在2〇14年11月27日提交的序列号为14/555， 585、名称为 “VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS (虚拟与增强现实系 统和方法)”、代理案卷号为ML-30011-US的共有美国实用新型专利申请，以及2014年5月30 日提交的序列号为62/005,834、名称为“METHODS AND SYSTEM FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY (用于在虚拟与增强现实中创建焦平面的方 法和系统)”、代理案卷号为ML 30017 • 00的共有美国临时专利申请中讨论，上述美国专利申 请的内容通过引用在此明确地全部并入此文，就像全面阐述一样。定位/重新定位系统可独 立于AR系统实现，但仅为了说明的目的，关于AR系统描述了下面多个实施例。
[0030]公开了用于定位/重新定位姿态敏感系统的设备、方法和系统。在一个实施例中， 姿态敏感系统可以是头戴式AR显示系统。在其他实施例中，姿态敏感系统可以是机器人。下 面将针对头戴式AR系统的定位/重新定位来描述各种实施例，但应当理解，本文公开的实施 例可独立于任何现有的和/或已知的AR系统使用。
[0031]例如，当AR系统在经历一个上述混乱事件(例如快速相机移动、遮挡、运动模糊、照 明不良、偶发系统故障、无特征环境等)后“丢失”其姿态追踪时，所述AR系统执行根据一个 实施例的重新定位程序以重新建立最优系统性能所需的系统的姿态。AR系统通过使用耦接 到其上的一个或多个相机捕获一个或多个图像来开始重新定位程序。接下来，AR系统将所 捕获的图像与多个已知图像进行比较以识别与所捕获的图像最匹配的己知图像。然后，AR 系统访问包括姿态数据的用于最匹配已知图像的元数据，并使用所述最匹配已知图像的姿 态数据来重新建立系统的姿态。
[0032]图1示出了表示由丢失的AR系统捕获的图像的查询图像11〇。图1还示出了与查询 图像110进行比较的多个(例如，六个)己知图像112a_112f。己知图像112a_112f可以已被丢 失的AR系统新近捕获。图1所示的实施例中，已知图像112a是与查询图像110最匹配的已知 图像。因此，AR系统将使用与已知图像112a相关联的姿态数据来重新建立其姿态。姿态数据 可对与最匹配的已知图像112a对应的相机的平移和旋转进行编码。
[0033]然而，逐像素地比较大量的（例如，多于10, 〇〇〇个)图像对在计算上是密集的。此限 制使得逐像素比较对于实时（例如，每秒60或更多帧）姿态敏感系统重新定位而言过于低 效。因此，图1仅示意性示出了用于系统重新定位的图像比较。
[0034] 根据一个实施例，将查询图像(例如查询图像11〇)和多个已知图像(例如已知图像 112a-ll2f)转换成既易于处理及比较又易于存储及组织的数据结构。特别地，通过将图像 投影成保持三角形不等式的较低维流形来使每个图像“被嵌入”。三角形不等式是对于不在 一条线上的任意单个点，任意两边的和大于第三边的几何特性。
[0035]在一个实施例中，较低维流形是N维矢量形式的数据结构。特别地，N维矢量可以是 128维矢量。这样的128维矢量在数据结构的大小和对数据结构表示的图像进行分析的能力 之间达到有效平衡。改变基于图像的定位/重新定位方法的N维矢量的维数可以影响相似性 度量计算和端到端训练的速度(如下所述）。在所有其他因素相同的情况下，优选最低维表 示。使用128维矢量导致基于图像的定位/重新定位方法的精简但鲁棒的嵌入。这样的矢量 可以与卷积神经网络一起使用，使得定位/重新定位系统能用新数据改善，并在新数据集上 尚效地起作用。
[0036]图2通过一系列分析/简化/减小步骤212示意性示出了图像210的嵌入。图像210可 以是120像素X 16〇像素的图像。在步骤212中对图像21〇的操作的结果是表示图像210的N维 (例如，I28维)矢星214。尽管本文描述的实施例使用128维矢量作为数据结构，但根据本文 的实施例，包括具有不同维数的矢量的任何其他数据结构，可以表示在定位/重新定位系统 中待分析的图像。
[0037]对于定位/重新定位，图像的此紧凑表示(即嵌入)可被用于通过比较N维矢量之间 的欧几里德(Euclidean)距离来比较一个位置与另一个位置的相似度。用基于室内和室外 位置两者的数据集(如下所述)训练的与已知训练图像对应的已知N维矢量的网络可被配置 为学习视觉相似性(正图像)和相异性(负图像）。基于此学习过程，嵌入能够以相对小的数 据结构成功地对特定位置或区域的较大程度的外观变化进行编码，使其在定位/重新定位 系统中高效地表示位置。
[0038] 网络训练
[0039]在网络可被用于高效地将图像嵌入数据结构之前必须对网络进行训练。图3示意 性示出了根据一个实施例的用于使用图像三元组310、312、314训练网络300的方法。网络 300可以是卷积神经网络300。网络训练系统对一个训练周期使用查询图像312、正(匹配)图 像310以及负（不匹配）图像314。图3中的查询图像312和正图像310各自描绘了可能来自不 同观察点的同一对象（即，个人）。图3中的查询图像312和负图像314描绘了不同的对象（即， 人）。同一网络310学习全部图像310、312、314，但被训练以使两个匹配图像310、312的分数 320、322尽可能接近，并使不匹配的图像314的分数324与两个匹配图像310、312的分数320、 322尽可能不同。用大量图像重复此训练过程。
[0040]当训练完成时，网络300将同一图像的不同视图靠近在一起映射，并将不同图像的 不同视图分开较远映射。然后，此网络可被用于将图像编码到最靠近的相邻空间。当新捕获 的图像被分析时（如上所述），该最新捕获的图像被编码(例如，编码成N维矢量）。然后，定 位/重新定位系统可以确定所捕获的图像的最靠近的其他编码图像的距离。如果靠近某个 (某些)编码图像，则认为所捕获的图像与那个(那些）图像匹配。如果远离某个编码图像，则 认为所捕获的图像与那个图像不匹配。如在本申请中所使用的，“近”及“远”包括但不限于 在两个姿态之间和/或两个N维矢量之间的相对欧几里德距离。
[0041]学习神经网络的权重（即训练算法)包括比较多个已知数据结构中的已知数据结 构的三元组。所述三元组由查询图像、正图像和负图像构成。在与查询图像和正图像对应的 相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值，并且在与查 询图像和负图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离大 于预定阈值。网络为三元组中的每个图像产生128维矢量，且如果负图像比正图像距查询图 像更近(在欧几里德距离方面），则误差项是非零的。误差通过使用神经网络反向传播算法 的网络而被传播。可以通过减小N维空间中的与查询图像和正图像对应的第一和第二128维 矢量之间的第一欧几里德距离，并且增大N维空间中的与查询图像和负图像对应的第一与 第三128维矢量之间的第二欧几里德距离，来训练网络。在通过网络传递大量的三元组之 后，实现网络的最终配置。
[0042] 期望基于外观的重新定位系统对于观察点、照度、比例的改变一般不变。上述深度 量学习网络适用于解决外观不变的重新定位问题。在一个实施例中，三元组卷积神经网络 模型将图像嵌入较低维空间，在所述较低维空间中系统可以测量图像间的有意义的距离。 通过仔细选择由形成相似图像的锚_正对和相异图像的锚-负对的三个图像构成的三元组， 可以针对包括变化的位置的各种位置对卷积神经网络进行训练。
[0043]尽管上述训练实施例使用图像的三元组，但根据其他实施例的网络训练可利用其 他多个图像(例如对和四元组(quadrup 1 et))。对于图像对训练，查询图像可与正图像和负 图像顺序配对。对于图像四元组训练，四元组应至少包括查询图像、正图像和负图像。基于 网络被训练用于的预期应用，剩余的图像可以是附加的正图像或负图像。对于通常涉及不 匹配多于匹配的定位/重新定位，四元组训练中的第四图像可以是负图像。
[0044]尽管上述训练实施例使用单个卷积神经网络，但其他训练实施例可以利用多个可 操作地耦合的网络。在另外的其他实施例中，一个或多个网络可以是具有反向传播的其他 类型的神经网络。
[0045] 示例性网络架构
[0046]根据一个实施例的与定位/重新定位系统一起使用的示例性神经网络具有3 x 3卷 积和单个全连接层。此架构允许系统利用常见架构的新兴硬件加速技以及对来自ImageNet 预训练权重进行初始化的能力。此3x3卷积架构足以解决同一网络架构的各种问题。
[0047]此不例性神经网络架构包括8个卷积层和4个最大池化层(pooling layer)，接着 是尺寸为128的单个全连接层。在每两个卷积块之后布置最大池化层，ReLU用于非线性，并 在每个卷积之后布置BatchNorm层。最终的全连接层将尺寸为[8 X 10 X 128]的blob映射为 128 X 1矢量，且自定义可微分L2-归一化提供最终嵌入。
[0048] 定位/重新定位系统和方法
[0049]既然已经描述了根据一个实施例的卷积神经网络的训练，图4和图5示出了根据两 个实施例的定位/重新定位姿态敏感系统的两个相似方法400、500。
[0050]图4示意性示出了被神经网络412嵌入到对应的查询数据结构414中的查询图像 410。查询图像410可以已经被丢失的姿态敏感系统获取以用于重新定位。神经网络412可以 是被训练过的卷积神经网络(参见图3中的300)。查询数据结构414可以是128维矢量。
[0051] 将与查询图像410对应的查询数据结构414与己知数据结构418a-418e的数据库 416进行比较。每个已知数据结构418a-418e在数据库416中与对应的元数据420a-420e相关 联，元数据420a-420e包括用于捕获与已知数据结构418对应的已知图像的系统的姿态数 据。比较的结果是与查询图像410对应的查询数据结构414的最近邻居（S卩，最佳匹配）的识 另IJ。所述最近邻居是具有距查询数据结构414最短的相对欧几里德距离的已知数据结构(例 如，己知数据结构418b)。
[0052] 在已经识别出最近邻居己知数据结构(在此实施例中，418b)之后，向系统传送相 关联的元数据420b。然后，系统可以使用元数据420b中的姿态数据来定位/重新定位先前丢 失的姿态敏感系统。
[0053]图5是示出了基于图像的定位/重新定位的方法500的流程图。在步骤502,无姿态 信息的姿态敏感系统捕获图像。在步骤504,该系统将所捕获的图像与多个已知图像进行比 较。在步骤506,该系统识别与所捕获的图像最匹配的已知图像。在步骤508,该系统访问用 于所述最匹配的己知图像的姿态元数据。在步骤510,该系统根据用于所述最匹配的已知图 像的姿态元数据为自身生成姿态信息。
[0054]使用三元组卷积神经网络的重新定位在精度和效率两方面都优于当前重新定位 方法。
[0055] 基于图像的建图
[0056]当定位/重新定位系统被用于基于编码图像形成地图时，系统获取位置图像，使用 三元组网络对那些图片进行编码，并基于与所获取的图像最接近的一个或多个图像对应的 位置将所述系统定位在地图上。
[0057]在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提 供这些示例是为了示出本发明的更广泛的可应用方面。在不脱离本发明的真实精神和范围 的情况下，可对所描述的发明进行各种改变并可用等同物来替换。此外，可以进行很多修改 以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、过程动作或 步骤。进一步地，如本领域的技术人员所理解的，在不脱离本发明的范围或精神的情况下， 在此描述和示出的每个单独的变型具有独立的组件和特征，其可容易地与其他若干实施例 的任意一个的特征分离或组合。所有这些修改旨在处于与本公开相关联的权利要求的范围 之内。
[0058] 本发明包括可使用主题设备执行的方法。该方法可包括提供这种合适的设备的动 作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、 定位、设置、激活、通电或其它动作，以在主题方法中提供必要的设备。在此所述的方法可按 逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。
[0059]以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发 明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的 来理解。这在关于如通常或逻辑上采用的附加动作的方面，关于本发明的基于方法的方面 同样成立。
[0060] 此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明 并不限于被描述或指示为针对本发明的每个变型所预期的。在不脱离本发明的真实精神和 范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同物(无论是本文所陈述 的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该 范围的上限和下限之间的每个中间值和在该说明的范围中的任何其它说明的或中间的值 被包括在本发明之内。
[0061] 此外，可预期的是，所描述的本发明变型的任何可选特征可以独立地或者与本文 描述的任何一个或多个特征组合来阐述和要求权利。对单数项目的引用包括存在多个相同 项的可能性。更具体地，除非另有具体说明，当本文和与本文相关联的权利要求中所使用 时，单数形式“一”、“一个”、“所述”和“该”包括复数指示对象。换言之，使用所述冠词允许有 上述说明书以及与本公开相关联的权利要求中主题项中的“至少一个”。还应注意，可以撰 写这样的权利要求以排除任何可选要素。因此，本声明旨在作为使用与权利要求要素的使 用相关的“只”、“仅”等排他性术语或使用“否定”限制的先行基础。
[0062] 在不使用这种排他性术语的情况下，与本公开相关联的权利要求中的术语“包括” 应允许包括任何附加要素，不管在这样的权利要求中是否列举了给定数量的要素，或者所 述特征的添加可以被视为转变在这些权利要求中阐述的要素的性质。除非本文中具体限 定，否则本文使用的全部技术术语和科学术语在保持权利要求有效性的同时被赋予尽可能 宽的通常理解的含义。
[0063]本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联 的权利要求语言的范围限制。
[0064]在前述说明书中，已经参考本发明的具体实施例对本发明进行了描述。然而，显而 易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对本发明进行各种修改 和改变。例如，参考处理动作的特定顺序来描述上述处理流程。然而，可以改变许f所描述 的处理动作的排序而不影响本发明的范围或操作。因此，说明书和附图应被视为说明性的 而非限制性的。

Claims (21)

1. 一种确定图像捕获设备的姿态的方法，包括： 使用图像捕获设备捕获图像； 生成与所捕获的图像对应的数据结构； 将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构； 读取与所述最相似的己知数据结构对应的元数据以确定所述图像捕获设备的姿态。
2. 根据权利要求1所述的方法，其中，所述数据结构是所捕获的图像的紧凑表示。
3. 根据权利要求2所述的方法，其中，所述数据结构是N维矢量。
4. 根据权利要求3所述的方法，其中，生成与所捕获的图像对应的所述数据结构包括使 用神经网络将所捕获的图像映射为所述N维矢量。
5. 根据权利要求4所述的方法，其中，所述神经网络是卷积神经网络。
6. 根据权利要求3所述的方法，其中，所述数据结构是I28维矢量。
7. 根据权利要求1所述的方法，其中，所述多个已知数据结构中的每个是N维空间中的 相应的已知N维矢量。
8. 根据权利要求7所述的方法，其中，所述数据结构是N维矢量，并且 其中，将所述数据结构与所述多个已知数据结构进行比较以识别所述最相似的已知数 据结构包括： 确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离，以及 将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的己知数据结构。
9. 根据权利要求7所述的方法，其中，所述多个己知数据结构中的每个是128维空间中 的相应的已知128维矢量。
10. 根据权利要求1所述的方法，进一步包括通过将多个已知图像映射为所述多个已知 数据结构来训练神经网络。
11. 根据权利要求10所述的方法，其中，所述神经网络是卷积神经网络。
12. 根据权利要求10所述的方法，其中，训练所述神经网络包括基于对所述多个己知图 像中的已知图像的对进行的比较来修改所述神经网络。
13. 根据权利要求1〇所述的方法，其中，训练所述神经网络包括基于对所述多个已知图 像中的己知图像的三元组进行的比较来修改所述神经网络。
14. 根据权利要求1〇所述的方法，其中，所述多个己知图像中的每个已知图像具有相应 的元数据，所述元数据包括姿态数据，以及 其中，训练所述神经网络包括访问用所述相应的元数据注释的所述已知图像的数据 库。
15. 根据权利要求14所述的方法，其中，所述姿态数据对与己知图像对应的相机的平移 和旋转进行编码。
16. 根据权利要求14所述的方法，其中，所述多个己知数据结构中的每个己知数据结构 是N维空间中的相应的己知N维矢量， 其中，所述三元组中的第一已知图像是所述三元组中的第二已知图像的匹配图像，以 及 其中，所述三元组中的第三已知图像是所述三元组中的所述第一已知图像的不匹配图 像。
17. 根据权利要求16所述的方法，其中，在与匹配的第一已知图像和弟二己知图像对应 的相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值，以及 其中，在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三 姿态数据之间的第二欧几里德距离大于所述预定阈值。
18. 根据权利要求16所述的方法，其中，训练所述神经网络包括： 减小在N维空间中与所述匹配的第一已知图像和第二已知图像分别对应的第一已知N 维矢量和第二已知N维矢量之间的第一欧几里德距离；以及 增大在所述N维空间中与所述不匹配的第一已知图像和第三已知图像分别对应的第一 已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。
19. 根据权利要求1所述的方法，进一步包括将所述数据结构与所述多个已知数据结构 进行比较以实时识别所述最相似的已知数据结构。
20. 根据权利要求1所述的方法，其中，与所述最相似的已知数据结构对应的所述元数 据包括与所述最相似的己知数据结构对应的姿态数据。
21. 根据权利要求20所述的方法，进一步包括根据所述最相似的已知数据结构的所述 元数据中的所述姿态数据确定所述图像捕获设备的姿态。
CN201680080997.3A 2015-12-04 2016-12-05 重新定位系统和方法 Pending CN108604383A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201562263529P true 2015-12-04 2015-12-04
US62/263,529 2015-12-04
PCT/US2016/065001 WO2017096396A1 (en) 2015-12-04 2016-12-05 Relocalization systems and methods

Publications (1)

Publication Number Publication Date
CN108604383A true CN108604383A (zh) 2018-09-28

Family

ID=58798069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080997.3A Pending CN108604383A (zh) 2015-12-04 2016-12-05 重新定位系统和方法

Country Status (9)

Country Link
US (2) US10909711B2 (zh)
EP (1) EP3384468A4 (zh)
JP (1) JP2018536244A (zh)
KR (1) KR20180090355A (zh)
CN (1) CN108604383A (zh)
AU (1) AU2016365422A1 (zh)
CA (1) CA3007367A1 (zh)
IL (1) IL259766A (zh)
WO (1) WO2017096396A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN111739105A (zh) * 2020-08-07 2020-10-02 北京理工大学 一种直播机位摄像方案自动学习方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
JP2018536244A (ja) 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
JP6972105B2 (ja) 2016-08-02 2021-11-24 マジック リープ, インコーポレイテッドMagic Leap, Inc. 固定距離の仮想現実システムおよび拡張現実システムならびに方法
EP3933547A1 (en) 2016-11-16 2022-01-05 Magic Leap, Inc. Thermal management systems for wearable components
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CA3054617A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training
CN110134117A (zh) * 2018-02-08 2019-08-16 杭州萤石软件有限公司 一种移动机器人重定位方法、移动机器人及电子设备
EP3750028A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN112513711A (zh) 2018-07-23 2021-03-16 奇跃公司 用于使用位置向量解析半球模糊度的方法和系统
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
US10318842B1 (en) * 2018-09-05 2019-06-11 StradVision, Inc. Learning method, learning device for optimizing parameters of CNN by using multiple video frames and testing method, testing device using the same
DE102020116774A1 (de) * 2020-06-25 2021-12-30 Connaught Electronics Ltd. Automatische visuelle Wahrnehmung mittels eines künstlichen neuronalen Netzes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) * 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
US20130290222A1 (en) * 2012-04-27 2013-10-31 Xerox Corporation Retrieval system and method leveraging category-level labels
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
US20150163345A1 (en) * 2013-12-06 2015-06-11 Digimarc Corporation Smartphone-based methods and systems
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法

Family Cites Families (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
CA2142338C (en) 1992-08-14 1999-11-30 John Stuart Bladen Position location system
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
AU7616496A (en) 1995-11-27 1997-06-19 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
AU2001250802A1 (en) 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
JP2008521110A (ja) 2004-11-19 2008-06-19 ダーム インタラクティブ，エスエル ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＲｅｓｏｕｒｃｅｓのアプリケーション用に画像取り込み機能を具備した個人用装置とその方法
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
JP2008539675A (ja) 2005-04-26 2008-11-13 アイマックス コーポレイション 電子投影システムおよび方法
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) * 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
WO2009093956A1 (en) 2008-01-23 2009-07-30 Swiftfoot Graphics Ab Method, apparatus, and computer program product for improved graphics performance
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US8441962B1 (en) 2010-04-09 2013-05-14 Sprint Spectrum L.P. Method, device, and system for real-time call announcement
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
CN103155003B (zh) * 2010-10-08 2016-09-28 松下电器产业株式会社 姿势估计装置及姿势估计方法
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
US20160327789A1 (en) 2013-11-27 2016-11-10 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9235894B2 (en) * 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
WO2013023706A1 (en) 2011-08-18 2013-02-21 Layar B.V. Computer-vision based augmented reality system
WO2013023705A1 (en) 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US9400941B2 (en) * 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
EP2756328A2 (en) 2011-09-13 2014-07-23 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CN104011788B (zh) 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
US8989775B2 (en) 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) * 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9101459B2 (en) 2013-03-15 2015-08-11 OrCam Technologies, Ltd. Apparatus and method for hierarchical object identification using a camera on glasses
CN113918018A (zh) 2013-03-15 2022-01-11 奇跃公司 显示系统和方法
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) * 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015081313A2 (en) 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
US20170076328A1 (en) 2014-03-04 2017-03-16 Google Inc. Map personalization based on social cues
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
EP3134870B1 (en) 2014-04-25 2019-11-06 Google Technology Holdings LLC Electronic device localization based on imagery
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
CN106415671B (zh) 2014-06-03 2020-05-19 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10283035B2 (en) 2014-07-01 2019-05-07 Sharp Kabushiki Kaisha Field-sequential image display device and image display method
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
WO2016040376A1 (en) 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
CN106688231A (zh) 2014-09-09 2017-05-17 诺基亚技术有限公司 立体图像记录和回放
US20160104307A1 (en) 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc. Data visualization extensibility architecture
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
EP3796235A1 (en) * 2014-12-17 2021-03-24 Google LLC Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
JP2018511122A (ja) 2015-03-05 2018-04-19 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
JP2019505926A (ja) 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
CN107980100B (zh) 2015-03-07 2022-05-27 维里蒂工作室股份公司 分布式定位系统和方法以及自定位设备
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
CN107533166B (zh) 2015-05-04 2021-03-16 奇跃公司 用于虚拟和增强现实的分离光瞳光学系统以及用于使用其显示图像的方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) * 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
JP2018536244A (ja) 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
WO2017147178A1 (en) 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
WO2017210111A1 (en) 2016-05-29 2017-12-07 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
JP6972105B2 (ja) 2016-08-02 2021-11-24 マジック リープ, インコーポレイテッドMagic Leap, Inc. 固定距離の仮想現実システムおよび拡張現実システムならびに方法
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
TWI655447B (zh) 2016-12-26 2019-04-01 宏達國際電子股份有限公司 追蹤系統及追蹤方法
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CA3054617A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
EP3619704A4 (en) 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
CN112513712A (zh) 2018-07-23 2021-03-16 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) * 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
US20130290222A1 (en) * 2012-04-27 2013-10-31 Xerox Corporation Retrieval system and method leveraging category-level labels
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
US20150163345A1 (en) * 2013-12-06 2015-06-11 Digimarc Corporation Smartphone-based methods and systems
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN111739105A (zh) * 2020-08-07 2020-10-02 北京理工大学 一种直播机位摄像方案自动学习方法

Also Published As

Publication number Publication date
US10909711B2 (en) 2021-02-02
EP3384468A4 (en) 2019-01-30
KR20180090355A (ko) 2018-08-10
IL259766A (en) 2021-03-25
US11288832B2 (en) 2022-03-29
US20170161919A1 (en) 2017-06-08
AU2016365422A1 (en) 2018-06-28
CA3007367A1 (en) 2017-06-08
NZ743271A (en) 2021-06-25
JP2018536244A (ja) 2018-12-06
WO2017096396A1 (en) 2017-06-08
IL259766D0 (en) 2018-07-31
US20200334849A1 (en) 2020-10-22
EP3384468A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN108604383A (zh) 重新定位系统和方法
Hong et al. Multimodal face-pose estimation with multitask manifold deep learning
Han et al. CNNs-based RGB-D saliency detection via cross-view transfer and multiview fusion
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
Piatkowska et al. Asynchronous stereo vision for event-driven dynamic stereo sensor using an adaptive cooperative approach
CN107644445A (zh) 利用单个球及圆切线的性质标定拋物折反射摄像机的方法
CN107657645A (zh) 利用直线及圆的共轭直径的性质标定拋物折反射摄像机
Nakajima et al. Robust camera pose estimation by viewpoint classification using deep learning
Perez-Yus et al. Peripheral expansion of depth information via layout estimation with fisheye camera
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN103136513B (zh) 一种改进的asm人脸特征点定位方法
Cho et al. Real‐time recognition and tracking for augmented reality books
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
Ko et al. A novel distant target region detection method using hybrid saliency-based attention model under complex textures
CN109978928A (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
CN109215089A (zh) 利用单个球及弦中点的性质标定拋物折反射摄像机的方法
Potje et al. Learning geodesic-aware local features from RGB-D images
Ohshima et al. Visual Place Recognition From Eye Reflection
Han et al. Convolutional neural network based expression classification with face alignment
Zhang et al. Image mosaic of bionic compound eye imaging system based on image overlap rate prior
Zhang et al. An Efficient Feature Extraction Scheme for Mobile Anti-Shake in Augmented Reality
Lei et al. Human Pose Estimation of Diver Based on Improved Stacked Hourglass Model
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
NZ743271B2 (en) Relocalization systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination