CN103155001A - 用于多用户扩增现实的在线基准生成和跟踪 - Google Patents

用于多用户扩增现实的在线基准生成和跟踪 Download PDF

Info

Publication number
CN103155001A
CN103155001A CN2011800436513A CN201180043651A CN103155001A CN 103155001 A CN103155001 A CN 103155001A CN 2011800436513 A CN2011800436513 A CN 2011800436513A CN 201180043651 A CN201180043651 A CN 201180043651A CN 103155001 A CN103155001 A CN 103155001A
Authority
CN
China
Prior art keywords
image
planar object
mobile platform
benchmark image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800436513A
Other languages
English (en)
Other versions
CN103155001B (zh
Inventor
B·江
A·斯瓦弥纳杉
S·D·斯宾德拉
D·阿户加
C·W·斯维特三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103155001A publication Critical patent/CN103155001A/zh
Application granted granted Critical
Publication of CN103155001B publication Critical patent/CN103155001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

多用户扩增现实（AR）系统在没有先前获取的公共基准的情况下通过在运行过程中生成基准图像来操作。基准图像通过捕捉平面对象的至少两个图像并且使用该图像来确定第一移动平台相对于平面对象的姿势（位置和定向）来产生。基于移动平台的定向，平面对象的图像（可以是初始图像或后续捕捉的图像之一）被变形以产生平面对象的前向视图的基准图像。基准图像可由移动平台或者由例如服务器来产生。其他移动平台可通过使用基准图像来确定它们相对于平面对象的姿势以执行多用户扩增现实应用。

Description

用于多用户扩增现实的在线基准生成和跟踪
对待审的临时申请的交叉引用
本申请根据35USC119要求于2010年9月9日提交且题为“Online ReferenceGeneration And Tracking For Multi-User Augmented Reality（用于多用户扩增现实的在线基准生成和跟踪）”的美国临时申请第61/381,344号的优先权，该临时申请已转让给本申请受让人并通过援引纳入于此。
背景
扩增现实系统可将虚拟对象插入到现实世界的用户视图中。成功的扩增现实系统的一个关键要求在于能够准确估计用户相对于基准的位置和定向（姿势）的跟踪系统。否则，虚拟对象将出现在错误的位置或在环境四处浮动。在多用户扩增现实系统中，虚拟对象需要从每一个用户唯一的角度来看都出现在环境中的相同位置处。因此，每一个用户相对于环境的唯一姿势需要相对于相同的基准来估计。
用于多用户扩增现实系统的常规跟踪系统需要先前获取的公共基准。该基准可以是环境的3D模型、置于环境中的人工标记、或环境中的平面表面的前向视图图像。因此，这种扩增现实系统只能在已知环境中操作。然而，预先获得基准并不一定方便或可能。对于环境的先验知识的依赖性大大地限制了多用户扩增现实技术的用途。
存在不需要对环境的先验知识的跟踪技术，诸如在2009年第8届关于混合和扩增现实的IEEE国际研讨会（ISMAR）上在2009年10月19-22日第83-86页上的Georg Klein和David Murray提出的“Parallel Tracking and Mapping on a CameraPhone（相机电话上的并行跟踪和地图绘制）”。然而，这些技术只估计一用户相对于任意基准的姿势，而无法用于多用户扩增现实应用。
如在2010年第9届关于混合和扩增现实的IEEE国际研讨会（ISMAR）、2010年10月13-16日第57-64页上W.Lee、Y.Park、V.Lepetit、W.Woo提出的“Point-and-Shoot for Ubiquitous Tagging on Mobile Phones（用于移动电话上普遍存在的标记的对准拍摄）”中所描述的对准拍摄方法估计了多个用户的姿势。在对准拍摄的方法中，相机的定向由板载加速计来估计。图像被变形成前向视图并且生成“平均补片”集合。每一个平均补片被计算为在视点的有限范围上补片的平均，并且生成多个范围的平均补片以覆盖所有可能的视图。通过将每一个传入图像与平均补片进行比较，可对姿势进行估计。然而，对准拍摄方法依赖于运动传感器来生成前向视图图像，并且因此要求相机中的附加组件并且遭受由运动传感器所引起的误差。另外，对准拍摄方法依赖于多个平均补片。而且，对准拍摄方法仅在水平或垂直平面表面上工作，而这是具有限制性的。
从而，需要一种能够在事先未知的场景中估计多个用户的姿势的改进的系统。
概述
多用户扩增现实（AR）系统在没有先前获取的公共基准的情况下通过在运行过程中生成基准图像来操作。基准图像通过捕捉平面对象的至少两个图像并且使用该至少两个图像来确定第一移动平台相对于平面对象的姿势（位置和定向）来产生。平面对象的图像（可以是初始图像或后续捕捉的图像之一）通过使用第一移动平台的定向来变形以产生平面对象的前向视图的基准图像。通过使用由第二移动平台捕捉的平面对象的图像以及基准图像来确定第二移动平台相对于平面图像的姿势。确定第一移动平台的姿势和/或将图像变形以产生基准可以由第一移动平台或服务器来执行。另外，若期望，基准图像可被扩展为包括新的图像，该新的图像包含平面对象中未被包括在基准图像中的部分。例如，第二移动平台可捕捉新的图像，该新的图像包括平面对象中未被包括在基准图像中的不同部分。新的图像和基准图像可被合并以生成平面对象的前向视图的新的基准图像，并且第二移动平台相对于平面对象的姿势可使用由第二移动平台所捕捉的平面对象的后续图像以及新的基准图像来更新。
在另一方面，一种装置包括用于接收要被处理的至少两个图像的接口，该至少两个图像中的至少一个由第一相机捕捉并且包含平面对象的不同视图。例如，该接口可以是移动平台中的第一相机和处理器之间的接口，或者可以是从移动平台接收图像的服务器中的外部接口。该装置还包括数据传输接口、连接到用于接收要被处理的至少两个图像的接口以及数据传输接口的处理器、以及连接到处理器的存储器。存储器中保存并且在处理器中运行的软件致使该处理器分析平面对象的至少两个图像并且使用至少两个捕捉到的图像来确定第一相机相对于平面对象的姿势（位置和定向）。该软件还致使该处理器使用该定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像，并且经由数据传输接口将该基准图像传输到具有第二相机的至少一个移动平台以使用该基准图像来执行多用户扩增现实应用。若期望，存储器中保存且在处理器中运行的软件还可致使该处理器将基准图像与新的图像（该新的图像包括平面对象中未被包括在基准图像中的部分）合并以生成平面对象的前向视图的新的基准图像，并且经由数据传输接口将该新的基准图像传输到至少一个其他移动平台以使用该新的基准图像来执行多用户扩增现实应用。
在另一方面，一种移动平台包括相机、无线收发机、连接到相机和无线收发机的处理器、连接到处理器的存储器、以及连接到存储器的显示器。保存在存储器中且在处理器中运行的软件致使该处理器：分析平面对象的至少两个捕捉到的图像，并且使用该至少两个捕捉到的图像来确定移动平台相对于平面对象的姿势（位置和定向），使用该定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像，将该基准图像传输到至少一个其他移动平台，并且使用该基准图像通过至少一个其他移动平台来执行在显示器上显示的多用户扩增显示应用。
在另一方面，一种系统包括用于捕捉平面对象的至少两个图像的装置以及用于使用该至少两个图像来确定第一移动平台相对于平面对象的姿势（位置和定向）的装置。该系统还包括：用于使用第一移动平台相对于平面对象的定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像的装置，以及用于使用由第二移动平台捕捉的平面对象的图像以及基准图像来确定第二移动平台相对于平面对象的姿势的装置。若期望，该系统可包括：用于将基准图像和新的图像（该新的图像包括平面对象中未被包括在基准图像中的部分）合并以生成平面对象的前向视图的新的基准图像的装置。在这样的系统中，用于确定第二移动平台的姿势的装置通过使用由第二移动平台捕捉的平面对象的不同图像以及新的基准图像来更新第二移动平台相对于平面对象的姿势。
在又一方面，一种包括存储在其上的程序代码的计算机可读介质，包括：用于分析平面对象的至少两个图像以确定捕捉了该至少两个图像中的至少一个图像的相机相对于平面对象的姿势（位置和定向）的程序代码，以及用于使用该定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像的程序代码。该计算机可读介质还包括：用于传输基准图像的程序代码，以及用于使用该基准图像来执行多用户扩增显示应用的程序代码。若期望，该计算机可读介质还可包括用于合并基准图像和新的图像（该新的图像包括平面对象中未被包括在基准图像中的部分）以生成平面对象的前向视图的新的基准图像的程序代码，用于传输新的基准图像的程序代码，以及用于使用新的基准图像来执行多用户扩增显示应用的程序代码。
附图简要说明
图1示出在没有先前获取的公共基准的情况下进行操作的多用户扩增现实（AR）系统。
图2是描述了在没有先前获取的公共基准的情况下执行具有多用户的AR的过程的流程图。
图3示出将平面对象的图像变形为平面对象的前向视图的基准图像。
图4示出在没有先前获取的公共基准的情况下进行操作并且使用服务器来生成基准图像的多用户AR系统。
图5示出平面上的3D点以及该3D点在具有不同平面视图的两个图像上的2D投影。
图6是能够执行多用户AR系统的初始化过程的设备（诸如移动平台或服务器）的框图。
具体描述
图1示出在没有先前获取的公共基准的情况下进行操作的多用户扩增现实（AR）系统100。多用户AR系统100包括第一移动平台110A（有时被称为主设备110A）以及附加移动平台110B和110C（有时被统称为移动平台110）。每一个移动平台110包括用于对环境进行成像的背向相机114。主设备110A通过从不同视点捕捉平面对象102的多个图像（一个图像被示为显示器112中的102A）来至少部分地执行初始化过程。根据多个捕捉到的图像，可确定主设备110A相对于对象102的姿势（位置和定向），从所确定的姿势中可生成基准图像104，并且将该基准图像分发（如箭头103所示）给其他移动平台110B和110C，其他移动平台110B和110C正查看相同的平面对象102，如图像102B和102C所分别示出的。通过使用基准图像104，每一个移动平台110A、110B和110C可通过确定该移动平台相对于对象102的唯一姿势来跟踪对象102从而执行多用户AR应用。应该理解，移动平台可以是任何便携式电子设备，诸如蜂窝或其他无线通信设备、个人通信系统（PCS）设备、个人导航设备（PND）、个人信息管理器（PIM）、个人数字助理（PDA）、膝上机、相机或能够进行扩增现实（AR）的其他合适的移动设备。
图2是描述了在没有先前获取的公共基准的情况下执行具有多用户的AR的过程的流程图。主设备110A通过背向相机114来捕捉对象102的两个或更多个图像（202）。应该理解，如此处所使用的，捕捉到的图像可以是静止图像或视频帧。对象102的两个或更多个图像由主设备110A在不同视点处（即以主设备110A相对于对象102的不同姿势）捕捉，或者由具有不同视点的不同移动平台110A和110B来捕捉。通过使用多个捕捉到的图像，确定主设备110A相对于对象102的姿势（位置和定向）（204）。对象102的图像（可以是由主设备110A捕捉的初始图像或对象102的新的或不同的图像之一）随后基于主设备110的定向被变形以产生作为对象102的前向视图的基准图像104（206），如图3中的箭头106所示。基准图像104被用作公共基准图像，每一个移动平台110可根据该公共基准图像来确定其相对于要跟踪的对象的唯一姿势从而执行多用户AR（208）。
如图1所示，主设备110A可确定其姿势（图2中的步骤204），并且将对象的图像变形（图2中的步骤206），并且将基准图像104传输给其他移动平台110B和110C，如箭头103所示。主设备110A以及其他移动平台110B和110C随后可使用所产生的基准图像104来确定它们各自相对于AR应用中的对象的姿势。
然而，若期望，这些过程中的一个或多个可远离主设备110A执行。例如，可使用单独的服务器来执行初始化功能中的一个或多个。如图4所示，在多用户AR系统100’中，主设备110A可捕捉对象102的多个图像（一个图像被视为图4的显示器112中的102A）（图2中的步骤202）并且可将捕捉到的图像传输（如箭头105所示）到服务器130。服务器130随后可使用捕捉到的图像来确定主设备110A的姿势（图2中的步骤204），并且使对象102的图像变形以产生基准图像104（图2中的步骤206）。服务器130随后将基准图像104传输到主设备110A和其他移动平台（图4中仅示出了移动平台110B），如箭头107所示。若期望，主设备110A可确定姿势（图2中的步骤204），并且将姿势连同与该姿势相关联的图像一起传输到服务器130。服务器130随后使图像变形（图2中的步骤206），并且将基准图像104传输到主设备110A和移动平台110B。或者，代替使用服务器130，这些过程步骤中的一个或多个可改为由一个或多个其他移动平台110B和110C来执行。例如，主设备110A（或主设备110A和另一移动平台110B）可捕捉对象102的多个图像（图2中的步骤202），并且从主设备110A捕捉到的图像可被传输到另一移动平台110B。另一移动平台110B可确定主设备110A的姿势（图2中的步骤204），并且使对象102的图像之一变形为基准图像104（图2中的步骤206），并且将经变形的图像传输到其他移动平台（包括主设备110A）。或者，对象102的捕捉到的多个图像（图2中的步骤202）可被传输到其他移动平台110B和110C中的每一个，所述其他移动平台110B和110C中的每一个随后独立地确定主设备110A的姿势（图2中的步骤204）并且使对象102的图像之一变形为基准图像104（图2中的步骤206）。若期望，主设备110A可确定姿势（图2中的步骤204），并且将姿势连同与该姿势相关联的图像一起传输到其他移动平台110B和110C。其他移动平台110B和110C随后独立地将图像变形（图2中的步骤206）为前向视图。
图5示出平面π上的3D点Q以及3D点Q在具有对平面π的不同视图的两个相应图像I、I’上的2D投影q、q’以示出使用以下符号来确定主设备110A的姿势。
3D点Q=(X,Y,Z)T与其2D投影q=(x,y,1)T在相机图像上通过3X4投影矩阵P相关为：
q ≅ PQ 式1
其中表示在至多一缩放因子内的相等，并且
P=K[R|t]  式2
其中R表示旋转，t表示转换，而K表示固有相机参数。
如图5所示，如果平面π上的3D点Q在两个图像I’和I上查看，则其在图像I’上的2D投影qt=(xt,yt,1)和在图像I上的投影q=(x,y,1)通过2D-2D的单应性h来被相关为：
q ′ ≅ hq 式3
如果图像I的投影矩阵是K[I|0]而图像I’的投影矩阵是K'[R'|t']，则
h = K ′ ( R ′ + t ′ n T d ) K - 1 式4
其中对于Q∈π的任意3D点，nTQ=d，n是平面法线方向上的单位向量，而d是从原点到平面的距离。如果使用相同的相机来产生图像I和I’两者，则固有相机参数将不会改变，即K’=K。n和d的值在图像I的相机坐标系中定义。
平面π上的3D点及其在相机图像中的2D投影q通过3D-2D单应性H被相关为：
q ≅ HQ 式5
如果定义了其中z轴与平面法线对齐而原点在平面上的世界坐标系，则单应性H具有以下格式：
H ≅ K [ r 1 r 2 t ] 式6
其中r1和r2是旋转矩阵R的第一和第二列，而t是等式2中所定义的转换向量。
在多用户扩增现实系统100的初始化过程期间，用户（即移动平台110A、110B和110C）查看充当用于扩增的地平面的相同的平面表面（例如，图1中的对象102）。主设备110A的固有相机参数K被预先校准并且在整个过程期间保持不变。主设备110A相对于对象102移动来从不同视点捕捉对象102的图像。若期望，初始图像可由位于不同视点处的不同设备来捕捉，例如，主设备110A可捕捉一个图像，而另一移动平台110B可捕捉另一图像，该另一图像随后连同该另一移动平台110B的固有相机参数K’一起被传输到主设备110A（或服务器130）。对于每一个捕捉到的图像或视频帧，从每一个捕捉到的图像中提取特征。特征可以通过使用使特征局部化并生成它们的描述的已知技术来提取，所述已知技术诸如尺度不变特征转换（SIFT）。若期望，可以使用其他技术，诸如加速稳健特征（SURF）、梯度位置-定向直方图（GLOH）、经压缩的梯度直方图（CHoG）或其他类似的技术。当图像的所提取特征数量超过一阈值（例如100点特征）时，该图像被保存为初始图像，并且所提取的特征被定义为基准点。后续的图像被类似地处理，直到存在从每一个图像所提取的特征被定义为基准点的至少两个图像。
主设备110A的姿势基于该至少两个图像以及所定义的基准点来确定（图2中的步骤204）。为确定姿势，通过计算初始图像和至少一个后续图像之间的2D-2D单应性h来检测主导平面。单应性h在初始图像被保存时被初始化为单位矩阵。对于每一个后续图像，来自初始图像的基准点根据单应性h被投影到后续图像上。在后续图像中寻找每一个被投影的基准点附近的对应点。通过使用随机采样一致性（RANSAC）优化方法以计算来自对应点对的单应性来更新单应性h的值。若期望，可以使用其他技术来跟踪跨图像序列的2D点，诸如光流，并且因此，可以使用用于检测主导平面的任何2D点跟踪或匹配方法。
单应性h可被分解为相对相机运动[R’|t’]和平面法线n，如上所述。然而，如果主设备110A的相机在捕捉到的图像之间的转换运动太小，经分解的平面法线n将不准确。从而，可以定义hth的最大和最小本征值之比为度量S，其中单应性h在度量S超过一阈值（例如2.0）时被分解为相对相机运动[R’|t’]和平面法线n。
对于平面π上的3D点Q，其2D投影q和相机114的中心（图5中示为点O）形成射线。在射线与平面π相交之后，3D点Q的坐标可被确定。多个基准点与形成3D平面的多个3D点相对应。一般地，存在两种单应性分解的解。为选择正确的解，所得的两个3D平面被存储并且被用来估计后续帧中的主设备110A姿势。当一个平面的平均投影误差大于另一平面的平均投影误差时，例如，一个平面的误差比另一个平面的误差大1.2倍，则具有较大投影误差的平面被排除。如果初始图像大致是平面对象102的前向视图，则平面法线n可被用来选择正确的3D平面。在选择了正确的3D平面之后，定义世界坐标系以将z轴与平面法线n以及与平面上的原点对齐。因此，在确定了3D-2D单应性H的情况下，主设备110A相对于对象102的姿势基于旋转矩阵R和转换向量t来确定，如以上参考等式6所讨论的。若期望，可以使用其他姿势确定技术。
随后生成平面对象102的前向视图（图2中的步骤206）。例如，对象102上的3D点以及它们在图像上的2D投影可被用来估计投影矩阵P=K[R|t]。旋转R和转换t可根据3D-2D单应性H来估计。R的第一列r1和第二列r2来自H的第一和第二列。R的第三列可被创建为r3=r1xr2。转换t是H的第三列。如图3所示，图像102A可通过仅使用旋转R-1被变形为前向视图基准图像104，如箭头106所示。然而，若期望，3D平面及其在图像上的2D投影之间的单应性H可被用来（即，H-1）使图像变形。在通过使用定向将图像变形为前向视图之后，前向视图图像可在平面上任何位置被缩放和转换。例如，在被投影到平面上之后，图像的左下角被确定并且被用于转换。类似地，图像的对角线与其投影的比可被用来导出缩放因子（比例）。
另外，若期望，代替使用初始捕捉到的图像之一，可以改为捕捉对象102的新的图像并且使其变形以产生基准图像104，然而，新的图像的姿势应当例如使用先前确定的姿势和基于视觉的对新的图像的跟踪来确定，并且使用定向来使新的图像变形。然而，如果相机114的查看方向和平面法线n之间的角度α过大，则基准图像的质量可能不足以满足用于姿势估计的质量。角度α可被计算为
α=cos-1(r33)  式7
其中r33是旋转矩阵R的第三列上的第三个元素。
因此，为了生成高质量的基准图像，确定初始捕捉到的图像和/或当前捕捉到的图像的角度α。如果角度α小于一阈值（例如，8度），则对应的图像被变形为前向视图。如果捕捉到的图像的角度α大于该阈值，则可捕捉和使用额外的图像。例如，可捕捉额外的图像，并且将它们的角度α与阈值进行比较，直到找到合适的图像。或者，可由主设备110A捕捉M个额外的图像，并且将具有最小角度α的图像变形为前向视图作为基准图像。基准图像随后可被发送到其他移动平台110B和110C。因为基准图像是标准图像，所以现有的网络协议和图像标准可被用于压缩、发送和解压缩基准图像。
若期望，代替使用单个图像来生成基准图像104，可以改为使用多个图像来产生高分辨率的基准图像。例如，可以捕捉多个图像并且将它们在一起求平均以产生最终高分辨率的基准图像。例如，基准图像可从N个捕捉到的图像中生成。对于基准图像中的每一个像素，搜索每一个候选图像以寻找对应像素。如果在不同候选图像中存在多种对应点，这些对应点的像素值的平均被用作基准图像的像素值。
在每一个移动平台接收到基准图像104（基准图像104可从主设备110A或服务器130接收或者由每一个移动平台独立产生）之后，基准图像104可被用作公共基准图像，每一个移动平台110可根据该公共基准图像来确定其用于跟踪的姿势从而执行多用户AR应用（图2，步骤208）。为确定移动平台相对于基准图像的姿势，首先检测基准图像104上的特征（诸如点特征或线特征或其他合适的特征）并且为每一特征构建描述符。可使用已知技术来提取特征，所述已知技术诸如SIFT、SURF、GLOH、CHoG，如上所讨论的。每一个移动平台110可独立地提取点特征，以使得只需要将基准图像104传输到移动平台110，而移动平台110可使用现有的网络协议和图像标准来执行。基准图像104是对象102的前向视图，并且因此，对于基准图像104中任何检测到的2D点(x,y)，对应的3D点可被定义为(sx,sy,0)，其中s是常量并且对于所有移动平台110来说都是相同的。这一坐标定义使得世界坐标系的z轴与平面法线对齐，并且使得世界坐标的原点在平面上。若期望，其他坐标定义也是可能的。随后在每一个后续从移动平台捕捉到的图像中搜索3D点的2D投影。移动平台相对于对象102的姿势随后可使用经匹配的3D-2D点对来估计。
若期望，原始基准图像104可被扩展，并且经扩展的基准图像可被分发给其他移动平台。在初始化过程期间，进行参与的移动平台的相机指向捕捉来自对象102的相同部分的图像。主设备110A从不同角度捕捉图像，并且使用来自不同角度的图像来生成基准图像，基准图像随后可被传输到其他用户。每一个移动平台继续捕捉对象102的图像并且使用基准图像来估计当前图像的姿势。如果当前图像的重要部分在基准图像中不可见，则基准图像和当前图像可被合并以生成新的基准图像，该新的基准图像可被传输到其他移动平台。
为了扩展基准图像，在基准图像上检测2D点并且在当前图像中搜索它们的2D对应点。如果基准图像和当前图像之间存在重大差别，则单应性h基于经匹配的点对来计算，如上所讨论的。可以通过将基准图像和当前图像合并来生成新的基准图像。例如，原始基准图像上的像素可通过单元变换被变换成新的基准图像，并且当前图像上的像素可通过单应性h被变换成新的基准图像。
存在用于判断在基准图像和当前图像之间是否存在重大差别的若干方法。例如，两个图像之间的相机运动可被用于判断是否存在重大差别，其中相机运动通过使用此处描述的基于视觉的技术来确定，或者通过板载运动传感器（诸如加速计和陀螺仪）来确定。另一种确定是否存在重大差别的方法是检测基准图像上的点以及它们在当前图像上的对应点。随后可计算当前图像上的点的封闭矩形。可以定义矩形面积与当前图像面积之比的比率r。如果r低于期望阈值，则两个图像之间的差别可被认为是重大的。
经扩展的基准图像可例如通过所有移动平台110B和110C向主设备110A或服务器130发送与基准图像有重大差别的图像来产生。主设备110A或服务器130可通过将从不同移动平台接收到的图像进行合并来扩展基准图像，并且将经扩展的基准图像传输到其他移动平台。如果经扩展的基准图像太大而无法在网络上分发，则经扩展的基准图像可被分成瓦块并且经扩展的基准图像逐瓦块地进行分发。或者，瓦块可被集成为视频文件并且作为视频来分发。
图6是能够执行多用户AR系统的初始化过程的设备300的框图，如上所述。图6中示出的设备300可以是例如主设备110A或服务器130。设备300包括用于接收要被处理的图像的接口、数据传输接口、和处理器161。例如，在设备300是主设备110A的情况下，用于接收要被处理的图像的接口可以是相机114和处理器161之间的接口，而数据传输接口可以是收发机140。在设备300是服务器130并且因此不包括相机114的情况下，用于接收要被处理的图像的接口和数据传输接口可以是收发机140。因此，设备300包括用于传输数据（诸如基准图像或初始捕捉到的图像）的装置。用于传输数据的装置可以是无线收发机140，诸如能够向蜂窝塔发送以及从蜂窝塔或无线接入点（在设备300是移动平台的情况下）接收通信的蜂窝调制解调器或无线网络无线电接收机/发射机。或者，在设备300是服务器时，收发机可以是例如用于经由以太网或任何其他有限格式发送和接收信号的有线通信接口。
在设备300是移动平台的情况下，设备300还包括用于捕捉平面对象的图像的装置，诸如相机114，并且可任选地包括运动传感器111，诸如加速计、陀螺仪、电子罗盘、或其他类似的运动感测元件。设备300还可包括用户接口150，用户接口150包括用于显示图像和AR对象的装置，诸如显示器112。用户接口150还可包括按键板152或其他输入设备，用户可藉此向设备300输入信息。若期望，可通过将虚拟按键板整合到带有触摸传感器的显示器112中来省去按键板152。例如，如果设备300是诸如蜂窝电话的移动平台，则用户接口150还可包括话筒154和扬声器156。当然，设备300可包括与本发明无关的其他元件，诸如卫星定位系统接收机。
设备300还包括连接到收发机140和用户接口150以及相机114和可任选的运动传感器111（在设备300是移动平台的情况下）并与其通信的控制单元160。控制单元160接受和处理由相机114捕捉的图像并且控制收发机140和显示器112。控制单元160可由处理器161以及相关联的存储器164、硬件162、软件165和固件163来提供。控制单元160可包括用于处理来自相机114的初始图像以确定2D-2D单应性h以及确定3D-2D单应性H并且定义世界坐标系的图像处理器166，如上所讨论的。控制单元160还可包括使初始图像（或不同的图像）之一变形为前向视图基准图像104的图形引擎167，图形引擎167例如可以是游戏引擎，而前向视图基准图像104经由收发机140被传输到其他移动平台。图形引擎167还可呈现要在显示器112上显示的期望AR对象。控制单元还可包括用于基于来自相机114的图像和基准图像104来确定和跟踪主设备110A相对于对象102的位置和定向的姿势处理器168。为清楚起见，图像处理器166、图形引擎167、和姿势处理器168与处理器161分开地被示出，但它们也可以是处理器161的一部分或者基于在处理器161中运行的软件165中的指令在处理器中实现。将理解，如本文中所使用的，处理器161可以但无需必然包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路（ASIC）、数字信号处理器（DSP）、及类似物。术语处理器旨在描述由系统实现的功能而非具体硬件。此外，如本文所使用的术语“存储器”是指任何类型的计算机存储介质，包括与移动平台相关联的长期、短期、或其他存储器，且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
因此，图1和4中分别示出的多用户AR系统100和100’包括：用于从第一移动平台捕捉平面对象的至少两个图像的装置，该装置可包括相机114；以及用于通过使用该至少两个图像来确定第一移动平台相对于平面对象的位置和定向的装置，该装置可包括图像处理器166和姿势处理器168。该系统还包括：用于使用相对于平面对象的定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像的装置，该装置可包括图像处理器166、姿势处理器168、和图形引擎167。该系统还包括：用于使用由第二移动平台捕捉的平面对象的图像来确定第二移动平台相对于平面对象的位置和定向的装置，该装置可包括第二移动平台110B中的图像处理器166和姿势处理器168。若期望，该系统还可包括：用于将基准图像和新的图像（该新的图像包括平面对象中未被包括在基准图像中的部分）合并以生成新的基准图像的装置，该装置可包括可位于主设备110A、服务器130或第二移动平台110B中的图像处理器166、姿势处理器168、和图形引擎167，以及用于通过使用由第二移动平台捕捉的平面对象的不同的图像和新的基准图像来更新第二移动平台相对于平面对象的位置和定向的装置。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件162、固件163、软件165、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块（例如，规程、函数等等）来实现。任何有形地体现指令的机器可读介质可被用来实现本文所述的方法。例如，软件代码可被存储在存储器164中并由处理器161执行。存储器可以实现在处理器161内部或外部。
如果在固件和/或软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上。示例包括编码成具有数据结构的非瞬态计算机可读介质和编码成具有计算机程序的计算机可读介质。例如，包括存储在其上的程序代码的计算机可读介质可包括：用于分析平面对象的至少两个图像以确定捕捉了该至少两个图像中的至少一个图像的相机相对于平面对象的位置和定向的程序代码，用于使用该定向来使平面对象的图像变形以产生平面对象的前向视图的基准图像的程序代码，用于传输基准图像的程序代码，以及用于通过使用该基准图像来执行多用户扩增现实应用的程序代码。若期望，该计算机可读介质还可包括用于合并基准图像和新的图像（该新的图像包括平面对象中未被包括在基准图像中的部分）以生成平面对象的前向视图的新的基准图像的程序代码，用于传输新的基准图像的程序代码，以及用于使用新的基准图像来执行多用户扩增显示应用的程序代码。计算机可读介质包括物理计算机存储介质并且不是指瞬态的传播信号。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘常常磁性地再现数据，而碟用激光光学地再现数据。以上组合也应被包括在计算机可读介质的范围内。
尽管出于指导目的结合具体实施例解说了本发明，但是本发明并不被限定于此。可作出各种适应性改编以及改动而不会脱离本发明的范围。因此，所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (45)

1.一种方法，包括：
捕捉平面对象的至少两个图像；
通过使用所述至少两个图像来确定第一移动平台相对于所述平面对象的包括位置和定向的第一姿势；
通过使用所述第一移动平台相对于所述平面对象的定向来使由所述第一移动平台捕捉的所述平面对象的图像变形以产生所述平面对象的前向视图的基准图像；以及
通过使用由第二移动平台捕捉的平面对象的第二图像以及所述基准图像来确定所述第二移动平台相对于所述平面图像的第二姿势。
2.如权利要求1所述的方法，其特征在于，还包括基于所述第二移动平台相对于所述平面对象的所述第二姿势来用所述第二移动平台来执行扩增现实应用。
3.如权利要求1所述的方法，其特征在于，确定所述第一移动平台相对于所述平面对象的包括位置和定位的第一姿势包括：
从所述至少两个图像中提取特征；
通过使用所述特征来计算所述至少两个图像之间的2D-2D单应性h；
计算所述特征的3D坐标以定义与所述平面对象的平面相对应的3D平面；
通过使用所述特征和所述3D平面来计算所述3D平面和所述至少两个图像之一之间的3D-2D单应性H；以及
使用所述3D-2D单应性H来确定所述第一姿势。
4.如权利要求1所述的方法，其特征在于，通过使用由所述第二移动平台捕捉的平面对象的图像和基准图像来确定所述第二移动平台相对于所述平面对象的第二姿势包括：
从所述基准图像中提取特征；
定义3D平面上与从所述基准图像提取出的所述特征相对应的3D点；
在由所述第二移动平台捕捉的平面对象的图像中寻找与所述3D点的2D投影相匹配的点；以及
通过使用经匹配的3D-2D点对来估计所述第二移动平台的第二姿势。
5.如权利要求4所述的方法，其特征在于，从所述基准图像提取出的所述特征包括点特征或线特征。
6.如权利要求1所述的方法，其特征在于，确定所述第一移动平台相对于所述平面对象的包括位置和定位的第一姿势由所述第一移动平台执行。
7.如权利要求1所述的方法，其特征在于，使所述平面对象的图像变形由所述第一移动平台执行。
8.如权利要求1所述的方法，其特征在于，还包括将所述基准图像传输到所述第二移动平台。
9.如权利要求1所述的方法，其特征在于，还包括由所述第一移动平台传输所述平面对象的所述至少两个图像，其中确定所述第一移动平台相对于所述平面对象的包括位置和定向的第一姿势由服务器执行。
10.如权利要求1所述的方法，其特征在于，使所述平面对象的图像变形由服务器执行。
11.如权利要求1所述的方法，其特征在于，被变形的、由所述第一移动平台捕捉的所述平面对象的图像是所述平面对象的所述至少两个图像之一。
12.如权利要求1所述的方法，其特征在于，还包括通过所述第一移动平台来捕捉所述平面对象的额外的图像，其中被变形的、由所述第一移动平台捕捉的所述平面对象的图像是所述平面对象的所述额外的图像。
13.如权利要求1所述的方法，其特征在于，还包括：
用所述第一移动平台来捕捉所述平面对象的额外的图像；
通过使用所述平面对象的所述额外的图像和所述基准图像来生成所述第一移动平台相对于所述平面对象的经更新的第一姿势；以及
基于所述第一移动平台相对于所述平面对象的经更新的第一姿势来用所述第一移动平台来执行扩增现实应用。
14.如权利要求1所述的方法，其特征在于，还包括：
使用所述第二移动平台来捕捉新的图像，所述新的图像包括所述平面对象中未被包括在所述平面对象的前向视图的基准图像中的部分；
合并所述新的图像和所述基准图像以生成所述平面对象的前向视图的新的基准图像；以及
通过使用由所述第二移动平台捕捉的平面对象的后续图像以及所述新的基准图像来确定所述第二移动平台相对于所述平面图像的经更新的第二姿势。
15.如权利要求14所述的方法，其特征在于，合并所述新的图像和所述基准图像以生成所述平面对象的前向视图的新的基准图像包括：通过单位变换将所述基准图像的像素变换成所述新的基准图像，并且将所述新的图像的像素变换成所述新的基准图像。
16.如权利要求15所述的方法，其特征在于，将所述新的图像的像素变换成所述新的基准图像是使用经计算的单应性或仿射变换中的至少一个来执行的。
17.如权利要求1所述的方法，其特征在于，所述平面对象的所述至少两个图像两者都是由所述第一移动平台捕捉的。
18.如权利要求1所述的方法，其特征在于，所述平面对象的所述至少两个图像之一是由所述第一移动平台捕捉的，而所述平面对象的所述至少两个图像中的另一个图像是由所述第二移动平台捕捉的。
19.如权利要求1所述的方法，其特征在于，通过使用所述第一移动平台的定向来使由所述第一移动平台捕捉的所述平面对象的图像变形包括使用经计算的单应性。
20.如权利要求1所述的方法，其特征在于，使所述平面对象的图像变形产生经变形的图像，所述方法还包括转换和缩放所述经变形的图像以产生所述平面对象的前向视图的基准图像。
21.一种装置，包括：
用于接收要被处理的至少两个图像的接口，所述至少两个图像包含平面对象的不同视图，其中所述至少两个图像中的至少一个图像由第一相机捕捉；
数据传输接口；
连接到所述用于接收要被处理的至少两个图像的接口以及所述数据传输接口的处理器；
连接至所述处理器的存储器；以及
保存在所述存储器中且被配置成致使所述处理器执行以下动作的软件：分析所述平面对象的至少两个图像、通过使用所述至少两个图像来确定所述第一相机相对于所述平面对象的包括位置和定向的姿势、通过使用所述定向来使所述平面对象的图像变形以产生所述平面对象的前向视图的基准图像、经由所述数据传输接口将所述基准图像传输到具有第二相机的移动平台以使用所述基准图像来执行多用户扩增现实应用。
22.如权利要求21所述的装置，其特征在于，所述装置是服务器，其中所述用于接收要被处理的至少两个图像的接口以及所述数据传输接口是外部接口，且其中所述基准图像被传输到多个移动平台。
23.如权利要求21所述的装置，其特征在于，所述装置是还包括所述第一相机的第一移动平台，其中所述用于接收要被处理的至少两个图像的接口是所述第一相机和所述处理器之间的接口，且其中所述数据传输接口是无线收发机。
24.如权利要求23所述的装置，其特征在于，存储在所述存储器中被配置成致使所述处理器通过使用所述基准图像来执行多用户扩增现实应用的软件包括：致使所述处理通过使用所述基准图像和所述平面对象的额外的图像来更新所述第一相机相对于所述平面对象的姿势的软件。
25.如权利要求24所述的装置，其特征在于，致使所述处理器更新所述第一相机的姿势的软件包括：用于从所述基准图像中提取特征、在3D平面上定义与从所述基准图像中提取出的所述特征相对应的3D点、在所述平面对象的所述额外的图像中寻找与所述3D点的2D投影相匹配的点、以及使用经匹配的3D-2D点对来更新所述姿势的软件。
26.如权利要求21所述的装置，其特征在于，保存在所述存储器中被配置成致使所述处理器确定所述第一相机相对于所述平面对象的姿势的软件包括保存在所述存储器中并且在所述处理器中运行的用于执行以下动作的软件：从所述至少两个图像中提取特征、通过使用所述特征来计算所述至少两个图像之间的2D-2D单应性h、计算所述特征的3D坐标以定义与所述平面对象的平面相对应的3D平面、通过使用所述特征和所述3D平面来计算所述3D平面和所述至少两个图像之一之间的3D-2D单应性H、以及使用所述3D-2D单应性H来确定所述姿势。
27.如权利要求21所述的装置，其特征在于，被变形以产生所述基准图像的所述平面对象的图像是所述平面对象的至少两个图像之一。
28.如权利要求21所述的装置，其特征在于，被变形以产生所述基准图像的所述平面对象的图像是所述平面对象的额外的图像。
29.如权利要求21所述的装置，其特征在于，保存在所述存储器中的软件被配置成致使所述处理器执行以下动作：将所述基准图像与新的图像合并以生成平面对象的前向视图的新的基准图像，所述新的图像包括所述平面对象中未被包括在所述基准图像中的部分，并且经由数据传输接口将该新的基准图像传输到所述具有第二相机的移动平台以使用该新的基准图像来执行多用户扩增现实应用。
30.如权利要求29所述的装置，其特征在于，保存在所述存储器中的软件被配置成致使所述处理器执行以下动作：通过经由单元变换将所述基准图像的像素变换成新的基准图像并且通过使用经计算的单应性或仿射变换中的至少一个来将所述新的图像的像素变换成新的基准图像来合并所述新的图像和所述基准图像以生成所述新的基准图像。
31.如权利要求21所述的装置，其特征在于，保存在所述存储器中的软件被配置成致使所述处理器通过使用经计算的单应性来使所述平面对象的图像变形。
32.如权利要求21所述的装置，其特征在于，保存在所述存储器中的软件被配置成致使所述处理器使所述平面对象的图像变形以产生经变形的图像，其中保存在所述存储器中且在所述处理器中运行的软件还致使所述处理器变换和缩放所述经变形的图像以产生所述平面对象的前向视图的基准图像。
33.一种移动平台，包括：
相机；
无线收发机；
连接至所述相机和所述无线收发机的处理器；
连接至所述处理器的存储器；
连接至所述存储器的显示器；以及
保存在所述存储器中且被配置成致使所述处理器执行以下动作的软件：分析平面对象的至少两个捕捉到的图像、使用所述至少两个捕捉到的图像来确定所述移动平台相对于所述平面对象的包括位置和定向的姿势、通过使用所述定向来使所述平面对象的图像变形以产生所述平面对象的前向视图的基准图像、将所述基准图像传输到至少一个其他移动平台、以及使用所述基准图像通过所述至少一个其他移动平台来执行在显示器上显示的多用户扩增显示应用。
34.一种系统，包括：
用于捕捉平面对象的至少两个图像的装置；
用于通过使用所述至少两个图像来确定第一移动平台相对于所述平面对象的包括位置和定向的第一姿势的装置；
用于通过使用所述第一移动平台相对于所述平面对象的定向来使平面对象的图像变形以产生所述平面对象的前向视图的基准图像的装置；以及
用于通过使用由第二移动平台捕捉的平面对象的第二图像以及所述基准图像来确定所述第二移动平台相对于所述平面图像的第二姿势的装置。
35.如权利要求34所述的系统，其特征在于，还包括用于基于所述第二移动平台相对于所述平面对象的所述第二姿势来通过所述第二移动平台执行扩增现实应用的装置。
36.如权利要求34所述的系统，其特征在于，所述第一移动平台包括用于确定相对于所述平面对象的包括位置和定向的姿势的装置，以及用于使所述平面对象的图像变形的装置，所述第一移动平台还包括用于将所述基准图像传输到所述第二移动平台的装置。
37.如权利要求34所述的系统，其特征在于，还包括服务器，所述服务器包括用于确定相对于所述平面对象的包括位置和定向的姿势的装置，以及用于使所述平面对象的图像变形的装置，所述服务器还包括用于接收所述平面对象的至少两个图像的装置以及用于将所述基准图像传输到所述第二移动平台的装置。
38.如权利要求34所述的系统，其特征在于，被变形的所述平面对象的图像包括所述平面对象的所述至少两个图像或者所述平面对象的额外的图像之一。
39.如权利要求34所述的系统，其特征在于，还包括用于合并所述基准图像和新的图像以生成所述平面对象的前向视图的新的基准图像的装置，所述新的图像包括所述平面对象中未被包括在所述基准图像中的部分，其中用于确定所述第二移动平台的所述第二姿势的装置通过使用由所述第二移动平台捕捉的平面对象的不同的图像以及所述新的基准图像来更新所述第二移动平台相对于所述平面对象的第二姿势。
40.如权利要求39所述的系统，其特征在于，用于合并所述新的图像和所述基准图像以生成所述新的基准图像的装置通过经由单元变换将所述基准图像的像素变换成所述新的基准图像并且通过使用经计算的单应性或仿射变换中的至少一个来将所述新的图像的像素变换成所述新的基准图像。
41.如权利要求34所述的系统，其特征在于，用于通过使用所述第一移动平台的定向来使所述平面对象的图像变形的装置使用包括转换和所述定向的经计算的单应性。
42.如权利要求34所述的系统，其特征在于，用于使所述平面对象的图像变形的装置产生经变形的图像，所述系统还包括用于转换和缩放所述经变形的图像以产生所述平面对象的前向视图的基准图像的装置。
43.一种包括存储于其上的程序代码的计算机可读介质，包括：
用于分析平面对象的至少两个图像以确定捕捉了所述至少两个图像中的至少一个图像的相机相对于所述平面对象的、包括位置和定向的姿势的程序代码；
用于通过使用所述定向使所述平面对象的图像变形以产生所述平面对象的前向视图的基准图像的程序代码；
用于传输所述基准图像的程序代码；以及
用于通过使用所述基准图像来执行多用户扩增现实应用的程序代码。
44.如权利要求43所述的计算机可读介质，其特征在于，还包括：
用于将所述基准图像和新的图像合并以生成所述平面对象的前向视图的新的基准图像的程序代码，所述新的图像包括所述平面对象中未被包括在所述基准图像中的部分；
用于传输所述新的基准图像的程序代码；以及
用于通过使用所述新的基准图像来执行所述多用户扩增现实应用的程序代码。
45.如权利要求44所述的计算机可读介质，其特征在于，用于合并所述新的图像和所述基准图像以生成所述新的基准图像的程序代码包括：
用于通过单位变换将所述基准图像的像素变换成所述新的基准图像的程序代码；
用于通过使用经计算的单应性或仿射变换中的至少一个来将所述新的图像的像素变换成所述新的基准图像的程序代码。
CN201180043651.3A 2010-09-09 2011-09-09 用于多用户扩增现实的在线基准生成和跟踪的方法、装置和系统 Active CN103155001B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38134410P 2010-09-09 2010-09-09
US61/381,344 2010-09-09
US13/082,187 2011-04-07
US13/082,187 US9013550B2 (en) 2010-09-09 2011-04-07 Online reference generation and tracking for multi-user augmented reality
PCT/US2011/051109 WO2012034092A1 (en) 2010-09-09 2011-09-09 Online reference generation and tracking for multi-user augmented reality

Publications (2)

Publication Number Publication Date
CN103155001A true CN103155001A (zh) 2013-06-12
CN103155001B CN103155001B (zh) 2017-09-08

Family

ID=44678049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180043651.3A Active CN103155001B (zh) 2010-09-09 2011-09-09 用于多用户扩增现实的在线基准生成和跟踪的方法、装置和系统

Country Status (6)

Country Link
US (2) US9013550B2 (zh)
EP (1) EP2614487B1 (zh)
JP (1) JP5660648B2 (zh)
KR (2) KR20150082684A (zh)
CN (1) CN103155001B (zh)
WO (1) WO2012034092A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955499A (zh) * 2014-04-22 2014-07-30 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN104850229A (zh) * 2015-05-18 2015-08-19 小米科技有限责任公司 识别物体的方法及装置
CN106776267A (zh) * 2015-11-25 2017-05-31 富士通株式会社 网页应用兼容性测试方法和网页应用兼容性测试设备
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171221B2 (en) * 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8305456B1 (en) 2011-05-11 2012-11-06 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US9305361B2 (en) * 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
US9875542B2 (en) * 2012-01-23 2018-01-23 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
KR20130117303A (ko) * 2012-04-18 2013-10-25 삼성전자주식회사 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US9131295B2 (en) 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9269146B2 (en) * 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9214021B2 (en) * 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9076257B2 (en) 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US10733798B2 (en) 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9633442B2 (en) * 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6248732B2 (ja) * 2014-03-20 2017-12-20 コニカミノルタ株式会社 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラム
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
EP2940989B1 (en) * 2014-05-02 2022-01-05 Samsung Electronics Co., Ltd. Method and apparatus for generating composite image in electronic device
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10659750B2 (en) * 2014-07-23 2020-05-19 Apple Inc. Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US20160134860A1 (en) * 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
WO2016155767A1 (en) * 2015-03-30 2016-10-06 Siemens Aktiengesellschaft Method and system for determining an orientation of a mobile device
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
US9800778B2 (en) * 2015-07-21 2017-10-24 Qualcomm Incorporated Camera orientation notification system
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US9747668B2 (en) * 2016-01-21 2017-08-29 Disney Enterprises, Inc. Reconstruction of articulated objects from a moving camera
JP6775969B2 (ja) * 2016-02-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP3596702A4 (en) * 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
CN107133986B (zh) * 2017-04-26 2019-08-20 武汉科技大学 一种基于二维标定物的相机标定方法
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10643373B2 (en) 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
US10779011B2 (en) 2017-07-31 2020-09-15 Qualcomm Incorporated Error concealment in virtual reality system
US10304254B2 (en) 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
US10908428B2 (en) * 2018-09-25 2021-02-02 Facebook Technologies, Llc Multiple-device system with multiple power and data configurations
US10547974B1 (en) * 2019-03-19 2020-01-28 Microsoft Technology Licensing, Llc Relative spatial localization of mobile devices
WO2020231872A1 (en) 2019-05-10 2020-11-19 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US10949960B2 (en) * 2019-06-20 2021-03-16 Intel Corporation Pose synthesis in unseen human poses
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
CN114746717A (zh) 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11663736B2 (en) * 2019-12-27 2023-05-30 Snap Inc. Marker-based shared augmented reality session creation
KR102245760B1 (ko) * 2019-12-31 2021-04-29 주식회사 버넥트 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US20210327119A1 (en) * 2020-04-17 2021-10-21 Occipital, Inc. System for Generating a Three-Dimensional Scene Reconstructions
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
US11483533B2 (en) 2021-01-05 2022-10-25 At&T Intellectual Property I, L.P. System and method for social immersive content rendering
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220891A1 (en) * 2007-01-22 2010-09-02 Total Immersion Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353679B1 (en) * 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
NZ539632A (en) * 2002-10-22 2008-01-31 Artoolworks Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
EP1766580A2 (en) * 2004-07-14 2007-03-28 Braintech Canada, Inc. Method and apparatus for machine-vision
JP4689380B2 (ja) * 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
US7313252B2 (en) * 2005-03-25 2007-12-25 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
JP2007033087A (ja) 2005-07-22 2007-02-08 Sony Corp キャリブレーション装置及び方法
WO2008060916A2 (en) * 2006-11-09 2008-05-22 University Of Florida Research Foundation, Inc. Passive single camera imaging system for determining motor vehicle speed
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20110115671A1 (en) 2009-11-17 2011-05-19 Qualcomm Incorporated Determination of elevation of mobile station
US8427536B2 (en) 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
US9412164B2 (en) * 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration
US20120011142A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220891A1 (en) * 2007-01-22 2010-09-02 Total Immersion Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GILLES SIMON等: "Markless Tracking using Planar Structures in the Scene", 《AUGMENTED REALITY》, 6 October 2000 (2000-10-06), pages 122 - 125 *
LILY LEE等: "Monitoring Activities from Multiple Video Streams: Establishing a Common Coordinate Frame", 《IEEE TANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 22, no. 8, 31 August 2000 (2000-08-31), pages 763 - 764 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955499A (zh) * 2014-04-22 2014-07-30 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN103955499B (zh) * 2014-04-22 2018-02-02 北京航空航天大学 一种基于即时计算与动态追踪的视觉体验增强方法
CN104850229A (zh) * 2015-05-18 2015-08-19 小米科技有限责任公司 识别物体的方法及装置
US10133957B2 (en) 2015-05-18 2018-11-20 Xiaomi Inc. Method and device for recognizing object
CN104850229B (zh) * 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
CN106776267A (zh) * 2015-11-25 2017-05-31 富士通株式会社 网页应用兼容性测试方法和网页应用兼容性测试设备
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测
CN110969658B (zh) * 2018-09-28 2024-03-29 苹果公司 利用来自多个设备的图像进行定位和标测

Also Published As

Publication number Publication date
EP2614487A1 (en) 2013-07-17
US9558557B2 (en) 2017-01-31
WO2012034092A1 (en) 2012-03-15
KR20150082684A (ko) 2015-07-15
JP5660648B2 (ja) 2015-01-28
WO2012034092A8 (en) 2012-10-18
JP2013539872A (ja) 2013-10-28
KR101689923B1 (ko) 2016-12-26
KR20130051501A (ko) 2013-05-20
US9013550B2 (en) 2015-04-21
US20150193935A1 (en) 2015-07-09
CN103155001B (zh) 2017-09-08
EP2614487B1 (en) 2021-01-06
US20120062702A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
CN103155001A (zh) 用于多用户扩增现实的在线基准生成和跟踪
US9928656B2 (en) Markerless multi-user, multi-object augmented reality on mobile devices
CN110310326B (zh) 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质
US9674507B2 (en) Monocular visual SLAM with general and panorama camera movements
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US20120293635A1 (en) Head pose estimation using rgbd camera
CN105593877A (zh) 基于动态地构建的环境地图数据进行物体追踪
CN109920055A (zh) 三维视觉地图的构建方法、装置与电子设备
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
CN114814872A (zh) 位姿确定方法及装置、电子设备和存储介质
CN103492899A (zh) 用于扩增实境的在线参考补丁产生和姿态估计
US20190026924A1 (en) Method and Apparatus for Calibration of a Multi-Camera System
JP2018524657A (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
KR20180015961A (ko) 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
CN113313097A (zh) 人脸识别方法、终端及计算机可读存储介质
JP5843288B2 (ja) 情報提示システム
CN113361365A (zh) 定位方法和装置、设备及存储介质
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
WO2024001847A1 (zh) 2d标志物、室内定位方法及装置
CN117115244A (zh) 云端重定位方法、装置及存储介质
CN116664893A (zh) 一种初始化姿态确定方法、装置、计算机设备及存储介质
Nguyen et al. Panoramic image-based navigation for smart-phone in indoor environment
EP4226321A1 (en) Estimating a boundaries of an object of interest (ooi) within a three-dimensional model of an area
CN117073663A (zh) 一种建图与定位方法、装置及上位机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant