CN111373410A - 增强现实环境的位所识别 - Google Patents

增强现实环境的位所识别 Download PDF

Info

Publication number
CN111373410A
CN111373410A CN201880075152.4A CN201880075152A CN111373410A CN 111373410 A CN111373410 A CN 111373410A CN 201880075152 A CN201880075152 A CN 201880075152A CN 111373410 A CN111373410 A CN 111373410A
Authority
CN
China
Prior art keywords
physical
markers
marker
relative
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880075152.4A
Other languages
English (en)
Inventor
泽维尔·贝纳维德斯·帕洛斯
布雷特·巴罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111373410A publication Critical patent/CN111373410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种方法，包括：在第一设备中接收被安置在位置处的物理标记的相对描述文件，该相对描述文件定义物理标记中的每一个物理标记关于物理标记中的至少另一个物理标记的相对位所；通过使用第一设备的图像传感器在视觉上捕获物理标记中的任一个第一物理标记来初始地定位第一设备在物理标记当中的位所；以及识别物理标记中的第二物理标记和第二物理标记的位置而无需视线，第二物理标记使用该相对描述文件来识别。

Description

增强现实环境的位所识别
相关申请的交叉引用
本申请要求于2017年11月22日提交的标题为“POSITIONAL RECOGNITION FORAUGMENTED REALITY ENVIRONMENT”的美国非临时专利申请No.15/820,808的优先权，并且是该申请的继续，其公开内容通过引用被整体合并在此。
技术领域
此文件通常涉及用于增强现实环境的位所识别。
背景技术
在基于计算机的媒体和其他内容的消费的情况下，向参与者提供沉浸式体验变得越来越普遍。一个领域涉及在诸如智能手机或平板电脑的设备上呈现虚拟现实(VR)和/或增强现实(AR)环境。在AR环境中，人们可以观看至少呈现物理环境的方面(例如，物理空间的视频或图像)和VR的方面(例如，叠加在视频或图像上的虚拟对象)两者的屏幕。
发明内容
在第一方面，一种方法包括：在第一设备中接收被安置在位置处的物理标记的相对描述文件，相对描述文件定义物理标记中的每一个物理标记关于物理标记中的至少另一个物理标记的相对位所；通过使用第一设备的图像传感器在视觉上捕获物理标记中的任一个第一物理标记来初始地定位第一设备在物理标记当中的位所；以及识别物理标记中的第二物理标记以及第二物理标记的位置而无需视线，第二物理标记使用相对描述文件来识别。
实施方式可以包括以下特征中的任一个或所有。至少第一物理标记可以包括代码。至少第一物理标记可以包括自然标记。该方法可以进一步包括在第一设备的显示器上呈现增强现实环境，增强现实环境包含至少使用第一设备的相机捕获的图像和至少应用于图像的第一虚拟对象。第一虚拟对象可以在图像中被安置在相对于第一物理标记的预定义位置处。第一设备的位所可以通过将相机以第一方向朝向第一物理标记对准来初始地定位，并且在第一设备的位所被初始地定位之后，用户可以将相机以第二方向对准，并且识别第二物理标记可以包括使用相对描述文件来确定第二物理标记的位置位于第二方向。该方法可以进一步包括在相对于第二物理标记的预定义位所处利用第二虚拟对象来更新增强现实环境。用户可以将第一设备移动到第二物理标记的位置，并且在第二物理标记的位置处，第一物理标记可能在增强现实环境中不再可见，并且用户可以将相机以第三方向朝向第一物理标记的位置对准而无需视线，该方法可以进一步包括在相对于第一物理标记的预定义位置处利用第一虚拟对象来更新增强现实环境。在第二物理标记被识别之前，将第二物理标记可以被从第二物理标记的位置移除，并且第二物理标记和第二物理标记的位置可以使用相对描述文件来识别。初始地定位第一设备的位所可以包括基于第一物理标记的位置来对第一设备的坐标系定中心(center)，其中，识别第二设备物理标记不包括对坐标系重新定中心(re-center)。对第一设备的坐标系定中心可以包括重新校准坐标系的中心以校正跟踪误差。该方法可以进一步包括向第二设备提供相对描述文件，其中，第二设备被配置成通过使用第二设备的图像传感器在视觉上捕获物理标记中的任何一个物理标记来初始地定位第二设备在物理标记当中的位所，并使用相对描述文件来识别物理标记中的所有剩余物理标记的位置而无需视线。相对描述文件可以是第一相对描述文件，并且该方法可以进一步包括从第二设备接收第二相对描述文件，以及至少部分地合并第一相对描述文件和第二相对描述文件。相对描述文件可以定义第二物理标记关于第一物理标记的相对位所，相对位所包括第二物理标记相对于第一个物理标记的位移。第一设备可以识别物理标记中的至少一些物理标记，并且该方法可以进一步包括在第一设备上生成反映第一设备已识别的物理标记中的至少一些物理标记的日志。相对描述文件可以定义物理标记中的每一个物理标记关于物理标记中的所有其他物理标记的相对位所。
在第二方面，一种非暂时性存储介质可以具有存储在其上的指令，所述指令在被执行时被配置成使处理器执行操作，所述操作包括：在第一设备中接收被安置在位置处的物理标记的相对描述文件，相对描述文件定义物理标记中的每一个物理标记关于物理标记中的至少另一个物理标记的相对位所；通过使用第一设备的图像传感器在视觉上捕获物理标记中的任一个第一物理标记来初始地定位第一设备在物理标记当中的位所；以及识别物理标记中的第二物理标记以及第二物理标记的位置而无需视线，第二物理标记使用相对描述文件来识别。
在第三方面，一种系统包括：第一设备，第一设备被配置成针对被安置在位置处的物理标记中的每一个物理标记，接收使用第一设备确定的位置点，位置点中的每一个位置点与物理标记中的相应一个物理标记相关联，第一设备进一步被配置成基于位置点来生成物理标记的相对描述文件，所述相对描述文件定义物理标记中的每一个物理标记关于物理标记中的至少另一个物理标记的相对位所；和第二设备和第三设备，第二设备和第三设备均被配置成接收由第一设备生成的相对描述文件，其中，第二设备和第三设备中的每一个进一步被配置成通过分别使用第二设备或第三设备的图像传感器在视觉上捕获物理标记中的任何一个物理标记来分别初始地定位第二设备或第三设备在物理标记当中的位所，并且使用相对描述文件识别物理标记中的所有剩余物理标记的位置而无需视线。
在第四方面，一种方法包括：在第一设备中针对被安置在位置处的物理标记中的每一个物理标记接收使用第一设备确定的位置点，位置点中的每一个位置点与物理标记中的相应一个物理标记相关联；基于位置点来生成物理标记的相对描述文件，相对描述文件包括物理标记中的每一个物理标记关于物理标记中的至少另一个物理标记的相对位所；以及向至少第二设备和第三设备提供相对描述文件，其中，第二设备和第三设备中的每一个被配置成通过分别使用第二设备或第三设备的图像传感器在视觉上捕获物理标记中的任何一个物理标记来分别初始地定位第二设备或第三设备在所述物理标记当中的位所，并使用相对描述文件识别物理标记中的所有剩余物理标记的位置而无需视线。
实施方式可以包括下述特征中的任意一个或者全部。物理标记中的至少一个可以包括代码。物理标记中的至少一个可以包括自然标记。
附图说明
图1示出可用于在增强现实(AR)环境中生成沉浸式体验的系统的示例。
图2A-D示出具有AR环境的设备的示例。
图3示出共享相对描述文件并且将它们彼此合并的设备的示例。
图4示出涉及相对描述文件(RDF)的生成的方法的示例。
图5示出涉及使用RDF识别标记的方法的示例。
图6示出涉及至少一个设备共享RDF并且将RDF与接收到的RDF合并的方法的示例。
图7示出根据所公开的实施例的计算机设备和移动计算机设备的示例。
在各个附图中，相似的附图标记指示相似的元件。
具体实施方式
该文档描述在增强现实(AR)环境中识别标记及其相对位所和定向的示例。AR环境可以包括物理现实的影像(例如，用户周围的相机视图)和虚拟现实的影像(例如，AR对象)。然后，AR环境的呈现可以向用户提供视图，该视图同时显示物理现实的影像中的至少一些和虚拟现实的影像中的至少一些。在一些实施方式中，相对描述文件(RDF)可以定义已经放置在相应位置的物理标记的特定集合之间的相对位所。这种RDF的大小可能会比较受限，并且易于与多个设备共享。具有RDF的设备可以通过识别物理标记之一(例如，使用相机)来定位其自身位所，以外推设备的位所和定向，并且可以使用RDF来学习，并也当这些标记当前不可见或无法被设备直接检测到时，基于其他物理标记的位置和标识来行动。一些实现方式可以标识物理标记的相对位所和定向，而本文中的某些示例出于简洁目的仅提及位所的标识。一些实施方式也可以或替代地应用于虚拟现实系统，例如，以提供沉浸式虚拟现实体验。
处置AR环境的现有系统已尝试在物理环境中使用独特且可识别的项(诸如QR代码)作为虚拟对象的锚点。但是，这样的系统可能取决于到项的视线的可用性。作为另一个示例，在识别出第一个这样的标记之后，第二个(或后续的)标记的识别可以触发所应用的坐标系的重新定中心。当设备不再看到标记时，它可能会丢失位所的上下文，因为这样的系统在看不见标记后可能无法外推在世界中的位所。也就是说，系统通常配置成将捕获的标记视为设备的“世界中心”，以用于呈现AR环境的目的，使得AR坐标系被定中心在标记所坐落的位置。这种方法的一个缺点是，如果使用多于一个标记，则在某种意义上无论何时设备捕获到下一个标记，设备都对其坐标系重新定中心。另一个缺点是，当有多个设备参与时，对世界中心在哪里有共同的理解可能会变得充满挑战。
一些先前的系统已经尝试使用区域描述文件(ADF)来促进在AR场境中标记的使用。创建ADF可能是一个繁琐的过程，因为可能有必要带着设备在房间里四处走走，并让相机获得所有存在的结构和对象的细节。该方法基于在初步阶段创建对物理位置的全面理解。取决于物理空间的大小及其中结构的复杂性，所产生的ADF可能会相对较大。在多设备场景中，其中数个设备应正使用相同的ADF以便于促进用户的共同的AR体验，将大的ADF分发给所有设备可能会花费一些时间，并且可能会对通信网络施加重大要求。
最近，一些AR系统已经采取了稍微不同的设备定向方法。例如，一些系统被配置成使用在诸如智能手机或平板电脑的手持设备上的多个镜头执行环境跟踪。该系统可以使用两个镜头和红外信号来有效地三角测量其在房间内的位所。这可以允许Tango系统具有立体视觉，并形成对房间的包括其深度的立体观视理解以及在房间中有哪些表面和物体。系统可以方便地映射这些特征以促进其空间理解。其他系统使用类似技术提供AR功能性。
一些AR系统的一个特性是能够从感测设备在房间中的位置外推的能力。该系统可以依靠物理世界中的定位点来执行位所的连续外推，以从该定位点扩展其对空间结构的理解。这样的一个好处是系统不依赖于具有到已知标记的视线。而是，通过从设备的当前位所外推，系统可以推断标记的位置，并可以基于其来执行AR功能，诸如将虚拟对象放置在与标记相对应的位置。
在一些实施方式中，系统可以将物理标记用于至少两个有益目的：指示空间中的位所，例如，以定义设备的世界中心；以及使用一个或多个标记作为针对观众的对他们可以预期AR对象出现的地方的现实世界线索。在一些实施方式中，诸如演讲或游览的教育会议的组织者可以在房间或其他物理位置上放置标记。组织者可以使用手持设备捕获各个标记，使得为AR系统定义哪个标记位于何处。当出席者使用他们自己的设备捕获标记时，所选虚拟对象可以在出席者的相应设备上呈现的AR环境中变得可见。仅举两个例子，虚拟对象可以全部基本上彼此相同，或者虚拟对象中的两个或更多个可以彼此不同。虚拟对象可以具有任何外观。在一些实施方式中，一个或多个虚拟对象可以包括诸如广告的内容。基于知道标记相对于彼此的相对位置，AR系统可以在出席者的设备直接检测到标记之前，向出席者显示与该标记相对应的虚拟对象。在下面描述示例。
图1示出系统100的示例，该系统100可以被用于通过AR环境来生成沉浸式体验。在一些实施方式中，沉浸式体验允许用户结合物理现实的影像看到一个或多个AR对象。例如，沉浸式体验可以以游览的形式进行组织，其包括被安置在相对于物理现实的相应位置处的多个AR对象。这里在空间102中示出系统100，该空间可以是任何种类的物理空间，包括但不限于房间或其他室内或室外房屋。这里从上方示意性地示出空间102。空间102中的桌子104A-B是可见的。例如，游览的组织者可能正在计划参与者应该参观桌子104A-B上的数个位所，并且那里呈现有AR体验作为游览的部分。可以替代或附加地使用桌子以外的任何其他物理结构。
组织者可以在空间102中放置多个标记。这里，标记106A和106B已放置在台子104A顶部，并且标记106C和106D已放置在桌子104B顶部。例如，组织者可能已经决定应该以字母顺序从106A到106D来参观标记106A-D，或者可以以随机的顺序来参观它们。标记106A-D可以被用于触发一个或多个虚拟对象的出现并为其定义位置，该虚拟对象将对游览参与者来说是可见的，例如，在下面将会进行描述。
被安置在标记106A-D之一处的参与者可以具有到一个或多个其他标记的视线。视线在可用时可以允许参与者和/或参与者的设备从其当前位所查看(例如，沿直线直接查看)其他标记。但是，在一些情况下，视线不可用。例如，诸如墙壁108的结构可以被安置在两个或更多个标记之间。作为另一个示例，参与者和参与者的设备可以从其它标记当前很难或无法从当前位所感知的特定的查看点(视角)查看其他标记。
组织者可以使用一个或多个设备来创建AR体验。在此，在空间102中示意性地示出设备110。可以使用任何类型的设备，包括但不限于智能电话或平板设备。设备110在这里包括AR系统112。AR系统使用光感测(例如，红外光)和两个或更多个镜头来在空间102中生成立体视觉，以便形成其立体观视理解，该立体观视理解允许AR系统112还外推到当前没有视线到其中的空间102的位所。例如，AR系统112可以是AR系统或者其部分，该AR系统使用感测设备并且被配置成使用物理世界中的定位点从感测设备在房间中的位置外推。这样的AR系统可以执行位所的连续外推以从该定位点扩展其对空间结构的识别。在一些实施方式中，部分在设备110上并且部分在一个或多个其他设备(例如，另一手持设备或云系统)上执行AR系统112。
设备110可以具有一个或多个显示屏114。在一些实施方式中，显示屏可以是触摸屏。例如，显示屏114可以呈现控件116，该控件允许组织者使用设备110和(在此)标记106A-D创建游览。已经使用控件116激活AR系统112，组织者可以以任何顺序参观分布的标记106A。在此，例如，组织者以该顺序参观位置118A至118D，以捕获相应标记106A-D。设备可以在每个位置处捕获对应的标记并记录其位置。例如，组织者可以使用可以在显示屏114上呈现的控件120来触发捕获。作为另一个示例，设备110可以从来自其传感器的信号中连续地监视诸如标记106A-D的标记的存在，并且每当被检测到时可以捕获这样的标记。当设备捕获标记106A-D中的任意一个时，AR系统112可以注册标记的身份和标记的位所。例如，这种注册在这里可以反映出标记106A被安置在位置118处，标记106B被安置在位置118B处，标记106C被安置在位置118C处，并且标记106D被安置在位置118D处。可以相对于已知位所定义任何或所有标记的位所，诸如相对于锚标记或其他定位点的位所，例如下面将进行描述。
设备110的初始定位(相比于该示例中的标记106A-D中的任一个)可能不一定意味着该特定标记随后被定义为AR世界的(0,0,0)。相反，可以通过相对于RDF定义的世界中心的偏移来定义定位标记。可以通过较早的定位(例如，通过在物理环境中布置/定义标记的人员)或通过定义(诸如通过选择北极)来建立这样的中心。
AR系统112可以基于用设备110完成的标记106A-D的捕获来生成一个或多个数据结构。在此，生成相对描述文件(RDF)122。RDF 122定义标记106A-D中的每一个关于标记106A-D中的至少另一个的相对位所。在一些实施方式中，标记106A可以被认为是锚标记。RDF 122可以基于检测到的标记106A的位所来定义标记106B的相对位所；可以基于检测到的标记106B的位所来定义标记106C的相对位所；并且可以基于检测到的标记106C的位所来定义标记106D的相对位所。例如，如果使用针对空间102的笛卡尔坐标系将标记106A的位置定义为(0,0,0)，则可以将标记106B的相对位所定义为相对于标记106A的位所的位移(50,100,0)。在一些实施方式中，RDF 122定义标记106A-D中的每一个关于所有其他标记106A-D的相对位置。
在一些实施方式中，用户可以通过将设备110对准标记106A-D之一开始。设备110可以识别标记106A-D之一，并基于设备110的当前位所和/或定向(例如，在RDF 122中)存储该标记的位所。基于设备110识别标记106A-D中的一个，一个或多个虚拟对象可以与标记106A-D之一的位置相关联地(例如，在该标记的顶部)呈现在显示屏114上。此呈现可以表征为向用户展示体验。用户可以与设备110一起在空间102周围移动。在某一时刻，设备110(例如，使用相机或设备110的其他图像传感器)可以找到标记106A-D中的另一个。然后，设备112可以更新其存储的信息(例如，编辑RDF 122)以反映关于新标记的信息。例如，新标记可以被定义为至少具有相对于首先被识别的标记的位所和旋转(例如，定向)。即，此时RDF122可以包含两个标记的定义。类似地，可以识别一个或多个附加标记，并且RDF 122相应地更新。
标记106A-D可被设备110上的传感器识别，从而可以相应地捕获标记106A-D。可以使用一种或多种合适形式的标记。在一些实施方式中，可以使用代码。代码可以是数字代码。例如，标记可以包括由设备110上的光传感器(例如，相机)检测到的QR代码。在一些实施方式中，可以使用非代码标记。例如，自然标记可以是具有足够数量的特征、丰富的对比度和/或具有独特形状的任何相对平的图像。可以通过设备110上的光传感器(例如，相机)来检测自然标记。在一些实施方式中，标记可以包括在物理环境中出现的一个或多个特征。可以定义这种标记，而无需物理干预物理环境。可以将坐落在物理环境中的对象定义为标记。例如，可以使用自然标记，包括但不限于具有高对比度边缘的独特照片或具有独特边缘的几何设计。可以使用真实世界的标记，包括但不限于例如桌子上的纹理的照片捕获到的图像，其可以类似于指纹来使用。通过至少自然标记和现实标记，该系统寻找基于图像的特征的集合。在一些实施方式中，可以将这些标记代码更确切地转换为位和字节。基于所捕获到的图像，可以确定相关联的标记身份。
这样，系统100可以被用于执行与标记定义和/或识别有关的一个或多个过程。例如，设备110可以接收与位置118A-D相对应的标记106A-D中的每一个的位置点。位置点可以被用于生成RDF 122。RDF 122可以定义标记106A-D中的每一个关于标记106A-D中的至少另一个的相对位所。可以将这种RDF 122提供给一个或多个设备，以用于提供AR体验，例如下面将要描述的。
在一些实施方式中，可以在由相应物理标记组织的单独分组中表示多个AR实体。例如，具有不同兴趣的用户可以以彼此不同的顺序探索此类分组。在一些实施方式中，使用实施方式的教师可以将用户划分到教室中桌子当中的组以进行空间管理。教师可以在桌子之间移动组以视察新的AR对象或AR环境。例如，用户组中的每一个可以保留在教室的相应区域中，并且然后可以轮流向剩下的用户教导他们的组已经探索过的AR对象。被安置在教室中其他地方的其他组中的用户可以将他们的设备对准展示的组，并看到相关的AR对象。
图2A-D示出具有AR环境的设备的示例。在图2A中，示出设备200，诸如具有至少一个显示屏202的手持设备。设备200可以与设备110(图1)相似或相同。可以在显示屏202上呈现AR环境204。AR环境204可以包括使用设备200的相机捕获的至少一个图像206。例如，在图像206中地板208和桌面表面210的部分在此可见。在一些实施方式中，桌面表面210可以对应于其上放置标记106A-B的桌子104A(图1)。例如，AR环境204在这里可以反映出标记106A已经被捕获。标记106A是可由相机检测到的物理对象，并且在这里在AR环境204的图像206中可见。图像206可以是静止图像，或者可以是由设备200的相机捕获到的本质上实时视频的连续馈送。AR环境204可以包括应用于图像206的至少一个虚拟对象212。这里，对象212是苹果。例如，苹果是已经指配给标记106A的AR元素。对象212被放置在相对于标记106A的预定义位置中的位所处。在此示例中，对象212已经被应用于桌面表面210，但是可以替代地或附加地应用于图像206的任何其他部分或方面，诸如通过使AR元素在AR环境204内移动。
设备200包括如示意性指示的AR系统214。例如，AR系统可以与AR系统112(图1)相同或相似。AR系统214可以接收、维护和使用一个或多个RDF 216。RDF 216可以与RDF 122(图1)相似或相同。在一些实施方式中，设备(例如，图1中的设备110)可以向一个或多个诸如设备200的设备提供RDF 216。设备200可以被配置成通过在视觉上捕获标记中的任意一个来初始地将其位所定位在多个标记(例如，图1中的标记106A-D)当中。例如，设备200可以包括图像传感器(例如，相机)，并且可以使用图像传感器在视觉上捕获标记中的任一个或所有。设备200还可以被配置成使用RDF 216以识别所有剩余的标记及其位置而无需视线。例如，在设备200定位在标记106A-D之一(图1)之后，还当设备200不具有对任何此类标记的直接视线时，RDF 216还将向AR系统214通知标记106A-D中的所有其他标记的身份和位置。
AR系统214可以使用设备200的一个或多个传感器218来捕获标记。在一些实施方式中，可以使用光传感器。例如，用于红外光的传感器可以使用设备200上的两个镜头来获得物理位置的立体观视视图。
来自传感器218的信号可以由一个或多个图像分析器220解释。例如，图像分析器220可以读取包括QR代码的视觉符号，并向AR系统214通知在符号中已编码的信息。作为另一示例，图像分析器220可以捕获自然标记的图像，并且将所捕获的图像的至少部分与图像到标识符的映射进行比较，以确定所捕获的自然标记的身份。
RDF 216可以允许用户体验各种方面作为由分布式标记定义的游览的部分。例如，在用户定位设备200之后，诸如通过捕获如图2A中所指示的标记106A，用户可以将传感器218(例如，相机或其他光传感器)对准某个方向，并且系统将指示是否沿着该方向安置了任何标记。例如，假设并且再次参考图1，用户站在位置118A处并且将设备200的传感器对准标记106C被安置的位置118C。然后视线可以被墙壁108阻断。也就是说，设备200从位置118A朝向位置118C不具有视线。图2B示出在这种情况下设备200的显示屏202可以呈现什么的示例。在AR环境204中，更新的图像206’示出墙壁108在当前方向上基本上阻挡视线。桌子104B被墙壁108遮蔽，但是为了清楚起见以幻影指示。
设备200的AR系统214可以访问RDF 216，其定义可用标记的相对位所。在此，该设备当前被安置在位置118A处，并且对准桌子104B的方向。然后，RDF 216可以基于设备200的当前位置和传感器的当前方向来指示标记106C被安置在该方向上。即，AR系统214可以外推超出墙壁108并且可以确定如果没有墙壁108标记106C将在当前视线内。因此AR系统214可以在当前情况下识别标记106C，尽管标记106C当前对于设备不可见。基于对标记106C的识别，AR系统214可以在AR环境204中放置一个或多个虚拟对象222。例如，虚拟对象222在这里是香蕉，其被添加到虚拟环境204中的图像206’。即，在使用标记106A将设备200的位所初始地定位在位置118A之后，用户可以将设备200的相机对准任意方向。然后，通过使用RDF 216确定标记106C关于标记106A的相对位置位于当前方向，可以识别出另一个标记(例如，标记106C)。
在一些实施方式中，AR系统214可以在上述情况下识别标记106C及其位所，不管标记106C是否仍在该位置。即，该识别可以是基于RDF 216，其相对于在该示例中设备200当前被安置的位置118A定义位置118C。这样，AR系统可以基于RDF 216中的信息，将位置118C识别为在初始捕获标记106C的位置，并且可以基于该识别而在AR环境204中呈现虚拟对象222。即，标记106C可以从位置118C移除，并且此后仍然可以由AR系统214基于RDF 216来识别。
AR系统214可以日志记录关于设备200的一个或多个事件。在一些实施方式中，AR系统214可以在设备200上生成反映该示例中设备200已经识别出的标记106A和106C的日志。如果设备还识别出其他标记(例如，图1中的标记106B和106D中的一个或多个)，则这可以反映在日志中。
RDF 216可以有助于识别在RDF 216中定义了其相对位所的任何标记。例如，假设用户移动到位置118C(图1)并且将设备200的相机对准朝向位置118A的方向。然后，RDF 216可以基于设备200的当前位置和传感器的当前方向来指示标记106A被安置在此方向上。图2C示出虚拟对象212已经被添加到呈现在显屏幕202上的AR环境204的图像206”上。也就是说，尽管桌子104A(这里示意性地指示)被墙壁108遮蔽，AR系统214仍然可以外推超出视线的这种阻断，识别不可见的标记106A并将虚拟对象212放置在正确的位所。例如，如果设备200由于任何原因在设备200被安置在位置118C时已经失去其定位，则用户可以将设备200相比于标记106C重新定位，并且其后将相机对准其他位置，诸如朝向位置118A。因为在该示例中设备200再次被定位，并且因为RDF 216指示虚拟对象相对于设备200的位所，所以系统可以放置虚拟对象212，使得从当前位置对用户可见，尽管设备200当前未检测到标记106A(图2A)本身。
诸如在位置118A中的标记106A处的设备的初始定位可以对应于该位置上的设备200的坐标系的定中心。例如，AR系统214可以基于来自一个或多个传感器218的读数来定义坐标系。此外，如果设备200被移动到位置118D，当AR系统214随后检测到诸如标记106D的另一标记时，AR系统214可能不会对坐标系重新定中心。而是，AR系统214可以基于在RDF 216中定义的相对位所来识别标记118D，并且可以基于所识别的标记来将虚拟对象放置在的位所中，而无需在这样做时对其坐标系重新定中心。尽管坐标系未重新定中心，但可以重新校准坐标系的中心。例如，可以这样做来纠正跟踪误差。在一些实施方式中，随后的标记(例如，标记106C)可以用于重新定位设备200，使得在将设备200从例如标记106A重新定位到标记106C时的任何跟踪误差都被纠正。
在一些实施方式中，可以基于物理标记的位置通过将设备的坐标系定中心来初始地定位设备200的位所。然后另一个物理标记可以被用于将坐标系重新定中心。这样做，任何虚拟对象(例如，虚拟对象212、222)可以继续呈现在相同空间中。在一些实施方式中，这可以以相机直通(passthrough)的方式而发生，例如因为相对坐标比例相同。这样，可以将系统重新定中心但将虚拟对象保持在同一位置。也就是说，整个虚拟世界可以位移，但是标记的相对位所可以保持相同。
可以与一个或多个设备共享RDF 216。例如，图2D示出设备224，该设备224在其显示屏226上呈现AR环境228，该AR环境228当前包括具有被应用于其的虚拟对象232的图像230。设备224可以与设备200相似或相同。例如，设备224参观位置118B(图1)并在那里识别标记106B，其中虚拟对象232由该标记的识别触发。设备224可以通过捕获标记106A-D中的任意一个来将其位所初始定位在空间102(图1)中。例如，虚拟对象232的呈现可以由设备224在位置118B处的定位来触发，或者设备224可能先前已经被定位在标记中的另一个处，并且其后可以基于已经接收到的RDF 216来识别标记118B。即，具有相同RDF的两个设备(例如，RDF 216)可以将它们的位所定位在相同或不同的标记处，并且然后对分布标记的空间具有共同的空间理解。仅举两个例子，可以由另一参与者设备(例如，设备200)或组织者的设备(例如，图1中的设备110)与设备224共享RDF 216。
图3示出共享RDF并将它们彼此合并的设备的示例。在此，物理标记300A-C已经分布在物理空间中。这里，RDF 302A由第一设备使用(例如，存储在第一设备上)，而RDF 302B由第二设备使用(例如，存储在第二设备上)。在该示例中的第一设备仅参观标记300A和300B，而不参观标记300C。例如，第一设备将其位所定位在标记300A处，并且其后捕获标记300B，反之亦然。因此，RDF 302A定义连接标记300A-B的相对位所304A。例如，相对位所304A可以包括标记300B相对于标记300A的位移。相反，RDF 302A没有定义关于尚未被第一设备捕获到的标记300C的任何相对位所。实际上，在这种情况下，标记300C可能不存在于RDF302A中，但此处出于说明目的而示出。
此外，在此示例中，第二设备仅参观标记300B和300C，而不是标记300A。例如，第二设备将其位所定位在标记300B处，并且其后捕获标记300C，反之亦然。因此，RDF 302B定义连接标记300B-C的相对位所304B。例如，相对位所304B可以包括标记300C相对于标记300B的位移。相反，RDF 302B没有定义关于尚未被第二设备捕获的标记300A的任何相对位所。实际上，标记300A可能不存在于RDF 302B中，而是出于说明目的而在这里示出。第一和第二设备中的任一个或两个都可以与另一设备——诸如与第一和第二设备中的另一个——共享其对应的RDF 302A或302B。
接收RDF的设备可以至少部分地将接收到的RDF与该设备已知的一个或多个RDF合并。在此，操作306示意性地图示RDF 302A-B正在彼此合并以形成RDF 302C。RDF 302C反映关于所有标记300A-C的相对位所。即，RDF 302C包括相对位所304A和304B两者。从初始已经仅标识标记300A-B的相对位置的第一设备的视角来看，RDF302C对应于还知道标记300C的相对位所的增加的知识。类似地，从初始已经仅标识标记300B-C的相对位置的第二设备的视角来看，RDF 302C对应于还知道标记300A的相对位所的增加的知识。即，第一设备能够通过从已经捕获标记300C的第二设备共享的RDF 302B来了解该标记，因为第二设备还已经捕获第一设备已经知道的标记300B。
以下示例涉及本文所述的RDF(例如，RDF 122、216、302A、302B和/或302C)中的一个或者多个。在示例中，参考系统(例如，图1中的系统100和/或图2中的AR系统214)的相应的状态来描述RDF的版本。可以使用任何适当的编程语言来实现示例。在此，JavaScriptObject Notation(JavaScript对象表示)用于说明目的。
在系统的“状态1”中，RDF可以至少包含下述：
Figure BDA0002500248030000161
状态1中的RDF反映“Marker1”已与对应于x,y,z-坐标(0,0,0)的位置相关联。RDF还具有“relativeTo”变量，其定义Marker1的参考坐标系或参考点。此处，“relativeTo”变量的值为“self”，指示Marker1的位置是相对于自身的位所(0,0,0)。
现在假设系统识别出另一个标记，其可以触发系统以进入另一个状态并相应地更新RDF。在系统的“状态2”中，RDF至少可以包含下述：
Figure BDA0002500248030000171
状态2中的RDF反映Marker1保留相对于自身的对应于x,y,z-坐标(0,0,0)的位置，并且而且“Marker2”已与x,y,z-坐标(1,2,3)相关联。对于Marker2，“relativeTo”变量具有值“Marker1”，指示Marker2使其位置——即，(1,2,3)——相对于Marker1的位置而定义。
现在假设系统识别出另一个标记，其可以触发系统进入另一个状态并相应地更新RDF。由于一些原因，系统无法立即将新标记与任何现有标记(在此示例中为Marker1和Marker2)相关。例如，如果设备在识别先前的标记后丢失其跟踪，则可能会发生这种情况。作为另一示例，这可能是由于新用户已经加入并将基于识别一个或多个新标记来更新共同的RDF而发生。在系统的“状态3”中，RDF至少可以包含下述：
Figure BDA0002500248030000181
状态3中的RDF反映Marker1保留相对于自身的对应于x,y,z-坐标(0,0,0)的位置，Marker2已与相对于Marker1的位置的x,y,z-坐标(1,2,3)相关联，“Marker3”具有相对于自身(即，“relativeTo”变量的值“Self”)定义的位置(0,0,0)，并且“Marker4”具有相对于Marker3位置的位置(5,6,7)。
RDF可以在一个或多个方面“自愈”。在一些实施方式中，RDF可以自愈以解决诸如在上面的状态3中的情况，其中存在多个与自身相关的位置定义(即，在该示例中针对标记1和标记3)。例如，如果设备成功在每个组中的项之间进行跟踪，则系统可以自愈此类RDF。在系统的“状态4”中，RDF至少可以包含下述：
Figure BDA0002500248030000191
状态4中的RDF反映Marker1保留相对于自身的对应于x,y,z-坐标(0,0,0)的位置，Marker2已经与相对于Marker1的位置的x,y,z-坐标(1,2,3)相关联，Marker3具有相对于Marker1定义的位置(10,11,12)并且Marker4具有相对于Marker1位置的位置(15,16,17)。也就是说，Marker2、Marker3和Marker4现在都具有相对于Marker1的位置定义的其位所。
图4-6示出方法示例。可以使用一个或多个执行存储在非暂时性存储介质中的指令的处理器来执行方法的任何或全部操作，例如如下所述。在一些实施方式中，可以执行比所示更多或更少的操作。在一些实施方式中，可以以不同的顺序执行两个或更多个操作。仅出于说明的目的，在以下描述中将提及本公开中其他地方引入的一些组件。
图4示出涉及生成相对描述文件(RDF)的方法400的示例。在410处，可以放置标记。例如，组织者可以将标记106A-D放置在空间102中。在420处，可以捕获标记。例如，设备110可以在相应的位置118A-D处捕获标记106A-D。在430处，可以生成RDF。例如，可以为标记106A-D生成RDF 122。在440处，可以将RDF提供给一个或多个设备。例如，设备110可以与设备200以及与设备224共享RDF 122。然后设备200和/或224可以使用所提供的RDF来定位其位所并识别一个或多个标记。
在450处，可以更新标记放置。例如，组织者可以改变标记106A-D中的一个或多个的位所，或者可以添加一个或多个新的物理标记。在460处，可以捕获已更新的标记。例如，组织者可以使用设备110捕获在空间102中的更新的标记。在470处，可以生成更新的RDF。例如，设备110可以更新RDF 122。在480处，可以将更新的RDF提供给一个或多个设备。例如，设备110可以与设备200以及与设备224共享更新的RDF 122。然后设备200和/或224可以使用所提供的更新的RDF来定位其位所并识别一个或多个标记。
图5示出涉及使用RDF的标记识别的方法500的示例。在510处，可以接收RDF。例如，设备200可以接收RDF 216。在520处，可以执行比照物理标记的定位。例如，设备200可以通过捕获标记106A-D中的任一个来定位其位所。在530处，可以在AR环境中显示虚拟对象(VO)。例如，设备200可以在AR环境204中呈现虚拟对象212。在540处，设备可以移动到下一个标记。例如，设备200可以从位置118A被移动到位置118C。在550处，设备可以识别下一个标记。例如，设备可以在位置118C处识别标记106C。设备200可以通过设备200上的传感器218捕获标记106C的图像或者通过使用RDF 216的向设备200指示标记106C的外推来识别标记106C。在560处，用户可以将设备的相机对准一个方向。例如，当在位置118C处时，设备200可以对准朝向位置118A。在570处，可以识别标记。例如，设备200在位置118C时可以识别在位置118A处的标记106A，这是因为到标记106A的视线可用，或者是通过RDF 216的方式。在580处，一个或多个标记可以注册在日志中。例如，设备200可以日志记录标记106A和106C。
图6示出方法600的示例，该方法涉及至少一个设备共享RDF并将RDF与接收到的RDF合并。在610处，可以生成RDF。例如，关于图3提及的第二设备可以生成RDF 302B。在620处，可以与至少一个设备共享RDF。例如，第二设备可以与关于图3提及的第一设备共享RDF302B。在630处，可以接收RDF。例如，第二设备可以从第一设备接收RDF 302A。在640处，可以至少部分地合并两个或更多个RDF。例如，第二设备可以合并RDF 302A-B以形成RDF 302C。即，第二设备可以通过从已经捕获标记300A的第一设备共享的RDF 302A来了解该标记，因为第一设备还已经捕获第二设备已经知道的标记300B。
图7示出可以用于实现这里描述的技术的计算机设备和移动计算机设备的示例。图7示出可以与这里描述的技术一起使用的通用计算机设备700和通用移动计算机设备750的示例。计算设备700旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、平板电脑、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其他适当的计算设备。计算设备750旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处所示的组件、它们的连接和关系以及它们的功能仅意指是示例性的，并不意指限制本文档中描述和/或要求保护的发明的实施方式。
计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和高速扩展端口710的高速接口708以及连接到低速总线714和存储设备706的低速接口712。处理器702可以是基于半导体的处理器。存储器704可以是基于半导体的存储器。部件702、704、706、708、710和712中的每一个均使用各种总线来互连，并且可以被安装在公共主板上或者适当地以其它方式安装。处理器702可处理用于在计算设备700内执行的指令，包括存储在存储器704中或在存储设备706上以在诸如耦合到高速接口708的显示器716的外部输入/输出设备上显示GUI的图形信息的指令。在其它实施方式中，可以使用多个处理器和/或多个总线以及适当地多个存储器和多种类型的存储器。另外，可以连接多个计算设备700，其中每个设备提供必要操作的各部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器704存储计算设备700内的信息。在一个实施方式中，存储器704是一个或多个易失性存储器单元。在另一实施方式中，存储器704是一个或多个非易失性存储器单元。存储器704还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备706能够为计算设备700提供大容量存储。在一个实施方式中，存储设备706可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其它类似的固态存储设备或设备的阵列，包括存储区域网络或其它配置中的设备。可在信息载体中有形地具体实现计算机程序产品。计算机程序产品还可以包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器704、存储设备706或处理器702上的存储器。
高速控制器708管理计算设备700的带宽密集操作，然而低速控制器712管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器708耦合到存储器704、显示器716(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口710，所述高速扩展端口710可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器712耦合到存储设备706和低速扩展端口714。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描器或诸如交换机或路由器的联网设备。
如图中所示，可以以许多不同的形式实现计算设备700。例如，它可以作为标准服务器720被实现，或者在一组这样的服务器中实现多次。它还可以作为机架服务器系统724的一部分被实现。此外，它可以被实现在诸如膝上型计算机722的个人计算机中。可替选地，来自计算设备700的部件可以与移动设备(未示出)诸如设备750中的其它部件组合。这样的设备中的每一个均可以包含计算设备700、750中的一个或多个，并且整个系统可以由彼此通信的多个计算设备700、750组成。
计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768以及其它组件。设备750还可以被提供有存储设备，诸如微驱动器或其它设备，以提供附加存储。部件750、752、764、754、766和768中的每一个均使用各种总线来互连，并且若干部件可以被安装在公共主板上或者适当地以其它方式安装。
处理器752可执行计算设备750内的指令，包括存储在存储器764中的指令。可以将处理器实现为包括单独的及多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供对设备750的其它组件的协调，诸如对用户界面、由设备750运行的应用以及由设备750进行的无线通信的控制。
处理器752可以通过耦合到显示器754的控制接口758和显示接口756来与用户进行通信。显示器754可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口756可以包括用于驱动显示器754以向用户呈现图形和其它信息的适当的电路。控制接口758可以接收来自用户的命令并且对它们进行转换以便提交给处理器752。此外，可以提供与处理器752通信的外部接口762，以便使得能实现设备750与其它设备的近区域通信。外部接口762可以例如在一些实施方式中提供用于有线通信，或者在其它实施方式中提供用于无线通信，并且还可以使用多个接口。
存储器764存储计算设备750内的信息。可将存储器764实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一个或多个。还可以通过扩展接口772来提供扩展存储器774并将它连接到设备750，所述扩展接口772可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器774可以为设备750提供额外的存储空间，或者还可以为设备750存储应用或其它信息。具体地，扩展存储器774可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以作为用于设备750的安全模块被提供，并且可以被编程有允许安全地使用设备750的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将标识信息放置在SIMM卡上。
如下所述，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是可以例如通过收发器768或外部接口762接收的计算机或机器可读介质，诸如存储器764、扩展存储器774或处理器752上的存储器。
设备750可以通过通信接口766以无线方式通信，所述通信接口766可以在必要时包括数字信号处理电路。通信接口766可以提供用于在各种模式或协议下通信，所述各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发器768而发生。此外，可以发生短距离通信，诸如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块770可以向设备750提供附加的导航和位置相关无线数据，其可以由在设备750上运行的应用适当地使用。
设备750还可以使用音频编解码器760来可听地通信，所述音频编解码器760可以接收来自用户的口语信息并且将它转换为可用的数字信息。音频编解码器760可以同样地为用户生成可听声音，诸如通过扬声器，例如在设备750的听筒中。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备750上操作的应用所生成的声音。
如图中所示，可以以许多不同的形式实现计算设备750。例如，它可以作为蜂窝电话780被实现。它还可以作为智能电话782、个人数字助理或其它类似的移动设备的一部分被实现。
用户可以使用跟踪的控制器784与计算设备进行交互。在一些实施方式中，控制器784可以跟踪用户的身体的移动，诸如手、脚、头和/或躯干的移动，并生成对应于跟踪的运动的输入。输入可以在一个或多个运动维度上，诸如在三个维度上对应于移动。例如，被跟踪的控制器可以是用于VR应用的物理控制器，该物理控制器与VR应用中的一个或多个虚拟控制器相关联。作为另一个示例，控制器784可以包括数据手套。
这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象编程语言和/或用汇编/机器语言加以实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，可在计算机上实现这里描述的系统和技术，所述计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以用来向该计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)。其它种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式接收来自用户的输入，包括声、语音或触觉输入。
可在计算系统中实现这里描述的系统和技术，所述计算系统包括后端部件(例如，作为数据服务器)，或者包括中间件部件(例如，应用服务器)，或者包括前端部件(例如，具有用户可用来与这里描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者包括这样的后端、中间件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实施方式中，图7中描绘的计算设备可包括与虚拟现实(VR头戴耳机785)对接的传感器。例如，包括在图7中描绘的计算设备750或其它计算设备上的一个或多个传感器可向VR头戴耳机785提供输入，或者通常向VR空间提供输入。传感器可包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器和环境光传感器。计算设备750可使用传感器来确定计算设备在VR空间中的绝对位所和/或检测到的旋转，其然后可被用作VR空间的输入。例如，计算设备750可以作为虚拟对象被并入到VR空间中，所述虚拟对象诸如控制器、激光指示器、键盘、武器等。计算设备/虚拟对象当被并入到VR空间中时由用户定位可允许用户定位计算设备以在VR空间中以某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可操纵计算设备，好像它是实际的激光指示器一样。用户可左右、上下、以圆圈等移动计算设备，并且以与使用激光指示器类似的方式使用设备。
在一些实施方式中，包括在计算设备750上或者连接到计算设备750的一个或多个输入设备可被用作VR空间的输入。输入设备可包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指点设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能性的耳机或耳塞、游戏控制器或其它可连接的输入设备。当计算设备被并入到VR空间中时用户与包括在计算设备750上的输入设备交互可导致在VR空间中发生特定动作。
在一些实施方式中，可将计算设备750的触摸屏渲染为VR空间中的触摸板。用户可与计算设备750的触摸屏交互。例如在VR头戴耳机785中，交互被渲染为VR空间中的经渲染的触摸板上的移动。经渲染的移动可控制VR空间中的虚拟对象。
在一些实施方式中，包括在计算设备750上的一个或多个输出设备可向VR空间中的VR头戴耳机785的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可包括但不限于振动、一个或多个灯或闪光灯的打开和关闭或闪烁和/或闪光、发出警报声、播放铃声、播放歌曲以及播放音频文件。输出设备可包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算设备750可以作为计算机生成的3D环境中的另一对象出现。通过用户与计算设备750的交互(例如，旋转、摇动、触摸触摸屏、跨越触摸屏扫掠手指)可被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备750作为计算机生成的3D环境中的虚拟激光指示器出现。当用户操纵计算设备750时，VR空间中的用户看到激光指示器的移动。用户从在计算设备750上或VR头戴耳机785上的VR空间中与计算设备750的交互接收反馈。
已经描述了许多实施例。然而，应理解的是，在不脱离本发明的精神和范围的情况下，可以做出各种修改。
此外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序以实现所希望的结果。此外，可以提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加其它部件，或者从所描述的系统中移除其它组件。因此，其它实施例在以下权利要求的范围内。
在下面描述一些示例。
示例1：一种方法，包括：
在第一设备中接收被安置在位置处的物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；
通过使用所述第一设备的图像传感器在视觉上捕获所述物理标记中的任一个第一物理标记来初始地定位所述第一设备在所述物理标记当中的位所；以及
识别所述物理标记中的第二物理标记以及所述第二物理标记的位置而无需视线，所述第二物理标记使用所述相对描述文件来识别。
示例2：根据示例1所述的方法，其中，至少所述第一物理标记包括代码。
示例3：根据示例1所述的方法，其中，至少所述第一物理标记包括自然标记。
示例4：根据示例1至3中的至少一项所述的方法，进一步包括：在所述第一设备的显示器上呈现增强现实环境，所述增强现实环境包含至少使用所述第一设备的相机捕获的图像和至少应用于所述图像的第一虚拟对象。
示例5：根据示例4所述的方法，其中，所述第一虚拟对象在所述图像中被安置在相对于所述第一物理标记的预定义位置处。
示例6：根据示例1到5中的至少一个所述的方法，其中，所述第一设备的位所通过将所述相机以第一方向朝向所述第一物理标记对准来初始地定位，并且其中，在所述第一设备的位所被初始地定位之后，用户将所述相机以第二方向对准，并且其中，识别所述第二物理标记包括使用所述相对描述文件来确定所述第二物理标记的位置位于所述第二方向。
示例7：根据示例4至6中的至少一项所述的方法，进一步包括：在相对于所述第二物理标记的预定义位所处利用第二虚拟对象来更新所述增强现实环境。
示例8：根据示例6或7所述的方法，其中，所述用户将所述第一设备移动到所述第二物理标记的位置，并且其中，在所述第二物理标记的位置处，所述第一物理标记在所述增强现实环境中不再可见，并且所述用户将所述相机以第三方向朝向所述第一物理标记的位置对准而无需视线，所述方法进一步包括在相对于所述第一物理标记的预定义位置处利用所述第一虚拟对象来更新所述增强现实环境。
示例9：根据示例6至7中的至少一项所述的方法，其中，在所述第二物理标记被识别之前，将所述第二物理标记被从所述第二物理标记的位置移除，并且其中，所述第二物理标记和所述第二物理标记的位置使用所述相对描述文件来识别。
示例10：根据前述示例中的至少一项所述的方法，其中，初始地定位所述第一设备的位所包括基于所述第一物理标记的位置来对所述第一设备的坐标系定中心，并且其中，识别所述第二设备物理标记不包括对所述坐标系重新定中心。
示例11：根据示例10的方法，其中，对所述第一设备的坐标系定中心包括重新校准所述坐标系的中心以校正跟踪误差。
示例12：根据前述示例中的至少一项的方法，其中，初始地定位所述第一设备的位所包括基于所述第一物理标记的位置来对所述第一设备的坐标系定中心，其中，识别所述第二物理标记包括对所述坐标系重新定中心，并且其中，任何虚拟对象都因为相对坐标比例相同而经由相机直通继续被呈现在同一空间中。
示例13：根据前述示例中的至少一项所述的方法，进一步包括向第二设备提供所述相对描述文件，其中，所述第二设备被配置成通过使用所述第二设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来初始地定位所述第二设备在所述物理标记当中的位所，并使用所述相对描述文件来识别所述物理标记中的所有剩余物理标记的位置而无需视线。
示例14：根据前述示例中的至少一项所述的方法，其中，所述相对描述文件是第一相对描述文件，所述方法进一步包括从第二设备接收第二相对描述文件，以及至少部分地合并所述第一相对描述文件和所述第二相对描述文件。
示例15：根据前述示例中的至少一项所述的方法，其中，所述相对描述文件定义所述第二物理标记关于所述第一物理标记的相对位所，所述相对位所包括所述第二物理标记相对于所述第一个物理标记的位移。
示例16：根据前述示例中的至少一项所述的方法，其中，所述第一设备识别所述物理标记中的至少一些物理标记，所述方法进一步包括在所述第一设备上生成反映所述第一设备已识别的所述物理标记中的所述至少一些物理标记的日志。
示例17：根据前述示例中的至少一项所述的方法，其中，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的所有其他物理标记的相对位所。
示例18：一种其上存储有指令的非暂时性存储介质，所述指令在被执行时被配置成使处理器执行操作，所述操作包括：
在第一设备中接收被安置在位置处的物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；
通过使用所述第一设备的图像传感器在视觉上捕获所述物理标记中的任一个第一物理标记来初始地定位所述第一设备在所述物理标记当中的位所；以及
识别所述物理标记中的第二物理标记以及所述第二物理标记的位置而无需视线，所述第二物理标记使用所述相对描述文件来识别。
示例19：一种系统，包括：
第一设备，所述第一设备被配置成针对被安置在位置处的物理标记中的每一个物理标记，接收使用所述第一设备确定的位置点，所述位置点中的每一个位置点与所述物理标记中的相应一个物理标记相关联，所述第一设备进一步被配置成基于所述位置点来生成所述物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；和
第二设备和第三设备，所述第二设备和所述第三设备均被配置成接收由所述第一设备生成的所述相对描述文件，其中，所述第二设备和所述第三设备中的每一个进一步被配置成通过分别使用所述第二设备或所述第三设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来分别初始地定位所述第二设备或所述第三设备在所述物理标记当中的位所，并且使用所述相对描述文件识别所述物理标记中的所有剩余物理标记的位置而无需视线。
示例20：一种方法，包括：
在第一设备中针对被安置在位置处的物理标记中的每一个物理标记接收使用所述第一设备确定的位置点，所述位置点中的每一个位置点与所述物理标记中的相应一个物理标记相关联；
基于所述位置点来生成所述物理标记的相对描述文件，所述相对描述文件包括所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；以及
向至少第二设备和第三设备提供所述相对描述文件，其中，所述第二设备和所述第三设备中的每一个被配置成通过分别使用所述第二设备或所述第三设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来分别初始地定位所述第二设备或所述第三设备在所述物理标记当中的位所，并使用所述相对描述文件识别所述物理标记中的所有剩余物理标记的位置而无需视线。
示例21：根据示例20所述的方法，其中，所述物理标记中的至少一个物理标记包括代码。
实施例22：根据示例20所述的方法，其中所述物理标记中的至少一个物理标记包括自然标记。

Claims (22)

1.一种方法，包括：
在第一设备中接收被安置在位置处的物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；
通过使用所述第一设备的图像传感器在视觉上捕获所述物理标记中的任一个第一物理标记来初始地定位所述第一设备在所述物理标记当中的位所；以及
识别所述物理标记中的第二物理标记以及所述第二物理标记的位置而无需视线，所述第二物理标记使用所述相对描述文件来识别。
2.根据权利要求1所述的方法，其中，至少所述第一物理标记包括代码。
3.根据权利要求1所述的方法，其中，至少所述第一物理标记包括自然标记。
4.根据权利要求1至3中的至少一项所述的方法，进一步包括：在所述第一设备的显示器上呈现增强现实环境，所述增强现实环境包括至少使用所述第一设备的相机捕获的图像和至少应用于所述图像的第一虚拟对象。
5.根据权利要求4所述的方法，其中，所述第一虚拟对象在所述图像中被安置在相对于所述第一物理标记的预定义位置处。
6.根据权利要求1至5中的至少一项所述的方法，其中，所述第一设备的位所通过将所述相机以第一方向朝向所述第一物理标记对准来初始地定位，并且其中，在所述第一设备的位所被初始地定位之后，用户将所述相机以第二方向对准，并且其中，识别所述第二物理标记包括使用所述相对描述文件来确定所述第二物理标记的位置位于所述第二方向上。
7.根据权利要求4至6中的至少一项所述的方法，进一步包括：在相对于所述第二物理标记的预定义位所处利用第二虚拟对象来更新所述增强现实环境。
8.根据权利要求6或7所述的方法，其中，所述用户将所述第一设备移动到所述第二物理标记的位置，并且其中，在所述第二物理标记的位置处，所述第一物理标记在所述增强现实环境中不再可见，并且所述用户将所述相机以第三方向朝向所述第一物理标记的位置对准而无需视线，所述方法进一步包括在相对于所述第一物理标记的预定义位置处利用所述第一虚拟对象来更新所述增强现实环境。
9.根据权利要求6至7中的至少一项所述的方法，其中，在所述第二物理标记被识别之前，所述第二物理标记被从所述第二物理标记的位置移除，并且其中，所述第二物理标记和所述第二物理标记的位置使用所述相对描述文件来识别。
10.根据前述权利要求中的至少一项所述的方法，其中，初始地定位所述第一设备的位所包括基于所述第一物理标记的位置来对所述第一设备的坐标系定中心，并且其中，识别所述第二设备物理标记不包括对所述坐标系重新定中心。
11.根据权利要求10所述的方法，其中，对所述第一设备的坐标系定中心包括重新校准所述坐标系的中心以校正跟踪误差。
12.根据前述权利要求中的至少一项所述的方法，其中，初始地定位所述第一设备的位所包括基于所述第一物理标记的位置来对所述第一设备的坐标系定中心，其中，识别所述第二物理标记包括对所述坐标系重新定中心，并且其中，任何虚拟对象都因为相对坐标比例相同而经由相机直通继续被呈现在同一空间中。
13.根据前述权利要求中的至少一项所述的方法，进一步包括向第二设备提供所述相对描述文件，其中，所述第二设备被配置成通过使用所述第二设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来初始地定位所述第二设备在所述物理标记当中的位所，并使用所述相对描述文件来识别所述物理标记中的所有剩余物理标记的位置而无需视线。
14.根据前述权利要求中的至少一项所述的方法，其中，所述相对描述文件是第一相对描述文件，所述方法进一步包括从第二设备接收第二相对描述文件，以及至少部分地合并所述第一相对描述文件和所述第二相对描述文件。
15.根据前述权利要求中的至少一项所述的方法，其中，所述相对描述文件定义所述第二物理标记关于所述第一物理标记的相对位所，所述相对位所包括所述第二物理标记相对于所述第一物理标记的位移。
16.根据前述权利要求中的至少一项所述的方法，其中，所述第一设备识别所述物理标记中的至少一些物理标记，所述方法进一步包括在所述第一设备上生成反映所述第一设备已识别的所述物理标记中的所述至少一些物理标记的日志。
17.根据前述权利要求中的至少一项所述的方法，其中，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的所有其他物理标记的相对位所。
18.一种其上存储有指令的非暂时性存储介质，所述指令在被执行时被配置成使处理器执行操作，所述操作包括：
在第一设备中接收被安置在位置处的物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；
通过使用所述第一设备的图像传感器在视觉上捕获所述物理标记中的任一个第一物理标记来初始地定位所述第一设备在所述物理标记当中的位所；以及
识别所述物理标记中的第二物理标记以及所述第二物理标记的位置而无需视线，所述第二物理标记使用所述相对描述文件来识别。
19.一种系统，包括：
第一设备，所述第一设备被配置成针对被安置在位置处的物理标记中的每一个物理标记，接收使用所述第一设备确定的位置点，所述位置点中的每一个位置点与所述物理标记中的相应一个物理标记相关联，所述第一设备进一步被配置成基于所述位置点来生成所述物理标记的相对描述文件，所述相对描述文件定义所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；和
第二设备和第三设备，所述第二设备和所述第三设备均被配置成接收由所述第一设备生成的所述相对描述文件，其中，所述第二设备和所述第三设备中的每一个进一步被配置成通过分别使用所述第二设备或所述第三设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来分别初始地定位所述第二设备或所述第三设备在所述物理标记当中的位所，并且使用所述相对描述文件识别所述物理标记中的所有剩余物理标记的位置而无需视线。
20.一种方法，包括：
在第一设备中针对被安置在位置处的物理标记中的每一个物理标记接收使用所述第一设备确定的位置点，所述位置点中的每一个位置点与所述物理标记中的相应一个物理标记相关联；
基于所述位置点来生成所述物理标记的相对描述文件，所述相对描述文件包括所述物理标记中的每一个物理标记关于所述物理标记中的至少另一个物理标记的相对位所；以及
向至少第二设备和第三设备提供所述相对描述文件，其中，所述第二设备和所述第三设备中的每一个被配置成通过分别使用所述第二设备或所述第三设备的图像传感器在视觉上捕获所述物理标记中的任何一个物理标记来分别初始地定位所述第二设备或所述第三设备在所述物理标记当中的位所，并使用所述相对描述文件识别所述物理标记中的所有剩余物理标记的位置而无需视线。
21.根据权利要求20所述的方法，其中，所述物理标记中的至少一个物理标记包括代码。
22.根据权利要求20所述的方法，其中，所述物理标记中的至少一个物理标记包括自然标记。
CN201880075152.4A 2017-11-22 2018-11-19 增强现实环境的位所识别 Pending CN111373410A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/820,808 2017-11-22
US15/820,808 US10692289B2 (en) 2017-11-22 2017-11-22 Positional recognition for augmented reality environment
PCT/US2018/061815 WO2019103971A1 (en) 2017-11-22 2018-11-19 Positional recognition for augmented reality environment

Publications (1)

Publication Number Publication Date
CN111373410A true CN111373410A (zh) 2020-07-03

Family

ID=64650536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075152.4A Pending CN111373410A (zh) 2017-11-22 2018-11-19 增强现实环境的位所识别

Country Status (4)

Country Link
US (2) US10692289B2 (zh)
EP (1) EP3714396A1 (zh)
CN (1) CN111373410A (zh)
WO (1) WO2019103971A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806049B2 (ja) * 2015-04-09 2021-01-06 日本電気株式会社 情報処理装置、情報処理システム、位置報知方法及びプログラム
US11232307B2 (en) 2018-11-28 2022-01-25 Carl LaMont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) * 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
JP2021051498A (ja) * 2019-09-24 2021-04-01 東芝テック株式会社 情報処理システム、情報処理装置及びプログラム
JP7404011B2 (ja) * 2019-09-24 2023-12-25 東芝テック株式会社 情報処理装置
CN111325984B (zh) * 2020-03-18 2023-05-05 阿波罗智能技术(北京)有限公司 样本数据的获取方法、装置和电子设备
WO2021188143A1 (en) * 2020-03-20 2021-09-23 Carl Lamont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
EP3974936B1 (de) * 2020-09-25 2023-06-07 Sick Ag Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
US11385856B2 (en) * 2020-10-23 2022-07-12 Streem, Llc Synchronizing positioning systems and content sharing between multiple devices
US11995777B2 (en) * 2022-04-13 2024-05-28 Dell Products L.P. Augmented reality enablement for information technology infrastructure
US11995778B2 (en) 2022-04-13 2024-05-28 Dell Products L.P. Augmented reality location operation including augmented reality tracking handoff

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649775A (zh) * 2011-05-07 2014-03-19 贝内迪克特·希罗尼米 用于评估识别标记的系统、识别标记及其用途
US20150302645A1 (en) * 2012-11-27 2015-10-22 Sony Corporation Image processing device, image processing method, program, and terminal device
US20160335497A1 (en) * 2015-05-11 2016-11-17 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
CN107111361A (zh) * 2014-12-11 2017-08-29 英特尔公司 促进用于计算设备上的增强现实的动态非视觉标记
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
GB2470073B (en) 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
WO2011112940A1 (en) 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
KR101719264B1 (ko) 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
JP5697487B2 (ja) * 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
KR101056418B1 (ko) 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US8872852B2 (en) * 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
US20130155108A1 (en) 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US9084531B2 (en) * 2013-02-27 2015-07-21 Siemens Aktiengesellschaft Providing real-time marker detection for a stent in medical imaging
WO2015079437A1 (en) * 2013-11-26 2015-06-04 Kytera Technologies Ltd. Mapping & movement tracking system and methods of using thereof
HK1201682A2 (zh) 2014-07-11 2015-09-04 Idvision Ltd 增强現實圖像之系統
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
EP3943888A1 (en) * 2016-08-04 2022-01-26 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10012505B2 (en) * 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
JP2018082308A (ja) * 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649775A (zh) * 2011-05-07 2014-03-19 贝内迪克特·希罗尼米 用于评估识别标记的系统、识别标记及其用途
US20150302645A1 (en) * 2012-11-27 2015-10-22 Sony Corporation Image processing device, image processing method, program, and terminal device
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN107111361A (zh) * 2014-12-11 2017-08-29 英特尔公司 促进用于计算设备上的增强现实的动态非视觉标记
US20160335497A1 (en) * 2015-05-11 2016-11-17 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization

Also Published As

Publication number Publication date
US10692289B2 (en) 2020-06-23
US11100712B2 (en) 2021-08-24
WO2019103971A1 (en) 2019-05-31
US20190156577A1 (en) 2019-05-23
EP3714396A1 (en) 2020-09-30
US20200273250A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
US11100712B2 (en) Positional recognition for augmented reality environment
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
US11426663B2 (en) Providing multiplayer augmented reality experiences
CN111602185B (zh) 基于方位的位置指示和设备控制
US11163997B2 (en) Methods and apparatus for venue based augmented reality
US9390561B2 (en) Personal holographic billboard
US11055919B2 (en) Managing content in augmented reality
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
US11585917B1 (en) Systems and methods for generating three-dimensional maps of an indoor space
TWI813068B (zh) 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體
CN113614794B (zh) 管理增强现实中的内容
US10466818B2 (en) Pointing action
Laberge Visual tracking for human-computer interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination