CN112767555A - 用于增强现实应用的标记到模型位置配对和配准 - Google Patents

用于增强现实应用的标记到模型位置配对和配准 Download PDF

Info

Publication number
CN112767555A
CN112767555A CN202011128728.4A CN202011128728A CN112767555A CN 112767555 A CN112767555 A CN 112767555A CN 202011128728 A CN202011128728 A CN 202011128728A CN 112767555 A CN112767555 A CN 112767555A
Authority
CN
China
Prior art keywords
dimensional
marker
pairing list
data
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011128728.4A
Other languages
English (en)
Inventor
詹姆斯·J·特洛伊
克里斯托弗·D·埃斯波西托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN112767555A publication Critical patent/CN112767555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于增强现实应用的标记到模型位置配对和配准。使用校准数据将由AR装置生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法(60)，包括通过将粘贴在物理环境中的对象(58)上的2D标记(50)的标记标识符与在包含那些对象的3D模型的虚拟环境中指定的那些对象的3D位置配对并且然后生成将相应标记标识符与对象的相应3D位置相关联的标记到模型位置配对列表来校准AR装置。方法(60)进一步包括使用配对列表来将所显示的虚拟3D内容与出现在可视化物理环境中的对象对准。基于从2D标记的图像计算出的当前AR装置到标记的偏移和从配对列表中检索到的对象的3D位置，在运行时计算位置校正。

Description

用于增强现实应用的标记到模型位置配对和配准
技术领域
本公开总体上涉及用于校准增强现实装置的系统和方法。
背景技术
增强现实(AR)是真实世界环境中的交互式体验，其中，驻留在真实世界中的对象由计算机生成的内容和计算机处理的感官输入增强。增强现实装置允许用户观察真实世界视图，同时查看叠加在AR装置或用户的视野中的物品、图像、对象或环境上并与其对准的虚拟内容。虚拟内容可以包括叠加在真实世界视图上的计算机生成的图像。典型的AR装置依赖于被校准的传感器。如果传感器未正确校准，则虚拟内容可能看起来与真实内容未对准。
当前的AR系统通常难以获取AR装置相对于正在使用该装置的物理环境的精确三维(3D)位置信息。这些问题包括：(1)位置随时间漂移；(2)无法在具有很少特征的区域中获得位置信息；以及(3)无法在具有重复特征的区域中获得正确的位置信息。许多AR系统使用基于相机的方法来提供物理环境中的可见特征的定位信息，但是在一些环境中-尤其是与制造相关的用例-AR系统3D定位精度的当前水平不足以满足性能要求。
发明内容
以下详细公开的主题涉及用于提供对数据的即时访问以相对于操作环境校准增强现实(AR)装置，并且然后使用校准数据将由AR装置生成的虚拟内容与用户在操作环境中正在查看的场景配准的系统、方法和装置。基于地标的参考系统，该系统使用二维(2D)标记作为位置参考，该位置参考被映射到针对AR应用的特定目标对象(例如，飞机)定义的三维(3D)物理坐标系。2D标记上的无源2D机器可读代码图案(例如，具有以图案打印的符号的标签)用作位置地标，以向用户提供按需3D位置信息。
如本文所使用的，术语“位置”包括在固定的三维坐标系中的位置和相对于该坐标系的取向。如本文所使用的，“物理坐标系”是其坐标是比率数据标度并且其定义的空间是物理的坐标系。如本文所使用的，“基于地标的参考系”是其坐标是序数数据标度并且其定义的空间可以是抽象的参考系。如本文所使用的，术语“3D可视化环境”是指在计算机上运行的3D显示应用，其渲染3D内容并将其显示在显示装置上。显示系统可以选自显示装置、计算机监视器、眼镜、头戴式显示器、平板计算机、移动电话、智能电话、腕上式显示器、投影仪、头戴式显示器(HMD)、全息显示系统、视网膜显示器和一些其他合适的显示装置中的至少一种。
根据一个实施方式，该方法包括通过将粘贴在物理环境中的对象的2D标记的标记标识符与在那些对象的3D模型中指定的那些对象的3D位置配对并且然后生成将相应标记标识符与对象的相应3D位置相关联的标记到模型位置配对列表来校准AR装置。该方法进一步包括使用配对列表来将显示的虚拟内容与出现在可视化物理环境中的对象对准。基于从2D标记的图像导出的当前AR装置到标记的偏移和从配对列表中检索到的对象的3D位置，在运行时导出位置校准。
本公开描述了用于实现在AR应用中使用无源2D标记用于3D定位和/或3D定位校准(在下文中统称为“3D定位”)的概念的步骤。更具体地，本公开描述了一种用于针对需要改进的3D定位精度的应用(诸如建造飞机(building airplanes))改进AR系统位置估计的方法。本文中提出的方法包括设置物理环境、从对象的3D模型获取参考位置数据以及在运行时使用3D位置数据来校准AR装置的现有定位过程的位置估计。该方法的创新性特征包括：(1)建立物理环境并且获取校准数据的过程；以及(2)将2D标记与粘贴标记的对象的已知3D位置相关联的过程，使用该关联来生成真实位置信息，并基于AR装置的当前估计位置和出现在正在查看的场景中的对象的3D位置在运行时应用位置校准。
尽管本文稍后更详细地描述用于将由增强现实(AR)应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的系统、方法和装置的各种实施方式，但是这些实施方式中的一个或多个可以由以下方面中的一个或多个来表征。
以下详细公开的主题的一个方面是一种用于提供对数据的即时访问以相对于操作环境校准AR装置的方法，该方法包括：(a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可读代码图案；(b)将相应2D标记应用于物理环境中的相应对象上的所选择的位置；(c)捕获表示物理环境中的相应2D标记的图像数据；(d)处理图像数据以获取表示相应标记标识符的数字数据；(e)将表示相应对象的正确定位的3D模型加载到3D可视化环境中；(f)从3D虚拟环境中获取表示来自附接有2D机器可读代码图案的3D模型的相应对象的3D位置的数字数据；(g)将相应2D标记的标记标识符与来自3D模型的相应对象的3D位置配对；(h)生成包含表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以供运行时使用；并且(i)将配对列表数据转换成适于即时加载到AR装置上的形式。在一个提出的实现方式中，2D机器可读代码图案是QR码，物理环境是飞机，并且对象是飞机的窗户。
根据在前一段中描述的方法的一个实施方式，该方法进一步包括：(j)将配对列表数据加载到AR装置中；(k)将虚拟内容加载到AR装置中，该虚拟内容包括应用了2D标记的对象的虚拟特征；(1)在AR装置上的物理环境中查看对象；(m)捕获表示应用在对象上的2D标记的图像数据；(n)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；(o)处理配准标记的空间位置以计算当前AR装置到标记的偏移；(p)在配对列表中找到与2D标记的标记标识符相关联的对象的3D位置；(q)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境参考系中的3D位置；并且(r)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的视点显示虚拟内容。根据一个实施方式，步骤(i)包括使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图案，并将2D标记附接到物理环境中的结构；并且步骤(j)包括光学读取2D机器可读代码图案以获取配对列表数据，并将所获取的配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。根据另一实施方式，步骤(i)包括格式化配对列表数据以进行无线传输，并且然后传输用表示配对列表数据的信息调制的短波长超高频无线电波；并且步骤(j)包括接收电磁波，解调所接收的电磁波以获取配对列表数据，并将配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
以下详细公开的主题的另一方面是一种用于将由增强现实应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法，该方法包括：(a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可读代码图案；(b)将相应2D标记应用于物理环境中的相应对象上的所选择的位置；(c)将配对列表数据加载到AR装置中，其中，该配对列表数据表示相应2D标记上的标记标识符与应用了2D标记的相应对象的3D位置的配对；(d)将虚拟内容加载到AR装置中，该虚拟内容包括应用了2D标记的对象的虚拟特征；(e)在AR装置上查看物理环境中的对象；(f)捕获表示应用在对象上的2D标记的图像数据；(g)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；(h)处理配准标记的空间位置以计算当前AR装置到标记的偏移；(i)在配对列表中找到与2D标记的标记标识符相关联的对象的3D位置；(j)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且(k)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的视点显示虚拟内容。
以下详细公开的主题的另一方面是一种AR装置，包括成像装置、显示装置、非暂时性有形计算机可读存储介质以及通信地耦接到成像装置、显示装置和非暂时性有形计算机可读存储介质的计算机系统，其中：非暂时性有形计算机可读存储介质存储配对列表数据和虚拟内容数据，该配对列表数据表示2D标记上的标记标识符与物理环境中应用了相应2D标记的对象的3D位置的配对，该虚拟内容数据表示包括应用了相应2D标记的对象的虚拟特征的虚拟内容；并且计算机系统被配置为执行以下操作：(a)处理来自由成像装置捕获的图像的图像数据以获取表示应用在对象上的出现在所捕获的图像中的2D标记的标记标识符和配准标记的空间位置的数据；(b)处理配准标记的空间位置以计算当前AR装置到标记的偏移；(c)在存储在非暂时性有形计算机可读存储介质中的配对列表中找到与出现在所捕获的图像中的2D标记的标记标识符相关联的对象的3D位置；(d)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且(e)以基于当前AR装置到标记的偏移和对象的3D位置的视点显示包括对象的虚拟特征的虚拟内容。
下面公开用于将由AR应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的系统、方法和装置的其他方面。
附图说明
在前述部分中讨论的特征、功能和优点可以在各种实施方式中独立地实现或者可以在其他实施方式中组合。为了示出上述和其他方面，以下将参考附图描述各种实施方式。本部分中简要描述的所有示图均未按比例绘制。
图1是表示粘附在窗户上的QR码图案标记的示图。
图2是示出用于将AR装置的位置从标记参考系转换为飞机的参考系的转换序列的坐标系转换图。
图3是示出粘附在飞机的机身内部的窗户上的标记(例如，QR码图案标记)的使用的示图。
图4是表示用于增强现实应用的2D标记(例如，QR码图案标记)和对象(例如，飞机窗户)的3D模型的配对和配准的示图。
图5是表示增强现实系统的运行时使用的示图，该增强现实系统被配置为使用粘贴在飞机内部的窗户的2D标记和2D标记到3D对象模型配对列表(在下文中称为“标记到模型的位置配对列表”)来校正内部3D位置估计。
图6是根据一个实施方式的识别用于提供对数据的即时访问以相对于操作环境校准AR装置的方法的步骤的流程图。
图7是根据一个实施方式的识别用于将由增强现实应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法的步骤的流程图。
图8是识别能够将计算机生成的虚拟特征与使用2D标记作为地标查看的物理环境对准的AR系统的一些组件的框图。
图9A是表示可以使用本文公开的方法定位的手持式成像装置的等距前视图的示图。
图9B是表示图9A所描绘的手持式成像装置的等距后视图的示图。
图10是表示投影到表面的一部分上的手持式成像装置的视野的示意图的示图，该表面具有应用在其上的标签形式的代码图案标记。
图11是表示具有数据矩阵代码图案和三个配准基准符号的标签的示例的示图。
图12是表示体现为QR码的地标到位置映射的示例的示图。
图13A至图13C是表示根据可选操作模式的投影到具有应用在其上的代码图案标记的阵列的表面的相应区域上的结合在AR装置中的相机的视野的相应示意图的示图。
图14是以纹理映射(texture map)的形式表示虚拟内容的叠加的示图，该纹理映射表示在其上打印有代码图案的2D标记的视图上的代码图案。
图15A至图15F是表示相应几何符号在已经粘附了2D标记的对象(在该示例中，由窗框包围的窗户)的视图上的叠加的示图。
图16是识别适于托管增强现实应用的系统100的组件的框图，该系统可以与手持式或头戴式成像装置通信。
在下文中将参考附图，其中，不同附图中的相似元件具有相同的附图标记。
具体实施方式
下面更详细地描述用于将由增强现实(AR)应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的系统、方法和装置的说明性实施方式。然而，在本说明书中没有描述实际实现方式的所有特征。本领域技术人员将理解，在任何这样的实施方式的开发中，必须做出许多特定于实现方式的决定来实现开发者的特定目标，诸如遵守系统相关和商业相关的约束，这将从一个实现方式到另一实现方式变化。此外，应当理解，这样的开发工作可能是复杂且耗时的，但是对于受益于本公开的本领域普通技术人员仍将是常规的工作。
出于说明的目的，下面将详细描述用于校准AR装置以使得能够将所显示的虚拟内容与飞机内部的物理环境中的查看对象精确对准的方法。然而，本文公开的校准和对准过程也可以用于除飞机外的目标对象的AR应用。
飞机机身是可以使用本实施方式的结构或对象的一个示例。通常，机身是使用详细的计算机辅助设计(CAD)系统设计的，该系统用于创建由结构的3D模型组成的虚拟环境，其中，相对于常见的笛卡尔坐标系来定义项。然后该坐标系可以用作用于确定包含在3D模型数据库中的结构的任何元素的绝对位置的参考坐标系。CAD系统可以用于创建3D模型数据库的内容，然后该3D模型数据库被维护并可用于评估正在进行的飞机检查和维护中的参考。3D模型数据库提供了坐标系和与该坐标系相关的精确几何信息，该坐标系与整个结构和其中包含的所有组件相关联。当执行维护时，关于维修或其他维护程序的信息可以相对于该参考坐标系存储在维护和/或其他数据库中，该维护和/或其他数据库也与该参考坐标系相关。尽管对于示例实施方式采用3D模型数据库，但是可以采用建立对公共坐标系的绝对位置的参考的任何系统。
飞机具有许多特征，这些特征可以与CAD数据库中的相同特征相关联。真实对象上的特征的物理位置与来自虚拟模型的测量的笛卡尔坐标之间的这种一对一映射(在下文中称为“地标到位置映射”)使得能够用于跟踪物理环境中的成像装置的运动的过程。
以下详细公开的主题涉及用于通过将粘贴在物理环境中的编码的二维(2D)标记与该物理环境中的对象的3D模型配对，并且然后使用这些配对将所显示的虚拟内容与查看的物理环境中的对象对准来校准AR装置的系统和方法。使用2D标记作为地标的基于地标的参考系被映射到针对AR应用的特定目标对象(例如，飞机)定义的3D物理坐标系。无源编码的2D标记(例如，具有打印的代码图案的标签)用作位置地标，以向用户提供按需3D位置信息。
本公开描述了用于实现在AR应用中使用2D标记用于3D定位的概念的步骤。更具体地，本公开描述了一种用于针对需要改进的3D定位精度的应用(诸如建造飞机))改进AR系统位置估计的方法。本文中提出的方法包括设置物理环境、从对象的3D模型获取参考位置数据以及在运行时使用3D位置数据来校准AR装置的现有定位过程的位置估计。该方法的创新性特征包括：(1)建立物理环境并且获取校准数据的过程；以及(2)将2D标记与粘贴标记的对象的已知3D位置相关联的过程，使用该关联来生成真实位置信息，并基于AR装置的当前估计位置和出现在正在查看的场景中的对象的3D位置在运行时应用位置校正。
无源2D标记被用作位置地标以在基于地标的参考系中向用户提供按需3D位置信息，然后该基于地标的参考系可以被映射到为特定目标对象(例如，飞机)定义的底层3D物理坐标系。根据本文公开的方法，无源2D标记呈可附接标签的形式，诸如具有打印的文本和机器可读数据存储能力的背胶标签。标签被应用于目标对象上的相应不同位置(例如，在飞机的一些窗户上，即使标签不在每个窗户上完全相同的位置)。
机器可读数据存储能力优选地采取2D代码图案的形式。如本文所使用的，术语“代码图案”是指表示机器可读数据的符号系统。根据各种实施方式，代码图案包括由扫描算法解码的图案中的像素状元素的阵列。合适的可商购2D代码图案的示例包括以下内容：条形码、快速响应(QR)码、数据矩阵码、Aztec码和MaxiCode。
本文公开的方法为用户提供了一种利用位置地标(例如，具有打印的代码图案的标签或标记)快速、容易且廉价地检测环境的方式，该位置地标稍后可以用于以在由AR应用使用的环境中的地标间距或密度指定的分辨率水平上给出离散和连续的按需位置跟踪。位置地标被设计为快速且容易地建立并且稍后移除。
根据本文公开的一些实施方式，地标的位置存在于用户根据在一些使用情况下可能对用户有意义的唯一描述定义的基于地标的参考系中(例如，“第1行的左窗”、“前洗手间”等)。然后，这些位置可以被映射到给出更精确的笛卡尔x、y、z坐标的底层物理3D坐标系中，其他工具可以使用该坐标来确定成像装置(例如，手持式扫描仪或集成在头戴式显示器中的相机)的位置。例如，AR装置可以被配置为从集成相机接收与目标对象的参考系中具有已知坐标的多个地标有关的视点信息(例如，虚拟相机的位置)，并且基于用户视点信息，设置视点，使得由AR应用同时生成的虚拟内容与用户当时在物理世界(例如，飞机内部)正在查看的场景对准/配准。
如本文所使用的，术语“视点”是相机查看并记录对象的视距离(apparentdistance)和方向。AR装置允许用户从可以被表征为虚拟相机的外观位置(apparentlocation)的视点显示虚拟内容。如本文所使用的，术语“位置”包括位置(例如，x、y、z坐标)和方向(例如，虚拟视线的查看方向向量)两者。
本文提出的AR装置校准过程使用具有打印在衬底上的代码图案的2D标记形式的地标，该衬底被粘贴到物理环境中的已知位置的物理对象。合适的可商购代码图案的一个示例是QR码。QR码是一种具有集成的配准基准符号(也称为配准标记)的2D条形码(也称为矩阵条形码)。图1是表示粘贴在窗户58上的QR码图案标记50的示图。QR码图案标记50包括其上打印有QR码图案48的柔性衬底。QR码图案48包括由识别QR码图案标记50粘贴在哪个窗户58上的数据组成的有效载荷。另外，QR码图案48包括在代码图案的左下角的配准基准符号52a、在代码图案的左上角的配准基准符号52b和在代码图案的右上角的配准基准符号52c，用于跟踪AR装置(图1中未示出)的位置。
如上所述，在运行使用期间，可以使用当前AR装置到标记的偏移和在物理环境参考系中将标记粘贴到的对象的3D位置来计算在物理环境(例如，飞机)的参考系中定义的AR装置/相机的绝对位置坐标。4×4齐次变换矩阵用于定义一个特定参考系相对于另一特定参考系的空间位置(位置和取向)。4×4齐次变换矩阵乘法的序列可以用于在坐标系之间进行转换。
使用粘贴(例如，粘附)有QR码并且具有在物理环境(例如，飞机)的参考系中定义的位置的对象(例如，飞机的窗户)的3D模型，获取QR码在物理环境参考系中的3D位置。然后，使用解决相机姿势问题的基于QR码的过程来计算相机(其是AR装置的一部分)相对于QR码的位置(AR装置到标记的偏移)。然后，使用变换矩阵等式来计算AR装置/相机在物理环境参考系(例如，在飞机坐标中)中的位置。
图2是示出用于将AR装置/相机的位置从QR码的参考系转换为飞机的参考系的转换序列的坐标系转换图。将AR装置/相机的位置从QR码参考系转换为飞机参考系的特定转换序列由以下等式描述：
Figure BDA0002733801380000111
该等式计算转换矩阵
Figure BDA0002733801380000112
(其是在参考系{C}中定义的AR装置/相机相对于飞机的参考系{A}的位置)作为转换矩阵
Figure BDA0002733801380000113
(其是在参考系{Q}中定义的QR码相对于飞机的参考系{A}的位置)和转换矩阵
Figure BDA0002733801380000114
(其是在参考系{C}中定义的AR装置/相机相对于在参考系{Q}中定义的QR码的位置的位置)的乘积。T是4×4齐次变换矩阵，并且前导下标和上标如下：{C}是AR装置/相机的参考系；{A}是飞机的绝对参考系；并且{Q}是QR码的参考系。
图3是示出在飞机机身内部使用QR码图案标记50a和50b的示图。QR码图案标记50a和50b中的每一个包括符号(QR码图案48a和48b)，其编码识别QR码图案已经放置的参考位置的相应唯一参考位置识别数据。另外，每个QR码图案48a和48b包括在代码图案的左下角的配准基准符号、在代码图案的左上角的配准基准符号以及在代码图案的右上角的配准基准符号，如先前在图2中所描述的。在图3所示的场景中，QR码图案标记50a被应用在由窗框46a包围的窗户58a的顶部的中心；QR码图案标记50b被应用在由窗框46b包围的窗户58b的顶部的中心。每个QR码图案48a和48b是唯一的。每个QR码图案标记中的有效载荷包含用于窗户中的相应一个的唯一标识符。如果需要，QR码图案标记50a和50b可以双面打印，因此它们从飞机的内部和外部两者都是可见和可用的。每个标记上的文字指示该标记应安装在哪一行的窗户上。如果每个窗户被保护膜覆盖，则相关联的代码图案标记可以被应用到该膜上，并且随后将在组装过程中与该膜一起移除，而不会在飞机上留下异物的显著风险。在一些实施方式中，标记图案可以被打印在保护膜本身上或保护膜本身内。
QR码图案48a和48b包含已知大小和取向的配准标记，诸如基准符号52a至52b，当QR码图案标记完全在能够连续扫描的手持式成像装置(例如，摄像机)的视野内时，这允许少量的连续相对位置和取向跟踪。如果多于一个QR码图案标记在相机的视野中，则可以在两个QR码图案标记之间插入位置，这使得能够在较大区域上连续扫描。扫描QR码图案标记并使用返回的逻辑坐标的步骤可以根据需要经常重复。一旦完成该过程，该组QR码图案标记就可以在那时被移除，或者它们可以被留在板上以重复使用，直到稍后在组装过程中移除窗户保护膜本身为止。
在本文公开的实施方式中，QR码图案是优选的，因为配准标记被集成到格式中，并且由于QR码图案是可商购的现成产品中可获得的标准类型，这使得用户更方便地打印标签。然而，可以采用不具有集成配准标记的可选代码图案。如果不需要概念的连续相对位置跟踪方面或者如果它是标签的单独部分，则可以使用数据矩阵码、MaxiCode、Aztec码和其他类型的2D条形码。
根据可选实施方式，单独的配准标记模板(即，背景图像)可以被添加到缺少集成的配准标记的代码图案中。代码图案可以被放置在配准标记之间的空白空间内，以提供与使用QR码可以实现的功能等效的连续跟踪功能。可以采用提供机器可读的基于地标的参考数据的任何源，诸如UPC标准条形码、数据矩阵(ECC 200)2D矩阵条形码或MaxiCode 2D矩阵条形码(由UPS公共域使用)。与QR码图案示例一样，这些可选形式的离散数据存储可以与相对运动跟踪一起使用，以提供绝对坐标系中的连续跟踪。
图4是表示用于增强现实(AR)应用的2D标记(例如，QR码图案标记50a和50b)和对象(例如，飞机窗户)的3D模型44a和44b的配对和配准的示图。在该示例中，窗户58a和58b具有粘附(粘贴)在其上的相应QR码图案标记50a和50b；窗户58没有标记。每个QR码图案标记50a和50b的有效载荷包括唯一地识别标记的编码数据。在图4所示的示例中，QR码图案标记50a由参考“W32R”唯一地识别，而QR码图案标记50b由参考“W34R”唯一地识别。
在设置期间，QR码图案标记50a和50b被系统扫描和读取。可以使用单独的手持式扫描仪或与AR装置集成的成像装置(例如，相机)来扫描标记。通过处理图像数据以提取标记标识符来读取标记。在扫描标记之前或之后，将3D模型44a和44b加载到3D可视化环境中，以便在配对和配准过程期间使用。然后，相应标记标识符与由相应3D模型表示的物理对象的相应位置相关联(在配对列表中)。生成并保存(在非暂时性有形计算机可读存储介质中)包含标记标识符和由3D模型表示的对象的位置的配对列表的数据文件以供运行时使用。例如，配对列表可以是查找表的形式。
更一般地，本文公开的技术包括用于将两种形式的所获取的数据配对的过程：2D标记的唯一字母数字有效载荷和指定该2D标记在物理环境(例如，飞机内部)参考系中的位置的相应3D位置数据。2D标记被放置在整个物理环境中，并与相应3D位置相关联，以在初始设置阶段期间建立配对表。该设置阶段涉及使用可以由用户查询的物理环境的3D模型，以获取目标对象上的特定3D位置，并且2D标记(例如，矩阵条形码，诸如QR码)由扫描器(或由相机和图像处理应用)读取，以获取在2D标记中编码的唯一标识符有效载荷。这两条信息在配对表中关联在一起，并且然后用户继续获取过程以获取下一对，并且依此类推。当该数据获取过程完成时，配对表被保存并且可以被转换成用户可访问的另一种机器可读形式(例如，另一种矩阵条形码，诸如QR码或其他电子形式)。配对表将在运行时使用开始时由用户的AR装置扫描。由于系统的使用是分散的，因此可以同时使用运行时应用的多个独立实例。
根据一些实施方式，当用户(或在机器人应用的情况下为自主代理)进入物理环境时，可以由与AR装置集成的成像装置自动读取唯一的标记到模型位置配对列表。例如，图5示出了在初始设置之后并且在用户已经经由门口55进入飞机并且正在走过通道之后的场景。其上打印有地标到位置映射54的QR码图案标记在设置期间被放置在门口附近，并且用于检索飞机坐标系中检测到的标记的相关联的物理飞机坐标。然后这些物理飞机坐标可以被馈送到AR应用中，以设置由AR装置显示的虚拟内容的位置和取向，以与用户在运行时期间正在查看的物理对象对准。根据其他实施方式，用户(或代理)决定何时扫描配对列表。在一些实施方式中，3D位置可以包括位置和取向(诸如，具有x、y、z坐标的所选表面位置和该位置处的表面法线的取向)两者。在其他实施方式中，可能仅需要x、y、z坐标。
在初始设置之后，AR应用涉及针对2D标记扫描物理环境、在运行时查找与2D标记相关联的相应3D位置、将该3D位置应用于当前AR装置到标记的偏移并且然后校正AR系统的内部3D位置估计。AR系统能够同时支持多个用户，并且不限于使用任何特定制造商的硬件。
图5是表示AR系统的运行时使用的示图，该AR系统被配置为使用粘贴在飞机内部的窗户上的2D标记和标记到模型位置配对列表来校正内部3D位置估计。在图5所示的示例中，2D标记包括分别粘贴在窗户58a至58d上的QR码图案标记50a至50d；一些窗户58没有2D标记。窗户58a至58d分别由窗框46a至46d包围。如果多个可读标记在视图内，则定位算法选择距离较近的标记，并且如果没有完全可读的标记在视图内(其可能包括太模糊而无法读取的标记)，则该方法不会向AR系统提供位置校正。
图5示出了在飞机机舱的地板6上行走的两个用户2。每个用户2佩戴作为AR装置的一部分的相应头戴式显示器4。头戴式显示器4被配置为将物理世界和虚拟对象两者的图像置于用户的视野8中。至少一个相机(图5中未示出)被安装到或包含在每个头戴式显示器4装置中。在该附图中，对于每个装置，相机中的一个面向前方，其中，相应视野8由图5中的两条虚线指示。该相机用于捕获QR码图案标记50a至50d的图像，然后处理该图像以计算将正显示在头戴式显示器4上的虚拟内容与用户正在查看的场景对准所需的位置数据。
一种类型的可穿戴式AR装置有时称为透视AR装置，其中，用户佩戴头戴式显示器并看到来自真实世界的光以及来自计算机生成的虚拟环境的光。存在将来自具有计算机生成的内容的相机的图像数据用作该相机图像数据上的覆盖的其他形式的AR。本文提出的技术可应用于两种形式的AR。这些显示器中显示的虚拟内容可以是任何形式的计算机生成的数据。一些虚拟内容可以是3D实体模型(诸如3D CAD模型)；其他形式可以是3D线、纹理映射或者甚至放置在适当的3D位置的文本。并非所有硬件都能够渲染复杂的3D实体模型(在下文中称为“3D模型”)，而其他硬件可能仅渲染有限数量的3D几何图形。另外，在一些情况下，渲染更简单的表示可能比具有完整的3D模型更好。在所有情况下，仍需要将计算机生成的数据(无论是3D模型还是其他虚拟内容)适当地放置(定位)在3D物理环境(位置和取向)中，这是物理到虚拟世界对准的核心要素。尽管该系统的一个预期用途是用于头戴式显示装置，但是其他类型的AR系统也将能够使用本文公开的技术。
初始设置过程涉及在物理环境中扫描2D标记，并将2D标记与作为参考对象(诸如飞机上的窗框)一部分的物理对象的相应3D位置相关联(配对)。每个窗框可以是具有粘贴在其上的相应2D标记的单独对象，并且窗框的每个3D模型具有可以与标记标识符相关联的特定的相应3D位置数据。
在将配对列表加载到AR装置之后或之前，与对象有关的虚拟3D内容(例如，3D模型、3D线或其他3D形式)也加载到AR装置中。在AR应用中，通常不使用完整的CAD模型，因为一些AR装置可能没有足够的渲染能力来显示完整的模型。本文提出的技术的一些实施方式涉及示出参考3D内容，诸如窗户的一部分或窗户周围的边界或粘附至窗户的QR码的正方形轮廓。一旦有限的3D内容通过校准过程(物理到虚拟世界配准)被适当地对准，用户就会将3D内容视为真实世界场景上的覆盖。
在设置过程开始时，3D虚拟对象-例如，以绝对(飞机)坐标定义的3D实体模型、3D线段或标记轮廓-加载到AR装置上的虚拟环境显示应用中，但是标记的有效载荷的唯一内容(例如，诸如QR码的矩阵条形码)尚未与适当的3D虚拟对象相关联。此后，每个唯一标记标识符与相应的3D虚拟对象的相应唯一位置(位置和取向)相关联。标记与位置的关联使得该过程能够确定标记相对于与其配对的虚拟3D对象的相对位置，并且然后计算机可以计算标记在物理环境(例如，飞机坐标)参考系中的绝对位置。
在运行时使用AR装置是与在初始设置过程期间如何使用AR装置不同的过程，其涉及物理编码的2D标记与对应的标记位置的初始配对。标记到模型位置配对表的构造每架飞机完成一次，并且然后该配对表可以在运行时供进入该飞机并希望使用其AR装置和本文提出的跟踪校正系统的任何用户使用。
图6是根据一个实施方式的识别用于设置和校准AR系统的方法60的步骤的流程图，该AR系统被配置为扫描放置在物理对象上的2D标记，以用于将虚拟内容与物理环境的图像配准的目的。该系统在目标环境中的初始设置涉及以下步骤。首先，使用表示唯一地标识相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可读代码图案(步骤61)。然后，将相应2D标记应用于物理环境中的相应对象上的所选择的位置(步骤62)。在完成标记安装之后，使用成像装置(例如，手持式成像装置或结合在AR装置中的成像装置)捕获表示物理环境中的相应2D标记的图像数据(步骤63)。处理图像数据以获取表示相应标记标识符的数字数据(步骤64)。在获取图像数据之前或之后，将表示粘贴有标记的相应对象的3D模型加载到3D可视化环境中(步骤65)，并显示在膝上型计算机或平板计算机上。然后，用户从3D模型获取表示相应对象的3D位置的数字数据(步骤66)。然后，用户指示应用将相应2D标记的每个标记标识符与来自3D模型的相应对象的3D位置配对(步骤67)。在完成标记标识符与相关联的对象的3D位置的配对时，生成包含表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以供运行时使用(步骤68)。然后，将配对列表数据转换成适于即时加载到增强现实(AR)装置上的形式(步骤69)，诸如图12中的示例。
物理对象(由3D模型表示)在物理环境的参考系中具有已知的位置坐标，这意味着并置标记的坐标也可以通过参考配对列表来确定。随后，AR装置在飞机的参考系中的坐标可以基于标记坐标和如下所述测量的AR装置到标记的偏移来计算。
对于飞机内部环境的初始设置，在窗户上安装2D标记的最有效方法将是使窗户的原始设备制造商在交付前将唯一2D代码图案打印在放置在窗户上的保护膜上。但是这将可能要求在窗户制造商处的计划等级和可能不切实际的变化。作为更现实的可选方案，在窗户由原始设备制造商准备之后，可以在保护膜上放置单独的唯一2D代码图案标记。可以在将窗户安装到飞机上之前或之后在窗户上放置2D代码图案标记。
除了将配对列表数据加载到AR装置上之外，图6所示的步骤是仅发生一次的环境准备任务，而将数据加载到AR装置中是对于个体用户发生并且可能发生多次的事件。AR装置可以在多个飞机(或多个环境)上使用，而不是分配给一个飞机。用户可能在一个特定飞机上工作一小时左右，并且然后移动到不同的飞机上，并且然后稍后移动到另一飞机上(或可能回到第一个飞机)。具有自己的AR装置的数十个其他工作人员可能也需要加载数据。在已经创建配对列表之后，一个飞机的数据准备将被许多单独的AR装置使用。
在初始设置之后，AR装置可以在运行时使用2D标记来实现虚拟内容相对于AR装置的用户正在查看的场景的准确定位。运行时过程需要是可缩放的，使得来自多个环境(飞机)的设置数据可以容易地应用于多个装置-并且以即时的方式(诸如，当用户走上飞机时)。为了实现可缩放性，以这样的方式准备配对列表数据，使得当用户走进环境时可以容易地将数据上传到AR装置上。存在可以发生这种上传的几种方法。
根据一个实施方式，步骤69包括：使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图案；并且将2D标记附接到物理环境中的结构上。例如，配对列表数据可以被编码为附接到飞机的入口门附近的位置的大的QR码(或多个QR码)。当用户走上飞机以配置其AR装置时，用户用AR装置扫描设置的QR码。这是使用类似可打印的QR码的某物(但是也可以使用类似电子墨水显示屏的某物)的光学过程。
根据另一实施方式，步骤69包括：格式化配对列表数据以进行无线传输；并且传输用表示配对列表数据的信息调制的短波长超高频无线电波。例如，可以使用提供特定飞机的配对列表数据的短距离本地无线传输过程(诸如蓝牙)上传配对列表数据，一旦用户踏上该飞机，该飞机是可访问的，但是由于应避免混合校准数据集，因此不能从其他位置(诸如在其他飞机上)访问。(蓝牙是一种无线技术标准，用于使用工业、科学和医学无线电波段(从2.400GHz到2.485GHz)中的短波长UHF无线电波在短距离上在固定装置与移动装置之间交换数据，并建立个人局域网。)
图7是根据一个实施方式的识别用于将由增强现实应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法88的步骤的流程图。用于将虚拟内容与被查看的场景配准的方法88涉及以下步骤。将配对列表数据加载到AR装置中(步骤70)。在步骤70之前或之后，将包括应用了2D标记的对象的虚拟特征的虚拟内容加载到AR装置中(步骤72)。虚拟特征与对应于物理环境中的对象的虚拟对象具有固定的关系。然后在结合在AR装置中的显示装置上查看物理环境中的对象(步骤74)。另外，使用结合在AR装置中的成像装置(例如，相机)捕获表示应用在对象上的2D标记的图像数据(步骤76)。处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据(步骤78)。然后，处理配准标记的空间位置以计算当前AR装置到标记的偏移(步骤80)。然后，该过程搜索配对列表，并找到与应用在对象上的2D标记的标记标识符相关联的对象的3D位置(步骤82)。然后，基于当前AR装置到标记的偏移和在步骤82中找到的对象(与标记并置)的3D位置来计算在物理环境(例如，飞机)的参考系中定义的AR装置的3D位置(例如，绝对位置坐标)(步骤84)。然后，以基于步骤84中计算的当前AR装置到标记的偏移和步骤82中找到的3D位置的视点显示虚拟内容(步骤86)。
根据一个实施方式，步骤69(参见图6)包括：以适于即时加载到AR装置上的形式准备配对列表数据，例如，使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图案，并将2D标记附接到物理环境中的结构。根据另一实施方式，步骤70(参见图7)包括光学读取2D机器可读代码图案以获取配对列表数据并将所获取的配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
根据另一实施方式，步骤69(参见图6)包括：格式化配对列表数据以进行无线传输；并且传输用表示配对列表数据的信息调制的短波长超高频无线电波；而步骤70(参见图7)包括：接收电磁波，解调所接收的电磁波以获取配对列表数据，并将配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
图8是根据一个实施方式的识别能够将计算机生成的虚拟特征与使用2D标记作为地标查看的物理环境正确地对准的AR系统90的一些组件的框图。AR系统90包括AR装置92、计算机辅助设计(CAD)系统34和粘贴在物理环境中的相应对象上的一个或多个2D标记50。CAD系统34包括数据库，该数据库包括表示作为参考对象(诸如飞机)的组件的对象的模型的CAD模型数据。CAD模型数据包括3D位置数据，该3D位置数据指定目标对象(例如，飞机)的参考系中的对象的相应3D位置的坐标。AR系统进一步包括可操作地耦接到AR装置92的收发器36和可操作地耦接到CAD系统34的收发器40。收发器36和40通过相应的天线38和42无线通信地耦接。该通信路径使得AR装置92能够从CAD系统34接收CAD模型数据。
AR装置92包括：成像装置26(例如，相机)，其具有优选地包围2D标记50的视野(FOV)；显示装置32(例如，图5所示的头戴式显示器4)，其能够在用户查看物理场景时在透明屏幕上显示虚拟内容；非暂时性有形计算机可读存储介质(例如，存储器94)；以及计算机系统24，通信地耦接到成像装置26、显示装置32和存储器94。存储器94存储配对列表数据和虚拟内容数据，该配对列表数据表示2D标记50上的标记标识符与其上应用了相应2D标记50的物理环境中的对象(图8中未示出)的3D位置的配对，该虚拟内容数据表示包括其上应用了相应2D标记50的对象的虚拟特征的虚拟内容。
计算机系统24被配置为执行以下操作。处理来自由成像装置26捕获的图像的图像数据以获取表示应用在出现在捕获图像中的对象上的2D标记50的标记标识符和配准标记的空间位置的数据。然后，处理配准标记的空间位置以计算当前AR装置到标记的偏移。然后，计算机系统搜索存储在存储器94中的配对列表以找到与出现在所捕获的图像中的2D标记50的标记标识符相关联的对象的3D位置。然后，基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置92在物理环境的参考系中的3D位置。然后，计算机系统以基于当前AR装置到标记的偏移和对象的3D位置控制显示装置32的视点显示包括对象的虚拟特征的虚拟内容。可选地，AR装置92的成像装置26也可以在设置过程期间使用。
根据其他实施方式，可以在设置期间使用单独的代码扫描装置(在图9A和图9B中示出)以获取用于配对步骤的数字标记代码。代码扫描装置可以是单独的手持式装置。手持式装置可以在设置期间使用，但是将不能用于运行时部分。手持式装置可以被配置为将编码的标记的嵌入的唯一标识符数据(例如，“AA123”)与3D对象(例如，“w765.obj”)的几何模型数据以及相关联的3D对象的空间位置相关联，该空间位置包括3D对象相对于飞机坐标的位置和取向(例如，4×4变换矩阵或四元数)。
如果手持式装置用于关联标记和位置，则该装置可以被配置为与正在记录配对数据的计算机系统(图8中未示出)通信。例如，3D模型可以被加载到在膝上型计算机或平板PC上运行的3D虚拟环境中并在该3D虚拟环境中显示，其中，手持式装置被插入膝上型计算机或平板PC中。当用户扫描QR码(其位于窗户中的一个窗户上)时，由扫描仪解码的数据被接收并存储在PC上。然后，用户还在3D虚拟环境中(利用鼠标或触摸屏)选择适当的3D模型。换句话说，用户指示在PC上运行的配对应用：利用扫描仪刚获取的扫描数据将与刚选择的3D对象相关联-或更具体地，所选择的3D对象的3D位置将与刚获取的扫描数据相关联。由执行该任务的人员确定3D虚拟环境中的哪个3D模型是要选择的适当的3D模型。该人员看到屏幕上的虚拟模型，并基于在物理环境中最近扫描的标记来决定选择哪个模型。
根据一个提出的实现方式，硬件包括扫描仪和PC/平板计算机；软件包括由扫描仪托管的扫描应用以及由PC/平板计算机托管的3D显示应用和配对应用。PC/平板计算机从扫描仪接收编码的标记的唯一标识符数据，并从非暂时性有形计算机可读存储介质检索与虚拟环境中的所选择的3D对象相关联的3D位置数据。可选地，扫描应用和配对应用可以与3D显示应用集成，以制作处理所有这些步骤的一个统一软件应用。
根据可选实施方式，代替手持式扫描仪，可以将具有集成相机的头戴式显示器用于配对操作。头戴式显示器中的相机将用于读取QR码(并且相关联的软件将解码QR码)以获取唯一的标识符数据。3D模型可以被加载并显示在头戴式显示器中而不是平板计算机或膝上型计算机中。由于用户在使用头戴式显示器时没有鼠标，因此将使用不同类型的交互来选择应与来自QR码(由相机和图像解码应用获取)的数据相关联的3D模型。对于过程的这种选择方面，头戴式显示器通常具有某种类型的手势输入；也可以使用语音命令。
图9A和图9B是可以在设置过程期间使用的示例性手持式成像装置18的等距前视图和后视图。手持式成像装置18可以是iOS装置(诸如由加利福尼亚州库比蒂诺的苹果公司生产的
Figure BDA0002733801380000221
或
Figure BDA0002733801380000222
)或其他“智能电话”、平板计算机或其他手持式计算装置。根据图9A和图9B所示的实施方式，手持式成像装置18包括显示屏12、微处理器14(在图9A中由虚线指示)、用于激活图像捕获的按钮16以及具有视线20(在图9B中由虚线指示)的集成的或可附接的相机28。在可选方案中，可以通过按压显示在显示屏12上的虚拟按钮来激活图像捕获。
手持式成像装置18还可以结合用于提供无线通信能力的元件。具体地，手持式成像装置18可以具有能够运行3D可视化应用的机载3D图形能力，或者其可以与运行3D可视化应用(在图9A和图9B中未示出)的远程计算机系统无线通信。这种无线通信可以是蜂窝的、Wi-Fi或基于因特网的，根据需要具有中间接收器和发送器。远程计算机系统具有与3D模型数据库通信的能力，如图8所示。飞机的3D模型存储在非暂时性有形计算机可读存储介质中，该非暂时性有形计算机可读存储介质可由托管3D可视化应用的计算机系统访问。3D可视化应用使得能够以飞机组件物理形式图形表示飞机组件。
图10是表示投影到具有应用在其上的2D(例如，矩形)代码图案标记50的目标对象的内表面10的一部分上的手持式成像装置18中的相机的视野22的范围的示意图的示图。根据图10所示的实施方式，代码图案标记50包括柔性衬底，该柔性衬底上打印有代码图案48，以形成用于可移动或半永久地放置在目标对象的内表面10上的地标位置。代码图案48包括位于代码图案标记50的相应角的三个配准基准符号52a至52c。配准基准符号52a至52c使得能够进行连续的相对位置跟踪。代码图案标记50的柔性衬底可以包括纸片、由聚合物材料制成的膜或其他合适的可印刷柔性材料。可选地，可以使用便携式喷墨打印机(或类似装置)将代码图案48直接打印到已经应用到表面10(例如，飞机机身的窗户的内表面)的衬底(图中未示出)上。手持式成像装置18的微处理器14被配置为使用代码图案解码器软件来解码代码图案48。手持式成像装置18还被配置为使用射频信号30与AR装置远程计算机系统通信。
图11是表示具有数据矩阵代码图案56和在代码图案标记50的相应角处的三个配准基准符号52a至52c的矩形代码图案标记50的可选类型的示例的示图。配准基准符号52a至52c位于标记标签上，但是在代码图案56的数据矩阵部分的外部，并且可以以与使用QR码图案标记的配准基准符号52a至52c相同的方式使用。更具体地，基准符号52a至52c不与代码图案56的数据矩阵部分重叠，使得在基准符号52a至52c与代码图案56的数据矩阵部分之间限定空白空间。
一旦已经安装了代码图案标记50，则用户可以利用被配置为读取和解码代码的手持式成像装置18读取每个代码图案标记50。然后，考虑可能包括主要和次要飞机模型以及适用的组装偏移的因素，通过解码返回的逻辑坐标被映射到正确的飞机坐标中。该地标到位置映射(本文也称为“配对列表”)针对所需的每个因素集合创建一次，并且在适用的飞机上首次使用之前创建。
图12是表示结合在QR码图案的有效载荷中的地标到位置映射54的示例的示图。其上打印有地标到位置映射54的标记可以放置在参考对象上的任何位置或与参考对象分离(包括便携式)。地标到位置映射54用于检索飞机坐标系中检测到的标记的相关联的物理飞机坐标。然后，这些物理飞机坐标可以被馈送到AR应用中以设置由AR装置显示的虚拟内容的位置和取向以与用户正在查看的物理对象对准。
对于地标到位置映射54，标记的相应角中的QR码配准符号对于该方法并不重要，并且在读取映射时将被忽略，因为地标到位置映射在读取映射时不用于连续跟踪。如果数据矩阵代码图案而不是QR码图案用于该过程，则图11所示的配准基准符号52a至52c将不需要被包括在地标到位置映射的标记中。
由地标到位置映射54体现的配对列表将从成像的QR码图案解码的标记标识符数据与3D对象的3D位置(虚拟环境选择)相关联。通常，从虚拟环境选择的3D对象的3D位置对应于QR码图案标记的位置，例如，如果标记被放置在相应窗户的中心，但是在一些实施方式中，可能存在窗户的中心与QR码图案标记的中心之间存在已知的偏移的情况。如果是这种情况，则存储在配对列表中的位置将通过偏移量调整。
根据一个实施方式，该系统使用QR码形式的编码标记。QR码由白色背景上的图案中的像素状元素的阵列组成，其可以由诸如相机的成像装置读取。在运行时，通过利用众所周知的基于QR码的AR处理来解决相机姿势问题来获取QR码相对于相机(其是AR装置的一部分)的位置。该过程使用嵌入在每个QR码中的“位置”标记和“对准”标记。这些标记是不改变的QR码标记的部分，包括(例如，在QR码的版本10中)在正方形标记的相应角中的三个相对较大的“位置”正方形(也称为“跟踪框”)和在标记上以网格图案排列的六个较小的“对准”正方形(也称为“跟踪框”)。通过使用该对准技术，用户可以确定AR装置的相机相对于QR码标记的相对位置(位置和取向)。然后，用户可以使用标记相对于物理环境(例如，飞机坐标)参考系的位置来获得在参考系中定义的相机(AR装置)的绝对坐标。
AR装置92的成像装置26(参见图8)可以用于读取QR码信息并将该信息传递到其他软件组件上以进行附加处理。其他软件组件从配对表检索绝对的3D位置数据(使用在QR的码扫描期间获取的唯一标识符)，以及计算AR装置92相对于QR码图案标记50的相对位置(由软件使用来自QR码扫描的位置和对准标记数据来计算)，并且然后执行前面提到的矩阵乘法以计算正确的绝对位置-然后该绝对位置用于校正AR装置92的绝对位置的估计。
为了确定AR装置92相对于目标对象的位置(位置和取向)，需要获取目标对象(诸如飞机坐标)的绝对坐标系中的初始参考位置信息。通过使用图1所示类型的QR码图案标记50的阵列来实现建立AR装置92相对于目标对象的表面的相对位置。由每个代码图案48中的配准基准符号52a至52c实现的相对跟踪功能允许计算距AR装置92的距离和相对角度。代码图案48在AR装置92的相机的视野8内(参见图5)，并且表示嵌入在代码图案48中的唯一地标参考的数据将是用于后续运动的参考位置。由代码图案中的配准基准符号52a至52c实现的相对跟踪功能允许当AR装置92移动时计算距AR装置92的距离和结合在AR装置92中的相机的视线的相对角度。
所描述的跟踪功能在其中AR装置92仅具有对QR码图案标记上的QR码数据的离散(即，不连续)访问的情形中特别有用。换句话说，本文提出的跟踪方法不需要一直查看QR码以便能够连续跟踪AR装置位置。当QR码不在视野内时，内部AR装置跟踪处理定位。更具体地，优选方法的系统是连续地处理来自相机的输入图像数据以寻找环境中的QR码，但是它不需要QR码一直在视图中以允许AR装置跟踪位置。AR装置仅需要间歇性地查看QR码以校正在AR装置上运行的本地定位过程(诸如基于同时定位和映射(SLAM)的过程)中发生的漂移。相对照地，如果至少一个QR码一直是连续可见的(并且可读的)，则系统可以使用那些代码图案标记进行跟踪，但是该过程返回到本文另外提出的默认“离散更新”校正方法。
图13A至图13C是表示根据可选操作的投影到具有应用在其上的QR码图案标记50a至50d的阵列的表面10的相应区域上的AR装置92的视野的相应示意图的示图，在该可选操作中，代码图案标记是连续可见的。每个代码图案在相应角处具有三个配准基准符号以使得能够在AR装置92在整个环境中移动时连续地确定AR装置92的相对位置和取向的变化。用于位置和取向跟踪和处理的算法可以采用类似于华盛顿大学的人机界面技术实验室(HITLab)、新西兰坎特伯雷大学的HIT Lab NZ和华盛顿西雅图的ARToolworks，Inc支持的ARToolKit中公开的算法或类似的位置和取向确定软件。ARToolKit使用计算机视觉技术来计算相对于代码图案标记的真实相机位置和取向。AR装置92的相机捕获目标对象的视频。软件在每个视频帧中搜索任何QR码位置和对准元素。如果找到足够数量的位置和对准元素，则软件算法使用数学方法来计算相机相对于图案的位置。ARToolKit给出代码图案标记在相机坐标系中的位置。对于本文描述的实施方式，采用这些类型的位置跟踪算法的软件例程在AR装置92的计算机系统24(例如，微处理器)中操作(参见图8)。
三个配准基准符号52a至52c(图1所示)相对于AR装置92的相对位置和取向提供用于确定相机姿势相对于目标对象的表面10的数据。相机姿势可以由坐标变换矩阵表示。该连续更新的相对定位信息以及包含在由AR装置92读取的代码图案的数据有效载荷区域内的唯一参考位置标识数据用于在目标对象(例如，飞机)的绝对坐标系中提供连续跟踪。该跟踪功能允许定位在目标对象内部的任何位置，只要至少一个代码图案保留在AR装置92的视野8内并且在可以由AR装置92分辨的距离处。在已知AR装置92相对于目标对象的绝对位置和取向的情况下，可以检索来自与受关注的位置相关联的机载或离机数据库的数据。数据可以是多种形式：文本、图标、照片、非破坏性检查扫描、视频和3D模型，其然后可以显示在AR装置92的显示装置32上(参见图8)。
再次参考图13A至图13C，使用沿着目标对象(诸如飞机机身)的内表面10间隔开的多个代码图案标记50a至50d允许AR装置92的视野沿着目标对象移动，其中，显示装置32上呈现的相关联的虚拟内容被调整以指示移动的AR装置92的变化位置。代码图案标记50a至50d可以间隔地放置在目标对象的内表面10上以形成阵列，该阵列允许相机(图13A至图13C中未示出)在AR装置92沿着该内表面10移动或平移时查看用于位置校正的代码图案。在图13A所示的AR装置92的初始位置中，代码图案标记50b在AR装置92的相机的视野8a内。基于结合在代码图案标记50b中的唯一地标参考信息，本文公开的跟踪功能用于确定AR装置92相对于目标对象的内表面10的绝对坐标系的相对定位(即，位置和取向)。此后，当AR装置92移动到图13B所示的第二位置时，代码图案标记50c进入AR装置92的相机的视野8b内，从而允许AR装置92的相对位置和取向的连续实时更新。类似地，在将AR装置92移动到图13C所示的第三位置时，代码图案标记50d进入AR装置92的相机的视野8c内。如果多于一个QR码图案标记在相机的视野8中，则可以选择一个或另一个QR码图案标记，或在两个QR码图案标记之间插入位置，这使得能够在较大区域上进行连续扫描。
如前所述，由AR装置92显示的虚拟内容可以是3D实体模型(诸如3D CAD模型)或其他形式，诸如3D线、纹理映射或甚至放置在适当3D位置处的文本。根据一些实施方式，虚拟内容包括其上应用了2D标记的对象的虚拟特征。
不需要3D模型的一个简化方法是使用缩放到物理标记的大小并放置在虚拟3D环境中的适当位置处的2D标记的纹理映射。纹理映射图像或其一部分可以在可视化显示中制成透明或半透明以允许物理QR码图案通过AR图像覆盖部分可见。在AR装置的可视化环境中，纹理映射将与物理标记重叠以帮助用户确认系统正确地对准。图14是以纹理映射51的形式表示虚拟内容的叠加的示图，该纹理映射51表示应用于物理环境中的对象的2D标记上的2D机器可读代码图案，该纹理映射51可以叠加在其上打印有该机器可读代码图案的2D标记50的视图上。换句话说，虚拟代码图案将被叠加在用户的视野中可见的真实代码图案上。虚拟代码图案相对于可见代码图案的任何未对准向用户指示AR装置可能未被适当地校准，并且需要重新校准。
另一选项是以几何符号的形式显示虚拟内容，当AR装置相对于物理环境的坐标系被适当地校准时，该几何符号与2D标记的边界或与应用2D标记的对象的边界具有独特的关系。图15A至图15F是表示相应几何符号在已经粘附了2D标记的对象(在该示例中，由窗框46包围的窗户58)的视图上的叠加的示图。每个几何符号被缩放并被放置在虚拟3D环境中的适当位置。在AR装置的可视化环境中，几何符号将帮助用户确认AR系统被适当地对准。
根据图15A所示的第一实施方式，虚拟特征是被成形和缩放为在虚拟内容与物理环境适当地对准时与窗框46的内边界一致的几何符号96a。根据图15B所示的第二实施方式，虚拟特征是被成形(例如，矩形)和缩放为在虚拟内容与物理环境适当地对准时与应用于窗户58的2D标记的边界一致的几何符号96b。根据图15C所示的第三实施方式，虚拟特征是被成形(例如，菱形)和缩放为在虚拟内容与物理环境适当地对准时内接在窗框46的内边界内的几何符号96c。
该虚拟内容的任何变体可以一起使用。根据图15D所示的第四实施方式，虚拟特征包括被成形和缩放为与窗框46的内边界一致的几何符号96a和被成形和缩放为在虚拟内容与物理环境适当地对准时与窗框46的外边界一致的几何符号98a。根据图15E所示的第五实施方式，虚拟特征包括被成形(例如，矩形)和缩放为与应用于窗户58的2D标记的边界一致的几何符号96b和被成形(例如，矩形)和缩放为在虚拟内容与物理环境适当地对准时允许窗框46的外边界内接在几何符号98b内的几何符号98b。根据图15F所示的第六实施方式，虚拟特征包括被成形(例如，菱形)和缩放为内接在窗框46的内边界内的几何符号96c和被成形(例如，矩形)和缩放为在虚拟内容与物理环境适当地对准时允许窗框46的外边界内接在几何符号98b内的几何符号98b。
本文公开的AR应用在计算机系统上运行，该计算机系统被配置为接收标记标识符到3D位置配对列表并将该信息转换为指定AR装置的绝对位置(即，指定视点)的数据串。该命令消息被发送到AR应用，该AR应用使用AR装置92的绝对位置来显示被定位和定向为与用户正在查看的物理环境中的对象对准的虚拟内容。这些显示器中示出的虚拟内容可以是任何形式的计算机生成的数据。一些虚拟内容可以是3D实体模型(诸如3D CAD模型)；其他形式可以是3D线、纹理映射或甚至是放置在适当的3D位置处的文本。
AR应用可以在许多不同类型的计算机系统上运行。如本公开所使用的，术语“计算机系统”应被广义地解释为包括具有至少一个计算机或处理器的数字数据处理系统，并且该数字数据处理系统可以具有通过网络或总线或直接彼此通信的多个计算机或处理器。如在前面的句子中所使用的，术语“计算机”和“处理器”两者是指包括处理单元(例如，中央处理单元、集成电路或算术逻辑单元)的装置。合适的计算机系统的示例包括智能电话、平板计算机、膝上型计算机、台式计算机、工作站计算机、智能手表、头戴式显示器或其他可穿戴显示器。该计算机系统可以包括彼此连接的至少两个处理器，其中一个是图形处理器。
图16是识别适于托管增强现实应用的系统100的组件的框图，该系统可以与上述类型的手持式成像装置通信。处理器102通常是能够执行处理数据的计算机程序的任何计算机硬件。处理器102可以包括电子电路，其中的一些可以被封装为集成电路(例如，芯片)或多个互连的集成电路。处理器102可以被配置为执行计算机程序，该计算机程序可以作为计算机可读程序代码存储在处理器上或以其他方式存储在存储器106中。在可选实施方式中，处理器102可以被体现为或以其他方式包括一个或多个专用集成电路、现场可编程门阵列等。
存储装置104通常是能够永久地存储数字数据和计算机程序(例如，计算机可读程序代码和3D模型文件)的任何硬件。这样的存储装置可以采取硬盘驱动器、固态驱动器、光盘、磁带或其某种组合的形式。
存储器106通常是能够临时存储数字数据和计算机程序(例如，计算机可读程序代码和3D模型文件)的任何计算机硬件。存储器106可以包括易失性和非易失性存储器，并且可以是固定的或可移动的。合适的存储器的示例包括随机存取存储器、只读存储器、硬盘驱动器、闪存、拇指驱动器、SD卡、可移动计算机磁盘、光盘或其某种组合。
在各种情况下，存储装置104和存储器106可以被称为有形计算机可读存储介质。有形计算机可读存储介质是能够存储信息的非暂时性装置，并且与诸如能够将信息从一个位置携带到另一位置的电子瞬态信号的计算机可读传输介质区分开。
系统100进一步包括一个或多个输入装置112(诸如图9A和图9B所示的手持式成像装置18)。输入装置112可以是有线的或无线的，并且可以被配置为从用户接收信息到设备中，诸如用于处理、存储和/或显示。合适的用户输入装置的示例包括鼠标、麦克风、图像或视频捕获装置、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏中)、生物特征传感器等。
响应于经由输入装置112来自用户的增强现实激活命令的输入，处理器102从存储装置104检索包含虚拟内容的文件，并将其临时存储在存储器106中。处理器102根据经由输入装置112接收的其他用户输入或根据从存储在存储器106中的增强现实应用软件读取的指令选择性地处理存储在存储器106中的虚拟内容。
除了存储装置104和存储器106之外，处理器102还连接到图形处理器108，该图形处理器108又连接到显示装置110。图形处理器108被配置为响应于从处理器102接收到坐标变换矩阵，渲染由多个部分组成并具有相应视点的结构产品的数字3D模型以供显示。更具体地，图形处理器108处理3D模型数据并将像素数据输出到数字图像或光栅图形图像文件以在显示装置上显示。在可选方案中，高端系统通常具有中央处理单元(CPU)和图形处理单元(GPU)，但是一些系统(如低端计算系统或智能电话)可能具有带有嵌入式图形处理芯片(通常称为“集成”图形)的单个处理器或甚至使用CPU来渲染图像的“软件”渲染。
处理器102还可以连接到网络接口114，用于诸如向其他设备、网络等发送信息和/或从其他设备、网络等接收信息。网络接口114可以被配置为通过物理(有线)和/或无线通信链路来发送和/或接收信息。合适的通信接口的示例包括网络接口控制器(NIC)、无线NIC等。
显示装置110可以被配置为向用户呈现或以其他方式显示信息。合适的示例包括液晶显示器、发光二极管显示器、等离子显示面板、基于激光的显示器(包括视网膜显示器)等。
尽管本公开主要集中在与飞机相关的任务上，但是本文描述的技术的使用不限于该特定领域。使用增强现实的其他制造、架构和构造应用可以利用该概念。
尽管已经参考各种实施方式描述了用于将由AR应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的系统、方法和装置，但是本领域技术人员将理解，在不脱离本文的教导的情况下，可以进行各种改变，并且等同物可以替代其元件。另外，可以进行许多修改以使本文所公开的实践的概念和减少适应特定情况。因此，旨在由权利要求书覆盖的主题不限于所公开的实施方式。
如本文所使用的，术语“计算机系统”应该被广义地解释为包括具有至少一个计算机或处理器的系统，并且该系统可以具有通过网络或总线通信地耦接的多个计算机或处理器。如在前面句子中所使用的，术语“计算机”和“处理器”两者是指包括处理单元(例如，中央处理单元)和用于存储可由处理单元读取的程序(例如，编码指令)的某种形式的存储器(例如，非暂时性有形计算机可读存储介质)的装置。
本文描述的方法可以被编码为体现在非暂时性有形计算机可读存储介质中的可执行指令，该非暂时性有形计算机可读存储介质包括但不限于存储装置和/或存储器装置。当由处理器或计算机执行时，这样的指令使处理器或计算机执行本文描述的方法的至少一部分。
下文所阐述的方法权利要求不应被解释为要求其中所述的步骤以字母顺序(权利要求中的任何字母顺序仅用于引用先前所述的步骤的目的)或以它们被叙述的顺序来执行，除非权利要求语言明确地指定或陈述指示执行那些步骤的中的一些或全部的特定顺序的条件。除非权利要求语言明确地陈述排除这种解释的条件，否则方法权利要求不应被解释为排除同时或交替执行的两个或多个步骤的任何部分。
此外，本公开包括根据以下项的实施方式：
项1.一种用于提供对数据的即时访问以相对于操作环境校准增强现实装置的方法，该方法包括：
(a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个二维(2D)机器可读代码图案；
(b)将相应2D标记应用于物理环境中的相应对象上的所选择的位置；
(c)捕获表示物理环境中的相应2D标记的图像数据；
(d)处理图像数据以获取表示相应标记标识符的数字数据；
(e)将表示相应对象的正确定位的三维(3D)模型加载到3D可视化环境中；
(f)从3D虚拟环境中获取表示来自其上附接有2D机器可读代码图案的3D模型的相应对象的3D位置的数字数据；
(g)将相应2D标记的标记标识符与来自3D模型的相应对象的3D位置配对；
(h)生成包含表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以供运行时使用；并且
(i)将配对列表数据转换成适于即时加载到增强现实(AR)装置上的形式。
项2.根据项1所述的方法，其中，步骤(i)包括：
使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图案；并且
将2D标记附接到物理环境中的结构。
项3.根据项1所述的方法，其中，步骤(i)包括：
格式化配对列表数据以进行无线传输；并且
传输用表示配对列表数据的信息调制的短波长超高频无线电波。
项4.根据项1所述的方法，其中，2D机器可读代码图案是QR码。
项5.根据项1所述的方法，其中，物理环境是飞机，并且对象是飞机的窗户。
项6.根据项1所述的方法，进一步包括：
(j)将配对列表数据加载到AR装置中；
(k)将虚拟内容加载到AR装置中，该虚拟内容包括其上应用了2D标记的对象的虚拟特征；
(1)在AR装置上查看物理环境中的对象；
(m)捕获表示应用在对象上的2D标记的图像数据；
(n)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；
(o)处理配准标记的空间位置以计算当前AR装置到标记的偏移；
(p)在配对列表中找到与2D标记的标记标识符相关联的对象的3D位置；
(q)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且
(r)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的视点显示虚拟内容。
项7.根据项6所述的方法，其中，步骤(q)包括校正AR装置的定位过程的位置估计。
项8.根据项6所述的方法，其中：
步骤(i)包括使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图案，并将2D标记附接到物理环境中的结构上；并且
步骤(j)包括光学读取2D机器可读代码图案以获取配对列表数据，并将所获取的配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
项9.根据项6所述的方法，其中：
步骤(i)包括格式化配对列表数据以进行无线传输，并且然后传输用表示配对列表数据的信息调制的短波长超高频无线电波；并且
步骤(j)包括接收电磁波，解调所接收的电磁波以获取配对列表数据，并将配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
项10.根据项6所述的方法，其中，虚拟特征是表示应用在对象的2D标记上的2D机器可读代码图案的缩放的纹理映射。
项11.根据项6所述的方法，其中，虚拟特征是被成形和缩放为与应用于对象的2D标记的边界或对象的边界一致的几何符号。
项12.根据项6所述的方法，其中，虚拟特征是被成形和缩放为内接在对象的边界内的几何符号。
项13.根据项6所述的方法，其中，虚拟特征是被成形和缩放为允许对象的边界内接在几何符号内的几何符号。
项14.一种用于将由增强现实应用生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法，该方法包括：
(a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可读代码图案；
(b)将相应2D标记应用于物理环境中的相应对象上的所选择的位置：
(c)将配对列表数据加载到增强现实(AR)装置中，其中，配对列表数据表示相应2D标记上的标记标识符与应用了2D标记的相应对象的3D位置的配对；
(d)将虚拟内容加载到AR装置中，该虚拟内容包括其上应用了2D标记的对象的虚拟特征；
(e)在AR装置上查看物理环境中的对象；
(f)捕获表示应用在对象上的2D标记的图像数据；
(g)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；
(h)处理配准标记的空间位置以计算当前AR装置到标记的偏移；
(i)在配对列表中找到与2D标记的标记标识符相关联的对象的3D位置；
(j)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且
(k)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的视点显示虚拟内容。
项15.根据项14所述的方法，其中，步骤(j)包括校正AR装置的定位过程的位置估计。
项16.根据项14所述的方法，进一步包括：
使用表示配对列表数据的符号在至少一个2D标记上创建2D机器可读代码图案；并且
将2D标记附接到物理环境中的结构，
其中，步骤(c)包括光学读取2D机器可读代码图案以获取配对列表数据，并将所获取的配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
项17.根据项14所述的方法，进一步包括：
格式化配对列表数据以进行无线传输；并且
传输用表示配对列表数据的信息调制的短波长超高频无线电波，
其中，步骤(c)包括接收电磁波，解调所接收的电磁波以获取配对列表数据，并将配对列表数据存储在AR装置的非暂时性有形计算机可读存储介质中。
项18.根据项14所述的方法，其中，虚拟特征是表示应用于对象的2D标记上的2D机器可读代码图案的缩放的纹理映射。
项19.根据项14所述的方法，其中，虚拟特征是从包括以下各项的组中选择的几何符号：
被成形和缩放为与应用于对象的2D标记的边界一致的几何符号；
被成形和缩放为与对象边界一致的几何符号；
被成形和缩放为与内接在对象边界内的几何符号；以及
被成形和缩放为允许对象的边界内接在几何符号内的几何符号。
项20.一种增强现实(AR)装置，包括成像装置、显示装置、非暂时性有形计算机可读存储介质以及通信地耦接到成像装置、显示装置和非暂时性有形计算机可读存储介质的计算机系统，其中：
非暂时性有形计算机可读存储介质存储配对列表数据和虚拟内容数据，该配对列表数据表示2D标记上的标记标识符与其上应用了相应2D标记的物理环境中的对象的3D位置的配对，该虚拟内容数据表示包括其上应用了相应2D标记的对象的虚拟特征的虚拟内容；并且
该计算机系统被配置为执行包括以下的操作：
(a)处理来自由成像装置捕获的图像的图像数据以获取表示应用在对象上的出现在所捕获的图像中的2D标记的标记标识符和配准标记的空间位置的数据；
(b)处理配准标记的空间位置以计算当前AR装置到标记的偏移；
(c)在存储在非暂时性有形计算机可读存储介质中的配对列表中找到与出现在所捕获的图像中的2D标记的标记标识符相关联的对象的3D位置：
(d)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境参考系中的3D位置；并且
(e)以基于当前AR装置到标记的偏移和对象的3D位置的视点显示包括对象的虚拟特征的虚拟内容。
项21.根据项20所述的系统，其中，虚拟特征是表示应用于对象的2D标记上的2D机器可读代码图案的缩放的纹理映射。
项22.根据项20所述的系统，其中，虚拟特征是从包括以下各项的组中选择的几何符号：
被成形和缩放为与应用于对象的2D标记的边界一致的几何符号；
被成形和缩放为与对象边界一致的几何符号；
被成形和缩放为与内接在对象边界内的几何符号；以及
被成形和缩放为允许对象的边界内接在几何符号内的几何符号。
如本公开所使用的，术语“适当地定位”是指匹配对象在物理环境中的位置。这很重要，因为虚拟环境中的相应3D模型可能不会始终放置在它们在完全组装的对象中的位置。

Claims (10)

1.一种用于提供对数据的即时访问以相对于操作环境校准增强现实装置的方法，所述方法包括：
(a)使用表示唯一地识别相应二维标记的标记标识符的第一符号和表示配准标记的第二符号在所述相应二维标记上创建多个二维机器可读代码图案，其中，所述二维机器可读代码图案是QR码；
(b)将所述相应二维标记应用于物理环境中的相应对象上的所选择的位置；
(c)捕获表示所述物理环境中的所述相应二维标记的图像数据；
(d)处理所述图像数据以获取表示相应标记标识符的数字数据；
(e)将表示所述相应对象的适当地定位的三维模型加载到三维可视化环境中；
(f)从所述三维可视化环境中获取表示来自附接有所述二维机器可读代码图案的所述三维模型的所述相应对象的三维位置的数字数据；
(g)将所述相应二维标记的标记标识符与来自所述三维模型的所述相应对象的三维位置配对；
(h)生成包含表示所述标记标识符和所述三维位置的配对列表的配对列表数据的数据文件以供运行时使用；并且
(i)将所述配对列表数据转换成适于即时加载到所述增强现实装置上的形式。
2.根据权利要求1所述的方法，其中，步骤(i)包括：
使用表示所述配对列表数据的符号在所述二维标记上创建所述二维机器可读代码图案；并且
将所述二维标记附接到所述物理环境中的结构。
3.根据权利要求1所述的方法，其中，所述物理环境是飞机，并且所述对象是所述飞机的窗户。
4.根据权利要求1所述的方法，进一步包括：
(j)将所述配对列表数据加载到所述增强现实装置中；
(k)将虚拟内容加载到所述增强现实装置中，所述虚拟内容包括应用了所述二维标记的对象的虚拟特征；
(l)在所述增强现实装置上查看所述物理环境中的所述对象；
(m)捕获表示应用在所述对象上的所述二维标记的图像数据；
(n)处理所述图像数据以获取表示应用在所述对象上的所述二维标记的所述标记标识符和配准标记的空间位置的数据；
(o)处理所述配准标记的空间位置以计算当前增强现实装置到标记的偏移；
(p)在所述配对列表中找到与所述二维标记的所述标记标识符相关联的所述对象的三维位置；
(q)基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象的三维位置来计算所述增强现实装置在所述物理环境的参考系中的三维位置；并且
(r)以基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象的三维位置的视点显示所述虚拟内容。
5.根据权利要求1所述的方法，其中：
步骤(i)包括使用表示所述配对列表数据的符号在所述二维标记上创建所述二维机器可读代码图案，并将所述二维标记附接到所述物理环境中的结构；并且
步骤(j)包括光学读取所述二维机器可读代码图案以获取所述配对列表数据，并将所获取的配对列表数据存储在所述增强现实装置的非暂时性有形计算机可读存储介质中。
6.根据权利要求1所述的方法，其中：
步骤(i)包括格式化所述配对列表数据以进行无线传输，并且然后传输用表示所述配对列表数据的信息调制的短波长超高频无线电波；并且
步骤(j)包括接收电磁波，解调所接收的电磁波以获取所述配对列表数据，并将所述配对列表数据存储在所述增强现实装置的非暂时性有形计算机可读存储介质中。
7.根据权利要求4所述的方法，其中，所述虚拟特征是表示应用在所述对象的所述二维标记上的所述二维机器可读代码图案的缩放的纹理映射。
8.根据权利要求4所述的方法，其中，所述虚拟特征是被成形和缩放为与应用于所述对象的所述二维标记的边界或所述对象的边界一致的几何符号。
9.根据权利要求4所述的方法，其中，所述虚拟特征是被成形和缩放为内接在所述对象的边界内的几何符号，或者所述虚拟特征是被成形和缩放为允许所述对象的边界内接在所述几何符号内的几何符号。
10.一种增强现实系统，包括成像装置、显示装置、非暂时性有形计算机可读存储介质以及通信地耦接到所述成像装置、所述显示装置和所述非暂时性有形计算机可读存储介质的计算机系统，其中：
所述非暂时性有形计算机可读存储介质存储配对列表数据和虚拟内容数据，所述配对列表数据表示二维标记上的标记标识符与物理环境中应用了相应二维标记的对象的三维位置的配对，所述虚拟内容数据表示包括应用了相应二维标记的对象的虚拟特征的虚拟内容；并且
所述计算机系统被配置为执行包括以下的操作：
(a)处理来自由所述成像装置捕获的图像的图像数据以获取表示应用在所述对象上的出现在所捕获的图像中的所述二维标记的标记标识符和配准标记的空间位置的数据；
(b)处理所述配准标记的空间位置以计算当前增强现实装置到标记的偏移；
(c)在存储在所述非暂时性有形计算机可读存储介质中的配对列表中找到与出现在所捕获的图像中的所述二维标记的标记标识符相关联的所述对象的三维位置；
(d)基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象的三维位置来计算所述增强现实装置在所述物理环境的参考系中的三维位置；并且
(e)以基于所述当前增强现实装置到标记的偏移和所述对象的三维位置的视点显示包括所述对象的虚拟特征的虚拟内容，其中，所述虚拟特征是表示应用于所述对象的所述二维标记上的二维机器可读代码图案的缩放的纹理映射。
CN202011128728.4A 2019-10-21 2020-10-20 用于增强现实应用的标记到模型位置配对和配准 Pending CN112767555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/658,395 US10929670B1 (en) 2019-10-21 2019-10-21 Marker-to-model location pairing and registration for augmented reality applications
US16/658,395 2019-10-21

Publications (1)

Publication Number Publication Date
CN112767555A true CN112767555A (zh) 2021-05-07

Family

ID=72340176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011128728.4A Pending CN112767555A (zh) 2019-10-21 2020-10-20 用于增强现实应用的标记到模型位置配对和配准

Country Status (3)

Country Link
US (1) US10929670B1 (zh)
EP (1) EP3812959A1 (zh)
CN (1) CN112767555A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097997A (zh) * 2022-05-23 2022-09-23 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质
CN117830576A (zh) * 2024-03-06 2024-04-05 中国水利水电第七工程局有限公司 一种基于mr设备的混合现实定位方法、系统及介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
WO2020176401A1 (en) * 2019-02-25 2020-09-03 The Johns Hopkins University Interactive flying frustums visualization in augmented reality
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) * 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11508133B2 (en) * 2020-02-27 2022-11-22 Latham Pool Products, Inc. Augmented reality visualizer and measurement system for swimming pool components
EP3893096A1 (en) * 2020-04-06 2021-10-13 Siemens Aktiengesellschaft Aligning and augmenting a partial subspace of a physical infrastructure with at least one information element
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
CN113807192A (zh) * 2021-08-24 2021-12-17 同济大学建筑设计研究院(集团)有限公司 一种用于增强现实的多目标识别校准方法
CN113643443B (zh) * 2021-10-13 2022-01-21 潍坊幻视软件科技有限公司 一种用于ar/mr技术的定位系统
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3274290B2 (ja) 1994-09-19 2002-04-15 三菱電機株式会社 映像表示装置及び映像表示システム
AU1814201A (en) 1999-12-01 2001-06-12 Sinex Aviation Technologies Corporation Dynamic aircraft maintenance management system
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
US6536892B1 (en) 2001-12-12 2003-03-25 Phogenix Imaging, Llc Printed medium with integral image locator and method
DE60330507D1 (de) 2003-07-22 2010-01-21 Nokia Corp Lesereinrichtung für einen hochfrequenz-identifikations-transponder mit transponder-funktionalität
US7391424B2 (en) 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
FR2888362B1 (fr) 2005-07-05 2007-10-12 Airbus France Sas Outil de diagnostic pour la reparation d'aeronefs et procede utilisant cet outil
US8166506B2 (en) 2005-09-12 2012-04-24 The Boeing Company Simplified cabin services system for an aircraft
US9131844B2 (en) 2006-05-03 2015-09-15 Triple Ring Technologies, Inc. Method and apparatus for tissue measurement position tracking and depth adjustment
US7589636B2 (en) 2006-10-27 2009-09-15 The Boeing Company Methods and systems for automated safety device inspection using radio frequency identification
EP1973299A1 (de) 2007-03-23 2008-09-24 Lufthansa Technik AG Drahtlos ansteuerbare, elektrische Funktionseinheit für ein Luftfahrzeug
US8060835B2 (en) 2007-06-05 2011-11-15 The Boeing Company Three dimensional defect mapping
US7542821B2 (en) 2007-07-26 2009-06-02 3M Innovative Properties Company Multi-unit process spatial synchronization of image inspection systems
US8605983B2 (en) 2007-08-17 2013-12-10 Renishaw Plc Non-contact probe
US7859655B2 (en) 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US20090086027A1 (en) 2007-10-01 2009-04-02 Benjamin Antonio Chaykin Method And System For Providing Images And Graphics
US20090319544A1 (en) 2008-06-20 2009-12-24 Griffin James R Facilitating integration of different computer data systems
US8138938B2 (en) 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
DE102009050474B4 (de) 2009-10-23 2013-08-29 Testo Ag Bildgebende Inspektionsvorrichtung
US8421604B2 (en) 2009-11-30 2013-04-16 Symbol Technologies, Inc. Method and apparatus for identifying read zone of RFID reader
GB201002973D0 (en) 2010-02-23 2010-04-07 Airbus Operations Ltd Recording the location of a point of interest on an object
US9031314B2 (en) 2010-05-03 2015-05-12 Northern Digital Inc. Establishing coordinate systems for measurement
US8532340B2 (en) 2010-09-30 2013-09-10 Empire Technology Development, Llc Projecting patterns for high resolution texture extraction
EP2438880A1 (en) 2010-10-05 2012-04-11 Universität Bern Image projection system for projecting image on the surface of an object
JP5697487B2 (ja) 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US8736875B2 (en) 2011-03-07 2014-05-27 Xerox Corporation Printing errors content displayed on display screen
US8996242B2 (en) 2012-01-30 2015-03-31 Zodiac Cabin Controls Gmbh Airbag data exchange system
US9448758B2 (en) 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
US10380469B2 (en) 2012-07-18 2019-08-13 The Boeing Company Method for tracking a device in a landmark-based reference system
US9582692B2 (en) 2013-01-31 2017-02-28 The Boeing Company Systems and methods for RFID inspection
JP5991423B2 (ja) * 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US10007825B2 (en) 2014-12-29 2018-06-26 Automotive Research & Testing Center Positioning system using triangulation positioning based on three pixel positions, a focal length and the two-dimensional coordinates
US9881192B2 (en) 2015-04-29 2018-01-30 The Boeing Company Systems and methods for electronically pairing devices
US9646187B2 (en) 2015-07-31 2017-05-09 The Boeing Company Systems and methods for automated device pairing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097997A (zh) * 2022-05-23 2022-09-23 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质
CN115097997B (zh) * 2022-05-23 2024-07-26 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质
CN117830576A (zh) * 2024-03-06 2024-04-05 中国水利水电第七工程局有限公司 一种基于mr设备的混合现实定位方法、系统及介质
CN117830576B (zh) * 2024-03-06 2024-05-07 中国水利水电第七工程局有限公司 一种基于mr设备的混合现实定位方法、系统及介质

Also Published As

Publication number Publication date
US10929670B1 (en) 2021-02-23
EP3812959A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
US10929670B1 (en) Marker-to-model location pairing and registration for augmented reality applications
US10380469B2 (en) Method for tracking a device in a landmark-based reference system
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US11481999B2 (en) Maintenance work support system and maintenance work support method
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
US9864969B2 (en) Image processing apparatus for generating map of differences between an image and a layout plan
CN110850959A (zh) 用于工业增强现实应用的漂移校正
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
WO2016163564A1 (ja) 情報処理装置、情報処理システム、位置報知方法及びプログラム記録媒体
CN111667526A (zh) 用于确定环境中的多个对象的尺寸和距离的方法和设备
US11417001B1 (en) Detecting discrete optical patterns using depth estimation
US20210029497A1 (en) Field cooperation system and management device
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
Scheuermann et al. Mobile augmented reality based annotation system: A cyber-physical human system
US20130155211A1 (en) Interactive system and interactive device thereof
CN112581630B (zh) 一种用户交互方法和系统
RU2682925C2 (ru) Устройство и способ представления структурной информации о техническом объекте
CN112561953B (zh) 用于现实场景中的目标识别与跟踪的方法和系统
US20240221212A1 (en) Device pairing using machine-readable optical label
US20240296257A1 (en) Floorplan Transformation Matrix Generation for Augmented-Reality System
CN117425910A (zh) 控制建造过程的系统
KR20170089575A (ko) 증강 현실을 이용한 물류 관리 시스템
Greger The use of low cost optical technologies for the mapping of production environments
WO2024145124A1 (en) Device pairing using machine-readable optical label
Kubac et al. THE POTENTIAL OF RFID AND AUGMENTED REALITY

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination