CN106251325A - 用于测量和/或制造的增强现实方法和系统 - Google Patents

用于测量和/或制造的增强现实方法和系统 Download PDF

Info

Publication number
CN106251325A
CN106251325A CN201610366199.9A CN201610366199A CN106251325A CN 106251325 A CN106251325 A CN 106251325A CN 201610366199 A CN201610366199 A CN 201610366199A CN 106251325 A CN106251325 A CN 106251325A
Authority
CN
China
Prior art keywords
measurement
augmented reality
reality system
work space
destination object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610366199.9A
Other languages
English (en)
Other versions
CN106251325B (zh
Inventor
M·蒙泰格内
T·罗西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services GmbH
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN106251325A publication Critical patent/CN106251325A/zh
Application granted granted Critical
Publication of CN106251325B publication Critical patent/CN106251325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/20—Packaging, e.g. boxes or containers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Toxicology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明涉及用于测量和/或制造的增强现实方法和系统。具体地，提供了一种用于测量和/或制造的组装方法、增强现实系统和计算机程序产品。方法包括提供包括接收器、处理器和输出设备的增强现实系统。方法还包括在WS中布置测量设备使得测量设备与WS中的参考点具有特定的位置关系。方法还包括在WS中设置目标对象。方法还包括由测量设备测量从测量设备到目标对象的距离测量。方法还包括由测量设备向增强现实系统传输距离测量。方法还包括由增强现实系统确定距离测量是否对应于目标距离。另外，方法包括由增强现实系统表示以下至少一项：测量距离是否对应于目标距离；目标对象的位置，使得目标对象被移位到所指示的位置时，距离测量对应于目标距离。

Description

用于测量和/或制造的增强现实方法和系统
技术领域
本申请的技术领域是在增强现实系统的辅助下的测量和/或制造。更具体地，申请的各个方面涉及用于测量或制造交通工具(诸如飞机)的组装方法。另外的方面涉及执行根据该方法的操作的计算机程序产品以及用于测量和/或制造的增强现实系统。
背景技术
传统上，确定交通工具中的附接点是一个复杂且容易出错的过程。在飞机这一具体情况下，众多变量可能影响要在飞机内固定的对象(诸如座位)的附接点的位置。因此，准确地确定应当在飞机的机身内的何处附接座位是一个复杂的、劳动密集型的、耗时的且容易出错的过程。
以下变量可以影响飞机中的座位的座位布局和附接点：飞机的类型、为其建造飞机的公司、建造飞机的目的、所使用的座位的类型以及座位在飞机内的位置。
每种类型的飞机可以具有不同的座位布局和/或可以使用不同类型的座位。座位布局可以影响走道的位置、行之间的距离以及等级的数目。另外，每个航线/公司(例如，Lufthansa或United Airlines)可能针对相同类型的飞机需要不同的座位布局，使得针对不同航线建造的相同类型的两个飞机具有不同的座位布局和/或可以使用不同类型的座位。飞机的目的(例如，飞机被购买用于哪些飞行或者目标是哪些乘客)也可以影响座位布局，使得甚至相同类型的飞机和相同的航线可以具有不同的座位布局。另外，飞机的类型以及相同的航线可以具有不同的座位布局。另外，在相同的飞机内，座位之间的空间可以取决于飞机内的座位的位置来变化。例如，在安全门、楼梯或厕所附近的座位可以不同地间隔(即，这些座位之间可以具有不同的空间距离)。另外，与飞机的商务舱或者飞机的经济舱中的座位相比，飞机的头等舱中的座位可以是不同的类型，并且飞机的头等舱中的座位之间可以具有不同量的空间。飞机内的不同楼层也可以对座位之间的间隔具有影响。
传统上，组装方法由训练有素的技术人员根据复杂的文档来进行。返回飞机的具体示例，飞机内的座位由训练有素的技术人员(即，用户)根据详细文档来放置。在一些情况下，文档提供一组机器可读代码(例如，条码)，代码被扫描并且与座位布局有关的详细信息向用户显示，例如在电子显示器上。通常，有沟槽的轨道被固定到飞机的机身的地面并且用作座位的附接区域。如以上所述，文档特定了飞机的座位布局，并且提供计算测量以确定沿着每个轨道的每个附接点的手段。附接点可以位于轨道上的沟槽处。
文档可以提供以英寸和英尺为单位的测量单位，然而向技术人员提供的测量工具通常以厘米为单位进行测量。单位的混合增加了出错的风险。
另外，文档通常被提供用于完全组装的飞机，而技术人员可能仅操作飞机的部分(例如，总共三个中的一个章节)。因此，技术人员可能必须进行进一步的计算以取决于被组装的飞机部分来确定测量的起始点。
因此，技术人员使用文档计算每个附接点的位置，执行测量(例如，使用卷尺)，然后沿着轨道放置标记(例如，使用黑色水彩笔做出可见标记)以指示附接点。技术人员通常针对每个构建工程(例如，要构建的每个飞机)接收一组新的文档，并且因此通常不能够变为熟悉任何特定座位布局的复杂性。因此，根据传统方法针对飞机的每个座位的所有附接点做出所有必要的标记可能需要技术工人花费很多时间，例如，大约15个小时。
另外，根据传统的技术，技术人员可能需要大量训练以根据文档正确地标记附接点，例如，大约3个月。
另外，使用传统的技术执行组装方法(例如，在交通工具中定位和标记附接点)是一个很容易出错的过程。任何错误都可能明显放慢生产并且增加成本。具体地，在组装过程的开始附近做出的未检测错误可能影响所有进一步的测量，并且需要技术人员从最初重新来过。
另外，根据传统的技术，组装方法不是很经济。工人在整个过程期间可能需要跪着。
因此，更高效地(例如，更快地)执行组装方法成为了问题。另外，在执行组装方法时减小错误也成为问题。另外，提供能够帮助技术人员在执行组装方法时减小所需要的训练时间的技术工具也是问题。
发明内容
根据一方面，提供了一种用于测量和/或制造的增强现实组装方法。方法包括提供包括接收器、处理器和输出设备的增强现实系统。方法还包括在工作空间中提供目标对象。方法还包括确定位置作为目标对象的确定位置。方法还包括通过增强现实系统确定目标对象的确定位置是否对应于目标位置。方法还包括经由增强现实系统输出以下中的至少一项的信息：工作空间中用于目标对象的位置，使得当目标对象被移位到输出位置时，目标对象的确定位置将对应于目标位置并且距离测量将对应于目标距离。
方法还包括在工作空间中布置测量设备，使得测量设备与工作空间中的参考点具有特定的位置关系。因此，方法还包括通过测量设备测量从测量设备到目标对象的距离测量，以使得能够通过增强现实系统来确定目标对象的确定位置。方法还包括通过测量设备向增强现实系统传输距离测量。在输出步骤，增强现实系统输出以下中的至少一项：距离测量是否对应于目标距离，用于目标对象的位置，使得当目标对象被移位到输出位置时，距离测量将对应于目标距离。
根据另一方面，提供了一种用于测量和/或制造的增强现实系统。系统包括用于确定位置作为被提供在工作空间中的目标对象的确定位置的位置确定模块。系统还包括用于确定目标对象的确定位置是否对应于目标位置的确定模块。系统还包括用于输出以下中的至少一项的信息的输出模块：用于目标对象的位置，使得当目标对象被移位到输出位置时，确定位置将对应于目标位置并且距离测量将对应于目标距离。
根据又一方面，提供了一种用于测量和/或制造的增强现实系统。系统取决于上文描述的系统。系统包括能够从位于工作空间的测量设备接收距离测量的接收器。测量设备与工作空间中的参考点具有特定的位置关系。距离测量是从测量设备到位于工作空间中的目标对象的距离。系统还包括与接收器通信连接并且能够确定距离测量是否对应于目标距离的处理器。系统还包括在通信上连接至处理器并且能够提供指示以下中的一项或多项的增强现实信息的输出设备：从测量设备接收的距离是否对应于目标距离；用于目标对象的位置，使得当目标对象被移位到指示位置时，距离测量将对应于目标距离。
根据特定方面，提供了一种用于测量和/或制造的组装方法。组装方法可以针对诸如飞机的交通工具来执行。方法可以包括提供包括接收器、处理器和输出设备的增强现实系统。方法还可以包括在工作空间中布置测量设备，使得测量设备与工作空间中的参考点具有特定的位置关系。特定的位置关系可以是预定的或可预定的。特定的位置关系可以在工作空间中布置测量设备之前确定关系的意义上来预定。特定的位置关系可以是在工作空间中布置测量设备之后确定关系的意义上可确定或者可预定的。
在飞机的示例中，参考点可以是由飞机制造商选择的固定数据并且放置在轨道上或者附接至轨道。每个轨道可以具有参考点。例如，参考点可以是附接或粘附至轨道的标记或标签。到附接点的距离可以根据特定的座位布局从参考点来特定。
方法还可以包括在工作空间中提供目标对象。方法还可以包括通过测量设备测量从测量设备到目标对象的距离测量。方法还可以包括通过测量设备向增强现实系统传输距离测量。
方法还可以包括通过增强现实系统确定距离测量是否对应于目标距离。在需要执行转换、例如目标距离用单位或英寸特定(即计算)并且距离测量用厘米来测量的意义上，距离测量可以对应于目标距离。替选地，确定距离测量是否对应于目标距离可以通过确定距离测量是否等同于/等于目标距离来实现。
在本申请的上下文中，术语距离和长度可以可互换地使用。
方法还可以包括经由增强像是系统来指示以下中的至少一项：
-距离测量是否对应于目标距离，
-用于目标对象的位置，使得当目标对象被移位至指示位置时，距离测量将对应于目标距离。
有利地，通过确定距离测量是否对应于目标距离，增强现实系统使得组装方法更高效。具体地，用户不再需要查阅复杂的文档以确定目标距离。因此，执行组装方法所需要的总时间与传统的方法相比可以减小到6分之一。
另外，经由测量设备对测量步骤的执行并且通过经由增强现实系统确定目标对象是否在正确的位置来减小出错的风险。消除错误可以改善生产，因为任何错误可能引起延迟的级联，而延迟的级联可能进一步影响校正错误所需要的资源。
另外，减小了用户在组装方法的执行期间的疲劳和不舒适，具体地是因为方法更快并且用户不需要多数时间都跪着，但是也是因为用户在一些情况下可以执行方法而不需要跪着。
另外，明显减小了用户执行组装方法所需要的训练时间(例如，从3个月到大约10分钟)，具体地是因为用户不再需要阅读和理解各种复杂的文档，并且因为增强现实系统，测量设备和目标/校准对象变得很容易使用。这可以改善灵活性，因为没有经验的人员可以执行用于需要有经验的人员的任务。有经验的人员可以执行其他(例如，更重要的)任务。
在一些情况下，测量设备能够至少在毫米的准确性(例如，1毫米的准确性、2毫米的准确性或者5毫米的准确性)下测量至少10米的距离或长度。测量设备可以是激光器。毫米准确性也可以称为毫米水平准确性或毫米分辨率。
另外，增强现实系统可以包括智能眼部装置，例如智能眼镜。增强现实系统可以经由智能眼部装置来实现。测量设备进行的传输可以无线地(例如，经由蓝牙)来执行。因此，接收器可以是无线接收器、具体地是蓝牙接收器。
在一些情况下，工作空间在交通工具内部。具体地，工作空间可以是飞机机身。
另外，工作空间可以包括至少一个附接区域。附接区域可以是座位轨道或保留轨道。参考点可以位于附接区域上。具体地，参考点可以是附接至附接区域的参考数据或标签。
在一些情况下，方法可以包括经由增强现实系统示出用于以下中的至少一项的工作空间中的点或位置的指示：
-应当在何处安装或放置测量设备；
-应当在何处放置校准对象；
-应当在何处放置目标对象。
指示点中的至少一个(或全部)可以在工作空间或工作空间的图像上交叠。
增强现实系统可以能够识别目标对象和/或附接点，例如，经由图像识别。具体地，增强现实系统可以包括相机。增强现实系统可以使用相机来执行图像识别。
经由增强现实系统提供的每个指示可以在输出设备上示出。
当测量设备测量的距离在距离目标距离的特定长度的范围内时，可以示出应当在何处放置目标对象的指示。例如，当测量距离大于目标距离并且小于目标距离的120％(或105％、110％、115％或125％)时，可以示出指示，或者当测量距离小于目标距离并且大于目标距离的80％(或75％、85％、90％或95％)时，可以示出指示。具体地，当特定长度是10个附接点(例如，沟槽)或更小时，可以示出指示。
当特定的位置关系没有被预定时，在工作空间中布置测量设备还可以包括在工作空间中放置测量设备。测量识别不一定放置在精确的位置，而是可以与参考点对准。具体地，测量设备可以被放置在附接区域的端部(即，边界或极限)附近。具体地，测量设备可以与参考点对准。使测量设备与参考点对准可以实现更高效的测量。另外，测量设备可以在距离附接区域的端部(例如，开始)1cm、2cm、3cm、4cm或5cm的范围内。在一些情况下，测量设备可以布置在附接区域的开始与参考点之间。
附接区域的端部可以指代附接区域的开始。例如，附接区域的端部可以指代轨道的起始点。
替选地，测量设备可以放置在以附接区域的开始/结束为中心的圆内。圆的半径可以是1cm、2cm、3cm、4cm或5cm。在这种情况下，测量可以经由三角测量来完成。
另外，在工作空间中布置测量设备还可以包括在工作空间中在参考点处提供校准对象。因此，在工作空间中布置测量设备包括：经由校准对象确定从测量设备到参考点的校准距离，并且基于校准距离确定特定的位置关系。具体地，特定的位置关系可以是校准距离。
当特定的位置关系是预定的时，在工作空间中布置测量设备还包括根据特定的位置关系在距离参考点特定的距离处放置测量设备。因此，当特定的位置关系是预定的时，可以精确地放置测量设备。
因此，当特定的位置关系是预定的时，特定的位置关系可以定义测量设备与参考点之间的距离。因此，在工作空间中布置测量设备可以涉及确保测量设备与参考点之间的长度是由特定的位置关系定义的距离。因此，特定的位置关系可以定义特定的距离，即测量设备与参考点之间的距离。
不管特定的位置关系是否是预定的，特定的位置关系可以用于经由测量设备来测量另外的距离，例如，到目标对象的距离。
在一些情况下，目标对象和/或校准对象是反射器。目标对象和/或校准对象可以可移动的。另外，目标对象和校准对象可以是同一对象。目标对象和/或校准对象可以具有预定颜色。预定颜色可以与工作空间的颜色和附接区域的颜色可区分。例如，目标对象和/或校准对象的颜色可以是红色和蓝色，附接区域的颜色可以是米黄色，工作空间的颜色可以是灰色。各种组合也是可能的。
增强现实系统可以包括输入设备，例如，扫描仪。因此，方法还可以包括在输入设备处接收输入，并且基于输入确定目标距离。目标距离也可以基于特定的位置关系来确定。
例如，输入可以特定距离可以用于计算目标距离的参考点的标记距离，例如，输入可以特定标记距离为距离参考点的厘米数。因此，如果输入特定测量设备与参考点之间的标记距离，则目标距离可以通过从特定的位置关系(例如，校准距离或特定距离)中减去标记距离来确定。替选地，目标距离可以通过向特定的位置关系添加标记距离来确定。其他计算也是可能的。
根据示例，用户被提供有纸张工作顺序。工作顺序包括至少一个光学机器可读数据表示(例如，将由操作者来执行的每个操作的条码)。每个机器可读表示可以用于查找操作(例如，在数据库中)或者可以特定操作本身(例如，至少一个快速响应代码可以特定操作)。每个操作可以特定附接点的位置，例如为距离参考点的标记距离。
当增强现实系统确定测量设备测量的距离没有对应于(例如，没有等同于)目标距离时，方法还可以包括通过增强现实系统示出在何处放置目标对象的指示，使得在根据指示放置目标对象之后，由测量设备测量的距离将对应于(例如，等同于)目标距离。在前示出的步骤可以在由测量设备测量的距离在距离目标距离的特定长度的范围内的情况下来执行。
当增强现实系统确定由测量设备测量的距离没有对应于(例如，没有等同于)目标距离时，方法还可以包括通过增强现实系统示出移动目标对象的方向的指示，使得在沿着指示方向移动目标对象之后，测量设备测量的距离更接近目标距离。例如，增强现实系统可以显示指向测量设备的箭头以指示应当移动目标对象使其更接近测量设备，或者可以显示指向远离测量设备的方向的箭头以指示应当移动目标对象使其远离测量设备。不同的颜色可以取决于移动目标对象的方向来使用。
当增强现实系统确定距离测量没有对应于(例如，没有等同于)目标距离时，方法还可以包括通过增强现实系统示出从目标对象到测量设备的距离与目标距离之间的差异的指示。例如，增强现实系统可以指示应当将目标对象移动特定数目的附接点(例如，-4个轨道沟槽)使其更接近测量设备。替选地，增强现实系统可以指示应当将目标对象移动特定数目的附接点(例如，+4个轨道沟槽)使其更远离测量设备。每个指示可以在工作空间中交叠。
当增强现实系统确定由测量设备测量的距离对应于(例如，等同于)目标距离时，方法还可以包括经由增强现实系统指示应当关于目标对象做出标记的工作空间中的位置。标记可以指示工作空间中的附接区域上的附接点。
可以执行以下内容作为验证过程的一部分以便验证已经正确标记附接点。当在指示位置做出标记并且已经去除目标对象时，方法还可以包括在标记的位置提供目标对象。另外，方法可以包括通过测量设备测量从测量设备到目标对象的距离测量。另外，方法可以包括验证距离测量是否对应于(例如，等同于)目标距离。另外，方法可以包括基于验证来指示结果。
例如，如果标记在正确的位置，则可以指示肯定的结果。替选地，如果标记不在正确的位置，则可以指示否定的结果，并且应当将其平移特定距离。
另外，验证过程的执行具有另外的优点：降低了出错的风险，使得其实际上不存在，从而在执行组装方法时明显改善生产效率。如以上所指出的，消除错误可以改善生产，因为任何错误可能引起延迟的级联，而延迟的级联可以进一步影响校正错误所需要的资源。
根据另一方面，以上描述的方法可以经由包括计算机可读指令的计算机程序产品来实现，计算机可读指令当被加载到计算机系统上并且在计算机系统上执行时使得计算机系统执行以上描述的操作。
根据又一方面，可以提供一种用于测量和/或制造的增强现实系统。系统可以包括能够从位于工作空间中的测量设备接收距离测量的接收器。测量设备可以与工作空间中的参考点具有特定的位置关系。距离测量可以是从测量设备到位于工作空间中的目标对象的距离。系统还可以包括处理器，处理器在通信上连接至接收器，并且能够确定距离测量是否对应于(例如，等同于)目标距离。系统还可以包括输出设备，输出设备在通信上连接至处理器，并且能够提供指示以下中的一项或多项的增强现实信息：
-从测量设备接收的距离是否对应于(例如，等同于)目标距离，
-用于面部对象的位置，使得当目标对象被移位到指示位置时，距离测量将对应于目标距离。
技术定义
工作空间可以是物理的真实世界环境。例如，工作空间可以是交通工具(诸如飞机)的内部。更具体地，工作空间可以是飞机的机身。
增强现实系统可以提供工作空间的现场直接视图或者工作空间的间接视频视图(或图像)。现场直接视图或者间接视频视图的元素通过计算机生成的输入、诸如声音、视频、图形和/或全球定位系统(GPS)数据来补充。增强现实系统可以包括以下中的至少一项：颜色显示、麦克风、WiFi发射器/接收器、蓝牙发射器/接收器、电池、语音识别。增强现实系统可以使用智能眼部装置(例如，Vuzix SmartGlasses M100)来实现。
目标对象或校准对象可以是适合与测量设备一起使用的真实世界对象(即，物理实体)。具体地，校准对象可以是适合校准测量设备的物理对象。类似地，目标对象可以是在通过测量设备测量距离时合适与测量设备一起使用的物理对象。例如，目标/校准对象可以是反射器，即引起反射(例如，用于测量距离测量的波束或波的反射)的设备，使得测量设备可以测量通过测量脉冲从测量设备到被反射离开对象并且返回测量设备所花费的时间来测量到校准/目标对象的距离。当测量设备是激光器时，目标对象可以是笔、纸张或手。
测量设备(或测量仪器)可以能够测量到目标对象的距离(即，长度)。测量设备可以能够测量至少100米的距离。测量设备可以能够以1mm的准确性测量至少10米的距离。测量设备可以是电子设备。测量设备可以能够无线地(例如，经由蓝牙)进行通信。测量设备可以实现为电子距离计量仪、超声测距模块、雷达或激光器(例如，激光距离测量设备或激光测距仪)。因此，当测量设备实现为激光器时，测量设备可以通过朝着对象(例如，目标对象或校准对象)发送激光脉冲并且测量脉冲被反射离开对象并且返回测量设备所需要的时间来起作用。例如，测量设备可以实现为Leica Disto D3a BT激光器。
附接区域可以位于工作空间中。附接区域可以是适合保持至少一个附接点的区域。附接区域可以固定或紧固到工作空间。附接区域可以包括至少一个附接点，例如多个附接点。多个不同的附接区域可以位于工作空间中。附接区域可以实现为安装或固定到飞机的机身的轨道(即座位轨道或保持轨道)。
附接点可以位于附接区域上。附接点可以是附接区域的一部分(例如，附接区域中的沟槽或孔)。附接点可以是适合将对象固定或紧固到工作空间中的附接区域的装置。对象(例如，座位)可以被附接(即，固定地安装或连接)至附接点。对象可以附接至多个附接点。
本申请中描述的主题可以实现为方法或者在设备上实现，其可以是一个或多个计算机程序产品的形式。本申请中描述的主题可以在数据信号中或者在机器可读介质上来实现，其中介质在一个或多个信息载体、诸如CD-ROM、DVD-ROM、半导体存储器或硬盘上实施。这样的计算机程序产品可以引起数据处理装置执行本申请中描述的一个或多个操作。
另外，本申请中描述的主题可以实现为包括处理器和耦合至处理器的存储器的系统。存储器可以对一个或多个程序编码以使得处理器执行本申请中描述的方法中的一个或多个。可以使用各种机器来实现本申请中描述的另外的主题。
下面在示例性附图和描述中给出一个或多个实现的细节。其他特征根据这些描述、附图并且根据权利要求将很清楚。
附图说明
图1描绘组装方法中使用的部件；
图2示出增强现实系统的输入设备处的输入的接收；
图3示出经由校准对象进行的测量设备的校准；
图4描绘要在何处放置目标对象的在增强现实系统上的指示的示出；
图5描绘要在何处放置目标对象的在增强现实系统的指示的示出以及应当在何处做出标记的在增强现实系统上的位置指示的示出；
图6描绘使用策略设备和增强现实系统的对标记的验证；
图7描绘用于结合增强现实系统使用的智能手套；
图8描绘可以使用增强现实系统来查看并且使用智能手套来操纵的模型；以及
图9描绘可以用于实现所描述的主题的各个方面的通用计算机系统。
具体实施方式
在以下文档中，将参考附图给出示例的详细描述。应当理解，可以对示例做出各种修改。具体地，在其他示例中可以组合并且使用一个示例的一个或多个元素以形成新的示例。
图1描绘可以在组装方法中使用的部件。本申请的组装方法可能没有包括所描述的全部部件。虽然下面的很多示例涉及在飞机的上下文中的测量和/或制造，然而以下教示可以适用于其中需要在工作空间内的各种附接点放置/安装大量对象的各种其他测量和/或制造场景。例如，教示可以在客轮、火车、汽车、诸如公共汽车和/或游乐园等上下文中适用。
具体地，增强现实系统100被示出为一副智能眼镜。智能眼镜(也称为智能眼镜或数字眼镜或个人成像系统)是指包括可佩带计算机的系统，可佩带计算机向其真实性或图像添加信息或者实际上帮助人们更好地查看。通常，这通过光学头戴式显示器(OHMD)或者具有透明平视显示器(HUD)或增强现实(AR)交叠的计算机化的因特网连接的眼镜来实现，HUD或AR交叠具有反射投影的数字图像以及使得用户能够通过其来查看或者通过其更好地查看的能力。智能眼镜的一些实施例是免提的，并且具体地可以经由自然语言语音命令与用户和/或因特网和/或外部应用(例如，在服务器上的)通信，而其他实施例(至少部分)使用输入设备，诸如触摸按钮。根据本实施例的增强现实系统100可以包括接收器、处理器、输入设备和输出设备。输入设备可以是能够扫描按照工作顺序202(参见图2)被列出作为机器可读代码204(例如，条码、矩阵码、快速响应(QR)代码等)的操作编号的扫描仪。因此，机器可读代码204是由输入设备接收的输入的示例。
操作编号可以用于从数据库102加载附接点的位置。具体地，操作编号可以涉及或提供关于附接区域104的信息(例如，工作空间WS(诸如，飞机的机身)内要布置座位的轨道或轨道系统)，并且数据库102可以被访问以获取附接区域104上的特定的(预定的或者可预定的)附接点的目标距离。工作顺序202可以包括多个操作编号，每个对应于不同的附接区域。附接区域104可以是工作空间中的轨道。增强现实系统100可以与数据库102无线通信(例如，经由WiFi)以便加载附接点的位置。
每个附接区域可以位于工作空间WS中。飞机的机身是工作空间WS的示例。当工作空间WS是飞机的机身时，操作编号可以用于从数据库102加载座位配置信息(即，用于座位的附接点的目标距离)。
测量设备106可以放置或布置在工作空间WS中。另外，目标对象108可以被提供在工作空间WS中。在图1中，测量设备106被示出为包括激光器的激光测距仪。激光测距仪是使用激光波束LB确定或检测到对象的距离的测量设备。激光测距仪的最常见的形式通过从发送者向目标对象108发送至少一个激光脉冲(具体地是窄波束或聚焦波束)并且测量脉冲从被反射离开目标对象108并且返回发送者所花费的时间按照飞行时间原理来操作。激光测距仪可以是市面上可获得的设备。根据本公开，可以使用其他类型的测量设备(可能基于雷达测量、多普勒测量等)。反射器被描绘为具有矩形形状，然而，也可以使用适合用于距离测量的任何其他形状。另外，可以使用其他类型的目标对象108。
参考点110可以位于工作空间WS中。参考点110可以是位于附接区域104上的数据标记器(即，参考数据)。具体地，参考点110可以是在特定的(预定的或者可预定的)位置粘附或固定到附接区域104的标签或标记。
因此，测量设备106可以测量从测量设备106到目标对象108的距离测量(即，长度)。测量设备106可以(具体地无线地)直接或间接向增强现实系统100传输距离测量(或与其相关的信息)。增强现实系统100可以从测量设备106接收距离测量(或与其相关的信息)。增强现实系统100可以例如基于所特定的(预定的或可预定的)与参考点110的位置关系来确定或计算目标距离。
增强现实系统100可以使用由测量设备106提供的距离测量来确定是否应当在目标对象108的位置处或附近或者在不同的位置处或附近做出标记。标记可以指示工作空间WS中的附接点，例如用于飞机的机身中的轨道104上的座位的附接点。目标对象108还可以用于验证是否已经在按照工作顺序202特定的位置处做出标记。
增强现实系统100可以例如经由智能眼镜100向用户输出(例如，显示或示出)指令。具体地，当增强现实系统100确定由测量设备106测量的距离没有对应于(例如，没有等同于或者等于)目标距离时，增强现实系统100可以向用户输出(例如，示出或显示)要在何处放置目标对象108的指示，使得当目标对象108根据指示被放置或重新定位之后，使得由测量设备106测量的距离将对应于(例如，等同于或者等于)目标距离。
用户可以检查由增强现实系统100提供的结果(例如，指示)。增强现实系统100可以包括麦克风和语音识别能力。用户可以自动与增强现实系统100交互以向增强现实系统100发出和/或从增强现实系统100接收指令。
图2示出了增强现实系统100的输入设备处的输入的接收。
输入可以按照工作顺序202来提供。工作顺序202(也称为工作顺序(job order)、工作通知单(job ticket)或工作通知单(work ticket)，因为其通常附接有某种类型的通知单)是由组织(诸如，飞机制造商)从客户或客户端接收的顺序、或者在组织内部产生的顺序，其中工作顺序可以用于产品或服务。具体地，在制造环境中，工作顺序包含与例如客户所请求的产品的制造、构建和/或设计有关的信息。
通常，工作顺序202是由基于工程的制造、构建和加工行业使用的内部文档，并且可以涉及产品和/或服务。在制造环境中，工作顺序202通常用于对制造过程的开始发信号并且将最有可能链接至材料的账单。因此，工作顺序202通常包括与以下中的至少一项有关的信息：(a)要制造、构建或加工的产品的数量；(b)要使用的原始材料的量；(c)所需要的操作的类型；(d)在布线过程期间每个机器的机器使用。在服务环境中，工作顺序202记录要执行服务或操作的位置、日期和时间以及(要)执行的服务的服务属性。具体地，输入可以被实现为按照工作顺序202提供的机器可读代码(204)。
增强现实系统100可以提示用户例如通过扫描机器可读代码中的一个或多个机器可读代码按照工作顺序202来检索信息。因此，被提供作为输入的机器可读代码可以用于例如通过使用机器可读代码无线地查询数据库102确定操作信息206。操作信息206可以特定制造商序列号、航线和工作顺序编号。
可以向用户输出(例如，显示)操作信息206，该用户可以验证操作信息206正确并且对应于适当的操作。用户然后可以通过到增强现实系统100的适当的输入(诸如，语音命令)来验证结果。
在浏览操作信息206之后，用户可以(例如，在听觉上)与增强现实系统100交互以便获取(具体地查看)附接区域信息208。增强现实系统100可以向用户显示鉴于执行这样的操作而可用于(如示例中示出的“说出NEXT以查看轨道信息”)用户的合适的命令。附接区域信息208可以示出工作空间WS中的多个附接区域(例如，全部附接区域，诸如飞机的机身内的轨道L1、L2、L3、C1、C2、C3、R1、R2、R3)。附接区域信息208中的每个附接区域可以包括至少一个附接点。具体地，附接区域信息208可以显示轨道，包括飞机的机身中的座位的附接点。附接区域信息208可以示出飞机的一部分，并且可以选择特定的附接区域(例如，附接区域104)。增强现实可以向用户显示鉴于执行这样的操作而可用于(示例中示出的“说出MOVELEFT/RIGHT以选择轨道。说出NEXT以设置激光器”)用户的合适的命令。
术语“附接的点”和“附接点”可互换地使用。
一旦选择附接区域104，增强现实系统100可以提示用户在工作空间中布置测量设备106并且例如经由校准对象300(参见图3)来校准测量设备106。有利地，通过经由校准对象300校准测量设备106，不需要在工作空间内的精确位置放置测量设备106。换言之，测量设备106可以放置在距离所选择的附接区域104的端部某个距离的范围内(例如，在所选择的附接区域104的端部与参考点110之间)，而非精确地放置在所选择的附接区域104的端部。
作为校准的替选，测量设备106可以根据测量设备106与参考点110之间特定的(预定的或者可预定的)位置关系被放置在距离参考点110特定的(预定的或者可预定的)距离处。在这一点上，应当理解，测量设备106可以定位在特定的位置(例如，附接区域104、诸如轨道上的特定位置)，使得系统已经知道测量设备106与附接区域104的空间关系。替选地，测量设备106可以被放置在工作空间WS内的任意位置(例如，与附接区域104对准的位置并且在附接区域104的端部与参考点110之间)，并且测量设备106与附接区域104的空间关系(具体地是距离和/或方位)可以例如通过校准过程来确定。
图3示出了经由校准对象300做出的测量设备106的校准。
目标对象108和校准对象300可以相同，例如，两个对象可以使用相同的反射器来实现。
为了执行测量设备106的校准，测量设备106可以被放置在工作空间WS中。增强现实系统100可以通过输出在特定的位置、诸如在如视图302所示的所选择的附接区域104(例如，轨道)的端部(例如，在开始处)放置测量设备106的合适的指令(例如，“向轨道的开始安装激光器”)来指令用户。增强现实系统100可以通过在所选择的附接区域104上输出指示应当在何处放置测量设备106的合适的指令(例如，代表机身中的行16/19的区域中的轨道L3的“16/19L3”)来指令用户。例如，增强现实系统100可以通过输出在轨道的开始安装测量设备106的合适的指令来指令用户。增强现实系统100可以提供安装测量设备106的视觉显示，如视图302处所示。一旦用户执行指令，则他可以向增强现实系统100确认完成，其中增强现实系统100可以在这一点上向用户指示可用的选项和/或命令(例如，所示的示例中的“在完成之后说出NEXT”)。
因此，测量设备106可以被放置在所选择的附接区域104的端部的预定距离内。测量设备106可以与所选择的附接区域104的端部和参考点110对准。测量设备106可以被放置在所选择的附接区域104的端部与参考点110之间。
增强现实系统100可以通过输出在参考点110放置校准对象300的合适的指令(例如，“在数据标记处放置反射器”)来指令用户。增强现实系统可以向用户提供在参考点110处放置校准对象300的视觉指示，例如，如视图304处所示。因此，用户可以在附接区域104上的参考点110上方放置校准对象300，例如，如视图304处所示。用户然后可以例如经由到增强现实系统100的(具体地是听觉)指示来向增强现实系统100确认测量设备106和/或校准对象300的放置。
视图302和视图304可以是从增强现实系统100来看的(部分)视图。
测量设备106可以确定从测量设备106到校准对象300的校准距离。假定校准对象300已经被放置在参考点110上，则校准距离对应于(例如，等同于)测量设备106与参考点110之间的距离。因此，增强现实系统100可以基于校准距离来确定测量设备106与工作空间WS和/或附接区域104之间的特定的(预定的或者可预定的)位置关系。具体地，特定的位置关系可以等于校准距离。
图4描绘要在何处放置目标对象108的在增强现实系统100上的指示402的示出。目标对象108被示出为正方形反射器(顶部)以及颜色为红色、蓝色和黑色的笔状反射器(底部)。
指示402可以在增强现实系统100确定由测量设备106测量的距离测量没有对应于(例如，没有等同于或者等于)目标距离时被示出。指示404可以在目标对象108已经在工作空间WS中被提供并且测量设备106进行的距离测量已经被测量并且被传输给增强现实系统100之后被示出。
目标位置401(例如，轨道上的目标孔)与测量设备106之间的距离可以对应于目标距离。具体地，目标位置401与测量设备106之间的距离可以等于目标距离。目标位置401也可以被称为目标位置。
在本申请中，根据示例，由测量设备106测量的距离测量是否对应于目标距离的确定可以通过确定由测量设备106测量的距离测量是否等同于(或者等于)目标距离来实现。
因此，增强现实系统100可以通过指示或输出距离测量没有对应于目标距离来指示距离测量是否对应于目标距离。
因此，大量指示可以在视图400中被示出。视图400可以是从增强现实系统100来看的(部分)视图。视图400可以包括要在何处放置目标对象108的指示402，使得在目标对象108根据指示402被放置之后，由测量设备106测量的到目标对象108的距离将对应于目标距离。指示402可以通过由增强现实系统生成的以及在附接区域104的物理真实世界视图上交叠的图形或图标来实现。指示402可以在附接区域104的附接点上交叠，其中附接点与测量设备106之间的距离是或者对应于目标距离。指示402具体地可以实现为具有与附接区域104的颜色可区分的颜色的填充圆(例如，在所示的示例中，填充圆是蓝色并且附接区域是米黄色)。
指示402的位置可以使用图像识别来计算。具体地，增强现实系统100可以计算目标距离与距离测量之间的差异。增强现实系统100可以例如经由图像识别来识别目标对象108以及目标对象108与目标位置401之间的附接点。因此，使用所计算的差异以及附接点的图像识别，增强现实系统100可以计算目标对象108与目标位置401之间附接点的数目。
视图400还可以包括移动目标对象108的方向(即，指示方向)的指示404，使得在沿着指示方向移动目标对象之后，测量设备106测量的到目标对象108的距离更接近目标距离。应当理解，如果目标对象在指示方向上被移动得更远，则由测量设备106测量的到目标对象108的距离将更加远离目标距离。有利地，指示402和指示406可以防止出现这一情况。
视图400还可以包括指示406。指示406可以包括距离测量与目标距离之间的差异。指示406还可以指示距离测量没有对应于目标距离和/或向用户给出对应的指令。在指示406中指示的差异可以被特定为距离测量与目标距离之间的附接点(例如，沟槽)的数目。例如，指示406中的“-4个沟槽”可以指示距离测量比目标距离大4个沟槽，并且目标对象108应当移动4个沟槽以更靠近测量设备106。视图400中还可以包括指示408，其包括给用户的自然语言指令(例如，所示示例中的“移动4个沟槽以更接近”)。
在一些情况下，附接点可以实现为附接区域104中的沟槽或孔。
图5描绘要在何处放置目标对象108的在增强现实系统100上的指示502的示出，以及应当做出标记的目标位置401的在增强现实系统100上的指示的示出。目标位置401可以是所选择的附接区域104上附接点的位置。
视图500可以示出大量指示、具体是指示502。视图500可以是从增强现实系统100来看的(部分)视图。在根据指示502放置目标对象108之后，由测量设备106测量的到目标对象108的距离将对应于目标距离。
视图500还可以示出指示504。指示504可以指示移动或移位目标对象108的方向，使得在沿着指示方向移动目标对象108之后，由测量设备106测量的距离将更接近目标距离。增强现实系统100还可以特定(或向用户输出)大量附接点以及移动目标对象108的方向。例如，如果目标距离与距离测量之间的差异是等于四个附接点的距离(即，目标距离大于四个附接点跨越的距离的距离测量)，则增强现实系统100指示用户应当将目标对象108移动四个附接点使其更远离测量设备106。视图500中可以包括指示505，其包括给用户的自然语言指令(例如，所示示例中的“移动4个沟槽以更远离”)。
如图4的上下文中所讨论的，应当理解，如果在指示方向上将目标对象108移动使其更远，则由测量设备106测量的到目标对象108的距离更远离目标距离。有利地，指示502可以帮助用户防止发生这一情况。
如图5的示例中所描绘的，附接区域104是轨道并且附接点是轨道中提供的沟槽。
视图506还示出了给用户的指示或指令。视图506可以是从增强现实系统100来看的(部分)视图。具体地，视图506示出了应当在何处做出标记的目标位置401上的指示或指令。视图506可以在增强现实系统100确定距离测量对应于目标距离的情况下被显示。因此，视图506可以指示目标位置401，即工作空间WS中(例如，在附接区域104上)应当做出指示附接点的标记的位置。视图506可以包括特定用户应当执行例如以标记附接区域的操作以及应当关于目标对象108在何处做出标记的视觉指示或图标508。因此，标记指示附接区域104上的附接点。视图506中可以包括指示509，其包括给用户的自然语言指令(例如，所示示例中的“在此标记”)。
增强现实系统100可以提示用户在已经做出指示附接点的标记之后做出听觉指示(例如，说出词语“next”)。标记可以由用户经由毡尖笔来做出。
图6描绘使用测量设备106和增强现实系统100的标记的验证。
标记的验证可以在根据指示508做出标记(物理上)并且目标对象108具体地已经被去除之后来进行。验证轨道上的标记的目的是确保在目标位置401处做出标记。验证可以涉及在标记的位置处(即，在做出标记的位置处)提供目标对象108。因此，测量设备106可以测量从测量设备106到目标对象108的距离测量。距离测量可以被传输给增强现实系统100并且增强现实系统100可以验证距离测量是否对应于目标距离。具体地，增强现实系统100可以验证距离测量是否等同于目标距离。
视图600示出了基于验证的结果的指示。视图600可以是从增强现实系统100来看的(部分)视图。在视图600中，标记的位置与目标位置401相同，即，距离测量对应于目标距离。因此，标记在正确的位置。
视图602也示出了基于验证的结果的指示。视图602可以是从增强现实系统100来看的(部分)视图。在视图602的上下文中，距离测量没有对应于目标距离，即，标记的位置不与目标位置401相同。
在视图602中，增强现实系统100也可以提供在何处放置标记(例如，朝着或者远离测量设备106和/或位置)的指示，使得标记在目标位置401处。
图7描绘具体地用于结合增强现实系统100来使用的智能手套700。增强现实系统100以功能框图描绘。智能手套700也可以被称为有线手套、数据手套或虚拟数据手套。
增强现实系统100可以用于查看对象(例如，飞机部分)的虚拟3D模型。智能手套700可以被用户佩戴，并且可以能够与增强现实系统100通信。当用户移动手套700时，增强现实系统100使得用户能够虚拟地操纵对象的虚拟3D模型的取向/旋转，因为其在增强现实系统100中被显示给用户。用户可以禁用对象的虚拟3D模型的手套控制的操作并且简单地处理真实世界对象。
智能手套700可以包括无线电702(例如，蓝牙无线电)、微控制器704和/或陀螺仪加速度传感器706。部件702、704和706可以具体地在通信上彼此连接。
来自智能手套700的旋转数据可以被发送给增强现实系统100的旋转控制器708。旋转控制器708可以是用户Android应用710的一部分。
结合增强现实系统100，智能手套700可以启用将要显示和/或操纵的3D虚拟对象。飞机的各个部分或者飞机的引擎(例如，活塞或阀门)可以被显示为3D虚拟对象。因此，用户可以在物理飞机内部的同时查看虚拟飞机。
应当理解，智能手套700可以结合以上描述的增强现实组装方法和系统来使用以使得用户能够与增强现实系统100交互。然而，智能手套700可以酌情结合其他增强现实系统和方法来使用。
根据一方面，对象操纵系统可以包括增强现实系统100和智能手套700。旋转控制器708可以被配置成接收与智能手套700的位置有关的反馈。增强现实系统100可以被配置成显示虚拟3D对象。旋转控制器708可以被配置成检测智能手套700与增强现实系统100显示的虚拟3D对象之间的交互。Android应用710可以被配置成响应于检测的交互来旋转虚拟3D对象。增强现实系统100可以被配置成显示旋转后的虚拟3D对象。
图8描绘可以使用增强现实系统100来查看并且使用智能手套700来操纵的虚拟3D模型。
示出了在已经被分解为其组成部分之后的初始模型800。示出了在已经使用智能手套700旋转初始模型800的一部分之后的部分旋转的模型802。
图9示出了用于实现包括以传统计算环境920形式出现的通用计算设备(例如，个人计算机)的要求保护的主题的示例性系统。传统的计算环境包括处理单元922、系统存储器924和系统总线926。系统总线将包括系统存储器924的各种系统部件耦合至处理单元922。处理单元922可以通过访问系统存储器924来执行算术、逻辑和/或控制操作。系统存储器924可以存储用于结合处理单元922来使用的信息和/或指令。系统存储器924可以包括易失性和非易失性存储器，诸如随机存取存储器(RAM)928和只读存储器(ROM)930。ROM 930中可以存储包括基本例程的基本输入/输出系统(BIOS)，这些基本例程帮助诸如在启动期间在个人计算机920的元件之间传递信息。系统总线926可以是使用各种总线架构中的任何架构的若干类型的总线结构中的任何一个，其包括存储器总线或存储器控制器、外围总线以及本地总线。
个人计算机920还可以包括用于从硬盘(未示出)读取和向硬盘写入的硬盘驱动器932以及用于从可移除盘936读取或向可移除盘936写入的外部盘驱动器934。可移除盘可以是磁盘驱动器的磁盘或者光盘，诸如光盘驱动器的CD ROM。硬盘驱动器932和外部盘驱动器934分别通过硬盘驱动器接口938和外部盘驱动器接口940连接至系统总线926。驱动器及其相关联的计算机可读介质提供计算机可读指令、数据结构、程序模块以及个人计算机920的其他数据的非易失性存储。如以上所述，数据结构可以包括用于测量和/或制造的组装方法的实现的相关数据。相关数据可以在数据库(例如，关系或对象数据库)中组织。
虽然本文中描述的示例环境采用硬盘(未示出)和外部盘936，但是本领域技术人员应当理解，也可以在示例性操作环境中使用能够存储计算机可访问的数据的其他类型的计算机可读介质，诸如磁盒、闪存存储器卡、数字视频盘、随机存取存储器、只读存储器等。
大量程序模块可以被存储在硬盘、外部盘936、ROM 930或RAM928上，包括操作系统(未示出)、一个或多个应用程序944、其他程序模块(未示出)以及程序数据946。应用程序可以包括如图1到图8中描绘以及在描述的对应文本中描述的功能的至少一部分。
用户可以通过输入设备(诸如，键盘948和鼠标950)向个人计算机920中输入如下面讨论的命令和信息。其他输入设备(未示出)可以包括麦克风(或其他传感器)、游戏杆、游戏垫、扫描仪等。这些和其他输入设备可以通过耦合至系统总线926的串行端口接口952连接至处理单元922，或者可以通过其他接口(诸如并行端口接口954、游戏端口或通用串行总线(USB))来被收集。另外，可以使用打印机956来打印信息。打印机956和其他并行输入/输出设备可以通过并行端口接口954被连接至处理单元922。监视器958或者其他类型的显示设备也可以经由接口(诸如视频输入/输出960)连接至系统总线926。除了监视器，计算环境920还可以包括其他外围输出设备(未示出)，诸如扬声器或其他听觉输出。
计算环境920可以与其他电子设备(诸如计算机、电话(有线的或者无线的)、个人数字助理、电视机等)进行通信。为了通信，计算环境920可以使用到一个或多个电子设备的连接在连网的环境中进行操作。图9描绘通过远程计算机962连网的计算机环境。远程计算机962可以是另一计算环境、诸如服务器、路由器、网络PC、对等设备或其他普通网络节点，并且可以包括以上关于计算环境920描述的元件中的很多或全部元件。图9中所示的逻辑连接包括局域网(LAN)964和广域网(WAN)966。这样的连网环境在办公室、企业计算机网络、物联网和因特网中很常见并且具体地可以被加密。
当在LAN连网环境中使用时，计算环境920可以通过网络I/O 968连接至LAN 964。当在WAN连网环境中使用时，计算环境920可以包括调制解调器970或用于通过WAN 966建立通信的其他装置。可以在计算环境920内部或外部的调制解调器970经由串行端口接口952连接至系统总线926。在连网环境中，关于计算环境920描绘的程序模块或者其部分可以存储在驻留在远程计算机962上或者远程计算机962可访问的远程存储器存储设备中。另外，与用于测量和/或制造的组装方法有关的其他数据(以上描述的)可以驻留在远程计算机962上或者经由远程计算机962可访问。应当理解，所示的网络连接是示例性的，还可以使用在电子设备之间建立通信链路的其他装置。
以上描述的计算系统仅是可以用于实现用于测量和/或制造的组装方法的一类计算系统的一个示例。

Claims (15)

1.一种用于测量和/或制造的增强现实组装方法，包括：
提供包括接收器、处理器和输出设备的增强现实系统(100)；
在工作空间(WS)中提供目标对象(108)；
在所述工作空间(WS)中布置测量设备(106)使得所述测量设备(106)与所述工作空间(WS)中的参考点(110)具有特定的位置关系；
确定位置作为所述目标对象(108)的确定位置，包括通过所述测量设备(106)测量从所述测量设备(106)到所述目标对象(108)的距离测量；
通过所述测量设备(106)向所述增强现实系统(100)传输所述距离测量；
通过所述增强现实系统确定所述距离测量是否对应于目标距离；
通过所述增强现实系统(100)确定所述目标对象(108)的所述确定位置是否对应于目标位置(401)；以及
经由所述增强现实系统(100)输出以下中的至少一项的信息：
-所述距离测量是否对应于所述目标距离，
-所述工作空间(WS)中用于所述目标对象(108)的位置，使得当所述目标对象(108)被移位到输出位置时，所述目标对象(108)的确定位置将对应于所述目标位置并且所述距离测量将对应于所述目标距离。
2.根据权利要求1所述的组装方法，其中所述测量设备(106)能够在至少毫米的准确性下测量至少10米的距离，其中所述测量设备(106)能够包括激光器。
3.根据权利要求1或2所述的组装方法，其中所述增强现实系统(100)包括智能眼部装置，和/或其中所述测量设备(106)的传输被无线地进行。
4.根据前述权利要求中的任一项所述的组装方法，其中所述工作空间(WS)在交通工具内部，其中所述工作空间(WS)能够是飞机机身。
5.根据前述权利要求中的任一项所述的组装方法，其中所述工作空间(WS)包括至少一个附接区域，其中所述参考点(110)位于所述附接区域(104)上。
6.根据前述权利要求中的任一项所述的组装方法，其中当所述特定的位置关系不是预定的时，在所述工作空间(WS)中布置所述测量设备(106)还包括：
将所述测量设备(106)放置在所述工作空间(WS)中；
在所述工作空间(WS)中在所述参考点(110)处提供校准对象(300)；
经由所述校准对象(300)确定从所述测量设备(106)到所述参考点(110)的校准距离；以及
基于所述校准距离确定所述特定的位置关系。
7.根据前述权利要求中的任一项所述的组装方法，还包括：
经由所述增强现实系统(100)针对以下中的至少一项显示所述工作空间(WS)中的点的指示：
应当在何处安装所述测量设备(106)；
应当在何处放置校准对象(300)；
应当在何处放置所述目标对象(108)；
其中每个指示在所述工作空间(WS)和/或所述工作空间(WS)的图像上交叠。
8.根据前述权利要求中的任一项所述的组装方法，其中所述目标对象(108)和/或所述校准对象(300)包括反射器，其中所述目标对象(108)和所述校准对象(300)能够是同一对象，其中所述目标对象(108)和/或所述校准对象(300)能够具有预定颜色，其中所述预定颜色能够与所述工作空间和/或所述工作空间(WS)的图像的颜色可区分。
9.根据权利要求1到5中的任一项所述的组装方法，其中当所述特定的位置关系是预定的时，在所述工作空间(WS)中布置所述测量设备(106)还包括：
根据所述特定的位置关系将所述测量设备(106)放置在距所述参考点(110)特定的距离处。
10.根据前述权利要求中的任一项所述的组装方法，其中所述增强现实系统(100)包括输入设备，所述方法还包括：
在所述输入设备处接收输入；
基于所述输入确定所述目标距离。
11.根据前述权利要求中的任一项所述的组装方法，其中当所述增强现实系统(100)确定所述距离测量不对应于所述目标距离时，所述方法还包括以下中的至少一项：
通过所述增强现实系统(100)显示出要在何处放置所述目标对象(108)的至少一个指示，使得在根据所述指示放置所述目标对象(108)之后，由所述测量设备(106)测量的到所述目标对象(108)的距离对应于所述目标距离；
通过所述增强现实系统(100)显示出要移动所述目标对象(108)的方向的至少一个指示，使得在沿着所述指示方向移动所述目标对象(108)之后，由所述测量设备(106)测量的到所述目标对象(108)的距离更接近所述目标距离；
通过所述增强现实系统(100)显示出所述距离测量与所述目标距离之间的差异的指示；
其中每个指示在所述工作空间和/或所述工作空间(WS)的图像上交叠。
12.根据前述权利要求中的任一项所述的方法，其中当所述增强现实系统(100)确定所述距离测量对应于所述目标距离时，所述方法还包括：
经由所述增强现实系统(100)指示所述工作空间(WS)中应当根据所述目标对象(108)做出标记的位置，其中所述标记能够指示所述工作空间(WS)中的附接区域上的附接点。
13.根据权利要求12所述的方法，其中当在所述指示位置已经做出标记并且已经去除所述目标对象(108)之后，所述方法还包括：
在所述标记的位置提供所述目标对象(108)；
通过所述测量设备(106)测量从所述测量设备(106)到所述目标对象(108)的距离测量；
验证所述距离测量是否对应于所述目标距离；以及
经由所述增强现实系统(100)基于所述验证来指示结果。
14.一种包括计算机可读指令的计算机程序产品，所述计算机可读指令在被加载到计算机系统并且在计算机系统上执行时使得所述计算机系统执行根据前述权利要求中的任一项所述的方法的操作。
15.一种用于测量和/或制造的增强现实系统(100)，所述系统包括：
接收器，能够从位于工作空间(WS)的测量设备(106)接收距离测量，其中所述测量设备(106)与所述工作空间(WS)中的参考点(110)具有特定的位置关系，其中所述距离测量是从所述测量设备(106)到位于所述工作空间(WS)中的目标对象(108)的距离；
位置确定模块，用于确定位置作为被提供在所述工作空间(WS)中的所述目标对象(108)的确定位置；
处理器，与所述接收器通信连接，并且能够确定所述距离测量是否对应于目标距离；
确定模块，用于确定所述目标对象(108)的所述确定位置是否对应于目标位置(401)；以及
输出模块，用于输出以下中的至少一项的信息：
-从所述测量设备(106)接收的所述距离是否对应于所述目标距离，
-用于所述目标对象(108)的位置，使得当所述目标对象(108)被移位到输出位置时，所述确定位置将对应于所述目标位置(401)并且所述距离测量将对应于所述目标距离。
CN201610366199.9A 2015-06-12 2016-05-27 用于测量和/或制造的增强现实方法和系统 Active CN106251325B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15290157.5A EP3104241B1 (en) 2015-06-12 2015-06-12 An augmented reality method and system for measuring and/or manufacturing
EP15290157.5 2015-06-12

Publications (2)

Publication Number Publication Date
CN106251325A true CN106251325A (zh) 2016-12-21
CN106251325B CN106251325B (zh) 2022-10-11

Family

ID=53541625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610366199.9A Active CN106251325B (zh) 2015-06-12 2016-05-27 用于测量和/或制造的增强现实方法和系统

Country Status (5)

Country Link
US (1) US9870645B2 (zh)
EP (1) EP3104241B1 (zh)
CN (1) CN106251325B (zh)
CA (1) CA2926895C (zh)
ES (1) ES2834553T3 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110124305A (zh) * 2019-05-15 2019-08-16 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
CN110716210A (zh) * 2018-07-12 2020-01-21 发那科株式会社 具有距离修正功能的测距装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276470A1 (en) * 2017-03-23 2018-09-27 Rohde & Schwarz Gmbh & Co. Kg Measuring system and method for displaying a live view of a measurement setup superimposed on measurement results
US10796486B2 (en) 2017-07-05 2020-10-06 Textron Innovations, Inc. Augmented visualization for manufacturing
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US11257297B1 (en) 2018-06-15 2022-02-22 Baru Inc. System, method, and computer program product for manufacturing a customized product
JP7210169B2 (ja) 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
JP2020170482A (ja) * 2019-04-05 2020-10-15 川崎重工業株式会社 作業指示システム
US11209261B2 (en) 2019-08-22 2021-12-28 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
US11118948B2 (en) 2019-08-23 2021-09-14 Toyota Motor North America, Inc. Systems and methods of calibrating vehicle sensors using augmented reality
US11965736B2 (en) 2019-08-28 2024-04-23 Hexagon Metrology, Inc. Measurement routine motion represented by 3D virtual model
US11894130B2 (en) 2019-12-26 2024-02-06 Augmenticon Gmbh Pharmaceutical manufacturing process control, support and analysis
DE102020212332A1 (de) * 2020-09-30 2022-03-31 Siemens Energy Global GmbH & Co. KG Assistenzsystem und -verfahren zur Herstellung von Transformatorwicklungen
US11776420B2 (en) * 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395997A (zh) * 2009-02-13 2012-03-28 Metaio有限公司 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统
US20130278635A1 (en) * 2011-08-25 2013-10-24 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02284885A (ja) * 1989-04-27 1990-11-22 Nissan Motor Co Ltd ワーク位置決め装置の位置教示方法
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
US7236854B2 (en) * 2004-01-05 2007-06-26 Abb Research Ltd. Method and a system for programming an industrial robot
EP2405402A1 (en) * 2010-07-06 2012-01-11 EADS Construcciones Aeronauticas, S.A. Method and system for assembling components
KR101315399B1 (ko) * 2010-08-20 2013-10-07 주식회사 팬택 객체 정보 제공 단말 장치 및 그 방법
KR101458939B1 (ko) * 2010-12-02 2014-11-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 시스템
WO2012121341A1 (ja) * 2011-03-09 2012-09-13 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
US9134127B2 (en) * 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
CN103959308B (zh) * 2011-08-31 2017-09-19 Metaio有限公司 以参考特征匹配图像特征的方法
DE102012001950A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US9552675B2 (en) * 2013-06-03 2017-01-24 Time Traveler App Llc Display application and perspective views of virtual space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395997A (zh) * 2009-02-13 2012-03-28 Metaio有限公司 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统
US20130278635A1 (en) * 2011-08-25 2013-10-24 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716210A (zh) * 2018-07-12 2020-01-21 发那科株式会社 具有距离修正功能的测距装置
CN110716210B (zh) * 2018-07-12 2024-01-30 发那科株式会社 具有距离修正功能的测距装置
CN110124305A (zh) * 2019-05-15 2019-08-16 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端

Also Published As

Publication number Publication date
CA2926895A1 (en) 2016-12-12
EP3104241A1 (en) 2016-12-14
US9870645B2 (en) 2018-01-16
ES2834553T3 (es) 2021-06-17
US20160364913A1 (en) 2016-12-15
EP3104241B1 (en) 2020-09-16
CA2926895C (en) 2019-09-17
CN106251325B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN106251325A (zh) 用于测量和/或制造的增强现实方法和系统
US10026227B2 (en) Portable augmented reality
CA3023417C (en) Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
US11481999B2 (en) Maintenance work support system and maintenance work support method
EP3144901B1 (en) Immersive design management system
US9299150B2 (en) Recording the location of a point of interest on an object
JP6381296B2 (ja) 操縦翼面較正システム
Hada et al. Development of a bridge inspection support system using two-wheeled multicopter and 3D modeling technology
de Souza Cardoso et al. Mobile augmented reality to support fuselage assembly
CN106469236A (zh) 利用映射到结构上的不一致而建模的结构的分析
CN104216762A (zh) 跟踪用户以支持在复杂系统组件上执行的任务
RU2760755C2 (ru) Система проверки летательного аппарата с визуализацией и записью
CN107972885A (zh) 用于检查闪电引起的不一致性的装置和方法
US9996946B2 (en) Maintenance supporting system and maintenance supporting method utilizing a reference image and indicator
Trainelli et al. Innovative helicopter in-flight noise monitoring systems enabled by rotor-state measurements
KR102649171B1 (ko) 물체에 대한 결함 데이터를 시각화하기 위한 증강 현실 시스템
Maisano et al. Dimensional measurements in the shipbuilding industry: on-site comparison of a state-of-the-art laser tracker, total station and laser scanner
Peng et al. Application of augmented reality for aviation equipment inspection and maintenance training
Lau et al. Ground Vibration Testing Master Class: modern testing and analysis concepts applied to an F-16 aircraft
Trainelli et al. Project MANOEUVRES–towards real-time noise monitoring and enhanced rotorcraft handling based on rotor state measurements
US20050125770A1 (en) Method and system for surveying and modeling a site
da Silva Coelho et al. Developing a CDS with Scrum in an interdisciplinary academic project
RU2179744C1 (ru) Система подготовки данных для анализа результатов пилотирования
CN118159989A (zh) 信息输出方法、程序及信息输出系统
Klein Instrumented Control Column for Optionally Piloted Aircraft

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant