CN111433561B - 头戴装置、在头戴装置中显示虚拟图像的方法和介质 - Google Patents

头戴装置、在头戴装置中显示虚拟图像的方法和介质 Download PDF

Info

Publication number
CN111433561B
CN111433561B CN201880068229.5A CN201880068229A CN111433561B CN 111433561 B CN111433561 B CN 111433561B CN 201880068229 A CN201880068229 A CN 201880068229A CN 111433561 B CN111433561 B CN 111433561B
Authority
CN
China
Prior art keywords
tracking
headset
display
data
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880068229.5A
Other languages
English (en)
Other versions
CN111433561A (zh
Inventor
D·J·米切尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XYZ Reality Ltd
Original Assignee
XYZ Reality Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XYZ Reality Ltd filed Critical XYZ Reality Ltd
Publication of CN111433561A publication Critical patent/CN111433561A/zh
Application granted granted Critical
Publication of CN111433561B publication Critical patent/CN111433561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明涉及头戴装置、在头戴装置中显示虚拟图像的方法和介质。头戴装置包括头戴物品、包含至少一个显示器的增强现实眼镜、用于跟踪显示器相对于使用者的至少一只眼睛的移动的显示器位置跟踪装置以及电子控制系统，在所述头戴物品上安装有一个或更多个位置跟踪传感器。电子控制系统被配置为将外在真实世界坐标系中限定的BIM模型转换到位置跟踪系统限定的内在坐标系中，从显示器位置装置接收显示器位置数据并从头戴装置跟踪系统接收头戴装置跟踪数据，以及相对于头戴物品在建筑工地上的位置和取向以及显示器相对于使用者的眼睛的相对位置来渲染BIM的虚拟图像，并将渲染的虚拟图像发送到显示器，该图像可作为BIM的虚拟图像被使用者观看。

Description

头戴装置、在头戴装置中显示虚拟图像的方法和介质
技术领域
本发明涉及显示建筑信息模型(BIM)的虚拟图像。特别地(但非排他性地)，本发明涉及使用增强现实显示装置以足以用作常规对建筑工地进行放样(setting out)的替代方案的精度来以其在建筑工地上的正确位置和取向来显示要执行的任务或要建造的对象的虚拟图像；例如，通过确定应在何处执行给定的建筑任务。本发明的实施方式可以使用位置跟踪系统(例如光学“内向外(inside out)”位置跟踪系统)来以至少约5mm的精度定位增强现实头戴式显示器(HMD)。本发明提供了用于将真实世界的放样数据与从跟踪系统接收的跟踪数据相关联的设备、用于校准和控制这种设备的操作的计算机软件、以及用于以真实世界坐标显示虚拟模型的增强现实HMD。本发明旨在使建造者和其他人能够使用增强现实HMD来开始、完成和验证他们的建筑任务(在3mm的精度/建筑公差以内)，而无需依赖放样和/或验证工程师。
背景技术
在建筑工地上搭建结构或建造建筑物是一个漫长的过程。该过程可以概括如下：首先，设计师或建筑师制作称为建筑信息模型(BIM)的三维模型。BIM模型通常以真实世界坐标来限定。然后将BIM模型发送到建筑工地，通常以二维图纸的形式发送，或者在某些情况下作为计算装置上的3D模型发送。工程师使用常规立桩/放样装置，在工地上以真实世界坐标在已知位置处建立控制点，并以这些控制点为参考来标出2D图纸或BIM模型中每个结构将被建造的位置。然后，建造者将图纸和/或BIM模型与工程师制作的标记(“放样标记”)结合使用，以根据图纸或模型在正确的位置搭建结构。最后，工程师必须验证结构或执行的任务。这可以使用3D激光扫描器捕获点云来完成，从该点云可以自动得出“完工”结构的3D模型。然后将“完工”模型与原始BIM模型进行比较。此过程可能耗费长达两个星期，之后必须对发现不合格的任何项目进行检查，并可能导致罚款或必须重做。
按照惯例，由经验丰富的工地工程师使用全站仪或TST(全站经纬仪)与建筑工地处或附近的已知位置的点(例如，作为基准)相关联地将控制点定位在建筑工地处来对建筑工地进行放样。例如，可以从其英国地形测量局或WGS 84基准中获知这些已知位置的点的真实世界位置。只要精确知道其位置，任何自然或人造的地理特征都可以用于定位控制点。然后可以使用全站仪通过从已知位置的两个或更多个点进行三角测量，在建筑工地处定位控制点。
必须以这种方式精确地对要在建筑工地处执行的每个任务进行放样。通常，在项目期间必须进行多次放样，因为施工的后续阶段可能会擦除临时标记。
此外，一旦在建筑工地已经完成了任务，通常需要验证该任务/检查任务已在正确的位置处完成，为此，工地工程师必须使用经纬仪通过参照控制点来检查已完成任务的位置。
在建筑项目期间每次需要进行放样时，都会在等待工地工程师现身建筑工地时耽搁时间。期望能够开始搭建结构而不必在每次需要定位要执行的建筑任务的位置时依赖工地工程师。
对建筑工地进行放样的已知方法的另一个缺点是，即使参考点和标记被建立在合适的位置处以使施工队能够根据施工图在其正确的位置处执行任务，但对于施工队而言，解释施工图以确定要执行的任务的细节并在参考点或标记之间进行插值仍然是必要的。在实践中，这经常导致施工图与所执行任务之间的差异。
已知方法的又一个缺点是参考点和标记通常是与控制点或其他参考点相关联地被定位在建筑工地处的，而这些控制点或其他参考点又是与已知位置的点相关联地定位的。每次相对于较早的参考点或建筑点定位新的参考点或标记时，定位误差被放大。
已知方法的再一个缺点是，如今用于验证的经纬仪可能耗费长达两个星期才能向承包商提供验证信息。
这些缺点可能会产生重大的连锁反应。如果错误地完成放样，或者如果基于对放样标记的错误解释错误地搭建了结构，则下一个贸易承包商将在错误之上建造，从而加剧误差。给定典型的1-2周验证周期，几个承包商可能会使项目中的错误加剧。这通常导致承包商交付的项目既没有按时、不超出预算，也不符合正确的规格。
在许多国家，建筑工人在建筑工地上工作时，必须佩戴建筑头盔(或安全帽)以保护他或她的头部免受由坠落物体、与其他物体碰撞、碎屑、雨水和电击造成的伤害。例如，在英国，个人防护设备(PPE)条例1992规定安全帽是PPE的组成部分，根据法律，所有在建筑工地上或危险环境内工作的人员都必须佩戴安全帽。
安全帽通常按照适用的安全标准制造。1997年，美国国家标准协会修订了针对安全帽的性能Z89.1标准，该标准已与CSA Z94.1标准保持一致。符合这些标准不是强制性的，但大多数制造商都遵守。
安全帽的设计和构造对于本领域技术人员而言是众所周知的，在此无需详细描述。安全帽内部的缓冲带将安全帽的重量以及任何撞击力分散到头部上方；安全帽可以装配有面罩、用于额外遮阳的超宽帽沿附件、护耳器、用于增加后视野的镜子、用于前照灯或手电筒的安装件、在佩戴者俯身的情况下防止头盔掉落的下颚带、保持头部的侧面温暖的隔热侧垫和/或在帽沿周围伸展的用于颜色工识别和/或高能见度夜间逆向反射的带子。
鉴于安全帽在建筑工地上无处不在，因此在本领域中使用安全帽来承载用于执行或辅助要在建筑工地处进行的操作的电子设备就不足为奇了。
例如，US 7592911 B1(Hudgens等人)公开了使用包含在工地处的人员佩戴的安全帽中的电子电路来跟踪建筑工地处的人员活动。根据US 7592911 B1的一个实施方式，通过处理从形成为位于建筑工地处的人员佩戴的一个或更多个安全帽的一部分的电子电路直接或间接地接收的个人信息，来监测建筑工地处的活动。个人信息与各个人员唯一关联。基于从电子电路接收到的个人信息以及人员位置，生成一个或更多个消息。例如，这些消息可以警告特定人员他们已经进入建筑工地处的未授权区域。可选地，可以定期监测和报告人员活动。
可从Daqri,LLC of Los Angeles,CA购买的“智能头盔”将增强现实显示器结合在安全帽中，用于向产业工人显示增强现实和/或多媒体信息，包括视觉指令、实时警报和3D映射(请参见例如http://web.archive.org/web/20170606162951/https://daqri.com/products/smart-helmet/)。
增强现实(AR)是物理的真实世界环境的现场直接或间接视图，该环境的要素通过计算机生成的诸如声音、视频、图形或GPS数据等感官输入得到扩充。AR应用允许使用者例如以覆盖在由视图装置的摄像头捕获的物理对象的图像上的三维虚拟对象的形式体验信息。向使用者显示虚拟对象，就好像由与使用者的眼睛对准的“虚拟摄像机”投影一样。其他增强现实应用允许使用者体验覆盖在真实物理世界中任何对象的视图或图像之上的附加信息的可视化图。
WO 2015/102834 A1(Daqri,LLC)公开了用于卸载增强现实处理的系统和方法。使用者的视图装置外部的传感器跟踪视图装置的位置和取向。视图装置可以是具有显示器的计算装置，例如智能手机、平板计算机或可穿戴计算装置(例如手表或眼镜)。该计算装置可以是手持的，或者可以可移除地安装到使用者的头部。相对于使用者本地的物理环境的预定义基准限定位置和取向。服务器从视图装置接收请求以卸载跟踪处理和增强现实渲染处理中的至少一者。增强现实渲染处理基于增强现实数据库。服务器基于请求以及视图装置的位置和取向生成已卸载处理数据。已卸载处理数据被流传输到视图装置。在视图装置中生成已卸载处理数据的可视化图。
根据US 2015/0235474 A1(Mullins)，勘测应用生成对与对象的三维模型相关联的组成部分的勘测。勘测应用从靠近对象的可穿戴装置接收视频源、位置信息和取向信息。基于从可穿戴装置接收到的视频源、传感器数据、位置信息和取向信息，生成对象的三维模型。根据视频源执行分析，以识别对对象的操纵。基于对象的操纵来更新对象的三维模型。关于与对象有关的参考数据，生成与对对象的操纵有关的动态状态。
从不同角度和位置观看同一物理对象的多个可穿戴装置(例如，包括摄像头和显示器的移动装置)可以进一步用于生成和重建三维物理对象。勘测应用生成对与物理对象的三维模型向关联的组成部分的勘测。例如，这些组成部分可以包括石膏板上的钉子；仪表板上的开关；工厂机器、船或任何工业物理对象上的按钮。
US 9665985 B2(Mullins等人)公开了一种识别在第一可穿戴装置中显示的虚拟对象的操纵的远程专家应用。基于利用第二可穿戴装置观看的物理对象来渲染虚拟对象。从第一可穿戴装置接收虚拟对象的操纵。生成虚拟对象的操纵的可视化图以供第二可穿戴装置显示。虚拟对象的操纵的可视化图被传送到第二可穿戴装置。
US 2015/0235474 A1和US 9665985 B2都公开了可穿戴装置可以包括传感器、显示器、处理器和存储装置。可穿戴装置可以是使用者的可穿戴计算装置、车辆计算机、平板计算机、导航装置、便携式媒体装置或智能电话。传感器可以包括例如接近或位置传感器(例如，近场通信、GPS、蓝牙、Wi-Fi)、光学传感器(例如，摄像头)、取向传感器(例如，陀螺仪)、音频传感器(例如，麦克风)或这些传感器的任何合适的组合。
在WO 2016/077401 A1(Valve Corporation)中描述了可以在虚拟现实(VR)/AR应用中使用的不同光学位置跟踪系统。示例实现方式包括一个或更多个接收器以及一个或更多个发送器。示例发送器包含两个正交旋转器，每个旋转器发射扇形激光束。旋转体以恒定速度旋转时，每个波束被扫过。示例光接收器可以相对较小，并安装在VR显示器上的方便位置处。这些接收器由可以安装在头戴式显示器上的小型光学检测器组成。示例系统通过测量每个扫描波束穿过每个接收器/检测器的时间来确定位置。
其他定位系统也是可用的。在US 51002299 A中描述了类似于Valve Corporation的光学定位系统的另一种系统。US 2018/0128897 A1(其内容通过引用并入本文)公开了一种用于使用超声波确定发送器相对于接收器的位置的系统。发送器发出超声波脉冲，并以电子方式提供声音的发出时间的指示。计算机处理器从发送器以及以固定排列定位的三个超声波接收器接收时间指示。接收器没有被共线地放置，并且以小于声音波长的两倍的距离彼此间隔开。计算机处理器基于时间指示和超声波到三个接收器中的每个接收器的飞行时间来估计发送器的相对位置。在优选实施方式中，接收器以小于声音波长的距离彼此间隔开。
如由US 2017/0169612 A1(Cashen等人)所公开的(其内容通过引用并入本文)，如果由系统投影的虚拟图像未对准(即，虚拟图像相对于它们旨在覆盖的真实世界目标没有正确定位)和/或虚拟图像变形，则AR系统对操作者来说可能是不利的。US 2017/0169612A1公开了一种对准系统，该对准系统可以被配置为实时地考虑多个动态和静态因素输入，使得当投影图形图像时，该图形图像与其旨在覆盖的真实世界目标基本对准，并且基本没有失真地显示该图形图像。
US 2013/0235169 A1(Kato等人)(其内容通过引用并入本文)公开了一种HMD，其包括：显示三维视频图像的显示器；位置获得单元，其测量观看者的内眼角或外眼角相对于显示器的位置；标准位置存储单元，其在存储部中获得内眼角或外眼角的测量位置作为与该位置相关的标准位置，以用于确定标准位置的校准；位置检测单元，其检测正在观看内容的观看者的内眼角或外眼角相对于显示器的标准位置与新测量的位置之间的差异作为位置；图像处理单元，其对要显示在显示器上的3D视频图像执行图像处理，以根据检测到的位置间隙旋转或平行移动3D视频图像。
US 2017/0090203 A1(Mullins and Ries)公开了一种头戴式装置，其包括传感器、透明显示器以及包括增强现实应用和对准模块的处理器。例如，该头戴式装置可以是具有摄像头和透明显示器的计算装置，例如平板电脑、智能手机或可穿戴计算装置(例如头盔或眼镜)。
发明内容
根据本发明的一方面，提供了一种用于向使用者显示被定位和定向到建筑工地的外在工地坐标系的建筑信息模型(BIM)的虚拟图像的可穿戴增强现实(AR)头戴装置(headset)。该头戴装置特别旨在由建筑工地上或要在精确位置处执行建筑、建造、装修或安装任务的任何其他位置上的建造者和其他技工使用。
适当地，头戴装置可以包括头戴物品，例如被配置为被使用者佩戴的建筑头盔。
在头戴装置上可以安装有一个或更多个位置跟踪传感器，所述一个或更多个传感器被配置为输出传感器数据，所述传感器数据表示所述一个或更多个传感器对在建筑工地附近传播的一个或更多个信号的响应，该传感器数据使得能够确定头戴装置的位置和取向。适当地，所述一个或更多个信号可以由设置在建筑工地处的位置跟踪系统发射。合适的位置跟踪系统是本领域技术人员已知的。在本发明的实施方式中使用的位置跟踪系统是内向外位置跟踪系统，如下面更详细描述的。
所述一个或更多个信号可以由一个或更多个对应的信标发射。一个或更多个信标在建筑工地上的精确位置可以是已知的。另选地，跟踪系统可以用于确定已知位置的一个或更多个控制点的位置，使得可以通过参照控制点的位置来计算由位置跟踪系统跟踪的其他对象(例如头戴装置)的位置。
在一些实施方式中，所述一个或更多个信号可以由诸如光波或无线电波的电磁辐射构成。在一些实施方式中，可以使用扫描波束光学跟踪系统，如下面更详细地描述的。这种系统可以采用由一个或更多个信标发射的红外信号。在一些实施方式中，可以使用WiFi跟踪系统。然而，一些实施方式可以利用其他类型的信号，例如声波。
在一些实施方式中，可以使用超声波，其中一个或更多个位置跟踪传感器对撞击在头戴装置上的一个或更多个超声波信号的响应被用于对头戴装置在建筑工地上的位置和取向进行三角测量。US 2018/0128897 A1公开了使用超声波来跟踪对象的位置的系统和方法。
头戴装置可以包括增强现实显示系统。该增强现实显示系统可以包括显示组件，该显示组件在使用者的视野内具有相对于位置跟踪传感器固定的使用中位置。将理解的是，在一些实施方式中，显示组件可以从使用位置选择性地移动到不同的位置(例如，在该位置中，显示组件从使用者的眼睛前方移开)。例如，显示组件可以被铰接或以其他方式附接到头戴物品，以在使用中位置与“非使用”位置之间移动。然而，在使用中位置中，显示组件可以相对于头戴物品上的位置跟踪传感器稳定地定位，使得当显示组件显示器处于使用中位置时，该显示组件显示器可以不相对于位置跟踪传感器移动。
适当地，显示组件可以包括至少一个显示器，并且能够在允许使用者透过显示组件观看他或她的周围环境的同时向使用者显示虚拟图像。显示器可以是透明的或半透明的。通常，除了显示器本身之外，显示组件还可以包括用于观看由显示器发出的光所传递的图像的至少一个透镜。透镜可以适当地定位在显示器与使用者的眼睛之间。在一些实施方式中，透镜可以包括准直仪，使得虚拟图像对使用者而言看起来位于无限远处。另选地，透镜可以使光发散，使得虚拟图像出现在使用者前方比无限远更近的焦距处。例如，在一些实施方式中，可以将透镜与显示器结合使用以使得由从显示器发出的光表示的虚拟图像在2m至10m范围内的焦距处向使用者显现。应当理解，显示组件的特征还将限定显示组件的视野、其出射光瞳尺寸等。如下面更详细地描述的，当根据本发明正确地定位建筑信息模型的虚拟图像时，可以考虑显示组件的这些和其他物理和光学特性以及特征。
增强现实显示系统可以被配置为接收表示建筑信息模型的虚拟图像的图像数据，并将虚拟图像显示在显示器上。使用者将虚拟图像感知为好像是由以使用者的眼睛为中心的虚拟摄像机投影的一样。
头戴装置可以进一步包括显示器位置传感器，该显示器位置传感器用于检测显示器相对于使用者头部的位置，并输出表示该位置的显示器位置数据。进一步地或另选地，头戴装置可以包括用于确保显示器相对于头戴物品正确定位的对准装置。本领域技术人员将理解，即使使用者在同一地方看时，头戴装置在使用者头部上的位置也可以在使用中改变。当使用者从事在建筑工地上执行建筑任务中通常涉及的那种手动操作时，尤其如此。根据本发明，重要的是确保虚拟摄像机保持与使用者的眼睛正确对准，使得使用者在相对于真实世界的正确位置看到虚拟图像。因此，根据本发明，使用显示器位置传感器来确保在将建筑信息模型的虚拟图像定位在显示器中时，考虑了头戴装置(特别是一个或更多个显示器)相对于使用者头部的位置变化。
头戴装置可以包括电子控制系统。该电子控制系统可以包括头戴装置跟踪子系统，该头戴装置跟踪子系统被配置为根据传感器数据确定在由位置跟踪系统限定的内在坐标系内头戴装置在建筑工地上的位置和取向，并输出表示所述位置和取向的头戴装置跟踪数据。
电子控制系统可以包括坐标转换引擎，该坐标转换引擎被配置为基于变换在内在坐标系与外在坐标系之间转换位置数据。在一些实施方式中，可以通过将外在坐标系中已知位置的一个或更多个控制点的坐标与所述控制点在内在坐标系中的对应坐标相关联来得出所述变换。可以使用位置跟踪系统根据从至少一个传感器接收的传感器数据来得出所述一个或更多个控制点在内在坐标系中的坐标。
电子控制系统可以被配置为接收头戴装置跟踪数据、显示器位置数据和表示在外在坐标系中限定的建筑信息模型的模型数据，使用坐标转换引擎处理模型数据以产生在内在坐标系中限定的得出的模型数据，以及使用头戴装置跟踪数据和显示器位置数据相对于头戴物品在建筑工地上的位置和取向以及显示器在使用者头部上的位置来渲染建筑信息模型的虚拟图像，生成表示虚拟图像的图像数据并将图像数据发送到增强现实显示系统，以供使用者在显示器上观看。以此方式，本发明的目的是使用者应该能够看到在正常的建筑公差内在真实世界中的建筑工地上正确地定位和定向的建筑信息模型的虚拟图像，该虚拟图像覆盖使用者对建筑工地的视图，使得他或她被告知在哪里执行一个或更多个建筑任务，以达到足以确保根据建筑信息模型(可能地，在指定允许公差内)执行该任务的精度。
在一些实施方式中，电子控制系统可以包括对准引擎，该对准引擎用于确保显示器相对于头戴物品被正确地定位。对准引擎可以作为显示器位置传感器的补充或代替显示器位置传感器使用。
根据本发明的另一方面，提供了一种在根据本发明的头戴装置中显示在建筑工地的外在工地坐标系中定位和定向的建筑信息模型(BIM)的虚拟图像的方法。
除非上下文另外指出或相反指示，否则本文中关于本发明的一个或更多个特定方面描述的技术或其他特征适用于本发明的所有方面。
因此，头戴装置可以包括头戴物品，该头戴物品形成为被使用者佩戴的形状和尺寸，并且在头戴物品上安装有或以其他方式牢固地固定到头戴物品上的一个或更多个位置跟踪传感器；包括至少一个显示器的增强现实显示系统；用于检测显示器相对于使用者头部的位置的显示器位置传感器；以及电子控制系统。
在一些实施方式中，本发明的方法可以包括以下步骤：基于传感器数据(所述传感器数据表示一个或更多个传感器对如上所述在建筑工地处传播的一个或更多个信号(例如电磁辐射)的响应)来确定在由位置跟踪系统限定的内在坐标系中头戴装置在建筑工地上的位置和取向。该方法可以包括生成头戴装置跟踪数据，该头戴装置跟踪数据表示在内在坐标系中头戴装置在建筑工地上的位置和取向。这些步骤可以由头戴装置跟踪系统方便地执行。
在一些实施方式中，本发明的方法可以包括以下步骤：基于变换在内在坐标系与外在坐标系之间转换位置数据。如上所述，可以使用位置跟踪系统，通过将外在坐标系中已知位置的一个或更多个控制点的坐标与所述控制点在内在坐标系中的对应坐标相关联来得出所述变换。适当地，该步骤可以由坐标转换引擎执行。
如上所述，可以基于从至少一个传感器接收的传感器数据来适当地确定一个或更多个控制点在内在坐标系中的坐标。
在一些实施方式中，本发明的方法可以包括以下步骤：从显示器位置传感器接收显示器位置数据，接收头戴装置跟踪数据并且接收表示在外在坐标系中限定的建筑信息模型的模型数据，使用坐标转换引擎处理模型数据以产生在内在坐标系中限定的得出的模型数据，以及使用头戴装置跟踪数据和显示器位置数据相对于头戴物品在建筑工地上的位置和取向并且相对于显示器相对于使用者的眼睛的位置来渲染建筑信息模型的虚拟图像。该方法可以包括：生成表示虚拟图像的图像数据并将图像数据发送到增强现实显示系统，以作为建筑信息模型的虚拟图像供使用者观看。
如上所述，本发明的头戴装置可以包括电子控制系统，在一些实施方式中，该电子控制系统可以包括头戴装置跟踪子系统和坐标转换引擎。头戴装置跟踪子系统可以适当地被配置为与设置在建筑工地处的位置跟踪系统协作，如本文中更详细描述的。将理解，可以使用头戴装置跟踪子系统在头戴装置上执行头戴装置跟踪数据的处理，但是在一些实施方式中，处理头戴装置跟踪数据来确定头戴装置在建筑工地上的位置和取向可以在头戴装置外执行，例如在被布置成通过有线或无线连接与头戴装置进行通信的远程计算机上执行。在一些实施方式中，坐标转换引擎可以被布置成在远程计算机或服务器上运行。因此，通常，由电子控制系统执行的一些处理步骤可以在头戴装置之外的远程计算机或服务器以及被布置用于在头戴装置与远程计算机或服务器之间传输数据的合适的装置上执行。
根据本发明的又一方面，提供了一种计算机程序，所述计算机程序包含一组指令，所述指令在被计算机化装置执行时使所述计算机化装置执行在头戴装置中显示在建筑工地的外在工地坐标系中定位和定向的建筑信息模型(BIM)的虚拟图像的方法。通常，所述计算机程序包含一组指令，所述指令在被计算机化装置执行时使所述计算机化装置执行如上所述的根据本发明的方法。
因此，头戴装置可以包括：头戴物品，其被配置为被使用者佩戴，并且在头戴物品上安装有一个或更多个位置跟踪传感器；包括在使用者的视野内具有使用中位置的显示组件的增强现实显示系统，所述显示组件包括至少一个显示器；用于检测显示器相对于使用者头部的位置的显示器位置传感器；以及电子控制系统。
根据本发明的实施方式，提供了一种利用增强现实头戴式显示器、以至少5mm的精度(优选地，至少3mm的精度)在建筑工地上以真实世界坐标观看三维建筑信息模型的方法。本发明的实施方式可以包括：
(a)使用光学内向外位置跟踪系统来跟踪建筑工地处的增强现实头戴式显示器，以在位置跟踪系统所使用的内在坐标系中在跟踪体积内定位增强现实头戴式显示器，达至少5mm；
(b)使用便携式跟踪装置，通过使用在外在坐标系中的已知位置/控制点与所述控制点在如由位置跟踪系统限定的内在坐标系中的对应位置之间进行转换的变换，将内在坐标系与外在真实世界坐标系相关联；
(c)使用眼睛跟踪装置将使用者的眼睛中的至少一只眼睛的位置与增强现实头戴式显示器相关联；和/或
(d)使用计算机软件将表示头戴装置位置的位置跟踪数据与表示增强现实头戴式显示器在使用者头部上的位置的眼睛跟踪数据以及表示增强现实头戴式显示器的光学特性的数据融合在一起，以通过增强现实头戴式显示器以真实世界坐标显示虚拟BIM模型。
本发明的实施方式旨在为建造者/贸易承包商提供一种在达到建筑公差(通常达到3mm精度以内)的情况下使用增强现实HMD以真实世界坐标观看BIM模型的方法，和/或实时验证他们的施工的能力。这可以消除对工地工程师持续存在的需求，这可以最大程度地减少施工队必须解释施工图并确定参考点或标记之间的未标记位置的程度，从而避免在基于先前定位的参考点或控制点来定位参考点时加剧误差。这也可以消除对用于验证工作的经纬仪需要，因为该方法力求为建造者和贸易承包商提供实时验证信息。
在本发明的不同方面，头戴装置跟踪可以包括：通过使用头戴装置外部的传感器，基于头戴装置的位置和取向生成外部跟踪数据。跟踪传感器(例如，光学传感器(例如启用深度的3-D摄像机)、无线传感器(蓝牙、Wi-Fi)、GPS传感器或音频传感器)可用于确定头戴装置的位置、头戴装置到物理环境中的跟踪传感器(例如，放置在场所或房间的角落中的传感器)的距离、头戴装置的取向，例如以确定使用者在看哪里。
在一些实施方式中，渲染虚拟图像可以包括：基于来自头戴装置和增强现实数据库的头戴装置跟踪数据来渲染虚拟对象。头戴装置跟踪数据可以基于从头戴装置内部的传感器接收的传感器数据来表示头戴装置的位置和取向。传感器可以包括例如接近或位置传感器(例如，近场通信、GPS、蓝牙、Wi-Fi)、光学传感器(例如，摄像头)、取向传感器(例如，陀螺仪)、音频传感器(例如，麦克风)或这些传感器的任何合适的组合。例如，传感器可以包括头戴装置中的后置摄像头和前置摄像头。
根据本发明的又一方面，提供了一种对建筑工地进行放样的方法，该方法包括使用光学内向外位置跟踪系统来跟踪建筑工地处的便携式放样工具，以在跟踪系统所使用的内在坐标系中在跟踪体积内定位放样工具；以及使用变换将内在坐标系与外在真实世界坐标系相关联，该变换是通过将建筑工地处或附近的一个或更多个控制点在真实世界坐标系中的已知位置与如由位置跟踪系统确定的、所述控制点在内在坐标系中的对应位置相关联而得出的
本文中的“内向外位置跟踪系统”是指这样的跟踪系统：在该跟踪系统中，设置在跟踪体积内的要跟踪的对象上的传感器(例如光电传感器或麦克风)被布置成检测或测量一个或更多个入射信号(例如电磁辐射或超声波或脉冲)的一个或更多个特性，所述特性指示传感器与辐射源的角距离。通常，信号源或辐射源可以是固定的。要跟踪的对象例如可以是本发明的头戴装置。
信号(例如电磁辐射)可以是定向的。特别地，可以以指示源的方位或角距离的方式来调制辐射。信号或辐射可以例如是跨跟踪体积空间调制或衰减的。例如，电磁辐射的强度可以随着到源的角距离而变化。
通常，电磁辐射可以是例如通过扫过跟踪体积而随时间变化的波束(例如激光束)的形式。
传感器可以检测入射信号(例如，电磁辐射)中的瞬态变化。
在一些实施方式中，波束可以以恒定的速度扫过跟踪体积，使得波束入射到传感器上的时间指示传感器到源的角距离。
在一些实施方式中，波束可以包括被调制以对数据进行编码的载波。
例如，可以对载波进行调制以对指示波束的绝对相位的数据进行编码。可以根据波束的绝对相位和波束入射到传感器上的时间得出从传感器到源的角距离。
在一些实施方式中，可以对载波进行调制以对指示波束到源的角距离的动态数据进行编码。在这种情况下，可以从波束“读取”从传感器到源的角距离。
在波束被调制以对数据进行编码的情况下，传感器可以适当地包括光数字转换器，该光数字转换器用于对载波进行解调以恢复编码的数据。
波束可以具有平面的扇形形状。适当地，电磁辐射可以是不可见光，优选是红外光。
在一些实施方式中，电磁辐射可以在两个相互横切(例如正交)的平面中被调制，以确定传感器在两个横切轴线上的角位置。例如，两个相互横切的波束可以跨跟踪体积扫描。
可以通过将激光器安装在基站内的旋转体上来生成合适的波束。如上所述，旋转体可以以恒定角速度操作。在一些实施方式中，可以将两个(或更多个)激光器安装在单个旋转体上，并且可以提供合适的光学-机械布置，以从激光器沿相互横切方向扫描波束。
另选地，可以设置两个或更多个旋转体，所述两个或更多个旋转体被布置成绕相互横切的轴线旋转。两个或更多个旋转体中的每一个可承载一个或更多个激光器。
在采用两个或更多个电磁辐射波束的情况下，它们可以具有互不相同的频率，以使传感器能够在这些波束之间进行区分。
可以在要跟踪的对象上设置一个或更多个传感器，并且可以存在一个或更多个电磁辐射源。
可以通过对一个或更多个传感器相对于多个辐射源的位置进行三角测量来确定要跟踪的对象的位置。
另选地，可以通过对对象上的多个传感器相对于至少一个辐射源的位置进行三角测量来确定对象的位置。多个传感器在被跟踪对象上的相对位置应该是已知的。
在存在多个辐射源的情况下，每个源可以发射一个或更多个电磁辐射波束。适当地，每个源可以包括能操作以发射两个相互横切的波束的基站，如上所述。来自每个基站的每个波束可以具有不同的频率。
如果辐射是在两个相互横切的平面上调制的，则可以在三个维度上确定对象的位置。
通常，传感器不是摄像头，而是通过生成可检测的电信号来响应入射的电磁辐射。适当地，传感器可以包括对诸如红外光的不可见光作出响应的光电二极管。例如，传感器可以包括硅光电二极管。传感器还可以包括包含用于放大来自光电二极管的电信号的放大器的光数字电路、离散包络检波器和快速比较器。比较器应优选具有相对较小的滞后量。这样的电路被布置成当电磁辐射瞬时落在传感器上时传送数字脉冲。
可以通过参照波束落在入射到传感器上时的绝对角位置来校准传感器到电磁辐射的扫描波束源的角距离。
另选地，可以将波束相对于源的角方向动态地编码在用作载波信号的波束内。
在另一替代方案中，可以根据同步信号与波束落在入射到传感器上时之间的经过时间来计算传感器到源的角距离。
通常，这样的同步信号可以包括全向电磁辐射闪光，其与波束本身一样优选地是不可见的，例如红外的。
WO 2016/077401 A1公开了一种合适的内向外光学位置跟踪系统，其内容通过引用合并于此。
使用这种内向外光学位置跟踪系统的优点在于，它可以以小于3mm的精度定位传感器在跟踪体积内的位置，更优选地，小于1mm的精度。本发明的方法可以利用光学内向外跟踪系统来精确地跟踪便携式放样工具在建筑工地处的位置，以在建筑工地处定位根据施工图要执行诸如建筑任务之类的特定操作的地方。例如，在一些实施方式中，放样工具可用于在建筑工地处定位参考点。
因此，在一些实施方式中，本发明的方法可以包括：使用所述变换来计算放样工具在外在真实世界坐标系中的位置，并使用用户接口以真实世界(工地)坐标指示放样工具的位置。适当地，用户接口可以包括用于显示工具在工地中的位置的坐标的显示器，例如平板显示器。
在本发明的一个特定方面中，放样工具可以包括头戴装置，该头戴装置包括增强现实眼镜，该增强现实眼镜可被使用者佩戴并且包括用于显示与放样工具在建筑工地上的位置有关的信息的至少一个显示器。例如，增强现实眼镜能操作以显示与要在建筑工地上的特定位置处执行的一个或更多个建筑任务有关的信息。在一些实施方式中，增强现实眼镜能操作以外在真实世界坐标显示头戴装置或者附接到头戴装置的外围装置的位置，该外围装置承载形成位置跟踪系统的一部分的一个或更多个传感器。
在一些实施方式中，增强现实眼镜能操作以显示以外在真实世界坐标限定的建筑信息模型(BIM)的虚拟图像。根据本发明，虚拟图像可以是3-D图像，通过使用将建筑模型的真实世界工地坐标转换到内在坐标系中的变换，该3-D图像相对于建筑工地正确地定位和定向并且针对使用者在工地上的位置在正确背景中向使用者显示。
头戴装置可以包括适于承载形成位置跟踪系统的一部分的多个传感器的安全帽，例如本领域已知类型的建筑头盔。适当地，可以将增强现实眼镜并入安全帽中，以确保眼镜与承载传感器的安全帽之间的可控距离。然而，在一些实施方式中，增强现实眼镜可以与安全帽分开。
内向外位置跟踪系统可以包括：一个或更多个基站，所述基站可以设置在建筑工地处的间隔位置处，每个基站能操作以发射空间调制的电磁辐射(例如跨建筑工地扫描的光束)；以及放样工具上的对电磁辐射作出响应的多个传感器。在一些实施方式中，基站可以以长达约10m(优选地，长达约5m)的间距设置。如上所述，调制的电磁辐射可指示传感器与基站之间的角距离，因此放样工具上的传感器可用于确定放样工具在内在坐标系中的位置和/或取向。
适当地，可以通过将放样工具定位在外在真实世界坐标系中的已知位置的控制点处并确定控制点处的放样工具在内在坐标系中的对应位置来将位置跟踪系统校准到外在真实世界坐标系。适当地，放样工具可具有两个或更多个传感器，典型地，至少三个传感器。传感器之一可以被精确地定位在控制点处。可以知道其他传感器相对于一个传感器的位置，从而允许计算其他传感器在外在真实世界坐标中的位置。可以使用内向外跟踪系统以内在坐标确定所有两个、三个或更多传感器的位置。
另选地或另外，可以通过以下步骤将位置跟踪系统校准到外在真实世界坐标系：将工具顺序地定位在跟踪体积内的在真实世界坐标系中具有已知位置的两个、三个或更多个控制点处，并确定在内在坐标系中工具在每个控制点处的位置。
另选地或另外，可以通过以下步骤将位置跟踪系统校准到外在真实世界坐标系：使用定位在跟踪体积内的在真实世界坐标系中具有已知位置的两个、三个或更多个控制点处的传感器(例如光学传感器)，并确定传感器在内在坐标系中的位置。在一些实施方式中，可以相对于至少两个或三个控制点处的传感器来周期性地重新校准跟踪系统。
可以使用全站仪、以对建筑工地进行放样的领域的技术人员已知的方式确定控制点在外在坐标系中的位置。因此，可以通过从两个或更多个点(在诸如英国地形测量局或WGS 84的大地坐标系中精确地知道这些点的位置)进行三角测量来确定控制点在建筑工地处的位置。
在本发明的另一方面，提供了一种用于对建筑工地进行放样的设备，该设备包括至少一个便携式放样工具、用于将跟踪体积内的放样工具定位在由跟踪系统使用的内在坐标系中的内向外位置跟踪系统以及电子控制系统，该电子控制系统包括坐标转换引擎，该坐标转换引擎用于基于在两个坐标系之间进行转换的变换来将放样工具在如由跟踪系统确定的内在坐标系中的坐标转换为外在真实世界坐标系中的对应坐标。
适当地，所述变换是通过将真实世界坐标系中已知位置的一个或更多个控制点的位置与如使用内向外位置跟踪系统确定的、所述控制点在内在坐标系中的对应位置相关联而得出的。
放样工具可以包括用于向使用者指示放样工具在外在真实世界坐标系中的位置的用户接口(例如显示器)。因此，如上所述，可以使用便携式放样工具来在建筑工地上定位特定参考点，以根据施工图对建筑工地进行放样。例如，放样工具可以包括平板或“计算器型”显示器。
位置跟踪系统可以包括附接至放样工具的至少一个传感器以及至少一个基站，所述至少一个基站能操作以发射指示到基站的角距离的信号，例如调制的电磁辐射。适当地，至少一个传感器和至少一个基站可以是如上所述的。
在一些实施方式中，便携式放样工具可以包括具有尖端的探头。放样工具可以包括位于探头的尖端处的传感器，以在建筑工地上的位置处精确地定位传感器。便携式放样工具的位置可以作为探头尖端处的传感器的位置来计算。
在一些实施方式中，位置跟踪系统可以包括多个基站。
在一些实施方式中，至少一个基站能操作以发射至少一个电磁辐射波束，并且跨跟踪体积扫描波束。适当地，基站能操作以受控或恒定的速度跨跟踪体积扫描波束。
跟踪系统可以包括跟踪引擎，该跟踪引擎用于基于从至少一个传感器接收的传感器数据(例如，表示传感器何时响应波束的定时数据或者在波束内编码的角距离数据)来确定放样工具在内在坐标系中的位置。适当地，跟踪引擎可以被容纳在便携式放样工具内，使得在内在坐标系中便携式放样工具在跟踪体积内的位置的计算完全在便携式放样工具内进行。
然而，在一些实施方式中，跟踪引擎可以在控制装置(例如，与放样工具分开的计算机)中实现。在设备包括多于一个便携式放样工具的情况下，这种布置可能特别方便。控制装置和一个或更多个放样工具可以设置有相应的数据收发器，以在该放样工具或每个放样工具与控制装置之间传送数据。例如，来自放样工具上的至少一个传感器的传感器数据可以被发送到远程控制装置，以供计算在内在坐标系中传感器在跟踪体积内的位置，并且表示传感器在内在坐标系中的位置的跟踪数据可以被发送到放样工具，以供使用转换引擎转换到外在真实世界坐标系。
在进一步的变型中，坐标转换引擎也可以在单独的控制装置内实现，并且表示一个或更多个放样工具在外在坐标系中的位置的跟踪数据可以被发送到放样工具，以显示给使用者。
在提供多个放样工具的情况下，每个放样工具可以将表示唯一标识符的数据发送到单独的控制装置，该唯一标识符标识特定的放样工具。控制装置能操作以使用多个放样工具的唯一标识符，以确保将正确的跟踪数据发送到每个放样工具。
一个或更多个放样工具可以连接到控制装置，以借助于电缆或无线方式进行数据传输。
在一些实施方式中，电子控制系统可以进一步包括校准引擎，该校准引擎用于生成用于通过使用内向外位置跟踪系统来将内在坐标系与外在真实世界坐标系相关联的变换，以在内在坐标系中定位真实世界坐标系中已知位置的一个或更多个控制点的位置。
电子控制系统可以方便地容纳在便携式放样工具内。然而，在一些实施方式中，电子控制系统可以设置在上述类型的单独的控制装置中。可以在控制装置中计算出便携式放样工具在真实世界坐标中的位置并且将其发送到放样工具以显示给使用者。类似地，可以使用单独的控制装置中的校准引擎以及被传送到用于将内在坐标系中的坐标转换为外在坐标系中的对应坐标的转换引擎的、表示变换的数据来生成该变换。
在一些实施方式中，根据本发明的实施方式的设备可以进一步包括至少一个校准工具，所述至少一个校准工具包括至少一个传感器，所述至少一个传感器可以被定位在建筑工地上的在外在真实世界坐标系中已知坐标的位置处，并且使用内向外位置跟踪系统来跟踪以确定所述至少一个传感器在内在坐标系中的坐标。校准引擎可用于将传感器在内在坐标系和外在坐标系中的对应坐标的位置相关联，以得出变换。
适当地，所述设备可以包括多个这样的校准工具，每个校准工具具有至少一个传感器。
在另一实施方式中，所述设备可以包括具有多个传感器的至少一个校准工具。
在一些实施方式中，校准工具可以被配置为固定在已知位置的控制点处，以供位置跟踪系统的周期性重新校准。为此，校准工具可以包括如上所述的传感器、以及用于将校准工具牢固地固定到控制点处的对象的安装件。
在一些实施方式中，放样工具可以包括头戴装置。该头戴装置可以包括用于显示与放样工具在建筑工地上的位置有关的信息的增强现实显示器。
根据本发明的另一方面，提供了一种在对建筑工地进行放样中使用的头戴装置，该头戴装置包括头戴物品(在该头戴物品上安装有多个传感器)、包含用于在使用者观看时显示建筑信息模型(BIM)的虚拟图像的一个或更多个显示器的增强现实眼镜、以及电子控制系统。适当地，本发明的头戴装置还包括用于检测增强现实眼镜在使用者头部上的位置(更具体地，一个或更多个显示器相对于使用者的眼睛的位置)的装置。
电子控制系统可以包括模型定位引擎，该模型定位引擎用于接收和处理表示在外在真实世界坐标系中限定的建筑信息模型的模型数据，并使用外在坐标系与内在坐标系之间的变换来在内在坐标系中定位和定向模型。
电子控制系统可以包括图像渲染引擎，该图像渲染引擎用于接收表示在内在坐标系中头戴物品在建筑工地上的位置和取向的头戴装置跟踪数据，相对于头戴物品的位置和取向来渲染模型的虚拟图像，并将图像发送到一个或更多个显示器，在一个或更多个显示器处，图像能够作为模型的虚拟图像被使用者观看。
图像渲染引擎还可以接收表示一个或更多个显示器相对于使用者的眼睛的位置的显示器位置数据。因此，在一些实施方式中，图像渲染引擎可以被配置用于接收表示在内在坐标系中头戴物品在建筑工地上的位置和取向的头戴装置跟踪数据、表示一个或更多个显示器相对于使用者的眼睛的位置的显示器位置数据，相对于头戴物品在建筑工地上的位置和取向以及增强现实眼镜相对于使用者的眼睛的位置来渲染模型的虚拟图像，并将图像发送到一个或更多个显示器，在一个或更多个显示器处，图像能够作为模型的虚拟图像被使用者观看。
在一些实施方式中，头戴装置跟踪数据可以根据传感器数据中得出，传感器数据表示头戴物品上的多个传感器对建筑工地处的一个或更多个基站发射的调制电磁辐射的响应，电磁辐射的调制指示到一个或更多个相应基站的角距离；
在一些实施方式中，所述变换可以通过将外在坐标系中已知位置的一个或更多个控制点的坐标与所述控制点在内在坐标系中的对应坐标相关联而得出，一个或更多个控制点在内在坐标系中的坐标是根据传感器数据得出的，所述传感器数据表示定位在一个或更多个控制点处的一个或更多个传感器对所调制的电磁辐射的响应。
因此，头戴物品上的传感器可以对一个或更多个不可见光(优选地，红外光)的波束作出响应，所述光束从一个或更多个基站跨建筑工地扫描以跟踪传感器的位置。有利地，如上所述，该基站或每个基站可以在相互横切的(优选地，正交的)平面中发射两束不可见光。该波束或每个波束可以具有平面的扇形形状。
传感器可以是光电传感器，其通过生成可检测的信号来响应电磁辐射，该信号可以通过适当的光数字转换器转换为数字信号。在一些实施方式中，数字信号可以对定时数据进行编码以得出跟踪数据。可以通过可编程门阵列(FPGA)对定时数据加时间戳和聚合。另选地，数字信号可以将通过对包含在波束内的数据进行解调而获得的角距离数据编码为表示波束到其源的瞬时角距离的载波信号。
适当地，头戴物品在头戴装置上相对于彼此的已知位置处具有至少五个传感器。在一些实施方式中，头戴物品可以包括多于五个传感器，优选地多于10个传感器，更优选地多于20个传感器，以精确地确定头戴装置在内在坐标系中的位置和取向。在一些实施方式中，头戴物品可以包括多达32个传感器。
在一些实施方式中，显示器位置数据可以由头戴物品上的一个或更多个显示器位置传感器生成。合适的显示器位置传感器对于本领域技术人员将是已知的，并且包括例如由US 2013/0235169 A1或US 9754415 B2(其内容通过引用并入本文)公开的类型的位置传感器。
例如，在一些实施方式中，显示器位置数据可以由用于跟踪使用者的眼睛的移动的至少一个眼睛跟踪装置生成。眼睛跟踪装置可以被配置为跟踪使用者的眼睛的位置。适当地，显示器位置数据可以包括表示使用者的眼睛的至少一个瞳孔相对于显示器的位置的数据，并且更具体地，显示器位置数据可以包括表示使用者的眼睛的至少一个瞳孔中心相对于显示器的位置的数据。在一些实施方式中，眼睛跟踪装置可以包括安装在头戴装置上并被布置成将红外辐射发射到使用者的眼睛上的至少一个红外摄像头以及检测反射的红外辐射的至少一个红外检测器。
另选地，显示器位置传感器可以包括例如面向内的CMOS检测器，该CMOS检测器对使用者的头部、皮肤和/或头发的表面细节进行成像以确定显示器相对于皮肤和/或头发的运动。这样的运动可以对应于显示器与使用者头部之间的相对移动。在一些实施方式中，CMOS检测器可以包括LED光源以及单个透镜或微透镜阵列，以引导发射的和反射的光线。CMOS检测器可以定位在显示组件上的任何合适的位置处。任何合适的光学传感器技术和配置都可以用于面向内的光学检测器。例如，在任何光学鼠标中使用的激光或LED、透镜和CMOS传感器都可用作显示器与使用者头部之间的相对运动检测器。
在其他示例中，显示器位置传感器可以包括面向外的传感器，例如，背对使用者头部并且位于显示组件上的摄像头。摄像头可以从使用者的环境内的物理环境和物理对象捕获二维图像信息和/或深度信息。例如，摄像头可以包括深度摄像头、可见光摄像头、红外光摄像头和/或位置跟踪摄像头。
在一些实施方式中，BIM模型的虚拟图像可以包括合成3-D图像，该合成3-D图像在增强现实眼镜中的一个或更多个显示器中被显示给使用者。适当地，眼镜可以包括用于将合成图像显示为立体图像的两个显示器。本领域技术人员将理解，可以根据一个或更多个显示器的光学和/或物理特性来调整根据本发明生成的虚拟图像。因此，如本领域中已知的，虚拟图像应与增强现实显示器的焦距和/或出射光瞳尺寸匹配。
BIM模型的虚拟图像的帧速率应至少为30Hz(优选地，至少为60Hz)，使得当头戴装置相对于建筑工地移动时，虚拟图像平滑地更新。在一个实施方式中，图像渲染引擎的帧速率可以约为90Hz。
来自一个或更多个基站的不可见光的波束可以以小于虚拟图像的期望帧速率的频率跨建筑工地移动。例如，在一些实施方式中，光束可以具有在30-60Hz范围内的扫描频率。头戴装置的电子控制系统因此可以进一步包括至少一个惯性测量单元(IMU)。对于本领域技术人员而言合适的IMU单元是可用的，并且可以具有例如1000Hz的采样速率，并且具有例如500Hz的报告频率。
表示在内在坐标系中头戴物品的位置和取向的跟踪数据可以将来自IMU单元的移动数据与从传感器所输出的传感器数据得出的位置数据融合在一起。因此，跟踪模块可以将传感器数据与从IMU接收到的移动数据融合，从而与单独使用传感器数据的情况相比以更高的频率产生跟踪数据，以为虚拟图像提供平滑的帧速率。适当地，表示在内在坐标系中头戴物品的位置和取向的跟踪数据主要基于来自IMU单元的移动数据，并且利用从传感器数据得出的更精确的位置和取向信息定期进行更新。
本领域技术人员将认识到，本发明的头戴装置可以通过向工地处的工人显示表示要执行的建筑任务的虚拟图像而用于对建筑工地放样。虚拟图像可以以其在建筑工地上的正确位置和取向(如由BIM模型限定的)、在相对于该工人的背景中显示。借助于位置跟踪系统的内在坐标系与针对建筑工地建立的外在真实世界坐标系之间的变换，可以将BIM模型正确地定位和定向在跟踪系统所使用的内在坐标系中，并且通过跟踪头戴物品的位置和取向，该BIM模型可以在其适当的背景中向工人显示。这样，一旦已经使用常规方法(例如利用全站仪)定位了控制点，就无需在建筑工地处定位其他参考点或标记，也不必解释施工图以说明应如何在建筑工地处与参考点或标记相关联地执行任务。
相反，根据本发明，一旦已经使用常规方法定位了控制点，就可以在正确的位置处并且以正确的取向直接向工人显示要在工地处执行的任务，而无需在参考点或标记之间进行插值或者对施工图进行解释。
适当地，电子控制系统还可以包括跟踪引擎，该跟踪引擎用于处理从头戴物品上的传感器接收的传感器数据，以计算在内在坐标系中头戴物品在建筑工地处的位置和取向。
在一些实施方式中，电子控制系统可以进一步包括显示器位置跟踪引擎，该显示器位置跟踪引擎用于处理从头戴物品上的一个或更多个显示器位置传感器接收的显示器位置数据，以确定头戴物品上的一个或更多个显示器相对于使用者的眼睛的位置。
电子控制系统可以包括一个或更多个处理器、一个或更多个存储器单元以及至少一个数据存储装置，所述至少一个数据存储装置存储包括模型定位模块和图像渲染模块的软件，模型定位模块可以由一个或更多个处理器执行来处理模型数据以使用所述变换在内在坐标系中定位和定向模型，图像渲染模块可以由一个或更多个处理器执行来处理跟踪数据、模型数据以及(可选地)显示器定位数据，以相对于头戴物品的位置和取向并且(可选地)相对于显示器在使用者头部上的位置来渲染BIM模型的虚拟图像。应当理解，电子控制系统可以包括用于实现模型定位引擎和/或图像渲染引擎的一个或更多个微控制器，或者具有单独的存储器和数据存储装置的一个或更多个微处理器，它们以通常的方式通过本地数据总线互连。
电子控制系统可以进一步包括至少一个数据通信装置。
所述软件可以包括模型下载模块，该模型下载模块可以由一个或更多个处理器执行以经由数据通信装置从远程服务器接收模型数据。
在一些实施方式中，所述软件可以进一步包括变换接收器模块，该变换接收器模块可以由一个或更多个微处理器执行，以用于接收变换并将其存储在至少一个数据存储装置中。
在一些实施方式中，所述软件可以进一步包括跟踪模块，该跟踪模块可由一个或更多个处理器执行来处理从头戴装置上的传感器接收的传感器数据，以计算在内在坐标系中头戴物品在建筑工地处的位置和取向。
如上所述，根据本发明的实施方式的头戴物品可以包括安全帽，例如，建筑头盔，其中增强现实眼镜附接到头盔或与头盔分离。
本发明还包括用于执行如本文所述的根据本发明的对建筑工地进行放样的方法的计算机可执行软件。
因此，在本发明的又一方面中，提供了一种用于控制对建筑工地进行放样的设备的计算机软件，该计算机软件包括用于确定在内在坐标系中便携式放样工具的位置和/或取向的跟踪模块以及坐标转换模块，该坐标转换模块用于使用在内在坐标系与外在坐标系之间进行转换的变换来将放样工具在内在坐标系中的坐标转换为外在真实世界坐标系中的对应坐标。
因此，根据本发明的又一方面，坐标转换模块可由处理器执行，以将所述变换应用于如由跟踪模块计算出的、表示放样工具在内在坐标系中的位置和/或取向的跟踪数据，以确定放样工具在外在坐标系中的位置和/或取向。
如上所述，所述变换是通过将真实世界坐标系中已知位置的一个或更多个控制点的位置与如使用内向外位置跟踪系统确定的、所述控制点在内在坐标系中的对应位置相关联而适当地得出的。
跟踪模块可由处理器执行，以基于表示放样工具上的一个或更多个传感器响应于由建筑工地处的至少一个基站发射的信号(例如，调制的电磁辐射)的输出的传感器数据来计算放样工具的位置和/或取向。
如上所述，一个或更多个传感器可以是对来自一个或更多个基站的入射光作出响应的光电传感器，例如光电二极管。
调制光可以随时间变化。一个或更多个传感器可以生成电信号，该电信号可以被转换为带时间戳的经聚合(例如，在存在多于一个传感器的情况下)的数字脉冲，以提供指示从传感器到基站的角距离的定时数据。
在一些实施方式中，调制光可以被调制以对数据进行编码。
在一些实施方式中，所述数据可以表示光的绝对相位，以使得能够基于光入射到传感器上的时间计算出传感器与基站(光从该基站发出)之间的角距离。
在一些实施方式中，所述数据可以表示到基站(光从该基站发出)的方位。光可以是一种跨跟踪体积扫描的事物，并且所述数据可以随着波束相对于基站的方位改变而动态地更新。
因此，跟踪模块可由处理器执行，以基于来自传感器的这种传感器数据来计算放样工具的位置和/或取向。在一些实施方式中，如上所述，跟踪模块可由处理器执行以基于表示IMU单元的输出的移动数据来计算放样工具的位置和/或取向，该位置和/或取向是利用从表示一个或更多个传感器的输出的数据中得出的更精确的位置和/取向信息被周期性地抑制(squelch)。
根据本发明的又一方面的软件可以进一步包括校准模块，该校准模块可由处理器执行，以根据表示每个控制点处的传感器对调制光的响应的数据来确定外在真实世界坐标系中已知位置的多个控制点在内在坐标系中的位置，并生成用于将内在坐标系与外在真实世界坐标系相关联的变换。
在一些实施方式中，所述软件可以进一步包括显示模块，该显示模块可由处理器执行以控制显示器以外在真实世界坐标显示如由跟踪模块确定的放样工具的位置。在一些实施方式中，显示器可以设置在放样工具上。在一些实施方式中，显示器可以设置在例如包括增强现实显示器的头戴装置中。
在一些实施方式中，所述软件可以进一步包括数据通信模块，该数据通信模块可由处理器执行以接收并存储表示在外在真实世界坐标系中限定的建筑信息模型(BIM)的模型数据。
在一些实施方式中，所述软件可以进一步包括模型定位模块，该模型定位模块可由微处理器执行以用于使用所述变换来将如由模型数据表示的建筑信息模型的位置和取向从外在坐标系转换到内在坐标系。
在一些实施方式中，所述软件可以进一步包括图像渲染模块，该图像渲染模块可由处理器执行以使用所转换的模型数据以及如由跟踪数据表示的放样工具的位置和取向来渲染建筑信息模型的虚拟图像，以供在形成放样工具的一部分的增强现实显示器中显示。
在一些实施方式中，所述软件可以进一步包括变换接收器模块，该变换接收器模块可由处理器执行以接收所述变换并将所述变换存储在数据存储装置中。
在本发明的一些实施方式中，所述计算机软件可以包括用于确保眼镜相对于安全帽正确地定位的对准模块。
在本发明的另一方面中，提供了一种用于对在对建筑工地进行放样中使用的内向外位置跟踪系统进行校准的校准软件，该校准软件包括可由处理器执行的机器代码，该机器代码用于(i)接收表示在外在真实世界坐标系中多个控制点在建筑工地处的位置的控制点位置数据，(ii)接收表示所述控制点在跟踪系统使用的内在坐标系中的位置的控制点跟踪数据，以及(iii)将所述控制点在内在坐标系和外在坐标系中的位置相关联，以得出两个坐标系之间的变换。
适当地，所述校准软件可以包括可由处理器执行以执行以下操作的机器代码：接收并处理传感器数据，以计算控制点在内在坐标系中的位置，其中，所述传感器数据表示每个控制点处的传感器对由建筑工地处的至少一个基站发射的、指示到基站的角距离的调制电磁辐射的响应。
有利地，所述机器代码可以执行为周期性地重复步骤(i)至(iii)以刷新所述变换。
附图说明
以下仅通过示例的方式参照本发明的实施方式的附图进行描述。
在附图中：
图1是根据本发明的、设置了内向外位置跟踪系统来跟踪便携式放样工具的位置的建筑工地的示意图。已知位置的多个控制点被定位在建筑工地处，用于将放样工具校准到真实世界坐标系。
图2是根据本发明的包含在放样工具中的光电传感器的示意图。
图3是根据本发明的用于多传感器校准工具中的多个光电传感器的示意图。
图4示意性地例示了根据本发明的、使用跟踪体积内的已知位置的多个控制点将放样工具校准到外在真实世界坐标系的方法。
图5A示意性地例示了根据本发明的、使用已知位置的单个控制点和多传感器校准工具将放样工具校准到外在真实世界坐标系的另选方法。
图5B示意性地例示了使用由跟踪系统限定的跟踪体积内的已知位置的多个控制点将具有内在坐标系的位置跟踪系统校准到外在真实世界坐标系的方法。
图6示意性地例示了根据本发明的用于对位置跟踪系统进行校准的多传感器校准工具。
图7是典型的建筑信息模型(BIM模型)的示意图。
图8是根据本发明的便携式放样工具的示意图。
图9示意性地示出了图8的便携式放样工具的电子元件。
图10是表示图8和图9的便携式放样工具在校准模式下的操作的流程图。
图11是表示图8和图9的便携式放样工具在放样模式下的操作的流程图。
图12是根据本发明的包含增强现实显示器的安全帽的从上方和一侧的立体示意图。
图13例示了图12的安全帽的包括跟踪模块和增强现实显示模块的电子元件。
图14是表示图12和图13的安全帽的跟踪模块的操作的流程图。
图15是表示图12和图13的安全帽的增强现实显示模块的操作的流程图。
图16示意性地表示相对于图1的建筑工地正确定位和定向的、图7的BIM模型。
图17示意性地例示了根据本发明的、使用具有图12和图13的增强现实眼镜的安全帽来对建筑工地进行放样的方法。
图18示出了当显示器相对于使用者的眼睛居中时，使用者对显示器上的虚拟图像的视图。该虚拟图像相对于使用者对透过显示器的真实世界的视图正确定位。
图19示出了在显示器从中心位置移开的情况下，使用者对与图18相同的虚拟图像的视图。该虚拟图像相对于使用者对透过显示器的真实世界的视图错误地定位。
图20示意性地例示了应该在显示器上如何调整图18的虚拟图像的位置以补偿显示器相对于中心位置的位移，使得图像相对于使用者对透过显示器的真实世界的视图保持正确定位。
图21是例示了根据本发明的增强现实头戴装置的电子控制系统的操作的流程图，其中基于表示图像的数据、头戴装置跟踪数据、眼睛跟踪数据、坐标转换数据和显示器的特性来渲染虚拟图像。
具体实施方式
位置跟踪系统
在图1中示意性地示出了建筑工地1。使用全站仪以勘测领域的技术人员熟悉的方式在建筑工地1处精确地定位三个控制点10a、10b和10c。特别地，通过从绝对已知位置的两个或更多个点(例如在建筑工地处或邻近建筑工地的地理三角测量点、基准或其他已知地理特征)进行三角测量而在建筑工地1处定位控制点10a、10b、10c。可以在任何合适的真实世界坐标系(例如，诸如WGS 84或英国地形测量局基准)中表示点10a、10b、10c的位置。
尽管在图1中示出了三个控制点10a、10b、10c，但是，在其他实施方式中，可以建立多于三个控制点。
在建筑工地1处设置了基于激光的内向外位置跟踪系统100。在本实施方式中，跟踪系统100包括多个间隔开的基站102，每个基站可选择性地操作以发射红外光的全向同步脉冲103，并且包括两个旋转体，这两个旋转体被设置成在相互正交的轴线上跨建筑工地1扫描两个线性不可见光扇形波束104、105。在本实施方式中，基站102彼此分开多达约5m至10m的距离。在其他实施方式中，取决于所采用的内向外位置跟踪系统的能力，可以将基站102放置成相隔超过10m。
如图1所示，在本实施方式中，采用了四个基站102，但是在其他实施方式中，可以使用少于四个基站102，例如，一个、两个或三个基站102，或者多于四个基站。使用的基站102的总数将取决于建筑工地1所覆盖的区域。如果使用更多的基站102，则可以覆盖更大的区域。
在一些实施方式中，特别是在建筑工地1仅覆盖小区域的情况下，单个基站102可能就足够了(如下所述)，但优选地存在至少两个基站102。
如上所述，WO 2016/077401 A1(Valve Corporation)公开了合适的内向外位置跟踪系统，但是可以使用其他位置跟踪系统，只要它们能够提供对建筑工地进行放样所需的精度水平即可。
例如，在一些实施方式中，可以采用另选的内向外位置跟踪系统(未示出)，该系统包括两个或更多个基站，每个基站能操作以在相互横切的轴线上跨建筑工地1扫描两个线性的不可见光扇形波束。每个基站生成的两个波束可以由安装在单独的旋转体上的激光器产生(如上所述)，或者由安装在单个旋转体上、具有用于创建在相互横切方向上扫描的两个波束的合适的光学-机械布置的两个激光器产生。波束可以具有互不相同的频率，并且可以用作对表示基站的方位(例如分别为方位角或倾斜度)的数据进行编码的载波。在这种布置中，不需要全向同步脉冲。
特别地，跟踪系统应能够以在每个方向上不超过3mm(优选<1mm)的精度来定位跟踪对象。这与基于GPS的位置跟踪系统形成对比，后者的精度仅能够在约1cm至5cm的范围内。尽管这样的精度对于室外建筑施工可能是足够的，但对于更精细的室内或内部施工是不适合的。
因此，根据本发明，内向外位置跟踪系统应具有至少(优选地优于)±1mm的精度。
在撰写本文时，根据WO 2016/077401 A1的公开的合适的跟踪系统可从ValveCorporation以商品名“Lighthouse”商购获得。
在“Lighthouse”跟踪系统中，每个基站102内的两个旋转体中的每一个承载发射激光束的多个红外激光二极管。在操作中，旋转体以60Hz的频率彼此异相旋转180°。在其他实施方式中，可以以30-90Hz或45-75Hz的频率扫描一个或更多个波束。每个激光束被基站102内的镜子反射，以生成跨建筑工地1扫描的相应的扇形波束104、105。基站102发射的激光束104、105在建筑工地1处限定了跟踪体积110，如在图4、图5A和图5B中最佳示出的。
在每个扫描周期开始时，由每个基站102内的多个LED以120Hz的频率发射全向同步脉冲，以使跟踪体积110充满光。为此，优选诸如LED的广角光源以生成同步脉冲。
通过以精确的恒定角速度跨建筑工地1扫描激光束104、105，并将激光束104、105同步到精确定时同步脉冲103，每个基站102以时变方式生成两个相互正交的空间调制光束104、105，该光束可以被跟踪体积110内的光电传感器检测到，以定位一个或更多个跟踪对象在跟踪体积110内的位置和/或取向，如下面更详细描述的。
在位置跟踪系统100包括两个或更多个基站102的情况下，基站102可以通过有线连接或无线地彼此同步，以确保由各个基站102生成的全向同步脉冲103在不同的时间发射，并确保基站102发射的激光束104、105彼此异相地跨跟踪体积110扫描，使得来自每个基站102的每个脉冲和每个激光束104、105可以被每个传感器分别检测到。
如WO 2016/077401 A1中所述，来自多个基站102的同步脉冲103和/或扫描激光束104、105可以彼此区分开，以促进对来自不同基站102以及来自跟踪体积110内的任何其他干扰光源的信号进行消歧。例如，来自每个基站102的同步脉冲103和/或扫描波束104、105可以具有与其他基站102不同的光波长或振幅调制频率，或者它们可以对基站标识数据进行编码。
跟踪体积110内的对象的位置和/或取向可以使用附接到该对象的一个或更多个传感器202来确定。如果对象仅具有一个传感器202，则需要两个或更多个基站102来限定跟踪体积110内的对象的位置。另一方面，如果对象设有多个传感器202并且对象上的传感器202的相对位置是已知的，则单个基站102可能就足够了。
在本实施方式中，每个传感器202包括硅光电二极管204和放大器/检测器电路205(如图2所示)，但是取决于全向同步脉冲103和扫描跟踪体积110的空间调制光束104、105的特性，可以采用本领域技术人员已知的其他合适的传感器202。
每个光电二极管204连接到光数字转换器205，当来自基站102的光入射到光电二极管204上时，该光数字转换器205输出数字脉冲。光数字转换器205包括放大器、离散包络检波器和具有相对较小滞后量的快速比较器，每当同步脉冲103入射到传感器202上、或者来自基站102的光束104、105扫过传感器202，光数字转换器205就传送数字脉冲。该数字脉冲跨越传感器202被脉冲103或波束104、105照射的时间，并且电路被设计为使得边缘位置精确地表示脉冲或波束的通过，而与传感器202相对于基站102的取向无关。
如下所述，使用现场可编程门阵列(FPGA)207和微控制器208对光数字转换器205生成的数字脉冲加时间戳，以生成用于计算跟踪体积110中的传感器202的位置的定时数据。
如图3所示，在跟踪对象具有多个传感器202的情况下，从所有传感器202接收到的数字脉冲被单个FPGA 207接收、加时间戳和聚合。
如上所述，在每个波束104、105内对方位数据编码的实施方式中，光数字转换器205还可以包括用于输出从波束解调的方位数据的数据输出。
因此，本实施方式中使用的内向外位置跟踪系统包括多个基站102以及在由基站102发射的扫描激光束104、105所限定的跟踪体积110内要跟踪的对象上的至少一个传感器202。
根据基站102发出的全向同步脉冲103与来自基站102的波束104、105之一经过传感器202的时间之间的经过时间(如由FPGA 207输出的定时数据所表示的)，可以计算基站102与传感器202之间的角距离。根据传感器202与两个或更多个基站102之间的角距离，可以对传感器202相对于基站102的位置进行三角测量。通过计算在由每个基站102发射的扫描波束104、105所限定的正交平面中传感器202与两个或更多个基站102之间的角距离，可以在三个维度上确定传感器202相对于基站102的位置。
以此方式，将理解的是，内向外位置跟踪系统100限定了可以借以限定跟踪体积110内的任何跟踪对象的位置的内在坐标系。
如上所述，在跟踪对象具有多个传感器202的实施方式中，只要对象上的多个传感器202的相对位置是已知的，通过对每个传感器202与一个基站102之间的角距离进行三角测量，就可以仅使用一个基站102来实现对象在跟踪体积110内的定位。
将位置跟踪系统校准到真实世界坐标
本发明的关键方面包括将由位置跟踪系统100限定的内在坐标系与外在的真实世界(工地)坐标相关联。如上所述，在真实世界坐标系中控制点10a、10b、10c的位置是已知的。因此，根据本发明的一个实施方式，可以通过将包括单个传感器202的校准工具250(如图1所示)依次手动移动到每个控制点10a、10b、10c(如图4所示)并且确定控制点10a、10b、10c在由位置跟踪系统100限定的内在坐标系中的位置，来将跟踪系统100校准到外在坐标系。一旦控制点10a、10b、10c的位置在内在和外在真实世界坐标系中都是已知的，就可以得出数学变换，以将跟踪系统100的内在坐标系中的坐标转换为外在真实世界坐标系中的坐标，反之亦然。
适当地，这些校准步骤可以使用利用根据本发明的校准软件进行编程的计算机(未示出)来执行。当执行时，校准软件操作计算机以接收表示在外在真实世界坐标系中控制点10a、10b、10c的位置的控制点位置数据，当依次定位在每个控制点10a、10b、10c处时，基于来自校准工具250上的传感器202的定时数据接收表示控制点在由位置跟踪系统100限定的内在坐标系中的位置的控制点跟踪数据，并且将控制点10a、10b、10c在内在和外在坐标系中的位置相关联，以产生坐标系之间的变换。
因此，校准软件可以包含可由计算机执行的机器代码，以接收和处理定时数据(所述定时数据表示当定位在每个控制点10a、10b、10c处的传感器202响应来自建筑工地1处的基站102的空间调制光束104、105时的时间)，从而计算控制点10a、10b、10c在内在坐标系中的位置。
图5A例示了根据本发明的不同实施方式的将跟踪系统100校准到真实世界坐标的另选方法。
在图5A中，单个控制点10位于建筑工地1上的已知点处。如上所述，控制点10在真实世界坐标中的位置可以由工地工程师使用全站仪并以常规方式从建筑工地1处或附近的两个或更多个已知位置点进行三角测量来确定。
配备有多个传感器202a、202b、202c...202n的多传感器校准工具350被放置在控制点10处。在图6中示意性地例示了多传感器校准的示例。可以看出，多传感器校准工具350包括主体370，该主体370包括手柄部分371、与手柄部分371成角度的中间部分372、以及安装部分374，该安装部分374包括平坦端面375并且形成有穿过其中延伸的用于将校准工具350附接到控制点10处的对象的一个或更多个孔380。
从图6中可以看出，传感器202a、202b、202c...202n设置在工具350的中间部分372上的间隔位置处。传感器202a、202b、202c...202n的相对位置是已知的。如上所述，可以根据由多个传感器202a、202b、202c...202n生成的定时数据来计算跟踪体积110内的多传感器校准工具350的位置和取向。根据跟踪体积110内的校准工具350的位置和取向、校准工具350上的传感器202a、202b、202c...202n的已知相对位置、以及控制点10在外在真实世界坐标中的已知位置，可以计算出外在真实世界坐标系与内在坐标系之间的变换。
在图5B中例示了用于产生建筑工地1处的真实世界坐标系与由位置跟踪系统100限定的内在坐标系之间的变换的又一种校准方法。
在图5B中，与上述图1和图4中所示的方式相同，在建筑工地1处存在已知位置的三个控制点10a、10b、10c。如上所述，使用常规的勘测技术，控制点10a、10b、10c在外在真实世界坐标中的位置是已知的。
然而，不同于参照图4和图5A描述的实施方式，在图5B中，传感器202永久地定位在每个控制点10a、10b、10c处。如上所述，可以使用由传感器202在每个控制点处生成的定时数据(该定时数据表示每个传感器202何时响应每个基站102发射的同步脉冲103以及正交扫描波束104、105)来计算控制点10a、10b、10c处的传感器202在由位置跟踪系统100限定的内在坐标系中的位置，以计算从每个传感器202到每个基站102的角距离，并根据每个传感器202到每个基站102的角距离对每个传感器202的位置进行三角测量。一旦控制点10a、10b、10c处的传感器202的位置在内在坐标系和外在真实世界坐标系两者中是已知的，就可以获得两个坐标系之间的合适的数学变换。
图5B所示的校准方法的优点在于，传感器202可以永久地留在每个控制点10a、10b、10c处，并且可以周期性地刷新内在坐标系与外在坐标系之间的校准。
放样工具
常规地，建筑信息模型(BIM)是使用真实世界坐标进行布局的，其通常使用地理坐标系表示，如上所述。图7仅以示例的方式例示了要在建筑工地1处建造的建筑物50的三维BIM模型。建筑物50具有外墙壁51、52、53、54、屋顶55和内部隔断(其中之一以58示出)。墙壁之一52被设计成包括窗61。
当对建筑工地1进行放样时，必须相对于建筑工地1解释施工图(施工图是从3-DBIM模型以二维准备的)，使得在建筑工地1处的正确位置处执行施工图上指示的各种任务。任务应尽可能精确地在正确的位置处执行，以符合适用的法规和/或许可，以确保按预期执行任务，并确保该任务相对于其他任务在正确的位置处执行。如上所述，在正确位置处执行建筑任务中的误差或错误可能会导致根据施工图完成任务的延迟，并可能导致额外费用。
根据本发明，可以使用图8和图9所示的类型的便携式手持放样工具400来对建筑工地1进行放样，该便携式手持放样工具400包括位于安装到壳体401上的探头421的尖端处的单个光电传感器402。如下所述，平板显示器425设置在壳体420的前壁403中，用于显示传感器402的位置。传感器402包括单个光电二极管404和上述类型的光数字转换器405。
如图9所示，光数字转换器405连接到FPGA 407，该FPGA 407由处理器408控制以对从转换器406接收的数字脉冲加时间戳。FPGA 407、处理器408和显示器425连接到本地总线409，该本地总线409也连接到存储器装置410、存储装置411和数据输入/输出装置412，例如USB端口。放样工具400的各种电子元件由可充电电池413供电，该可充电电池413具有用于根据需要连接至用于对电池413进行充电的电源的电源连接器414。
存储装置411包括用于操作放样工具400的机器可执行代码。当工具400被操作时，机器可执行代码可由处理器408执行以提供使用的校准模式和放样模式。
校准模式
在校准模式下，放样工具400以与上面关于图4描述的校准工具250类似的方式操作。也就是说，在校准模式下，放样工具可以顺序移动到建筑工地1处的真实世界坐标中已知位置的控制点10a、10b、10c，以在由位置跟踪系统100限定的内在坐标系中定位控制点10a、10b、10c，并得出两个坐标系之间的数学变换，然后可以将该数学变换存储在放样工具400的存储装置411中，以供工具400在其放样模式下使用，如下所述。
图10示出了由微控制器408在校准模式下执行的一系列操作。本领域技术人员将熟悉可用于编写计算机程序的多种计算机语言，该计算机程序可被编译以生成用于执行这些操作的机器可执行代码。
在打开放样工具400之后，在步骤452处，提示使用者选择校准模式或放样模式。在启动校准模式后，机器可操作代码接下来提示使用者在步骤454处输入建筑工地处已知位置的第一控制点10a在真实世界地理坐标系中的坐标，如图4所示。然后，使用者移动到第一控制点10a并将放样工具400的探头的尖端处的传感器402精确地放置在第一控制点10a处，并且在步骤456处操作放样工具400以指示传感器402被正确地定位在第一控制点10a处。
传感器402检测由基站102发射的全向同步脉冲103和扫描正交波束104、105，并且光数字转换器405生成对应的数字脉冲，在步骤458处，该数字脉冲由工具400内的FPGA 407加时间戳。
基于来自FPGA的定时数据，在步骤460处，微控制器408确定传感器402在由跟踪系统100限定的内在坐标系中的位置。在步骤462处，将第一控制点10a在内在坐标系中的位置存储在存储装置411中。
在步骤464处，微控制器408检查是否已经获得至少三个控制点的位置。如果已获得少于三个控制点的位置，则重复步骤454-462，直到至少三个控制点在内在坐标系和外在坐标系中的位置已保存在存储装置411中为止。在本实施方式中，需要至少三个控制点的位置，但是在一些另选实施方式中，仅两个控制点就足够了，在这种情况下，重复步骤454-462，直到至少两个控制点在内在坐标系和外在坐标系中的位置已保存在存储装置411中为止。
在步骤466中，将控制点在内在坐标系中的位置与控制点在外在真实世界坐标系中的对应位置相关联，并得出两个坐标系之间的数学变换，然后在步骤468处将该数学变换存储在存储装置411中。然后，工具400退出校准模式(步骤470)。
放样模式
如图11所示，在步骤501中进入放样模式后，微控制器408首先将如上所述在校准模式下计算出的数学变换从存储装置411加载到存储器410中(步骤502)。
然后，微控制器408以连续的“监听”模式操作，在该模式下，对如上所述从FPGA407接收的定时数据(步骤503)进行连续处理，以确定跟踪体积110内的工具400在由位置跟踪系统100限定的内在坐标系中的位置(步骤504)。
使用该变换，将建筑工地1处的跟踪体积110内的工具400在内在坐标系中的位置(或更准确地，工具探头的尖端处的光电二极管404的位置)转换到外在真实世界坐标系中(步骤505)。
机器代码控制微控制器408在平板显示器425上实时显示工具400在真实世界坐标系中的位置(步骤506)。
应当理解，使用者可以使用根据本发明的当前实施方式的放样工具400通过根据施工图定位参考点和/或将标记物放置在建筑工地1处的位置处来对建筑工地1进行放样，从工具400精确得知这些参考点或标记物在真实世界坐标中的位置。这样，可以在建筑工地1处在真实世界中定位在施工图上标记的参考点，而不必召集工地工程师到建筑工地1来使用全站仪来定位参考点或放置标记物。
具有增强现实显示器的安全帽
在另一实施方式中，本发明提供了一种用于建筑工地的放样工具，其包括安全帽600和增强现实眼镜700，如图12所示。
安全帽600包括基本上常规构造的建筑头盔601，该建筑头盔601装配有多个传感器602a、602b、602c...602n以及相关联的电子电路(如下面更详细地描述的)，以跟踪由设置在建筑工地1处的内向外位置跟踪系统100限定的跟踪体积110内的安全帽600的位置，如上面关于图1所描述的。
在本实施方式中，头盔601配备有32个传感器602a、602b、602c...602n，其中n＝32，但是应当理解，传感器的数量可以根据本发明而变化。适当地，头盔601可以具有分布在头盔601的外表面上的20到32个传感器，但是至少需要5个传感器来跟踪安全帽600的位置和取向。
如在图13中最佳例示的，每个传感器602a、602b、602c...602n包括对红外光敏感的光电二极管604a、604b、604c...604n以及上面关于图2、图3和图9描述的类型的相关联的光数字转换器605a、605b、605c...605n。适当地，光电二极管604a、604b、604c...604n位于形成在头盔601的外表面中的凹槽内，以避免损坏光电二极管。
从光数字转换器605a、605b、605c...605n接收到的数字脉冲由FPGA 607加时间戳并聚合，FPGA 607通过本地数据总线609连接到处理器608。本地总线609还连接到存储器装置610、存储装置611、具有坞连接器(dock connector)615(例如，诸如USB端口)的输入/输出装置612以及在虚拟现实和增强现实头戴装置中设置的类型的惯性测量单元(IMU)618，该IMU包括一个或更多个加速度计以及一个或更多个陀螺仪的组合。对于俯仰、横滚和偏航模式中的每一种，典型的IMU包括一个加速度计和一个陀螺仪。
安全帽600的电子元件由可充电电池单元613供电。提供了电源连接器插口614，用于将电池单元613连接至电源以进行充电。
适当地，安全帽600的电子元件容纳在头盔601中形成的受保护的腔625内。
如上所述，安全帽600可以在头盔601内部具有缓冲带，以将安全帽600的重量以及任何撞击力分散到头部上方。如图12所示，头盔601包括突出的帽沿619，并且可以可选地装配有护耳器、用于增加后视野的镜子、用于前照灯或手电筒的安装件、防止头盔601掉落的下颚带、保持头部的侧面温暖的隔热侧垫和/或在帽沿619周围伸展的用于颜色工识别和/或高能见度夜间逆向反射的带子。
有利地，在本实施方式中，头盔包括护目镜620，其不仅用于保护建筑工地1上的使用者的眼睛，而且还用于保护安装在护目镜620内部的增强现实眼镜700。如图12所示，将护目镜620安装到头盔601，使得护目镜在帽沿619后面稍微凹进，以为护目镜620提供一定程度的保护。将理解的是，在增强现实眼镜700本身是坚固的并且为建筑而准备的实施方式中，可以省略护目镜620。在其他实施方式中，头盔601可以包括防护面罩。
如图12所示，增强现实眼镜700包括安装在两个镜腿722之间的成形的透明(光学透明)板720。在本实施方式中，增强现实眼镜700被附接到安全帽600，使得增强现实眼镜700相对于传感器602a、602b、602c...602n被牢固地固定在如图12所示的“使用中”位置，并且如上所述位于护目镜620后面。在一些实施方式中，增强现实眼镜700可以是可与安全帽600分离的，或者增强现实眼镜700可以例如借助于安全帽600与镜腿722之间的铰链可选择性地从使用中位置移动到“未使用”位置(未示出)，在未使用位置，增强现实眼镜700从使用者的眼睛前方移开。
在本实施方式中，透明板720被布置成位于使用者的眼睛前方，并且包括分别被布置成设置在使用者的右眼和左眼的前方的两个眼睛区域723a、723b，以及鼻梁架区域724。
附接到或并入每个眼睛区域723a、723b的是相应的透明或半透明的显示装置725a、725b，该显示装置725a、725b用于如下所述向使用者显示增强现实媒体内容，同时允许使用者透过眼镜700观看他或她的真实世界环境。增强现实眼镜700还包括位于每个显示装置725a、725b后面的用于观看由每个显示装置725a、725b显示的图像的透镜(未示出)。在一些实施方式中，透镜可以是准直透镜，使得由每个显示装置725a、725b显示的图像对使用者而言看起来位于无限远处。在一些实施方式中，透镜可以被配置为使显示装置725a、725b所发射的光线发散，使得由每个显示装置725a、725b显示的图像出现在增强现实眼镜700前方比无限远更近的焦距处。在本实施方式中，显示装置725a、725b配置并布置有使得显示装置725a、725b所显示的图像看起来位于使用者前方8m的焦距处的透镜。
在每个眼睛区域723a、723b内，透明板720承载有相应的眼睛跟踪装置728a、728b，该眼睛跟踪装置728a、728b用于在安全帽600被佩戴时跟踪使用者眼睛的位置。特别地，每个眼睛跟踪装置728a、728b被配置为为了检测增强现实眼镜700在使用中相对于使用者眼睛的移动而检测使用者的相应一只眼睛的瞳孔中心的位置，并且生成和输出与增强现实眼镜700相对于使用者头部的位置有关的显示器位置数据。本领域技术人员将意识到用于跟踪增强现实眼镜700在使用中相对于使用者头部的位置的许多其他解决方案，包括由US9754415 B2公开的类型的光学传感器和由US2013/0235169A1公开的类型的位置获得单元。监测增强现实眼镜700相对于使用者头部的移动很重要，因为在使用中，安全帽600可能会相对于使用者头部移动，特别是在使用者进行身体活动时。由于振动、冲击或使用者的任何其他种类的移动，安全帽600可能会在使用者头部上滑动。在本实施方式中，提供了两个眼睛跟踪装置728a、728b，一个与使用者的每只眼睛相关联，但是在其他实施方式中，可以采用与其中一只眼睛相关联的单个眼睛跟踪装置。
参照图13，透明显示装置725a、725b和眼睛跟踪装置728a、728b连接到本地数据总线709，以与处理器708、存储器单元710、存储装置711、带有坞连接器715的输入/输出装置712以及Wi-Fi微控制器716互连。用于电子元件的电力由可充电电池单元713提供，该可充电电池单元713连接至电源连接器插口714，该电源连接器插口714用于将电池单元713连接至用于充电的电源。在其他实施方式中，可以为安全帽600和眼镜700两者提供单个电源连接器插口，并且在一些实施方式中，可以提供单个可充电电池单元以给位置跟踪电路和增强现实显示电路供电。
安全帽600上的坞连接器615连接到眼镜700的坞连接器715，用于将跟踪数据从安全帽600提供给眼镜700。
安全帽600的存储装置611包含可由处理器608处理以控制安全帽600的操作的计算机可执行机器代码。如同上述便携式放样工具400一样，本领域技术人员将熟悉可用于编写可被编译以生成机器代码的软件的多种计算机编程语言，该代码使安全帽600根据图14的流程图操作。
在图14的步骤650中给安全帽600通电后，处理器608访问存储装置611，以将机器代码加载到存储器单元610中供处理器608执行。在步骤651中，处理器608根据机器代码接收并处理由FPGA 607输出的经聚合的、带时间戳的数字脉冲，以确定安全帽600相对于建筑工地1处的一个或更多个基站102的初始位置和取向，如上面关于图1至图11所述，基站102发射全向红外同步脉冲103并跨建筑工地1扫描正交的红外光束104、105。
头盔601的表面上的光电二极管604a、604b、604c...604n对同步脉冲103和扫描波束104、105作出响应，并且FPGA 607对光数字转换器605a、605b、605c...605n生成的数字脉冲加时间戳和聚合。可以使用基站102之一发射的同步脉冲103之间的经过时间以及来自一个基站的扫描波束104、105入射到光电二极管604a、604b、604c...604n之一上的时间来确定一个光电二极管到一个基站102的角距离。由来自基站102的扫描波束104、105创建的跟踪体积110内的一个光电二极管604a、604b、604c...604n的位置可以在由跟踪系统限定的内在坐标系中通过对一个光电二极管到多个基站102的角距离进行三角测量来计算，如上所述。可以根据所有光电二极管604a、604b、604c...604n相对于基站102的位置来计算安全帽600的取向。
如图14中由附图标记652所示，从安全帽600经由坞连接器615处的输入/输出装置612输出表示安全帽600的初始位置和取向的跟踪数据，并且如下所述，该跟踪数据被发送到增强现实眼镜700。
安全帽600的后续位置跟踪主要使用IMU装置618进行，该IMU装置618具有1000Hz的采样速率，报告速率为500Hz。本领域技术人员将理解，只要安全帽600的位置跟踪足够迅速以实现平滑的增强现实显示，则在本发明的其他实施方式中可以使用不同的采样和报告速率。
因此，在步骤653中，如上所述，通过处理从IMU装置618接收的IMU数据来跟踪建筑工地1上的安全帽600位置和取向，并且如附图标记654所示输出更新的跟踪数据。
在本领域中已知IMU的漂移是由于误差的二重积分引起的。漂移约为每秒几米。在本示例的安全帽600中，使用从FPGA 607输出的定时数据得出的更精确的位置和取向信息来周期性地抑制由IMU装置618生成的跟踪数据中的误差。
如上所述，来自本实施方式的每个基站102的波束104、105以60Hz的频率跨建筑工地1扫描。在步骤655中，为了更新的定时数据，处理器608轮询FGPA 607。应当理解，如上所述，可每秒60次获得更新的定时数据，并在步骤656中进行处理以确定安全帽600相对于基站102的位置和取向。如附图标记657所示，将校正后的跟踪数据从安全帽输出到眼镜700。以这种方式，将IMU装置618生成的跟踪数据与从FGPA 607输出的定时数据得出的跟踪数据融合。
眼镜700的存储装置711包含可由处理器708处理以控制眼镜700的操作的计算机可执行机器代码。如上所述，本领域技术人员将熟悉可用于编写可被编译以生成机器代码的软件的多种计算机编程语言，该代码使眼镜700根据图15的流程图操作。
另外，存储装置711存储数学变换，该数学变换用于将基站102所限定的跟踪体积110中的安全帽600的位置和取向(该位置和取向在跟踪系统100的内在坐标系中限定)转换到外在真实世界坐标系中。根据本发明，可以使用上面关于图4、图5A或图5B和/或图6或图10描述的任何方法和/或设备来获得变换。可以经由I/O装置712或通过Wi-Fi微控制器716无线地将变换输入到眼镜700中，并存储在存储装置711中。
存储装置711还存储表示建筑信息模型(例如，如上面参照图7所述的BIM模型)的模型数据。如上所述，BIM模型是以外在真实世界坐标限定的。与变换一样，可以通过I/O装置712或通过Wi-Fi微控制器716无线地将BIM模型数据输入到眼镜700中。适当地，可以经由因特网从远程服务器下载BIM模型数据。
存储装置711还存储表示增强现实眼镜700的各种物理和/或光学特性的显示数据，包括焦距(由显示器725a、725b显示的图像位于使用者前方该焦距处)。
在图15的步骤750中接通眼镜700的电源后，处理器708访问存储装置711以将机器代码加载到存储器装置710中以由处理器708进行处理。分别在步骤751和752中，处理器708执行机器代码以从存储装置711获取(retrieve)变换、BIM模型数据和显示数据，并将它们加载到存储器单元710中。
机器代码包括模型定位模块，该模块可以由处理器708执行，用于使用从存储装置711中获取的数学变换将BIM模型的、在外在坐标系中限定的坐标转换到跟踪系统100所使用的内在坐标系。因此，在步骤753中，使用该变换来处理模型数据，以在内在坐标系中正确地定位和定向BIM模型并进行缩放，如图16中示意性所示。
机器代码还包括图像渲染模块，该模块可以由处理器708执行，用于渲染建筑信息模型的立体虚拟3-D图像，以在透明显示装置725a、725b中显示在背景中，并叠加在透过安全帽的护目镜620和眼镜的透明板720观看的建筑工地1的直接视图上。基于转换后的模型数据、显示数据、从安全帽600接收的跟踪数据652、654、657以及从眼睛跟踪装置728a、728b接收的显示器位置数据来渲染BIM模型的虚拟3-D图像，以相对于安全帽600在建筑工地1上的位置以及相对于安全帽600相对于使用者头部(更具体地，增强现实眼镜700相对于使用者的眼睛)的位置在正确的背景中显示模型的图像。
如本领域技术人员所公知的，可以使用栅格化、光线跟踪或路径跟踪来渲染BIM模型的虚拟3-D图像，并且在步骤755中以至少30Hz(优选60Hz)的帧速率将其输出到透明显示器725a、725b。在本示例中，以90Hz的帧速率刷新BIM模型的合成图像。应当理解，在90Hz的帧速率下，必须使用基于来自IMU 618的输出的跟踪数据，该跟踪数据具有如上所述的500Hz的报告速率，但是在60Hz的频率下使用来自头盔601上的传感器602a、602b、602c...602n的定时数据被校正。在使用波束104、105的更快的扫描速率的实施方式中，有可能省去IMU 618，并且将跟踪数据完全基于从传感器接收的定时数据。
如图17所示，仅BIM模型的选定部分可以被显示给使用者2a、2b。举例来说，向图17中所示的使用者2a示出了由要在建筑工地1处建造的建筑信息模型表示的建筑物50的内部隔断58。有利地，使用本发明的方法和设备，在建筑工地1处以正确的位置和取向以及以正确的比例向使用者示出隔断58的虚拟3-D图像。类似地，向图17中的使用者2b示出了要在建筑工地1处建造的墙壁52和窗61。
这样，本发明的安全帽600和增强现实眼镜700允许在不对使用全站仪定位的参考点进行物理标记的情况下对建筑工地1进行放样。相反，可以通过在背景中以正确的位置和取向向使用者显示要在建筑工地1处执行的任务来对建筑工地1进行放样。在本实施方式中，要执行的任务是图7所示的建筑物50的建造，并且具有单独的子任务，包括建造具有窗61的墙壁52以及建造内部隔断58。然而，在其他实施方式中，可以以图形方式例示的任何要执行的任务均可以以虚拟形式显示在增强现实眼镜700中。例如，可以在眼镜700中以虚拟形式显示的其他任务包括要挖沟的地方、要铺设或切割的管道、要在物体上开的一个或更多个孔(例如提供进入电缆或管道的通道)，等等。
应当理解，本发明的方法不限于单个使用者。在一些实施方式中，在诸如建筑工地1的建筑工地处的施工队的多个成员可以配备有如上所述的安全帽600和增强现实眼镜700。使用相同的数学变换对每个使用者的眼镜700进行校准，并且将基于每个使用者在建筑工地1上的相应位置(如使用具有在他们各自的安全帽600中的传感器602a、602b、602c...602n的跟踪系统100确定的)，向每个使用者显示建筑信息模型的一部分的单独虚拟图像。
在如上面参照图5B所述连续地更新变换的实施方式中，可以例如使用每套眼镜700中的Wi-Fi微控制器同时向所有使用者广播该变换。
如上所述，安全帽600的位置是从传感器602a、602b、602c...602n相对于设置在建筑工地1处的基站102的位置得出的。由于BIM模型的虚拟图像显示在眼镜700的透明显示器725a、725b中，因此必须进行一些校正以解决显示器725a、725b相对于安全帽的位移。如果如上所述将眼镜700牢固地固定到安全帽600，则这是容易的。然而，在一些实施方式中，眼镜700的机器代码可以包括对准模块，该对准模块用于确保眼镜700相对于安全帽600被正确地定位。为此，可以使用如US 2017/0090203 A1所公开的对准方法，其内容通过引用并入本文。其他合适的对准方法对本领域技术人员将是显而易见的。
以类似的方式，可能需要进行调整以解决由透明板720或显示器725a、725b创建的任何视觉伪像。例如，如果透明板720的形状使得眼睛区域723a、723b处于边缘，或者包括用于对透过透明板720看到的建筑工地1的直接图像进行校正的透镜，则为此可能需要在显示器725a、725b中对BIM模型的合成图像进行渲染时基于显示数据进行一些校正。
如上所述，根据本发明，重要的是跟踪增强现实眼镜700相对于使用者头部的位置，以确保适当地调整虚拟摄像机的位置(在图19和图20中以附图标记1910指示)以及因此在显示器725a、725b上显示给使用者的虚拟图像的位置，以解决安全帽600在使用者头部上的任何移动。这在图18至图20中示意性地例示。
图18通过示例的方式示出了在显示器之一725a上显示的虚拟图像1801。纯粹出于说明的目的，虚拟图像1801包括树1802和人1803。在图18中，显示器725a相对于使用者的眼睛正确地居中，使得虚拟图像1801出现在其相对于由增强现实眼镜700将其覆盖于的真实世界的正确的位置。将理解的是，在本发明的上下文中，重要的是，BIM模型以其相对于建筑工地1的正确位置和取向显示，以向使用者准确地指示要执行特定建筑任务的位置。
应当理解，在使用中，安全帽600易于相对于使用者头部移动。这可能是使用者的身体移动的结果，例如在进行诸如建筑任务之类的身体活动时。例如，使用者可能由于他或她正在执行的各种建筑任务而受到通过他或她的身体传递的冲击或振动，这可能导致安全帽600相对于使用者头部的滑动。如图19所示，显示器725a相对于使用者的眼睛1905移动而没有如下所述的虚拟图像的对应调整，将导致虚拟摄像机1910的位移，使得虚拟摄像机1910不再与使用者的眼睛1905对准，结果，虚拟图像1801显示在相对于使用者可以透过显示器725a看到的真实世界的不正确位置上。在图19中，附图标记1801指示由于安全帽600相对于使用者头部的移动而错误地显示给使用者的虚拟图像的位置，而附图标记1901指示虚拟图像相对于真实世界的正确位置。
为了补偿安全帽600在使用中相对于使用者头部的移动，使用眼睛跟踪装置728a、728b来监测安全帽600相对于使用者头部的位置。眼睛跟踪装置728a、728b如上所述生成显示器位置数据，该数据指示安全帽600相对于使用者头部的位置(更具体地，增强现实眼镜700相对于使用者的眼睛1905的位置)。该显示器位置数据由处理器708与显示数据和跟踪数据652、654、657一起处理，以通过使虚拟摄像机1910保持与使用者的眼睛1905对准来有效地将BIM模型的虚拟图像渲染在其相对于建筑工地的正确位置上，如图20所示。
该处理在图21中示意性地呈现，图21例示了根据本发明的电子控制系统2102进行的处理，该处理融合来自安全帽600的在内在坐标系中的头戴装置跟踪数据2104、由眼睛跟踪装置728a、728b生成的显示器位置数据2106以及表示增强现实眼镜700的物理/光学特性的显示数据2110以产生BIM模型的虚拟图像，该虚拟图像借助于坐标转换引擎2108在内在坐标系中限定，以供增强现实眼镜700显示。以此方式，本发明的本实施方式旨在相对于建筑工地1以约3mm或更高的精度显示BIM模型的虚拟图像，同时保持增强现实显示系统固有的虚拟摄像机与使用者的眼睛正确对准，以避免真实世界与虚拟图像之间的视差。
本领域的技术人员将认识到，本发明的头戴装置试图向建筑工地处的工人显示(例如，以mm精度)BIM模型的虚拟图像，该虚拟图像表示要执行的建筑任务。在相对于该工人的背景中，虚拟图像可以以其正确位置和取向显示在建筑工地上，如由BIM模型限定的那样。借助于位置跟踪系统的内在跟踪坐标系与外在真实世界坐标系之间的坐标变换，可以在适当的背景中向该工人显示BIM模型。根据实施方式，通过使用眼睛跟踪或其他方法来检测增强现实显示器相对于使用者头部的位置，可以解决由于诸如现场工人进行的体力劳动之类的身体活动而造成的显示器的微小移动或取向改变，并且虚拟模型可以保留在其正确位置上(如由BIM模型限定的那样)。

Claims (45)

1.一种用于向使用者显示被定位和定向到建筑工地的外在工地坐标系的建筑信息模型BIM的虚拟图像的头戴装置；所述头戴装置包括：
头戴物品，其被配置为被所述使用者佩戴，并且在所述头戴物品上安装有一个或更多个位置跟踪传感器，所述一个或更多个位置跟踪传感器被配置为输出传感器数据，所述传感器数据表示所述一个或更多个位置跟踪传感器对由所述建筑工地处的位置跟踪系统发射的一个或更多个信号的响应，能够根据所述传感器数据确定所述头戴物品的位置和取向；
增强现实显示系统，其包括显示组件，所述显示组件在所述使用者的视野内具有相对于所述位置跟踪传感器固定的使用中位置；所述显示组件包括至少一个显示器，并且能够在允许所述使用者透过所述显示组件观看他或她的周围环境的同时向所述使用者显示所述虚拟图像；其中，所述增强现实显示系统被配置为接收表示所述建筑信息模型的所述虚拟图像的图像数据，并在所述显示器上显示所述虚拟图像；以及
电子控制系统；
其中，所述电子控制系统包括：头戴装置跟踪系统，其被配置为根据所述传感器数据确定在由所述位置跟踪系统限定的内在坐标系中所述头戴物品在所述建筑工地上的位置和取向，并输出表示所述位置和取向的头戴装置跟踪数据；以及坐标转换引擎，其被配置为基于变换在所述内在坐标系与外在坐标系之间进行转换；所述变换是通过将所述外在坐标系中已知位置的一个或更多个控制点的坐标与所述一个或更多个控制点在所述内在坐标系中的对应坐标相关联而得出的；所述一个或更多个控制点在所述内在坐标系中的坐标是使用所述位置跟踪系统根据从至少一个传感器接收的传感器数据得出的；并且
其中，所述电子控制系统被配置为接收所述头戴装置跟踪数据和表示在所述外在坐标系中限定的所述建筑信息模型的模型数据；使用所述坐标转换引擎处理所述模型数据以产生在所述内在坐标系中限定的得出的模型数据；以及使用所述头戴装置跟踪数据相对于所述头戴物品在所述建筑工地上的位置和取向来渲染所述建筑信息模型的虚拟图像，生成表示所述虚拟图像的图像数据，并将所述图像数据发送到所述增强现实显示系统，以供所述使用者在所述显示器上观看。
2.根据权利要求1所述的头戴装置，其中，所述头戴装置还包括显示器位置传感器，所述显示器位置传感器检测所述显示器相对于所述使用者的头部的位置，并输出表示所述位置的显示器位置数据；并且其中，所述电子控制系统被配置为接收所述显示器位置数据，并且使用所述显示器位置数据和所述头戴装置跟踪数据以相对于所述头戴物品在所述建筑工地上的位置和取向来渲染所述建筑信息模型的所述虚拟图像。
3.根据权利要求2所述的头戴装置，其中，所述显示器位置传感器包括至少一个眼睛跟踪装置。
4.根据权利要求2所述的头戴装置，其中，所述显示器位置传感器被配置为生成表示所述使用者的眼睛中的至少一只眼睛相对于所述显示器的位置的显示器位置数据。
5.根据权利要求2所述的头戴装置，其中，所述显示器位置传感器被配置为生成表示所述使用者的眼睛的瞳孔中的至少一个的位置的显示器位置数据。
6.根据权利要求1所述的头戴装置，其中，所述一个或更多个信号是由所述建筑工地处的一个或更多个信标发射的。
7.根据权利要求1所述的头戴装置，其中，所述一个或更多个信号由电磁辐射构成。
8.根据权利要求7所述的头戴装置，其中，所述电磁辐射是光波或无线电波。
9.根据权利要求1所述的头戴装置，其中，所述位置跟踪系统包括扫描波束光学跟踪系统。
10.根据权利要求1所述的头戴装置，其中，所述位置跟踪系统包括WiFi跟踪系统。
11.根据权利要求1所述的头戴装置，其中，所述一个或更多个信号由声波构成。
12.根据权利要求11所述的头戴装置，其中，所述声波是超声波。
13.根据权利要求1所述的头戴装置，其中，所述虚拟图像包括3-D图像，通过使用在所述外在坐标系与所述内在坐标系之间转换的所述变换，所述3-D图像相对于所述建筑工地被定位和定向并且所述3-D图像在针对所述使用者在所述建筑工地上的位置的背景中被显示给所述使用者。
14.根据权利要求2所述的头戴装置，其中，所述电子控制系统包括一个或更多个处理器、一个或更多个存储器单元以及至少一个数据存储装置，所述至少一个数据存储装置存储计算机软件，所述计算机软件包括BIM定位模块和图像渲染模块，所述BIM定位模块能够由所述一个或更多个处理器执行来处理所述模型数据以使用所述变换在所述内在坐标系中定位和定向所述BIM，所述图像渲染模块能够由所述一个或更多个处理器执行来处理所述头戴装置跟踪数据、所述显示器位置数据和BIM数据以相对于所述头戴物品在所述建筑工地上的位置和取向来渲染所述BIM的所述虚拟图像。
15.根据权利要求1所述的头戴装置，其中，所述位置跟踪系统包括固定在所述建筑工地处的至少一个电磁辐射源，并且所述一个或更多个位置跟踪传感器中的至少一个位置跟踪传感器被配置为检测或测量指示从所述至少一个传感器到固定源的角距离的所述电磁辐射的特性。
16.根据权利要求1所述的头戴装置，其中，所述头戴装置跟踪系统还被配置为跟踪所述头戴装置的位置，以在所述建筑工地处定位要执行特定操作的地方。
17.根据权利要求1所述的头戴装置，其中，所述头戴装置跟踪系统还被配置为跟踪所述头戴装置的位置，以在所述建筑工地处定位参考点。
18.根据权利要求1所述的头戴装置，其中，所述头戴装置跟踪数据基于从传感器组合接收到的传感器数据，其中，所述传感器组合包括光学传感器。
19.根据权利要求18所述的头戴装置，其中，所述光学传感器是摄像头。
20.一种在头戴装置中显示参照建筑工地的外在工地坐标系定位和定向的建筑信息模型BIM的虚拟图像的方法；所述头戴装置包括：头戴物品，所述头戴物品被配置为被使用者佩戴，并且在所述头戴物品上安装有一个或更多个位置跟踪传感器，所述一个或更多个位置跟踪传感器被配置为输出传感器数据，所述传感器数据表示所述一个或更多个位置跟踪传感器对由所述建筑工地处的位置跟踪系统发射的一个或更多个信号的响应，能够根据所述传感器数据确定所述头戴物品的位置和取向；增强现实显示系统，所述增强现实显示系统包括显示组件，所述显示组件在所述使用者的视野内具有相对于所述位置跟踪传感器固定的使用中位置，所述显示组件包括至少一个显示器，并且能够在允许所述使用者透过所述显示组件观看他或她的周围环境的同时向所述使用者显示所述虚拟图像；以及电子控制系统；所述方法包括以下步骤：
在头戴装置跟踪系统处，基于所述传感器数据来确定在由所述位置跟踪系统限定的内在坐标系中所述头戴物品在所述建筑工地上的位置和取向；
在坐标转换引擎处，基于变换在所述内在坐标系与外在坐标系之间进行转换，所述变换是通过将所述外在坐标系中已知位置的一个或更多个控制点的坐标与所述一个或更多个控制点在所述内在坐标系中的对应坐标相关联而得出的；所述一个或更多个控制点在所述内在坐标系中的坐标是基于从至少一个传感器接收的传感器数据而确定的；以及
在所述电子控制系统处，从所述头戴装置跟踪系统接收头戴装置跟踪数据，并且接收表示在所述外在坐标系中限定的所述建筑信息模型的模型数据，使用所述坐标转换引擎处理所述模型数据以产生在所述内在坐标系中限定的得出的模型数据，并且使用所述头戴装置跟踪数据相对于所述头戴物品的位置和取向来渲染所述建筑信息模型的虚拟图像，生成表示所述虚拟图像的图像数据，并将所述图像数据发送到所述增强现实显示系统，以作为所述建筑信息模型的虚拟图像供所述使用者观看。
21.根据权利要求20所述的方法，其中，所述头戴装置包括至少一个显示器位置传感器，所述至少一个显示器位置传感器用于检测所述显示器相对于所述使用者的头部的位置；并且其中，所述方法包括以下步骤：在所述电子控制系统处从所述显示器位置传感器接收显示器位置数据，并且使用所述头戴装置跟踪数据和所述显示器位置数据相对于所述头戴装置的使用者的眼睛相对于所述头戴物品的位置和取向来渲染所述建筑信息模型的所述虚拟图像。
22.根据权利要求21所述的方法，其中，所述显示器位置传感器包括眼睛跟踪装置。
23.根据权利要求22所述的方法，其中，所述眼睛跟踪装置被配置为生成表示所述使用者的眼睛中的至少一只眼睛相对于所述显示器的位置的显示器位置数据。
24.根据权利要求22所述的方法，其中，所述显示器位置数据指示所述使用者的眼睛的瞳孔中的至少一个瞳孔的位置。
25.根据权利要求22所述的方法，其中，所述显示器位置数据指示所述使用者的眼睛的瞳孔的中心中的至少一个相对于所述显示器的位置。
26.根据权利要求20所述的方法，所述方法还包括以下步骤：使用表示所述显示组件的一个或更多个物理或光学特性的数据来渲染所述BIM的所述虚拟图像。
27.根据权利要求20所述的方法，其中，所述一个或更多个信号是由所述建筑工地处的一个或更多个信标发射的。
28.根据权利要求20所述的方法，其中，所述一个或更多个信号由诸如光波或无线电波的电磁辐射构成。
29.根据权利要求20所述的方法，其中，所述位置跟踪系统包括扫描波束光学跟踪系统。
30.根据权利要求20所述的方法，其中，所述位置跟踪系统包括WiFi跟踪系统。
31.根据权利要求20所述的方法，其中，所述一个或更多个信号由诸如超声波的声波构成。
32.根据权利要求20所述的方法，其中，所述位置跟踪系统包括内向外位置跟踪系统。
33.根据权利要求20所述的方法，所述方法包括以下步骤：使用在所述外在坐标系与所述内在坐标系之间转换的所述变换来渲染所述BIM的3D虚拟图像，所述3D虚拟图像相对于所述建筑工地被正确地定位和定向并且针对所述使用者在所述建筑工地上的位置在正确的背景中显示给所述使用者。
34.根据权利要求20所述的方法，所述方法还包括以下步骤：将所述模型数据从远程服务器下载到所述头戴装置上的所述电子控制系统。
35.根据权利要求20所述的方法，所述方法还包括以下步骤：从远程服务器下载所述变换并将所述变换存储在所述头戴装置上。
36.根据权利要求20所述的方法，其中，所述位置跟踪系统包括固定在所述建筑工地处的至少一个电磁辐射源，并且所述一个或更多个位置跟踪传感器中的至少一个位置跟踪传感器被配置为检测或测量指示从所述至少一个传感器到固定源的角距离的所述电磁辐射的特性。
37.一种在验证建筑任务中使用或在对建筑工地进行放样中使用的头戴装置，所述头戴装置包括头戴物品、增强现实眼镜和电子控制系统，其中，在所述头戴物品上安装有多个传感器，所述多个传感器对由所述建筑工地处的位置跟踪系统发射的一个或更多个信号做出响应，所述增强现实眼镜包含用于在使用者观看时显示建筑信息模型BIM的虚拟图像的一个或更多个显示器，所述电子控制系统包括：
模型定位引擎，其用于接收和处理表示在外在真实世界坐标系中限定的所述建筑信息模型的模型数据，并使用外在坐标系与内在坐标系之间的变换来在所述内在坐标系中定位和定向所述模型；以及
图像渲染引擎，其用于接收表示在所述内在坐标系中所述头戴物品在所述建筑工地上的位置和取向的跟踪数据，相对于所述头戴物品的位置和取向来渲染所述模型的虚拟图像，并将所述图像发送到所述一个或更多个显示器，在所述一个或更多个显示器处所述图像能够作为所述模型的虚拟图像被使用者观看；
其中，所述跟踪数据是根据传感器数据得出的，所述传感器数据表示所述头戴物品上的多个传感器对由所述建筑工地处的一个或更多个基站发射的电磁辐射的响应，其中，所述电磁辐射以与到相应的所述一个或更多个基站的角距离有关的方式被调制；
并且所述变换是通过将所述外在坐标系中已知位置的一个或更多个控制点的坐标与所述一个或更多个控制点在所述内在坐标系中的对应坐标相关联而得出的，所述一个或更多个控制点在所述内在坐标系中的坐标是根据传感器数据得出的，所述传感器数据表示定位在所述一个或更多个控制点处的一个或更多个传感器对经调制的电磁辐射的响应。
38.根据权利要求37所述的头戴装置，其中，所述BIM的所述虚拟图像包括合成3-D图像，所述合成3-D图像在所述增强现实眼镜中的所述一个或更多个显示器中被显示给所述使用者。
39.根据权利要求37所述的头戴装置，其中，所述电子控制系统还包括跟踪引擎，所述跟踪引擎处理从所述头戴物品上的所述传感器接收的传感器数据，以计算在所述内在坐标系中所述头戴物品在所述建筑工地处的位置和取向。
40.根据权利要求37所述的头戴装置，其中，所述电子控制系统包括一个或更多个处理器、一个或更多个存储器单元以及至少一个数据存储装置，所述至少一个数据存储装置存储包括模型定位模块和图像渲染模块的软件，所述模型定位模块能够由所述一个或更多个处理器执行来处理所述模型数据以使用所述变换在所述内在坐标系中定位和定向所述模型，所述图像渲染模块能够由所述一个或更多个处理器执行来处理所述跟踪数据和模型数据，以相对于所述头戴物品的位置和取向来渲染所述BIM的所述虚拟图像。
41.根据权利要求40所述的头戴装置，其中，所述软件还包括跟踪模块，所述跟踪模块能够由所述一个或更多个处理器执行来处理从所述头戴装置上的所述传感器接收的所述传感器数据，以计算在所述内在坐标系中所述头戴物品在所述建筑工地处的位置和取向。
42.根据权利要求37所述的头戴装置，其中，所述跟踪数据基于从传感器组合接收的传感器数据，其中，所述传感器组合包括光学传感器。
43.根据权利要求42所述的头戴装置，其中，所述光学传感器是摄像头。
44.一种计算机可读存储介质，所述计算机可读存储介质包括能够由处理器执行以执行以下步骤的机器代码：(i)接收表示在外在真实世界坐标系中多个控制点在建筑工地处的位置的控制点位置数据，(ii)接收表示所述控制点在跟踪系统使用的内在坐标系中的位置的控制点跟踪数据，以及(iii)将所述控制点在所述内在坐标系和外在坐标系中的位置相关联，以得出两个坐标系之间的变换，
其中，所述计算机可读存储介质包括能够由处理器执行以执行以下操作的机器代码：接收并处理传感器数据，以计算所述控制点在所述内在坐标系中的位置，其中，所述传感器数据表示每个控制点处的传感器对由所述建筑工地处的至少一个基站发射的、具有指示到所述基站的角距离的至少一个特性的电磁辐射的响应。
45.根据权利要求44所述的计算机可读存储介质，其中，所述机器代码能够被执行以周期性地重复步骤(i)至步骤(iii)以刷新所述变换。
CN201880068229.5A 2017-09-06 2018-09-06 头戴装置、在头戴装置中显示虚拟图像的方法和介质 Active CN111433561B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1714349.6 2017-09-06
GBGB1714349.6A GB201714349D0 (en) 2017-09-06 2017-09-06 A method and equipment for setting out a construction site
PCT/GB2018/052529 WO2019048866A1 (en) 2017-09-06 2018-09-06 DISPLAYING A VIRTUAL IMAGE OF A CONSTRUCTION INFORMATION MODEL

Publications (2)

Publication Number Publication Date
CN111433561A CN111433561A (zh) 2020-07-17
CN111433561B true CN111433561B (zh) 2022-08-23

Family

ID=60050634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880068229.5A Active CN111433561B (zh) 2017-09-06 2018-09-06 头戴装置、在头戴装置中显示虚拟图像的方法和介质

Country Status (13)

Country Link
US (3) US11158127B2 (zh)
EP (2) EP3679321B1 (zh)
JP (3) JP2020533721A (zh)
CN (1) CN111433561B (zh)
AU (1) AU2018330755B2 (zh)
CA (1) CA3074940A1 (zh)
DK (1) DK3679321T3 (zh)
ES (1) ES2924179T3 (zh)
GB (1) GB201714349D0 (zh)
PL (1) PL3679321T3 (zh)
PT (1) PT3679321T (zh)
SG (1) SG11202002052YA (zh)
WO (1) WO2019048866A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9726885B2 (en) 2015-03-31 2017-08-08 Timothy A. Cummings System for virtual display and method of use
US11210864B2 (en) * 2018-06-01 2021-12-28 Immersal Oy Solution for generating virtual reality representation
WO2020156890A1 (de) * 2019-01-28 2020-08-06 Holo-Light Gmbh Verfahren zur überwachung einer baustelle
JP7234011B2 (ja) * 2019-04-02 2023-03-07 株式会社トプコン 位置情報表示装置および測量システム
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
CN114829874A (zh) * 2019-07-31 2022-07-29 虚拟线上有限公司 沿区域中路径来对齐物品的系统
US11786407B2 (en) * 2019-08-09 2023-10-17 Associated Universities, Inc. Dynamic vision enabling visor
US20220351449A1 (en) * 2019-09-24 2022-11-03 XVI Inc. Animation production system
JP7341861B2 (ja) * 2019-11-11 2023-09-11 株式会社トプコン アイウェア装置を用いた管理システムおよび管理方法
JP2021100222A (ja) 2019-12-23 2021-07-01 ソニーグループ株式会社 端末装置、アプリケーションサーバ、受信方法及び送信方法
CN111141473A (zh) * 2020-01-17 2020-05-12 上海索辰信息科技有限公司 产品振动试验数据的实时显示方法及系统
US11481930B2 (en) * 2020-01-21 2022-10-25 Trimble Inc. Accurately positioning augmented reality models within images
US11222475B2 (en) * 2020-01-22 2022-01-11 Procore Technologies, Inc. Computer systems and methods for navigating building information models in an augmented environment
JP2021140445A (ja) * 2020-03-05 2021-09-16 株式会社トプコン 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体
JP2021177157A (ja) * 2020-05-08 2021-11-11 株式会社トプコン アイウェア表示システム
JP2022007185A (ja) * 2020-06-25 2022-01-13 株式会社トプコン アイウェア表示システム
US11626001B1 (en) * 2020-07-28 2023-04-11 United Services Automobile Association (Usaa) Wearable system for detection of environmental hazards
IT202000020302A1 (it) * 2020-08-24 2022-02-24 Youbiquo Sistema e metodo per la misura della direzione e del colore prevalente della luce incidente su di una persona
US11557046B2 (en) 2020-09-30 2023-01-17 Argyle Inc. Single-moment alignment of imprecise overlapping digital spatial datasets, maximizing local precision
WO2022129999A1 (en) 2020-12-17 2022-06-23 Elios S.R.L. Method and system for georeferencing digital content in a scene of virtual reality or augmented/mixed/extended reality
CN112561987B (zh) * 2020-12-18 2023-03-24 万翼科技有限公司 人员位置显示方法及相关装置
FR3118237B1 (fr) * 2020-12-21 2023-10-06 Orange Procede de mise en correspondance entre un batiment et son modele numerique
GB2603496A (en) 2021-02-05 2022-08-10 Xyz Reality Ltd Aligning multiple coordinate systems for information model rendering
GB2605442B (en) * 2021-04-01 2023-03-22 Xyz Reality Ltd Configuration method for the display of a building information model
JP7011746B1 (ja) * 2021-05-31 2022-01-27 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
CN115112104A (zh) * 2021-08-17 2022-09-27 上海环创安装工程集团有限公司 一种建筑施工现场测绘放样方法
CN113919634A (zh) * 2021-09-07 2022-01-11 中建三局第三建设工程有限责任公司 一种基于bim的现场支吊架点位的ar放样方法及系统
GB2613155A (en) 2021-11-24 2023-05-31 Xyz Reality Ltd Matching a building information model
CN114398118B (zh) * 2021-12-21 2023-03-24 深圳市易图资讯股份有限公司 基于空间锚的智慧城市的智能定位系统及方法
CN114224010A (zh) * 2022-02-09 2022-03-25 福建汇川物联网技术科技股份有限公司 一种安全帽、使用方法及建筑模型投影系统
GB2619966A (en) 2022-06-24 2023-12-27 Xyz Reality Ltd Augmented reality for a construction site with multiple devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5100229A (en) * 1990-08-17 1992-03-31 Spatial Positioning Systems, Inc. Spatial positioning system
US20110282130A1 (en) * 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
US20160292918A1 (en) * 2015-03-31 2016-10-06 Timothy A. Cummings System for virtual display and method of use
US20170090203A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc Visual indicator for transparent display alignment

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154829A (ja) * 1993-11-25 1995-06-16 Matsushita Electric Ind Co Ltd 眼鏡型映像表示装置
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3653196B2 (ja) * 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
US6501543B2 (en) 2000-02-28 2002-12-31 Arc Second, Inc. Apparatus and method for determining position
US6381006B1 (en) 2000-07-12 2002-04-30 Spectra Precision Ab Spatial positioning
JP2006252468A (ja) * 2005-03-14 2006-09-21 Canon Inc 画像処理方法、画像処理装置
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
US7592911B1 (en) 2006-12-12 2009-09-22 Accu-Spatial Llc Construction hard hat having electronic circuitry
EP1980999A1 (en) 2007-04-10 2008-10-15 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO An augmented reality image system, a method and a computer program product
JP2010232718A (ja) * 2009-03-25 2010-10-14 Olympus Corp 頭部装着型画像表示装置
JP5414946B2 (ja) 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US9070216B2 (en) 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
WO2014017348A1 (ja) * 2012-07-24 2014-01-30 ソニー株式会社 画像表示装置および画像表示方法
US9367962B2 (en) * 2013-10-22 2016-06-14 Topcon Positioning Systems, Inc. Augmented image display using a camera and a position and orientation sensor
WO2015098807A1 (ja) * 2013-12-24 2015-07-02 チームラボ株式会社 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US9865058B2 (en) 2014-02-19 2018-01-09 Daqri, Llc Three-dimensional mapping system
US9754415B2 (en) 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
US20150317418A1 (en) * 2014-05-02 2015-11-05 Honeywell International Inc. Providing three-dimensional monitoring of a facility
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
JP6635037B2 (ja) * 2014-08-01 2020-01-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9665985B2 (en) 2014-08-15 2017-05-30 Daqri, Llc Remote expert system
US10338186B2 (en) 2014-11-10 2019-07-02 Valve Corporation Positional tracking systems and methods
WO2016116733A1 (en) * 2015-01-20 2016-07-28 Milan Momcilo Popovich Holographic waveguide lidar
JP6586991B2 (ja) * 2015-02-23 2019-10-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6630515B2 (ja) 2015-08-25 2020-01-15 株式会社トプコン 位置誘導装置、位置誘導方法、プログラム
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
JP2017135605A (ja) * 2016-01-28 2017-08-03 コニカミノルタ株式会社 画像表示装置
US20180128897A1 (en) 2016-11-08 2018-05-10 BreqLabs Inc. System and method for tracking the position of an object
US10706629B2 (en) * 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5100229A (en) * 1990-08-17 1992-03-31 Spatial Positioning Systems, Inc. Spatial positioning system
US20110282130A1 (en) * 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
US20160292918A1 (en) * 2015-03-31 2016-10-06 Timothy A. Cummings System for virtual display and method of use
US9726885B2 (en) * 2015-03-31 2017-08-08 Timothy A. Cummings System for virtual display and method of use
US20170090203A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc Visual indicator for transparent display alignment

Also Published As

Publication number Publication date
GB201714349D0 (en) 2017-10-18
EP3679321A1 (en) 2020-07-15
EP4119894A1 (en) 2023-01-18
US11158127B2 (en) 2021-10-26
AU2018330755B2 (en) 2022-09-29
JP2023156279A (ja) 2023-10-24
DK3679321T3 (da) 2022-07-18
EP3679321B1 (en) 2022-06-01
JP2023051993A (ja) 2023-04-11
ES2924179T3 (es) 2022-10-05
SG11202002052YA (en) 2020-04-29
US20200286289A1 (en) 2020-09-10
PT3679321T (pt) 2022-08-01
CA3074940A1 (en) 2019-03-14
JP2020533721A (ja) 2020-11-19
WO2019048866A1 (en) 2019-03-14
CN111433561A (zh) 2020-07-17
AU2018330755A1 (en) 2020-04-16
PL3679321T3 (pl) 2022-10-03
US11847747B2 (en) 2023-12-19
US11694406B2 (en) 2023-07-04
US20220108529A1 (en) 2022-04-07
US20220301265A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN111433561B (zh) 头戴装置、在头戴装置中显示虚拟图像的方法和介质
CN109556580B (zh) 测绘仪器、ar系统和相对于参照系定位ar装置的方法
US11054650B2 (en) Head-mounted display device, control method of head-mounted display device, and display system
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US20230152093A1 (en) Construction layout using augmented reality
US20220011103A1 (en) Layout workflow with augmented reality and optical prism
EP4314707A2 (en) Configuration method for the display of a building information model
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP2020169855A (ja) 位置情報表示装置および測量システム
US20240087166A1 (en) Aligning multiple coordinate systems for informaton model rendering
US11403826B2 (en) Management system and management method using eyewear device
JP2022140903A (ja) 測量デバイスおよびこれを用いた測量方法
US11663786B2 (en) Eyewear display system
JP2024027006A (ja) 測量システム、測量方法及び測量用プログラム
JP2021086233A (ja) 情報処理装置
WO2020185115A1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant