CN110741395B - 现场命令视觉 - Google Patents

现场命令视觉 Download PDF

Info

Publication number
CN110741395B
CN110741395B CN201880038399.9A CN201880038399A CN110741395B CN 110741395 B CN110741395 B CN 110741395B CN 201880038399 A CN201880038399 A CN 201880038399A CN 110741395 B CN110741395 B CN 110741395B
Authority
CN
China
Prior art keywords
building
agent
location
model
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038399.9A
Other languages
English (en)
Other versions
CN110741395A (zh
Inventor
A·J·英格兰
L·B·埃泽尔
T·奥维菲尔德
R·A·桑托斯
E·M·塞亚
C·C·巴尼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intergraph Corp
Original Assignee
Intergraph Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intergraph Corp filed Critical Intergraph Corp
Publication of CN110741395A publication Critical patent/CN110741395A/zh
Application granted granted Critical
Publication of CN110741395B publication Critical patent/CN110741395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008—Temperature signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

实施方式使用增强现实中的全息投影来将建筑物3D可视化并以全息图的形式示出人在建筑物中的位置。在一些实施方式中，用户可“敲击”全息图以查看关于该人的数据，例如皮肤温度、室温、心率等。

Description

现场命令视觉
相关申请
本专利申请要求2017年6月12日提交的发明人名为Andrew England；Laura BethEzzell；Thomas Overfield；Renz Santos和Ed Sieja[从业人员文件2686/1123]的题为“OnScene Command Vision”的临时美国专利申请No.62/518,167的优先权，其公开整体通过引用并入本文。
技术领域
本发明涉及确定人在建筑物内的位置，更具体地，涉及远程监测人在建筑物内的位置。
背景技术
本领域中已知通过例如观察者对人的位置的直接个人观察或通过使用摄像头来确定该人在建筑物内的位置。
本领域中还已知通过遥感技术来确定人在建筑物内的位置。一些现有技术系统通过GPS或其它三角测量技术来相对于远离人的模态监测人的位置。
发明内容
根据本发明的一个实施方式，一种用于识别代理(agent)在建筑物内部的位置的系统，该系统包括：位置接收器，其被配置为从代理获得定位器信息，该定位器信息指示代理相对于参考系的位置；以及模型接收器，其被配置为获取建筑物内部的3D模型。
该系统还包括：相关器，其被配置为将3D模型与参考系相关，以产生表示代理在建筑物内的位置的相关位置。
该系统还包括：渲染模块，其被配置为根据3D模型和相关位置渲染3D图像，该3D图像在3D图像内的相关位置处包括表示代理的化身；以及与渲染模块通信的3D显示装置，该3D显示装置被配置为接收3D图像并将该3D图像显示给用户。
一些实施方式还包括遥测接收器，其被配置为从随代理的发送器接收遥测数据。例如，遥测数据可包括代理在建筑物内部的位置的环境温度。在一些实施方式中，遥测数据包括生物遥测数据，例如代理的皮肤温度；代理的呼吸速率；和/或代理的心率中的至少一项。在这样的实施方式中，相关器还被配置为将生物遥测数据与相关位置相关。此外，在一些这样的实施方式中，渲染模块还被配置为将相关位置处的遥测窗口渲染到3D图像中，使得遥测数据在视觉上与化身所表示的代理关联。
一些实施方式还包括被配置为获取参考系的参考系模块。在这样的实施方式中，相关器还被配置为将定位器信息与参考系相关，并将参考系与建筑物模型相关。
一些实施方式包括随建筑物中的代理设置的定位器装置，该定位器装置具有被配置为发送定位器信息的发送器。在一些实施方式中，定位器装置还包括与发送器数据通信的磁传感器。
另一实施方式包括一种显示代理在不透明建筑物内的位置的方法。该方法包括从代理接收定位器信息，该定位器信息指示代理相对于参考系的位置。
该方法还包括接收建筑物内部的3D模型，并将3D模型与参考系相关，以产生表示代理在建筑物内的位置的相关位置。例如，在一些实施方式中，3D模型包括点云或者从点云产生的表面重构。
在一些实施方式中，将3D模型与参考系相关包括：获取参考系；以及将定位器信息和建筑物模型二者与参考系相关。
该方法还包括根据3D模型和相关位置渲染3D图像。该3D图像在3D图像内的相关位置处包括表示代理的化身。然后，该方法将3D图像显示在3D显示装置上。
在一些实施方式中，该方法包括：从随代理的发送器接收遥测数据；以及将遥测数据与相关位置相关。这些实施方式还包括将相关位置处的遥测窗口渲染到3D图像中，以使得遥测窗口视觉上与化身所表示的代理关联。例如，一些实施方式响应于在所显示的化身处接收的用户输入而在相关位置处渲染遥测窗口。
在一些实施方式中，定位器信息包括来自代理在建筑物内的位置的一组磁读数；并且参考系包括来自建筑物内的已知位置的多个磁矢量。在这样的实施方式中，将定位器信息和建筑物模型二者与参考系相关包括通过将这一组磁读数与对应一组磁矢量匹配来确定代理在建筑物内的相关位置。
又一实施方式包括一种用于产生建筑物内部的3D地图的系统。该系统包括能够遍及建筑物内部移动的移动同时捕获模态(modality)以及设置在移动模态上以随着移动模态遍及建筑物移动而生成3D地图的传感器系统。
在一些实施方式中，移动模态包括自主运输器设备。
在一些实施方式中，传感器系统包括激光扫描仪，其产生表示建筑物内部的物理测量值的点云作为获得的数据。在一些实施方式中，传感器系统包括磁传感器，其产生共同限定建筑物内部的磁特征(magnetic signature)的一组磁读数作为获得的数据。
在一些实施方式中，传感器系统包括：激光扫描仪，其产生表示建筑物内部的物理测量值的点云作为获得的数据；以及磁传感器，其产生共同限定建筑物内部的磁特征的一组磁读数作为获得的数据。在这样的实施方式中，激光扫描仪和磁传感器设置在移动模态上，使得传感器系统在移动模态同一次穿过建筑物时同时产生点云和磁读数二者。
在一些实施方式中，该系统还包括映射模块，其被配置为将(i)建筑物内部的由传感器系统收集的物理测量值的点云与(ii)建筑物内部的由传感器系统收集的磁特征相关，以产生建筑物内部的混合3D地图。
附图说明
通过参考以下参照附图进行的详细描述，实施方式的上述特征将更容易理解，附图中：
图1A示意性地示出各种实施方式的环境；
图1B示意性地示出定位器装置的实施方式；
图2A示意性地示出用户正在查看示出代理在建筑物内的位置的3D虚拟显示；
图2B示意性地示出建筑物的3D虚拟显示的实施方式；
图3A示意性地示出建筑物内部的点云的实施方式；
图3B示意性地示出基于点云来渲染建筑物的实施方式；
图3C示意性地示出建筑物的CAD模型的实施方式；
图4A示意性地示出通过三角测量来确定人在建筑物内的位置的系统的实施方式；
图4B示意性地示出笛卡尔参考系的实施方式；
图4C示意性地示出建筑物的磁地图的实施方式；
图4D示意性地示出建筑物的磁地图参考系的实施方式；
图5A和图5B示意性地示出将建筑物模型与参考系相关的实施方式；
图6是将人在建筑物内的位置显示在该建筑物的3D渲染上的方法的流程图；
图7示意性地示出将人在建筑物内的位置显示在该建筑物的3D渲染上的系统；以及
图8示意性地示出同时捕获模态的实施方式。
具体实施方式
各种实施方式使得显示装置能够向不透明建筑物外部的人示出该不透明建筑物内的另一人的位置。为了方便，例示性实施方式将建筑物内的人称为代理99，并将建筑物外部的人称为管理者188，但该术语并非暗示他们之间的代理或管理关系。
例示性实施方式使用建筑物110的3D模型310结合识别代理99的位置的定位器信息来将代理99的位置显示在建筑物110的3D渲染内。使位置信息与3D模型310相关以使得用户99的化身299可在图形上设置在建筑物的3D渲染内。一些实施方式通过将定位器信息和3D模型310二者与第三数据集(例如，磁地图)相关来将定位器信息与3D模型310相关。
此外，在一些实施方式中，管理者188能够使得代理99的生物特征数据261显示在生物特征显示部260中。例如，管理者188可通过选择化身299来使得生物特征数据261显示。可按照各种方式选择化身299，例如通过利用鼠标或其它控制器点击化身299，或者通过虚拟现实头戴装置(例如，Oculus Rift或HTC Vive)领域中已知的手势。在一些实施方式中，生物特征显示部260显示在生物特征数据261应用于的代理99的化身299附近，以便将生物特征数据261与该代理相关。例如当示出两个或更多个化身299时这是有益的，以使得用户可确定哪一化身299与哪一生物特征显示部260关联。
应该注意的是，优选实施方式能够确定代理99的位置，而不需要建筑物110内的传感器来识别代理99的位置。
图1A示意性地示出允许管理者188知道并跟踪建筑物110内部的代理99的位置的系统使用的例示性环境。在例示性实施方式中，建筑物110可能正在经历紧急情况，代理99可以是应急人员(例如，消防员；警察；急救人员)，管理者188可以是现场指挥者。
可参照图6的流程图中示意性地示出的方法600来理解例示性实施方式。该方法的概述结合图6来描述，并且可从本文中的附加描述中进一步理解。
概述
在例示性实施方式中，在步骤610，系统(例如，700；图7)接收定位器信息。定位器信息包括可用于识别代理99相对于框架的位置的数据。例如，定位器信息可由代理99所穿戴或携带的定位器装置90提供，定位器装置90的实施方式在下面描述。
定位器装置90的例示性实施方式示意性地示出于图1B中，并且包括无线电发送器91和一组传感器92(其中，一组包括至少一个传感器)。在该例示性实施方式中，该组传感器92包括设置为测量代理99的位置处的地球磁场的磁传感器。通常，该组传感器92可包括其它传感器，例如设置为测量代理99的心率的心率传感器、设置为测量代理99的呼吸速率的呼吸传感器、设置为测量代理99的皮肤温度的皮肤温度传感器以及设置为测量代理99的位置的环境温度的温度计。
众所周知，建筑物110或其组件(例如，钢梁)使地球磁场扭曲。地球磁场的大小和方向在建筑物内变化(例如，作为使磁场扭曲的建筑物组件的接近度的函数)。这些扭曲可遍及建筑物映射，以产生磁地图。磁地图可被存储在诸如数据库131中。通过传感器92对建筑物110内的任何点处的地球磁场的测量可与磁地图进行比较，并且传感器92在建筑物110内的位置可由此以高精度确定。因此，携带传感器92的代理99在建筑物110内的位置可同样以高精度确定。
在另一实施方式中，发送器91可周期性地发送ping信号。ping信号可被设置在建筑物110内或周围的多个三角测量接收器406接收。通过三角测量处理，可准确地确定发送器91在建筑物110内的位置。
一些实施方式使用发送器91来将传感器91测得的数据(或传感器组92的测量值；例如，代理99的心率、代理99的呼吸速率、代理99的皮肤温度；代理99的位置的环境温度，仅举几个例子)发送到接收器120的天线121。接收器120是系统700的一部分或至少与系统700数据通信，以将所测得的数据提供给系统700。
在步骤620，方法600获取参考系400，其实施方式在下面描述。参考系400允许定位器信息与建筑物模型310相关。在一些实施方式中，参考系400被存储在参考系数据库131中并从参考系数据库131检索。
在步骤630，方法600获取建筑物模型310，其实施方式在下面描述。建筑物模型310包括建筑物110的结构细节。在一些实施方式中，建筑物模型310被存储在建筑物模型数据库132中并从建筑物模型数据库132检索。
在步骤640，该方法将定位器信息、参考系和建筑物模型彼此相关。
步骤650生成建筑物110的3D渲染210，包括相对于建筑物110的代理99的化身299。
方法600然后优选在3D显示装置150上显示包括化身299的3D渲染。
可选地，在步骤670，该方法与观察者188交互。例如，观察者188可激活(例如，点击、敲击或以其它方式做手势)化身299以使得显示装置150示出附加信息，例如与代理99或代理99的位置处的建筑物110内的环境有关的遥测数据。一些实施方式还允许观察者188操纵渲染(例如，旋转3D渲染；放大；缩小等)。
建筑物模型
在例示性实施方式中，建筑物110的3D模型310被存储在存储器中，例如已在先前时间创建的建筑物模型数据库132。这种3D模型可被称为“先验”建筑物模型310。
在优选实施方式中，3D模型是(或包括或创建自)点云，例如由激光扫描仪从建筑物110内产生的点云。在优选实施方式中，3D模型不是原始点云数据，而是基于点云的建筑物内部的模型。在一些实施方式中，3D模型是表面网格3D模型。在优选实施方式中，3D模型是参数化3D模型。这些3D模型可使用本领域已知的CAD软件来创建，例如带有可从LeicaGeostysems购买的Leica CloudWorx插件的AutodeskRevit(仅举一个例子)。
建筑物110的内部的点云310示意性地示出于图3A中，其中建筑物110的内部的表面由散列图案(hashing patterns)表示，其中阴影图案(hatching pattern)的各个顶点表示点云中的点。
如激光扫描领域中已知的，点云通过利用激光扫描仪测量建筑物110的内部来产生密集点阵列。点阵列中的各个点表示建筑物内的表面的物理点，并且与点云中的所有其它点具有已知的空间关系，以使得点共同形成建筑物110的内部的详细表示。在一些实施方式中，点云记录(并且当显示时，揭示)至少摄影质量的建筑物内部的细节。例如，图3B中的图像311是从点云创建的建筑物(例如，建筑物110)内部的表面重构的2D渲染，该点云通过可从Leica Geosystems购买的Leica BLK360激光扫描仪获得。
然而，点云相比于照片的优势在于，可例如通过为此目的编程的计算机来操纵阵列中的各个点，以产生建筑物110的内部的3D渲染。在优选实施方式中，点云和/或基于点云开发的图像可由用户以启用查看图像的选项的方式操纵。这些操纵可包括旋转图像和/或放大和/或缩小图像(仅举几个例子)。
在其它实施方式中，3D模型310可以是通过计算机辅助设计(“CAD”)系统产生的渲染，例如图3C中示意性地示出的建筑物110的CAD模型350。例如，建筑师可在设计建筑物110的过程中创建这种CAD模型350。另选地，可在建造建筑物之后例如由观察建筑物110的内部的画家或勘测员开发这种CAD模型350。
代理位置{参考系}
一旦在建筑物110内，代理99通常从建筑物110外部不可见。这带来了挑战，即，如何优选从建筑物外部并且优选不使用建筑物基础设施来确定代理99的位置。
例示性实施方式从建筑物110外部相对于参考系定位代理99。
例如，例示性实施方式从建筑物110外部通过三角测量来定位代理99。为此，一个、两个或更多个三角测量基准发送器406可围绕建筑物110的外部设置。例如，这些三角测量基准发送器406可被放置在建筑物110的已知结构元件处，例如门117和一个或更多个拐角119。
另外，围绕建筑物110的外部设置三角测量接收器405的阵列。三角测量接收器405从三角测量基准发送器406接收信号，并且可以说系统700知道三角测量基准发送器405相对于彼此的位置，从而相对于建筑物定义3D笛卡尔参考系(X、Y、Z轴)。
图4B示意性地示出可例如通过上述三角测量系统产生的笛卡尔参考系410。点425和426表示分别设置在图4A中的建筑物110的对角相关拐角119处的两个三角测量基准发送器406的位置，点427表示设置在建筑物110的前门117处的三角测量基准发送器406的位置。这三个点定义三维笛卡尔参考系410。
代理99携带具有发送器91(例如，无线电发送器)的定位器装置(或定位装置)90。三角测量接收器405的阵列从发送器91接收信号。通过熟知的三角测量几何处理，可以以足够在建筑物110的模型内渲染代理99的化身299的准确度确定代理99在3D参考系(X、Y、Z轴)内的位置。
为此，在优选实施方式中，建筑物模型310然后可与该参考系相关，以提供建筑物110与参考系之间的配准(registration)。
其它实施方式使用GPS来定位建筑物110内的代理99。在这样的实施方式中，定位器装置90可包括全球定位系统(“GPS”)接收器93。如GPS领域中已知的，GPS接收器将其自身定位在由绕地球的轨道中的卫星群定义的参考系中，以产生代理的GPS坐标作为定位器信息。
另一例示性实施方式通过使用建筑物基础设施来确定代理99在建筑物110内的位置，也示意性地示出于图4A中。例如，建筑物110可在建筑物110的已知位置中包括内部传感器430。内部传感器430被设置在建筑物中的已知位置处，因此定义参考系。例如，内部传感器430的位置可被配准到建筑物110的CAD模型。在这种情况下，当给定一个内部传感器430检测到代理99的存在时，便知道代理99在建筑物110内的位置是在内部传感器430的位置处。
为此，代理99可携带定位器装置90(在一些实施方式中，为徽章的形式)，其可被建筑物110内的传感器430检测到。例如，定位器装置90可携带电路，该电路响应来自内置于建筑物的传感器430的查询。在其它实施方式中，传感器430可以是摄像头(例如，监控摄像头)。
优选实施方式使用磁感测来确定代理99在建筑物内的位置。众所周知，建筑物110(更具体地，建筑物110的构成材料)以可检测方式使地球磁场扭曲(如本文所用，“EMF”是指“地球磁场”)。该扭曲遍及建筑物110变化。例如，形成建筑物结构的一部分的钢柱115可使地球磁场扭曲。当利用磁传感器92(例如，磁力计；这些传感器通常见于一些现代智能电话中)测量建筑物110内的地球磁场时，磁传感器92离钢梁115越近，扭曲越大或至少越特别。
如图4C中示意性地示出的，遍及建筑物110获取的多个磁读数形成磁矢量441的阵列，其被共同称为建筑物110的“磁地图”440(或“EMF地图”)。磁地图440是参考系400的实施方式。各个磁读数是空间中获取读数的点处的地球磁场的测量值。通常，这些读数由在建筑物110中穿过开放空间(例如走廊、房间、楼梯井等)移动的人获取。
在图4C和图4D中，各个磁矢量441由箭头表示。箭头的取向(在这些图中，相对于X-Y轴)在图形上表示该点处的地球磁场的方向，箭头的长度在图形上表示该点处的地球磁场的强度。应该注意的是，在优选实施方式中，各个磁矢量表示三个维度(例如，正交的X、Y和Z轴)上的EMF。
应该注意的是，这些磁矢量441没有显示或揭示建筑物110的物理特征。例如，从图4C将理解，围绕建筑物110的第一层111获取磁矢量441，但没有从柱115内或楼梯113内获取读数。这是因为用于创建磁地图440的磁传感器无法被放置在实心物体内以便在那里获取读数。图4D示意性地示出箭头，省略了建筑物110的墙壁116、柱115和楼梯113的背景。如所示，磁矢量441没有示出建筑物110的墙壁116、柱115和楼梯113。可以说磁地图440仅示出了建筑物110内的开放空间。换言之，磁地图440示出了没有建筑物特征(例如，楼梯113；柱115；墙壁116)的地方。
一旦已建立建筑物110的磁地图440，就可通过在代理99的一组位置处测量(扭曲的)地球磁场并将该组测量值与来自磁场地图上的已知位置(即，来自建筑物110内的已知位置)的对应一组磁矢量441匹配来确定代理99在建筑物110内的位置。如本文所用，术语“组”意指至少一个。该匹配识别代理99相对于磁地图的位置。
为此，代理携带磁传感器92，例如见于许多现代蜂窝电话中的磁传感器。表示来自该组测量值中的各个测量值的数据被发送到系统700(如下所述)。
因此，一些较不优选的实施方式用楼面布置图(例如，建筑物110的一部分的2D表示)或其它2D建筑绘图来补充磁地图。如上所述，这些2D渲染不如例如3D CAD渲染或3D点云可取，因为它们未能包括产生建筑物110的内部的3D渲染所需的细节。
将位置信息与建筑物模型相关
一旦知道代理99在建筑物110内的位置[例如，相对于参考系400(例如，GPS参考系；笛卡尔系统410或磁地图440)]，就可将代理99的位置与3D建筑物模型310相关以产生相关位置。更具体地，当代理99在建筑物110内的位置与参考系400相关并且参考系与建筑物模型310相关时，则代理99在建筑物模型310内的位置已知。
例示性实施方式识别3D建筑物模型310中与识别代理99的位置的位置信息具有已知相关的至少一个(优选两个或三个)位置。
在例示性实施方式中，如果3D模型310是建筑物110的内部的点云，则可包括建筑物110的前门117和后门118。
如果在GPS坐标中代理99的位置已知并且建筑物的位置的GPS坐标(例如，前门117和后门118的GPS坐标)已知，则代理99的位置相对于前门117和后门118的位置已知。
在其它实施方式中，笛卡尔参考系410由点425、426和427定义，更具体地，由这些点相对于三角测量接收器405的位置定义。代理99相对于三角测量接收器405的位置也已知。因此，代理99的位置可与笛卡尔参考系410相关，如图4B中的点428示意性地示出的。
类似地，磁地图参考系440可包括前门117和后门118的磁读数。代理99在磁地图440内的位置也已知，因此代理99的位置可与磁地图440相关。
接下来，建筑物模型310可与参考系400相关，因此与代理99的位置相关。通常，建筑物模型310的特征可被配准或对准到参考系400。
例如，通过操纵点云中的点，点云的前门317和后门318(或者更具体地，表示前门和后门的点云数据)可被配准或对准到参考系400的前门和后门。类似地，CAD模型的前门317和后门318可被配准或对准到参考系400的前门和后门。
以这些方式，代理99在建筑物内的位置被配准到建筑物模型310。
渲染合成图像
一旦代理99的位置与3D建筑物模型310相关，建筑物110的3D渲染210就可生成并显示在显示装置150上。这种渲染包括在建筑物的3D渲染中、在实际代理99在实际建筑物内的位置中显示代理99的化身299，并且可被称为“合成图像”。例如，如图4A和图2B示意性地示出的，如果代理99正走过建筑物110的第二层112，则3D渲染将在建筑物的3D渲染210的第二层上的相同位置处示出化身299。
系统
图7示意性地示出用于实现上述实施方式的系统700。系统700包括通过通信总线701互连的模块。
通信模块710包括被配置为与诸如定位装置90和数据库131、132(例如，如果这些数据库不在数据库模块730内)(仅举几个例子)的其它装置通信的电路。在一些实施方式中，通信模块710可包括接收器120，但在其它实施方式中，接收器120与通信模块710分离，但与通信模块710数据通信。
一些实施方式还包括模型接收器711，其被配置为获取建筑物110的3D模型。例如，模型接收器711可从捕获装置(例如，下述映射模态800)或远程数据库132(仅举几个例子)获取建筑物110的3D模型。
一些实施方式还包括参考系接收器712，其被配置为获取建筑物110的参考系(或“定位器地图”)410。例如，模型接收器711可从远程数据库获取建筑物110的3D模型(例如，如果参考系410无法从数据库模块730获得)。与上述示例一致，参考系400可以是建筑物110的磁地图、建筑物110的GPS地图或将建筑物内的地方与三角测量的位置协调的笛卡尔参考系(仅举几个例子)。
系统700还包括相关模块720。如上所述，相关模块720被配置为将参考系400、代理99的定位器信息和建筑物模型310相关。
渲染模块740生成3D渲染210以用于显示在显示装置150上。如上所述，这样显示化身299：化身299相对于3D渲染的显示位置与代理99相对于建筑物110的位置相同。换言之，化身299准确地示出代理99在建筑物110内的位置。
用户界面模块750接收由观察者188提供以操纵3D渲染210的操纵者输入。
显示接口760与显示装置150交互以使得显示装置150将3D渲染210显示给观察者188。在优选实施方式中，显示接口760还接收由观察者188提供的操纵者输入。
同时捕获模态
图8示意性地示出同时捕获模态800。
在例示性实施方式中，模态800包括联接到机架802的磁传感器(例如，磁力计)810和激光扫描仪820。在操作中，模态穿过建筑物110的内部移动(或被移动)，并且随着行进对建筑物内部进行测量。更具体地，在优选实施方式中，磁传感器810获取建筑物110的磁读数440(如上所述)并且激光扫描仪820对建筑物110内部进行物理测量以产生点云。
在优选实施方式中，磁传感器810和激光扫描仪820同时获取它们相应的读数和测量值，结果是读数和测量值彼此相关，这可被称为“复合模型”。使用复合模型的益处是消除了将单独的参考系400与建筑物模型310相关的需求(和处理步骤)。
为此，在优选实施方式中，磁传感器810和激光扫描仪820以彼此固定的物理和空间关系联接到机架802。
在一些实施方式中，模态800由工人携带穿过建筑物以便获取读数和测量值。例如，模态800可被拿在手中、放在背包中或在推车上通过轮子转动(wheeled)穿过建筑物110。
在优选实施方式中，模态800包括运输器801。运输器801是自主载具，其被配置为并且能够遍及建筑物110中的开放空间(例如，房间、走廊等)导航和移动。例如，运输器801可包括已知用于这些目的的电机、轮子和导航电路，例如可从iRobot公司购买的各种Roomba真空电器中的那些。
模态800将读数和测量值存储在一个或更多个数据库(例如，数据库131和数据库132中的任一者或二者)中。在优选实施方式中，模态将读数和测量值存储为上述复合模型，但在一些实施方式中可将读数和测量值分别单独地存储在数据库131和数据库132中。
附图标记：
本文中所使用的附图标记包括以下：
90：定位器装置；
91：无线电发送器；
92：传感器；
93：GPS接收器；
99：代理；
100：系统；
110：建筑物；
111：建筑物的第一层；
112：建筑物的第二层；
113：建筑物中的楼梯；
114：楼梯井；
115：柱；
116：建筑物的墙壁；
117：前门；
118：后门；
120：接收器；
121：天线；
131：建筑物参考系数据库；
132：建筑物物理模型数据库；
150：显示装置；
151：3D图像；
170：远程终端；
188：管理者；
210：建筑物的3D渲染；
213：渲染的楼梯；
215：渲染的柱；
217：渲染的前门；
218：渲染的后门；
260：生物特征显示部；
261：生物特征数据；
299：化身；
310：建筑物模型；
311：示例渲染模型；
330：建筑物的点云；
331：第一层的点云；
332：第二层的点云；
333：楼梯的点云；
335：柱的点云；
350：建筑物的CAD模型；
351：建筑物的第一层的CAD模型；
352：建筑物的第二层的CAD模型；
353：建筑物中的楼梯的CAD模型；
354：楼梯井的CAD模型；
355：柱的CAD模型；
400：参考系；
405：三角测量接收器；
406：三角测量基准发送器；
410：笛卡尔参考系；
425：第一拐角点；
427：第二拐角点；
427：前门点；
428：代理的位置；
430：内部传感器；
440：磁地图；
441：磁矢量；
547：前门配准磁矢量；
548：后门配准磁矢量；
800：映射模态；
801：运输器；
802：机架；
810：磁传感器；
820：点云扫描仪。
上面总结并在下面更详细描述的实施方式具有这样的效果：将建筑物内部的人与该人在建筑物内的位置的观察者之间交互的本质从存在于物理世界中(通常基于个人观察(例如，观察者透过窗户看或经由监控摄像头观看))变换为包括远程定位建筑物内的人并利用建筑物的3D渲染图像生成人的化身的虚拟显示的赛博空间(cyberspace)活动。通常，例示性实施方式由本文中要求保护并描述的技术基础架构来实现。由于这些原因以及其它，由所附的权利要求限定的活动并不是本发明领域的技术人员充分了解的、常规的或惯例的。
本发明的各种实施方式可至少部分地用任何常规计算机编程语言来实现。例如，一些实施方式可用过程编程语言(例如，“C”)或用面向对象的编程语言(例如，“C++”)来实现。本发明的其它实施方式可被实现为预编程的硬件元件(例如，专用集成电路、FPGA和数字信号处理器)或者其它相关组件。
在另选实施方式中，所公开的设备和方法可被实现为与计算机系统一起使用的计算机程序产品。这种实现方式可包括固定在诸如非瞬态计算机可读介质(例如，软盘、CD-ROM、ROM、闪存或固定盘)的有形介质上的一系列计算机指令。这一系列计算机指令可具体实现本文中先前关于系统描述的全部或部分功能。
本领域技术人员应该理解，这些计算机指令可用若干编程语言来编写，以与许多计算机架构或操作系统一起使用。此外，这些指令可被存储在任何存储器装置(例如，半导体、磁、光学或其它存储器装置)中，并且可使用任何通信技术(例如，光学、红外、微波或其它传输技术)来发送。
除其它方式外，这种计算机程序产品可作为具有随附的印刷或电子文档的可去除介质分发(例如，收缩包装软件)，利用计算机系统预载(例如，在系统ROM或固定盘上)，或者经由网络(例如，因特网或万维网)从服务器或电子公告板分发。当然，本发明的一些实施方式可被实现为软件(例如，计算机程序产品)和硬件二者的组合。本发明的其它实施方式被实现为全硬件或全软件。
上述本发明的实施方式旨在仅为示例性的；对于本领域技术人员而言，众多变化和修改将是显而易见的。所有这些变化和修改旨在落在任何所附权利要求中限定的本发明的范围内。

Claims (7)

1.一种用于向不透明建筑物外部的人识别代理在所述不透明建筑物的内部的位置的系统，该系统包括：
所述不透明建筑物外部的位置接收器，该位置接收器被配置为从随所述不透明建筑物中的所述代理设置的定位器装置获得定位器信息，所述定位器装置包括发送器和与所述发送器数据通信的磁传感器，所述发送器被配置为发送：
所述定位器信息，所述定位器信息指示所述代理相对于参考系的位置；以及
遥测数据，所述遥测数据包括所述代理在所述不透明建筑物的内部的位置的室温和/或生物遥测数据，所述生物遥测数据包括所述代理的皮肤温度、所述代理的呼吸速率、所述代理的心率中的至少一项；
模型接收器，该模型接收器被配置为获取所述不透明建筑物的内部的3D模型；相关器，该相关器被配置为将所述3D模型与所述参考系相关，以产生表示所述代理在所述不透明建筑物内的位置的相关位置，并且将所述遥测数据与所述相关位置相关；
渲染模块，该渲染模块被配置为根据所述3D模型和所述相关位置来渲染3D图像，所述3D图像在所述3D图像内的所述相关位置处包括表示所述代理的化身，并且还被配置为将所述相关位置处的遥测窗口渲染到所述3D图像中，使得所述遥测数据视觉上与由所述化身表示的所述代理关联；以及
所述不透明建筑物外部的3D显示装置，该3D显示装置与所述渲染模块通信，所述3D显示装置被配置为接收所述3D图像并将所述3D图像显示给所述不透明建筑物外部的所述人。
2.根据权利要求1所述的系统，所述系统还包括：
被配置为获取参考系的参考系模块；并且
其中，所述相关器还被配置为：
将所述定位器信息与所述参考系相关，以及
将所述参考系与所述3D模型相关。
3.根据权利要求1所述的系统，所述系统还包括随所述不透明建筑物中的所述代理设置的所述定位器装置，所述定位器装置包括被配置为发送所述定位器信息的所述发送器。
4.一种向不透明建筑物外部的人显示代理在所述不透明建筑物内的位置的方法，该方法包括以下步骤：
从随所述不透明建筑物中的所述代理设置的定位器装置接收定位器信息，所述定位器装置包括发送器和与所述发送器数据通信的磁传感器，所述发送器被配置为发送：
所述定位器信息，所述定位器信息指示所述代理相对于参考系的位置；以及
遥测数据，所述遥测数据包括所述代理在所述不透明建筑物的内部的位置的室温和/或生物遥测数据，所述生物遥测数据包括所述代理的皮肤温度、所述代理的呼吸速率、所述代理的心率中的至少一项；
接收所述不透明建筑物的内部的3D模型；
将所述3D模型与所述参考系相关，以产生表示所述代理在所述不透明建筑物内的位置的相关位置，并且将所述遥测数据与所述相关位置相关；
根据所述3D模型和所述相关位置来渲染3D图像，所述3D图像在所述3D图像内的所述相关位置处包括表示所述代理的化身，并且包括在所述相关位置处的遥测窗口，使得所述遥测数据视觉上与由所述化身表示的所述代理关联；以及
在所述不透明建筑物外部的3D显示装置上显示所述3D图像。
5.根据权利要求4所述的方法，其中，将所述3D模型与所述参考系相关的步骤包括：
获取参考系；以及
将所述定位器信息和所述3D模型二者与所述参考系相关。
6.根据权利要求5所述的方法，其中：
所述定位器信息包括来自所述代理在所述不透明建筑物内的位置的一组磁读数；
所述参考系包括来自所述不透明建筑物内的已知位置的多个磁矢量；并且
将所述定位器信息和所述3D模型二者与所述参考系相关的步骤包括通过将所述一组磁读数与对应的一组磁矢量匹配来确定所述代理在所述不透明建筑物内的所述相关位置。
7.根据权利要求4所述的方法，其中，所述3D模型包括点云。
CN201880038399.9A 2017-06-12 2018-06-12 现场命令视觉 Active CN110741395B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762518167P 2017-06-12 2017-06-12
US62/518,167 2017-06-12
PCT/US2018/037036 WO2018231783A1 (en) 2017-06-12 2018-06-12 Onscene command vision

Publications (2)

Publication Number Publication Date
CN110741395A CN110741395A (zh) 2020-01-31
CN110741395B true CN110741395B (zh) 2023-10-10

Family

ID=62875276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038399.9A Active CN110741395B (zh) 2017-06-12 2018-06-12 现场命令视觉

Country Status (6)

Country Link
US (2) US10656274B2 (zh)
EP (1) EP3639221B1 (zh)
CN (1) CN110741395B (zh)
AU (1) AU2018284088B2 (zh)
CA (1) CA3066716A1 (zh)
WO (1) WO2018231783A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635841B2 (en) 2017-02-23 2020-04-28 OPTO Interactive, LLC Method of managing proxy objects
US10656274B2 (en) 2017-06-12 2020-05-19 Intergraph Corporation OnScene command vision
US20210012556A1 (en) * 2019-06-21 2021-01-14 Dimensional Asset Solutions, Llc System and method for 3d-modelling an environment and integrating real-time observational tools
US11436828B1 (en) 2020-06-02 2022-09-06 State Farm Mutual Automobile Insurance Company Insurance inventory and claim generation
US11393198B1 (en) 2020-06-02 2022-07-19 State Farm Mutual Automobile Insurance Company Interactive insurance inventory and claim generation
US11861137B2 (en) 2020-09-09 2024-01-02 State Farm Mutual Automobile Insurance Company Vehicular incident reenactment using three-dimensional (3D) representations
US20220108488A1 (en) * 2020-10-07 2022-04-07 Qualcomm Incorporated Angular mode and in-tree quantization in geometry point cloud compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
EP2595118A2 (en) * 2011-11-18 2013-05-22 TomTom North America Inc. Methods for providing 3d building information
US8896595B2 (en) * 2010-03-12 2014-11-25 Intergraph Corporation System, apparatus, and method of modifying 2.5D GIS data for a 2D GIS system
CN104284233A (zh) * 2009-10-19 2015-01-14 鹰图公司 视频和遥测数据的数据搜索、解析和同步

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5952922A (en) 1996-12-31 1999-09-14 Lucent Technologies Inc. In-building modulated backscatter system
US6307475B1 (en) 1999-02-26 2001-10-23 Eric D. Kelley Location method and system for detecting movement within a building
US7633387B2 (en) 2005-11-29 2009-12-15 Ert Systems, Llc Method for tracking personnel and equipment in chaotic environments
US10149508B2 (en) * 2006-01-10 2018-12-11 Csc Group Llc Conspicuity devices and methods
US8471706B2 (en) * 2008-09-05 2013-06-25 John Schuster Using a mesh of radio frequency identification tags for tracking entities at a site
US8884742B2 (en) 2010-11-03 2014-11-11 Cisco Technology, Inc. Identifying locations within a building using a mobile device
US8773946B2 (en) 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
WO2013044129A1 (en) * 2011-09-21 2013-03-28 Hover Inc. Three-dimensional map system
US9151621B2 (en) 2012-01-11 2015-10-06 Indooratlas Oy Indoor magnetic field based location discovery
FI124153B (en) 2012-01-11 2014-04-15 Indooratlas Oy Using magnetic field navigation
FI124665B (en) 2012-01-11 2014-11-28 Indooratlas Oy Creating a magnetic field map for indoor positioning
FI124744B (fi) 2012-05-03 2015-01-15 Indooratlas Oy Sisämagneettikenttien hyödyntäminen tiedon hankkimiseksi kannettavien laitteiden keskinäisistä liikkeistä sisällä
US20150109581A1 (en) * 2012-07-31 2015-04-23 Reinaldo Waisman Simulated-holographic image display system
US20140320121A1 (en) 2013-04-26 2014-10-30 Indooratlas Oy Measurements of earth's magnetic field indoors
US20140357305A1 (en) 2013-05-30 2014-12-04 Indooratlas Oy Orientation of mobile device measuring earth's magnetic field indoors
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9476717B2 (en) 2014-10-27 2016-10-25 Indooratlas Oy Simultaneous localization and mapping by using Earth's magnetic fields
US9521522B2 (en) 2015-02-19 2016-12-13 Indooratlas Oy Mobile apparatus with search function
US20160300389A1 (en) * 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9933508B2 (en) 2015-09-21 2018-04-03 Indooratlas Oy Magnetic positioning management
US9674672B1 (en) 2015-12-22 2017-06-06 Indooratlas Oy Positioning management
US10656274B2 (en) * 2017-06-12 2020-05-19 Intergraph Corporation OnScene command vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918451A (zh) * 2004-01-16 2007-02-21 微软合并公司 用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
CN104284233A (zh) * 2009-10-19 2015-01-14 鹰图公司 视频和遥测数据的数据搜索、解析和同步
US8896595B2 (en) * 2010-03-12 2014-11-25 Intergraph Corporation System, apparatus, and method of modifying 2.5D GIS data for a 2D GIS system
EP2595118A2 (en) * 2011-11-18 2013-05-22 TomTom North America Inc. Methods for providing 3d building information

Also Published As

Publication number Publication date
US10656274B2 (en) 2020-05-19
EP3639221A1 (en) 2020-04-22
WO2018231783A1 (en) 2018-12-20
AU2018284088B2 (en) 2023-07-27
US20180356523A1 (en) 2018-12-13
AU2018284088A1 (en) 2020-01-02
EP3639221B1 (en) 2023-03-01
US11635519B2 (en) 2023-04-25
CA3066716A1 (en) 2018-12-20
US20200241142A1 (en) 2020-07-30
CN110741395A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110741395B (zh) 现场命令视觉
US11408738B2 (en) Automated mapping information generation from inter-connected images
US11480433B2 (en) Use of automated mapping information from inter-connected images
US20210012520A1 (en) Distance measuring method and device
Zollmann et al. Augmented reality for construction site monitoring and documentation
Zollmann et al. Flyar: Augmented reality supported micro aerial vehicle navigation
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
CN113196208A (zh) 通过使用采集装置传感器对图像采集的自动化控制
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
US20160035094A1 (en) Image-based object location system and process
US20220101601A1 (en) System and method of scanning an environment and generating two dimensional images of the environment
US20220398762A1 (en) Remote inspection and appraisal of buildings
US20230162396A1 (en) Indoor location system for emergency responders and/or contact tracking and tracing
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
US20180350216A1 (en) Generating Representations of Interior Space
WO2022127572A1 (zh) 机器人三维地图位姿显示方法、装置、设备及存储介质
US10819883B2 (en) Wearable scanning device for generating floorplan
US20240069203A1 (en) Global optimization methods for mobile coordinate scanners
US20220198191A1 (en) Remote inspection and appraisal of buildings
Shamim et al. Low Cost Backpack Scanning and Mapping System for Indoor Environments
Almanzar Human Machine Interaction Through Virtual Reality to Collect and Modify 3-Dimensional Data
JP2024072072A (ja) 情報処理装置
CN118251703A (zh) 简化3d建筑物和导航网络的构建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant