CN103871074A - 同时映射和配准热图像 - Google Patents

Abstract

本发明公开了一种装置(10)，其生成被研究的建筑物的或建筑物中的表面的三维(3D)热模型。该装置包括：跟踪部分(24)，跟踪部分在装置移动通过建筑物时确定所述装置的位置；测距部件(18)，测距部件在装置移动通过建筑物时测量从所述装置到建筑物的或建筑物中的一个或多个结构的距离；热摄像机(16)，热摄像机在装置移动通过建筑物时获得建筑物的或建筑物中的一个或多个结构的热图像；和处理器(20)，处理器基于从跟踪部分获得的装置的位置和从测距部件获得的测量距离来生成建筑物和建筑物的内置物中的至少一个的中间3D模型，并且将从摄像机获得的热图像映射到中间3D模型以生成建筑物和建筑物的内置物中的至少一个的3D热模型。

Description

同时映射和配准热图像

技术领域

本发明的主题一般地涉及热成像领域。具体但非排他地发现与生成建筑物等的三维(3D)热模型相关。相应地，本说明书具体进行讨论。但是，应当领会本发明的主题的各方面也可等同地应用于其他类似应用。

背景技术

为了增加建筑物和/或其他类似结构的能源效率，二维(2D)热和/或红外(IR)成像已经用于识别建筑物表面和/或结构上的热和/或冷点，这些热和/或冷点表示隔热不足和/或热泄露的可能位置。例如，热和/或冷点可以出现在建筑物墙壁、天花板、地板、屋顶、建筑物内结构的表面等取得的多个单独的2D热和/或IR图像中的任一个上。

通常，利用手持热和/或IR摄像机获取2D图像。但是，通常利用这种手持摄像机以完全仔细查看全部建筑物表面和/或结构的方式拍摄和/或存储图像是不现实的。相应地，在某些情况下，仅用户认为足够异常的那些图像(即，显示出充分热或冷的点的那些图像)可以被保存。当然，这导致测量结果是零碎的和/或对建筑物的记录没有将2D热图像与建筑物的整体图配准。尽管可能某些手动输入的标注和/或记录可以大致地表示每个单独的2D热图像在哪里获得的，但是这些标注和/或记录不能精确和/或准确地表示出2D图像相对于整体模型和/或整个建筑物的图或者相对于彼此位于哪里。

这些现有的2D热成像方法一般不能提供足够精确、完整和/或准确的建筑物3D模型，该3D模型例如可以用于整体建筑物分析。例如，理论上可检测到但是一般仅在更大比例上可识别的那些异常可能在上述零散方法中未被察觉。具体地，例如，天花板中的隔热不良的HVAC(供暖、通风和空调)回风管可能在天花板的有限部分的单一2D热图像中仅具有非常微小的标示。实际上，在这种情况下，异常会出现模糊，具有低纵横比。相反，整个天花板的可视化立刻会清楚地示出在天花板上延伸相对长距离的高纵横比，这种标示更明显。

发明内容

根据一个实施例，提供一种装置，该装置生成被研究的建筑物的三维(3D)热模型。该装置包括：跟踪部分，跟踪部分在装置移动通过建筑物时确定装置的位置；测距部件，测距部件在装置移动通过建筑物时测量从装置到建筑物的或建筑物中的一个或多个结构的距离；热摄像机，热摄像机在装置移动通过建筑物时获得建筑物的或建筑物中的一个或多个结构的热图像；和处理器，处理器基于从跟踪部分获得的装置的位置和从测距部件获得的测量距离来生成建筑物和建筑物的内置物中的至少一个的中间3D模型，并且将从摄像机获得的热图像映射到中间3D模型以生成建筑物和建筑物的内置物中的至少一个的3D热模型。

根据另一实施例，提供一种设备，该设备生成被研究的建筑物的三维(3D)热模型。该设备包括：在设备移动通过建筑物时跟踪设备的位置的装置；在设备移动通过建筑物时测量到建筑物的或建筑物中的一个或多个结构的距离的装置；在设备移动通过建筑物时获得建筑物的或建筑物中的一个或多个结构的热图像的装置；以及处理装置，所述处理装置用于基于由跟踪装置获得的设备的位置和由测量装置获得的测量距离来生成建筑物的中间3D模型，并且将由成像装置获得的热图像映射到中间3D模型以生成建筑物和建筑物的内置物中的至少一个的3D热模型。

根据另一实施例，一种用于生成被研究的建筑物的三维(3D)热模型的方法包括：测量到建筑物的或建筑物中的一个或多个结构的距离；获得建筑物的或建筑物中的一个或多个结构的热图像；基于测量的距离生成建筑物和建筑物的内置物中的至少一个的中间3D模型；和将获得的热图像映射到中间3D模型以生成建筑物和建筑物的内置物中的至少一个的3D热模型。

附图说明

图1是示出适合于实施本发明主题的方面的示例性摄像机系统的示意图。

图2是示出在适合于摄像机系统操作的一个示例性环境中的图1的摄像机系统的示意图。

图3是示出根据本发明主题的各方面的用于生成建筑物3D热模型的示例性方法的流程图。

具体实施方式

现在参照图1，示出移动和/或便携摄像机系统10。如图所示，系统10设置在配备有车轮14等的推车12等上，车轮等便于推车12移动例如穿过房间和/或在被研究和/或记录的建筑物或其他结构的一个或多个楼层或层来回移动。系统10还包括热摄像机16和测距仪或测距部件18。适当地，摄像机16是IR摄像机。实践中，摄像机16可以是数字摄像机并且可以是静止图像摄像机或视频摄像机。可选地，摄像机16和/或测距部件18可以安装到推车12上以能够倾斜、横摇和/或以其他方式指向不同方向的阵列，以例如观察推车12不同侧面的建筑物结构(例如，墙壁、地板、天花板等)。

在图示的实施例中，系统10设置在推车12上。但是，可以领会，可选地系统10可以设置在背包或类似可穿戴设备上，或者系统10可以是不放置在地板或地面上的手持或其他便携装置，例如在这种情况下车轮14可以可选地被省略。

测距部件18可选地包括LIDAR(光探测和测距)模块和/或SLAM(同时定位和建图)模块和/或其他适合的传感器和/或探测器，以用于测量推车12和建筑物结构(例如，墙壁、地板、天花板等)之间的距离，和/或用于将推车12和/或其他物体和/或结构定位在被研究的建筑物中。内置计算机20和/或其他适合的处理器采集、记录和/或处理测量结果、图像、数据和/或通过系统10的各种组件、仪器、部件和/或模块获得和/或生成的其他信息。

图2示出在系统10可以操作的示例性环境中的具有可选的推车12的系统10。如图所示，利用系统10研究的建筑物100(或其一部分)具有一个或多个墙壁102，例如包括内墙和/或外墙，并且在任一个墙壁102中可以存在一个或多个门104、窗户106等。当然，建筑物的每个楼层或层也可以包括地板和天花板。此外，建筑物100可以具有各种项目，例如设备、器具、柜橱、家具和/或容纳在建筑物100内的其他内置物110。如图所示，测距部件18测量至建筑物100的墙壁102的多个距离。类似地，可以理解到摄像机16(如图1所示)和测距部件18和/或系统10的其他仪器、模块和/或部件还观察、测量、检测、感测和/或获得来自其他建筑物结构和/或内置物的数据和/或图像。一般地，如本文使用的，术语建筑物和/或建筑物结构和/或其内置物包括通过摄像机16、测距部件18和/或系统10的其他仪器、模块和/或部件观察、成像、测量、定位和/或以其他方式检测以产生本文描述的中间3D模型和/或3D热模型中的一者或两者的建筑物的墙壁、地板、天花板、窗户、门和建筑物的其他部件或结构和/或建筑物中的内置物。

现在再参考图1，适当地，计算机20和/或处理器可以装有和/或访问存储器22和/或其他适合的数据存储设备，在存储器和/或数据存储设备中存储(例如通过系统10的各种部件、仪器、部分和/或模块获得、采集和/或生成的)各种测量结果、图像、信息和/或其他数据。存储器22或其他存储设备还可以用于保存任何产生的处理数据、信息和/或生成的输出，例如所产生的被研究的建筑物的中间3D模型和/或被研究的建筑物的最终3D热模型。此外，存储器22或数据存储设备还可以包含软件、编程代码和/或其他适合的指令，该软件、编程代码和/或其他适合的指令通过计算机20和/或其他处理器选择性地执行以：i)执行本文描述的各种数据和/或信息处理；和/或ii)控制系统10的各种部件、仪器、部分和/或模块以实现本文描述的系统10的操作。

可以领会，可选地数据处理可以远程定位和/或场外执行。例如，测量结果、图像和/或通过系统10的各种仪器和/或其他模块或部分获得的其他数据可以通过无线或其他方式传输到远程计算机或处理器以进行处理；和/或测量结果、图像和/或其他数据可以在本地被保存和/或存储，系统10可以之后连接到和/或数据下载到用于处理的计算机或其他适合的处理器。

实践中，推车12在被研究的建筑物或其他类似结构的内部来回移动。例如，推车12可以在其车轮14上滚动下到门厅和/或走廊和/或通过建筑物的给定楼层的各种房间。适当地，测距部件18的一个或多个仪器用于在推车12在建筑物的给定楼层来回移动时，检测推车到附近和/或周围的建筑物的墙壁、天花板、地板和/或其他类似结构和/或建筑物中的内置物的距离。适当地，推车12还可以装有跟踪部分24。基于来自跟踪部分24的数据和/或反馈，适当地，内置计算机20在推车12移动时跟踪推车12的地点和/或位置(例如，相对于推车12的起始点)。可选地，跟踪部分24可以包括一个或多个惯性导航单元、3D摄像机、旋转和/或车轮编码器、加速度计、陀螺仪、和/或其他运动感测装置、传感器和/或检测器。可选地，跟踪部分24可以包括用于跟踪推车的地点和/或位置的GPS(全球定位系统)接收器等。此外，图像或3D特征跟踪也可以被采用，以从由摄像机16或另一2D摄像机(未示出)获得的图像中跟踪推车的地点和/或位置。

在推车12移动时，基于推车在任意给定时刻的给定位置(例如，由跟踪部分24确定)和在该给定时刻到附近建筑物的墙壁、天花板、地板和/或其他类似结构和/或建筑物中的内置物的距离测量结果(例如，由测距部件18确定)，内置计算机20结合和/或以其他方式生成建筑物的楼层或层的3D模型，包括建筑物的相关结构和/或建筑物中的内置物的相关结构，例如墙壁、地板、天花板等。适当地，推车12可以移动通过并数据采集给定建筑物或其他类似结构的全部或多个楼层或层，并且相应地可以产生和/或生成被研究和/或记录的整个建筑物或者全部或一个或多个楼层或层的3D模型。

此外，在推车12移动时，摄像机16还获得附近和/或周围建筑物结构和/或内置物(例如，墙壁、地板、天花板等)的热图像(即，热分析图)。适当地，在通过摄像机16获得热图像时，(例如，由跟踪部分24确定的)推车12的位置被标记和关联或以其他方式联系起来。以此方式，系统10意识到和/或以其他方式知道在获得每个热图像时推车12和/或摄像机16的位置和/或取向(即，姿态)。在构建和/或以其他方式生成建筑物的中间3D模型(例如，如上所述)并将推车12和/或摄像机16的相对位置和/或姿态(例如由跟踪部分24确定)与由摄像机16获得的每个热图像关联之后，热图像被映射、应用和/或包裹(wraped、)到在中间3D模型上的它们的适当位置(例如通过计算机20)，以生成建筑物和/或建筑物内置物的3D热模型。

适当地，中间3D模型和/或3D热模型是视觉和/或电子模型。也就是说，模型被实际在例如存储器22中作为数据保存。在这种情况下数据表示建筑物的各种结构和/或建筑物中内置物的相对位置(例如，墙壁、天花板、地板等，通过测距部件18和/或跟踪部分24测量和/或以其他方式确定这些相对位置)连同那些结构和/或内置物内存在的相对温度和/或温度梯度(例如，根据由摄像机16获取的热分析图和/或热图像确定)。

如图所示，计算机20包括监视器和/或显示器30，在监视器和/或显示器30上可以选择性地输出中间和/或热3D模型。可选地，可以提供用户界面和/或输入装置32，以使得用户可以选择如何将模型显现在显示器30上。例如，用户可以通过界面和/或输入装置32选择视角、横截面、缩放和/或其他观察选项，以按照期望的方式将模型输出在显示器30上。适当地，建筑物的结构和/或建筑物内置物(例如，地板、墙壁、天花板等)以它们的相对位置和以它们的相对尺寸根据选择的观察选项被渲染在显示器30上，其中通过对输出渲染进行颜色编码来表示结构和/或内置物的各种温度和/或温度梯度。当然，可选地，模型可以被传输和/或远程和/或场外保存，并且对模型的显示和/或渲染可以类似地远程和/或场外进行。

现在参照图3，示出用于生成建筑物的3D热模型的示例性方法和/或处理200。

在第一步骤202中，一个或多个测量装置和/或仪器(例如，上文参照系统10所述的那些测量装置和/或仪器)获得到各种建筑物结构和/或内置物(例如地板、墙壁、天花板等)的相对距离测量结果。在步骤204，例如通过摄像机16获得各种建筑物结构和/或内置物的热图像或热分析图。在步骤206，距离测量结果被用于构建建筑物和/或建筑物内置物的中间3D模型。可选地，如上所述，SLAM和/或LIDAR可以用于生成建筑物和/或建筑物内置物的中间3D模型。最后，在步骤208，热图像和/或热分析图被映射、应用和/或包裹到中间3D模型，以生成建筑物和/或建筑物内置物的3D热模型。

在另一实施例中，适当地，利用系统10根据在不同时间点的研究和/或采集的数据生成同一建筑物的两个或更多个3D热模型。例如，可以在用来改善建筑物的能源效率的某些补救措施(例如，增加隔热)之前利用系统10进行第一次研究。于是，根据第一次研究，生成如本文所述的第一3D热模型。稍后(例如，在已经采取补救措施之后)，可以利用系统10进行对同一建筑物的第二次研究，并且生成相应的第二3D热模型。适当地，计算机20或其他适合的处理器将第一和第二模型彼此对比和/或以其他方向执行多个3D热模型之间的定量分析和/或评价。例如，之前和之后3D热模型之间的定量对比可以证明和/或表示在两次研究之间采取的(多种)补救措施的效果。当然，在其他应用中，可以在一天的不同时刻和/或在不同季节期间进行不同研究，产生的3D热模型之间的定量对比可以提供与这些可变条件对建筑物的能源效率能产生的相对效果有关的信息。

当然，实践中还可以存在在不同情况下期望获取的用于各种建筑物和/或建筑物的部分或内置物的任意数量的期望温度范围。例如，某些建筑物或建筑物的部分或建筑物内的房间可以变冷以存储食物或其他易腐物品；在其他示例中，建筑物或建筑物的部分或建筑物内的房间可以用于人类居住；在其他情况下，建筑物或建筑物的部分或建筑物内的房间可以容纳计算机或其他发热设备，它们将从相对冷的操作环境中受益；等等。可以理解到，在前述每种示例中，可能期望不同的目标温度范围，并且根据相对外部环境和/或周围温度，可以保证一定量的加热或冷却。但是，通常不希望由于过度加热或冷却空间超过它所期望的或者由于隔热不良造成损失加热或冷却而浪费能源。相应地，系统10允许生成3D热模型，这使得用户能够可视化建筑物的完整3D热曲线，以例如观察建筑物中何处的目标温度有效满足和何处没有有效满足目标温度。以此方式，补救或校正措施(例如，增加或减少加热或冷却或改善隔热)可以具体针对建筑物的相对于期望温度范围超过或未达到的那些区域或部分。因此，这有助于最大化建筑物整体的能源效率，同时使得建筑物的每个部分能够更接近地维持在其目标温度范围。

应当领会，本文描述的任意一个或多个具体任务、步骤、处理、分析、方法、功能、元素和/或部件可以适当地通过硬件、软件、固件或者其组合来实施。例如，计算机20可以包括例如通过计算或其他电子数据处理装置实现的处理器，该处理器构造和/或以其他方式设置成执行本文描述的一个或多个任务、步骤、处理、分析、方法和/或功能。例如，计算机20或系统10中采用的其他电子数据处理装置可以被设置有、提供有和/或经编程具有适合的代码(例如，源代码、解释代码、目标代码、直接可执行代码等)的列表或其他类似指令或软件或固件(例如，执行和/或管理对本文描述的处理和/或图像分析的应用)，以使得当由计算机或其他电子数据处理装置运行和/或执行时，本文描述的一个或多个任务、步骤、处理、分析、方法和/或功能被完成或以其他方式实施。适当地，代码列表或其他类似指令或软件或固件被实施为和/或记录、存储、容纳或包含在非易失性计算机和/或机器可读存储介质或媒介中和/或上，以能够提供给计算机或其他电子数据处理装置和/或由计算机或其他电子数据处理装置执行。例如，适合的存储介质和/或媒介可以包括但不限于：软盘、软磁盘、硬盘、磁带、或任意其他磁性存储介质或媒介、CD-ROM、DVD、光盘、或任意其他光学介质或媒介、RAM、ROM、PROM、EPROM、FLASH-EPROM、或其他存储器或芯片或存储盒、或计算机或机器或电子数据处理装置可以读取和利用的任意其他有形介质或媒介。实际上，如本文所使用，非易失性计算机可读和/或机器可读介质和/或媒介包括除瞬间的传播信号之外的所有的计算机可读和/或机器可读介质和/或媒介。

可选地，本文描述的任意一个或多个具体任务、步骤、处理、分析、方法、功能、元素和/或部件可以在一个或多个通用计算机、专用计算机、可编程微处理器或微控制器和外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬接线电子或逻辑电路(例如分立元件电路)、可编程逻辑器件(例如PLD、PLA、FPGA、图形卡CPU(GPU)或PAL)等上执行和/或实施。通常，可以使用能够实施有限状态机的任意装置，有限状态机继而能够实施本文描述的相应的任务、步骤、处理、分析、方法和/或功能。

Claims (10)

1.一种产生被研究的建筑物的三维(3D)热模型的装置，所述装置包括：

跟踪部分，所述跟踪部分在所述装置移动通过所述建筑物时确定所述装置的位置；

测距部件，所述测距部件在所述装置移动通过所述建筑物时测量从所述装置到所述建筑物的或所述建筑物中的一个或多个结构的距离；

热摄像机，所述热摄像机在所述装置移动通过所述建筑物时获得所述建筑物的或所述建筑物中的一个或多个结构的热图像；和

处理器，所述处理器基于从所述跟踪部分获得的所述装置的位置和从所述测距部件获得的测量距离来生成所述建筑物和所述建筑物的内置物中的至少一个的中间3D模型，并且将从所述摄像机获得的热图像映射到所述中间3D模型以生成所述建筑物和所述建筑物的内置物中的至少一个的3D热模型。

2.根据权利要求1所述的装置，还包括：

数据存储装置，在所述数据存储装置中存储由所述跟踪部分确定的装置位置、由所述测距部件获得的测量距离、由所述摄像机拍摄的热图像、由所述处理器生成的所述中间3D模型和由所述处理器生成的所述3D热模型中的至少一个。

3.根据权利要求1所述的装置，还包括：

推车，所述跟踪部分、所述测距部件、所述热摄像机和所述处理器中的至少一个安装在所述推车上。

4.根据权利要求3所述的装置，还包括：

一个或多个车轮，所述推车安装在所述车轮上以便于所述推车在被研究的建筑物中来回移动。

5.根据权利要求1所述的装置，还包括：

显示器，所述3D热模型被选择性地输出在所述显示器上。

6.一种用于生成被研究的建筑物的三维(3D)热模型的方法，所述方法包括：

(a)测量至所述建筑物的或所述建筑物中的一个或多个结构的距离；

(b)获得所述建筑物的或所述建筑物中的一个或多个结构的热图像；

(c)基于测量的距离生成所述建筑物和所述建筑物的内置物中的至少一个的中间3D模型；和

(d)将获得的热图像映射到所述中间3D模型以生成所述建筑物和所述建筑物的内置物中的至少一个的3D热模型。

7.根据权利要求6所述的方法，其中，从参考位置测量所述距离和获得所述热图像。

8.根据权利要求7所述的方法，还包括：

将所述参考位置移动通过所述建筑物，以使得从多个不同的参考位置测量所述距离和获得所述热图像。

9.根据权利要求8所述的方法，还包括：

跟踪所述多个不同参考位置；和

将获得的热图像与获得所述热图像的所述参考位置相关联；

其中，根据获得的热图像的相关参考位置将获得的热图像映射到所述中间3D模型。

10.根据权利要求6所述的方法，还包括：

(e)重复步骤(a)至(d)以在不同时间点生成多个3D热模型；和

(f)将所述多个3D热模型中的至少两个彼此进行定量对比。

Images