CN105144238B

CN105144238B - 3d成像方法和系统

Info

Publication number: CN105144238B
Application number: CN201480022819.6A
Authority: CN
Inventors: 佩曼·穆加达姆
Original assignee: Commonwealth Scientific and Industrial Research Organization CSIRO
Current assignee: Commonwealth Scientific and Industrial Research Organization CSIRO
Priority date: 2013-02-25
Filing date: 2014-02-25
Publication date: 2018-11-02
Anticipated expiration: 2034-02-25
Also published as: AU2014218525B2; US9986176B2; WO2014127431A1; CN105144238A; EP2959459A1; ES2809249T3; AU2014218525A1; US20160006951A1; EP2959459B1; EP2959459A4

Abstract

一种用于产生物体的三维模型的系统，所述系统包括：便携式手持成像设备，其包括：壳体；连接到所述壳体的多个传感器；和耦合到所述多个传感器的至少一个电子处理设备。当所述成像设备处于相对于所述物体的至少两个不同的姿势中时，所述电子处理设备从所述多个传感器确定：指示所述物体的范围的范围数据和指示所述物体的热红外图像的热红外数据，至少部分地基于来自所述至少两个不同的姿势的所述范围数据产生三维模型以及使从来自所述至少两个不同的姿势的所述热红外数据得到的模型数据与所述三维模型相关以从而提供所述物体的三维热红外模型。

Description

3D成像方法和系统

技术领域

本发明涉及三维成像。特别是，虽然不是排他地，但是本发明涉及用于利用热红外图像数据来进行三维成像的系统和方法。

背景技术

在这个说明书中对任何在先公布物(或从它得到的信息)或对已知的任何事情的提及不或不应被视为在先公布物(或从它得到的信息)或已知的事情形成在这个说明书所涉及的努力的领域中的常见的一般知识的部分的承认或认可或任何形式的建议。

能量持久性是面对气候变化的21世纪的主要挑战。为了减少环境影响例如温室气体排放，不仅在能量链的供应侧上而且在需求侧上在减少能量使用和提高能量效率方面需要改变。

能量审计因此常常需要评估建筑物的能量效率。热红外成像用于能源审计评估，其中为了识别热红外不规则性例如热红外缺陷、空气泄漏、热损耗和热红外桥、能量损耗和能量低效的目的而分析能量流。这样的能量审计依赖于建筑物的相关部分(例如熔炉、窗口和其它能量低效是常见的区域)的二维热红外图像。

热红外图像传感器捕获来自物体的发射或反射热红外辐射，且一般将热红外数据表示为颜色映射的图像或一组这样的图像。热红外数据被映射到色值以简化否则不可见的热红外辐射的可视化。

现有技术的这样的能量审计系统的问题是，它们缺乏关于物体相对于彼此，特别是在单独的图像中，的位置和定向的信息。通常，分立的物体被单独地观看，且不在其它物体的背景中被考虑。

现有技术的这样的能量审计系统的另一问题是，热红外成像通过从物体的表面捕获热红外服务来间接地测量物体的温度。然而，所捕获的热红外辐射可包括来自另一物体的热红外反射。问题在窗口和具有“发光”表面的其它物体中夸大，因为热红外辐射更可能被反射。

热红外成像也被证明是用于医疗诊断的有效工具。热红外摄像机能够辨别异常温度模式，使它们对医疗诊断、治疗、检查和一般健康监控有用。此外，热红外成像是无创伤的，不需要皮肤接触且是无辐射的。热红外成像的医学应用包括乳癌检测、新生儿健康监控和神经成像。

医学热红外成像一般涉及观看人(或人的一部分)的二维图像。现有技术的医学热红外成像的问题是，成像伪像常常在于物体的边缘、远离传感器的物体或入射角较大的区域上。类似地，开业医师常常难以分析静态二维热红外图像并比较在不同的时间、距离和角度处拍摄的热红外图像。

某些系统试图通过使用三维热红外成像来克服这些问题中的一些。这样的系统一般利用能够一起产生三维热红外模型的固定位置热红外传感器的阵列。

这样的系统的一个问题是，它们是昂贵的，因为几个热红外传感器被需要。这样的系统的另一问题是，它们不能够映射任意尺寸的结构。这可例如导致对于全身分析需要与对较小的身体部分例如足的分析不同的配置。

现有技术医学热红外成像系统的另一问题是，它们可能需要在患者周围的几个位置处被重新定位和重新校准，以便获取多个视图。这些系统的校准也是复杂的，且通常需要经过训练的工程师的专门技能。

现有技术的热红外成像的一般问题是，热红外图像数据常常根据在捕获期间在物体和摄像机之间的角度和距离而改变。这防止定量和可重复的测量，除非在不同的时间相对于物体的确切的相同位置和角度处执行监控。

因此，存在对改进的三维成像方法和系统的需要。

发明内容

本发明设法给消费者提供用于上面描述的现有技术的改进和优点，和/或克服并减轻现有技术的一个或多个上面描述的缺点，和/或提供有用的商业选择。

根据一个方面，本发明设法提供用于产生物体的三维模型的系统，该系统包括：

便携式手持成像设备，其包括：

壳体；

连接到壳体的多个传感器；

耦合到多个传感器的至少一个电子处理设备，其中电子处理设备：

当成像设备处于相对于物体的至少两个不同的姿势中时，从多个传感器确定：

指示物体的范围的范围数据；

指示物体的热红外图像的热红外数据；

至少部分地基于来自至少两个不同的姿势的范围数据产生三维模型；以及

使从来自至少两个不同的姿势的热红外数据得到的模型数据与三维模型相关以从而提供物体的三维热红外模型。

一般，电子处理设备：

确定指示物体的可见图像的颜色数据；以及

使从来自至少两个不同的姿势的可见图像数据得到的模型数据与三维模型相关以从而提供物体的三维颜色模型。

一般，电子处理设备产生物体的三维融合热红外和颜色模型。

一般，系统包括：

连接到壳体的范围传感器，其感测物体的范围；

连接到壳体的可见光图像传感器，其感测物体的可见图像；以及

连接到壳体的热红外图像传感器，其感测物体的热红外图像。

一般，电子处理设备：

确定手持设备的相对姿势；以及

使用相对姿势来产生三维模型。

一般，电子处理设备使用来自至少一些不同的姿势的范围数据、图像数据和热红外数据中的至少一个来确定手持设备的相对姿势。

一般，电子处理设备：

估计在范围传感器与热红外图像传感器和可见光图像传感器中的至少一个之间的时序偏移；以及

基于偏移来估计与图像数据和/或热红外数据相关的姿势。

一般，电子处理设备：

使用范围传感器和姿势传感器中的至少一个来确定设备姿势；

确定手持设备的运动的路径；

基于设备姿势和运动的路径来确定可见光图像传感器姿势和热红外图像传感器姿势。

一般，系统包括姿势传感器，且其中电子处理设备使用来自姿势传感器的姿势数据来确定相对姿势。

一般，姿势传感器是定向传感器和惯性测量单元中的至少一个。

一般，电子处理设备：

选择物体表面部分；

当成像设备在相对于物体的至少两个不同的姿势中时，识别选定物体表面部分的图像；

识别相应于每个所识别的图像的选定物体表面部分的至少一个图像像素；以及

使用所识别的图像像素来确定模型数据。

一般，对于热红外图像，模型数据包括指示温度的模型热红外数据，且对于可见图像，模型数据包括指示颜色的模型颜色数据。

一般，电子处理设备使数据与在相应于选定物体表面部分的三维模型中的体素相关。

一般，选定物体表面部分是顶点。

一般，电子处理设备使用与所识别的像素相关的数据的加权和来确定模型数据。

一般，电子处理设备使用与所识别的像素相关的置信度分数来确定加权和。

一般，电子处理设备基于包括下列项中的至少一个的因素来确定置信度分数：

当图像被捕获时的传感器的速度；

在传感器的视场中的一个或多个像素的位置；

在光线和物体表面之间的角度，光线从物体表面部分延伸到传感器；以及

当图像被捕获时的范围。

一般，对于热红外图像，电子处理设备基于与所识别的像素相关的温度值来确定置信度分数。

根据一个方面，本发明设法提供产生物体的三维模型的方法，该方法包括，在电子处理设备中：

当成像设备在相对于物体的至少两个不同的姿势中时，从多个传感器确定：

指示物体的范围的范围数据；

指示物体的热红外图像的热红外数据；

根据一个方面，本发明在于用于产生物体的三维模型的系统，该系统包括：

便携式成像设备，其包括：

壳体；

连接到壳体的范围传感器；

连接到壳体的可见光图像传感器；以及

连接到壳体的热红外图像传感器，其中范围传感器、可见光图像传感器和热红外图像传感器具有重叠的视场；

耦合到便携式成像设备的范围传感器、可见光图像传感器和热红外图像传感器的至少一个处理器；以及

耦合到至少一个处理器的存储器，包括由处理器可执行来执行下列操作的指令代码：

接收来自范围传感器的范围数据、来自可见光图像传感器的图像数据和来自热红外图像传感器的热红外数据；

基于从几个位置捕获的范围数据来产生三维模型；以及

使来自于来自至少两个位置的图像数据和热红外数据的数据与三维模型相关。

优选地，使图像数据和热红外数据与三维模型相关包括：估计在范围传感器与可见光图像传感器和热红外图像传感器中的至少一个之间的时序偏移；以及基于偏移来估计与图像数据和/或热红外数据相关的姿势。

优选地，热红外数据至少部分地基于入射角与三维模型相关。适当地，热红外数据基于捕获距离、环境数据例如温度数据、或指示热红外数据的置信度的任何其它数据与三维模型相关。

优选地，便携式成像设备还包括定向传感器。

优选地，系统还包括至少一个环境传感器，其中热红外数据基于来自至少一个环境传感器的数据与三维模型相关。适当地，至少一个环境传感器包括二氧化碳传感器、湿度传感器和/或温度传感器。

优选地，系统还包括用于在系统的操作期间记录操作员的语音的音频传感器。

优选地，便携式成像设备的壳体包括细长部分，其中范围传感器、可见光图像传感器和热红外图像传感器连接到细长部分的端部。

优选地，便携式成像设备的壳体还包括用于激活范围传感器、可见光图像传感器和热红外图像传感器中的至少一个的触发器。

优选地，至少一个处理器至少部分地通过无线数据通信链路耦合到便携式成像设备的范围传感器、可见光图像传感器和热红外图像传感器。

优选地，热红外图像传感器包括热红外传感器。

优选地，存储器还包括由处理器可执行来执行下列操作的指令代码：

产生相应于三维模型的视图的输出图像，输出图像包括叠加在模型上的相关图像数据的至少部分和叠加在模型上的相关热红外数据的至少部分。

优选地，通过在模型的第一部分上渲染相关可见光图像数据的至少部分和在模型的第二部分上渲染相关热红外数据的至少部分来产生输出图像。

优选地，三维模型相应于人的身体的至少一部分，且相关图像数据包括人的皮肤色调。

优选地，存储器还包括由处理器可执行来基于图像数据和/或热红外数据来改进三维模型的指令代码。

优选地，便携式成像设备还包括显示器，其用于在数据被捕获时实时地显示从范围传感器、可见光图像传感器和热红外图像传感器中的一个或多个捕获的数据。

根据第二方面，本发明在于产生物体的三维模型的方法，该方法包括：

从范围传感器、可见光图像传感器和热红外图像传感器接收范围数据、图像数据和热红外数据，其中范围传感器、可见光图像传感器和热红外图像传感器具有重叠的视场，且其中范围数据、图像数据和热红外数据各自相应于来自范围传感器、可见光图像传感器和热红外图像传感器的至少两个不同的位置的数据；

基于范围数据产生三维模型；以及

使来自相应于至少两个不同的位置的图像数据和热红外数据的数据与三维模型相关。

优选地，至少两个不同的位置包括任意位置，其中在至少两个不同的位置的第一位置上可见的物体的至少部分在至少两个不同的位置的第二位置上是可见的。

优选地，任意位置包括由范围传感器、可见光图像传感器和热红外图像传感器跨物体的运动引起的重叠视图。

优选地，该方法还包括产生相应于三维模型的视图的输出图像，输出图像包括叠加在模型上的相关图像数据的至少部分和叠加在模型上的相关热红外数据的至少部分。

将认识到，可联合地或可互换地使用本发明的不同方面及其相应的特征，且作为单独的方面对它们的提及并没有被规定为限制性的。

附图说明

为了帮助理解本发明并使本领域中的技术人员能够让本发明实际生效，下面仅作为例子参考附图描述本发明的优选实施方案，在附图中：

图1示出根据本发明的实施方案的用于产生物体的模型的系统；

图2a示出图1的系统的便携式成像设备的透视图；

图2b示出图2a的便携式成像设备的侧视图；

图3a示出根据本发明的可选实施方案的便携式成像设备的透视图；

图3b示出图3a的便携式成像设备的侧视图；

图4示意性示出根据本发明的实施方案的用于产生物体的模型的系统。

图5示出图1的系统的显示器的屏幕截图，其示出使用图像数据和热红外数据来渲染三维模型；

图6概略地示出根据本发明的实施方案的图1的系统的计算装置；以及

图7示出根据本发明的实施方案的产生物体的三维模型的方法。

本领域中的技术人员将认识到，偏离如在附图中示出的部件的布局的较小偏差将不减损本发明的所公开的实施方案的正确运行。

具体实施方式

本发明的实施方案包括三维成像设备和方法。在附图中以简明的轮廓形式示出本发明的元件，附图只示出理解本发明的实施方案所必需的那些特定细节，但不到使用按照本描述对本领域普通技术人员明显的过多细节使本公开混乱的程度。

在这个专利说明书中，形容词例如第一和第二、左边和右边、前面和后面、顶部和底部等仅用于定义一个元件或方法步骤不同于另一元件或方法步骤，而不一定需要由形容词描述的特定的相对位置或序列。词例如“包括(comprise)”、“包括(include)”并不用于定义排他的一组元件或方法步骤。更确切地，这样的词只定义包括在本发明的特定实施方案中的最少的一组元件或方法步骤。

根据一个方面，本发明设法提供用于产生物体的三维模型的系统，该系统包括：便携式手持成像设备，其包括：壳体；连接到壳体的多个传感器；耦合到多个传感器的至少一个电子处理设备，其中电子处理设备：当成像设备处于相对于物体的至少两个不同的姿势中时，从多个传感器确定：指示物体的范围的范围数据；指示物体的热红外图像的热红外数据；至少部分地基于来自至少两个不同的姿势的范围数据产生三维模型；以及使从来自至少两个不同的姿势的热红外数据得到的模型数据与三维模型相关以从而提供物体的三维热红外模型。

根据一个方面，本发明在于用于产生物体的三维模型的系统，该系统包括：便携式成像设备，其包括：壳体；连接到壳体的范围传感器；连接到壳体的可见光图像传感器；以及连接到壳体的热红外图像传感器，其中范围传感器、可见光图像传感器和热红外图像传感器具有重叠的视场；耦合到便携式成像设备的范围传感器、可见光图像传感器和热红外图像传感器的至少一个处理器；以及耦合到至少一个处理器的存储器，包括由处理器可执行来执行下列操作的指令代码：接收来自范围传感器的范围、来自可见光图像传感器的图像数据和来自热红外图像传感器的热红外数据；基于从几个位置捕获的范围数据来产生三维模型；以及使来自于来自至少两个位置的图像数据和热红外数据的数据与三维模型相关。

本发明的一些实施方案的优点可包括产生包括热红外和任选地可见像数据的物体的整体的和几何上准确的三维模型的能力，而不需要复杂和/或昂贵的硬件。这样的三维模型可在不同的时间被获取并对齐和比较以检测任何空间-时间变化。

本发明设法提供热红外数据的提高的准确度，特别是其中反射物体存在，或否则将引起在热红外数据中的伪像或误差的其它因素存在。热红外数据的准确度可提高，因为热红外数据可从几个角度和距离被捕获，且只有具有很少或没有红外反射或噪声的热红外数据可被选择。

本发明也可以使热红外信息的三维可视化变得可能，这例如在火灾管理和响应的背景中以及在电气、机械或结构建筑检查中是特别有利的。

三维模型提供使用户调查并检测在它的周围环境的背景中的元件或物体的热红外异常的机会。这样的三维模型可由检查员利用来监控建筑物的不可见的热红外不规则性或由开业医师利用来识别患者的身体中的热红外异常。

根据某些实施方案，可在单个模型上一起观看图像和热红外数据，这使问题的更准确的局部化变得可能。例如，在电气维护背景中，本发明使用户能够确定很多电气连接中的哪个由于有故障的连接而异常地变热。图像数据使用户能够观看基于文本或颜色的标签，而热红外数据可用于检测由故障引起的热流。类似地，颜色编码管线和电线可由图像数据识别。

此外，本发明的实施方案能够在黑暗中操作，这在明确的夜间时间分析被诸如建筑能量审计的应用需要时是有利的。此外，患者可能宁愿在黑暗而不是亮的房间中被扫描。因此，将认识到，可见图像信息的收集并不一定是需要的，取决于系统将被使用的情况。

最后，本发明的实施方案并不一定需要外部跟踪设备，以便准确地估计设备的姿势，并可使用简单的现成部件来实现，虽然任选地，外部跟踪可用于提高姿势确定，例如在高分辨率热红外映射例如在医学应用中被需要的情况下。

图1示出根据本发明的实施方案的用于产生物体的模型的系统100。系统100可由第一响应者在分析紧急场景时和在无创伤医学诊断中用于各种目的，例如能量效率监控、非破坏性结构、机械和电气评估、结构监控、火灾检测。

系统100包括用于从各种有利地重叠的角度捕获物体的图像的便携式成像设备105。

便携式成像设备105包括范围传感器110、可见光图像传感器115和热红外图像传感器120。范围传感器110、可见光图像传感器115和热红外图像传感器120以间隔开的关系固定地连接到便携式成像设备105的壳体，并指向公共方向。相应地，在使用中，范围传感器110、可见光图像传感器115和热红外图像传感器120实质上捕获物体的相同视图；然而，如下面进一步讨论的，传感器110、115、120的硬同步不是需要的。此外，虽然示出三个分立的物理传感器，这不是不可少的，且可选地，可使用两个或多个传感器。例如，只有当可见图像感测是不需要的时，才可使用范围和热红外传感器。可选地，在双用途传感器被使用的情况下，可能不需要三个传感器，所以例如在范围传感器也能够感测可见图像的情况下，例如如果使用立体范围感测，则可能不需要单独的范围和可见传感器。

可见光图像传感器115确定指示物体的可见图像的颜色数据，例如RGB数据，且一般能够检测人类视觉系统可见的、例如具有从大约390nm到700nm的波长的光，且特别是可见图像。热红外传感器120设计成确定指示物体的热红外图像的热红外数据并特别是检测在可见频谱之外的热红外辐射，例如在8μm和14μm之间的波长。在电磁频谱的这个部分中的热红外辐射基于它们的温度从物体被发射。热红外传感器120可捕获这个热红外辐射，并基于其来估计物体的表面温度。范围传感器110可确定指示物体的范围的范围数据，且可以是在本领域中公知的各种市场上可买到的电磁或超声接近度传感器之一。可见光图像传感器115可以是如在本领域中公知的标准摄像机。热红外传感器120的例子是英国剑桥的Thermoteknix系统有限公司的Thermoteknix Miricle 307K。然而，可使用其它类型热红外传感器。

便携式成像设备105的壳体还包括用于激活来自便携式成像设备105的数据的捕获的触发器125。一般在使用中，用户按下触发器125以激活数据的捕获，并再次按下触发器125以使数据的捕获去激活。可选地，用户压低触发器125以激活数据的捕获并释放触发器125以使数据的捕获去激活。

以任一方式，数据可被捕获，同时在物体周围移动便携式成像设备105，因此从不同的角度和/或位置捕获物体的一序列图像。然而，如技术人员将理解的，便携式成像设备105可用于通过在不同的点手动地按下触发器125来从不同的角度捕获物体的分立热红外和/或可见光图像。

便携式成像设备105经由信号电缆135连接到计算装置130。然而，如技术人员将容易理解的，信号电缆135可由在便携式成像设备105和计算装置130之间的无线通信代替。无线通信技术的例子包括根据电气和电子工程师协会(IEEE)802.11标准的无线局域网(WLAN)、短波长无线电传输例如蓝牙和基于射频识别(RFID)标准的近场通信。

下面进一步描述的计算装置130包括至少一个处理器(未示出)和存储器(未示出)。处理器由信号电缆135和数据接口(未示出)耦合到范围传感器110、可见光图像传感器115和热红外图像传感器120。

存储器包括用于接收来自范围传感器110的多个范围图像、来自可见光图像传感器115的多个图像和来自热红外图像传感器120的多个热红外图像的指令。当接收到图像时，基于多个范围图像产生三维模型。根据某些实施方案，来自热红外图像传感器120的热红外图像和/或来自可见光图像传感器115的图像可此外用于产生和/或改进三维模型。

在一般使用范围数据产生三维模型之后，来自可见光图像传感器115的多个图像的数据和来自热红外图像传感器120的多个热红外图像与三维模型相关。这可包括例如使图像和热红外数据与三维模型的所有或一些点或部分相关。一般，这涉及创建模型数据，模型数据基于手持设备的至少两个不同的姿势的热红外数据和任选地颜色数据，如下面将更详细描述的。

范围传感器110、可见光图像传感器115和热红外图像传感器120通常需要相对于彼此的几何和时间校准。

便携式成像设备105的传感器110、115、120中的每个的视点是不同的，因为它们几何地分离。几何校准因此被执行以确定在传感器110、115、120之间的相对位置和定向以及传感器110、115、120的内部参数，例如焦距。此外，如果需要，也可例如当捕获数据时在传感器不使用公共时钟信号的情况下确定在范围传感器110、可见光图像传感器115和热红外图像传感器120之间的相对定时。

传感器110、115、120的相对姿势(即位置和定向)因此被确定。这可在制造的时间或周期性地由用户执行，如果在传感器110、115、120当中有相对运动的风险。

可使用本领域中已知的几种范围-图像几何校准技术中的任一种。例如，范围-图像几何校准算法一般需要外部人工目标同时从范围和成像传感器被观察到。棋盘格图案是公共外部目标。在关于智能机器人和系统的IEEE/RSJ国际会议的会报(第3卷，2004，2301-2306页)中的Q.Zhang和R.Pless的“Extrinsic calibration of camera and laser rangefinder(improves camera calibration)”和R.Unnikrishnan和M.Hebert的“Fastextrinsic calibration of a laser rangefinder to a camera”(Robotics Institute,Carnegie Mellon University,Tech.Rep.CMU-RI-TR-05-09,2005)中描述了这样的范围-图像几何校准技术的例子。

可选地，分别从热红外数据、可见图像数据和范围数据提取一组自然场景特征对应性。一旦对应性是已知的，就可使用最小化在相应的对之间的距离的迭代非线性优化来确定在这两个参考帧之间的刚性变换。最后，产生具有六个自由度的变换，将热红外数据、范围数据和可见图像数据转换到公共坐标系，因而提供传感器110、115、120的相对姿势。

在使用期间，当便携式成像设备105在物体周围移动时，每个传感器110、115、120的相对姿势可被确定。因为来自传感器110、115、120的数据不一定以同步方式被捕获，所以使用范围传感器110捕获的范围数据可相应于与从热红外传感器120捕获的热红外数据稍微不同的姿势。因此从范围传感器数据产生姿势，范围传感器数据于是用作用于估计相应于热红外数据和可见图像数据的姿势的基础。

具体地，四个相邻的范围帧被选择，两个紧接着在所讨论的热红外或可见图像数据前面，且两个紧接着在后面。三次样条被拟合到相应于四个相邻范围帧的四个姿势，代表在整个这个间隔中便携式成像设备105的移动的三维路径。使用样条来估计相应于热红外或可见图像数据被捕获时的时间的便携式成像设备105的姿势，样条然后使用传感器110、115、120的相对位置转换成相对传感器115、120的姿势。

因此，对于传感器110、115、120可在扫描期间遮蔽物体的一些部分。根据某些实施方案，来自三维模型的范围点首先被投影到图像平面中。然后，k最近邻(KNN)搜索被利用以基于它们到便携式设备的距离和群集的尺寸来聚集相邻的投影点。具有到群集的中心的大距离的点然后作为离群值被丢弃，且可能是被遮蔽的点。

根据每个传感器110、115、120的视场，一些点可以在其它传感器110、115、120的场外部，且因此可能不能够有所指定的温度或颜色。

来自范围传感器110、可见光图像传感器115和热红外图像传感器120的数据的捕获不需要被同步。替代地，可通过分析与范围数据比较的图像的相对定时来确定来自可见光图像传感器115的图像和来自热红外图像传感器120的热红外图像的相应姿势，为此，捕获时间连同传感器110、115、120的相对姿势的预先确定的知识一起是已知的。通过基于在传感器110、115、120之间的时序偏移的估计在姿势之间内插来产生相对姿势。

加权平均光线投射然后可用于使用便携式成像设备105的传感器110、115、120的几何结构的知识将数据从图像投影到三维模型。这个过程可包括给三维模型的体素着色，以及将温度值分配给来自多个视图的每个体素。

热红外数据的准确度被提高，因为热红外传感器120跨物体的整个表面移动以得到多个重叠的读数。因此可补偿由来自窗口或发光材料的反射和局部环境因素例如湿度引起的异常。

根据某些实施方案，首先使用范围数据来创建未着色的三维体素占有率图。体素占有率图然后使用移动立方体算法转换成密集的三维模型，其稍后使用基于二次曲面的边缘崩溃算法被简化，所述算法是本领域中公知的。然后对来自热红外传感器120和可见光图像传感器115的每个有效帧执行加权光线投射，以便将可见图像和热红外数据分配给三维模型中的每个体素。

根据某些实施方案，基于入射角、在热红外传感器120和表面之间的距离、环境传感器数据和/或影响热红外数据当被捕获时的置信度的其它因素来将热红外数据选择性地添加到三维模型。此外，在摄像机中的像素的几何位置可以是影响热红外数据的置信度的因素，其中朝着摄像机的中心定位的像素具有比朝着摄像机的角定位的像素高的置信度。因此，朝着摄像机的中心定位的像素可在光线投射时被给予更高的权重。

通过捕获来自几个位置的热红外数据并选择性地选择哪个热红外数据被添加到三维模型，可提供更大的热红外准确度。

可在计算设备130的屏幕140上渲染三维模型，包括来自可见光图像传感器115的多个图像和来自热红外传感器120的多个热红外图像。如下面进一步详细讨论的，来自可见光图像传感器115的多个图像的图像数据可渲染在三维模型上以提供逼真的或现实的外观，而来自热红外传感器120的多个热红外图像可例如覆盖在三模模型的部分之上以提供热红外信息。

由系统100产生的三维模型可用于在任何角度或标度下产生综合视图，这可帮助用户例如开业医师来更有效地解释结果。

在数据被捕获且三维模型被产生之后，它被显示给用户。根据某些实施方案，三维模型在它被产生和/或改进时被实时地显示给用户，使用户能够在足够的数据被接收到时停止捕获数据。

使用热红外加亮来有利地显现三维模型，其中可见图像数据和热红外数据合并到输出图像中。然而，如技术人员将理解的，可提供显现三维模型连同可见图像和热红外图像的任何适当的方法。

热红外加亮涉及应用加权方案，其中权重被提供到热红外和可见图像数据。在它的最简单的形式中，权重是0或1，其中热红外数据或可见图像数据显示在输出图像的单个部分上，然而也可使用其它权重。

根据某些实施方案，热红外加亮用于示出热红外末端。因此可见图像数据渲染在输出图像中，其中热红外数据是接近平均的，且热红外数据渲染在输出图像中，其中热红外数据是末端，例如在高于或低于平均值的给定标准偏差之外。这提供使用强颜色来加亮“最热”和/或“最冷”表面的目的，强颜色使它们对观察人员是高度显著的，同时仍然对大部分场景保持颜色和纹理数据。

在医学领域中，可见图像数据连同热红外数据的使用可通过向用户显现皮肤不规则性来增强异常的识别。在能量监控环境中，它使检查员能够通过设备的标签的图像和表面颜色知道哪个热红外数据与什么设备有关，这在用户想要为离线任务例如创建需要设备的序列号的能量损失报告使用所产生的图像时是特别有用的。

热红外加亮也可应用于强调在特定范围内而不是仅仅末端的热红外数据。这在下面在图4中进一步示出。

根据某些实施方案，在第一时间点产生第一三维模型，且在第二时间点产生第二三维模型。第一和第二三维模型被对齐和比较。这可包括三维模型、为可见图像和/或热红外数据产生的差异图或模型的并排显现的覆盖。这使用户能够随着时间的过去检测在物体中的热红外变化。

图2a示出便携式成像设备105的透视图。图2b示出便携式成像设备105的侧视图。

如上面讨论的，便携式成像设备105包括范围传感器110、可见光图像传感器115和热红外传感器120。范围传感器110位于在可见光图像传感器115和热红外传感器120之上和之间的壳体上。然而，如技术人员将容易认识到的，范围传感器110、可见光图像传感器115和热红外传感器120可放置在任何适当的布置中。

便携式成像设备105的壳体包括柄部分205和细长桶状部分210，触发器125合并在柄部分205中，且范围传感器110、可见光图像传感器115和热红外传感器120在细长桶状部分210的端部上。这在物体周围移动便携式成像设备105时使便携式成像设备105的人机工程学手持操作变得可能，并给予便携式成像设备105手枪式形状，这使在没有特殊培训的情况下使用变得特别容易。

图3a示出根据本发明的可选实施方案的便携式成像设备300的透视图。图3b示出便携式成像设备300的侧视图。

便携式成像设备300类似于图1的便携式成像设备105。便携式成像设备300还包括用于显示所捕获的图像例如从可见光图像传感器115接收的图像的显示屏305。

显示屏305使用户能够更准确地以物体的区域为目标，和/或看到物体的哪个区域目前正被扫描。显示屏305可包括例如液晶显示器(LCD)，然而，各种其它类型的显示器也是可能的。

根据某些实施方案，热红外数据的捕获由触发器125激活，而可见图像和范围数据被持续地捕获。这可被使用，其中热红外炫光和反射是个问题，因为用户可通过在显示屏305上观看热红外数据来实时地选择具有最小炫光的姿势。

根据可选的实施方案(未示出)，用于产生物体的模型的系统安置在类似于便携式成像设备300的便携式成像设备中。在这样的情况下，可处理数据，且可由便携式成像设备产生三维模型。三维模型与覆盖的可见图像和热红外数据可接着显示在便携式成像设备的屏幕上。这使便携式成像设备能够是独立实体。

根据本发明的一些实施方案，任选的定向或姿势传感器(未示出)设置成测量便携式成像设备的定向和/或姿势。定向或姿势传感器可具有任何适当的形式，并可包括连接到便携式成像设备105、300的一个或多个传感器，例如惯性测量单元(IMU)。这样的定向传感器可帮助处理来自传感器110、115、120的处理数据。

根据另外的实施方案，系统100或便携式成像设备300包括环境传感器(未示出)。环境传感器可使用热红外传感器120估计并补偿对测量的任何环境影响。环境传感器的例子包括二氧化碳传感器、湿度传感器和/或温度传感器。

根据另外的实施方案，系统100或便携式成像设备300包括音频传感器(未示出)。音频传感器使用户能够使用语义信息例如物体的条件口头地给物体的模型作注解，添加检查的时间和日期或提供关于由热红外或可见光图像传感器不可检测或可见的在检查中的物体的更多信息。注解可接着从所记录的语音被提取到文本并例如通过将文本存储为与模型相关的元数据来覆盖在所产生的3D模型上。音频传感器也可用于向系统100提供语音命令，例如以允许感测的语音激活等。

根据本发明的又一些另外的实施方案，便携式成像设备105、300可安装在移动平台上用于精细控制运动(例如移动机器人和/或臂或内视镜)和/或可以是远距离操纵的和/或预先编程的和/或自主地移动到在物体周围的各种姿势以完成模型。

可基于物体不在扫描期间移动且不变形的假设来产生三维模型。然而，人受验对象可在扫描期期间稍微移动，这可引起3D模型中的伪像。相应地，可变形的模型跟踪可用于联合地估计物体的时变动态形状及其运动。这个信息可与表面重建组合以提供物体且特别是人和/或动物身体部分的更鲁棒的3D模型。

图4示意性示出根据本发明的实施方案的用于产生物体的模型的系统400。系统400类似于系统100，但添加有另外的传感器，如下面讨论的。

系统400包括耦合到处理器420的类似于图1的范围传感器110、可见光图像传感器115和热红外传感器120的范围传感器405、图像传感器410和热红外传感器415。

系统还包括用于从用户捕获语音的麦克风425和用于测量系统400正操作的环境的温度的温度传感器430。

温度传感器430是环境传感器的例子，且其它环境传感器可包括在系统400中，包括例如二氧化碳传感器。

系统400还包括耦合到处理器420的存储器435。存储器435包括由处理器420可执行的指令代码，其用于基于从几个位置捕获的范围数据来产生三维模型并使来自于来自至少两个位置的可见图像数据和热红外数据的数据与三维模型相关。热红外数据基于热红外数据的入射角、在摄像机和在捕获期间的物体之间的距离以及来自温度传感器430的数据与三维模型相关。

相应地，系统400能够选择具有高置信度值的热红外数据，例如接近物体并远离高温区域记录的具有低入射角的热红外数据。因此，可在模型中避免热红外反射和由局部环境影响引起的热红外数据中的误差。

如上面讨论的，用户能够使用语义信息口头地给物体的模型作注解或提供关于在检查中的物体的更多信息，且这样的信息能够由麦克风425捕获。

图5示出系统100的显示器的屏幕截图500，其示出具有可见图像数据510和热红外数据515的三维模型505的渲染。三维模型505相应于人的上部身体，且这个人的上背在屏幕截图500中被观看。

可见图像数据510包括皮肤色调520、毛发颜色525和人的其它视觉标识符。例如，纹身(未示出)或伤疤(未示出)可存在于可见图像数据510中。

热红外数据515包括相应于在人的皮肤上测量的温度的热红外数据。热红外数据515可以是颜色编码的，例如其中紫色相应于大约33.0摄氏度，蓝色相应于大约33.2摄氏度，绿色相应于大约33.5摄氏度，黄色相应于大约33.7摄氏度，以及红色相应于大约34摄氏度。

在图5中提供的例子中，当皮肤的温度在33.0和34.0摄氏度之间时，热红外数据515被渲染在三维模型上。对于低于这个范围的所有温度，显示可见图像数据510，包括皮肤色调520。相应地，一个或多个阈值可用于确定热红外数据是否将被显示。

根据某些实施方案，系统100的用户可调节温度范围，热红外数据覆盖在温度范围上。在一个情形中，用户可选择来选择在整个三维模型之上渲染热红外数据。在另一情形中，用户可选择渲染相应于物体的峰值温度的热红外数据的非常窄的范围。

作为例子，考虑到，在屏幕截图500中渲染的人具有在右肩中的慢性疼痛。因此，在皮肤温度中的不对称性可被清楚地识别，特别是在相应于右肩的右上部分530中。

在皮肤上的表面温度中的变化很低。尽管如此，在热分布中的不对称性是明显的，特别是在右上部分530中，暗示有更多的血液流到未影响的(右)肩中。

图6概略地示出根据本发明的实施方案的计算装置130。

计算装置130包括中央处理器602、系统存储器604和耦合各种系统部件的系统总线606，包括将系统存储器604耦合到中央处理器602。系统总线606可以是几种类型的系统结构中的任一个，包括存储器总线或存储器控制器、外围总线和使用各种总线体系结构中的任一种的局部总线。系统存储器604的结构是本领域中的技术人员公知的，并可包括存储在只读存储器(ROM)中的基本输入/输出系统(BIOS)和一个或多个程序模块，例如操作系统、应用程序和存储在随机存取存储器(RAM)中的程序数据。

计算装置130还可包括用于读取和写入数据的各种接口单元和驱动器。特别是，计算装置130包括分别将硬盘驱动器612和可移动存储器驱动器614耦合到系统总线606的硬盘接口608和可移动存储器接口610。可移动存储器驱动器614的例子包括磁盘驱动器和光盘驱动器。驱动器及其相关计算机可读介质例如数字通用盘(DVD)616提供计算机可读指令、数据结构、程序模块和计算机系统600的其它数据的非易失性存储。单个硬盘驱动器612和单个可移动存储器驱动器614仅为了说明目的而实现，且理解计算装置130可包括几个类似的驱动器。此外，计算装置130可包括用于通过接口与其它类型的计算机可读介质连接的驱动器。

计算装置130可包括用于将设备连接到系统总线606的额外接口。图6示出可用于将设备耦合到系统总线606的通用串行总线(USB)接口618。例如，IEEE 1394接口620可用于将额外的设备耦合到计算装置130。

计算装置130可使用到一个或多个远程计算机或其它设备例如服务器、路由器、网络个人计算机、对等设备或其它通用网络节点、无线电话或无线个人数字助理的逻辑连接来在联网环境中操作。计算装置130包括将系统总线606耦合到局域网(LAN)624的网络接口622。联网环境在办公室、全企业计算机网络和家庭计算机系统中是普通的。

广域网(WAN)例如互联网也可例如经由连接到串行端口接口626的调制解调器单元或经由LAN 624由计算装置130访问。

将认识到，所示和所述的网络连接是示例性的，且可使用建立在计算机之间的通信链路的其它方式。各种公知的协议中的任一个例如TCP/IP、帧中继、以太网、FTP、HTTP等的存在被假设，且计算装置130可在客户端-服务器配置中操作以允许用户从基于web的服务器取回网页。此外，各种常规web浏览器中的任一个可用于显示并操纵在网页上的数据。

计算装置130的操作可由各种不同的程序模块控制。程序模块的例子是执行特定的任务或实现特定的抽象数据类型的例程、程序、对象、部件和数据结构。也可使用其它计算机系统配置，包括手持设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络PC、小型计算机、大型计算机、个人数字助理等来实施本发明。此外，也可在分布式计算环境中实施本发明，其中任务由通过通信网络链接的远程计算设备执行。在分布式计算环境中，程序模块可位于本地和远程内存存储设备中。

相应地，将认识到，计算装置130可由任何适当的处理系统例如适当编程的计算机系统、PC、web服务器、网络服务器等形成。在一个特定的例子中，处理系统201是标准处理系统，其执行存储在非易失性(例如硬盘)存储器上的软件应用，虽然这不是必要的。然而，也将理解，处理系统可以是或可包括任何电子处理设备，例如微处理器、微芯片处理器、逻辑门配置、任选地与实现逻辑例如FPGA(现场可编程门阵列)相关的固件、或任何其它电子设备、系统或布置。术语“电子处理设备”因此预期涵盖任何适当的处理或计算装置，且并没有被规定为限制性的。

也将认识到，虽然在上面的例子中示出单独的计算系统130，这不是必要的，且可选地，计算机系统130的一些或所有功能可构建到手持送受话机(handset)中。例如，手持设备可包括用于产生三维模型的处理器，这无线地传送到单独的显示设备，例如平板计算机、移动电话等。在另一例子中，传感器可集成到便携式设备中，包括传感器例如移动设备，或包括范围和热传感器的类似设备。将进一步认识到，在这样的情况下，在处理要求超过设备的能力的情况下，数据可无线地传送到另一设备用于处理，模型被返回用于实质上实时地显示。

图7示出根据本发明的实施方案的产生物体的三维模型的方法700。

在步骤705中，从范围传感器、图像传感器和热红外传感器接收范围数据、图像数据和热红外数据。范围传感器、图像传感器和热红外传感器具有重叠的视场，并可因此同时从物体捕获数据。范围数据、图像数据和热红外数据各自相应于来自至少两个不同的位置的数据，且一般将包括来自几个不同的位置的数据。

在步骤710中，基于范围数据来产生三维模型。基于来自几个位置的范围数据和几何机构来产生三维模型。

在步骤715中，来自图像数据和热红外数据的数据与三维模型相关。从图像传感器和热红外传感器的至少两个不同的位置捕获数据，因而提供图像和热红外数据的多个单个视图。不同的位置包括任意位置，其中物体的至少一部分在至少两个不同的位置的第一位置上是可见的，而第二部分在至少两个位置的第二位置上是可见的。因此不需要遵循严格的模式或校准摄像机位置。

在步骤720(其为可选的步骤)中，该方法还包括产生相应于三维模型的视图的输出图像。输出图像包括叠加在模型上的相关图像数据的至少部分和相关热红外数据的至少部分。例如，输出图像的一个部分可包含热红外数据，而另一部分包含图像数据。可选地，图像数据和热红外数据可组合在输出图像的同一部分上，如上面讨论的。

因此，模型可合并从热红外数据得到的模型数据和任选地可见图像数据，可见图像数据允许物体的热红外和/或颜色模型被提供。此外，热红外和颜色模型可组合在融合模型中，使得融合模型加亮感兴趣的特定属性。例如，融合模型可显示在大部分模型之上的轮廓，热红外表示只在温度落在预定范围之外的情况下显示。因此可定义模型的参数，包括正常或期望温度范围，温度的指示显示在模型的部分中，其中温度落在正常或期望温度范围之外。

为了产生模型，计算机系统且特别是电子处理设备选择物体表面部分，例如顶点等，并接着识别选定物体表面部分的图像，同时成像设备在相对于物体的至少两个不同的姿势中。图像将包括热红外和/或可见图像，允许温度或颜色被添加到模型。计算机系统然后为每个所识别的图像识别相应于选定物体表面部分的至少一个图像像素，并使用所识别的图像像素来确定模型数据。因此，通过使用来自多个不同的图像的像素，这可帮助减轻反射的效应，导致更可靠的温度和/或颜色表示。

一般，电子处理设备使数据与相应于选定物体表面部分的三维模型中的体素相关。电子处理设备使用与来自不同姿势的图像的识别出的像素相关的数据的加权和来确定模型数据，允许来自物体的表面的反射被解释。在一个例子中，电子处理设备通过使用与在不同图像中的识别出的像素相关的置信度分数来实现此。置信度分数可基于包括下列项中的至少一个的因素：当图像被捕获时的传感器的速度；在传感器的视场中的一个或多个像素的位置；在光线和物体表面之间的角度，光线从物体表面部分延伸到传感器；以及当图像被捕获时的范围。

因此，上面所述的系统可产生具有准确的表面温度信息的大规模3D模型。这可被实现为两个主要过程的结果。首先，连同物体的3D结构或被探索的环境一起同时估计在3D空间中的传感器的轨迹。这通过使用可实时地起作用的SLAM(同时定位和映射)解决方案来完成。其次，应用光线投射方法以将温度和颜色估计准确地分配给来自多个视图的3D模型。这种方法实现多变量加权方案以实现比前面的方法更准确的估计。

系统的输出的可视化以两种形式出现；用于验证当数据正被捕获时的模型的完整性和整体性的在线/实时可视化以及用于深入分析和优化显示特性的离线可视化。这个可视化能力包括将模型转换成允许温度和可见频谱信息被同时观看的多个可选的多峰表示之一。

离线处理后捕获可能是有利的，因为对处理时间的放松的限制允许更精确和彻底的计算被执行，导致相对于实时模型的空间分辨率和准确度。然而将认识到，这将取决于系统将被使用的情况。

为了产生可实时地被可视化的准确3D模型，使用SLAM解决方案，其利用来自范围传感器的范围图像的视频流来持续更新和优化3D体素模型。算法也产生在整个序列中设备的准确的轨迹估计，有6个自由度，即绕着X、Y和Z位置的平移以及绕着所有三个轴的旋转。在这个例子中，GPU(图形处理单元)可被大量利用，以便快速执行这个过程，使得它可赶上范围传感器的帧速率。

从范围传感器接收的第一范围图像被处理以初始化存储在GPU上的体素准确度图。当另外的范围图像被接收到时，它们使用迭代最近点(ICP)算法被递增地配准到这个3D模型。这个过程也对新帧导致摄像机的相对六个自由度姿势的估计，且这个姿势被利用以进一步优化体素准确度图。

热红外数据被校准，使得热红外图像的每个像素包含表面的温度的估计而不是无单位数字值。

遵循此，温度估计可使用热红外图像数据准确地被分配到3D模型。在一个例子中，这个过程考虑影响温度测量的可靠性的各种因素，以及利用大量图像，以便提高在3D模型中的表面的温度的估计。此外，该方法的很多优点同样适用于可见模态，所以技术也用于提高在模型上的颜色的光线投射。

对所有帧给出范围传感器的姿势的估计(其是前面提到的SLAM算法的输出)，可做出对所有它们相应的帧的颜色和热红外摄像机的姿势的估计。估计的准确度取决于几何和时间校准程序的有效性。

对于单个图像，摄像机相对于3D模型的所估计的姿势和摄像机内在参数可用于执行光线投射。这指一个过程，图像中的像素通过这个过程与3D模型中的顶点相关。

给定具有很多帧的视频序列，大部分顶点将具有很多图像和因此与它们相关的很多光线(像素)。自然的方法将简单地使用单个像素值来将估计分配给每个顶点。更复杂的方法可对与每个顶点相关的像素值取平均，这可能减少噪声并实现在准确度上的稍微提高。然而，这假设每个光线(在像素和顶点之间的关联)是同等有效的。

然而对于优选的方法，基于像素值的加权和来分配温度(和颜色)。光线的总权重Wray(相应于图像像素)基于反映光线对估计顶点的值多么可靠的多个因素。

在一个例子中，可考虑用于将置信度水平分配到光线的下面的因素(对于热红外或可见成像方式，除非另有说明)，包括摄像机的速度、在视场中的像素的位置、在光线和顶点的表面法线之间的角度、顶点离摄像机的距离、在操作范围上的传感器或传感器校准的有效性以及外部因素例如外部环境温度。

例如，因为传感器的速度高，例如如果手持成像设备更快地移动(在平移或旋转中)，则在因而产生的图像中的运动模糊将降低光线的准确度。相应地，对于较高的速度，像素被给予较低的置信度水平。关于像素的位置，基于更接近中心的点具有更小的失真和更小的噪声的假设，更低的置信度被给予与位于远离摄像机中心的像素相关的光线。对于在光线和顶点的法线之间的角度，由于在姿势估计中的轻微误差在这些角度下有更大的影响的事实，更接近于平行于表面的光线可能更不准确，且因此这些被给予更低的置信度分数。在考虑物体表面离传感器的距离时，更高的置信度被分配到接近摄像机的表面一直到某个距离。如果需要，基于校准模型来进行传感器校准。最后，对于外部因素，这些可取决于来自传感器的读数。所以例如，更低的置信度可被分配到接近周围环境温度的像素，因为这些可能更难以更准确地测量。

然而，将认识到，可使用因素的任何适当组合。

在任何情况下，一旦为每个确定了总置信度分数，这就允许在多个图像中的像素的值基于置信度分数被组合，从而提供可与物体表面的部分例如顶点相关的总值(温度或颜色)。以这种方式，可为物体的整个表面建立温度和/或颜色剖面，同时允许反射等被解释，使得物体的三维模型代表物体的真实温度或颜色。

总之，本发明的一些实施方案的优点包括产生物体的整体的和几何上准确的三维模型(包括热红外和图像数据)的能力，而不需要复杂和/或昂贵的硬件。

本发明使热红外信息的快速三维可视化变得可能，这在火灾管理和响应的背景中以及在电气或结构建筑检查内是特别有利的。

根据某些实施方案，可在单个模型上一起观看图像和热红外数据，这使问题的更准确的局部化变得可能。例如，在电气维护背景中，本发明使用户能够确定很多电气连接中的哪个由于有故障的连接而异常地变热。图像数据使用户能够观看基于文本或颜色的标签，而热红外数据可用于检测由故障引起的热。

此外，本发明的实施方案能够在黑暗中操作，这在明确的夜间时间分析被诸如建筑能量审计的应用需要时是有利的。此外，患者可能宁愿在黑暗而不是亮的房间中被扫描。

最后，本发明的实施方案并不一定需要外部跟踪设备，以便准确地估计设备的姿势，并可使用简单的现成部件来实现。

上面的描述主要聚焦于在医学和能量审计领域中的应用，然而本发明在各种其它应用中是有用的。这些包括在制造部门中的应用，其中模具的热红外剖面可被创建以确定模具磨损、裂缝和不适当的冷却和农业部门，其中例如水果、蔬菜和谷物的质量可被确定。特别是，在谷物中的真菌感染的早期检测可被执行，因为热红外数据可与光学图像数据集成在一起以检测由颜色差异引起的不同真菌物种。

例如，可在医学领域中使用系统。这可包括在工作场所中执行健康检查，监控效应例如振动白手指(由于某些工具和机器的使用而引起循环/神经损坏)，提高解压缩时间和驾驶员的体验，检查皮肤中的血流以测试生理和交感神经系统响应，温度记录器成像以针对机场和其它运输枢纽的发烧进行扫描、以及搜索和营救情况。系统还可用于诊断或批准类风湿性关节炎、骨关节炎、网球肘病、外周循环、黑素瘤、其它癌症(乳腺癌)、冷冻疗法的生效和糖尿病的治疗。

此外，皮肤疾病和失调、肌肉骨骼疾病以及可留下热签名的疾病例如癌症的诊断。这可包括温度记录法以检测乳腺癌。这些疾病的监控需要在周期性诊察期间得到多个读数，这需要固定系统来每次从确切的空间位置获取读数。便携式3D系统可减小这个需要。便携式技术可采取在医院(远程位置)之外的诊断和医疗服务。

在农业领域中，可在水果和蔬菜的质量评估、成熟期的测量、在树上的水果的大小和数量、小麦类别识别、在烹调期间和微波处理期间谷物和油苗的不均匀加热的定量、预测农作物中的缺水和计划灌溉调度、水果和蔬菜中的擦伤检测、植物中的疾病和病菌检测中使用系统。也存在使用热成像系统用于在谷物中的真菌感染的早期检测、集成热成像与光学成像以利用由不同的真菌物种引起的颜色差异的可能性。

可在建筑中使用系统，用于在完成建筑物之后和在操作时期期间建筑物开发商的诊断、在正面中的热损失的确定、顶骨间和膨胀接缝的缺陷的检测、材料的固化和/或干燥的监控等。

可例如在范围从火灾攻击或检测、搜索/营救、热点检测、检修活动、检测危险材料的位置(包括气体的检测)的现场操作中由火灾服务使用系统。

系统具有工业应用，例如监控电气/安装/设备检查(松散的保险丝连接、电路中的过载电压)、机械设备检查(过热部件、气体和液体泄漏)、工厂建筑物诊断(在地板和墙壁上的湿气和水损坏)、过程监控例如固化、干燥和热处理、为了成本节约目的而监控在工业环境中的能量损失(未达到绝缘的有故障的HVAC系统)、为了安全和操作效率目的的罐内液面、管线、排烟管、气体烟道和锅炉的检查、在聚乙烯管中的焊接缺陷的检测(每天越来越多地被使用的聚乙烯管的使用，包括气体管线)。

在制造中，系统可用于飞机的涡轮轴引擎的生产(用于创建部件的图像的3D技术的使用)，在诸如塑料、玻璃、金属和陶瓷的工业中创建模具的热剖面以确定模具，识别磨损、裂缝和不适当的冷却，提高模具设计等。这可包括监控以非常高的饱和水平覆盖的管线或发光的铝或不锈钢薄板金属覆盖物，这目前由于所遇到的表面的高热反射率/低发射率而很难，这可使用当前的系统来消除。

在家庭环境中，系统可用于为了成本节约目的而监控成本损失(建筑物和设备检查)，识别破坏性有害动物(昆虫、啮齿动物、白蚁)。

系统可用于安全和监督，例如周界保护、访问控制、夜间视觉监控系统等，以及为汽车提供增强的视觉系统(来自行人、骑自行车的人、动物和其它路旁物体的图像)。

也将认识到，系统可被实现有额外的特征，例如为了更好的细节的增强的图像/信号处理、用于自动检测的视频分析、治疗评估和响应、更长的范围性能和更好的图像质量的高分辨率、更高性能光源和提高的光学器件。

也将认识到，上面描述的使用并没有被规定为限制性的，以及可在各种各样的活动和情况下使用装置。

为了描述的目的向相关领域中的普通技术人员提供了本发明的各种实施方案的上述描述。它并不意欲为详尽性的或将本发明限制到单个公开的实施方案。如上面提到的，对本发明的很多可选形式和变化将对在上面教导的领域中的技术人员明显。相应地，虽然特别公开了一些可选的实施方案，但是其它实施方案将是明显的或由本领域中的普通技术人员相对容易发展。相应地，这个专利说明书意欲包括在本文讨论的本发明的所有可选形式、修改和变化以及落在上面描述的发明的精神和范围内的其它实施方案。

Claims

1.一种用于产生物体的三维模型的系统，所述系统包括：

便携式手持成像设备，其包括：

壳体；

连接到所述壳体的多个传感器；

耦合到所述多个传感器的至少一个电子处理设备，其中，所述电子处理设备：

当所述成像设备处于相对于所述物体的至少两个不同的姿势中时，从所述多个传感器确定：

指示所述物体的范围的范围数据；以及

指示所述物体的热红外图像的热红外数据，其中来自不同姿势的至少两个热红外图像重叠，使得所述至少两个热红外图像包括相同的物体表面部分；

至少部分地基于来自所述至少两个不同的姿势的所述范围数据产生三维模型；

通过以下方式确定模型数据：

选择物体表面部分；

当所述成像设备处于相对于所述物体的至少两个不同的姿势中时，识别所选择的物体表面部分的图像；

识别对应于每个所识别的图像的所选择的物体表面部分的至少一个图像像素；

使用与所识别的像素相关的置信度分数确定与所识别的像素相关的数据的加权和，其中，对于热红外图像，基于与所识别的像素相关的温度值来确定所述置信度分数；以及

使用与所识别的像素相关的数据的加权和来确定所述模型数据；以及

使从来自所述至少两个不同的姿势的所述热红外数据得到的模型数据与所述三维模型相关以从而提供所述物体的三维热红外模型。

2.如权利要求1所述的系统，其中，所述电子处理设备：

确定指示所述物体的可见图像的颜色数据；以及

使从来自所述至少两个不同的姿势的所述可见图像数据得到的模型数据与所述三维模型相关以从而提供所述物体的三维颜色模型。

3.如权利要求2所述的系统，其中，所述电子处理设备产生所述物体的三维融合热红外和颜色模型。

4.如权利要求2或权利要求3所述的系统，其中，所述系统包括

连接到所述壳体的范围传感器，所述范围传感器感测所述物体的范围；

连接到所述壳体的可见光图像传感器，所述可见光图像传感器感测所述物体的可见图像；以及

连接到所述壳体的热红外图像传感器，所述热红外图像传感器感测所述物体的热红外图像。

5.如权利要求4所述的系统，其中，所述电子处理设备：

确定所述手持成像设备的相对姿势；以及

使用所述相对姿势来产生所述三维模型。

6.如权利要求5所述的系统，其中，所述电子处理设备使用来自至少一些不同的姿势的范围数据、图像数据和热红外数据中的至少一个来确定所述手持成像设备的所述相对姿势。

7.如权利要求6所述的系统，其中，所述电子处理设备：

估计在所述范围传感器与热红外图像传感器和可见光图像传感器中的至少一个之间的时序偏移；以及

基于所述偏移来估计与所述图像数据和/或所述热红外数据相关的姿势。

8.如权利要求7所述的系统，其中，所述电子处理设备：

使用所述范围传感器和姿势传感器中的至少一个来确定设备姿势；

确定所述手持成像设备的运动路径；

基于所述设备姿势和所述运动路径来确定可见光图像传感器姿势和热红外图像传感器姿势。

9.如权利要求5所述的系统，其中，所述系统包括姿势传感器，并且其中，所述电子处理设备使用来自所述姿势传感器的姿势数据来确定所述相对姿势。

10.如权利要求9所述的系统，其中，所述姿势传感器是定向传感器和惯性测量单元中的至少一个。

11.如权利要求1所述的系统，其中，对于热红外图像，所述模型数据包括指示温度的模型热红外数据，并且对于可见图像，所述模型数据包括指示颜色的模型颜色数据。

12.如权利要求1所述的系统，其中，所述电子处理设备使所述模型数据与在对应于所选择的物体表面部分的所述三维模型中的体素相关。

13.如权利要求1所述的系统，其中，所选择的物体表面部分是顶点。

14.如权利要求1所述的系统，其中，所述电子处理设备基于包括下列项中的至少一个的因素来确定所述置信度分数：

当所述图像被捕获时的传感器的速度；

在所述传感器的视场中的一个或多个像素的位置；

在光线和物体表面之间的角度，所述光线从所述物体表面部分延伸到所述传感器；以及

当所述图像被捕获时的所述范围。

15.一种产生物体的三维模型的方法，所述方法包括在电子处理设备中：

当成像设备处于相对于所述物体的至少两个不同的姿势中时，从多个传感器确定：

指示所述物体的范围的范围数据；以及

通过以下方式确定模型数据：

选择物体表面部分；

16.一种用于产生物体的三维模型的系统，所述系统包括：

便携式成像设备，其包括：

壳体；

连接到所述壳体的范围传感器；

连接到所述壳体的可见光图像传感器；以及

连接到所述壳体的热红外图像传感器，其中，所述范围传感器、所述可见光图像传感器和所述热红外图像传感器具有重叠的视场；

耦合到所述便携式成像设备的所述范围传感器、所述可见光图像传感器和所述热红外图像传感器的至少一个处理器；以及

耦合到所述至少一个处理器的存储器，其包括由所述处理器可执行来执行下列操作的指令代码：

接收来自所述范围传感器的范围数据、来自所述可见光图像传感器的图像数据和来自所述热红外图像传感器的热红外数据，其中所述热红外数据指示所述物体的热红外图像，并且来自不同姿势的至少两个热红外图像重叠，使得所述至少两个热红外图像包括相同的物体表面部分；

基于从几个位置捕获的所述范围数据来产生三维模型；

通过以下方式确定模型数据：

选择物体表面部分；

使来自于来自至少两个位置的所述图像数据和所述热红外数据的数据与所述三维模型相关。

17.如权利要求16所述的系统，其中，使所述图像数据和所述热红外数据与所述三维模型相关包括：估计在所述范围传感器与所述可见光图像传感器和所述热红外图像传感器中的至少一个之间的时序偏移；以及基于所述偏移来估计与所述图像数据和/或所述热红外数据相关的姿势。

18.如权利要求16或权利要求17所述的系统，其中，所述热红外数据至少部分地基于入射角与所述三维模型相关。

19.如权利要求16或权利要求17所述的系统，其中，所述便携式成像设备还包括定向传感器。

20.如权利要求16或权利要求17所述的系统，其中，所述系统还包括至少一个环境传感器，其中，所述热红外数据至少部分地基于来自所述至少一个环境传感器的数据与所述三维模型相关。

21.如权利要求20所述的系统，其中，所述至少一个环境传感器包括二氧化碳传感器、湿度传感器和/或温度传感器。

22.如权利要求16或权利要求17所述的系统，其中，所述系统还包括用于在所述系统的操作期间记录操作员的语音的音频传感器。

23.如权利要求16或权利要求17所述的系统，其中，所述便携式成像设备的所述壳体包括细长部分，其中，所述范围传感器、所述可见光图像传感器和所述热红外图像传感器连接到所述细长部分的端部。

24.如权利要求16或权利要求17所述的系统，其中，所述便携式成像设备的所述壳体包括用于激活所述范围传感器、所述可见光图像传感器和所述热红外图像传感器中的至少一个的触发器。

25.如权利要求16或权利要求17所述的系统，其中，所述至少一个处理器至少部分地通过无线数据通信链路耦合到所述便携式成像设备的所述范围传感器、所述可见光图像传感器和所述热红外图像传感器。

26.如权利要求16或权利要求17所述的系统，其中，所述热红外图像传感器包括热红外传感器。

27.如权利要求16或权利要求17所述的系统，其中，所述存储器还包括由所述处理器可执行的指令代码，所述指令代码用于：

产生对应于所述三维模型的视图的输出图像，所述输出图像包括叠加在所述模型上的所相关的图像数据的至少一部分和叠加在所述模型上的所相关的热红外数据的至少一部分。

28.如权利要求27所述的系统，其中，通过在所述模型的第一部分上渲染所相关的图像数据的至少一部分和在所述模型的第二部分上渲染所相关的热红外数据的至少一部分来产生所述输出图像。

29.如权利要求16或权利要求17所述的系统，其中，所述三维模型对应于人的身体的至少一部分，且所相关的图像数据包括所述人的皮肤色调。

30.如权利要求16或权利要求17所述的系统，其中，所述存储器还包括由所述处理器可执行来基于所述图像数据和/或所述热红外数据来改进所述三维模型的指令代码。

31.如权利要求16或权利要求17所述的系统，其中，所述便携式成像设备还包括显示器，所述显示器用于在数据被捕获时实时地显示从所述范围传感器、所述可见光图像传感器和所述热红外图像传感器中的一个或多个捕获的数据。

32.一种产生物体的三维模型的方法，所述方法包括：

从范围传感器、可见光图像传感器和热红外图像传感器接收范围数据、图像数据和热红外数据，其中，所述范围传感器、所述可见光图像传感器和所述热红外图像传感器具有重叠的视场，并且其中，所述范围数据、所述图像数据和所述热红外数据各自对应于来自所述范围传感器、所述可见光图像传感器和所述热红外图像传感器的至少两个不同的位置的数据，并且其中所述热红外数据指示所述物体的热红外图像，并且来自不同姿势的至少两个热红外图像重叠，使得所述至少两个热红外图像包括相同的物体表面部分；

基于所述范围数据产生三维模型；

通过以下方式确定模型数据：

选择物体表面部分；

当成像设备处于相对于所述物体的至少两个不同的姿势中时，识别所选择的物体表面部分的图像；

使来自对应于所述至少两个不同的位置的所述图像数据和所述热红外数据的数据与所述三维模型相关。

33.如权利要求32所述的方法，其中，所述至少两个不同的位置包括任意位置，其中，在所述至少两个不同的位置的第一位置上可见的物体的至少一部分在所述至少两个不同的位置的第二位置上是可见的。

34.如权利要求33所述的方法，其中，所述任意位置包括由所述范围传感器、所述可见光图像传感器和所述热红外图像传感器跨所述物体的运动引起的重叠视图。

35.如权利要求32到34中任一项所述的方法，还包括产生对应于所述三维模型的视图的输出图像，所述输出图像包括叠加在所述模型上的所相关的图像数据的至少一部分和叠加在所述模型上的所相关的热红外数据的至少一部分。