CN112912232B - 热映射 - Google Patents

Abstract

本文中描述了用于通过电子设备进行热映射的方法的示例。在一些示例中，获得图。在一些示例中，获得以第一分辨率的第一热图像。在一些示例中，基于图和第一热图像使用神经网络来确定以第二分辨率的第二热图像。在一些示例中，第二分辨率大于第一分辨率。

Description

热映射

背景技术

三维（3D）实体零件可以使用增材制造从数字模型产生。增材制造可以被用于快速原型制造（prototyping）、模具生成、模具母版生成和短期制造中。增材制造涉及构建材料的连续层的施加。这与传统的加工过程不同，传统的加工过程通常去除材料以产生最终零件。在一些增材制造技术中，可以固化或融合（fuse）构建材料。

附图说明

图1是可以在热映射的示例中使用的三维（3D）打印设备的示例的简化等距视图；

图2是图示可以被实现以执行热映射的功能的示例的框图；

图3是可以在热映射中使用的装置的示例的框图；

图4是图示用于热映射的方法的示例的流程图；

图5是图示神经网络架构的示例的图；

图6是图示神经网络架构的另一示例的图；

图7是图示神经网络训练和预测的示例的框图；

图8包括图示热映射的示例的图像；以及

图9包括图示热映射的另一示例的图像。

具体实施方式

增材制造可以被用于制造3D对象。三维（3D）打印是增材制造的示例。3D打印的一些示例可以以像素级别选择性地沉积试剂（例如，液滴），以使得能够实现对体素级别能量沉积的控制。例如，热能可以被投射到构建区域中的材料上方，在该构建区域中，取决于其中沉积试剂的体素，在材料中可能发生相变（phase change）和固化。

以打印过程分辨率（例如，在空间上逐体素和/或在时间上逐层）预测瞬态热行为可以被用于改善离线打印调整和/或在线打印控制。然而，由于缺乏材料如何行为方面的定量知识，导出用于预测瞬态热行为的定量模型是困难的。

热行为可以被映射为热图像。热图像是指示区域内温度（或热能）的数据集。热映射包括获得（例如，感测和/或捕获）一个或多个热图像和/或计算（例如，预测）一个或多个热图像。在一些示例中，机器学习模型（例如，一个或多个神经网络）可以被用于计算预测的热图像。预测的热图像是使用机器学习模型计算的热图像。例如，一个或多个神经网络可以利用一个或多个连续色调图（例如，指示一种或多中试剂在构建区域中的放置、数量和/或定时的体素级别机器指令）和/或一个或多个热图像来预测热图像。

捕获的热图像是用传感器感测或捕获的热图像。用于捕获热图像的传感器在分辨率方面中可能是有限的。例如，增材制造设备中的内置传感器可以针对在线（例如运行时）热成像提供相对低的分辨率（例如，31×30像素、80×60像素等）。由于费用、大小和/或可能阻止高分辨率传感器被利用的其他考虑，利用内置于增材制造设备的低分辨率热图像传感器可能是有益的。

在一些方法中，低分辨率热成像可能不足以支持体素级别热预测。例如，用于放大（upscale）的一些方法（例如，一些基于插值的方法、统计方法和/或基于示例的方法）不足以精确地将图像分辨率放大相对大的倍数（例如，8、20等）。例如，一些方法可能提供2到4倍的有限放大，并且可能缺乏精度。用于提高图像分辨率的这些方法中的一些基于视觉光谱图像，并且可能涉及一对一映射。因为融合层热行为遵循物理定律，所以存在提高热图像的分辨率的附加潜力。然而，许多方法不是针对热图像而设计的，并且不是为了利用附加的有用信息和实现物理上一致的热感测增强而设计的。

本文中描述的技术的一些示例可以包括基于深度神经网络的实际模型训练方法，该方法可以利用低分辨率热感测和一个或多个连续色调图作为输入来实现体素级别热预测。在一些示例中，可以实现热感测的大约20倍分辨率的热图像预测（例如，从31×30像素或80×60像素到640×480像素）。可以从附加信息（例如，连续色调图）推断缺失的细节。因此，本文中描述的技术的一些示例可能显著超过其他方法。一些示例可以使得能够实现在线原位体素级别热图像预测和/或在线闭环反馈控制。

应当注意，虽然塑料可以被用作说明本文中所描述的方法中的一些方法的方式，但是本文中所描述的技术可以被应用于增材制造的一些示例。一些增材制造技术可以是基于粉末的，并且由粉末融合驱动。本文中所描述的方法的一些示例可以被应用于基于粉末床融合的增材制造，诸如选择性激光熔化（SLM）、选择性激光烧结（SLS）等。本文中描述的方法的一些示例可以被应用于增材制造，其中由液滴携带的试剂被用于体素级别热调节。应当注意，在一些示例中可以利用或可以不利用试剂。还应当注意，虽然本文中将一些分辨率描述为示例，但是本文中描述的技术可以被应用于不同的分辨率。

如本文中所使用的，术语“体素”及其变型可以指代“热体素”。在一些示例中，热体素的大小可以被定义为在热学上有意义的最小值（例如，大于42微米或每英寸600点（dpi））。对于每英寸150点（dpi），体素大小的示例是25.4毫米（mm）/150≈170微米。最大体素大小可以是大约490微米或50 dpi。术语“体素级别”及其变型可以指代对应于体素大小的分辨率、尺度（scale）或密度。术语“低分辨率”及其变型可以指代低于体素级别的分辨率、尺度或密度的分辨率、尺度或密度。例如，低分辨率低于体素级别分辨率。低分辨率热成像可能取决于制造设备（例如机器、打印机等）中的像素分辨率。例如，低分辨率热成像中的像素大小的范围可以从11 mm到37 mm变化。虽然给出了低分辨率大小的示例，但是可以利用其他低分辨率大小。

贯穿附图，相同的参考编号可以表示相似但不一定相同的元素。附图不一定按比例绘制，并且一些部分的大小可能被放大以更清楚地图示所示出的示例。此外，附图提供了与描述一致的示例和/或实现；然而，描述不限于附图中提供的示例和/或实现。

图1是可以在热映射的示例中使用的3D打印设备100的示例的简化等距视图。3D打印设备100可以包括控制器116、数据存储装置114、构建区域102、打印头108、融合剂容器110、细化剂容器118、辊（roller）130、材料容器122、热投射器104和/或热传感器106。图1中的3D打印设备100的示例可以包括未示出的附加组件，并且可以在不脱离本公开中的3D打印设备100的范围的情况下去除和/或修改所描述的组件中的一些。3D打印设备100的组件可以不按比例绘制，并且因此可以具有不同于所示出的大小和/或配置。

在图1的示例中，3D打印设备100包括融合剂容器110、融合剂112、细化剂容器118、细化剂120、材料容器122和材料124。在其他示例中，3D打印设备100可以包括更多或更少的容器、试剂、料斗（hopper）和/或材料。材料容器122是存储材料124的容器，所述材料124可以由辊130施加（例如，涂（spread））到构建区域102上以用于3D打印。融合剂容器110是存储融合剂112的容器。融合剂112是控制摄入（intake）热强度的物质（例如，液体、粉末等）。例如，可以选择性地施加融合剂112以使所施加的材料124随着从热投射器104施加的热量而相变，和/或与材料124的另一层融合。例如，其中已经施加了融合剂112的材料124的区域可以最终固化成被打印的对象。细化剂120是控制输出（outtake）热强度的物质（例如，液体、粉末等）。例如，可以选择性地将细化剂120施加到被打印对象的细化边缘。

构建区域102是可以在其上执行添加剂制造的区域（例如，表面）。在一些配置中，构建区域102可以是“构建体积”的基础，“构建体积”可以包括基础之上的体积。如本文中所使用的，术语“构建区域”可以指代构建体积的基础和/或构建体积的另一部分（例如，在基础之上的另一平面）。

辊130是用于将材料124施加到构建区域102的设备。为了打印3D对象，辊130可以连续地施加（例如，涂）材料124（例如，粉末），并且打印头108可以连续地施加和/或输送融合剂112和/或细化剂120。热投射器104是将能量（例如，热能、热量等）输送到构建区域102中的材料124、融合剂112和/或细化剂120的设备。例如，可以将细化剂112施加在材料124层上，其中（材料124的）颗粒旨在融合在一起。可以施加细化剂120来修改融合并且产生精细的细化和/或光滑的表面。暴露于能量（例如，来自热投射器104的热能）以及试剂（例如，融合剂112和细化剂120）与材料124之间的反应的区域可以使材料124选择性地融合在一起以形成对象。

打印头108是用于施加一种或多种物质（例如，融合剂112和/或细化剂120）的设备。打印头108可以是例如热喷墨打印头、压电打印头等。打印头108可以包括一个或多个喷嘴（未示出），融合剂112和/或细化剂120通过所述一个或多个喷嘴被挤出（extrude）。在一些示例中，打印头108可以跨越构建区域102的维度。尽管描绘了单个打印头108，但可以使用跨越构建区域102的维度的多个打印头108。此外，一个或多个打印头108可以被定位在一个或多个打印杆（print bar）中。打印头108可以被附接到托架（图1中未示出）。托架可以在一个或多个维度上在构建区域102上方移动打印头108。

材料124是用于制造对象的物质（例如粉末）。可以从材料容器122移动（例如，铲取（scoop）、提升和/或挤出等）材料124，并且辊130可以将材料124施加（例如，涂）到构建区域102上（例如，在当前层的顶部上）。在一些示例中，辊130可以跨越构建区域102的维度（例如，与打印头108相同的维度或者与打印头108不同的维度）。尽管描绘了辊130，但是可以利用其他方式将材料124施加到构建区域102。在一些示例中，辊130可以被附接到托架（图1中未示出）。托架可以在一个或多个维度上在构建区域102上方移动辊130。在一些实现中，可以利用多个材料容器122。例如，两个材料容器122可以在构建区域102的相对侧上实现，这可以允许材料124通过辊130在两个方向上涂。

在一些示例中，热投射器104可以跨越构建区域102的维度。尽管描绘了一个热投射器104，但是可以使用跨越构建区域102的维度的多个热投射器104。此外，一个或多个热投射器104可以被定位在一个或多个打印杆中。热投射器104可以被附接到托架（图1中未示出）。托架可以在一个或多个维度上在构建区域102上方移动热投射器104。

在一些示例中，打印头108、辊130和热投射器104中的每个可以被分离地容纳和/或可以独立地移动。在一些示例中，打印头108、辊130和热投射器104中的两个或更多个可以被容纳在一起和/或可以一起移动。在一个示例中，打印头108和热投射器104可以被容纳在跨越构建区域102的一个维度的打印杆中，而辊130可以被容纳在跨越构建区域102的另一维度的托架中。例如，辊130可以在构建区域102上方的通过（pass）中施加材料124的层，其之后可以是打印头108和热投射器104在构建区域102上方的一次或多次通过。

控制器116是计算设备、基于半导体的微处理器、中央处理单元（CPU）、图形处理单元（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）和/或其他硬件设备。控制器116可以经由通信线路（未示出）被连接到3D打印设备100的其他组件。

控制器116可以控制致动器（未示出）以控制3D打印设备100的组件的操作。例如，控制器116可以控制控制打印头108的移动（沿着x轴、y轴和/或z轴）的一个或多个致动器、控制辊130的移动（沿着x轴、y轴和/或z轴）的一个或多个致动器、和/或控制热投射器104的移动（沿着x轴、y轴和/或z轴）的一个或多个致动器。控制器116还可以控制一个或多个致动器，该致动器控制要由打印头108从融合剂容器110和/或细化剂容器118沉积的融合剂112和/或细化剂120的量（例如，比例）。在一些示例中，控制器116可以控制沿着z轴升高和降低构建区域102的一个或多个致动器。

控制器116可以与数据存储装置114通信。数据存储装置114可以包括机器可读指令，该机器可读指令使控制器116控制材料124的供应，控制向打印头108供应融合剂112和/或细化剂120，控制打印头108的移动，控制辊130的移动，和/或控制热投射器104的移动。

在一些示例中，控制器116可以控制辊130、打印头108和/或热投射器104以基于3D模型来打印3D对象。例如，控制器116可以利用基于3D模型的一个或多个连续色调图来控制打印头108。连续色调图是指示用于打印物质（例如，融合剂112或细化剂120）的一个或多个位置（例如，区域）的数据集。在一些示例中，连续色调图可以包括或指示用于打印物质的机器指令（例如，体素级别机器指令）。例如，融合剂连续色调图指示用于打印融合剂112的坐标和/或量。在示例中，细化剂连续色调图指示用于打印细化剂120的坐标和/或量。在一些示例中，连续色调图可以对应于3D模型的二维（2D）层（例如2D切片、2D横截面等）。例如，可以处理3D模型以产生与3D模型的多个层相对应的多个连续色调图。在一些示例中，连续色调图可以被表达为值的2D网格，其中每个值可以指示是否要在2D网格上的位置处打印试剂和/或试剂的量。例如，2D网格中的值的位置可以对应于构建区域102中的位置（例如，构建区域102处或在其之上的特定水平（z）的位置（x，y））。在一些示例中，连续色调图可以是前述2D网格或阵列的压缩版本（例如，四叉树）。

数据存储装置114是机器可读存储介质。机器可读存储装置是存储可执行指令和/或数据的任何电子、磁性、光学或其他物理存储设备。机器可读存储介质可以是例如随机存取存储器（RAM）、电可擦除可编程只读存储器（EEPROM）、存储驱动器、光盘以及诸如此类。机器可读存储介质可以被编码有用于控制3D打印设备100的可执行指令。计算机可读介质是可由处理器或计算机读取的机器可读存储介质的示例。

热传感器106是感测或捕获热数据的设备。热传感器106可以被集成到机器（例如，打印机）中、安装在机器（例如，打印机）中和/或以其他方式包括在机器（例如，打印机）中。在一些示例中，热传感器106可以捕获构建区域102的热图像。例如，热传感器106可以是捕获构建区域102（例如，构建区域102中的施加材料）的热图像的红外热传感器（例如，相机）。在一些示例中，热传感器106可以在制造（例如，打印）期间捕获热图像。例如，热传感器106可以在线和/或实时捕获热图像。

热图像是指示区域中的温度（或热能）的数据集。可以从热传感器106捕获（例如，感测）或者可以计算（例如，预测）热图像。例如，热传感器106可以捕获层的热图像以产生捕获的热图像。

在一些示例中，捕获的热图像可以是感测的温度（或热能）的二维（2D）网格。在一些示例中，2D网格中的每个位置可以对应于构建区域102中的位置（例如，构建区域102处或在其之上的特定水平（z）的位置（x，y））。一个或多个热图像可以指示构建区域102上方的热变化（例如，温度变化）。例如，构建区域102上方的热感测可以指示（例如，捕获和封装）环境复杂性和不均匀热扩散率（heterogeneous thermal diffusivity）。在一些方法中，一个或多个热图像可以被变换以与一个或多个连续色调图对准（例如，与一个或多个连续色调图配准）。

在一些示例中，控制器116可以从热传感器106接收层的捕获的热图像。例如，控制器116可以命令热传感器106捕获热图像和/或可以从热传感器106接收捕获的热图像。在一些示例中，热传感器106可以针对正在被制造的对象的每层捕获热图像。捕获的热图像是以一定的分辨率的。在一些示例中，捕获的热图像的分辨率低于体素级别分辨率。例如，捕获的热图像的分辨率可能是以低分辨率的。低分辨率的示例包括31×30像素和80×60像素。每个捕获的热图像可以作为热图像数据128被存储在数据存储装置114中。

在一些示例中，数据存储装置114可以存储神经网络数据126、热图像数据128和/或增强的热图像数据129。神经网络数据126包括定义一个或多个神经网络的数据。例如，神经网络数据126可以定义一个或多个节点、节点之间的一个或多个连接、一个或多个网络层和/或一个或多个神经网络。神经网络的示例包括卷积神经网络（CNN）（例如，基本CNN、解卷积神经网络、初始模块（inception module）、残差神经网络（residual neural network）等）和循环神经网络（RNN）（例如，基本RNN、多层RNN、双向RNN、融合RNN、时钟机构（clockwork）RNN等）。一些方法可以利用RNN的一个或多个变型（例如，长短期存储单元（LSTM）、窥视孔（peephole）LSTM、无输入门（no input gate）（NIG）、无遗忘门（no forgetgate）（NFG）、无输出门（no output gate）（NOG）、无输入激活功能（NIAF）、无输出激活功能（NOAF）、无窥视孔（NP）、耦合输入和遗忘门（CIFG）、全门循环（full gate recurrence）（FGR）、门控循环单元（GRU）等）。可以利用一个或多个神经网络的不同深度。

在一些示例中，控制器116使用一个或多个神经网络（由神经网络数据126定义）来预测热图像。例如，控制器116可以使用神经网络或多个神经网络基于捕获的热图像或多个捕获的热图像和连续色调图或多个连续色调图（例如，融合连续色调图和细化连续色调图）来计算（例如，预测）层的预测热图像。一个或多个连续色调图可以被用作对一个或多个神经网络的输入。例如，在一些方法中可以使用一个或多个体素级别连续色调图，因为一个或多个连续色调图可以使得能够实现体素级别能量控制和/或可以提供信息以相对于捕获的热图像的分辨率增加预测的热图像的分辨率。

预测的热图像是以一定的分辨率的。热图像的分辨率可以大于捕获的热图像的分辨率。在一些示例中，预测的热图像是以体素级别分辨率的。体素级别分辨率的示例可以是640×480像素。一个或多个预测的热图像可以作为增强的热图像数据129被存储在数据存储装置114中。一个或多个预测的热图像可以被“增强”，因为一个或多个预测的热图像的分辨率可以大于一个或多个捕获的热图像的分辨率。如本文中所使用的，术语“增强”及其变型指的是基于一个或多个连续色调图使用神经网络来增加热图像分辨率。

预测、核算或计算预测的热图像可以包括在形成层的时间之前、之时或之后计算层的预测的热图像。因此，可以在形成层之前、期间和/或之后“预测”针对层的热图像。例如，可以针对仍尚未施加和/或打印的层预测热图像。附加地或替代地，可以在施加和/或打印之后的时间针对层预测热行为（例如，热图像）。如本文中所使用的，术语“预测”及其变型可以表示用机器学习模型（例如，一个或多个神经网络）的计算。在一些方法中，可以独立于捕获层的热图像来计算层的预测的热图像。

在一些示例中，预测的热图像可以对应于在与捕获的热图像对应的层之后的层。例如，捕获的热图像可以对应于先前层k-1，并且预测的热图像可以对应于层k。应当注意，在一些示例中，在计算中也可以利用先前层的多个捕获的热图像。一个或多个连续色调图可以对应于与对应于预测的热图像的层相同的层（例如，层k）和/或对应于一个或多个先前层。

在一些示例中，预测的热图像可以对应于与对应于捕获的热图像的层相同的层。例如，捕获的热图像可以对应于层k，并且预测的热图像可以对应于层k。应当注意，在一些示例中，在计算中也可以利用先前层的多个捕获的热图像。一个或多个连续色调图可以对应于与对应于预测的热图像的层相同的层（例如，层k）和/或对应于一个或多个先前层。

连续色调图可以是试剂放置的表示（例如，用于融合剂的放置和/或数量和/或用于细化剂的放置和/或数量）。尽管给出了连续色调图作为输入到一个或多个神经网络中的数据的示例，但是除了连续色调图之外或者从连续色调图替代地，可以利用其他信息或数据。例如，切片可以被用于协助预测热图像和/或可以被用作替代学习数据集。特别地，在一些示例中，代替一个或多个连续色调图或者除了一个或多个连续色调图之外可以使用切片。

应当注意，在一些示例中，可以利用其他热图像（例如，体素级别捕获的热图像）来训练一个或多个神经网络。例如，控制器116可以基于预测热图像和热图像来计算损失函数。可以基于损失函数来训练一个或多个神经网络。

在一些示例中，神经网络可以包括一个或多个输入层、一个或多个编码器层、时空层（例如，RNN层）、一个或多个解码器层和/或一个或多个输出层。例如，紧跟（next to）输入层，编码器层可以从输入提取特征。时空层可以从一个或多个连续色调图和一个或多个捕获的热图像（例如，从实时机器内热感测）学习顺序信息和空间信息两者。解码器层可以将特征转换成输出域，并且可以位于输出层之前。在一些实现中，每层可以包括一个或多个节点（例如，多于一个节点（或感知器））。在一些示例中，神经网络可以被连接到另外一个或多个神经网络，可以包括另外一个或多个神经网络，和/或可以与另外一个或多个神经网络合并（例如，堆叠）。在一些示例中，另外一个或多个神经网络可以被用作编码器或解码器。在一些示例中，可以利用多个编码器或解码器，或者可以不实现或利用编码器或解码器。

在一些示例中，控制器116可以放大捕获的热图像以产生放大的热图像。如本文中所使用的，术语“放大”及其变型表示增加图像的分辨率。放大可能不基于连续色调图和/或可能不提供本文中描述的热图像增强的精度。放大的示例可以包括基于插值的方法、统计方法和/或基于示例的方法。例如，控制器116可以执行双三次插值（bi-cubicinterpolation）以放大捕获的热图像，以产生放大的热图像。

在一些示例中，放大捕获的热图像可以包括如下执行热预测强度校正。热预测强度校正是用于热图像分辨率放大的经验方法。该方法可以利用简单的模型来放大层的热图像（例如，以每英寸150像素（ppi））。简单的热预测模型的示例可以包括基于第一原理的模型或经验模型。该热预测模型放大可能不利用神经网络和/或可能不利用一个或多个连续色调图。热图像可以被下采样为与低分辨率热感测相同的分辨率（例如，42×30像素）。然后，可以计算测量温度与预测温度的比率。例如，可以利用未失真的红外相机图像（例如，以42×30像素的分辨率）来计算测量温度与预测温度的比率。相机图像可以被用于调整基于从测量的红外相机图像导出的强度校正而预测的热图像。插值可以被用于将计算的比率上采样到高分辨率（例如，2496×1872像素或150 ppi）。高分辨率热图像可以通过将高分辨率比率乘以预测的原始热图像来导出。

当热图像放大时，由于插值，生成的高分辨率图像可能示出梯度。对于一些应用，强度校正的增强结果可能不精确。然而，该方法仍然可以提供高分辨率热图像，这可以被用来减少基于模型的图像增强中的困难。例如，在本文中描述的热图像增强的一些示例中，可以利用热预测强度校正。应当注意，本文中描述的热图像增强的一些示例（例如，建模方法）不限于热预测强度校正。热图像增强的一些示例可以利用任何热感测分辨率放大结果作为模型输入。模型可以学习如何在模型训练期间校正结果。

在一些示例中，控制器116可以使用编码器（例如，第一卷积神经网络（CNN））对放大的热图像进行编码，以产生第一数据。第一数据可以包括放大的热图像的特征。在一些示例中，控制器116可以使用编码器（例如，第二卷积神经网络）、融合连续色调图和/或细化连续色调图来编码，以产生第二数据。第二数据可以包括融合连续色调图和/或细化连续色调图的特征。在一些示例中，控制器116可以将第一数据与第二数据串接（concatenate）以产生串接的数据。串接的数据可以被输入到神经网络（例如，循环神经网络（RNN））。在一些示例中，控制器116可以使用解码器（例如，第三卷积神经网络）解码神经网络的输出，以产生预测的热图像（例如，增强的热图像）。

在一些示例中，（一个或多个）编码器和/或解码器可以是卷积神经网络，但是应当注意，在一些方法中，（一个或多个）编码器和/或解码器可以不是卷积神经网络。例如，（一个或多个）编码器和/或解码器可以是组合不同组件的卷积神经网络，所述组件包括卷积层、池化层、解卷积层、初始层和/或残差层等。具体的架构应该实验地调整。

在一些示例中，控制器116可以基于预测的热图像打印一个或多个层。例如，控制器116可以基于预测的热图像来控制用于层的融合剂112和/或细化剂120的量和/或位置。在一些示例中，控制器116可以基于预测的热图像（例如，热扩散）来驱动模型设置（例如，步幅的大小）。附加地或替代地，控制器116可以基于预测的热图像来执行离线打印模式调整。例如，如果预测的热图像指示系统偏差（例如，构建区域的特定部分始终比基线更冷或更暖），则可以更改数据管线，使得修改连续色调图以补偿这样的系统偏差。例如，如果预测的热图像指示系统偏差，则控制器116可以调整连续色调图生成（例如，针对一个或多个层）以补偿该偏差。因此，可以基于（一个或多个）连续色调图来调整沉积的（一种或多种）试剂的位置和/或量，以提高打印精度和/或性能。

图2是图示可以被实现以执行热映射的功能的示例的框图。在一些示例中，结合图2描述的功能中的一个、一些或所有可以由结合图1描述的控制器116来执行。例如，在一些示例中，用于切片238、连续色调图生成242、一个或多个神经网络248和/或操作确定236的指令可以被存储在数据存储装置114中，并由控制器116执行。在其他示例中，一个或多个功能（例如，切片238、连续色调图生成242、一个或多个神经网络248和/或操作确定236）可以由另一个装置来执行。例如，切片238可以在分离的装置上进行，并被发送到3D打印设备100。

可以获得3D模型数据232。例如，可以从另一设备接收和/或生成3D模型数据232。3D模型数据232可以指定用于打印3D对象的3D模型的形状和/或大小。3D模型数据232可以定义3D对象的内部和外部部分两者。可以例如使用多边形网格来定义3D模型数据232。例如，可以使用多种格式来定义3D模型数据232，除了其他类型的文件格式之外，所述格式还诸如3MF文件格式、对象（OBJ）文件格式和/或立体光刻（STL）文件格式。

可以基于3D模型数据232来执行切片238。例如，切片238可以包括生成对应于3D模型数据232的2D切片240的集合。在一些方法中，可以沿着轴（例如，垂直轴z轴或其他轴）遍历由3D模型数据232指示的3D模型，其中每个切片240表示3D模型的2D横截面。例如，对3D模型进行切片238可以包括标识切片平面的z坐标。切片平面的z坐标可以被用于遍历3D模型，以标识被切片平面截取的3D模型的一个或多个部分。

通过考虑过程物理（process physics），可以利用3D模型和/或2D切片（例如，矢量切片）的堆叠来生成每层机器指令（例如，体素级别试剂分布）。连续色调图可以是每层机器指令的示例。在一些示例中，可以基于切片240来执行连续色调图生成242。例如，可以针对每个切片240生成242一个或多个连续色调图244。例如，连续色调图生成242可以包括生成融合连续色调图和细化连续色调图，其中融合连续色调图指示用于针对层打印融合剂的一个或多个区域和密度分布。细化连续色调图指示用于针对层打印细化剂的一个或多个区域和密度分布。在一些示例中，一个或多个连续色调图244可以以多种文件格式来表示。例如，连续色调图244可以被格式化为BKZ连续色调文件、SIF连续色调文件和/或另一种连续色调文件。

一个或多个神经网络248可以被用于基于来自相同层和/或一个或多个先前的层的一个或多个连续色调图244和热图像数据246来计算（例如，预测）预测的热图像250（例如，增强的热图像）。热图像数据246可以表示以第一分辨率（例如，31×30像素或80×60像素）的一个或多个热图像。预测的热图像250可以是以第二分辨率（例如，640×480像素）的。

可以基于预测的热图像250来执行操作确定236。例如，操作确定236可以产生指示控制信息的操作信号254。控制信息可以被用于基于预测的热图像250来打印一个或多个层。例如，操作信号254可以指示基于预测的热图像250来控制层的融合剂和/或细化剂的量和/或位置。在一些示例中，操作信号254可以基于预测的热图像250（例如，热扩散）来驱动模型设置（例如，步幅的大小）。附加地或替代地，操作信号254可以基于预测的热图像250来指示离线打印模式调整。例如，如果预测的热图像250指示系统偏差（例如，构建区域的特定部分始终比基线更冷或更暖），则可以更改数据管线，使得修改连续色调图以补偿这样的系统偏差。例如，如果预测的热图像250指示系统偏差，则操作信号254可以指示对连续色调图生成（例如，针对一个或多个层）的调整，以补偿偏差。因此，可以基于（一个或多个）连续色调图来调整沉积的（一种或多种）试剂的位置和/或量，以提高打印精度和/或性能。在一些示例中，执行操作可以包括在显示器上呈现（一个或多个）热图像（例如，预测的热图像）和/或将（一个或多个）热图像（例如，（一个或多个）预测的热图像）发送到另一设备。

图3是可以在热映射中使用的装置356的示例的框图。装置356可以是计算设备，诸如个人计算机、服务器计算机、打印机、3D打印机、智能电话、平板计算机等。装置356可以包括和/或可以被耦合到处理器362、数据存储装置368、输入/输出接口366、机器可读存储介质380和/或一个或多个热图像传感器364。在一些示例中，装置356可以与增材制造设备（例如结合图1描述的3D打印设备100）通信（例如，耦合到增材制造设备、与增材制造设备具有通信链路）。替代地，装置356可以是结合图1描述的3D打印设备100的示例。例如，处理器362可以是结合图1描述的控制器116的示例，数据存储装置368可以是结合图1描述的数据存储装置114的示例，并且一个或多个热图像传感器364可以是结合图1描述的热传感器106的示例。装置356可以包括附加的组件（未示出）和/或在不脱离本公开的范围的情况下可以去除和/或修改本文中描述的组件中的一些。

处理器362可以是中央处理单元（CPU）、基于半导体的微处理器、图形处理单元（GPU）、FPGA、专用集成电路（ASIC）和/或适用于取回和执行存储在机器可读存储介质380中的指令的其他硬件设备中的任何一个。处理器362可以取出、解码和/或执行存储在机器可读存储介质380上的指令（例如，操作指令376）。附加地或替代地，处理器362可以包括一个或多个电子电路，该电子电路包括用于执行指令（例如，操作指令376）的一个或多个功能的电子组件。在一些示例中，处理器362可以被配置成执行结合图1-2和/或4-9中的一个、一些或全部描述的功能、操作、步骤、方法等中的一个、一些或全部。

机器可读存储介质380可以是包含或存储电子信息（例如，指令和/或数据）的任何电子、磁性、光学或其他物理存储设备。因此，机器可读存储介质380可以是例如随机存取存储器（RAM）、电可擦除可编程只读存储器（EEPROM）、存储设备、光盘以及诸如此类。在一些实现中，机器可读存储介质380可以是非暂时性有形机器可读存储介质，其中术语“非暂时性”不包括暂时性传播信号。

装置356还可以包括处理器362可以在其上存储信息的数据存储装置368。数据存储装置368可以是易失性和/或非易失性存储器，诸如动态随机存取存储器（DRAM）、EEPROM、磁阻随机存取存储器（MRAM）、相变RAM（PCRAM）、忆阻器、闪存以及诸如此类。在一些示例中，机器可读存储介质380可以被包括在数据存储装置368中。替代地，机器可读存储介质380可以与数据存储装置368分离。在一些方法中，数据存储装置368可以存储与由机器可读存储介质380所存储的指令和/或数据类似的指令和/或数据。例如，数据存储装置368可以是非易失性存储器，并且机器可读存储介质380可以是易失性存储器。

装置356可以进一步包括输入/输出接口366，处理器362可以通过该输入/输出接口366与一个或多个外部设备（未示出）通信，例如，以接收和存储与要制造（例如，打印）的一个或多个对象有关的信息。输入/输出接口366可以包括硬件和/或机器可读指令，以使得处理器362能够与一个或多个外部设备通信。输入/输出接口366可以使得能够实现到一个或多个外部设备的有线或无线连接。输入/输出接口366可以进一步包括网络接口卡和/或还可以包括硬件和/或机器可读指令，以使得处理器362能够与各种输入和/或输出设备通信，所述输入和/或输出设备诸如键盘、鼠标、显示器、另一装置、电子设备、计算设备等，用户可以通过输入和/或输出设备将指令输入到装置356中。

在一些示例中，机器可读存储介质380可以存储热图像数据378。可以从一个或多个热图像传感器364获得（例如，接收）和/或可以预测热图像数据378。例如，处理器362可以执行指令（图3中未示出），以获得针对一个或多个层的捕获的热图像。在一些示例中，装置356可以包括一个或多个热图像传感器364，可以被耦合到一个或多个远程热图像传感器，和/或可以从（集成的和/或远程的）热图像传感器接收热图像数据378（例如，一个或多个热图像）。热图像传感器364的一些示例包括热相机（例如，红外相机）。可以利用其他种类的热传感器。在一些示例中，热传感器分辨率可以小于体素分辨率（例如，每个温度读数可以覆盖包括多个体素的区域）。例如，可以利用具有低分辨率（例如，31×30像素、80×60像素等）的低分辨率热相机。在其他示例中，一个或多个高分辨率热图像传感器364可以为神经网络训练提供体素级别（或接近体素级别）热感测（例如，640×480像素）。

热图像数据378可以包括一个或多个热图像。如上所述，热图像可以是指示区域和/或体积上方的热量（例如，温度）的图像。例如，热图像可以指示构建区域温度分布（例如，顶层上方的热温度分布）。在一些示例中，一个或多个热图像传感器364可以经历校准过程以克服由一个或多个热图像传感器364引入的失真。例如，热图像可以被变换以将热图像与一个或多个连续色调图配准。在不同的示例中，可以使用不同类型的热感测设备。

在一些示例中，处理器362可以执行连续色调图获得指令382来获得连续色调图数据374。例如，连续色调图获得指令382可以（例如，从切片数据和/或3D模型数据）生成一个或多个连续色调图，和/或可以（例如，经由输入/输出接口366）从另一设备接收一个或多个连续色调图。连续色调图数据374可以指示用于打印3D对象的以体素级别的试剂分布（例如，融合剂分布和/或细化剂分布）。例如，连续色调图数据374可以被用作用于试剂分发的每层机器指令（例如，体素级别机器指令）。

应该注意，在一些示例中，可以利用对应于用于吸收或去除热能的不同能力的多个不同的试剂连续色调图。附加地或替代地，一些示例可以利用不同的打印模式，其中多个连续色调图可以被用于每个试剂。

在一些示例中，对于给定的层（例如，当前层、顶层等），沉积到该层的所有试剂的一个或多个连续色调图可以是能量驱动力。应该注意，另一个体素级别能量影响因素（influencer）可以包括先前层中的相邻体素，与给定的体素相比，所述相邻体素可能具有温度差，这可能导致进入到体素中或离开体素的热通量。

机器可读存储介质380可以存储神经网络数据372。神经网络数据372可以包括定义和/或实现一个或多个神经网络的数据。例如，神经网络数据372可以定义一个或多个节点、节点之间的一个或多个连接、一个或多个网络层、和/或一个或多个神经网络。在一些示例中，处理器362可以利用（例如，执行包括在其中的指令）神经网络数据372来计算预测的热图像。一个或多个预测的热图像可以作为增强的热图像数据370被存储在机器可读存储介质380上。

在一些示例中，处理器362使用一个或多个神经网络（由神经网络数据372定义）来增强一个或多个捕获的热图像。例如，处理器362可以基于一个或多个连续色调图使用一个或多个神经网络来增强捕获的热图像，以产生一个或多个增强的热图像。相对于（一个或多个）捕获的热图像的分辨率，（一个或多个）增强的热图像可以具有增加的分辨率。一个或多个增强的热图像可以被存储为增强的热图像数据370。例如，处理器362可以使用神经网络或多个神经网络基于捕获的热图像或多个捕获的热图像和连续色调图或多个连续色调图（例如，融合连续色调图和细化连续色调图）来计算（例如，预测）层的预测的热图像。

增强捕获的热图像（例如，预测、核算或计算预测的热图像）可以包括在形成层的时间之前、之时或之后计算层的增强的热图像。在一些示例中，增强的热图像可以对应于在对应于捕获的热图像的层之后的层。例如，捕获的热图像可以对应于先前层k-1，并且增强的热图像可以对应于层k。应当注意，在一些示例中，在计算中也可以利用先前层的多个捕获的热图像。一个或多个连续色调图可以对应于与对应于增强的热图像的层相同的层（例如，层k）和/或对应于一个或多个先前层。

在一些示例中，增强的热图像可以对应于与对应于捕获的热图像的层相同的层。例如，捕获的热图像可以对应于层k，并且增强的热图像可以对应于层k。应当注意，在一些示例中，在计算中也可以利用先前层的多个捕获的热图像。一个或多个连续色调图可以对应于与对应于增强的热图像的层相同的层（例如，层k）和/或对应于一个或多个先前层。

在一些示例中，处理器362可以执行操作指令376，以基于增强的热图像执行操作。例如，处理器362可以基于预测的热图像250来打印一个或多个层（例如，针对一个或多个层控制（一种或多种）试剂的量和/或位置）。在一些示例中，处理器362可以基于增强的热图像来驱动模型设置（例如，步幅的大小）。附加地或替代地，处理器362可以基于增强的热图像来执行离线打印模式调整。附加地或替代地，处理器362可以基于增强的热图像发送消息（例如，警告、警报、进度报告、质量评级等）。附加地或替代地，在增强的热图像指示问题（例如，超过打印的一个或多个层与3D模型和/或切片之间的阈值差）的情况下，处理器362可以停止打印。附加地或替代地，处理器362可以将针对即将到来的层的预测的热图像馈送到热反馈控制系统，以在线补偿针对即将到来的层的连续色调图。

本文中描述的技术的示例可以利用基于深度神经网络的实际模型训练方法。该方法可以借助内置的低分辨率热感测和连续色调图作为输入来实现体素级别热预测。该方法可以实现内置热感测的大约20倍分辨率的预测。该方法可以使得能够实现实时原位体素级别热图像预测和反馈控制。例如，神经网络架构可以使得能够实现具有打印分辨率和/或在线闭环热反馈控制的实时原位融合层热预测。这里描述的技术的一些示例可以使得增材制造设备能够提供内置的在线体素级别高分辨率热感测。

本文中描述的技术的一些示例可以利用基于神经网络架构的方法，该方法考虑不同的热驱动因素，以从低分辨率热感测和体素级别试剂连续色调图预测体素级别高分辨率热行为。一些示例可以从附加信息推断缺失的细节，并实现高分辨率热预测。

本文中描述的技术的一些示例可以使用内置的低分辨率热传感器来提供体素级别融合层热预测（例如，未来热图像预测）。在一些示例中，执行操作可以包括使用热预测来作为在线热预测引擎，以使得能够实现体素级别热反馈控制。例如，处理器362可以通过控制打印过程和/或机器指令来执行反馈控制。附加地或替代地，处理器362可以利用热预测来作为用于多种基于3D打印机的分析、监视、诊断和/或控制等的预测引擎（例如，在线和/或离线）。附加地或替代地，处理器362可以利用热预测来作为用于热行为预测、可视化和/或量化等的离线模拟工具。

在一些示例中，可以利用神经网络来预测与捕获的热图像的层相同的层的热图像。例如，低分辨率捕获的热图像可以被用于产生增强的体素级别分辨率热图像。可以在线和/或离线利用一些示例，以提供体素级别热图像感测。体素级别（例如，高精度）热感测可以被用于建模、机器行为分析和/或热分析等中。

在一些示例中，机器可读存储介质380可以存储3D模型数据（图3中未示出）。3D模型数据可以由装置356生成和/或从另一设备接收。在一些示例中，机器可读存储介质380可以包括切片指令（图3中未示出）。例如，处理器362可以执行切片指令来对3D模型数据执行切片，以产生2D矢量切片的堆叠。

在一些示例中，操作指令376可以包括3D打印指令。例如，处理器362可以执行3D打印指令以打印一个或多个3D对象。在一些实现中，3D打印指令可以包括用于控制一个或多个设备（例如，辊、打印头和/或热投射器等）的指令。例如，3D打印指令可以使用一个或多个连续色调图（例如，存储为连续色调图数据）来控制一个或多个打印头以在由一个或多个连续色调图指定的一个或多个位置中打印一种或多种试剂。在一些示例中，处理器362可以执行3D打印指令以打印一个或多个层。打印（例如，热投射器控制）可以基于热图像（例如，捕获的热图像和/或预测的热图像）。

在一些示例中，机器可读存储介质380可以存储神经网络训练指令。处理器362可以执行神经网络训练指令以训练一个或多个神经网络（例如，由神经网络数据372定义）。在一些示例中，处理器362可以使用训练热图像的集合来训练一个或多个神经网络。训练热图像的集合可以具有大于捕获的热图像的分辨率（例如，运行时的预期捕获的热图像）的分辨率。例如，训练热传感器可以具有用于训练的体素级别分辨率。训练热传感器可以捕获训练热图像的集合。在一些示例中，训练热传感器可以被放置在增材制造设备（例如，打印机）的外部。在一些方法中，神经网络训练指令可以包括损失函数。处理器362可以基于预测的热图像和训练热图像来计算损失函数。例如，训练热图像可以为损失函数提供地面实情（ground truth）（其可以是以体素级别的或可以不是以体素级别的）。损失函数可以被用于训练一个或多个神经网络。例如，可以基于损失函数来调整一个或多个神经网络中的一个或多个节点和/或一个或多个连接权重，以便提高一个或多个神经网络的预测精度。应当注意，可能不是在所有实现中都需要结合图3描述的所有的步骤和/或特征。

图4是图示用于热映射的方法400的示例的流程图。方法400和/或一个或多个方法400步骤可以由电子设备执行。例如，方法400可以由结合图3描述的装置356（和/或由结合图1描述的3D打印设备100）执行。

装置356可以获得402图。图是用于增材制造的图像数据的集合。图的示例包括形状图、切片数据、连续色调图等。形状图可以指示用于增材制造的一个或多个形状（例如，几何数据）。例如，装置356可以基于3D模型数据和/或切片数据生成一个或多个连续色调图（例如，融合剂连续色调图和/或细化剂连续色调图）。在一些示例中，连续色调图可以是以体素级别分辨率的。应当注意，除了本文中描述的（一个或多个）连续色调图之外或者从本文中描述的（一个或多个）连续色调图替代地，可以利用以体素级别分辨率的图（例如，形状图、切片数据等）来计算预测的热图像。

装置356可以针对该层获得404第一热图像。例如，在已经沉积该层之后，装置356可以使用热图像传感器来获得404该层的捕获的热图像，或者可以从远程图像传感器接收该层的捕获的热图像。第一热图像（例如，捕获的热图像）可以是以低分辨率的。

装置356可以使用神经网络基于连续色调图和第一热图像来确定406以第二分辨率的第二热图像。第二分辨率可以大于第一分辨率。在一些示例中，连续色调图是以体素级别分辨率的，第一分辨率是以低分辨率的，并且第二热图像的第二分辨率是以体素级别分辨率的。例如，在一些实现中，第二分辨率（例如，640×480像素）可以是第一分辨率（例如，80×60像素、31×30像素等）的8倍或更多倍。

在一些示例中，第一热图像对应于第一层（例如，k），并且第二热图像对应于第一层（例如，k）。在一些示例中，第一热图像对应于第一层（例如，k-1），并且第二热图像对应于第一层之后的第二层（例如，k）。

在一些示例中，至少一个神经网络可以利用一个或多个连续色调图（例如，体素级别机器指令）和/或一个或多个捕获的热图像来计算增强的热图像。在一些示例中，神经网络是包括一个或多个堆叠卷积长短期存储网络的循环神经网络。

在一些示例中，装置356可以增加第一热图像的第一分辨率，以产生放大的第一热图像。例如，装置356可以使用经验模型、基于插值的方法、统计方法、基于示例的方法和/或热预测强度校正来放大第一热图像（例如，低分辨率捕获热图像）。

在一些示例中，装置356可以对放大的第一热图像进行编码，以产生被提供给神经网络的第一数据。在一些示例中，利用第一神经网络（例如，卷积神经网络）对第一热图像执行编码。装置356可以对连续色调图进行编码以产生被提供给神经网络的第二数据。在一些示例中，利用第二神经网络（例如，卷积神经网络）来执行对连续色调图编码。装置356可以解码神经网络的输出以产生第二热图像（例如，增强的热图像）。在一些示例中，利用第三神经网络来执行对输出解码。

在一些示例中，装置356可以串接第一数据和第二数据，其中第一数据基于第一热图像，并且第二数据对应于连续色调图。串接第一和第二数据可以包括组合特征层。在一个示例中，第一数据的维度是100*100*3，并且第二数据的维度是100*100*3，其中100*100是图像大小，并且3是特征层的数量。在本示例中，串接的数据具有100*100*6的维度。

图5是图示神经网络架构584的示例的图。结合图5描述的神经网络架构584可以是结合图1-4描述的神经网络的示例。神经网络架构584可以考虑对融合层的体素级别热影响因素。认识到对融合层热行为的两个热影响因素，具有神经网络架构584的深度神经网络可以学习时空信息：由连续色调图586a-n驱动的能量吸收和/或损失，以及层内和不同层之间两者的体素级别热耦合。网络架构584可以包括时空神经网络594。时空神经网络594的示例是循环神经网络。在一些示例中，时空神经网络594可以包括一个或多个（例如，两个或更多个）堆叠卷积长短期存储网络（Conv-LSTM）。Conv-LSTM是一种类型的循环神经网络，其克服了数值不稳定性问题，并考虑了空间和时间影响。

在每层处，当前层连续色调图（或基于连续色调图的数据）和先前层热图像（或基于先前层热图像的数据）可以被用作输入。例如，基于第k-n层连续色调图586n的第二数据可以与基于第（k-n-1）层放大热图像590n的第一数据串接501。类似地，基于第k层连续色调图586a的第二数据可以与基于第（k-1）层放大热图像590a的第一数据串接。因此，时空神经网络594可以从来自连续色调图586a-n和热图像590a-n的历史顺序信息中学习。

热图像的序列590a-n可以提供关于层间热扩散的信息。连续色调图的序列586a-n可以反映针对每层的能量施加，并且还可以提供先前层的材料和/或相信息。因此，连续色调图的序列586a-n可以帮助时空神经网络594学习热通量行为。此外，连续色调图的序列586a-n可以提供体素级别细化信息，这可以使得时空神经网络594能够从低分辨率热图像推断增加的分辨率（例如，体素级别）热图像。

在一些示例中，可以执行以下步骤以计算第k层（例如，融合层）的预测热图像598：第k层连续色调图586a可以通过连续色调编码器588，并且分离地，先前的第（k-1）层（例如，最后掩埋层）的放大热图像590a可以通过热图像编码器592。应当注意，先前层放大热图像590a可以基于先前层捕获的低分辨率热图像。热图像编码器592可以对第（k-1）层放大的热图像590a进行编码，以产生第一数据（例如，特征）。连续色调编码器588可以对第k层连续色调图586a进行编码，以产生第二数据（例如，特征）。

第一数据（例如，特征）和第二数据（例如，特征）可以被串接为对时空（例如，Conv-LSTM）神经网络594的输入。针对第k层的输出595（例如，在当前时间戳处）可以通过解码器596，以产生针对第k层（例如，融合层）的预测热图像598。

在一些示例中，热图像编码器592是CNN，连续色调编码器588是CNN，并且解码器596是CNN。例如，热图像编码器592、连续色调编码器588和/或解码器596可以是组合不同组件的多种CNN，所述组件例如卷积层、池化层、解卷积层、初始层、残差层等。热图像编码器592、连续色调编码器588和/或解码器596的架构可以实验地调整。在一些示例中，基于初始模块的CNN可以被用于连续色调编码器588、热图像编码器592和/或解码器596。

在一些示例中，内置低分辨率热感测可以提供低分辨率热图像。在一些示例中，低分辨率热图像可能不被直接利用。例如，可以对低分辨率热图像执行放大（例如，热预测强度校正），以生成放大的热图像590a-n。放大的热图像590a-n可以被提供给热图像编码器592。来自热图像编码器592的特征可以作为输入被提供给时空神经网络594。

神经网络架构584可以从连续色调图的序列586a-n学习附加信息，并且学习如何校正当前放大的（例如，体素级别）热图像590a，以产生更精确的预测的（例如，增强、体素级别）热图像598。

神经网络架构584可以同时实现热图像分辨率增强和融合层热预测，因为神经网络架构584可以被设计为学习两者所需的信息。因此，所描述的技术和神经网络架构584的一些示例可以避免用于增加热图像分辨率同时实现增强的热图像预测的附加处理。

图6是图示神经网络架构684的另一示例的图。结合图6描述的神经网络架构684可以是结合图1-4描述的神经网络的示例。在该示例中，低分辨率（例如，31×30像素等）热图像可以被增强到高分辨率（例如，体素级别、640×480像素等）热图像。图像可以被增强一定倍数（例如，大于或等于8、大约20等）。在一些示例中，可以从一个低分辨率图像像素预测400个像素，这在其他方法中难以精确实现。例如，在本文中描述的技术中的一些中，可以利用附加信息来推断每一个低分辨率像素400个像素。

在一些示例中，附加信息可以包括连续色调图的序列686a-n（例如，融合剂连续色调图和/或细化剂连续色调图），以及捕获的热图像的序列690a-n。例如，针对融合层的两个热影响因素可以包括驱动热传递的先前热图像的序列，以及驱动层能量施加的融合剂和细化剂连续色调图的序列。该信息可能有助于推断当前层的热行为。在一些示例中，连续色调图的序列686a-n可以是高分辨率（例如，体素级别）图像，并且可以反映物质相（materialphase），其可以提供体素级别信息以推断热体素。因此，本文中描述的技术中的一些可以基于用于具有内置的低分辨率热感测的体素级别热预测的深度神经网络，以产生增强分辨率热图像。

神经网络架构684可以被用于将当前层k的高分辨率（例如，体素级别）热图像提早（predate）。在每层处，层连续色调图（或基于连续色调图的数据）和层热图像（或基于当前层热图像的数据）可以被用作输入。例如，基于第（k-n）层连续色调图686n的第二数据可以与基于第（k-n）层放大热图像690n的第一数据串接601。类似地，基于第k层连续色调图686a的第二数据可以与基于第k层放大热图像690a的第一数据串接。因此，时空神经网络694可以从来自连续色调图686a-n和热图像690a-n的历史顺序信息中学习。

在一些示例中，可以执行以下步骤以计算第k层（例如，融合层）的预测热图像698：第k层连续色调图686a可以通过连续色调编码器688，并且分离地，第k层的放大热图像690a可以通过热图像编码器692。应当注意，该示例的该方面可能不同于结合图5描述的示例。

应当注意，放大的热图像690a可以基于捕获的低分辨率热图像。热图像编码器692可以对第k层放大的热图像690a进行编码，以产生第一数据（例如，特征）。连续色调编码器688可以对第k层连续色调图686a进行编码，以产生第二数据（例如，特征）。

第一数据（例如，特征）和第二数据（例如，特征）可以被串接为对时空（例如，Conv-LSTM）神经网络694的输入。针对第k层的输出695（例如，在当前时间戳处）可以通过解码器696，以产生针对第k层的预测热图像698。

网络架构684可以包括时空神经网络694。时空神经网络694的示例是循环神经网络。在一些示例中，时空神经网络694可以包括一个或多个堆叠的Conv-LSTM网络。Conv-LSTM是克服数值不稳定性问题的一种类型的循环神经网络。

应当注意，虽然图6的神经网络架构684与图5的神经网络架构584有一些相似性，但是包括时空神经网络694（例如，Conv-LSTM）、连续色调编码器688和解码器696的详细架构不一定与结合图5描述的架构相同。由于不同的目标，输入组件可能在建模中起不同的作用。在一些方法中，具体架构可以实验地调整。在一些示例中，热图像编码器692是CNN，连续色调编码器688是CNN，并且解码器696是CNN。例如，热图像编码器692、连续色调编码器688和/或解码器696可以是组合不同组件的多种CNN，所述组件例如卷积层、池化层、解卷积层、初始层、残差层等。热图像编码器692、连续色调编码器688和/或解码器696的架构可以实验地调整。在一些示例中，基于初始模块的CNN可以被用于连续色调编码器688、热图像编码器692和/或解码器696。

在一些示例中，低分辨率热感测可以提供低分辨率热图像。在一些示例中，低分辨率热图像可以不被直接利用。例如，可以对低分辨率热图像执行放大（例如，热预测强度校正），以生成放大的热图像690a-n。放大的热图像690a-n可以被提供给热图像编码器692。来自热图像编码器692的特征可以作为输入被提供给时空神经网络694。

提供放大的（例如，体素级别）热图像而不是原始的低分辨率热图像可能是用于合成附加信息和改进增强的热体素的推断的有益方法。例如，热预测强度校正可以将简单的热预测用于分辨率增强，这可以提供详细的信息。在一些示例中，虽然放大的热图像本身可能不以体素级别提供足够的精度，但是放大的热图像可以以比低分辨率热感测更高的分辨率级别实现一些精度，使分辨率增强更容易。这可能是有益的，因为可以将热图像直接增强20倍的深度神经网络（例如，解卷积NN）可能需要大量的参数，这可能使模型训练和调整极其困难。代之以，使用放大的热图像和训练模型来校正体素级别值可能需要显著更少的参数和更简单的网络。因此，神经网络架构684的一些示例可能有益于增强热图像分辨率。例如，神经网络架构684可以利用可以专门针对热图像设计的物理行为信息。

由于从连续色调图的序列686a-n进行的附加信息提取和推断以及放大（例如，热预测强度校正），神经网络架构684可以实现热图像分辨率增强20倍。因此，本文中描述的技术的一些示例可以实现比用于增加图像分辨率的其他方法的图像分辨率增强的程度大得多的图像分辨率增强的程度。

图7是图示神经网络训练703和预测729的示例的框图。本文中描述的神经网络的一些示例可以根据结合图7描述的示例来训练和/或可以根据结合图7描述的示例来执行预测。

训练703可以包括从打印机数据管线获得（一个或多个）低分辨率原始热图像705a、（一个或多个）高分辨率（例如，体素级别）原始训练热图像719和连续色调图717a（例如，体素级别连续色调图）。可以将未失真707a应用于（一个或多个）原始热图像705a，以产生（一个或多个）未失真的热图像709a。例如，可以用鱼眼镜头来捕获原始热图像705a，并且未失真707a可以去除由鱼眼镜头引起的失真。可以将放大711a（例如，热预测强度校正）应用于（一个或多个）未失真的热图像709a，以产生（一个或多个）放大的（例如，体素级别）热图像715a。可以将梯形校正721应用于（一个或多个）原始训练热图像719，以产生（一个或多个）未失真的训练热图像723（例如，以体素级别）。

放大的热图像715a和连续色调图717a（例如，融合剂连续色调图和/或细化剂连续色调图）可以作为输入被馈送到具有对准、裁剪和序列生成725a的神经网络中以用于模型训练727。（一个或多个）未失真的训练热图像723可以被用作地面实情数据以用于模型训练727。

在预测729中可以利用类似的过程（例如，当在线、运行时期间等时）。例如，可以从打印机数据管线获得（一个或多个）低分辨率原始热图像705b和连续色调图717b（例如，体素级别连续色调图）。可以将未失真707b应用于（一个或多个）原始热图像705b，以产生（一个或多个）未失真的热图像709a。可以将放大711b（例如，热预测强度校正）应用于（一个或多个）未失真的热图像709b，以产生（一个或多个）放大的（例如，体素级别）热图像715b。

放大的热图像715b和连续色调图717b（例如，融合剂连续色调图和/或细化剂连续色调图）可以作为输入被馈送到具有序列生成725b的神经网络中，以产生（一个或多个）预测的（例如，增强的）热图像731。例如，训练的神经网络可以计算（一个或多个）高分辨率（例如，体素级别）预测热图像731。在预测729中可以不利用训练热图像。

图8包括图示热映射的示例的图像。图像中的每个对应于单个层。左上图像是融合连续色调图833的示例。顶部中间图像是细化连续色调图835的示例。右上图像837是高分辨率（例如，体素级别）热图像（例如，地面实情）。左下图像是用于使用经验模型的简单热预测839的方法的示例。底部中间图像是从热强度校正生成的放大热图像841。右下图像是根据本文中公开的技术中的一些的预测图像843。

该示例展示了本文中描述的神经网络架构的一些示例可以有效地实现大约为20倍热感测分辨率的体素级别融合层（例如，即将到来的层）热预测。神经网络架构可以有效地捕获由连续色调图和层间热扩散驱动的能量施加的热行为。该示例还图示了本文中描述的技术中的一些可以克服由热强度校正引入的模糊效应，这展示了提高的精度。

图9包括图示热映射的另一示例的图像。图像中的每个对应于单个层。左上图像是融合连续色调图945的示例。顶部中间图像是细化连续色调图947的示例。右上图像949是高分辨率（例如，体素级别）热图像（例如，地面实情）。左下图像是低分辨率捕获的热图像951。底部中间图像是从热强度校正生成的放大热图像953。右下图像是根据本文中公开的技术中的一些的预测图像955。该示例展示了本文中描述的神经网络架构的一些示例可以有效地实现大约为20倍热感测分辨率的体素级别热分辨率增强。

应当注意，尽管本文中描述了系统和方法的各种示例，但是本公开不应限于所述示例。本文中描述的示例的变型可以在本公开的范围内实现。例如，本文中描述的示例的步骤、功能、方面或元素可以被省略或组合。

Claims (15)

1.一种用于通过电子设备进行用于增材制造的热映射的方法，其中，热映射包括获得热图像和/或计算热图像，所述方法包括：

获得连续色调图；

获得以第一分辨率的第一热图像；以及

使用神经网络基于连续色调图和第一热图像来确定以第二分辨率的第二热图像，其中第二分辨率大于第一分辨率。

2.根据权利要求1所述的方法，进一步包括串接第一数据和第二数据，其中，第一数据基于第一热图像，并且第二数据对应于连续色调图或多个连续色调图。

3.根据权利要求1所述的方法，其中，神经网络是包括卷积长短期存储网络或多个堆叠卷积长短期存储网络的循环神经网络。

4.根据权利要求1所述的方法，其中，连续色调图是以体素级别分辨率的连续色调图，第一分辨率低于体素级别分辨率，并且第二热图像的第二分辨率是以体素级别分辨率的。

5.根据权利要求1所述的方法，进一步包括增加第一热图像的第一分辨率以产生放大的第一热图像。

6.根据权利要求5所述的方法，进一步包括：

对放大的第一热图像进行编码以产生被提供给神经网络的第一数据；

对连续色调图进行编码以产生被提供给神经网络的第二数据；以及

解码神经网络的输出以产生第二热图像。

7.根据权利要求6所述的方法，其中，利用第一神经网络来执行对第一热图像编码，利用第二神经网络对连续色调图执行编码，并且利用第三神经网络来执行对输出解码。

8.根据权利要求1所述的方法，其中，第二分辨率是第一分辨率的至少8倍。

9.根据权利要求1所述的方法，其中，第一热图像对应于第一层，并且第二热图像对应于第一层，其中，第二热图像是第一层的增强的体素级别热图像。

10.根据权利要求1所述的方法，其中，第一热图像对应于第一层，并且第二热图像对应于在第一层之后的第二层，其中，第二热图像是在形成第二层之前计算的预测体素级别热图像，并且其中所述方法进一步包括基于第二热图像执行反馈控制。

11.一种三维（3D）打印设备，包括：

打印头，用于基于融合连续色调图打印融合剂，并基于细化连续色调图打印细化剂；

热投射器；

热传感器；以及

控制器，其中所述控制器用于：

从热传感器接收第一层的捕获的热图像，其中捕获的热图像是以第一分辨率的；以及

基于融合连续色调图、细化连续色调图和捕获的热图像使用神经网络来预测在第一层之后的第二层的预测的热图像，其中预测的热图像是以大于第一分辨率的第二分辨率的。

12.根据权利要求11所述的3D打印设备，其中所述控制器用于：

放大捕获的热图像以产生放大的热图像；

使用第一卷积神经网络对放大的热图像进行编码以产生第一数据；

使用第二卷积神经网络对融合连续色调图和细化连续色调图进行编码以产生第二数据；以及

将第一数据与第二数据串接以产生串接的数据，其中将串接的数据输入到神经网络。

13.根据权利要求12所述的3D打印设备，其中，控制器用于使用第三卷积神经网络对神经网络的输出进行解码，以产生预测的热图像。

14.一种存储可执行代码的非暂时性有形计算机可读介质，包括：

用于使处理器获得对应于层的融合连续色调图和细化连续色调图的代码；

用于使处理器获得对应于所述层的捕获的热图像的代码；以及

用于使处理器基于融合连续色调图、细化连续色调图和捕获的热图像使用神经网络来增强捕获的热图像以产生相对于捕获的热图像的分辨率具有增加的分辨率的增强的热图像的代码。

15.根据权利要求14所述的计算机可读介质，进一步包括用于使用训练热图像的集合来训练神经网络的代码，所述训练热图像具有大于捕获的热图像的分辨率的第二分辨率。

Images