CN113474823A - 对象制造可视化 - Google Patents

Abstract

本文中描述了通过电子设备进行对象制造可视化的方法的示例。在一些示例中，使用机器学习模型来确定增材制造的预测的热图像。在一些示例中，获得捕获的热图像。在一些示例中，呈现预测的热图像与捕获的热图像的图形叠加。

Description

对象制造可视化

背景技术

可以使用增材制造从数字模型产生三维（3D）实体部件。增材制造可以在快速原型设计、模具生成、模具母版生成和短期制造中使用。增材制造涉及连续构建材料层的应用。这与经常去除材料以创建最终部件的传统机械加工过程不同。在一些增材制造技术中，可以固化或熔合构建材料。

附图说明

图1是可以在对象制造可视化的示例中使用的三维（3D）打印设备的示例的简化等距视图；

图2是可以在对象制造可视化中使用的装置的示例的框图；

图3是图示视口集的示例的图；

图4是图示用于对象制造可视化的方法的示例的流程图；

图5是图示用于增材制造对象的图形叠加的示例的图；以及

图6是图示神经网络架构的示例的图。

具体实施方式

增材制造可以用于制造3D对象。三维（3D）打印是增材制造的示例。3D打印的一些示例可以在像素级选择性地沉积试剂（例如，液滴），以实现对体素级能量沉积的控制。例如，可以将热能投射到构建区域中的材料上，其中取决于沉积试剂处的体素，材料中可能发生相变和凝固。

用于评估增材制造性能的一些方法可能是有限的。例如，对于用户而言，增材制造性能评估的一些方法可能是不可访问或不直观的。例如，3D打印机的最终用户可能不能够解释性能数据以获得对增材制造缺陷或错误的位置、原因和/或严重性的准确理解。附加地或替代地，最终用户可能不能够访问示出3D打印对象（例如，部件）是否遭受制造缺陷或者哪些3D打印对象（例如，部件）遭受制造缺陷的直观数据。

本文中所描述的技术中的一些可以提供直观地指示增材制造性能的对象制造可视化（或本文中的“可视化”）。例如，本文中所描述的技术中的一些可以指示增材制造缺陷的位置和/或严重性。可视化是包括视觉数据的（一个或多个）图像。对象制造可视化是预期制造、正在制造或已经制造的对象的可视化。

对象制造可视化的一些示例包括图形叠加。图形叠加是在对象图像上方或其上图示的图形指示符。对象制造可视化的一些示例包括视口集。视口是描绘对象的视图或表达的图像、窗口或图形用户接口。视口集可以布置在一起，以允许对象的不同视图或表达之间的比较。

一些可视化可以包括或基于（一个或多个）图像。可以在可视化中利用的图像的示例包括连续色调图（contone map）和热图像（例如，预测的热图像和/或捕获的热图像）。连续色调图是指示用于打印物质（例如，熔合剂、细化剂或结合剂）的（一个或多个）位置（例如，区域）的数据集。热图像是指示区域中的温度（或热能）的数据集。

在一些示例中，对象制造可视化包括获得（例如，感测和/或捕获）（一个或多个）热图像和/或计算（例如，预测）（一个或多个）热图像。在一些示例中，机器学习模型（例如，（一个或多个）神经网络）可以用于计算预测的热图像。预测的热图像是使用机器学习模型计算的热图像。例如，（一个或多个）神经网络可以利用（一个或多个）连续色调图（例如，规定构建区域中（一个或多个）试剂的放置、数量和/或定时的体素级机器指令）和/或（一个或多个）热图像来计算预测的热图像。捕获的热图像是用传感器感测或捕获的热图像。

应当注意，虽然塑料可以用作图示本文中所描述的方法中的一些的方式，但是本文中所描述的技术可以应用于一些增材制造的示例。一些增材制造技术可能是基于粉末并由粉末熔合驱动的。一些增材制造技术可以包括金属打印，诸如金属喷射熔合。在金属打印的一些示例中，可以利用结合剂。本文中所描述的方法的一些示例可以应用于基于粉末床熔合的增材制造，诸如选择性激光熔化（SLM）、选择性激光烧结（SLS）、多喷射熔合（MJF）等。本文中所描述的方法的一些示例可以应用于其中由液滴携带的试剂用于体素级热调制的增材制造。应当注意，在一些示例中可以利用或可以不利用试剂。

如本文中所使用的，术语“体素”及其变体可以指“热体素”。在一些示例中，热体素的大小可以定义为有热意义的最小值（例如，大于42微米或每英寸600点（dpi））。对于每英寸150点（dpi），体素大小的示例是25.4毫米（mm）/ 150≈170微米。最大体素大小可以近似为490微米或50dpi。术语“体素级”及其变体可以指对应于体素大小的分辨率、比例或密度。如本文中所使用的，“像素”是图像（例如，2D图像）的元素。像素可以表示对应于位置的值（例如，光、颜色、温度等）。

贯穿附图，相同的参考标记可以指定类似但不一定相同的元件。各图不一定按比例绘制，并且可以放大一些部件的大小以更清楚地图示所示出的示例。此外，附图提供了与描述一致的示例和/或实施方式；然而，描述不限于附图中提供的示例和/或实施方式。

图1是可以在对象制造可视化示例中使用的3D打印设备100的示例的简化等距视图。3D打印设备100可以包括控制器116、数据储存器114、构建区域102、打印头108、熔合剂容器110、细化剂容器118、辊130、材料容器122、热投射器104和/或热传感器106。图1中的3D打印设备100的示例可以包括未示出的附加组件，并且在不脱离本公开中3D打印设备100的范围的情况下，可以去除和/或修改所描述的组件中的一些。3D打印设备100的组件可能未按比例绘制，并且因此，可能具有与所示出的组件不同的大小和/或配置。

在图1的示例中，3D打印设备100包括熔合剂容器110、熔合剂112、细化剂容器118、细化剂120、材料容器122和材料124。在其它示例中，3D打印设备100可以包括或多或少的容器、试剂、料斗和/或材料。材料容器122是存储材料124的容器，所述材料124可以由辊130施加（例如，散布）到构建区域102上以进行3D打印。熔合剂容器110是存储熔合剂112的容器。熔合剂112是控制进口热强度的物质（例如，液体、粉末等）。例如，可以选择性地施加熔合剂112以使所施加的材料124在从热投射器104施加热量的情况下相变和/或与另一个材料层124熔合。例如，已经施加熔合剂112的材料124的区域可以最终凝固成正在被打印的对象。细化剂120是控制出口热强度的物质（例如，液体、粉末等）。例如，可以将细化剂120选择性地施加到正在被打印的对象的细节边缘。

构建区域102是可以在其上施行增材制造的区域（例如，表面）。在一些配置中，构建区域102可以是“构建体积”的基底，所述“构建体积”可以包括基底上面的体积。如本文中所使用的，术语“构建区域”可以指构建体积的基底和/或构建体积的另一个部分（例如，基底上面的另一个平面）。

辊130是用于将材料124施加到构建区域102的设备。为了打印3D对象，辊130可以连续地施加（例如，散布）材料124（例如，粉末），并且打印头108可以连续地施加和/或输送熔合剂112和/或细化剂120。热投射器104是将能量（例如，热能、热量等）输送到构建区域102中的材料124、熔合剂112和/或细化剂120的设备。例如，可以将熔合剂112施加在材料124层上，其中（材料124的）颗粒意在要熔合在一起。可以施加细化剂120以修改熔合并且创建精细的细节和/或光滑的表面。暴露于能量（例如，来自热投射器104的热能量）的区域以及试剂（例如，熔合剂112和细化剂120）与材料124之间的反应可以使材料124选择性地熔合在一起以形成对象。

打印头108是用于施加（一个或多个）物质（熔合剂112和/或细化剂120）的设备。打印头108可以是例如热喷墨打印头、压电打印头等。打印头108可以包括（一个或多个）喷嘴（未示出），熔合剂112和/或细化剂120通过该（一个或多个）喷嘴喷出。在一些示例中，打印头108可以跨越构建区域102的维度。尽管描绘了单个打印头108，但是可以使用跨越构建区域102维度的多个打印头108。此外，（一个或多个）打印头108可以定位在（一个或多个）打印杆中。打印头108可以附接到托架（图1中未示出）。托架可以使打印头108在（一个或多个）维度中的构建区域102上方移动。

材料124是用于制造对象的物质（例如，粉末）。可以从材料容器122移动（例如，舀取、举起和/或喷出等）材料124，并且辊130可以将材料124施加（例如，散布）到构建区域102上（例如，在当前层的顶部）。在一些示例中，辊130可以跨越构建区域102的维度（例如，与打印头108相同的维度或与打印头108不同的维度）。尽管描绘了辊130，但是可以利用其它手段将材料124施加到构建区域102。在一些示例中，辊130可以附接到托架（图1中未示出）。托架可以使辊130在（一个或多个）维度中的构建区域102上方移动。在一些实施方式中，可以利用多个材料容器122。例如，可以在构建区域102的相对侧上实现两个材料容器122，这可以允许材料124由辊130在两个方向上散布。

在一些示例中，热投射器104可以跨越构建区域102的维度。尽管描绘了一个热投射器104，但是可以使用跨越构建区域102维度的多个热投射器104。此外，（一个或多个）热投射器104可以定位在（一个或多个）打印杆中。热投射器104可以附接到托架（图1中未示出）。托架可以使热投射器104在（一个或多个）维度中的构建区域102上移动。

在一些示例中，打印头108、辊130和热投射器104中的每一个可以单独地安置和/或可以独立地移动。在一些示例中，打印头108、辊130和热投射器104中的两个或更多个可以安置在一起和/或可以一起移动。在一个示例中，打印头108和热投射器104可以安置在跨越构建区域102的一个维度的打印杆中，而辊130可以安置在跨越构建区域102的另一个维度的托架中。例如，辊130可以在构建区域102上方的通道（pass）中施加材料层124，所述通道随后可以是打印头108和热投射器104在构建区域102上方的（一个或多个）通道。

控制器116是计算设备、基于半导体的微处理器、中央处理单元（CPU）、图形处理单元（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）和/或其它硬件设备。控制器116可以经由通信线（未示出）连接到3D打印设备100的其它组件。

控制器116可以控制致动器（未示出）以控制3D打印设备100的组件的操作。例如，控制器116可以控制：控制打印头108（沿着x、y和/或z轴）的移动的（一个或多个）致动器、控制辊130（沿着x、y和/或z轴）的移动的（一个或多个）致动器、和/或控制热投射器104（沿着x、y和/或z轴）的移动的（一个或多个）致动器。控制器116还可以控制（一个或多个）致动器，所述（一个或多个）致动器控制由打印头108从熔合剂容器110和/或细化剂容器118沉积的熔合剂112和/或细化剂120的量（例如，比例）。在一些示例中，控制器116可以控制沿着z轴提升和降低构建区域102的（一个或多个）致动器。

控制器116可以与数据储存器114通信。数据储存器114可以包括机器可读指令，该机器可读指令使控制器116控制材料124的供应、控制向打印头108的熔合剂112和/或细化剂120供应、控制打印头108的移动、控制辊130的移动、和/或控制热投射器104的移动。

在一些示例中，控制器116可以控制辊130、打印头108和/或热投射器104，以基于3D模型打印3D对象。例如，控制器116可以利用基于3D模型的（一个或多个）连续色调图来控制打印头108。如上面所描述的，连续色调图是指示用于打印物质（例如，熔合剂112、细化剂120或结合剂）的（一个或多个）位置（例如，区域）的数据集。在一些示例中，连续色调图可以包括或指示用于打印物质的机器指令（例如，体素级机器指令）。例如，熔合剂连续色调图指示用于打印熔合剂112的坐标和/或量。在示例中，细化剂连续色调图指示用于打印细化剂120的坐标和/或量。在其它示例中，结合剂连续色调图指示用于打印结合剂120的坐标和/或量。在一些实施方式中，可以利用结合剂连续色调图来代替熔合剂连续色调图。在一些示例中，连续色调图可以对应于3D模型的二维（2D）层（例如，2D切片、2D横截面等）。例如，可以处理3D模型以产生对应于3D模型的多个层的多个连续色调图。（一个或多个）连续色调图可以作为连续色调图数据129存储在数据储存器114中。在一些示例中，连续色调图可以表达为值的2D网格，其中每个值可以指示是否在2D网格上的位置处打印试剂和/或试剂量。例如，值在2D网格中的位置可以对应于构建区域102中的位置（例如，在构建区域102处或其上面的特定级（z）的位置（x，y））。在一些示例中，连续色调图可以是前述2D网格或阵列（例如，四叉树）的压缩版本。

数据储存器114是机器可读存储介质。机器可读储存器是存储可执行指令和/或数据的任何电子、磁性、光学或其它物理存储设备。机器可读存储介质可以是例如随机存取存储器（RAM）、电可擦可编程只读存储器（EEPROM）、存储驱动器、光盘等。机器可读存储介质可以编码有用于控制3D打印设备100的可执行指令。计算机可读介质是可由处理器或计算机读取的机器可读存储介质的示例。

热传感器106是感测或捕获热数据的设备。热传感器106可以集成到、安装在、和/或以其它方式包括在机器（例如，打印机）中。在一些示例中，热传感器106可以捕获构建区域102的热图像。例如，热传感器106可以是捕获构建区域102（例如，构建区域102中施加的材料）的热图像的红外热传感器（例如，摄像机）。在一些示例中，热传感器106可以在制造（例如，打印）期间捕获热图像。例如，热传感器106可以在线和/或实时捕获热图像。

如上面所描述的，热图像是指示区域中温度（或热能）的数据集。可以从热传感器106捕获（例如，感测）热图像，或者可以计算（例如，预测）热图像。例如，热传感器106可以捕获层的热图像以产生捕获的热图像。

在一些示例中，捕获的热图像可以是感测的温度（或热能）的二维（2D）网格。在一些示例中，2D网格中的每个位置可以对应于构建区域102中的位置（例如，在构建区域102处或其上面的特定级（z）的位置（x，y））。（一个或多个）热图像可以指示构建区域102上方的热变化（例如，温度变化）。例如，构建区域102上方的热感测可以指示（例如，捕获和封装）环境复杂性和不均匀热扩散率。在一些方法中，（一个或多个）热图像可以变换成与（一个或多个）连续色调图对准（例如，与（一个或多个）连续色调图配准）。

在一些示例中，控制器116可以从热传感器106接收层的捕获的热图像。例如，控制器116可以命令热传感器106捕获热图像和/或可以从热传感器106接收捕获的热图像。在一些示例中，热传感器106可以捕获正在制造的对象的每个层的热图像。每个捕获的热图像可以作为热图像数据128存储在数据储存器114中。

在一些示例中，数据储存器114可以包括呈现指令131。控制器116可以执行呈现指令131以呈现可视化。例如，控制器116可以生成和/或呈现可视化。呈现可视化包括提供用于显示的视觉信息（例如，像素、渲染、视觉模型等）。可视化的示例包括图形叠加和视口。

在一些示例中，控制器116可以呈现连续色调图与捕获的热图像的图形叠加。呈现连续色调图与捕获的热图像的图形叠加可以包括生成基于连续色调图和/或捕获的热图像的图形叠加。例如，图形叠加可以包括连续色调图的全部或部分、捕获的热图像的全部或部分、和/或基于连续色调图和捕获的热图像的指示或数据（例如，差异、和、得分等）。例如，控制器116可以将连续色调图与捕获的热图像组合（例如，减去、添加、评分等）以用于可视化，以向用户提供关于如何理解制造（例如，打印）性能的见解、帮助调试3D打印设备100、帮助调试打印缺陷和/或指导对缺陷原因的调查。

在一些示例中，图形叠加可以包括连续色调图或连续色调图的一部分上的指示符（例如，图案、颜色、数字、字符等），其指示连续色调图与捕获的热图像之间的差异程度（例如，大于阈值差异）。在一些示例中，图形叠加可以包括捕获的热图像或捕获的热图像的一部分上的指示符（例如，图案、颜色、数字、字符等），其指示连续色调图与捕获的热图像之间的差异程度（例如，大于阈值差异）。在一些示例中，可以用不同的图案、颜色、数字和/或字符等来图示不同的差异程度。

在一些示例中，图形叠加可以包括连续色调图（或连续色调图的半透明版本）与捕获的热图像（或捕获的热图像的半透明版本）叠映在一起。可以用指示符（例如，图案、颜色、数字、字符等）强调连续色调图（或其部分）与捕获的热图像（或其部分）之间的差异程度。

在一些示例中，图形叠加可以包括或基于连续色调图的堆栈和/或捕获的热图像的堆栈。例如，控制器116可以通过堆叠多个连续色调图（或其部分）和/或通过堆叠多个捕获的热图像（或其部分）来产生3D渲染。可以为连续色调图和/或捕获的热图像生成图形叠加，以产生3D图形叠加。

在一些示例中，连续色调图可以是熔合连续色调图。在视觉上叠加熔合连续色调图（例如，熔合剂数据）和捕获的热图像可以图示热扩散（例如，热渗漏）。

在一些示例中，连续色调图可以是细化连续色调图。在视觉上叠加细化连续色调图（例如，细化剂数据）和捕获的热图像可以图示热抑制（例如，热抑制的有效性）。

在一些示例中，呈现可视化可以包括在显示器上呈现可视化。例如，3D打印设备100可以包括显示器，可以耦合到显示器，和/或可以与另一个设备（例如，计算机、平板、智能电话、电视等）通信。控制器116可以向显示器和/或用于呈现的另一个设备提供可视化（例如，图形叠加）。例如，3D打印设备100可以包括通信接口（图1中未示出），用于与显示器或另一个设备通信以发送用于呈现的可视化。可以例如经由有线或无线连接发送可视化（例如，可视化数据）。

在一些示例中，数据储存器114可以存储机器学习数据（图1中未示出）和/或预测的热图像数据。机器学习数据可以包括定义机器学习模型的数据。机器学习模型的示例包括（一个或多个）神经网络。例如，机器学习数据可以定义（一个或多个）节点、节点之间的（一个或多个）连接、（一个或多个）网络层和/或（一个或多个）神经网络。神经网络的示例包括卷积神经网络（CNN）（例如，基本CNN、反卷积神经网络、初始模块、残差神经网络等）和循环神经网络（RNN）（例如，基本RNN、多层RNN、双向RNN、融合RNN、发条（clockwork）RNN等）。一些方法可以利用RNN的(一个或多个)变体（例如，长短期存储器单元（LSTM）、窥视孔LSTM、无输入门（NIG）、无遗忘门（NFG）、无输出门（NOG）、无输入激活功能（NIAF）、无输出激活功能（NOAF）、无窥视孔（NP）、耦合的输入门与遗忘门（CIFG）、全门循环（FGR）、门控循环单元（GRU）等）。可以利用（一个或多个）不同深度的神经网络。

在一些示例中，控制器116使用（由机器学习数据定义的）（一个或多个）神经网络来预测热图像。例如，控制器116可以使用一个或多个神经网络基于一个或多个捕获的热图像以及一个或多个连续色调图（例如，熔合连续色调图和细化连续色调图）来计算（例如，预测）层的预测的热图像。（一个或多个）连续色调图可以用作（一个或多个）神经网络的输入。

预测、计算或运算预测的热图像可以包括在形成层的时间之前、之时或之后计算该层的预测的热图像。因此，可以在形成层之前、期间和/或之后“预测”层的热图像。例如，可以预测尚未施加和/或打印的层的热图像。附加地或替代地，可以在施加和/或打印之后的时间预测层的热行为（例如，热图像）。如本文中所使用的，术语“预测”及其变体可以标示用机器学习模型（例如，（一个或多个）神经网络）的计算。

在一些示例中，在计算预测的热图像时可以利用先前层的多个捕获的热图像。（一个或多个）连续色调图可以对应于与对应于预测的热图像的层相同的层（例如，层k）。

在一些示例中，预测的热图像可以对应于与对应于捕获的热图像的层相同的层。例如，捕获的热图像可以对应于层k，并且预测的热图像可以对应于层k。应当注意，在一些示例中，在计算中也可以利用先前层的多个捕获的热图像。（一个或多个）连续色调图可以对应于与对应于预测的热图像的层相同的层（例如，层k）和/或先前的（一个或多个）层。

连续色调图可以是试剂放置（例如，熔合剂的放置和/或数量和/或细化剂的放置和/或数量）的表示。虽然给出了连续色调图作为输入到（一个或多个）神经网络中的数据示例，但是除了连续色调图之外或替代连续色调图，还可以利用其它信息或数据。例如，切片可以用于辅助预测热图像和/或可以用作替代学习数据集。特别地，在一些示例中，代替（一个或多个）连续色调图或除了（一个或多个）连续色调图之外，还可以使用切片。

应当注意，在一些示例中，热图像（例如，体素级捕获的热图像）可以用于训练（一个或多个）神经网络。例如，控制器116可以基于预测的热图像和热图像来计算损失函数。可以基于损失函数来训练（一个或多个）神经网络。结合图6描述了可以利用的神经网络的示例。

在一些示例中，控制器116可以基于预测的热图像和捕获的热图像来生成和/或呈现可视化（例如，图形叠加）。例如，代替（一个或多个）连续色调图或除了（一个或多个）连续色调图之外，还可以利用预测的热图像和捕获的热图像来生成和/或呈现可视化（例如，图形叠加），如本文中所描述的。

图2是可以在对象制造可视化中使用的装置256的示例的框图。装置256可以是计算设备，诸如个人计算机、服务器计算机、打印机、3D打印机、智能电话、平板计算机等。装置256可以包括和/或可以耦合到处理器262、数据储存器268、输入/输出接口266、机器可读存储介质280和/或（一个或多个）热图像传感器264。在一些示例中，装置256可以与增材制造设备（例如，结合图1描述的3D打印设备100）通信（例如，与之耦合、与之具有通信链路）。替代地，装置256可以是结合图1描述的3D打印设备100的示例。例如，处理器262可以是结合图1描述的控制器116的示例，数据储存器268可以是结合图1描述的数据储存器114的示例，以及（一个或多个）热图像传感器264可以是结合图1描述的热传感器106的示例。装置256可以包括附加组件（未示出），和/或在不脱离本公开范围的情况下，可以去除和/或修改本文中所描述的组件中的一些。

处理器262可以是中央处理单元（CPU）、基于半导体的微处理器、图形处理单元（GPU）、FPGA、专用集成电路（ASIC）和/或适合于检索和执行存储在机器可读存储介质280中的指令的其它硬件设备中的任何一个。处理器262可以获取、解码和/或执行存储在机器可读存储介质280上的指令（例如，呈现指令276）。附加地或替代地，处理器262可以包括（一个或多个）电子电路，所述（一个或多个）电子电路包括用于施行指令（例如，呈现指令276）的（一个或多个）功能性的电子组件。在一些示例中，处理器262可以被配置为施行结合图1-6中的一个、一些或全部描述的功能、操作、元件、方法等中的一个、一些或全部。

机器可读存储介质280可以是包含或存储电子信息（例如，指令和/或数据）的任何电子、磁性、光学或其它物理存储设备。因此，机器可读存储介质可以是例如随机存取存储器（RAM）、电可擦除可编程只读存储器（EEPROM）、存储设备、光盘等。在一些实施方式中，机器可读存储介质280可以是非暂时性有形机器可读存储介质，其中术语“非暂时性”不涵盖暂时性传播信号。

装置256还可以包括处理器262可以在其上存储信息的数据储存器268。数据储存器268可以是易失性和/或非易失性存储器，诸如动态随机存取存储器（DRAM）、EEPROM、磁阻随机存取存储器（MRAM）、相变RAM（PCRAM）、忆阻器、闪速存储器等。在一些示例中，机器可读存储介质280可以包括在数据储存器268中。替代地，机器可读存储介质280可以与数据储存器268分离。在一些方法中，数据储存器268可以存储与机器可读存储介质280存储的指令和/或数据类似的指令和/或数据。例如，数据储存器268可以是非易失性存储器，并且机器可读存储介质280可以是易失性存储器。

装置256可以进一步包括输入/输出接口266，处理器262可以通过该输入/输出接口266与（一个或多个）外部设备（未示出）通信，例如，以接收并存储与要制造（例如，打印）的（一个或多个）对象有关的信息。输入/输出接口266可以包括硬件和/或机器可读指令，以使得处理器262能够与（一个或多个）外部设备通信。输入/输出接口266可以实现与（一个或多个）外部设备的有线或无线连接。输入/输出接口266可以进一步包括网络接口卡和/或还可以包括硬件和/或机器可读指令，以使得处理器262能够与各种输入和/或输出设备（诸如键盘、鼠标、显示器、另一个装置、电子设备、计算设备等）通信，用户可以通过所述设备将指令输入到装置256中。

在一些示例中，机器可读存储介质280可以存储热图像数据278。可以从（一个或多个）热图像传感器264获得（例如，接收）热图像数据278和/或可以预测热图像数据278。例如，处理器262可以执行指令（图2中未示出）以获得（一个或多个）层的（一个或多个）捕获的热图像。在一些示例中，装置256可以包括（一个或多个）热图像传感器264，可以耦合到（一个或多个）远程热图像传感器，和/或可以从（集成和/或远程）热图像传感器接收热图像数据278（例如，（一个或多个）热图像）。热图像传感器264的一些示例包括热摄像机（例如，红外摄像机）。可以利用其它种类的热传感器。在一些示例中，（一个或多个）热图像传感器264可以为神经网络训练提供体素级（或体素级附近）的热感测。

热图像数据278可以包括（一个或多个）热图像。如上面所描述的，热图像可以是指示区域和/或体积上方的热量（例如，温度）的图像。例如，热图像可以指示构建区域温度分布（例如，顶层上方的热温度分布）。在一些示例中，（一个或多个）热图像传感器264可以经历校准过程以克服由（一个或多个）热图像传感器264引入的失真。例如，可以变换热图像以将热图像与（一个或多个）连续色调图配准。在不同的示例中可以使用不同类型的热感测设备。

在一些示例中，处理器262可以执行连续色调图获得指令282以获得连续色调图数据274。例如，连续色调图获得指令282可以（例如，从切片数据和/或3D模型数据）生成（一个或多个）连续色调图和/或可以（例如，经由输入/输出接口266）从另一个设备接收（一个或多个）连续色调图。连续色调图数据274可以指示用于打印3D对象的体素级的试剂分布（例如，熔合剂分布和/或细化剂分布）。例如，连续色调图数据274可以用作试剂分布的每层机器指令（例如，体素级机器指令）。

应当注意，在一些示例中，可以利用对应于吸收或去除热能的不同能力的多个不同试剂连续色调图。附加地或替代地，一些示例可以利用不同的打印模式，其中对于每个试剂，可以使用多个连续色调图。

对于给定层（例如，当前层、顶层等），在一些示例中，沉积到该层的所有试剂的（一个或多个）连续色调图可以是能量驱动力。应当注意，另一个体素级能量影响因素可以在先前层中包括相邻体素，与给定体素相比，该相邻体素可能具有温度差，这可能诱发热通量进入或离开体素。

机器可读存储介质280可以存储神经网络数据272。神经网络数据272可以包括定义和/或实现（一个或多个）神经网络的数据。例如，神经网络数据272可以定义（一个或多个）节点、节点之间的（一个或多个）连接、（一个或多个）网络层和/或（一个或多个）神经网络。在一些示例中，处理器262可以利用神经网络数据272（例如，执行包括在其中的指令）来计算预测的热图像。（一个或多个）预测的热图像可以作为预测的热图像数据270存储在机器可读存储介质280上。

在一些示例中，处理器262使用（由神经网络数据272定义的）（一个或多个）神经网络来计算（一个或多个）预测的热图像。例如，处理器262可以使用（一个或多个）神经网络基于（一个或多个）连续色调图来计算预测的热图像。（一个或多个）预测的热图像可以存储为预测的热图像数据270。例如，处理器262可以使用一个或多个神经网络基于捕获的热图像和连续色调图（例如，熔合连续色调图和细化连续色调图）来计算（例如，预测）预测的热图像。

在一些示例中，处理器262可以执行呈现指令276，以呈现对象制造可视化。例如，处理器262可以执行呈现指令276，以呈现图形叠加和/或呈现视口集。在一些示例中，处理器262可以执行呈现指令276，以呈现堆叠的熔合连续色调图的第一视口、堆叠的细化连续色调图的第二视口、堆叠的预测的热图像的第三视口和/或堆叠的捕获的热图像的第四视口。例如，处理器262可以组装或堆叠连续色调图和/或热图像。堆叠的连续色调图和/或堆叠的捕获的热图像可以产生（一个或多个）对象的3D渲染。在一些示例中，处理器262可以堆叠连续色调图和/或热图像的（一个或多个）部分。例如，处理器262可以利用对应于（一个或多个）对象（例如，部件）的连续色调图和/或热图像的（一个或多个）部分。例如，处理器262可以从堆栈排除非对象部分。结合图3给出了堆叠的连续色调图和堆叠的热图像的示例。

在一些示例中，机器可读存储介质280可以存储3D模型数据（图2中未示出）。可以由装置256生成和/或从另一个设备接收3D模型数据。在一些示例中，机器可读存储介质280可以包括切片指令（图2中未示出）。例如，处理器262可以执行切片指令，以对3D模型数据施行切片以产生2D矢量切片的堆栈。

在一些示例中，处理器262可以将可视化（例如，图形叠加、视口集等）发送到显示器以用于呈现。显示器的示例包括液晶显示器（LCD）面板、有机发光二极管（OLED）面板、阴极射线管（CRT）屏幕等。在一些示例中，装置256可以包括可以在其上呈现可视化的显示器（图2中未示出）。附加地或替代地，处理器262可以（例如，经由输入/输出接口266）将可视化发送到远程显示器和/或远程设备以用于呈现。

在一些示例中，呈现指令276可以包括3D打印指令。例如，处理器262可以执行3D打印指令以打印（一个或多个）3D对象。在一些实施方式中，3D打印指令可以包括用于控制（一个或多个）设备（例如，辊、打印头和/或热投射器等）的指令。例如，3D打印指令可以使用（一个或多个）连续色调图（例如，存储为连续色调图数据）来控制（一个或多个）打印头，以在由（一个或多个）连续色调图指定的（一个或多个）位置中打印（一个或多个）试剂。在一些示例中，处理器262可以执行3D打印指令以打印（一个或多个）层。打印（例如，热投射器控制）可以基于热图像（例如，捕获的热图像和/或预测的热图像）。

在一些示例中，机器可读存储介质280可以存储神经网络训练指令278。处理器262可以执行神经网络训练指令，以训练（例如，由神经网络数据272定义的）（一个或多个）神经网络。在一些示例中，处理器262可以使用捕获的训练热图像集来训练（一个或多个）神经网络。在一些方法中，神经网络训练指令可以包括损失函数。处理器262可以基于预测的热图像和捕获的训练热图像来计算损失函数。例如，捕获的训练热图像可以为损失函数提供基础真值（其可能或可能不在体素级）。损失函数可以用于训练（一个或多个）神经网络。例如，可以基于损失函数来调整（一个或多个）神经网络中的（一个或多个）节点和/或（一个或多个）连接权重，以便改善（一个或多个）神经网络的预测准确度。应当注意，可能并非在所有实施方式中都需要结合图2描述的所有元件和/或特征。

图3是图示视口集392的示例的图。该视口集392包括堆叠的熔合连续色调图的第一视口384、堆叠的细化连续色调图的第二视口386、堆叠的预测的热图像的第三视口388和堆叠的捕获的热图像的第四视口390。在一些示例中，装置256可以在显示器上呈现该视口集392。如可以观察到的，该视口集392允许打印指令（例如，连续色调图）、预测的热图像和/或捕获的热图像之间的比较。如所图示的，每个视口可以包括堆叠的图像集（例如，连续色调图或热图像），以提供所制造对象（例如，部件）的3D视图或渲染。

图4是图示用于对象制造可视化的方法400的示例的流程图。可以由电子设备施行方法400和/或方法400的（一个或多个）元件。例如，可以由结合图2描述的装置256（和/或由结合图1描述的3D打印设备100）来施行方法400。

装置256可以使用机器学习模型来确定402增材制造的预测的热图像。例如，装置256可以利用（一个或多个）神经网络来计算（一个或多个）增材制造对象的层的预测的热图像。在一些示例中，可以基于（一个或多个）连续色调图和/或（一个或多个）捕获的热图像来计算预测的热图像。

装置256可以获得404捕获的热图像。例如，在层已经沉积之后，装置256可以使用热图像传感器获得404该层的捕获的热图像，或者可以从远程图像传感器接收该层的捕获的热图像。

装置256可以呈现406预测的热图像与捕获的热图像的图形叠加。呈现预测的热图像与捕获的热图像的图形叠加可以包括生成基于预测的热图像和/或捕获的热图像的图形叠加。例如，图形叠加可以包括预测的热图像的全部或部分、捕获的热图像的全部或部分、和/或基于预测的热图像和捕获的热图像的指示或数据（例如，差异、和、得分等）。例如，控制器116可以将预测的热图像与捕获的热图像组合（例如，减去、添加、评分等）以用于可视化，以向用户提供关于如何理解制造（例如，打印）性能的见解、帮助调试装置256、帮助调试打印缺陷和/或指导对缺陷原因的调查。

在一些示例中，可以将预测的热图像与捕获的热图像之间的差异可视化（例如，计算、评分、分级、呈现、以图形叠加方式呈现等）。在一些示例中，差异可以指示机器学习模型（例如，预测模型、神经网络等）的错误。可视化（例如，图形叠加）可以向用户提供关于何处（例如，边界、特定区域等）发生预测错误和/或可以如何改善机器学习模型的见解。例如，如果机器学习模型不足以预测微细节、边界、尖角或大部件等，则那么机器学习模型可能受益于改善，以更好地预测这样的特征。因此，本文中所描述的可视化确定和呈现的一些示例在机器学习模型开发中可能有用。

在一些示例中，图形叠加可以包括预测的热图像或预测的热图像的一部分上的指示符（例如，图案、颜色、数字、字符等），其指示预测的热图像与捕获的热图像之间的差异程度（例如，大于阈值差异）。在一些示例中，图形叠加可以包括捕获的热图像或捕获的热图像的一部分上的指示符（例如，图案、颜色、数字、字符等），其指示预测的热图像与捕获的热图像之间的差异程度（例如，大于阈值差异）。在一些示例中，可以用不同的图案、颜色、数字和/或字符等来图示不同的差异程度。

在一些示例中，图形叠加可以包括预测的热图像（或预测的热图像的半透明版本）与捕获的热图像（或捕获的热图像的半透明版本）叠映在一起。可以用指示符（例如，图案、颜色、数字、字符等）强调预测的热图像（或其部分）与捕获的热图像（或其部分）之间的差异程度。

在一些示例中，图形叠加可以包括或基于预测的热图像的堆栈和/或捕获的热图像的堆栈。例如，装置256可以通过堆叠多个预测的热图像（或其部分）和/或通过堆叠多个捕获的热图像（或其部分）来产生3D渲染。可以为预测的热图像和/或捕获的热图像生成图形叠加，以产生3D图形叠加。在一些示例中，方法400可以包括堆叠多个预测的热图像（或其（一个或多个）部分）。可以用多个预测的热图像呈现406图形叠加。

在一些示例中，方法400可以包括使用连续色调图来掩蔽预测的热图像和/或捕获的热图像，以产生部件图。例如，连续色调图（例如，熔合连续色调图）可以指示对应于（一个或多个）对象（例如，（一个或多个）部件）的预测的热图像和/或捕获的热图像的一个或多个部分。例如，对应于对象的部分是要形成对象或部件的区域。非对象部分是不要形成对象或部件的区域。用连续色调图掩蔽预测的热图像和/或捕获的热图像可以将对应于（一个或多个）对象的（一个或多个）部分与非对象部分分离。因此，使用连续色调图掩蔽预测的热图像和捕获的热图像可以产生具有对象部分的部件图。部件图可以包括（一个或多个）对象部分，并且可以排除（一个或多个）非对象部分。

在一些示例中，方法400可以包括确定（一个或多个）异常得分。异常得分是指示预期特性（例如，结构、几何形状或热行为）与实际特性之间的差距程度的值（例如，数值）。例如，异常得分可以指示(一个或多个)预测的热图像与（一个或多个）捕获的热图像之间的差距程度。异常得分的示例包括：指示整个增材制造作业的差距程度的作业异常得分、指示对象（例如，作业中多个对象中的一个对象）的差距程度的对象异常得分、以及指示位置（例如，像素、体素等）的差距程度的局部异常得分。如下给出了用于计算异常得分的技术示例。

在一些示例中，确定（一个或多个）异常得分可以包括计算预测的热图像（或其（一个或多个）部分）与捕获的热图像（或其（一个或多个）部分）之间的差异。例如，装置256可以从预测的热图像的（一个或多个）像素值减去捕获的热图像的（一个或多个）像素值。替代地，装置256可以从捕获的热图像的（一个或多个）像素值减去预测的热图像的（一个或多个）像素值。在一些示例中，可以针对捕获的热图像和/或预测的热图像的（一个或多个）部分来计算差异。例如，可以利用对应于（一个或多个）对象（例如，（一个或多个）部件、（一个和多个）熔化的部件等）的预测的热图像和捕获的热图像的（一个或多个）部分来计算差异。如上面所描述的，可以利用（例如，相同层的）熔合连续色调图将预测的热图像和捕获的热图像掩蔽（例如，分割）成对应于（一个或多个）对象（例如，部件图）的（一个或多个）部分。（一个或多个）部分可以指示（一个或多个）对象在层中的实际定位。在一些示例中，作业信息可以指示对象的数量。例如，装置256可以存储用对应定位注释或索引每个对象的数据。差异可以包括对应于（一个或多个）部分的像素或体素的差异值集。

在一些示例中，确定（一个或多个）异常得分可以包括计算差异的平均值。例如，装置256可以计算每个对象的差异值的平均值（或差异值的绝对值）。例如，对于对象的每个预测的热图像（例如，层），装置256可以使用对应的（一个或多个）捕获的热图像来计算差异的绝对值的平均值。可以利用每个部件的差异的平均值来计算每个对象的对象异常得分。

在一些示例中，确定（一个或多个）异常得分可以包括基于平均值和基于机器学习模型的统计值来计算异常得分。例如，当训练机器学习模型时，可以确定（例如，预测的热图像与捕获的训练热图像之间差异的）机器学习模型的统计值（例如，均值（μ）和标准偏差（σ））。机器学习模型的统计值可以表示增材制造过程的预期行为。

在一些示例中，可以根据等式（1）来施行计算异常得分。

在等式（1）中，Score是异常得分，x是差异（例如，作业的平均差异、对象的平均差异、或局部差异值），μ是机器学习模型的均值，以及σ是机器学习模型的标准偏差。对于对象异常得分，x可以是该对象的（一个或多个）预测的热图像与（一个或多个）捕获的热图像之间的平均差异。对于作业异常得分，x可以是作业中所有对象的平均差异（例如，对象平均差异的平均差异）。例如，装置256可以计算作业中所有对象的平均差异，并且使用机器学习模型的均值和标准偏差来计算作业异常得分，如等式（1）中所图示的。

对于局部异常得分，x可以是位置（例如，像素、体素等）处的差异值。在一些示例中，装置256可以计算局部异常得分集。例如，装置256可以计算（一个或多个）预测的热图像与（一个或多个）捕获的热图像之间的局部差异值集（例如，（一个或多个）对象的每个像素的差异值）。装置256可以根据等式（1），基于局部差异值集以及基于机器学习模型的统计值来计算局部异常得分集。

在一些示例中，方法400可以包括将（一个或多个）异常得分（例如，异常得分集）与阈值集进行比较以产生（一个或多个）等级（例如，等级集）。在一些示例中，阈值集包括多个机器学习模型的标准偏差。表（1）中给出了阈值集的示例。应当注意，尽管表（1）提供了阈值集的一些示例，但是可以利用其它阈值和/或另一个函数来将（一个或多个）异常得分映射到（一个或多个）等级。

在一些示例中，呈现图形叠加可以基于（一个或多个）异常得分。例如，呈现图形叠加可以包括呈现（一个或多个）值（例如，（一个或多个）得分或（一个或多个）等级）、图案、颜色、或用于作业、（一个或多个）对象和/或位置的其它指示符。例如，装置256可以将局部异常得分集与阈值集进行比较，以在捕获的热图像上方产生等级集。装置256可以基于等级集对图形叠加进行颜色编码。结合图5给出了图形叠加的示例。

如表（1）中所示出的示例中所图示的，比机器学习模型的均值低多于两个标准偏差的异常得分可能指示熔化不足的作业、对象或对象的一部分。附加地或替代地，如表（1）所示出的示例中所图示的，比机器学习模型的均值高多于两个标准偏差的异常得分可能指示熔化过度的作业、对象或对象的一部分。

图5是图示用于增材制造过程的对象594a-b的图形叠加596a-c的示例的图。特别地，装置256可以（例如，在显示器上、在窗口中、在图形用户接口（GUI）中等）呈现具有图形叠加A 596a的对象A 594a。在该示例中，图形叠加A 596a是与对象A 594a一起（例如，在其上方）的字符集，其指示该对象的等级。在该示例中，对象A 594a的平均异常得分对应于100的等级（例如，平均异常得分在距机器学习模型的均值±1σ内）。

在图5中还作为示例图示了对象B 594b。在该示例中，装置256可以（例如，在显示器上、在窗口中、在图形用户接口（GUI）中等）呈现具有图形叠加B 596b和/或图形叠加C596c的对象B 594b。在该示例中，图形叠加B 596b是与对象B 594b一起（例如，在其上方）的字符集，其指示该对象的等级。在该示例中，对象B 594b的平均异常得分对应于60的等级（例如，平均异常得分在距机器学习模型的均值±1σ和2σ之间）。

图形叠加C 596c图示了对象B 594b的部分上方（例如，与之叠映在一起）的等级598b-d。在该示例中，利用不同的图案来图示等级598a-d。附加地或替代地，可以利用不同的颜色来图示不同的等级。例如，在表（1）中，等级A 598a可以对应于数值等级100，等级B598b可以对应于数值等级的数值等级40，等级C 598c可以对应于数值等级的数值等级20，以及等级D 598d可以对应于数值等级的数值等级0。图形叠加C 596c标识了对象B 594b的特定部分，所述部分在变化的程度上偏离了预期的热行为。

如从图5可以观察到的，图形叠加可以帮助用户直观地定位可能包括缺陷的对象或对象的部分。例如，在分割对象并计算出热差异和得分之后，可以重建对象的3D图像，并且可以基于异常得分来标记具有高异常得分的部分。3D可视化可以按作业、按对象和/或按部分示出异常。例如，每个像素可以表示对应体素的得分，并且可以用平均值来计算对象得分。

图6是图示神经网络架构601的示例的图。结合图6描述的神经网络架构601可以是结合图1-5描述的机器学习模型或神经网络的示例。神经网络架构601可以考虑对熔合层的体素级热影响因素。具有神经网络架构601的深度神经网络可以学习时空信息，识别对熔合层热行为的两个热影响因素：由连续色调图615驱动的能量吸收和/或损失，以及层内和不同层之间的体素级热耦合。神经网络架构601可以包括时空神经网络607。时空神经网络607的示例是循环神经网络。在一些示例中，时空神经网络607可以包括一个或多个卷积长短期记忆网络（Conv-LSTM）。Conv-LSTM是一种类型的循环神经网络，其克服了数值不稳定性问题并考虑了空间和时间影响。

在每个层处，当前层连续色调图615（或基于连续色调图的数据）和先前层捕获的热图像603（或基于先前层捕获的热图像的数据）可以用作输入。热图像编码器605可以对先前层捕获的热图像603进行编码以产生编码的热图像621。

时空神经网络607可以学习从先前层传送的层热量，这可以模拟热量传送。编码的热图像621可以作为输入提供给时空（例如，Conv-LSTM）神经网络607。可以通过解码器611传递（例如，在当前时间戳处）第k层的输出609，以产生第k层（例如，熔合层）的第一预测的热图像613。

空间神经网络617可以学习由（一个或多个）连续色调图（例如，熔合连续色调图和/或细化连续色调图）生成的热图像。空间神经网络617的示例是卷积神经网络（CNN）。CNN可以包括各种组件（例如，卷积层、池化层、反卷积层、初始层、残差层等）。第k层的（一个或多个）连续色调图615可以输入到空间神经网络617，其可以产生第k层的第二预测的热图像619。

可以将第一预测的热图像613和第二预测的热图像619提供给合成神经网络623。合成神经网络623的示例是CNN。合成神经网络623可以学习并合成来自（一个或多个）连续色调图的预测的热图像的贡献以及来自先前捕获的热图像的预测的热图像的贡献。例如，合成神经网络623可以合成第一预测的热图像613和第二预测的热图像619以产生第三预测的热图像625。

在一些示例中，第三预测的热图像625和（第k层的）捕获的热图像627可以用于确定如本文中所描述的（一个或多个）异常得分629。例如，装置256可以基于第三预测的热图像625和捕获的热图像627来计算如本文中所描述的（一个或多个）异常得分629。如本文中所描述的，（一个或多个）异常得分629可以用于产生（一个或多个）等级和/或呈现图形叠加。

应当注意，虽然在本文中描述了系统和方法的各种示例，但是本公开不应限于所述示例。可以在本公开的范围内实现本文中所描述的示例的变体。例如，可以省略或组合本文中所描述的示例的功能、方面或元件。

Claims (15)

1.一种通过电子设备进行对象制造可视化的方法，包括：

使用机器学习模型来确定增材制造的预测的热图像；

获得捕获的热图像；以及

呈现预测的热图像与捕获的热图像的图形叠加。

2.根据权利要求1所述的方法，进一步包括堆叠多个预测的热图像，其中所述图形叠加被呈现有多个预测的热图像。

3.根据权利要求1所述的方法，进一步包括使用连续色调图来掩蔽预测的热图像和捕获的热图像，以产生部件图。

4.根据权利要求1所述的方法，进一步包括：

计算预测的热图像与捕获的热图像之间的差异；

计算差异的平均值；以及

基于平均值以及基于机器学习模型的统计值来计算异常得分。

5.根据权利要求1所述的方法，进一步包括：

计算预测的热图像与捕获的热图像之间的差异值集；以及

基于差异值集以及基于机器学习模型的统计值来计算异常得分集。

6.根据权利要求5所述的方法，进一步包括将异常得分集与阈值集进行比较，以在捕获的热图像上方产生等级集。

7.根据权利要求6所述的方法，进一步包括基于等级集对图形叠加进行颜色编码。

8.根据权利要求6所述的方法，其中所述阈值集包括多个机器学习模型的标准偏差。

9.根据权利要求8所述的方法，其中比机器学习模型的均值低多于两个标准偏差的异常得分指示对象的熔化不足的部分。

10.根据权利要求8所述的方法，其中比机器学习模型的均值高多于两个标准偏差的异常得分指示对象的熔化过度的部分。

11.一种三维（3D）打印设备，包括：

打印头，用于基于连续色调图来打印试剂；

热投射器；

热传感器；以及

控制器，其中所述控制器要：

从热传感器接收捕获的热图像；以及

呈现连续色调图与捕获的热图像的图形叠加。

12.根据权利要求11所述的3D打印设备，其中所述连续色调图是熔合连续色调图。

13.根据权利要求12所述的3D打印设备，其中所述连续色调图是细化连续色调图。

14.一种存储可执行代码的非暂时性有形计算机可读介质，包括：

用于使处理器获得熔合连续色调图和细化连续色调图的代码；

用于使处理器获得捕获的热图像的代码；

用于使处理器基于熔合连续色调图、细化连续色调图以及捕获的热图像使用神经网络来计算预测的热图像的代码；以及

用于使处理器呈现堆叠的熔合连续色调图的第一视口、堆叠的细化连续色调图的第二视口、堆叠的预测的热图像的第三视口和堆叠的捕获的热图像的第四视口的代码。

15.根据权利要求14所述的计算机可读介质，其中所述堆叠的熔合连续色调图、堆叠的细化连续色调图、堆叠的预测的热图像和堆叠的捕获的热图像排除非对象部分。

Images