CN116197904A - 基于深度学习的多自由度3d打印校正方法 - Google Patents

Abstract

本发明公布了一种基于深度学习的多自由度3D打印校正方法，包括如下步骤：S1、建立多自由度3D打印视觉监测系统；S2、构建数据集；S3、建立参数预测模型；S4、预测打印参数类别并实时调节。该方法应用于多自由度3D打印过程，通过视觉监测系统不仅可以实时检测打印挤出端区域，同时能够根据参数反馈对打印参数(包括流速、横向移速、纵向偏移量和热端温度)进行自主校正，从根本上避免打印缺陷产生；大大提高了多自由度3D打印的打印精度，且不依赖人工调节，能够提高打印件的成功率，节省打印材料和时间；而且，该方法具有良好的可移植性，重现性高，可应用在其他打印平台。

Description

基于深度学习的多自由度3D打印校正方法

技术领域

本发明涉及一种3D打印技术，具体涉及一种基于深度学习的多自由度3D打印校正方法。

背景技术

多自由度3D打印本质上是在打印过程中引入更多的自由度，传统3D打印由于自由度较少，灵活性较低，无法实现复杂曲面打印，且在形成悬空结构时需打印大量额外的支撑结构，造成时间和成本的浪费。多自由度3D打印灵活性较高，在实现复杂结构时具有显著优势，其不需要或仅需要较少支撑结构的特性，大大缩短了制造时间并节省打印材料。

目前，多自由度3D打印的实现方式主要有两种：(1)增加传统3D打印设备自由度；(2)使用多自由度机械臂搭建3D打印平台。机械臂平台相较于传统的打印平台而言，能实现大尺寸物体一体化成型打印，避免分块打印后再组装所造成的表面精度下降，且可实现无支撑打印，也更适合自由曲面打印。该种打印方式尤其在生物3D打印、航空3D打印等领域中具有较好的应用前景。

尽管多自由度3D打印技术突破了传统3D打印发展中的一些瓶颈，但其应用推广仍存在诸多问题和挑战。比如，由于运动控制和路径规划的复杂性，打印过程中容易出现阶梯效应、轨迹规划滞后、打印参数(挤出速度，热端温度、末端喷头移动速度等)不匹配等问题，导致打印件产生翘曲、层间分离、鼓泡等缺陷。由于打印过程的数理模型难以建立，目前主要运用机器视觉或其他方式对打印过程进行检查和判断，确定缺陷后采取中止打印或暂停打印等操作，再由人工经验重新设置打印参数，再次尝试打印，直至获得满意的结果。但是，此种方式不能从根本上避免缺陷产生，且严重依赖于人工经验调节参数，反复实验造成大量材料和时间的浪费。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了一种基于深度学习的多自由度3D打印校正方法。

为了实现上述目标，本发明采用如下的技术方案：

基于深度学习的多自由度3D打印校正方法，包括以下步骤：

S1、建立多自由度3D打印视觉监测系统：实时观测挤出端区域状况，连续采集打印区域图像；

S2、构建数据集：所述3D打印视觉监测系统采集图像并记录打印参数数据，收集不同打印参数下的图像和数据并构建数据集，按照7:2:1分为训练集、验证集和测试集；

S3、建立参数预测模型：所述参数预测模型包括特征提取模块和参数分类模块；所述特征提取模块用于从输入图像中提取特征，由卷积层、多个残差模块和注意力机制模块连接而成一个共享的特征提取网络；所述参数分类模块用于将各参数分为三类并根据网络运算结果输出预测类别；

S4、预测打印参数类别并实时调节：将打印过程中监测系统采集的图像实时传入预测模型内，根据模型预测结果在反馈回路内持续校正，改善打印条件，实现闭环控制。

优选地，前述3D打印视觉监测系统包括：工业相机、镜头、机械臂及机器人控制器，所述工业相机固定于机械臂末端以拍摄打印区域图像。

更优选地，前述3D打印视觉监测系统构建的数据集图像均为灰度图像，且输入网络前均经过数据增强处理：每张图像首先被随机在任意方向旋转10°，然后将所有图片裁剪为320*320像素，并按0.5概率随机增减图像10％的对比度、亮度、色调和饱和度。

更优选地，前述打印参数包括流速、横向移速、纵向偏移量和热端温度，每种打印参数的取值类型均包括三类：正常值范围内的参数类别记为“Normal”，低于正常值范围记为“Low”，高于正常值范围记为“High”。

再优选地，前述注意力机制模块采用残差注意力机制，每个残差注意力机制模块均包含一个主干分支和掩码分支，通过注意力机制模块输出的特征图为两个分支的加权特征图，采用如下公式表示残差注意力机制：

H_i,c(x)＝(1+M_i,c(x))*T_i,c(x)

其中，所述i为图片中所有空间位置的取值，c∈{1,2,…,C},其中C为总通道数；x为注意力模块的输入，H_i,c(x)为残差注意力机制模块的输出，T_i,c(x)为主干分支的输出；M_i,c(x)为与主干分支输出大小相同的掩码分支输出。

进一步优选地，前述参数分类模块将共享网络提取出的特征图输入到四个独立的全连接层进行训练，并基于损失函数更新网络内的权重参数，使损失函数Loss最小化。

更进一步优选地，前述损失函数Loss为流速L₁、横向移速L₂、纵向偏移量L₃和热端温度L₄的交叉熵损失之和，即：

其中，N为每批次输入网络的图片数量；K＝3，代表每个参数的类别数量为3，分别是“Low、Normal、High”；

均为三维向量，分别表示样本流速、横向移速、纵向偏移量和热端温度的真实类别(一位有效)编码，表示若图片标注的参数类别为c，则三维向量的对应类别位置取1，否则为0；/>

分别为样本流速、横向移速、纵向偏移量和热端温度的每种类别预测概率值。

具体优选地，前述N取值为32。

更进一步优选地，本发明中采用Adamw优化器进行参数优化，优化公式为：

其中，θ为网络权值，α为学习率，，

为修正偏差后的一阶矩，/>

为修正偏差后的二阶矩，ε为避免除数为零而补充的无穷小量，λ为权重衰减因子，η_t为比例因子。

再进一步优选地，前述实时调节依据为：若模型对监测图像的预测参数类别结果为“Low”和“High”，则打印系统进入参数校正程序，参数类别为“Normal”时打印系统将绕过参数校正程序继续打印。

本发明提出一种基于深度学习的多自由度3D打印系统过程监测与参数校正方法，具有以下优势：

(1)本发明的校正方法应用于3D打印过程，通过多自由度3D打印视觉监测系统可以实时监测打印区域，进而能够根据参数反馈对打印参数(包括流速、横向移速、纵向偏移量和热端温度)进行自主校正，从根本上避免打印缺陷产生；

(2)本发明的校正方法的实现整体上主要分为两部分：训练参数预测模型和建立打印平台的反馈系统，运用闭环控制系统进行参数反馈与自主调节。实时调节依据为：若预测参数类别的结果为“Low”和“High”，则打印系统进入参数校正程序，参数类别为“Normal”时打印系统将绕过参数校正程序继续打印。大大提高了多自由度3D打印的打印精度，且不依赖人工调节，能够提高打印件的成功率，节省打印材料和时间；而且，该方法具有良好的可移植性，重现性高，可应用在其他打印平台。

附图说明

图1是基于深度学习的多自由度3D打印校正方法的步骤示意图；

图2是基于深度学习的多自由度3D打印校正方法所采用的3D打印系统的示意图；

图3是基于深度学习的多自由度3D打印校正方法中数据集构建流程图；

图4是基于深度学习的多自由度3D打印校正方法中参数预测模型示意图；

图5是基于深度学习的多自由度3D打印校正方法中参数预测模型结构图；

图6是基于深度学习的多自由度3D打印校正方法中参数校正流程图。

图中附图标记的含义：1、相机，2、镜头，3、机器人控制器，4、机械臂，5、挤出电机，6、挤出头。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示，本发明的校正方法包括如下流程：首先，运用高分辨率工业相机系统实时连续采集打印区域的图像，将其传入参数预测神经网络模型中；然后，利用该模型可根据输入图像对打印过程中的材料流速、打印头横向速度、纵向偏移量和热端温度同时进行预测，预测结果即为打印参数校正的依据；最后，通过反馈系统将校正结果传到打印平台，平台做出响应调节参数，实现闭环控制。

下面对校正方法的具体过程进行详述。

(1)建立多自由度3D打印视觉监测系统

在以工业机械臂4为核心的3D打印平台上，通过建立机器视觉系统检测挤出头6位置，实时观测挤出头6和打印表面状况。所采用的机器视觉系统如图2所示，主要包含工业相机1、镜头2、机器人控制器3和机械臂4等，3D打印材料通过挤出电机5从挤出头6处挤出。其中，相机1固定于机械臂4末端，拍摄角度固定在挤出头6的斜上方，拍摄范围是出料口和打印件上表面的一部分。

(2)构建数据集

本步骤中，构建的数据集主要用于参数预测模型的训练和验证。在打印过程中，相机1按一定采样频率拍摄图像，同时记录图像与当前打印参数，包括流速、横向移速、纵向偏移量和热端温度。并将各参数数值分为三类，流速和横向移动速度包括快、慢和正常三类，纵向偏移量和热端温度包括高、低和正常三类。因材料、机器性能和打印目标物等不同，无法建立正常值的相关标准，各参数依据打印实验和人工经验设定正常值范围。正常值范围内的参数类别记为“Normal”，低于正常值范围记为“Low”，高于正常值范围记为“High”。

为保证训练数据的全面性，数据集应尽可能包含各参数的所有类别，并达到一定数量。针对上述要求，在打印模型的过程中先确定一组参数进行打印，在该条件下采集x张图像后更新参数，重复此过程直至打印结束。选择新的打印模型，重复构建如图3所示的流程。

为了提高预测模型的适用性，减小材料颜色对预测结果的影响，训练所用图像均为灰度图像，且输入网络前都经过数据增强处理——每张图像首先被随机在任意方向旋转10°，然后将所有图片裁剪为320*320像素，并按0.5概率随机增减图像10％的对比度、亮度、色调和饱和度。最终所用的数据集应剔除拍摄模糊、未拍到出料状况等问题图像。

所有数据集按照7：2：1分为训练集、验证集和测试集，验证集主要用于验证训练过程中网络模型的泛化能力，测试集用于在训练结束后测试网络的实际学习能力。

(3)建立参数预测模型

参数预测网络主体结构如图4所示，主要由特征提取模块和参数分类模块两部分组成，整体上使用卷积神经网络(Convolutional Neural Network,CNN)创建，为多头神经网络架构。输入网络的图像需进行预处理：每张图片裁剪为224*224像素大小并进行归一化处理。

如图5所示，特征提取模块主要由卷积层、多个残差模块和注意力机制模块连接而成一个共享的特征提取网络，从输入图像中提取特征。

卷积层：利用卷积核矩阵从输入图像中提取特征。特征提取结束后网络被展平化为一个全连接层，连接四个独立的输出头，每个输出头根据各自的运算结果输出预测类别。其优势在于网络可以充分学习每个参数之间的关系，且在训练和实际应用时需要更少的计算量和时间，减少计算机内存的消耗。

注意力机制模块采用残差注意力机制，每个残差注意力模块均包含一个主干分支和掩码分支，其输出的特征图为两个分支的加权特征图，采用如下公式表示残差注意力机制：

H_i,c(x)＝(1+M_i,c(x))*T_i,c(x)

其中，i为图片中所有空间位置的取值，c∈{1,2,…,C},C为总通道数；x为注意力模块的输入，H_i,c(x)为残差注意力的输出，T_i,c(x)为主干分支的输出；M_i,c(x)为与主干分支输出大小相同的掩码分支输出。

参数分类：将共享网络提取出的特征图输入到四个独立的全连接层进行训练，并基于损失函数更新网络内的权重参数，使损失函数最小化。最终将各参数分为三类，并根据网络的运算结果输出预测类别。

每个批次的训练图像送入模型后，通过前向传播输出预测值，损失函数会计算出预测值和真实值之间的差异值，即损失值。之后模型通过反向传播更新权重，降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。该模型的损失函数为各输出头的损失之和，为了配合输出层的激活函数(sigmoid或softmax)，加快网络训练速度，本实施例中采用交叉熵函数作为损失函数Loss，定义为：

其中N代表样本总数；K代表类别数量；y_ic为样本真实类别，为K维向量，如果样本i的真实类别等于c就在向量的对应类别位置取1，否则取0；p_ic是通过网络运算的输出值，为K维向量，代表观测样本i属于类别c的预测概率，最大概率值所对应的类别即为网络预测的类别标签。

具体地，设流速的损失函数为：

其中N＝32，是每批次输入网络的图片数量；K＝3，代表流速的类别数量为3，分别是“Low、Normal、High”；

为三维向量，如果图片标注的流速类别为c，则向量的对应位置取1，否则为0；/>

为输入图片分别属于这三个类别的概率值。

同理，横向速度、纵向偏移量和热端温度的损失函数分别定义为L₂、L₃、L₄，公式与L₁相似，此处不做赘述，各输出头的全连接层只由该头的损失函数进行更新。

最终，损失函数定义为流速、横向移速、纵向偏移量和热端温度的损失之和，在主体进行反向传播之前相加，公式为：

该Loss为共享特征提取网络的反向传播更新依据，其中，

均为三维向量，分别表示样本流速、横向移速、纵向偏移量和热端温度的真实类别(一位有效)编码，表示若图片标注的参数类别为c，则三维向量的对应类别位置取1，否则为0；

为样本流速、横向移速、纵向偏移量和热端温度的每种类别预测概率值。

为了更好地理解和实施本发明，下面对参数优化方法进行详细介绍。该网络模型的训练过程主要是将每个批次的训练图像送入模型，通过前向传播算法计算预测值，根据预测值和真实值之间的误差求取损失函数的值，之后通过反向传播算法优化并更新网络中的权重参数，使损失函数最小化。

优化过程描述如下：

θ^*＝argmin_θL(f((x_i,θ))

其中，L(f((x_i,θ))表示损失函数值；f((x_i,θ)为输入值；θ为卷积神经网络参数；x_i为卷积神经网络的输入；θ^*为卷积神经网络的最优参数。

反向传播算法优化权重的方法主要由优化器决定，本实施例模型所采用的优化器为Adamw，对梯度的一阶矩估计(梯度均值)和二阶矩估计(梯度方差)进行综合考虑，动态调整每个参数的学习率。该优化过程不但收敛速度快，而且在权重更新时引入了权重衰减，克服了现有技术中容易出现过拟合的问题。

具体的参数优化公式表示为：

上式中，θ为网络权值，α为学习率，

为修正偏差后的一阶矩，/>

为修正偏差后的二阶矩，ε为避免除数为零而补充的无穷小量，λ为权重衰减因子，η_t为比例因子，η_t∈R。

对于绝大部分训练任务而言，由于优化器在训练过程中不会自动将学习率降到很低，导致损失函数不能自主收敛到一个较小值，故需设置学习率调整的方法。本模型采用的原则为：当验证集的损失值不再下降时进行学习率的下调。具体的优化过程为：

令：学习率α＝0.001，β₁＝0.9(默认)，β₂＝0.999(默认)，ε＝10^-8(默认)，λ∈R，初始化时间步t←0，网络权值θ，一阶矩m_t←0，二阶矩v_t←0，η_t∈R。

如果未达到训练终止条件，则进行权重更新，具体的更新方法为：

每批次输入网络模型的图片为n张，分别为{x₁,x₂,x₃,…,x_n}，

计算梯度为：

有偏一阶矩为：m_t←β₁m_t-1+(1-β₁)g_t，

有偏二阶矩为：

修正一阶矩偏差为：

修正二阶矩偏差为：

最终，更新权重：

(4)预测打印参数类别并实时调节

将打印过程中监测系统采集的图像实时传入预测模型内，依据参数类别预测结果进行及时调整，建立一个参数校正程序(Python脚本)，并将其嵌入到3D打印系统中，在反馈回路内提供持续校正，改善打印条件，流程如图6所示。具体地，若预测类别的结果为“Low”和“High”，则打印系统进入参数校正程序，参数类别为“Normal”时打印系统将绕过参数校正程序继续打印。该程序通过控制PLC改变步进电机转速，从而控制挤出流速；横向速度与纵向偏移量通过控制机械臂4进行改变；热端温度通过控制打印末端的加热块进行调节。

综上，本发明的校正方法应用于3D打印过程，通过多自由度3D打印视觉监测系统不仅可以实时监测打印区域，同时能够根据参数反馈对打印参数(包括流速、横向移速、纵向偏移量和热端温度)进行自主校正，从根本上避免打印缺陷产生；大大提高了多自由度3D打印的打印精度，且不依赖人工调节，能够提高打印件的成功率，节省打印材料和时间；而且，该方法具有良好的可移植性，重现性高，可应用在其他打印平台。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.基于深度学习的多自由度3D打印校正方法，其特征在于，包括以下步骤：

S1、建立多自由度3D打印视觉监测系统：实时观测挤出端区域状况，连续采集打印区域图像；

S2、构建数据集：所述3D打印视觉监测系统采集图像并记录打印参数数据，收集不同打印参数下的图像和数据并构建数据集，按照7:2:1分为训练集、验证集和测试集；

S3、建立参数预测模型：所述参数预测模型包括特征提取模块和参数分类模块；所述特征提取模块用于从输入图像中提取特征，由卷积层、多个残差模块和注意力机制模块连接而成一个共享的特征提取网络；所述参数分类模块用于将各参数分为三类并根据网络运算结果输出预测类别；

S4、预测打印参数类别并实时调节：将打印过程中监测系统采集的图像实时传入预测模型内，依据参数类别预测结果进行及时调整，模型预测结果在反馈回路内持续校正，改善打印条件，实现闭环控制。

2.根据权利要求1所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述3D打印视觉监测系统包括：工业相机、镜头、机械臂及机器人控制器，所述工业相机固定于机械臂末端以拍摄打印区域图像。

3.根据权利要求1所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述3D打印视觉监测系统构建的数据集图像均为灰度图像，且输入网络前均经过数据增强处理：每张图像首先被随机在任意方向旋转10°，然后将所有图片裁剪为320*320像素，并按0.5概率随机增减图像10％的对比度、亮度、色调和饱和度。

4.根据权利要求1所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述打印参数包括流速、横向移速、纵向偏移量和热端温度，每种打印参数均包括三类：正常值范围内的参数类别记为“Normal”，低于正常值范围记为“Low”，高于正常值范围记为“High”。

5.根据权利要求1所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述注意力机制模块采用残差注意力机制，每个残差注意力机制模块均包含一个主干分支和掩码分支，通过注意力机制模块输出的特征图为两个分支的加权特征图，采用如下公式表示残差注意力机制：

H_i,c(x)＝(1+M_i,c(x))*T_i,c(x)

其中，所述i为图片中所有空间位置的取值，c∈{1,2,…,C},其中C为总通道数；x为注意力模块的输入，H_i,c(x)为残差注意力机制模块的输出，T_i,c(x)为主干分支的输出；M_i,c(x)为与主干分支输出大小相同的掩码分支输出。

6.根据权利要求1所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述参数分类模块将共享网络提取出的特征输入到四个独立的全连接层进行训练，并基于损失函数更新网络内的权重参数，使损失函数Loss最小化。

7.根据权利要求6所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述损失函数Loss为流速L₁、横向移速L₂、纵向偏移量L₃和热端温度L₄的交叉熵损失之和，即：

其中，N为每批次输入网络的图片数量；K＝3，代表每个参数的类别数量为3，分别是“Low、Normal、High”；

均为三维向量，分别表示样本流速、横向移速、纵向偏移量和热端温度的真实类别编码，表示若图片标注的参数类别为c，则三维向量的对应类别位置取1，否则为0；/>

分别为样本流速、横向移速、纵向偏移量和热端温度的每种类别预测概率值。

8.根据权利要求7所述的基于深度学习的多自由度3D打印校正方法，其特征在于，所述N取值为32。

9.根据权利要求6所述的基于深度学习的多自由度3D打印校正方法，其特征在于，采用Adamw优化器进行参数优化，优化公式为：

其中，θ为网络权值，α为学习率，，

为修正偏差后的一阶矩，/>

为修正偏差后的二阶矩，ε为避免除数为零而补充的无穷小量，λ为权重衰减因子，η_t为比例因子。

10.根据权利要求1～9任一项所述的基于深度学习的多自由度3D打印校正方法，其特征在于，实时调节依据为：若预测参数类别的结果为“Low”和“High”，则打印系统进入参数校正程序，参数类别为“Normal”时打印系统将绕过参数校正程序继续打印。

Images