CN108215202A - 一种考虑打印质量的3d打印分批控制方法 - Google Patents

Abstract

本发明公开了一种考虑打印质量的3D打印分批控制方法，包括：1、提出一种打印任务模型分批打印的3D打印制造系统；2、把打印任务模型随机到达的3D打印制造过程描述为半Markov决策过程；3、将选批行动以及打印参数层高作为系统行动；4、采用Q学习算法对3D打印制造系统进行在线优化。本发明通过将选批行动以及打印参数层高作为系统行动，能够对考虑打印质量的3D打印制造系统进行有效的在线优化控制，从而能提高产品质量和打印资源利用率，减少库存空间的浪费。

Description

一种考虑打印质量的3D打印分批控制方法

技术领域

本发明属于生产调度技术领域，具体的说是一种考虑打印质量的3D打印分批控制方法。

背景技术

调度在大多数生产制造系统以及信息处理环境中扮演着重要的角色。在生产制造业中，合理的调度方案可以大幅提高生产效益和资源利用率，节省生产成本，从而增强企业的竞争力，推动生产制造业的发展。近几年来，随着3D打印技术的发展，3D打印设备逐渐走进个人生活。3D打印技术是通过逐层打印得到一个三维实体模型，在打印过程中需要进行一些预备及辅助动作。例如采用FDM熔融沉积成型技术打印时，打印过程中喷头预热以及打印平台移动等动作。通过分析可知，当多个任务同时打印，可以减少打印所需的时间，提高3D打印机的使用效率，提高系统的生产率。

现有的3D打印制造系统是单一任务分配与打印，3D打印机的使用效率和系统的生产率较低，对于打印任务模型分批打印的3D打印制造系统的优化问题还未进行研究。同时打印参数的设定对产品的质量有重要的影响，如何在系统制造过程中对参数进行设置，也是有待研究的问题。

发明内容

本发明是为解决上述现有技术存在的不足之处，提出一种考虑打印质量的3D打印分批控制方法，以期通过将选批行动以及打印参数层高作为系统行动，能够对考虑打印质量的3D打印制造系统进行有效的在线优化控制，从而能提高产品质量，减少打印资源以及库存空间的浪费。

本发明为解决技术问题采用如下技术方案：

本发明一种考虑打印质量的3D打印分批控制方法的特点是应用于由m种打印任务模型、m个任务队列、容量为N的3D打印机组成的3D打印制造系统中，且每种打印任务模型的耗材种类相同；

将第i种打印任务模型的底面尺寸记为o_i；将所述第i个任务队列的队列容量为C_i，且第i个任务队列中存储有第i种打印任务模型；

假设第i个任务队列的长度c_i为第i个任务队列的状态，则令第i个任务队列的状态c_i属于状态空间Φ_i＝{0,1,2,…,C_i}，i＝1,2,…,m；则将m个任务队列的状态作为系统的联合状态，记为s＝(c₁,c₂,...,c_i,...,c_m)，m≥3；

将所述3D打印机所设置的打印参数层高记为h，h∈D¹＝[h_min,h_max]，其中，D¹为打印参数的设置范围，h_min为层高设置的最小值，h_max为层高设置的最大值；

从所述m个任务队列中选择一批可行的任务组合记为J＝(j₁,...,j_i,...,j_m)，且其中j_i表示所选任务组合中第i种打印任务模型的个数，J∈D²＝{J₁,J₂,…,J_z}，D²为所有可行的任务组合的集合；J_z表示第z种可行的任务组合；

由所述一批可行的任务组合J和打印参数层高h构成的联合行动v＝(J,h)，v∈D＝D¹×D²；D表示所述3D打印制造系统的行动空间；

定义决策时刻为3D打印机完成所述一批可行的任务组合J的打印时刻或等待所述m种打印任务模型中任意一个打印任务模型的到达时刻；

所述考虑打印质量的3D打印分批控制方法是按如下步骤进行：

步骤1、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；

定义Q值表中的元素为状态-行动对值，并初始化所述Q值表中的元素；

定义控制策略表为所述Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合；

步骤2、在所述3D打印制造系统的第k个决策时刻，观察所述3D打印制造系统的当前状态并记为s_k；

令所述第k个决策时刻的当前状态s_k在Q值表中所对应的状态记为s′，则s_k＝s′；

令所述第k个决策时刻的当前状态s_k下采取的行动记为

在第k个决策时刻的当前状态s_k下，从所述Q值表中提取第k个决策时刻的状态s_k＝s′下的最优行动记为v_s′；

在第k个决策时刻的当前状态s_k下，从行动空间D中选择任一行动v^r，并以概率将v^r赋值给以概率将v_s′赋值给其中，Q(s′,v^r)表示第k个决策时刻的状态s_k＝s′时采取行动v^r的状态-行动对值；Q(s′,v_s′)表示第k个决策时刻的状态s_k＝s′下采取最优行动v_s′的状态-行动对值；

所述3D打印制造系统采取行动后，得到第k个决策时刻转移到第k+1个决策时刻转移样本轨道其中τ_k,k+1为第k个决策时刻与第k+1个决策时刻的时间间隔，为采取行动消耗的电能，为采取行动消耗的打印耗材，为采取打印行动所获得的报酬；

步骤3、利用式(1)计算所述3D打印制造系统从第k个决策时刻的当前状态s_k＝(c₁,c₂,...,c_i,...,c_m)，采取行动转移到第k+1个决策时刻的状态s_k+1＝(c′₁,…,c′_i,…,c′_m)的状态转移过程中产生的累计代价

式(1)中，k_1,i为第i个任务队列中第i种打印任务模型的单位时间存储代价；k₂为电能单价；k₃为打印耗材单价；

步骤4、利用式(2)和式(3)所示的差分公式和Q值更新公式，更新所述Q值表中当前状态s_k下采取行动的状态-行动对值得到更新后的当前状态s_k下采取行动的状态-行动对值

式(2)中，表示在第k个决策时刻之前所有状态为s′时采取行动v_s′转移到下一状态s_k+1过程中产生的累计代价的平均估计值；Q(s_k+1,v^r)表示转移到第k+1个决策时刻的状态s_k+1下采取任一行动v^r的状态-行动对值；表示第k个决策时刻的状态s_k下采取行动的状态-行动对值；

式(3)中，为第k个决策时刻的当前状态s_k下采取行动的学习步长；

步骤5、选择更新后Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合，从而更新所述控制策略表；

步骤6、将k+1赋值给k，并返回步骤2，直到所述控制策略表不再变化为止，从而以最终的控制策略表对m种打印任务模型进行分批打印。

与现有技术相比，本发明的有益效果在于：

1、本发明提出一种打印任务模型分批打印的3D打印制造系统，通过多个打印任务模型同时打印，减少了打印所需的时间，提高了3D打印机的使用效率，提高了系统的生产率。同时在选批时考虑模型尺寸以及打印机容量限制，更加符合实际情况，提高了方法的可行性。

2、本发明以任务队列的长度作为3D打印制造系统的状态；以一批可行的任务组合以及打印参数层高作为系统的联合行动；以3D打印机完成打印时刻或采取等待行动时任务到达时刻为决策时刻；把任务随机到达的3D打印制造过程描述为半Markov决策过程，并根据系统的实时状态采取相应的行动；从而能有效地处理打印任务随机到达时考虑打印质量的3D打印分批控制问题，通过优化，系统能够合理地选批以及设置打印参数层高，在减少了打印次数的同时提高了产品质量，从而提高了系统的生产率和产品质量；

3、本发明通过Q学习方法对考虑打印质量的3D打印分批控制问题进行优化控制，相比理论求解方法，本发明不需要模型的完整参数。因此，在系统参数变化时，无需操作人员对算法进行修改，仍然可以根据实际系统的制造过程进行在线学习，学习到较好的控制策略。

附图说明

图1为本发明方法流程图；

图2为本发明3D打印制造系统的示意图。

具体实施方式

本实施例中，如图2所示，一种考虑打印质量的3D打印分批控制方法，是应用于由m种打印任务模型1、m个任务队列2、容量为N的3D打印机组3成的3D打印制造系统中，且每种打印任务模型的耗材种类相同；3D打印机组3的容量由打印平台的尺寸决定。

将第i种打印任务模型的底面尺寸记为o_i；打印任务模型的底面尺寸由模型水平投影形状最小包络矩形的尺寸决定；将第i个任务队列的队列容量为C_i，且第i个任务队列中存储有第i种打印任务模型；

假设第i个任务队列的长度c_i为第i个任务队列的状态，则令第i个任务队列的状态c_i属于状态空间Φ_i＝{0,1,2,…,C_i}，i＝1,2,…,m；则将m个任务队列的状态作为系统的联合状态，记为s＝(c₁,c₂,...,c_i,...,c_m)，m≥3；所有可取的状态构成了状态空间，系统总的状态数为A。

将3D打印机3所设置的打印参数层高记为h，h∈D¹＝[h_min,h_max]，其中，D¹为打印参数的设置范围，h_min为层高设置的最小值，h_max为层高设置的最大值；用一个较小的数δ来离散化[h_min,h_max]，得到h∈{h_min,h_min+δ,…,h_max-δ,h_max}。

从_m个任务队列中选择一批可行的任务组合记为J＝(j₁,...,j_i,...,j_m)，且表示批次任务的底面尺寸之和不超过3D打印机3的容量，其中j_i表示所选任务组合中第i种打印任务模型的个数，其中j_i≤c_i，表示任务组合中各类任务数不能超过队列长度，J∈D²＝{J₁,J₂,…,J_z}，D²为所有可行的任务组合的集合；J_z表示第z种可行的任务组合；其中当时，表示进行等待m种打印任务模型1中任意一个打印任务模型到达；

由一批可行的任务组合J和打印参数层高h构成的联合行动v＝(J,h)，v∈D＝D¹×D²；D表示3D打印制造系统的行动空间；D中总的动作数为B。

定义决策时刻为3D打印机3完成一批可行的任务组合J的打印时刻或等待m种打印任务模型1中任意一个打印任务模型的到达时刻；

如图1所示，该考虑打印质量的3D打印分批控制方法是按如下步骤进行：

步骤1、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；

定义Q值表中的元素为状态-行动对值，并初始化Q值表中的元素；Q值表以系统的状态为Q值表的行，以系统的动作为Q值表的列，即对于不满足j_i≤c_i条件的Q值表元素为“INF”，对于个m任务队列2都为满的状态即s＝(C₁,C₂,...,C_i,...,C_m)，满足的行动的Q值表元素为“INF”，Q值表中其他的元素均为“0”；其中，若Q(s_a,v_b)为“INF”表示的是在状态s_a下，动作v_b不可取的；

定义控制策略表为Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合；

步骤2、在3D打印制造系统的第k个决策时刻，观察3D打印制造系统的当前状态并记为s_k；

令第k个决策时刻的当前状态s_k在Q值表中所对应的状态记为s′，则s_k＝s′；

令第k个决策时刻的当前状态s_k下采取的行动记为

在第k个决策时刻的当前状态s_k下，从Q值表中提取第k个决策时刻的状态s_k＝s′下的最优行动记为v_s′；

在第k个决策时刻的当前状态s_k下，从行动空间D中选择任一行动v^r，并以概率将v^r赋值给以概率将v_s′赋值给其中，Q(s′,v^r)表示第k个决策时刻的状态s_k＝s′时采取行动v^r的状态-行动对值；Q(s′,v_s′)表示第k个决策时刻的状态s_k＝s′下采取最优行动v_s′的状态-行动对值；

3D打印制造系统采取行动后，得到第k个决策时刻转移到第k+1个决策时刻转移样本轨道其中τ_k,k+1为第k个决策时刻与第k+1个决策时刻的时间间隔，为采取行动消耗的电能，为采取行动消耗的打印耗材，为采取打印行动所获得的报酬；

步骤3、利用式(1)计算3D打印制造系统从第k个决策时刻的当前状态s_k＝(c₁,c₂,...,c_i,...,c_m)，采取行动转移到第k+1个决策时刻的状态s_k+1＝(c′₁,…,c′_i,…,c′_m)的状态转移过程中产生的累计代价

式(1)中，k_1,i为第i个任务队列中第i种打印任务模型的单位时间存储代价；k₂为电能单价；k₃为打印耗材单价；

步骤4、利用式(2)和式(3)所示的差分公式和Q值更新公式，更新Q值表中当前状态s_k下采取行动的状态-行动对值得到更新后的当前状态s_k下采取行动的状态-行动对值

式(2)中，表示在第k个决策时刻之前所有状态为s′时采取行动v_s′转移到下一状态s_k+1过程中产生的累计代价的平均估计值；Q(s_k+1,v^r)表示转移到第k+1个决策时刻的状态s_k+1下采取任一行动v^r的状态-行动对值；表示第k个决策时刻的状态s_k下采取行动的状态-行动对值；

式(3)中，为第k个决策时刻的当前状态s_k下采取行动的学习步长；

步骤5、选择更新后Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合，从而更新控制策略表；

步骤6、将k+1赋值给k，并返回步骤2，直到控制策略表不再变化为止，从而以最终的控制策略表对m种打印任务模型1进行分批打印。

Claims (1)

1.一种考虑打印质量的3D打印分批控制方法，其特征是应用于由m种打印任务模型、m个任务队列、容量为N的3D打印机组成的3D打印制造系统中，且每种打印任务模型的耗材种类相同；

将第i种打印任务模型的底面尺寸记为o_i；将所述第i个任务队列的队列容量为C_i，且第i个任务队列中存储有第i种打印任务模型；

假设第i个任务队列的长度c_i为第i个任务队列的状态，则令第i个任务队列的状态c_i属于状态空间Φ_i＝{0,1,2,…,C_i}，i＝1,2,…,m；则将m个任务队列的状态作为系统的联合状态，记为s＝(c₁,c₂,...,c_i,...,c_m)，m≥3；

将所述3D打印机所设置的打印参数层高记为h，h∈D¹＝[h_min,h_max]，其中，D¹为打印参数的设置范围，h_min为层高设置的最小值，h_max为层高设置的最大值；

从所述m个任务队列中选择一批可行的任务组合记为J＝(j₁,...,j_i,...,j_m)，且其中j_i表示所选任务组合中第i种打印任务模型的个数，J∈D²＝{J₁,J₂,…,J_z}，D²为所有可行的任务组合的集合；J_z表示第z种可行的任务组合；

由所述一批可行的任务组合J和打印参数层高h构成的联合行动v＝(J,h)，v∈D＝D¹×D²；D表示所述3D打印制造系统的行动空间；

定义决策时刻为3D打印机完成所述一批可行的任务组合J的打印时刻或等待所述m种打印任务模型中任意一个打印任务模型的到达时刻；

所述考虑打印质量的3D打印分批控制方法是按如下步骤进行：

步骤1、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；

定义Q值表中的元素为状态-行动对值，并初始化所述Q值表中的元素；

定义控制策略表为所述Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合；

步骤2、在所述3D打印制造系统的第k个决策时刻，观察所述3D打印制造系统的当前状态并记为s_k；

令所述第k个决策时刻的当前状态s_k在Q值表中所对应的状态记为s′，则s_k＝s′；

令所述第k个决策时刻的当前状态s_k下采取的行动记为

在第k个决策时刻的当前状态s_k下，从所述Q值表中提取第k个决策时刻的状态s_k＝s′下的最优行动记为v_s′；

在第k个决策时刻的当前状态s_k下，从行动空间D中选择任一行动v^r，并以概率将v^r赋值给以概率将v_s′赋值给其中，Q(s′,v^r)表示第k个决策时刻的状态s_k＝s′时采取行动v^r的状态-行动对值；Q(s′,v_s′)表示第k个决策时刻的状态s_k＝s′下采取最优行动v_s′的状态-行动对值；

所述3D打印制造系统采取行动后，得到第k个决策时刻转移到第k+1个决策时刻转移样本轨道其中τ_k,k+1为第k个决策时刻与第k+1个决策时刻的时间间隔，为采取行动消耗的电能，为采取行动消耗的打印耗材，为采取打印行动所获得的报酬；

步骤3、利用式(1)计算所述3D打印制造系统从第k个决策时刻的当前状态s_k＝(c₁,c₂,...,c_i,...,c_m)，采取行动转移到第k+1个决策时刻的状态s_k+1＝(c′₁,…,c′_i,…,c′_m)的状态转移过程中产生的累计代价

式(1)中，k_1,i为第i个任务队列中第i种打印任务模型的单位时间存储代价；k₂为电能单价；k₃为打印耗材单价；

步骤4、利用式(2)和式(3)所示的差分公式和Q值更新公式，更新所述Q值表中当前状态s_k下采取行动的状态-行动对值得到更新后的当前状态s_k下采取行动的状态-行动对值

式(2)中，表示在第k个决策时刻之前所有状态为s′时采取行动v_s′转移到下一状态s_k+1过程中产生的累计代价的平均估计值；Q(s_k+1,v^r)表示转移到第k+1个决策时刻的状态s_k+1下采取任一行动v^r的状态-行动对值；表示第k个决策时刻的状态s_k下采取行动的状态-行动对值；

式(3)中，为第k个决策时刻的当前状态s_k下采取行动的学习步长；

步骤5、选择更新后Q值表中每行最小的状态-行动对值所对应的行动构成的当前行动集合，从而更新所述控制策略表；

步骤6、将k+1赋值给k，并返回步骤2，直到所述控制策略表不再变化为止，从而以最终的控制策略表对m种打印任务模型进行分批打印。