CN108805302A - 一种制造设备预测性维护方法及系统 - Google Patents

Abstract

本发明公开了一种制造设备预测性维护方法及系统。所述维护方法包括：首先，根据设备生产的产品的合格率，划分设备健康等级；根据所述设备健康等级，建立设备状态模型和预维修策略模型；根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；然后，根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；最后，根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；并根据当前设备状态对应的预维修策略对设备进行预测性维护，实现了在当前设备健康状态下对设备进行预测性维护操作。

Description

一种制造设备预测性维护方法及系统

技术领域

本发明涉及设备维护领域，特别涉及一种制造设备预测性维护方法及系统。

背景技术

维护计划方法随着生产和制造技术的发展而不断发展，从纠正性维护，定期预防性维护，到最近流行的基于设备状态的预测性维护。基于状态的预维护的主要思路是确定是否应在当前设备健康状态下进行预测性维护操作，并且通过预测维护时间，提前调整生产计划，从而控制维护造成的生产中断。

如何在当前设备健康状态下对设备进行预测性维护操作，成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种制造设备预测性维护方法及系统，以实现在当前设备健康状态下对设备进行预测性维护操作。

为实现上述目的，本发明提供了如下方案：

一种制造设备预测性维护方法，所述维护方法包括如下步骤：

根据设备生产的产品的合格率，划分设备健康等级；

根据所述设备健康等级，建立设备状态模型和预维修策略模型；

根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；

根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表。

根据当前设备生产的产品的合格率，确定当前设备状态；

根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；

根据当前设备状态对应的预维修策略对设备进行预测性维护。

可选的，所述设备状态模型为：s_i＝(k_i,n_i)

其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。

可选的，所述预维修策略模型为：

其中，

a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

可选的，所述状态转移模型为：

(s_i,a_i,s_i+1)

其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

可选的，所述根据所述状态转移模型，采用强化学习的方法确定每种设备状态模型对应的预维修策略，获得设备状态与预维修策略的对应表，具体包括：

当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；

根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；

根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)；

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，为企业带来的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失；

根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i；

其中，T为制造设备的当前寿命；

判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表；

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。

一种制造设备预测性维护系统，其特征在于，所述维护系统应用于所述维护方法，所述维护系统包括：

健康等级划分模块，用于根据设备生产的产品的合格率，划分设备健康等级；

第一模型建立模块，用于根据所述设备健康等级，建立设备状态模型和预维修策略模型；

第二模型建立模块，用于根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；

对应表获取模块，用于根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；

当前设备状态确定模块，用于根据当前设备生产的产品的合格率，确定当前设备状态；

预维修策略确定模块，用于根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；

预维修模块，用于根据当前设备状态对应的预维修策略对设备进行预测性维护。

可选的，所述第一模型建立模块中的设备状态模型为：

s_i＝(k_i,n_i)

其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。

可选的，所述第一模型建立模块中的预维修策略模型为：

其中，

a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

可选的，所述第二模型建立模块中的状态转移模型为：

(s_i,a_i,s_i+1)

其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

可选的，所述对应表获取模块，具体包括：

初始状态转移模型确定子模块，用于当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；

逗留时间计算子模块，用于根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；

逗留时间内的报酬计算子模块，用于根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)；

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，为企业带来的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失；

平均报酬计算子模块，用于根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i；

其中，T为制造设备的当前寿命；

对应表获取子模块，用于判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表；

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种制造设备预测性维护方法及系统。所述维护方法包括：首先，根据设备生产的产品的合格率，划分设备健康等级；根据所述设备健康等级，建立设备状态模型和预维修策略模型；根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；然后，根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；最后，根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；并根据当前设备状态对应的预维修策略对设备进行预测性维护，实现了在当前设备健康状态下对设备进行预测性维护操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种制造设备预测性维护方法的流程图；

图2为本发明提供的一种制造设备预测性维护方法的获得设备状态与预维修策略的对应表的流程图；

图3为本发明提供的一种制造设备预测性维护系统的结构框图。

具体实施方式

本发明的目的是提供一种制造设备预测性维护方法及系统，以实现在当前设备健康状态下对设备进行预测性维护操作。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。

如图1所示，本发明提供了一种制造设备预测性维护方法，所述维护方法包括如下步骤：

步骤101，根据设备生产的产品的合格率，划分设备健康等级。具体的，基于制造设备实际运行参数与设计参数的偏离值，该偏离值通过检测其生产的产品质量合格率来表示，并基于此定义设备当前的健康状态。

定义设备具有0～N共N+1个健康等级，并假设设备的每一个健康等级状态都直接与其当前生产的产品质量相关。其中，第0级表示设备完全健康，第N级表示设备已经损坏无法运行，第1级至第N-1级分别表示设备处于不同的健康等级，且每增加一个等级，设备健康状况越差。

定义(p,b)，其中p是自前一次维护或维修以来生产的产品总数，b是具有质量问题的产品数量(b＜p)，设备生产的产品质量合格率为(p-b)/p×100％，设置产品质量合格率阈值为ω％，当(p-b)/p×100％＜ω％时，设备健康等级为第N级，此时设备必须进行大修。如果产品被检测为合格产品，其给企业带来的利润为R_g。产品合格率与设备健康等级的对应关系如表1所示。

表1

产品合格率	设备健康等级
		100％	0
100％q1％	1
		…	…
qn-1％qn％	n
		…	…
qN-1％ω％	N-1
		<ω％	N

步骤102，根据所述设备健康等级，建立设备状态模型和预维修策略模型；所述设备状态模型为：s_i＝(k_i,n_i)

其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。

健康等级周期k_i指的是，设备要在每次通过检测产品合格率时发现健康等级发生变化，此时将进行一次预维修决策，并且设备的健康等级周期将+1，假设一个设备进行了5次预维修决策，那么其在预维修后进入第6次健康等级周期，在设备进行大修前，其健康等级周期越大，健康等级周期上升所经历的时间也越短，而设备进行大修后，将康等级周期将重新开始。

所述预维修策略模型为：

其中，a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

步骤103，根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；所述状态转移模型为：

(s_i,a_i,s_i+1)

其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

步骤104，根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；具体包括：

如图2所示，当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；

根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；对于每个制造设备的健康状态更新周期，其生产的产品质量合格率从最好的情况开始，即合格率100％，然后逐渐下降到越来越差的水平。不同的合格率区间将对应不同的设备健康等级，假设每台制造设备在其运行过程中会在某个健康等级上停留一个时间段。

根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)；

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，为企业带来的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失。

根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i；

其中，T为制造设备的当前寿命；

判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表；

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。

步骤105，根据当前设备生产的产品的合格率，确定当前设备状态。

步骤106，根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略。

步骤107，根据当前设备状态对应的预维修策略对设备进行预测性维护。

如图3所示，本发明还提供一种制造设备预测性维护系统，其特征在于，所述维护系统应用于所述维护方法，所述维护系统包括：

健康等级划分模块301，用于根据设备生产的产品的合格率，划分设备健康等级。

第一模型建立模块302，用于根据所述设备健康等级，建立设备状态模型和预维修策略模型；所述设备状态模型为：s_i＝(k_i,n_i)其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。所述预维修策略模型为：

其中，a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

第二模型建立模块303，用于根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；所述状态转移模型为：(s_i,a_i,s_i+1)，其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

对应表获取模块304，用于根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；具体包括：初始状态转移模型确定子模块，用于当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；逗留时间计算子模块，用于根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；逗留时间内的报酬计算子模块，用于根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)。

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，为企业带来的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失。

平均报酬计算子模块，用于根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i。

其中，T为制造设备的当前寿命。

对应表获取子模块，用于判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表。

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。

当前设备状态确定模块305，用于根据当前设备生产的产品的合格率，确定当前设备状态。

预维修策略确定模块306，用于根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略。

预维修模块307，用于根据当前设备状态对应的预维修策略对设备进行预测性维护。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种制造设备预测性维护方法，其特征在于，所述维护方法包括如下步骤：

根据设备生产的产品的合格率，划分设备健康等级；

根据所述设备健康等级，建立设备状态模型和预维修策略模型；

根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；

根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；

根据当前设备生产的产品的合格率，确定当前设备状态；

根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；

根据当前设备状态对应的预维修策略对设备进行预测性维护。

2.根据权利要求1所述的一种制造设备预测性维护方法，其特征在于，

所述设备状态模型为：

s_i＝(k_i,n_i)

其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。

3.根据权利要求1所述的一种制造设备预测性维护方法，其特征在于，所述预维修策略模型为：

其中，a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

4.根据权利要求1所述的一种制造设备预测性维护方法，其特征在于，所述状态转移模型为：

(s_i,a_i,s_i+1)

其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

5.根据权利要求1所述的一种制造设备预测性维护方法，其特征在于，所述根据所述状态转移模型，采用强化学习的方法确定每种设备状态模型对应的预维修策略，获得设备状态与预维修策略的对应表，具体包括：

当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；

根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；

根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)；

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，企业的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失；

根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i；

其中，T为制造设备的当前寿命；

判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表；

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。

6.一种制造设备预测性维护系统，其特征在于，所述维护系统应用于权利要求1-5任一项所述的维护方法，所述维护系统包括：

健康等级划分模块，用于根据设备生产的产品的合格率，划分设备健康等级；

第一模型建立模块，用于根据所述设备健康等级，建立设备状态模型和预维修策略模型；

第二模型建立模块，用于根据所述设备状态模型和所述预维修策略模型，建立状态转移模型；

对应表获取模块，用于根据所述状态转移模型，采用强化学习的方法确定每种设备状态对应的预维修策略，获得设备状态与预维修策略的对应表；

当前设备状态确定模块，用于当前设备生产的产品的合格率，确定当前设备状态；

预维修策略确定模块，用于根据所述当前设备状态和所述对应表，确定当前设备状态对应的预维修策略；

预维修模块，用于根据当前设备状态对应的预维修策略对设备进行预测性维护。

7.根据权利要求6所述的一种制造设备预测性维护系统，其特征在于，

所述第一模型建立模块中的设备状态模型为：

s_i＝(k_i,n_i)

其中，s_i表示第i次预维修时设备的状态，k_i表示第i次预维修时设备所处的健康等级周期，n_i表示第i次预维修时设备所处的健康等级。

8.根据权利要求6所述的一种制造设备预测性维护系统，其特征在于，所述第一模型建立模块中的预维修策略模型为：

a_i表示第i次预维修的预维修策略；n_i表示第i次预维修时设备所处的健康等级，N表示总的设备健康等级数。

9.根据权利要求6所述的一种制造设备预测性维护系统，其特征在于，所述第二模型建立模块中的状态转移模型为：

(s_i,a_i,s_i+1)

其中，s_i表示第i次预维修时设备的状态；a_i表示第i次预维修的预维修策略；s_i+1表示第i+1次预维修时设备的状态。

10.根据权利要求6所述的一种制造设备预测性维护系统，其特征在于，所述对应表获取模块，具体包括：

初始状态转移模型确定子模块，用于当预维修次数i＝1时，假设第i次预维修的预维修策略包括不采取维修行动和大修，确定第i次预维修时的状态转移模型；

逗留时间计算子模块，用于根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)；

逗留时间内的报酬计算子模块，用于根据第i次预维修时的状态转移模型，利用报酬公式(1)计算所述逗留时间内的报酬r(s_i,a_i,s_i+1)；

其中，R_g表示产品合格时，为企业带来的利润，R_d表示产品不合格时，为企业带来的损失，p_i表示第i次维修后设备生产的产品总数，b_i第i次维修后设备生产的具有质量问题的产品的总数，M_s表示小修时，企业的损失，M_l表示大修时企业的损失；

平均报酬计算子模块，用于根据所述逗留时间内的报酬，利用公式(2)计算到第i次预维修时，设备的平均报酬η_i；

其中，T为制造设备的当前寿命；

对应表获取子模块，用于判断第i次预维修时设备的平均报酬是否大于第i-1次预维修时设备的平均报酬，若是，则根据所述逗留时间、所述逗留时间内的报酬和所述平均报酬，利用优化公式(3)确定第i+1次预维修的预维修策略a_i+1，根据第i+1次预维修的预维修策略a_i+1，确定第i+1次预维修时的状态转移模型，将i更新为i+1，返回步骤确根据第i次预维修时的状态转移模型，确定第i次预维修时设备的状态的逗留时间τ(s_i,a_i,s_i+1)，若否，则将前i次预维修时设备的状态及其对应的预维修策略，组成设备状态与预维修策略的对应表；

其中，Q(s_i,a_i)为优化因子，Q(s_i,a_i)＝E{∑[r(s_i,a_i,s_i+1)-τ(s_i,a_i,s_i+1)η_i]}，α为第一常数因子，β为第二常数因子。