CN114764543A - 基于横向联合学习的设备剩余使用寿命预测模型构建装置 - Google Patents

Abstract

本发明适用于人工智能技术领域，提供了基于横向联合学习的设备剩余使用寿命预测模型构建装置，包括：特征数据获取模块，用于获取多个设备的特征数据，该特征数据包括具有或/和不具有标签的特征数据；联合学习建立模块，用于根据多个设备的特征数据，建立横向联合学习任务；联合学习训练模块，用于根据横向联合学习任务，使用设备各自的特征数据对包括具有标签的特征数据的损失函数和不具有标签的特征数据的损失函数相加得到的目标模型进行训练；目标模型建立模块，用于根据训练的结果建立得到用于设备剩余使用寿命预测的目标模型。本发明在联合学习架构中引入未标记的特征数据来扩大信息量，使得一些建模无效的场景同样可以建立模型。

Description

基于横向联合学习的设备剩余使用寿命预测模型构建装置

技术领域

本发明属于人工智能技术领域，尤其涉及基于横向联合学习的设备剩余使用寿命预测模型构建装置。

背景技术

随着人工智能的发展，在各个领域开始利用人工智能来对生产加工进行升级。例如，根据设备的运行数据等来建立针对设备使用寿命预测检测的预测模型，以此来代替传统方法都是依靠实际技术人员进行预测判断的方法。然而，实际应用中设备所拥有的数据量往往达不到模型构建的要求，比如普遍存在样本数量很小或样本数据结构单一等问题，从而无法对设备建立有效的使用寿命预测模型。

发明内容

有鉴于此，本发明实施例提供了基于横向联合学习的设备剩余使用寿命预测模型构建装置，以解决在设备拥有的数据无法建立有效的设备使用寿命预测模型的问题。

本发明实施例的提供了一种基于横向联合学习的设备剩余使用寿命预测模型构建装置，其包括：特征数据获取模块，用于获取多个设备的特征数据，所述特征数据包括具有标签的特征数据或/和不具有标签的特征数据；联合学习建立模块，用于根据所述多个设备的特征数据，建立横向联合学习任务；联合学习训练模块，用于根据所述横向联合学习任务，使用所述设备各自的所述特征数据对至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加得到的目标损失函数的模型进行训练；目标模型建立模块，用于根据所述训练的结果建立得到用于所述设备剩余使用寿命预测的目标模型。

在一些可选方案中，所述联合学习建立模块，包括：联合方建立单元，用于确定联合学习的联合方；参与方建立单元，用于确定各个设备的特征数据为数据节点，并将各所述数据节点作为联合学习参与方；联合学习任务建立单元，用于根据所述参与方和联合方，建立横向联合学习任务。

在一些可选方案中，所述联合学习训练模块，包括：预测模块建立单元，用于基于横向联合学习框架，对所述具有标签的特征数据建立预测模型；特征数据预测单元，用于利用建立的所述预测模型对不具有标签的特征数据进行预测，得到所述不具有标签的特征数据的预测值；样本数据选取单元，用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据；目标模型建立单元，用于根据所述具有标签的特征数据和所述样本数据构建目标模型；目标模型训练单元，用于根据所述横向联合学习框架，对所述目标模型的损失函数进行训练，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加。

在一些可选方案中，所述目标模型的损失函数，还包括：所述具有标签的特征数据的损失函数加成权重系数后与所述不具有标签的特征数据的损失函数相加。

在一些可选方案中，所述目标模型训练单元，包括：模型参数上传单元，用于基于横向联合学习框架，参与方将根据所述具有标签的特征数据和不具有标签的特征数据及其对应的预测值建立的目标模型的模型参数发送给联合方；模型参数聚合单元，用于所述联合方聚合各个参与方发送的模型参数进行模型更新后，将更新后的模型参数发送给各个参与方；目标模型更新单元，用于各参与方对联合方更新后的模型参数，对目标模型进行更新，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加；样本数据更新单元，用于根据更新后的目标模型，对不具有标签的特征数据进行预测，得到对应的预测值；模型迭代训练单元，用于返回将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据，进行迭代训练，直到使所述目标模型收敛或迭代达到终止条件为止。

在一些可选方案中，所述样本数据选取单元，还用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，择排序前5-15％和排序后5-10％的预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据

在一些可选方案中，所述特征数据获取模块，还用于获取多个相同类型或相同型号的设备的特征数据。

在一些可选方案中，所述特征数据获取模块，还用于获取多个相同类型或相同型号的锅炉的特征数据。

在一些可选方案中，所述特征数据获取模块，还用于获取多个设备的特征数据，所述多个设备的特征数据之间包括重叠的特征数据。

本发明实施例与现有技术相比存在的有益效果是：本发明在联合学习的基础上，进一步通过引入不具有标签的特征数据来，扩大用于建模的数据信息，将其与具有标签的特征数据一起来修改目标模型的损失函数，从而可以使得训练得到的目标模型更加精确，并使得一些建模无效(例如，有标签的样本量过小无法建模)的场景可以通过这种上述方法来建立目标模型。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是可以应用本发明基于横向联合学习的设备剩余使用寿命预测模型构建方法和装置的一些实施例的联合学习框架；

图2是本发明在实施例一提供的基于横向联合学习的设备剩余使用寿命预测模型构建方法的实现流程；

图3是本发明在实施例二中提供的基于横向联合学习的设备剩余使用寿命预测模型构建装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1为可以应用本发明基于横向联合学习的设备剩余使用寿命预测模型构建方法和装置的一些实施例的联合学习框架，如图1所示，该联合学习框架具体包括：服务器101和多个客户端102、103、104，所述多个客户端102、103、104分别与服务器通信连接。其中，所述客户端102、103、104，也称为数据节点和参与方等，所述服务器也称为联合方。每个客户端102、103、104拥有自己的数据集，所述数据集包括用于模型训练的样本数据，其中，不同客户端102、103、104之间不能共享彼此的数据集。在联合学习框架下，参与联合学习的客户端的数量为K个，则有K≥2，且为正整数。例如，图1中的客户端包括client-1、client-2…client-K。

其中，在联合学习框架下，所述服务器和客户端将根据确定的联合学习任务进行模型训练。示例性的，联合学习的过程主要包括：由服务器初始化全局模型；客户端从服务器获取初始化的全局模型或最新的全局模型，然后利用本地的数据集合对全局模型进行训练，接着再将训练后的模型参数上传至服务器；服务器聚合各个客户端的模型参数更新全局模型，并将更新后的全局模型参数返回给各个客户端，如此循环迭代，直至模型收敛为止。

具体的，所述联合学习任务是对联合学习框架中服务器和客户端进行配置的任务规则，所述服务器和客户端就是在该任务规则下来完成联合学习。例如，所述任务规则包括实现对联合学习框架设定的计算机程序。

具体的，所述客户端包括但不限于计算机、服务器、工作站等终端设备。

示例性的，所述终端设备的结构至少包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如下列实施例一中任一完整方法的步骤。

实施例一

图2是本发明在实施例一提供的基于横向联合学习的设备剩余使用寿命预测模型构建方法的实现流程。

结合图2来说，所述基于横向联合学习的设备剩余使用寿命预测模型构建方法，至少包括步骤：

S101，获取多个设备的特征数据，所述特征数据包括具有标签的特征数据或/和不具有标签的特征数据；

S102，根据所述多个设备的特征数据，建立横向联合学习任务；

S103，根据所述横向联合学习任务，使用所述设备各自的所述特征数据对至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加得到的目标损失函数的模型进行训练；

S104，根据所述训练的结果建立得到用于所述设备剩余使用寿命预测的目标模型。

以上方法在联合学习的基础上，进一步通过引入不具有标签的特征数据来，扩大用于建模的数据信息，将其与具有标签的特征数据一起来修改目标模型的损失函数，从而可以使得训练得到的目标模型更加精确，并使得一些建模无效(例如，有标签的样本量过小无法建模)的场景可以通过这种上述方法来建立目标模型。

步骤S101中，所述设备包括相同类型或相同型号的设备，这样所产生的特征数据才具有类似性，从而更利于建立模型。例如，所述设备可以为锅炉等能源设备。

其中，所述特征数据包括但不限于设备的运行特征数据，或者对设备进行检测的数据，或者影响设备运行的外部客观数据等。在这些特征数据中，有些特征数据包含标签数据，即具有标签的特征数据，这种特征数据可以用于建立预测类型的模型，例如，对设备剩余使用寿命进行预测的预测模型。同时，有些特征数据则不包含标签数据，即不具有标签的特征数据，这种特征数据则不能用于建立预测类型的模型。需要说明的是，在实际中，设备拥有的特征数据中包含具有标签的特征数据的数量往往非常有限，因此，利用单个设备的数据来建立模型会导致建模无效。

需要说明的是，对于模型训练的特征数据的选择可以参考现有的设备寿命预测模型建立方法，也可以根据实际应用场景来选择想要的特征数据，至于具体选择哪些特征数据并非本申请对于现有技术的贡献，故不做赘述。

步骤S102中，根据多个设备所拥有的特征数据，将各个设备所拥有的数据作为一个数据节点，然后联合所有的数据节点来建立联合学习任务。其中，在实际应用中，根据设备的特征数据类型，在相同类型设备的情况下，各设备的特征数之间在特征维度上重叠程度较高，也就是说，各个设备之间的特征数据包括重叠的特征数据，这种情况下，可以采用横向联合学习算法来进行训练。

在一个示例一中，上述步骤S102，可以包括步骤：

S201，确定联合学习的联合方；

S201，确定各个设备的特征数据为数据节点，并将各所述数据节点作为联合学习参与方；

S201，根据所述参与方和联合方，建立横向联合学习任务。

本示例主要针对各个设备的特征数据重叠程度较高的情况，比如，所述重叠的特征数据满足一定预设的数量。此种情况下，利用横向联合学习来模型训练则可以进一步提高模型的质量。

以上步骤S103，与常规联合学习不同的是，在本步骤中引入了不具有标签的特征数据，那么在目标模型中的包括不具有标签的特征数据的损失函数和具有标签的特征数据的损失函数。换句话说，在目标的损失函数是由不具有标签的特征数据的损失函数和具有标签的特征数据的损失函数相加构成的。

在一个示例二中，所述步骤S103可以具体包括步骤S301-S305：

S301，基于横向联合学习框架，对所述具有标签的特征数据建立预测模型。

其中，所述预测模型是对横向联合学习框架下所有设备的具有标签的特征数据来建立的预测模型。

例如，假设设备的特征数据包括具有标签的特征数据A和不具有标签的特征数据B。那么，步骤S301就是联合所有的特征数据A建立的预测模型。

S302，利用建立的所述预测模型对不具有标签的特征数据进行预测，得到所述不具有标签的特征数据的预测值。

紧接上述例子来说，各个设备将拥有的特征数据B输入预测模型，得到对应的预测值，可以将预测得到的预测值作为输入的特征数据B的标签，从而实现与特征数据A一起参加模型训练。

S303，将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据。

其中，选择排序靠前和排序靠后的部分预测值，可以是选择排序前5-15％和排序靠后5-10％的特征数据。通过这种筛选可以提高样本数据的有效性。

S304，根据所述具有标签的特征数据和所述样本数据构建目标模型。

紧接上一步骤来说，不具有标签的特征数据B及其对应的预测值，与特征数据A的数据结构是类似的，因此可以作为样本数据，与特征数据A一样拥有构建模型。

S305，根据所述横向联合学习框架，对所述目标模型的损失函数进行训练，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加。

其中，为了保证模型训练的质量，在进行模型训练时，可以对不具有标签的特征数据B及其对应的预测值的损失函数加成一定的权重系数，也就是说，目标模型的损失函数还可以具体包括：所述具有标签的特征数据的损失函数加成权重系数后与所述不具有标签的特征数据的损失函数相加。以此来调整目标模型中两个损失函数的比例，使模型训练的质量更优。

具体的，所述权重系数可以根据实际情况进行任意调节，本申请对不具有标签的特征数据及其对应的预测值的损失函数的权重系数不做具体限制。

再具体的，结合图1所示的联合学习框架来说，所述步骤S305中，进行模型训练的过程可以具体包括步骤：

S401，基于横向联合学习框架，参与方将根据所述具有标签的特征数据和不具有标签的特征数据及其对应的预测值建立的目标模型的模型参数发送给联合方；

S402，所述联合方聚合各个参与方发送的模型参数进行模型更新后，将更新后的模型参数发送给各个参与方；

S403，各参与方对联合方更新后的模型参数，对目标模型进行更新，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加；

S404，根据更新后的目标模型，对不具有标签的特征数据进行预测，得到对应的预测值；

S405，返回步骤S303进行迭代训练，直到使所述目标模型收敛或迭代达到终止条件为止。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二

基于同一个发明构思，见图3，为本发明在实施例二中提供的基于横向联合学习的设备剩余使用寿命预测模型构建装置的结构示意图。

如图3所示，所述基于横向联合学习的设备剩余使用寿命预测模型构建装置，包括：特征数据获取模块301，用于获取多个设备的特征数据，所述特征数据包括具有标签的特征数据或/和不具有标签的特征数据；联合学习建立模块302，用于根据所述多个设备的特征数据，建立横向联合学习任务；联合学习训练模块303，用于根据所述横向联合学习任务，使用所述设备各自的所述特征数据对至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加得到的目标损失函数的模型进行训练；目标模型建立模块304，用于根据所述训练的结果建立得到用于所述设备剩余使用寿命预测的目标模型。

在一些示例性实施例中，所述联合学习建立模块，包括：联合方建立单元，用于确定联合学习的联合方；参与方建立单元，用于确定各个设备的特征数据为数据节点，并将各所述数据节点作为联合学习参与方；联合学习任务建立单元，用于根据所述参与方和联合方，建立横向联合学习任务。

在一些示例性实施例中，所述联合学习训练模块，包括：预测模块建立单元，用于基于横向联合学习框架，对所述具有标签的特征数据建立预测模型；特征数据预测单元，用于利用建立的所述预测模型对不具有标签的特征数据进行预测，得到所述不具有标签的特征数据的预测值；样本数据选取单元，用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据；目标模型建立单元，用于根据所述具有标签的特征数据和所述样本数据构建目标模型；目标模型训练单元，用于根据所述横向联合学习框架，对所述目标模型的损失函数进行训练，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加。

在一些示例性实施例中，所述目标模型的损失函数，还包括：所述具有标签的特征数据的损失函数加成权重系数后与所述不具有标签的特征数据的损失函数相加。

在一些示例性实施例中，所述目标模型训练单元，包括：模型参数上传单元，用于基于横向联合学习框架，参与方将根据所述具有标签的特征数据和不具有标签的特征数据及其对应的预测值建立的目标模型的模型参数发送给联合方；模型参数聚合单元，用于所述联合方聚合各个参与方发送的模型参数进行模型更新后，将更新后的模型参数发送给各个参与方；目标模型更新单元，用于各参与方对联合方更新后的模型参数，对目标模型进行更新，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加；样本数据更新单元，用于根据更新后的目标模型，对不具有标签的特征数据进行预测，得到对应的预测值；模型迭代训练单元，用于返回将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据，进行迭代训练，直到使所述目标模型收敛或迭代达到终止条件为止。

在一些示例性实施例中，所述样本数据选取单元，还用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，择排序前5-15％和排序后5-10％的预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据

在一些示例性实施例中，所述特征数据获取模块，还用于获取多个相同类型或相同型号的设备的特征数据。

在一些示例性实施例中，所述特征数据获取模块，还用于获取多个相同类型或相同型号的锅炉的特征数据。

在一些示例性实施例中，所述特征数据获取模块，还用于获取多个设备的特征数据，所述多个设备的特征数据之间包括重叠的特征数据。

由于本实施例二与上述实施例一属于同一发明构思，二者具有相同的特征技术特征，因此关于基于横向联合学习的设备剩余使用寿命预测模型构建装置的具体内容，可以参考以上实施例一，这里不再赘述。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，包括：

特征数据获取模块，用于获取多个设备的特征数据，所述特征数据包括具有标签的特征数据或/和不具有标签的特征数据；

联合学习建立模块，用于根据所述多个设备的特征数据，建立横向联合学习任务；

联合学习训练模块，用于根据所述横向联合学习任务，使用所述设备各自的所述特征数据对至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加得到的目标损失函数的模型进行训练；

目标模型建立模块，用于根据所述训练的结果建立得到用于所述设备剩余使用寿命预测的目标模型。

2.根据权利要求1所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述联合学习建立模块，包括：

联合方建立单元，用于确定联合学习的联合方；

参与方建立单元，用于确定各个设备的特征数据为数据节点，并将各所述数据节点作为联合学习参与方；

联合学习任务建立单元，用于根据所述参与方和联合方，建立横向联合学习任务。

3.根据权利要求1或2所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述联合学习训练模块，包括：

预测模块建立单元，用于基于横向联合学习框架，对所述具有标签的特征数据建立预测模型；

特征数据预测单元，用于利用建立的所述预测模型对不具有标签的特征数据进行预测，得到所述不具有标签的特征数据的预测值；

样本数据选取单元，用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据；

目标模型建立单元，用于根据所述具有标签的特征数据和所述样本数据构建目标模型；

目标模型训练单元，用于根据所述横向联合学习框架，对所述目标模型的损失函数进行训练，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加。

4.根据权利要求3所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述目标模型的损失函数，还包括：所述具有标签的特征数据的损失函数加成权重系数后与所述不具有标签的特征数据的损失函数相加。

5.根据权利要求3所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述目标模型训练单元，包括：

模型参数上传单元，用于基于横向联合学习框架，参与方将根据所述具有标签的特征数据和不具有标签的特征数据及其对应的预测值建立的目标模型的模型参数发送给联合方；

模型参数聚合单元，用于所述联合方聚合各个参与方发送的模型参数进行模型更新后，将更新后的模型参数发送给各个参与方；

目标模型更新单元，用于各参与方对联合方更新后的模型参数，对目标模型进行更新，其中，所述目标模型的损失函数至少包括所述具有标签的特征数据的损失函数和所述不具有标签的特征数据的损失函数相加；

样本数据更新单元，用于根据更新后的目标模型，对不具有标签的特征数据进行预测，得到对应的预测值；

模型迭代训练单元，用于返回将预测模型预测得到的所有预测值按照从小到大的顺序排序，选择排序靠前和排序靠后的部分预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据，进行迭代训练，直到使所述目标模型收敛或迭代达到终止条件为止。

6.根据权利要求3所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述样本数据选取单元，还用于将预测模型预测得到的所有预测值按照从小到大的顺序排序，择排序前5-15％和排序后5-10％的预测值，将所述选取的预测值和所述选取的预测值对应的不具有标签的特征数据作为样本数据。

7.根据权利要求1所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述特征数据获取模块，还用于获取多个相同类型或相同型号的设备的特征数据。

8.根据权利要求7所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述特征数据获取模块，还用于获取多个相同类型或相同型号的锅炉的特征数据。

9.根据权利要求1所述的基于横向联合学习的设备剩余使用寿命预测模型构建装置，其特征在于，所述特征数据获取模块，还用于获取多个设备的特征数据，所述多个设备的特征数据之间包括重叠的特征数据。

Images