CN113076974A - 多层感知机构建缺失值填补与分类并行的多任务学习方法 - Google Patents

Abstract

本发明提供多层感知机构建缺失值填补与分类并行的多任务学习方法，涉及多任务学习方法技术领域。该多层感知机构建缺失值填补与分类并行的多任务学习方法，包括：S1、令{(x_i,t_i)|x_i∈R^s；t_i∈R^c,i＝1,2,…,n}表示带类标签的不完整数据集，S2、据其他输入值展开求解，S3、在分类任务中，用z_ij表示输出层j+m个神经元的输出值，S4、模型训练时，在完整样本的基础上进行，开始参与填补计算时，分两种情况。该多层感知机构建缺失值填补与分类并行的多任务学习方法，通过多任务学习填补模型，可以实现不完整数据集在同一个网络上并行填补缺失值和样本分类，在计算的时候，拟合和分类任务共享了部分网络参数，所以模型可以权衡多任务的前提下更高效的学习数据内所蕴含的有效信息。

Description

多层感知机构建缺失值填补与分类并行的多任务学习方法

技术领域

本发明涉及多任务学习方法技术领域，特别的为多层感知机构建缺失值填补与分类并行的多任务学习方法。

背景技术

工业生产过程中，需要监控不同工段、不同部位传感器的数据，当数据变量在采集的过程中，往往存在一定误差，而变量的准确预测可以为系统的调度及决策提供重要指导，也是预测控制技术的重要组成部分。目前,基于数据的预测方法被广泛应用于生产过程变量预测中，然而鉴于工业数据普遍具有高噪声、含缺失点等特点，难以准确拟合过程变量之间的复杂非线性关系，从而使得对模型精度的提升提出了巨大挑战。

综上所述，研发多层感知机构建缺失值填补与分类并行的多任务学习方法，仍是多任务学习方法技术领域中急需解决的关键问题。

发明内容

本发明提供的发明目的在于提供多层感知机构建缺失值填补与分类并行的多任务学习方法，解决上述背景技术中的问题。

为实现以上目的，本发明通过以下技术方案予以实现：多层感知机构建缺失值填补与分类并行的多任务学习方法，包括以下步骤：

S1、令{(x_i,t_i)|x_i∈R^s；t_i∈R^c,i＝1,2,…,n}表示带类标签的不完整数据集；

S2、在不完整数据集的拟合任务中，输出层第j中，1≤j≤m个神经元用于拟合符号为a_j的不完整属性，神经元在计算输出y_ij时，需剔除输入所包含的

并根据其他输入值展开求解；

令

其中r_1j种除第a_j置0外其余均设定成1，同时r₂＝[1]_c*1；

用于标记

中每个元素是否参与计算；

S3、在分类任务中，用z_ij表示输出层j+m个神经元的输出值，在实际运行中需要剔除输入中的类标签t_i，并利用泰勒级数对x_i展开，同时函数变量变种为

用于标记输入

中每个元素是否参与运算；

S4、模型训练时，在完整样本的基础上进行，开始参与填补计算时，分两种情况：第一种，当不完整样本的类标签已知时，第二种，当不完整样本的类标签未知时。

进一步的，在S1操作步骤中，其中：

s—属性个数；

c—类的数量；

n—样本数量；

x_i＝[x_i1,x_i2,…x_is]^T是数据集中第i个样本；

t_i＝[t_i1,t_i2,…t_ic]^T是样本x_i的类标签。

进一步的，在S2操作步骤中，针对第j(1≤j≤m)个输出层神经元，第k个隐藏层神经元的输出式为：

其中：

φ(·)表示隐藏层激活函数；

表示输入层神经元与隐藏层神经元的连接权重；

表示隐藏层神经元的阈值；

通过上式计算，不完整数据属性拟合时的网络输出为：

其中：

θ(·)表示输出层激活函数；

表示隐藏层神经元与输出层神经元的连接权重；

表示输出层神经元的阈值。

进一步的，在S3操作步骤中，针对j+m个输出神经元，隐藏层中第k个神经元的输出值如下计算：

网络输出z_ij的计算方式为：

其中m_ij的计算公式如下：

由于求解

时，输入中类标签t_i已经剔除，所以可以有效的避免模型的过拟合。

网络训练时，多任务学习模型的代价函数为：

E＝λE_M+(1-λ)E_s

其中，λ表示两个任务在训练时的权重分配，E_M表示分类误差，E_S表示不完整属性的拟合误差，具体表达式为：

N_CO表示数据集中完整样本的序号集合。

进一步的，在S4操作步骤中，具体步骤如下：

S401、对不完整样本x_i进行预填补；

S402、设不完整样本x_i属于第j类，对应的类标签为

中除了j个元素为1外，其余全为0；

S403、将预填补后的x_i和

输入模型，计算网络输出y_i和z_i；

S404、根据输出z_i计算样本x_i属于j类的概率p_j＝z_ij；

S405、设置j←j+1，并返回S402步骤；

S406、计算最大概率值

该概率值对应的类别就是网络最终预测的样本类别；

S407、将所求的的类别和预填补后的样本输入网络，同时将与缺失值对应的网络输出作为填补值。

本发明提供了多层感知机构建缺失值填补与分类并行的多任务学习方法。具备以下有益效果：

1、通过多任务学习填补模型，可以实现不完整数据集在同一个网络上并行填补缺失值和样本分类。

2、在计算的时候，拟合和分类任务共享了部分网络参数，所以模型可以权衡多任务的前提下更高效的学习数据内所蕴含的有效信息。

具体实施方式

多层感知机构建缺失值填补与分类并行的多任务学习方法，包括以下步骤：

对不完整数据集进行有效填补后，模型会因为数据质量的提高而获得很好的分类性能。

同一类型中的样本在属性取值或属性间关联方面存在一定的相似性，分类信息有利于模型在运行不完整样本与同类样本间的共性和差异性，从而辅助有效填补。

步骤一、令{(x_i,t_i)|x_i∈R^s；t_i∈R^c,i＝1,2,…,n}表示带类标签的不完整数据集；

其中：

s—属性个数；

c—类的数量；

n—样本数量；

x_i＝[x_i1,x_i2,…x_is]^T是数据集中第i个样本；

t_i＝[t_i1,t_i2,…t_ic]^T是样本x_i的类标签。

步骤二、在不完整数据集的拟合任务中，输出层第j中，1≤j≤m个神经元用于拟合符号为a_j的不完整属性，神经元在计算输出y_ij时，需剔除输入所包含的

并根据其他输入值展开求解；

令

其中r_1j种除第a_j置0外其余均设定成1，同时r₂＝[1]_c*1；

用于标记

中每个元素是否参与计算；

针对第j(1≤j≤m)个输出层神经元，第k个隐藏层神经元的输出式为：

其中：

φ(·)表示隐藏层激活函数；

表示输入层神经元与隐藏层神经元的连接权重；

表示隐藏层神经元的阈值；

通过上式计算，不完整数据属性拟合时的网络输出为：

其中：

θ(·)表示输出层激活函数；

表示隐藏层神经元与输出层神经元的连接权重；

表示输出层神经元的阈值；

步骤三、在分类任务中，用z_ij表示输出层j+m个神经元的输出值，通过多次试验后分析，在实际运行中需要剔除输入中的类标签t_i，并利用泰勒级数对x_i展开，同时函数变量变种为

用于标记输入

中每个元素是否参与运算；

针对j+m个输出神经元，隐藏层中第k个神经元的输出值如下计算：

网络输出z_ij的计算方式为：

其中m_ij的计算公式如下：

由于求解

时，输入中类标签t_i已经剔除，所以可以有效的避免模型的过拟合。

网络训练时，多任务学习模型的代价函数为：

E＝λE_M+(1-λ)E_s

其中，λ表示两个任务在训练时的权重分配，E_M表示分类误差，E_S表示不完整属性的拟合误差，具体表达式为：

N_CO表示数据集中完整样本的序号集合；

步骤四、模型训练时，在完整样本的基础上进行，开始参与填补计算时，分两种情况：第一种，当不完整样本的类标签已知时，将预填补后的样本与类标签同时输入模型，并将缺失值对应的网络输出作为填补值，第二种，当不完整样本的类标签未知时，需要依次对每种类标签的取值进行最优化计算，将计算后的优化值作为实际的填补值。

具体步骤如下：

401)、对不完整样本x_i进行预填补；

402)、设不完整样本x_i属于第j类，对应的类标签为

中除了j个元素为1外，其余全为0；

403)、将预填补后的x_i和

输入模型，计算网络输出y_i和z_i；

404)、根据输出z_i计算样本x_i属于j类的概率p_j＝z_ij；

405)、设置j←j+1，并返回步骤402步；

406)、计算最大概率值

该概率值对应的类别就是网络最终预测的样本类别；

407)、将所求的的类别和预填补后的样本输入网络，同时将与缺失值对应的网络输出作为填补值。

该模型既能通过分类任务从数据中心提炼每个类的特点，又可以根据不完整数据集的属性拟合挖掘相互的关联关系，从而更好的辅助分类进行决策，各任务间相互关联使模型的精度大大的提升。

以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.层感知多机构建缺失值填补与分类并行的多任务学习方法，其特征在于，包括以下步骤：

S1、令{(x_i,t_i)|x_i∈R^s；t_i∈R^c,i＝1,2,…,n}表示带类标签的不完整数据集；

S2、在不完整数据集的拟合任务中，输出层第j中，1≤j≤m个神经元用于拟合符号为a_j的不完整属性，神经元在计算输出y_ij时，需剔除输入所包含的

并根据其他输入值展开求解；

令

其中r_1j种除第a_j置0外其余均设定成1，同时r₂＝[1]_c*1；

用于标记

中每个元素是否参与计算；

S3、在分类任务中，用z_ij表示输出层j+m个神经元的输出值，在实际运行中需要剔除输入中的类标签t_i，并利用泰勒级数对x_i展开，同时函数变量变种为r_M＝[r₁ ^T,r₂ ^T],r₁＝[1],r₂＝[0]，用于标记输入

中每个元素是否参与运算；

S4、模型训练时，在完整样本的基础上进行，开始参与填补计算时，分两种情况：第一种，当不完整样本的类标签已知时，第二种，当不完整样本的类标签未知时。

2.根据权利要求1所述的多层感知机构建缺失值填补与分类并行的多任务学习方法，其特征在于：在S1操作步骤中，其中：

s—属性个数；

c—类的数量；

n—样本数量；

x_i＝[x_i1,x_i2,…x_is]^T是数据集中第i个样本；

t_i＝[t_i1,t_i2,…t_ic]^T是样本x_i的类标签。

3.根据权利要求1所述的多层感知机构建缺失值填补与分类并行的多任务学习方法，其特征在于：在S2操作步骤中，针对第j(1≤j≤m)个输出层神经元，第k个隐藏层神经元的输出式为：

其中：

φ(·)表示隐藏层激活函数；

表示输入层神经元与隐藏层神经元的连接权重；

表示隐藏层神经元的阈值；

通过上式计算，不完整数据属性拟合时的网络输出为：

其中：

θ(·)表示输出层激活函数；

表示隐藏层神经元与输出层神经元的连接权重；

表示输出层神经元的阈值。

4.根据权利要求1所述的多层感知机构建缺失值填补与分类并行的多任务学习方法，其特征在于：在S3操作步骤中，针对j+m个输出神经元，隐藏层中第k个神经元的输出值如下计算：

网络输出z_ij的计算方式为：

其中m_ij的计算公式如下：

网络训练时，多任务学习模型的代价函数为：

E＝λE_M+(1-λ)E_s；

其中，λ表示两个任务在训练时的权重分配，E_M表示分类误差，E_S表示不完整属性的拟合误差，具体表达式为：

N_CO表示数据集中完整样本的序号集合。

5.根据权利要求1所述的多层感知机构建缺失值填补与分类并行的多任务学习方法，其特征在于：在S4操作步骤中，具体步骤如下：

S401、对不完整样本x_i进行预填补；

S402、设不完整样本x_i属于第j类，对应的类标签为

中除了j个元素为1外，其余全为0；

S403、将预填补后的x_i和

输入模型，计算网络输出y_i和z_i；

S404、根据输出z_i计算样本x_i属于j类的概率p_j＝z_ij；

S405、设置j←j+1，并返回S402步骤；

S406、计算最大概率值

该概率值对应的类别就是网络最终预测的样本类别；

S407、将所求的的类别和预填补后的样本输入网络，同时将与缺失值对应的网络输出作为填补值。