CN110309907A - 一种基于去跟踪自编码器的动态缺失值填补方法 - Google Patents

Abstract

本发明公开了一种基于去跟踪自编码器的动态缺失值填补方法，属于数据挖掘技术领域。本发明包括两部分：网络模型部分和填补方案部分。在网络模型部分，为强化不完整样本中缺失值对现有数据的依存关系，本发明在传统自编码器的基础上设计了隐藏节点的计算规则，并构建了去跟踪自编码器；在填补方案部分，针对数据的不完整性，本发明设计了一种基于缺失值动态处理机制的填补方案，将缺失值视为代价函数的未知变量并基于优化算法动态调整其估计值，填补在网络训练结束时伴随式完成。本发明强化了网络模型对属性间互相关性的学习能力，并充分利用了不完整数据集中所有的数据信息，具有较理想的填补精度。

Description

一种基于去跟踪自编码器的动态缺失值填补方法

技术领域

本发明属于数据挖掘技术领域，涉及一种基于去跟踪自编码器的动态缺失 值填补方法。

背景技术

数据挖掘是指基于各类算法从海量数据中提取潜在的有效信息的过程。在 数据挖掘中，数据质量是影响结果可靠性的关键因素。然而由于数据获取、录 入、存储、操作等过程的失误，真实数据集往往存在不同程度的缺失进而降低 数据质量，缺失值填补已成为数据挖掘中的一项重要工作。神经网络作为当前 热门的研究课题，为缺失值填补提供了有效的解决途径。

基于神经网络的缺失值填补方法(P.J.García-Laencina,J.L.Sancho-Gómez,A.R.Figueiras-Vidal.Pattern classification with missing data:a review.NeuralComputing and Applications.2010,19(2):263～282)可分为网络模型和填补方案两 部分。在网络模型部分，研究者提出了基于多层感知机(MLP)、基于多任务学 习模型、基于自编码器(AE)等的填补方法。

基于多层感知机的填补方法(P.K.Sharpe,R.J.Solly.Dealing with missingvalues in neural network-based diagnostic systems.Neural Computing&Applications.1995,3(2):73～77)根据不完整属性的所有组合情况搭建相应数量的 神经网络，并利用这些网络的输出填补缺失值。每种不完整属性组合对应一类 缺失情况，基于此组合构造的神经网络用于填补属于此类缺失情况的不完整样 本。若不完整属性个数为s_m，则所搭建网络的数量至少为s_m，至多为虽然该方法能较好地拟合每种缺失情况下完整属性和不完整属性间的相关性， 但由于需对每个网络都进行训练，故较为耗时。

基于多任务学习模型的填补方法(P.J.GarcíA-Laencina,J.L.Sancho-GóMez,A.R.Figueiras-Vidal.Classifying patterns with missing values using multi-tasklearning perceptrons.Expert Systems with Applications.2013,40(4):1333～1341)采 用一个三层神经网络并行实现分类和填补任务。该网络的输入为所有属性和类 标签，输出为不完整属性和类标签。由于不完整样本的分类和填补相辅相成， 合理的代价函数和训练方式能使任务间相互促进并提高各自精度。此方法仅需 搭建一个网络就可用于填补，训练效率得以提高。

基于自编码器的填补方法(T.Marwala,S.Chakraverty.Fault classificationin structures with incomplete measured data using autoassociative neuralnetworks and genetic algorithm.Current Science.2006,90(4):542～548)通过搭建一个输入层和 输出层的节点个数等于数据集属性个数，并且网络期望输出等于输入的神经网 络来填补缺失值。典型的三层自编码器是一种仅由输入层、隐藏层、输出层构 成的网络模型。假设训练数据集是样本容量为n，属性个数为s的二维矩阵， x_i＝[x_i1,x_i2,......,x_is]^T是其中第i个样本。此类自编码器中，隐藏层第k个节点的计 算规则为：

式中，o_k表示隐藏层第k个节点的输出；σ(·)表示隐藏层的激活函数；x_il表 示第i个样本的第l个属性；表示输入层第l个节点和隐藏层第k个节点的连 接权重；表示隐藏层第k个节点的阈值。输出层第j个节点的计算规则为：

式中，y_ij表示以第i个样本为输入时，输出层第j个节点的输出值；表 示输出层的激活函数；m表示隐藏层的节点个数；表示隐藏层第k个节点和 输出层第j个节点的连接权重；表示输出层第j个节点的阈值。网络的代价函 数为：

目前，研究者们基于径向基函数神经网络、广义回归神经网络、对向传播 神经网络等搭建了各类自编码器变体，并取得了较为理想的填补精度。自编码 器具有高度的结构简洁性，但易学到无意义的恒等映射，进而降低网络的回归 性能并影响填补精度。

在填补方案部分，目前的方案将填补过程分为训练和填补两阶段(C.Gautam,V.Ravi.Counter propagation auto-associative neural network based dataimputation. Information Sciences.2015,325:288～299)。在训练阶段，此类方案直接使用完整 样本子集训练网络。一旦缺失率过大，完整样本个数减少，训练精度将大大降 低。在填补阶段，由于不完整样本无法直接输入网络，一般采用以下三种方式 处理：(1)预填补法首先为缺失值预填常数，然后将包含预填值的不完整样本 输入网络，并计算网络输出作为最终的缺失值估计。该方法包括固定值预填补、 均值预填补、基于聚类策略的预填补等；(2)优化代价函数法在网络训练完成 后，将不完整样本中的缺失值视为未知量带入代价函数，并通过优化代价函数 求解缺失值的最优解；(3)预填补和优化代价函数的结合法可看作是第(2)种 方法的改进。此方法首先利用随参数变化的简单函数预填缺失值，接着通过优 化代价函数求解最优参数以计算最终的缺失值估计。

缺失值填补方法的填补精度可由平均绝对百分比误差(MAPE)衡量：

式中，|X_M|是缺失值个数；X_M是缺失值集合；x_ij是缺失值；是缺失值 估计。

发明内容

本发明要解决的技术问题是提供一种基于去跟踪自编码器的动态缺失值填 补方法。本发明包括两个部分：网络模型部分和填补方案部分，其中前者对传 统自编码器进行了改进，以提高网络的回归性能；后者将不完整样本纳入训练 过程，以提高不完整数据集的数据利用率。

本发明的技术方案：

一种基于去跟踪自编码器的动态缺失值填补方法，步骤如下：

(1)网络模型

设计隐藏层节点的计算规则，并搭建去跟踪自编码器(Tracking-removed AutoEncoder，简称TRAE)。在与输入层相连的第一个隐藏层中，节点的计算 规则为：

式中，表示在剔除网络输入x_ij后，第一个隐藏层第k个节点得到的输出； σ(·)表示隐藏层的激活函数；w_lk表示输入层第l个节点和第一个隐藏层第k个 节点的连接权重；a_k表示第一个隐藏层第k个节点的阈值。

在后续的第h个隐藏层中，节点的计算规则为：

式中，表示在剔除网络输入x_ij后，第h个隐藏层第k个节点得到的输出； m^h-1表示第h-1个隐藏层的节点个数；表示第h-1个隐藏层第l个节点和第h个 隐藏层第k个节点的连接权重；表示在剔除网络输入x_ij后，第h-1个隐藏层 第l个节点得到的输出；表示第h个隐藏层第k个节点的阈值。令 y_i＝[y_i1,y_i2,......,y_is]^T表示网络的最终输出，其中，y_ij是剔除其相应网络输入x_ij后， 基于其他网络输入计算得到的结果。

(2)填补方案

本发明将缺失值视为未知变量，设计基于缺失值动态处理的填补方案 (MissingValues Participating in Training，简称MVPT)。令e_i表示输出y_i和输入 x_i的误差：

式中，X_P是不完整数据集中所有数据的集合；X_M是不完整数据集中所有缺 失值的集合；是缺失值估计；网络代价函数为：

式中，n为样本容量；MVPT的填补流程为：

步骤1：随机初始化网络参数包括权重和阈值，缺失值估计；

步骤2：将含缺失值估计的不完整数据集输入网络模型；

步骤3：基于优化算法更新网络参数，缺失值估计；

步骤4：基于更新后的缺失值估计填补不完整数据集的缺失值；

步骤5：若训练未达到终止条件，返回步骤2；否则，利用与缺失值对应的 网络输出填补缺失值。

本发明的有益效果在于以下两方面：首先，网络模型TRAE在计算网络输 出时，通过剔除与其相应的网络输入避免了传统自编码器易学到无意义的恒等 映射这一问题。该模型在保持结构简洁性的同时，提高了自身的回归性能。其 次，填补方案MVPT允许不完整数据集的所有样本参与训练，缺失值被视为未 知变量基于优化算法动态更新。相较于现有填补方案仅利用完整样本子集训练 网络，该方案合理利用了不完整样本中的数据，故有效提高了已知信息利用率。

附图说明

图1是本发明的工作流程图。

图中：1初始化网络参数和缺失值估计；2将不完整数据集输入网络；3更 新网络参数和缺失值估计；4基于更新后的缺失值估计填补缺失值；5迭代训练 终止后利用网络输出填补缺失值。

图2是本发明的网络模型TRAE的结构图。

图3是本发明的填补方案MVPT的工作流程图。

具体实施方式

以下结合发明内容和说明书附图详细说明本发明的具体实施方式。

图1为本发明的工作流程图。图中，不完整数据集中第一行A₁,A₂,A₃,...,A_s表示属性名称，黑色标记表示缺失值。基于图1可知，本发明根据数据集的属 性个数搭建网络模型TRAE，接着采用填补方案MVPT并行实现网络训练与缺 失值填补。训练前，该方案对网络参数和缺失值估计进行随机初始化；训练过 程中，整个不完整数据集作为训练集输入TRAE；TRAE基于优化算法更新网络 参数和缺失值估计；更新后的缺失值估计用于填补缺失值；填补后的不完整数 据集作为网络输入进行下轮迭代；当训练达到终止条件时，网络计算输出，缺 失值对应的输出用于最终填补缺失值。

以UCI机器学习数据库的IRIS数据集为例，对本发明的细节进行阐述。IRIS 是样本量为150，属性个数为4的完整数据集，通过人工删除数据集中的部分数 据以构造不完整数据集。

(1)网络模型

假设搭建的TRAE是节点个数分别为4、5、4的三层网络结构，如图2所 示。该图左侧为TRAE的整体框架；右侧为隐藏层节点的计算规则。基于图2 左侧可知，TRAE属于全连接网络，其输入层和输出层的节点个数均等于数据集 的属性个数，本例中隐藏层的数量为1，隐藏层节点个数为5。基于图2右侧可 知，隐藏层第k个节点基于除x_i1外的其他输入值计算输出由于数据集的属 性个数为4，隐藏层节点将分别计算4个输出值且在计算时会 剔除对应输入x_ij。本例中隐藏层的激活函数为sigmoid函数，因此隐藏层节点 的输出表示为

输出层节点基于隐藏层传入的数值计算网络输出。由于本例中输出层的激 活函数为线性函数，故网络输出表示为

式中，v_kj表示隐藏层第k个节点和输出层第j个节点的连接权重；b_j表示输 出层第j个节点的阈值。基于式(10)可知，在计算网络输出y_ij时，相应的网 络输入x_ij将基于隐藏层节点的调整被剔除。

(2)填补方案

MVPT基于优化算法更新网络参数和缺失值估计，其实施关键在于确定变 量的更新规则。以图2中搭建的TRAE为例，网络训练时的变量集合可表示为其中m表示隐藏层节点的个数，且此例中s＝4,m＝5。当优化算法为基于动量的随机梯度下降法时，T的更 新方式

式中，η为学习率；α为动量因子；T^(new)为T在本轮迭代中更新后的新值； T^(old)为T在本轮迭代中更新前的旧值；T^(last_old)为T在上轮迭代中更新前的旧值。 基于式(11)可知，为求解T，需计算T中各变量关于e_i的偏导数。首先，令h_ij表示y_ij关于e_i的导数:

由此，b_j,v_kj,a_k,w_jk,关于的e_i偏导数如式(13)～(17)所示。

式中，取决于输出层的激活函数。当此激活函数为线性函数时，

式中，取决于隐藏层的激活函数。当此激活函数为sigmoid函数时，

基于上述计算规则，在每轮迭代中网络参数和缺失值估计的更新值得以求 解。MVPT的工作流程详见图3，其具体操作为：

步骤1：输入不完整数据集；

步骤2：随机初始化网络参数包括权重和阈值，缺失值估计；

步骤3：设置待访问样本的编号i为1；

步骤4：将不完整数据集的第i个样本输入网络模型；

步骤5：基于优化算法，及式(11)～(16)更新网络参数；

步骤6：若当前第i个样本为不完整样本，则基于优化算法，及式(11)、(17) 更新该样本每个缺失值对应的缺失值估计，并进入步骤7；否则直接进入步骤7；

步骤7：若不完整数据集的所有样本均遍历结束，则进入步骤8；否则将待 访问样本的编号i设为i+1，并返回步骤4；

步骤8：若当前迭代次数达到设定阈值，则将缺失值对应的网络输出作为最 终的缺失值估计，并进入步骤9；否则返回步骤3；

步骤9：输出包含最终缺失值估计的数据集。

(3)实验

从UCI机器学习数据库选取3个数据集验证本发明的填补性能，数据集描 述见表1。为计算缺失值估计和真实值间的误差，所选数据集均为完整数据集， 实验按照指定缺失率人工删除部分数据来构造不完整数据集。指定缺失率分别 设为5％、10％、15％、20％、25％、30％。

表1数据集描述

实验比较了五种方法，每种方法均涉及网络模型和填补方案两部分，分别 为：基于MLP和传统填补方案的填补法(MLP+TR)、基于AE和传统填补方案 的填补法(AE+TR)、基于本发明提出的TRAE和传统填补方案的填补法 (TRAE+TR)、基于AE和本发明提出的MVPT的填补法(AE+MVPT)、基于 本发明提出的TRAE和本发明提出的MVPT的填补法(TRAE+MVPT)。实验采 用的传统填补方案是指包含训练和填补两阶段，且填补阶段采用均值预填的方 案。表2为五种填补方法的MAPE指标结果，其中最优结果已加粗并用下划线 标出，次优结果已加粗显示。

表2五种填补法的MAPE指标

由表2可知，TRAE+MVPT具有最多的最优结果，这说明TRAE+MVPT的 填补精度优于其他对比方法。基于MLP+TR、AE+TR、TRAE+TR的指标结果 可知，在基于传统填补方案的填补方法中，本发明提出的网络模型TRAE具有 最优的填补精度。基于AE+MVPT、TRAE+MVPT的指标结果可知，在基于本 发明所提填补方案MVPT的填补方法中，本发明提出的网络模型TRAE具有最 优的填补精度。对比AE+TR、AE+MVPT的指标结果，以及对比TRAE+TR、 TRAE+MVPT的指标结果后可发现，在网络模型相同的情况下，本发明提出的 填补方案MVPT比传统填补方案具有更高的填补精度。

综上所述，本发明提出的网络模型TRAE和填补方案MVPT具有理想的填 补精度。

Claims (1)

1.一种基于去跟踪自编码器的动态缺失值填补方法，包括网络模型和填补方案两个部分，其特征在于：

第一部分：网络模型

设计隐藏层节点的计算规则，并搭建去跟踪自编码器；在与输入层相连的第一个隐藏层中，节点的计算规则为：

式中，表示在剔除网络输入x_ij后，第一个隐藏层第k个节点得到的输出；σ(·)表示隐藏层的激活函数；w_lk表示输入层第l个节点和第一个隐藏层第k个节点的连接权重；a_k表示第一个隐藏层第k个节点的阈值；

在后续的第h个隐藏层中，节点的计算规则为：

式中，表示在剔除网络输入x_ij后，第h个隐藏层第k个节点得到的输出；m^h-1表示第h-1个隐藏层的节点个数；表示第h-1个隐藏层第l个节点和第h个隐藏层第k个节点的连接权重；表示在剔除网络输入x_ij后，第h-1个隐藏层第l个节点得到的输出；表示第h个隐藏层第k个节点的阈值；令y_i＝[y_i1,y_i2,......,y_is]^T表示网络的最终输出，其中，y_ij是剔除其相应网络输入x_ij后，基于其他网络输入计算得到的结果；

第二部分：填补方案

将缺失值视为未知变量，设计基于缺失值动态处理的填补方案；令e_i表示输出y_i和输入x_i的误差：

式中，X_P是不完整数据集中所有数据的集合；X_M是不完整数据集中所有缺失值的集合；是缺失值估计；网络代价函数为：

式中，n为样本容量；MVPT的填补流程为：

步骤1：随机初始化网络参数包括权重和阈值，缺失值估计；

步骤2：将含缺失值估计的不完整数据集输入网络模型；

步骤3：基于优化算法更新网络参数，缺失值估计；

步骤4：基于更新后的缺失值估计填补不完整数据集的缺失值；

步骤5：若训练未达到终止条件，返回步骤2；否则，利用与缺失值对应的网络输出填补缺失值。