CN113468156A - 基于特征融合增强的数据集缺失值填补方法 - Google Patents

Abstract

本发明公开了一种基于特征融合增强的数据集缺失值填补方法。首先，设计了一种新型神经网络隐藏层，通过去跟踪神经元与径向基函数神经元从不同维度学习数据特征。去跟踪神经元可以降低自编码器无效恒等映射问题，有效挖掘数据属性间的关联特征；径向基函数神经元的自动聚类能力，可以更好地学习到缺失样本间的共性特征。其次，采用了一种迭代优化的缺失值动态填补策略，缺失值被视为代价函数的变量与模型的参数一起随着优化函数动态变化，在训练期间缺失值的估计误差会随着迭代优化的深入而渐进降低，模型的准确性和填补精度得以持续提升，同时提升模型对不完整数据的学习填补适应能力。

Description

基于特征融合增强的数据集缺失值填补方法

技术领域

本发明涉及数据清洗领域，特别是一种基于特征融合增强的数据集缺失值填补方法。

背景技术

数据质量问题是数据分析研究及应用过程中面临的关键挑战之一，处理不好就会是“Garbage In Garbage Out”(垃圾进垃圾出)，尤其在机器学习应用中，若直接对缺失数据进行建模，会增加分析过程的不确定性，并降低模型的准确性和可靠性。因此，需要在数据预处理时，对数据缺失值进行妥善的处理，一般通过直接删除缺失值会造成大量信息失真，降低数据质量和可靠度。而通过缺失值填补方法为缺失数据找到一个合理的替代或补充，从而保持原始数据集的特征分布，提升数据质量。缺失值填补因其重要的应用价值而受到广泛关注，许多研究者从多种角度出发，提出了不同的缺失值填补方法。要对数据缺失值进行有效填补，关键问题在于如何深度挖掘缺失数据的内部特征，通过足够的内部特征分析，找到合理的值进行缺失值填补。一般来讲，缺失值填补需要找到缺失数据集中的两类关键特征：

(1)数据共性特征：它是指基于数据之间的相似性进行特征挖掘，为每一个不完整的数据找到一组最相似的数据，并根据相似数据的属性值来填充缺失的值。

(2)数据关联特征：现实生活中的数据往往存在着较为复杂的非线性关系，如何建模学习到缺失数据集中的数据关联性特征，直接影响缺失值填补效果。当前深度神经网络因其优秀的非线性映射学习能力，被广泛运用于数据关联特征挖掘，为新的缺失值填补性模型设计提供了新的参考。

随着机器学习的快速发展，许多基于神经网络的缺失值填补方法被提出，其中包含自组织映射(Self-Organizing Map，SOM),多层感知机(Multi-Layer Perceptron，MLP)，自编码器(AutoEncoder，AE)等方法。其中自组织映射方法虽然结构简洁，但忽略了属性间的相关性，导致模型的填补精度不高。而在多层感知机模型中，该模型会根据数据集中每种不完整属性组合构建专属的MLP模型，即建立不完整属性为模型输出，其他属性为模型输入的MLP回归模型，虽然能较好的学习到属性间的关联特征，但是由于每个专属模型都需要完成一次训练，训练过程比较耗时间，开销较大。基于简单的自编码器模型仅借助一个网络结构即可实现各类数据缺失形式下的填补任务，极大降低了缺失数据集建模的复杂性，它也因此在缺失值填补领域备受关注。但在使用传统自编码器用于缺失值填补时，模型输出和输入间的误差在训练过程中不断缩小，输出将高度追踪对应的输入，从而表现出自跟踪性。由于自编码器填补模型高度的结构简洁性，许多研究人员在自编码器模型上进行改进，提出了径向基函数神经网络(radial basis function neural network)、广义回归神经网络(Generalized Regression Neural Network，GRNN)、对偶传播网络(CouterpropagationNetwork，CPN)，去跟踪自编器(Tracking-removed Autoencoder)，关联增强型自编码器(Correlation-enhanced Autoassociative Neural Network，CE-AANN)等各类自编码器变体模型用于缺失值填补，但目前上述方法都只是从数据属性间的关联特征维度进行学习。

基于自编码器的缺失值填补模型，一般采用的填补方法是由训练阶段和填补阶段组成。它先通过完整的记录来训练网络，然后将预处理的不完整记录输入到训练好的网络中，并使用相应的网络输出来计算缺失值。但这种方法在数据缺失率过大时，模型的训练精度会由于完整样本较少而快速降低，模型难以学习到不完整数据内部的信息结构及特征，适应能力存在一定的瓶颈。

发明内容

本发明的目的是提供一种基于特征融合增强的数据集缺失值填补方法。首先，设计了一种新型神经网络隐藏层，通过去跟踪神经元与径向基函数神经元从不同维度学习数据特征，去跟踪神经元可以降低自编码器无效恒等映射问题，有效挖掘数据属性间的关联特征；径向基函数神经元的自动聚类能力，可以更好地学习到缺失样本间的共性特征。通过两类神经元的输出彼此参考制约，使得模型可以从数据关联特征和数据共性特征两个维度进行特征融合，实现多维度的特征融合学习。其次，采用了一种迭代优化的缺失值动态填补策略(Missing Values Participating in Training，MVPT)。在该策略中，缺失值被视为代价函数的变量与模型的参数一起随着优化函数动态变化，在训练期间缺失值的估计误差会随着迭代优化的深入而渐进降低，模型的准确性和填补精度得以持续提升，同时提升模型对不完整数据的学习填补适应能力。

实现本发明目的的技术方案如下：

基于特征融合增强的数据集缺失值填补方法，包括：

步骤1：使用随机森林对包含缺失值的数据集进行预填补，得到预填补后的数据集X，

X＝{x_ij|i＝1,2,...,n；j＝1,2,...,s}；

步骤2：初始化神经网络中的连接权重和阈值；

步骤3：将X输入神经网络隐藏层，发掘出关联特征和共性特征；

所述神经网络隐藏层包括m1个去跟踪神经元，通过去跟踪神经元发掘出关联特征，如下：

其中，k＝1,2...,m1，net_ikj为第k个去跟踪神经元在剔除对应输入x_ij后得到的输出，s为属性个数即X的列数，

为x_il和第k个去跟踪神经元的连接权重，

为第k个去跟踪神经元的阈值；

所述神经网络隐藏层还包括m2个径向基函数神经元，通过径向基函数隐藏层神经元发掘出共性特征，如下：

其中，g＝1,2,...,m2，net_igj为第g个径向基函数神经元针对输入x_ij的输出；μ_g是第g个径向基函数神经元的中心点，σ_g是第g个径向基函数神经元的宽度，通过基于k-means聚类算法在X中找到m2个中心点后计算得到，

c_max表示m2个中心点间的最大距离；

步骤4：将关联特征和共性特征输入神经网络输出层，得到模型输出y_ij和参考输出r_ij；其中，模型输出

式中，y_ij为对输入x_ij产生的模型输出，

为隐藏层第k个去跟踪神经元和输出层第j个神经元的连接权重，

为输出层第j个神经元的阈值；

参考输出

式中，r_ij为对输入x_ij产生的参考输出，

为隐藏层第g个径向基函数神经元和输出层第j个神经元的连接权重；

步骤5：设置目标函数，

使用Adam优化算法最小化目标函数L，更新连接权重和阈值，并填补缺失值。

与现有技术相比，本发明的有益效果为：

1、通过引入去跟踪神经元和径向基函数神经元两类神经元构建了一种新的神经网络隐藏层，通过两类输出的相互制约，可以综合两类神经元的特点，在去除自跟踪性的基础上挖掘样本属性间的关联特征和样本共性特征，从多维度进行数据特征融合学习，提高缺失填补性能。

2、采用动态填补策略MVPT，训练过程中允许缺失数据集动态加入，与参数一起训练优化以提升填补效果。

附图说明

图1为基于特征融合增强自编码器的缺失值填补模型框架示意图。

图2为不同隐藏层神经元的差异示意图。

具体实施方式

本发明针对经典自编码器模型用于缺失值填补中存在的主要问题，提出了一种基于特征融合增强自编码器的缺失值填补方法(Feature Fusion Enhanced AutoencoderModel for Missing Value Filling，FFEAM)。如图1所示，本发明设计了一种基于去跟踪神经元和径向基函数神经元的新型神经网络隐藏层，以协同训练填补缺失值。

本发明的具体实施步骤如下：

步骤1：使用随机森林对包含缺失值的数据集进行预填补，得到预填补后的数据集X，

X＝{x_ij|i＝1,2,...,n；j＝1,2,...,s}；

步骤2：初始化基于特征融合增强自编码器的缺失值填补模型的权重和阈值；

步骤3：数据输入神经网络隐藏层，利用新型隐藏层中的去跟踪神经元发掘数据属性间的关联特征，利用径向基函数神经元发掘数据间的共性特征，得到两类隐藏层输出，具体表现为：

去跟踪神经元输出如下式所示：

上式中net_ikj代表第k个去跟踪神经元在剔除对应输入x_ij后得到的输出，s代表属性个数也就是x_ij数据集的列数，k代表第k个去跟踪神经元，m1为去跟踪神经元的个数，w_lk ⁽¹⁾代表输入层第l个节点和隐藏层的第k个去跟踪神经元的连接权重，其中第l个节点代表在输入层的第l个神经元也就是输入值x_il，b_k ⁽¹⁾表示隐藏层的第k个去跟踪神经元的阈值；

径向基函数隐藏层神经元输出如下式所示：

上式中net_igj代表第g个径向基函数神经元针对输入x_ij的输出；μ_g是第g个径向基函数神经元的中心点，σ_g是第g个径向基函数神经元的宽度，通过基于k-means聚类算法在x_ij数据集中找到m2个中心点后计算得到，

c_max表示m2个中心点间的最大距离；

步骤4：在神经网络输出层得到两类输出，具体表现为：

网络的模型输出y_ij按照下式计算：

上式中，y_ij为对输入x_ij产生的对应模型输出，net_ikj为第k个去跟踪神经元的输出；m1为去跟踪神经元的个数；s为属性个数；w_kj ⁽²⁾代表隐藏层第k个去跟踪神经元和输出层的第j个输出层神经元的连接权重，b_j ⁽²⁾表示第j个输出层神经元间的阈值；

网络的参考输出r_ij按照下式计算:

上式中，r_ij为对输入x_ij产生的对应模型参考输出，net_igj为第g个径向基函数神经元的输出；s为属性个数；m2为径向基函数神经元个数；w_gj ⁽²⁾代表隐藏层第g个径向基函数神经元和输出层的第j个输出层神经元的连接权重，b_j ⁽²⁾表示第j个输出层神经元间的阈值；

步骤5：最小化目标函数式更新模型权重和阈值，并将缺失值被视为目标函数的变量与模型的参数一起随着目标函数动态变化，具体为：

目标函数如下式：

如果样本x_ij为不完整样本，基于Adam优化算法更新x_ij中的缺失值变量，进而填补缺失值，否则继续下一个样本。

为了验证本发明的有效性，本发明实验采用的四个数据集是源于UCI的开源数据集，详见下表1，实验从完整数据中随机删除部分现有值，从而构造不完整数据集，缺失率分别设置为20％，30％，40％，50％。

表1实验数据集描述

为了验证模型的填补性能，将FFEAM与均值填补(Means)，自编码器(AE)，关联增强型自编码器(CE-AANN)三个基准模型进行比较：

(1)Means:比较传统的统计填补方法，数值型数据以不完整属性列中全部现有值的平均值作为填补值。

(2)AE：基于经典自编码器的填补模型，该模型通过输出端复现输入端的值，填补缺失值。根据2.1节所描述的方法建立自编码器填补模型，接着根据MVPT方案展开填补。

(3)CE-AANN：Lai等提出的一种关联增强型自编码器填补模型。

实验使用均方根误差(Root Mean Square Error，RMSE)和平均绝对误差(MeanAbsolute Error，MAE)作为填补性能的评价指标，RMSE和MAE的计算公式如下：

其中n为样本总数，yi表示填补值，xi表示与该填补值对应的真实值。

实验结果如表2所示：

表2实验结果

实验结果表明，本发明构建的FFEAM模型不管针对不同缺失率的设置，还是在不同数据集上的实验表现，均比其他基准对比模型具有更优的填补性能。其主要原因是在于FFEAM通过引入去跟踪神经元来约束网络输出对相应输入的过度依赖，即避免直接学习到输出复现输入的无效映射，还通过径向基函数神经元，对样本数据进行聚类计算。通过去跟踪神经元与径向基函数神经元的有机融合，使得模型可以从两个个维度进行融合特征学习，让模型可以学习到数据属性间关联特征的同时能挖掘数据共性特征，从而提高了模型填补精度。

Claims (1)

1.基于特征融合增强的数据集缺失值填补方法，其特征在于，包括：

步骤1：使用随机森林对包含缺失值的数据集进行预填补，得到预填补后的数据集X，

X＝{x_ij|i＝1,2,...,n；j＝1,2,...,s}；

步骤2：初始化神经网络中的连接权重和阈值；

步骤3：将X输入神经网络隐藏层，发掘出关联特征和共性特征；

所述神经网络隐藏层包括m1个去跟踪神经元，通过去跟踪神经元发掘出关联特征，如下：

其中，k＝1,2...,m1，net_ikj为第k个去跟踪神经元在剔除对应输入x_ij后得到的输出，s为属性个数即X的列数，

为x_il和第k个去跟踪神经元的连接权重，

为第k个去跟踪神经元的阈值；

所述神经网络隐藏层还包括m2个径向基函数神经元，通过径向基函数隐藏层神经元发掘出共性特征，如下：

其中，g＝1,2,...,m2，net_igj为第g个径向基函数神经元针对输入x_ij的输出；μ_g是第g个径向基函数神经元的中心点，σ_g是第g个径向基函数神经元的宽度，通过基于k-means聚类算法在X中找到m2个中心点后计算得到，

c_max表示m2个中心点间的最大距离；

步骤4：将关联特征和共性特征输入神经网络输出层，得到模型输出y_ij和参考输出r_ij；其中，

模型输出

式中，y_ij为对输入x_ij产生的模型输出，

为隐藏层第k个去跟踪神经元和输出层第j个神经元的连接权重，

为输出层第j个神经元的阈值；

参考输出

式中，r_ij为对输入x_ij产生的参考输出，

为隐藏层第g个径向基函数神经元和输出层第j个神经元的连接权重；

步骤5：设置目标函数，

使用Adam优化算法最小化目标函数L，更新连接权重和阈值，并填补缺失值。

Images