CN111309973A - 基于改进马尔可夫模型和改进k最近邻的缺失值填补方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，包括以下步骤：A)根据数据的最小值v_min和最大值v_max，将区间[v_min，v_max]以等间隔形式划分为n个状态区间，确定每个数据点所属的状态区间并赋予其状态标签；B)采用改进马尔可夫模型得到缺失值的可能填补值T_m；C)根据缺失值的位置，采用改进K最近邻方法得到缺失值的可能填补值T_k；D)对T_m和T_k加权求和得到最终的填补值T。本发明的实质性效果是：充分考虑数据的整体性和波动趋势，提高了对波动性较强、规律性较弱的时间序列数据的缺失的补全精确度。

Description

基于改进马尔可夫模型和改进K最近邻的缺失值填补方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于改进马尔可夫模型和改进K最近邻的缺失值填补方法。

背景技术

在数据分析过程中，往往需要面对因数据存在一定的缺失而无法准确挖掘数据价值的情况。尤其是工业设备的监测数据，经常受到恶劣环境、误操作、传感器故障、数据传输中断等情况的影响而导致采集的数据中存在大量的缺失值。数据缺失会破坏设备监测数据时间序列的连续性，特别是连续的缺失值，在一定程度上改变数据的特征和变化趋势，导致无法准确分析设备的健康状态和诊断设备故障。因此需要选择一种可有效填充缺失值的方法。

如中国专利CN107273429A，公开日2017年10月20日，提出一种基于深度学习的缺失值填充方法及系统，包括以下步骤：步骤1，对数据集进行预处理，将所述数据集分为完整数据子集和缺失数据子集，将所述完整数据子集中的数据分为训练样本集和测试样本集，随机删除测试样本集中部分数据作为缺失测试样本集；步骤2，利用训练样本集对初步构建的卷积神经网络进行训练并保存，使用训练后得到的卷积神经网络对缺失测试样本集进行缺失值填充，并不断调整所述卷积神经网络的网络结构和迭代前述训练和验证步骤以满足精度要求；步骤3，将所述完整数据子集输入步骤(2)得到的卷积神经网络，得到完善的卷积神经网络；步骤4，将所述缺失数据子集输入步骤(3)得到的完善的卷积神经网络完成缺失值的填充。其缺失值填补方法的缺点在于：1、卷积神经网络需要一定的样本进行多次训练才能满足精度要求，在一些场景下并不适合；2、对数据缺失率较高时的处理效果并不理想。

发明内容

本发明要解决的技术问题是：现有技术中的数据补全技术没有充分考虑数据波动及时间序列的技术问题。提出了一种基于改进马尔可夫模型和改进K最近邻的缺失值填补方法。本发明能够充分考虑数据的整体性和局部分布，使得填补的数据能够追踪数据的变化趋势并在较低的误差范围内。

为解决上述技术问题，本发明所采取的技术方案为：基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，包括以下步骤：A)根据数据的最小值v_min和最大值v_max，将区间[v_min，v_max]以等间隔形式划分为n个状态区间，确定每个数据点所属的状态区间并赋予其状态标签；B)采用改进马尔可夫模型得到缺失值的可能填补值T_m；C)根据缺失值的位置，采用改进K最近邻方法得到缺失值的可能填补值T_k；D)对T_m和T_k加权求和得到最终的填补值T。本发明通过改进马尔可夫模型和改进K最近邻方法分别得到可能的填补值，并通过加权求和得到最终的填补值，一方面可反映数据的整体分布和变化趋势，另一方面又保留了缺失值附近的局部特征。采用改进马尔可夫模型和改进K最近邻方法联合填补缺失值，具有一定的鲁棒性和准确性。

作为优选，步骤B)中，采用改进马尔可夫模型得到缺失值的可能填补值T_m，包括：B1)根据正向时间序列，用n阶方阵统计数据由状态i经过一步转移到状态j的概率，表示为a_i，j＝s(i/j)/s(i)，其中s(i/j)表示状态i的下一状态为j的次数，表示s(i)表示状态i出现的次数，得到n*n阶的正向状态转移矩阵P，

B2)根据反向时间序列，建立n*n阶的反向状态转移矩阵Q，反向状态转移矩阵Q的元素b_i，j表示在反向时间序列中，数据由状态i经过一步转移到状态j的概率；B3)假设正向时间序列的第k个数为缺失值，选择第(k-1)个数所处的状态i作为初始状态，建立长度为n的初始状态向量w₁，由于已知第(k-1)个数的状态，w₁中对应元素的概率为1，其余元素为0，w₁与正向状态转移矩阵P相乘，得到缺失值处于不同状态区间的正向概率分布p₁，将概率作为权重分别与各状态区间的中间值加权求和得到填补值T₁；B4)选择第k个数后首个不为缺失值的第m个数在反向时间序列中所处的状态i作为初始状态，步骤B3)，建立长度为n的初始状态向量w₂，由于已知第(k-1)个数的状态，w₂中对应元素的概率为1，其余元素为0，w₂与反向状态转移矩阵Q相乘，得到缺失值处于不同状态区间的反向概率分布p₂，与各状态区间的中间值加权求和得到填补值T₂；B5)分别获取填补值T₁、T₂所处的状态i和j在数据中出现的次数，以升半岭形隶属函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_m。

作为优选，步骤B5)中，所述升半岭形隶属函数为：

其中，d_max为数据各状态出现次数的最大差值，d_min为数据各状态出现次数的最小差值，x为状态i和j出现次数num_i和num_j的次数之差；填补值T₁、T₂匹配权重系数ω₁、ω₂分别为：

作为优选，步骤C)中，采用改进K最近邻方法得到缺失值的可能填补值T_k包括：C1)假设正向时间序列的第k个数为缺失值，以第(k-1)个数为初始点，在第k个数之前的n个数据中选择k个与第(k-1)个数欧氏距离最小的数的均值作为填补值T₁，选择第k个数后首个不为缺失值的第m个数为初始点，在第k个数之后的n个数据中选择k个与第m个数欧氏距离最小的数的均值作为填补值T₂；C2)以降半岭形隶属度函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_k。

作为优选，步骤C2)中，降半岭形隶属度函数为：

其中，r为人工设定的可接受的缺失值最大连续出现次数，x为缺失值连续出现的次数，填补值T₁的权重系数ω₁＝1-μ(x)，T₂的权重系数ω₂＝μ(x)。

作为优选，步骤D)中，对T_m和T_k加权求和得到最终的填补值T的方法为：若时间序列上缺失值附近2n个数的局部缺失率超过设定阈值，则以降半岭形隶属度函数为填补值T_m和T_k匹配权重系数，加权求和得到填补值T。

作为优选，步骤D)中，降半岭形隶属度函数为：

其中，l为缺失值附近2n个数中可接受的缺失值个数，x为缺失值的个数。因此，填补值T_m的权重系数ω₁＝1-μ(x)，填补值T_k的权重系数ω₂＝μ(x)。

本发明的实质性效果是：将数据划分为n个状态区间，结合正向状态转移矩阵和反向状态转移矩阵，充分考虑数据的整体性和波动趋势，提高了对波动性较强、规律性较弱的时间序列数据的缺失的补全精确度。

附图说明

图1为实施例一缺失值填补方法流程框图。

图2为实施例一缺失率为10％时的时间序列数据示意图。

图3为实施例一缺失值补全后的时间序列数据示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，如图1所示，本实施例包括以下步骤：A)根据数据的最小值v_min和最大值v_max，将区间[v_min，v_max]以等间隔形式划分为n个状态区间，确定每个数据点所属的状态区间并赋予其状态标签；B)采用改进马尔可夫模型得到缺失值的可能填补值T_m；C)根据缺失值的位置，采用改进K最近邻方法得到缺失值的可能填补值T_k；D)对T_m和T_k加权求和得到最终的填补值T。n的值由人工设定，其值越大缺失值填补越精确，但运算量和填补效率相应下降。

步骤B)中，采用改进马尔可夫模型得到缺失值的可能填补值T_m，包括：B1)根据正向时间序列，用n阶方阵统计数据由状态i经过一步转移到状态j的概率，表示为a_i，j＝s(i/j)/s(i)，其中s(i/j)表示状态i的下一状态为j的次数，表示s(i)表示状态i出现的次数，得到n*n阶的正向状态转移矩阵P，

B2)根据反向时间序列，建立n*n阶的反向状态转移矩阵Q，反向状态转移矩阵Q的元素b_i，j表示在反向时间序列中，数据由状态i经过一步转移到状态j的概率；B3)假设正向时间序列的第k个数为缺失值，选择第(k-1)个数所处的状态i作为初始状态，建立长度为n的初始状态向量w₁，由于已知第(k-1)个数的状态，w₁中对应元素的概率为1，其余元素为0，w₁与正向状态转移矩阵P相乘，得到缺失值处于不同状态区间的正向概率分布p₁，将概率作为权重分别与各状态区间的中间值加权求和得到填补值T₁；B4)选择第k个数后首个不为缺失值的第m个数在反向时间序列中所处的状态i作为初始状态，步骤B3)，建立长度为n的初始状态向量w₂，由于已知第(k-1)个数的状态，w₂中对应元素的概率为1，其余元素为0，w₂与反向状态转移矩阵Q相乘，得到缺失值处于不同状态区间的反向概率分布p₂，与各状态区间的中间值加权求和得到填补值T₂；B5)分别获取填补值T₁、T₂所处的状态i和j在数据中出现的次数，以升半岭形隶属函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_m。步骤B5)中，升半岭形隶属函数为：

其中，d_max为数据各状态出现次数的最大差值，d_min为数据各状态出现次数的最小差值，x为状态i和j出现次数num_i和num_j的次数之差；填补值T₁、T₂匹配权重系数ω₁、ω₂分别为：

步骤C)中，采用改进K最近邻方法得到缺失值的可能填补值T_k包括：C1)假设正向时间序列的第k个数为缺失值，以第(k-1)个数为初始点，在第k个数之前的n个数据中选择k个与第(k-1)个数欧氏距离最小的数的均值作为填补值T₁，选择第k个数后首个不为缺失值的第m个数为初始点，在第k个数之后的n个数据中选择k个与第m个数欧氏距离最小的数的均值作为填补值T₂；C2)以降半岭形隶属度函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_k。步骤C2)中，降半岭形隶属度函数为：

其中，r为人工设定的可接受的缺失值最大连续出现次数，x为缺失值连续出现的次数，填补值T₁的权重系数ω₁＝1-μ(x)，T₂的权重系数ω₂＝μ(x)。

步骤D)中，对T_m和T_k加权求和得到最终的填补值T的方法为：若时间序列上缺失值附近2n个数的局部缺失率超过设定阈值，则以降半岭形隶属度函数为填补值T_m和T_k匹配权重系数，加权求和得到填补值T。

步骤D)中，降半岭形隶属度函数为：

其中，l为缺失值附近2n个数中可接受的缺失值个数，x为缺失值的个数。因此，填补值T_m的权重系数ω₁＝1-μ(x)，填补值T_k的权重系数ω₂＝μ(x)。

以某设备250个连续在线监测数据为样本，分别按缺失率为10％、20％、30％和40％随机删除数据，然后采用本实施例填补缺失值，以缺失率10％为例，含缺失值的时间序列数据如图2所示。

步骤A，根据数据的最小值407.4和最大值740.3，将区间[407.4，740.3]以24.2为间隔划分为15个状态区间，确定每个数据点所属的状态区间并赋予其状态标签。

步骤B，采用马尔可夫模型得到缺失值的可能填补值Tm，包括：

B1)根据正向时间序列，用15阶方阵统计数据由状态i经过一步转移到状态j的概率，表示为a_i，j＝s(i/j)/s(i)，其中s(i/j)表表示状态i的下一状态为j的次数，s(i)表示状态i出现的次数。最终得到15*15阶的正向状态转移矩阵P，

B2)根据反向时间序列，原理同步骤B1)，建立15*15阶的反向状态转移矩阵阵Q，表示为：

B3)以正向时间序列的第17个数是缺失值为例，选择第16个数所处的状态i作为初始状态，建立长度为15的初始状态向量w₁，由于已知第(k-1)个数的状态，w₁中对应元素的概率为1，其余元素为0，则w₁＝[0，0，0，1，0，0，0，0，0，0，0，0，0，0，0]。w₁与正向状态转移矩阵P相乘，得到缺失值处于不同状态区间的正向概率分布p₁，其中p₁＝[0.015，0.043，0.145，0.377，0.26，0.13，0.015，0.015，0，0，0，0，0，0，0]，将概率作为权重分别与各状态区间的中间值加权求和得到填补值T₁＝477.321。

B4)选择第17个数后首个不为缺失值的第19个数在反向时间序列中所处的状态i作为初始状态，原理同步骤B3)，得到缺失值处于不同状态区间的反向概率分布p₂，其中

p₂＝[0，0，0，0，0，0，0，0.02，0.028，0.028，0.289，0.376，0.217，0.028，0.014]，并与各状态区间的中间值加权求和得到填补值T₂＝464.644。

B5)获取填补值477.321和464.644所处的状态i和j在数据中出现的次数，分别为69和69，若某状态出现的次数越多则状态转移的概率越大，以升半岭形隶属函数为填补值477.321和464.644匹配权重系数为0.5和0.5，最终加权求和得到填补值T_m＝470.983。

步骤C，根据缺失值的位置，采用K最近邻方法得到缺失值的可能填补值T_k，包括：

C1)以正向时间序列的第17个数是缺失值为例，以第16个数为初始点，在第17个数之前的20个数据中选择5个与第16个数欧氏距离最小的数的均值作为填补值476.54。选择第17个数后首个不为缺失值的第19个数为初始点，在第17个数之后的20个数据中选择5个与第19个数欧氏距离最小的数的均值作为填补值482.012。

C2)若连续缺失值越多，超过了设定的阈值，填补值482.012与缺失值之间的关联越弱，以降半岭形隶属度函数为填补值476.54和482.012匹配权重系数0.515和0.485，最终加权求和得到填补值T_k＝479.194。

步骤D，对T_m＝470.983和T_k＝479.194加权求和得到最终的填补值T，包括：

D1)若时间序列上缺失值附近20个数存在3个缺失值，而局部缺失率越高，补全值479.194对局部数据波动的追踪能力越弱，以降半岭形隶属度函数为填补值470.983和479.194匹配权重系数为0.514和0.486，最终加权求和得到填补值474.974，而原数据为475.84，则填补值与原数据的相对误差为0.18％。如图3所示，为缺失值补全后与原数据的对比图。

为了说明本发明的方法具有较好的鲁棒性和准确性，对比不同的数据填补方法，如传统马尔可夫模型(Markov)、传统K最近邻方法(KNN)、指数加权移动平均法(EWMA)、三次样条插值(spline插值)、线性插值等。如表1所示，分别按缺失率为10％、20％、30％和40％随机删除数据，缺失值按单点缺失和连续缺失分别统计填补值的均方根误差(rmse)和各个填补值与实际值的相对误差。表1不同数据填补方法的对比

表1

由表1可知：(1)对比个各缺失值填补方法的rmse值，本发明所提方法的rmse值在所有工况下为最小值或与最小值差异很小；(2)对比各工况下缺失值与实际值的相对误差，当以相对误差范围为15％衡量时，本实施例所提方法下的各填补值均满足；当以相对误差范围为10％衡量时，除了数据缺失率为40％的连续缺失值统计结果，本实施例所提方法下的缺失值超过95％均满足；当以相对误差范围为5％衡量时，本实施例所提方法在大部分工况中填补值满足条件的比例最高。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，包括以下步骤：

A)根据数据的最小值v_min和最大值v_max，将区间[v_min，v_max]以等间隔形式划分为n个状态区间，确定每个数据点所属的状态区间并赋予其状态标签；

B)采用改进马尔可夫模型得到缺失值的可能填补值T_m；

C)根据缺失值的位置，采用改进K最近邻方法得到缺失值的可能填补值T_k；

D)对T_m和T_k加权求和得到最终的填补值T。

2.根据权利要求1所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤B)中，采用改进马尔可夫模型得到缺失值的可能填补值T_m，包括：

B1)根据正向时间序列，用n阶方阵统计数据由状态i经过一步转移到状态j的概率，表示为a_i，j＝s(i/j)/s(i)，其中s(i/j)表示状态i的下一状态为j的次数，表示s(i)表示状态i出现的次数，得到n*n阶的正向状态转移矩阵P，

B2)根据反向时间序列，建立n*n阶的反向状态转移矩阵Q，反向状态转移矩阵Q的元素b_i，j表示在反向时间序列中，数据由状态i经过一步转移到状态j的概率；

B3)假设正向时间序列的第k个数为缺失值，选择第(k-1)个数所处的状态i作为初始状态，建立长度为n的初始状态向量w₁，由于已知第(k-1)个数的状态，w₁中对应元素的概率为1，其余元素为0，w₁与正向状态转移矩阵P相乘，得到缺失值处于不同状态区间的正向概率分布p₁，将概率作为权重分别与各状态区间的中间值加权求和得到填补值T₁；

B4)选择第k个数后首个不为缺失值的第m个数在反向时间序列中所处的状态作为初始状态，步骤B3)，建立长度为n的初始状态向量w₂，由于已知第(k-1)个数的状态，w₂中对应元素的概率为1，其余元素为0，w₂与反向状态转移矩阵Q相乘，得到缺失值处于不同状态区间的反向概率分布p₂，与各状态区间的中间值加权求和得到填补值T₂；

B5)分别获取填补值T₁、T₂所处的状态i和j在数据中出现的次数，以升半岭形隶属函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_m。

3.根据权利要求2所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤B5)中，所述升半岭形隶属函数为：

其中，d_max为数据各状态出现次数的最大差值，d_min为数据各状态出现次数的最小差值，x为状态i和j出现次数num_i和num_j的次数之差；

填补值T₁、T₂匹配权重系数ω₁、ω₂分别为：

4.根据权利要求1或2或3所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤C)中，采用改进K最近邻方法得到缺失值的可能填补值T_k包括：

C1)假设正向时间序列的第k个数为缺失值，以第(k-1)个数为初始点，在第个数之前的n个数据中选择k个与第(k-1)个数欧氏距离最小的数的均值作为填补值T₁，选择第k个数后首个不为缺失值的第m个数为初始点，在第k个数之后的n个数据中选择k个与第m个数欧氏距离最小的数的均值作为填补值T₂；

C2)以降半岭形隶属度函数为填补值T₁、T₂匹配权重系数ω₁、ω₂，加权求和得到填补值T_k。

5.根据权利要求4所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤C2)中，降半岭形隶属度函数为：

其中，r为人工设定的可接受的缺失值最大连续出现次数，x为缺失值连续出现的次数，填补值T₁的权重系数ω₁＝1-μ(x)，T₂的权重系数ω₂＝μ(x)。

6.根据权利要求1或2或3所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤D)中，对T_m和T_k加权求和得到最终的填补值T的方法为：

若时间序列上缺失值附近2n个数的局部缺失率超过设定阈值，则以降半岭形隶属度函数为填补值T_m和T_k匹配权重系数，加权求和得到填补值T。

7.根据权利要求6所述的基于改进马尔可夫模型和改进K最近邻的缺失值填补方法，其特征在于，

步骤D)中，降半岭形隶属度函数为：

其中，l为缺失值附近2n个数中可接受的缺失值个数，l的值由人工设定，为缺失值的个数，填补值T_m的权重系数ω₁＝1-μ(x)，填补值T_k的权重系数ω₂＝μ(x)。

Images