CN112199362B - 一种mes背景下的数据库数据缺失的填补方法及系统 - Google Patents

Abstract

本发明涉及一种MES背景下的数据库数据缺失的填补方法及系统。该方法包括：读取数据库中数据的时间戳信息；判断数据是否发生缺失；当数据发生缺失时，采用二分法查找数据中数据缺失的位置；根据数据中数据缺失的位置，确定数据的数据缺失类型；数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；根据数据的数据缺失类型，对数据进行填补；当数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补数据中缺失的数据；当数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补数据中缺失的数据；当数据的数据缺失类型为长时缺失类型时，对数据不进行填补。本发明可以提高缺失数据填补的精度和适应性。

Description

一种MES背景下的数据库数据缺失的填补方法及系统

技术领域

本发明涉及数据处理领域，特别是涉及一种MES背景下的数据库数据缺失的填补方法及系统。

背景技术

在工业MES系统中，数据一般通过传感器获得，在数据采集过程中，一般时间间隔固定(比如2秒一条，10秒一条等)，但由于一些客观原因，常出现信息缺失现象。由于数据缺失会对后续数据挖掘产生不利影响，所以在数据预处理阶段，应采用合理的方法，处理缺失数据。工业中缺失数据的具体表现为：前一条数据与后一条数据间时间间隔增大。比如，一般2秒采集一条数据信息的序列中，有两条数据前后间隔为10秒，则两条数据中间存在4条缺失数据。

根据缺失时间的长短，可以将流程工业数据中的缺失值分为瞬时缺失、短时缺失与长时缺失。缺失数据出现的原因有以下几点：①传感器性能的原因：在采集过程中由于传感器性能不稳定，造成数据瞬时或短时缺失，甚至发生传感器故障造成数据长时缺失；②生产状态的原因：当由于生产故障或者生产计划更改导致产线停止运行时，会造成数据长时缺失；③数据采集与传输的原因：数据传输故障、数据库读写异常等均会造成数据缺失，当数据采集系统停机时还会造成数据长时缺失。

目前，常用的缺失值填充方法有统计学方法和机器学习方法两大类,统计学习中常用的缺失值处理方法包括平均值插值法、期望最大化方法等，统计学的方法需要对数据库数据进行统计分析，不仅计算量较大，而且缺失数据的影响可能造成统计结果并不准确，不能反映数据之间时间相关性的影响。机器学习的方法主要包括决策树插补法、关联规则插补法、相似度测量方法，决策树插补法需要事先建立数据的决策模型，关联规则插补法在数据量较小时结果不可靠，相似度测量方法中常用的是K最近邻填充方法，但该方法的参数选择对结果影响很大。而且现行的数据填补方法多为单一方式的填补，对于不同情况下的适应度并不是很高。

发明内容

本发明的目的是提供一种MES背景下的数据库数据缺失的填补方法及系统，以提高缺失数据填补的精度和适应性。

为实现上述目的，本发明提供了如下方案：

一种MES背景下的数据库数据缺失的填补方法，包括：

读取数据库中数据的时间戳信息；

根据所述数据的时间戳信息，判断所述数据是否发生缺失；

当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置；

根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型；所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；

根据所述数据的数据缺失类型，对所述数据进行填补；当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据；当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据；当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。

可选的，所述根据所述数据的时间戳信息，判断所述数据是否发生缺失，具体包括：

获取数据查验长度；

根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息；

判断是否满足N_oneT＝t₂-t₁；其中，N_one为所述数据查验长度，T为所述数据的采样周期，t₁为所述数据在数据查验长度起始位置的时间，t₂为所述数据在数据查验长度结束位置的时间；

当满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段未发生缺失；

当不满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段发生缺失；

依次判断所述数据的每个数据段是否发生缺失。

可选的，所述当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置，具体包括：

对于每个发生缺失的数据段，利用公式

计算所述数据段中数据缺失的个数；其中，N为所述数据段中数据缺失的个数；

根据所述数据段中数据缺失的个数，利用二分法查找所述数据段中所有数据缺失的位置。

可选的，所述根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型，具体包括：

获取第一时间临界点和第二时间临界点；所述第一时间临界点和所述第二时间临界点根据所述数据的采样周期设定，且所述第一时间临界点小于所述第二时间临界点；

对于每个数据缺失的位置，根据所述数据的时间戳信息确定数据缺失段的时间差；所述数据缺失段的时间差为所述数据缺失段的结束时间与起始时间之间的时间差；

比较所述数据缺失段的时间差与所述第一时间临界点和所述第二时间临界点的大小；

当所述数据缺失段的时间差小于所述第一时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为瞬时缺失类型；

当所述数据缺失段的时间差不小于所述第一时间临界点且不大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为短时缺失类型；

当所述数据缺失段的时间差大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为长时缺失类型。

可选的，所述当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据，具体包括：

对所述数据中缺失的数据进行线性插值填补，得到线性插值拟合值；

采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值；

采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值；

将所述填补数据拟合值填补至所述数据中数据缺失的位置。

可选的，所述采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值，具体包括：

根据缺失数据之前的数据段，利用最小二乘法计算多元回归模型的参数矩阵；所述多元回归模型为：Y＝XS＝s₀+s₁x₁+…+s_n-1x_n-1；其中，Y为缺失数据；X为除缺失数据之外的数据矩阵，X＝(1,x₁,…,x_n-1)^T，x_i为第i维数据；S为参数矩阵，

s_i为第i维数据x_i的系数；

采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值Y_a1；所述缺失数据为第i维缺失数据，第一组拟合值Y_a1＝s_iX₁；其中，X₁为所述缺失数据的前段数据除第i维缺失数据之外的数据矩阵；

利用所述缺失数据的后段数据进行逆推，对第i维缺失数据进行填补，得到第二组拟合值Y_a2；第二组拟合值

其中，X₂为当前时刻所述缺失数据的后段数据除第i维缺失数据之外的数据矩阵；s_k为所述参数矩阵中除第i行之外的所有系数中数值最大的系数所在的系数列；Y_k为下一时刻的第k维数据；

利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值；其中，Y_a为多元回归拟合值；d₁为待填补数据距离缺失数据的前段数据的距离；d₂为待填补数据距离缺失数据的后段数据的距离。

本发明还提供一种MES背景下的数据库数据缺失的填补系统，包括：

时间戳信息读取模块，用于读取数据库中数据的时间戳信息；

数据缺失判断模块，用于根据所述数据的时间戳信息，判断所述数据是否发生缺失；

数据缺失位置查找模块，用于当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置；

数据缺失类型确定模块，用于根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型；所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；

数据填补模块，用于根据所述数据的数据缺失类型，对所述数据进行填补；当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据；当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据；当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。

可选的，所述数据缺失判断模块具体包括：

数据查验长度获取单元，用于获取数据查验长度；

时间信息获取单元，用于根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息；

判断单元，用于判断是否满足N_oneT＝t₂-t₁；其中，N_one为所述数据查验长度，T为所述数据的采样周期，t₁为所述数据在数据查验长度起始位置的时间，t₂为所述数据在数据查验长度结束位置的时间；

数据段未发生缺失确定单元，用于当满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段未发生缺失；

数据段发生缺失确定单元，用于当不满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段发生缺失。

可选的，所述数据填补模块，具体包括：

线性插值单元，用于对所述数据中缺失的数据进行线性插值填补，得到线性插值拟合值；

多元回归填补单元，用于采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值；

组合单元，用于采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值；

将所述填补数据拟合值填补至所述数据中数据缺失的位置。

可选的，所述多元回归填补单元具体包括：

参数矩阵计算子单元，用于根据缺失数据之前的数据段，利用最小二乘法计算多元回归模型的参数矩阵；所述多元回归模型为：Y＝XS＝s₀+s₁x₁+…+s_n-1x_n-1；其中，Y为缺失数据；X为除缺失数据之外的数据矩阵，X＝(1,x₁,…,x_n-1)^T，x_i为第i维数据；S为参数矩阵，

s_i为第i维数据x_i的系数；

第一组拟合值计算子单元，用于采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值Y_a1；所述缺失数据为第i维缺失数据，第一组拟合值Y_a1＝s_iX₁；其中，X₁为所述缺失数据的前段数据除第i维缺失数据之外的数据矩阵；

第二组拟合值计算子单元，用于利用所述缺失数据的后段数据进行逆推，对第i维缺失数据进行填补，得到第二组拟合值Y_a2；第二组拟合值

其中，X₂为当前时刻所述缺失数据的后段数据除第i维缺失数据之外的数据矩阵；s_k为所述参数矩阵中除第i行之外的所有系数中数值最大的系数所在的系数列；Y_k为下一时刻的第k维数据；

加权组合子单元，用于利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值；其中，Y_a为多元回归拟合值；d₁为待填补数据距离缺失数据的前段数据的距离；d₂为待填补数据距离缺失数据的后段数据的距离。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明针对数据库中工业数据缺失的特点，结合了线性插值和多元回归方法的优点对缺失数据进行填补，相对于现在大多使用的单一方法进行数据缺失处理，本发明具有数据缺失填补精度高、适应性强的特点。而且，本发明使用二分法进行数据缺失检验，相对于现行的对每条数据进行读取，判断数据缺失是否发生，本方法充分利用工业数据缺失的特点，考虑到工业数据具有的时间戳信息，来实现对数据缺失的快速判断和数据缺失位置的快速定位。

此外，本发明计算多元回归模型参数时，只利用缺失数据之前的数据段数据进行模型参数解算，未利用数据库中缺失数据前所有的数据解算，一方面降低了计算量，另一方面，由于距离缺失数据越近的数据越具有代表性，利用缺失数据前一定长度的数据计算的参数，对于缺失数据部分预测更加准确。而且，在使用多元回归模型确定填补数据的多元回归拟合值时，不仅考虑了缺失数据前的数据信息，而且考虑了缺失数据后的数据信息，相对于现行只考虑缺失数据前的信息进行缺失数据预测，本方法对数据的利用率更高，对缺失数据的预测会更加准确，且避免了预测发散造成填补后数据前后变化趋势不一致的可能性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明MES背景下的数据库数据缺失的填补方法的流程示意图；

图2为本发明采用多元回归模型对所述数据中缺失的数据进行填补的示意图；

图3为本发明MES背景下的数据库数据缺失的填补系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明MES背景下的数据库数据缺失的填补方法的流程示意图。如图1所示，本发明MES背景下的数据库数据缺失的填补方法包括以下步骤：

步骤100：读取数据库中数据的时间戳信息。数据库中的工业数据按照一定的采样周期采样，每个数据都会对应相应的时间戳信息。

步骤200：根据数据的时间戳信息，判断数据是否发生缺失。判断数据是否发生缺失时，采用数据查验的方式进行判断。首先，获取数据查验长度，数据查验长度根据实际情况而设定。然后，根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息。通过判断是否满足N_oneT＝t₂-t₁来判断是否发生缺失，其中，N_one为所述数据查验长度，T为所述数据的采样周期，t₁为所述数据在数据查验长度起始位置的时间，t₂为所述数据在数据查验长度结束位置的时间。当满足N_oneT＝t₂-t₁时，确定该数据查验长度对应的数据段未发生缺失；当不满足N_oneT＝t₂-t₁时，确定该数据查验长度对应的数据段发生缺失。然后将当前数据段的结束位置的时间t₂作为下一数据段的起始时间，即将当前数据段的结束位置作为下一数据查验长度的起始位置，进行下一数据段的查验，依次完成整个数据的缺失查验过程。

步骤300：当数据发生缺失时，采用二分法查找数据中数据缺失的位置。对于每个发生缺失的数据段，首先利用公式

计算该数据段中数据缺失的个数N；然后，利用二分法查找该数据段中所有数据缺失的位置。具体的，针对数据段内存在数据缺失的情况，首先，读取数据段中间位置的数据时间信息，将该数据段分为前后两个新的子数据段；然后，对第一个子数据段判断是否发生数据缺失，若第一个子数据段发生数据缺失，则继续对第一个子数据段进行数据段拆分判断数据缺失，若没有数据缺失，则转而对第二个子数据段进行数据缺失判断。当定位得到的子数据段数据中所有的缺失个数之和为N时，则说明此段数据缺失位置已全部寻到。

步骤400：根据数据中数据缺失的位置，确定数据的数据缺失类型。所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型。对于每个数据缺失的位置，采用下列过程确定数据缺失类型：

获取第一时间临界点和第二时间临界点。所述第一时间临界点和所述第二时间临界点根据所述数据的采样周期设定，且所述第一时间临界点小于所述第二时间临界点。例如，第一时间临界点为T_s＝n_sT，第二时间临界点为T_l＝n_lT，其中n_s和n_l为正整数，且n_s小于n_l，T为数据的采样周期。

根据数据的时间戳信息确定数据缺失段的时间差T_Δ。所述数据缺失段的时间差为所述数据缺失段的结束时间与起始时间之间的时间差，即该数据缺失位置前一条数据与后一条数据之间的时间差。

比较所述数据缺失段的时间差与所述第一时间临界点和所述第二时间临界点的大小。当所述数据缺失段的时间差小于所述第一时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为瞬时缺失类型；当所述数据缺失段的时间差不小于所述第一时间临界点且不大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为短时缺失类型；当所述数据缺失段的时间差大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为长时缺失类型。

步骤500：根据数据的数据缺失类型，对数据进行填补。

具体的，当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据。瞬时缺失类型的数据，系统基本不会发生变化，或者会延续当前的变化趋势。所以对瞬时缺失类型的缺失数据进行拟合时，只需在单维度水平上考虑待填补维度随时间的变化趋势即可，不需考虑其他维度的影响。所以针对瞬时缺失类型的缺失数据，采用线性插值的方法，对缺失数据维度进行填补。

当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。长时缺失类型的数据，一般是所有维度的数据在该段时间内均产生缺失，且考虑到长时间内，系统状态的改变和难以预测缺失数据，所以对长时缺失类型的缺失数据不进行填补处理，防止对剩下的数据产生污染。同时为提高数据的准确率，可以在数据缺失位置对原有的数据库的数据进行分段处理。

当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据。短时缺失类型的数据，待填补维度不只受自身的变化趋势影响，由于维度间的耦合性，其他维度的变化也会影响缺失维度，因此在进行缺失数据填补时除了在单维度上考虑数据趋势的影响外，还应考虑不同维度之间的关联维度，并考虑关联维度对缺失段数据值的影响。所以针对短时缺失类型的缺失数据，采用线性插值与多元回归相结合的方法，对缺失数据维度进行填补。具体过程如下：

Step1、对数据库缺失数据进行线性插值填补，得到线性插值拟合值Y_l；

Step2、采用多元回归模型对数据中缺失的数据进行填补，得到多元回归拟合值Y_a。具体过程如图2所示：

首先，根据缺失数据之前的特定长度的数据段，利用最小二乘法计算多元回归模型的参数矩阵S。多元回归模型为：

Y＝XS＝s₀+s₁x₁+…+s_n-1x_n-1

其中，Y为缺失数据，即待填补的数据。X为除缺失数据之外的数据矩阵：

X＝(1,x₁,…,x_n-1)^T

x_i为第i维数据；S为参数矩阵：

s_i为第i维数据x_i的系数，s₀为常数项。

利用最小二乘法可以得到多元回归模型的参数为：

S＝(X′X)^-1X′Y

然后，采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值Y_a1。所述缺失数据为第i维缺失数据，对第i维缺失数据进行填补，采用上述多元回归模型可以得到第一组拟合值Y_a1＝s_iX₁＝s_i,0+s_i,1x₁+…+s_i,n-1x_n-1；其中，X₁为所述缺失数据的前段数据除第i维缺失数据之外的数据矩阵。

之后，利用所述缺失数据的后段数据进行逆推，对第i维缺失数据进行填补，得到第二组拟合值Y_a2。利用第i维缺失数据后段数据进行逆推过程中，选择逆推参数时，除去系统参数矩阵S的第i行，选择对应列中最大值对应的第k维数据进行逆推，对缺失数据进行填补，第二组拟合值

其中，X₂为当前时刻所述缺失数据的后段数据除第i维缺失数据之外的数据矩阵；s_k为所述参数矩阵中除第i行之外的所有系数中数值最大的系数所在的系数列；Y_k为下一时刻的第k维数据。

最后，利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值Y_a。其中，d₁为待填补数据距离缺失数据的前段数据的距离；d₂为待填补数据距离缺失数据的后段数据的距离。本步骤进行加权组合时，权值采用距离进行计算，即权值采用待填补数据、缺失数据前段数据和后段数据的距离相对大小进行设计。当待填补数据距离缺失数据前段近时，利用缺失数据前段得到的拟合值Y_a1的权重大，当待填补数据距离缺失数据后段近时，利用缺失数据后段逆推得到的拟合值Y_a2的权重大。

当两条数据的时间戳信息分别为t_d1和t_d2时，两条数据之间的距离d计算公式为：

其中，T为工业数据的采样周期，即数据库中相邻两条数据之间时间差。采用上述公式可以计算得到d₁和d₂。

Step3、采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值Y。

Step4、将所述填补数据拟合值Y填补至所述数据中数据缺失的位置。

图3为本发明MES背景下的数据库数据缺失的填补系统的结构示意图。如图3所示，本发明MES背景下的数据库数据缺失的填补系统包括以下结构：

时间戳信息读取模块301，用于读取数据库中数据的时间戳信息。

数据缺失判断模块302，用于根据所述数据的时间戳信息，判断所述数据是否发生缺失。

数据缺失位置查找模块303，用于当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置。

数据缺失类型确定模块304，用于根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型；所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型。

数据填补模块305，用于根据所述数据的数据缺失类型，对所述数据进行填补；当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据；当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据；当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。

作为另一实施例，本发明MES背景下的数据库数据缺失的填补系统中，所述数据缺失判断模块302具体包括：

数据查验长度获取单元，用于获取数据查验长度。

时间信息获取单元，用于根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息。

判断单元，用于判断是否满足N_oneT＝t₂-t₁；其中，N_one为所述数据查验长度，T为所述数据的采样周期，t₁为所述数据在数据查验长度起始位置的时间，t₂为所述数据在数据查验长度结束位置的时间。

数据段未发生缺失确定单元，用于当满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段未发生缺失。

数据段发生缺失确定单元，用于当不满足N_oneT＝t₂-t₁时，确定所述数据查验长度对应的数据段发生缺失。

作为另一实施例，本发明MES背景下的数据库数据缺失的填补系统中，所述数据填补模块305，具体包括：

线性插值单元，用于对所述数据中缺失的数据进行线性插值填补，得到线性插值拟合值。

多元回归填补单元，用于采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值。

组合单元，用于采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值。

将所述填补数据拟合值填补至所述数据中数据缺失的位置。

作为另一实施例，本发明MES背景下的数据库数据缺失的填补系统中所述多元回归填补单元具体包括：

参数矩阵计算子单元，用于根据缺失数据之前的数据段，利用最小二乘法计算多元回归模型的参数矩阵；所述多元回归模型为：Y＝XS＝s₀+s₁x₁+…+s_n-1x_n-1；其中，Y为缺失数据；X为除缺失数据之外的数据矩阵，X＝(1,x₁,…,x_n-1)^T，x_i为第i维数据；S为参数矩阵，

s_i为第i维数据x_i的系数。

第一组拟合值计算子单元，用于采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值Y_a1；所述缺失数据为第i维缺失数据，第一组拟合值Y_a1＝s_iX₁；其中，X₁为所述缺失数据的前段数据除第i维缺失数据之外的数据矩阵。

第二组拟合值计算子单元，用于利用所述缺失数据的后段数据进行逆推，对第i维缺失数据进行填补，得到第二组拟合值Y_a2；第二组拟合值

其中，X₂为当前时刻所述缺失数据的后段数据除第i维缺失数据之外的数据矩阵；s_k为所述参数矩阵中除第i行之外的所有系数中数值最大的系数所在的系数列；Y_k为下一时刻的第k维数据。

加权组合子单元，用于利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值；其中，Y_a为多元回归拟合值；d₁为待填补数据距离缺失数据的前段数据的距离；d₂为待填补数据距离缺失数据的后段数据的距离。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种MES背景下的数据库数据缺失的填补方法，其特征在于，包括：

读取数据库中数据的时间戳信息；

根据所述数据的时间戳信息，判断所述数据是否发生缺失；

当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置，具体包括：

对于每个发生缺失的数据段，利用公式

计算所述数据段中数据缺失的个数；其中，

为所述数据段中数据缺失的个数，

为所述数据查验长度，

为所述数据的采样周期，

为所述数据在数据查验长度起始位置的时间，

为所述数据在数据查验长度结束位置的时间；

根据所述数据段中数据缺失的个数，利用二分法查找所述数据段中所有数据缺失的位置；

根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型；所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；

根据所述数据的数据缺失类型，对所述数据进行填补；当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据；当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据；当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。

2.根据权利要求1所述的MES背景下的数据库数据缺失的填补方法，其特征在于，所述根据所述数据的时间戳信息，判断所述数据是否发生缺失，具体包括：

获取数据查验长度；

根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息；

判断是否满足

；

当满足

时，确定所述数据查验长度对应的数据段未发生缺失；

当不满足

时，确定所述数据查验长度对应的数据段发生缺失；

依次判断所述数据的每个数据段是否发生缺失。

3.根据权利要求1所述的MES背景下的数据库数据缺失的填补方法，其特征在于，所述根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型，具体包括：

获取第一时间临界点和第二时间临界点；所述第一时间临界点和所述第二时间临界点根据所述数据的采样周期设定，且所述第一时间临界点小于所述第二时间临界点；

对于每个数据缺失的位置，根据所述数据的时间戳信息确定数据缺失段的时间差；所述数据缺失段的时间差为所述数据缺失段的结束时间与起始时间之间的时间差；

比较所述数据缺失段的时间差与所述第一时间临界点和所述第二时间临界点的大小；

当所述数据缺失段的时间差小于所述第一时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为瞬时缺失类型；

当所述数据缺失段的时间差不小于所述第一时间临界点且不大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为短时缺失类型；

当所述数据缺失段的时间差大于所述第二时间临界点时，确定所述数据缺失段对应位置的数据缺失类型为长时缺失类型。

4.根据权利要求1所述的MES背景下的数据库数据缺失的填补方法，其特征在于，所述当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据，具体包括：

对所述数据中缺失的数据进行线性插值填补，得到线性插值拟合值；

采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值；

采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值；

将所述填补数据拟合值填补至所述数据中数据缺失的位置。

5.根据权利要求4所述的MES背景下的数据库数据缺失的填补方法，其特征在于，所述采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值，具体包括：

根据缺失数据之前的数据段，利用最小二乘法计算多元回归模型的参数矩阵；所述多元回归模型为：

；其中，

为缺失数据；

为除缺失数据之外的数据矩阵，

，

为第

维数据；

为参数矩阵，

，

为第

维数据

的系数；

采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值

；所述缺失数据为第

维缺失数据，第一组拟合值

；其中，

为所述缺失数据的前段数据除第

维缺失数据之外的数据矩阵；

利用所述缺失数据的后段数据进行逆推，对第

维缺失数据进行填补，得到第二组拟合值

；第二组拟合值

；其中，

为当前时刻所述缺失数据的后段数据除第

维缺失数据之外的数据矩阵；

为所述参数矩阵中除第

行之外的所有系数中数值最大的系数所在的系数列；

为下一时刻的第

维数据；

利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值；其中，

为多元回归拟合值；

为待填补数据距离缺失数据的前段数据的距离；

为待填补数据距离缺失数据的后段数据的距离。

6.一种MES背景下的数据库数据缺失的填补系统，其特征在于，包括：

时间戳信息读取模块，用于读取数据库中数据的时间戳信息；

数据缺失判断模块，用于根据所述数据的时间戳信息，判断所述数据是否发生缺失；

数据缺失位置查找模块，用于当所述数据发生缺失时，采用二分法查找所述数据中数据缺失的位置，具体包括：

对于每个发生缺失的数据段，利用公式

计算所述数据段中数据缺失的个数；其中，

为所述数据段中数据缺失的个数，

为所述数据查验长度，

为所述数据的采样周期，

为所述数据在数据查验长度起始位置的时间，

为所述数据在数据查验长度结束位置的时间；

根据所述数据段中数据缺失的个数，利用二分法查找所述数据段中所有数据缺失的位置；

数据缺失类型确定模块，用于根据所述数据中数据缺失的位置，确定所述数据的数据缺失类型；所述数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；

数据填补模块，用于根据所述数据的数据缺失类型，对所述数据进行填补；当所述数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补所述数据中缺失的数据；当所述数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补所述数据中缺失的数据；当所述数据的数据缺失类型为长时缺失类型时，对所述数据不进行填补。

7.根据权利要求6所述的MES背景下的数据库数据缺失的填补系统，其特征在于，所述数据缺失判断模块具体包括：

数据查验长度获取单元，用于获取数据查验长度；

时间信息获取单元，用于根据所述数据的时间戳信息，获取所述数据在所述数据查验长度起始位置的时间信息和结束位置的时间信息；

判断单元，用于判断是否满足

；其中，

为所述数据查验长度，

为所述数据的采样周期，

为所述数据在数据查验长度起始位置的时间，

为所述数据在数据查验长度结束位置的时间；

数据段未发生缺失确定单元，用于当满足

时，确定所述数据查验长度对应的数据段未发生缺失；

数据段发生缺失确定单元，用于当不满足

时，确定所述数据查验长度对应的数据段发生缺失。

8.根据权利要求6所述的MES背景下的数据库数据缺失的填补系统，其特征在于，所述数据填补模块，具体包括：

线性插值单元，用于对所述数据中缺失的数据进行线性插值填补，得到线性插值拟合值；

多元回归填补单元，用于采用多元回归模型对所述数据中缺失的数据进行填补，得到多元回归拟合值；

组合单元，用于采用softmax函数将所述线性插值拟合值和所述多元回归拟合值组合，得到所述数据中填补数据拟合值；

将所述填补数据拟合值填补至所述数据中数据缺失的位置。

9.根据权利要求8所述的MES背景下的数据库数据缺失的填补系统，其特征在于，所述多元回归填补单元具体包括：

参数矩阵计算子单元，用于根据缺失数据之前的数据段，利用最小二乘法计算多元回归模型的参数矩阵；所述多元回归模型为：

；其中，

为缺失数据；

为除缺失数据之外的数据矩阵，

，

为第

维数据；

为参数矩阵，

，

为第

维数据

的系数；

第一组拟合值计算子单元，用于采用确定参数后的所述多元回归模型，对所述缺失数据的前段数据进行拟合，得到第一组拟合值

；所述缺失数据为第

维缺失数据，第一组拟合值

；其中，

为所述缺失数据的前段数据除第

维缺失数据之外的数据矩阵；

第二组拟合值计算子单元，用于利用所述缺失数据的后段数据进行逆推，对第

维缺失数据进行填补，得到第二组拟合值

；第二组拟合值

；其中，

为当前时刻所述缺失数据的后段数据除第

维缺失数据之外的数据矩阵；

为所述参数矩阵中除第

行之外的所有系数中数值最大的系数所在的系数列；

为下一时刻的第

维数据；

加权组合子单元，用于利用公式

对所述第一组拟合值和所述第二组拟合值进行加权组合，得到多元回归拟合值；其中，

为多元回归拟合值；

为待填补数据距离缺失数据的前段数据的距离；

为待填补数据距离缺失数据的后段数据的距离。

Images