CN112783681B - 一种电力企业自助大数据多级闭环修复方法和装置 - Google Patents

Abstract

本发明涉及一种电力企业自助大数据多级闭环修复方法，包括：采用按照时间间隔采集数据形式进行数据采集，采用阈值法进行异常数据识别，对捕捉到的异常数据采用分区修复的形式，以此将异常数据的修复工作转换为多级闭环的形式，具有修复多种数据的系统性能。本发明的有益效果是：优化异常数据识别模块，设定数据计算阈值，根据平滑估计阈值算法实现异常数据识别，依照数据分区计算过程，在数据修复中根据数据类别设定修复等级，结合传统数据修复技术，完成数据多级闭环修复过程，提高数据修复完整度和数据承载力。

Description

一种电力企业自助大数据多级闭环修复方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种电力企业自助大数据多级闭环修复方法和装置。

背景技术

电力企业具有海量的业务数据，在企业的决策与发展中，多采用此部分数据作为企业决策的支持数据。受到数据采集过程与存储模式的干扰，此部分数据中存在大量的破损与无效数据，破损数据会对电力企业数据分析结果造成恶劣的影响。为避免此类问题的出现，需要对数据展开及时的修复。

数据修复是指通过技术手段，将保存在台式机硬盘、数码存储卡、Mp3等等设备上具有缺失部分的电子数据进行抢救和恢复的技术。使用此技术可提高数据的完整度，确保数据的使用效果。

将现有数据修复方法应用在企业自助大数据修复系统中时，由于业务数据较多，影响系统的数据承载力，整体数据修复结果受限。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种电力企业自助大数据多级闭环修复方法。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种电力企业自助大数据多级闭环修复方法，包括：

S10、数据采集，采用按照时间间隔采集数据形式进行数据采集；

S20、异常数据识别，采用阈值法进行异常数据识别，设定数据阈值计算指标，若数据计算结果超出阈值范围，则视作此数据为异常数据；

S21、设定数据采集过程中的数据流量阈值，设定数据采集器采集到的数据流量为α，则数据流量α的最大合理定位表示为：

a_max＝f_x·B·T/60

式中，f_x表示数据采集结果的修正系数，B为数据采集设备的数据通行能力，T设定为数据采集设备的数据采集时间间隔；

S22、设定数据采集过程中的时间占有率阈值，表示待测数据采集时间与采集工作全部时间的比值通过公式可表示为：

式中，u_i表示待测数据采集时间，u_all表示采集工作全部时间，K表示系统占有率；

S23、设定数据采集过程中的数据速度阈值，在实际的数据采集中对数据采集速度具有一定的限制，那么数据采集速度的最大合理取值可表示为：

v_max＝f_x·v

式中，f_x表示修正系数，v表示数据通道的限制速度，v_max表示数据采集速度的最大合理取值；

S24、采用平滑估计阈值算法，确定数据的临界阈值，采用不同的时间间隔采集到的数据经过平滑处理得到数据均方根误差，通过对均方根误差进行处理可以得到数据采集的异常值：

对上述公式进行拟合，得到临界阈值计算公式如下所示：

g_max＝g+y(t)g_min＝g-y(t)

在上式中，g_min表示最小临界阈值，g_max表示最大临界阈值，g表示平滑处理后的数据值，y(t)表述数据采集时间间隔与均方差之间的函数关系，t表述数据采集时间间隔，使用此部分公式对系统中采集到的数据展开处理，得到需修复的数据集合；

S30、数据修复，对捕捉到的异常数据采用分区修复的形式，以此将异常数据的修复工作转换为多级闭环的形式，具有修复多种数据的系统性能，设定需要修复的数据集合为S＝{S₀,S₁,S₂,...,S_n}，参与修复的数据点集合表示为P_i，其中新生数据点为P₀，P₁,P₂,...,P_n，在数据点修复的过程中，改用无向图的形式体现数据点的存储位置与修复区域，则通过公式可将修复过程表示为：

式中，G_A表示数据分区位置，α(r,w)表示总数据量，β(r,w)表示数据修复时间，通过此公式完成数据的分区修复设定，将此公式与星型拓扑下的弹性修复方法相结合，实现数据多级闭环修复。

其中，S22中所述K的值≤100％。

一种电力企业自助大数据多级闭环修复装置，用于运行上述的电力企业自助大数据多级闭环修复方法，包括主控芯片、电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存，所述主控芯片分别与电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存连接。

其中，所述主控芯片为DSP芯片，型号为TMS320F2812。

其中，所述电源模块为双路输出电源模块，其中一路输出为2.0V的内核供电、另一路为3.5V的设备供电，型号为TPS67D300。

本发明的有益效果是：优化异常数据识别模块，设定数据计算阈值，根据平滑估计阈值算法实现异常数据识别，依照数据分区计算过程，在数据修复中根据数据类别设定修复等级，结合传统数据修复技术，完成数据多级闭环修复过程，提高数据修复完整度和数据承载力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中方法的流程图；

图2是本发明实施例中装置的框架图；

图3是本发明实施例中复位电路的电路图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

如图1所示，一种电力企业自助大数据多级闭环修复方法，包括：

S10、数据采集，采用按照时间间隔采集数据形式进行数据采集；

S20、异常数据识别，采用阈值法进行异常数据识别，设定数据阈值计算指标，若数据计算结果超出阈值范围，则视作此数据为异常数据；

S21、设定数据采集过程中的数据流量阈值，设定数据采集器采集到的数据流量为α，则数据流量α的最大合理定位表示为：

a_max＝f_x·B·T/60

式中，f_x表示数据采集结果的修正系数，B为数据采集设备的数据通行能力，T设定为数据采集设备的数据采集时间间隔；

S22、设定数据采集过程中的时间占有率阈值，表示待测数据采集时间与采集工作全部时间的比值通过公式可表示为：

式中，u_i表示待测数据采集时间，u_all表示采集工作全部时间，K表示系统占有率；

S23、设定数据采集过程中的数据速度阈值，在实际的数据采集中对数据采集速度具有一定的限制，那么数据采集速度的最大合理取值可表示为：

v_max＝f_x·v

式中，f_x表示修正系数，v表示数据通道的限制速度，v_max表示数据采集速度的最大合理取值；

S24、采用平滑估计阈值算法，确定数据的临界阈值，采用不同的时间间隔采集到的数据经过平滑处理得到数据均方根误差，通过对均方根误差进行处理可以得到数据采集的异常值：

对上述公式进行拟合，得到临界阈值计算公式如下所示：

g_max＝g+y(t)g_min＝g-y(t)

在上式中，g_min表示最小临界阈值，g_max表示最大临界阈值，g表示平滑处理后的数据值，y(t)表述数据采集时间间隔与均方差之间的函数关系，t表述数据采集时间间隔，使用此部分公式对系统中采集到的数据展开处理，得到需修复的数据集合；

S30、数据修复，对捕捉到的异常数据采用分区修复的形式，以此将异常数据的修复工作转换为多级闭环的形式，具有修复多种数据的系统性能，设定需要修复的数据集合为S＝{S₀,S₁,S₂,...,S_n}，参与修复的数据点集合表示为P_i，其中新生数据点为P₀，P₁,P₂,...,P_n，在数据点修复的过程中，改用无向图的形式体现数据点的存储位置与修复区域，则通过公式可将修复过程表示为：

式中，G_A表示数据分区位置，α(r,w)表示总数据量，β(r,w)表示数据修复时间，通过此公式完成数据的分区修复设定，将此公式与星型拓扑下的弹性修复方法相结合，实现数据多级闭环修复。

S22中K的值≤100％。

如图2和图3所示，一种电力企业自助大数据多级闭环修复装置，用于运行上述的电力企业自助大数据多级闭环修复方法，包括主控芯片、电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存，主控芯片分别与电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存连接。

主控芯片为DSP芯片，型号为TMS320F2812。

电源模块为双路输出电源模块，其中一路输出为2.0V的内核供电、另一路为3.5V的设备供电，型号为TPS67D300。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种电力企业自助大数据多级闭环修复方法，其特征在于，包括：

S10、数据采集，采用按照时间间隔采集数据形式进行数据采集；

S20、异常数据识别，采用阈值法进行异常数据识别，设定数据阈值计算指标，若数据计算结果超出阈值范围，则视作此数据为异常数据；

S21、设定数据采集过程中的数据流量阈值，设定数据采集器采集到的数据流量为α，则数据流量α的最大合理定位表示为：

a_max＝f_x·B·T/60

式中，f_x表示数据采集结果的修正系数，B为数据采集设备的数据通行能力，T设定为数据采集设备的数据采集时间间隔；

S22、设定数据采集过程中的时间占有率阈值，表示待测数据采集时间与采集工作全部时间的比值通过公式可表示为：

式中，u_i表示待测数据采集时间，u_all表示采集工作全部时间，K表示系统占有率；

S23、设定数据采集过程中的数据速度阈值，在实际的数据采集中对数据采集速度具有一定的限制，那么数据采集速度的最大合理取值可表示为：

v_max＝f_x·v

式中，f_x表示修正系数，v表示数据通道的限制速度，v_max表示数据采集速度的最大合理取值；

S24、采用平滑估计阈值算法，确定数据的临界阈值，采用不同的时间间隔采集到的数据经过平滑处理得到数据均方根误差，通过对均方根误差进行处理可以得到数据采集的异常值：

对上述公式进行拟合，得到临界阈值计算公式如下所示：

g_max＝g+y(t)、g_min＝g-y(t)

在上式中，g_min表示最小临界阈值，g_max表示最大临界阈值，g表示平滑处理后的数据值，y(t)表述数据采集时间间隔与均方差之间的函数关系，t表述数据采集时间间隔，使用此部分公式对系统中采集到的数据展开处理，得到需修复的数据集合；

S30、数据修复，对捕捉到的异常数据采用分区修复的形式，以此将异常数据的修复工作转换为多级闭环的形式，具有修复多种数据的系统性能，设定需要修复的数据集合为S＝{S₀,S₁,S₂,...,S_n}，参与修复的数据点集合表示为P_i，其中新生数据点为P₀，P₁,P₂,...,P_n，在数据点修复的过程中，改用无向图的形式体现数据点的存储位置与修复区域，则通过公式可将修复过程表示为：

式中，G_A表示数据分区位置，α(r,w)表示总数据量，β(r,w)表示数据修复时间，通过此公式完成数据的分区修复设定，将此公式与星型拓扑下的弹性修复方法相结合，实现数据多级闭环修复。

2.根据权利要求1所述的电力企业自助大数据多级闭环修复方法，其特征在于：S22中所述K的值≤100％。

3.一种电力企业自助大数据多级闭环修复装置，用于运行权利要求1或2所述的电力企业自助大数据多级闭环修复方法，其特征在于：包括主控芯片、电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存，所述主控芯片分别与电源模块、时钟电路、复位电路、端子排、信号调理电路、数据采集器、网口、扩展内存连接。

4.根据权利要求3所述的电力企业自助大数据多级闭环修复装置，其特征在于：所述主控芯片为DSP芯片，型号为TMS320F2812。

5.根据权利要求3所述的电力企业自助大数据多级闭环修复装置，其特征在于：所述电源模块为双路输出电源模块，其中一路输出为2.0V的内核供电、另一路为3.5V的设备供电，型号为TPS67D300。

Images