CN105468594A - 一种采集数据的优化方法、系统及服务器 - Google Patents

Abstract

本发明提供一种采集数据的优化方法、系统及服务器，涉及数据处理领域。解决网管系统中有些数据丢失，采集不到的情况的问题。其中所述采集数据的优化方法，应用于一服务器，包括：获取在第一时间段内的第一矿山物联网数据；判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。这样可以填充缺失的数据，使得数据质量得到大幅度的提升。

Description

一种采集数据的优化方法、系统及服务器

技术领域

本发明涉及数据处理领域，特别是涉及一种采集数据的优化方法、系统及服务器。

背景技术

智慧矿山物联网领域的传感器设备海量且上报数据非常频繁，但由于数据上报链条中环节很多，任何一个环节都可能会出问题，导致网管系统中有些数据丢失，采集不到的情况。

发明内容

本发明的目的在于提供一种采集数据的优化方法、系统及服务器，解决网管系统中有些数据丢失，采集不到的情况的问题。

为了解决上述技术问题，本发明实施例提供的一种采集数据的优化方法，应用于一服务器，其中，包括：

获取在第一时间段内的第一矿山物联网数据；

判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

进一步的，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括：

获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

对所述矿山物联网数据进行预设权重处理；

根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

进一步的，获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据的步骤包括：

获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

进一步的，对所述矿山物联网数据进行预设权重处理的步骤包括：

在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第四矿山物联网数据进行第三预设权重处理。

进一步的，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括：

在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

本发明实施例还提供一种采集数据的优化系统，应用一服务器，其中，包括：

第一获取模块，用于获取在第一时间段内的第一矿山物联网数据；

第一处理模块，用于判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

第二处理模块，用于在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

第三处理模块，用于通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

进一步的，所述第二处理模块包括：

第一子模块，用于获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

第二子模块，用于对所述矿山物联网数据进行预设权重处理；

第三子模块，用于根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

进一步的，所述第一子模块包括：

第一获取单元，用于获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

第二获取单元，用于获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

第三获取单元，用于获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

存储单元，用于存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

进一步的，所述第二子模块包括：判断单元，用于在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第三矿山物联网数据进行第四预设权重处理。

进一步的，所述第二处理模块包括：处理子模块，用于在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

本发明实施例还提供一种服务器，包括如上述的采集数据的优化系统。

本发明的上述技术方案的有益效果如下：

本发明的方案中，在第一时间段内采样第一矿山物联网数据，判断是否有数据缺失，在缺失数据达到一预设值时，通过获取服务器中的预设拟合数据进行填充缺失数据，得到一新的数据库表。这样可以填充缺失的数据，使得数据质量得到大幅度的提升。

附图说明

图1为本发明实施例的采集数据的优化方法的流程图；

图2为本发明实施例的统计数据拟合数据采集范围示意图；

图3为本发明实施例的数据拟合在网管系统中的位置结构图；

图4为本发明实施例的数据拟合配置界面；

图5为本发明实施例的采集数据的优化系统的结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有技术中由于矿山物联网的传感器设备海量且上报数据非常频繁，任何一个环节可能导致网管系统中的有些数据丢失，采集不到的的问题。提供一种采集数据的优化方法、系统及服务器，通过实时进行矿山物联网数据进行采集，如果发现数据缺失过多就会触发优化系统进行优化，通过从服务器中获得优化参数进行填充缺失的数据，从而完善数据，使得数据质量得到大幅度的提升。

如图1所示，本发明实施例还提供一种采集数据的优化方法，其中，包括：

步骤1，获取在第一时间段内的第一矿山物联网数据；

所述第一时间段是指用户设定或者系统设定一个采样的时间，本方案优选五分钟作为第一时间段，当然此处仅是举例说明，任何可以采样的时间均属于本发明的保护范围。

步骤2，判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

通过实时获取第一矿山物联网数据，与原始的矿山物联网数据进行对比，看是否有缺失数据；所述缺失度是指在数据缺失的长度和周期的比例。

步骤3，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

所述预设值是指设置一个默认值的缺失度阈值，该缺失度阈值作为触发条件，在达到该数值时，进行触发后续进程，如默认缺失度配置是30％，即当周期内的粒度数据30％缺失的时候，触发数据优化流程，这样数据优化的门限可配置，可灵活修改，当然此处仅是举例说明，任何可以作为缺失度阈值均属于本发明的保护范围。

所述拟合数据包括：零值拟合，最大值拟合，最小值拟合，平均值拟合和性能数据拟合。

步骤4，通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

通过步骤1在第一时间段内进行数据的采集，然后步骤2将第一矿山物联网数据与原始的矿山物联网数据进行对比，得到一个缺失度，再通过步骤3直接获取服务器中的拟合数据，并根据步骤4将填充缺失的第一矿山物联网数据，形成一个新的数据库表，从而完善数据信息，使得后续继续可以用到该数据库表。

在数据优化完成后，会输出优化对比报告，可以看到优化前和优化后的数据质量对比，来决定是否进行下一步的优化。这样通过数据检查，对异常或者质量低的数据进行优化，自生成优化报告，使得数据质量得到大幅度的提升。

优选地，为了优化支持性能数据拟合，接近真实上报的性能统计数据，比常规拟合有一定优势，因此本发明实施例的采集数据的优化方法中，步骤3包括：

步骤31，获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

所述预设多个采样周期是可以是指对数据进行采样的不同多个周期，如可以是以近三周为一周期或者近五周为一个周期或者近七周为一个周期，在采集数据时收集具体几周的数据，能够完成本方案的采样周期配置的数据均属于本方案保护范围，在此不一一举例。

步骤32，对所述矿山物联网数据进行预设权重处理；

所述权重处理是指对不同的采样周期设置不同的权重，可以提高数据的准确定性，默认权重递减，也可以调整，在计算时，会根据权重对数据进行不同的处理。

步骤33，根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

从分析性能统计数据的特点得知，设备上报的数据是有周期性的，一般是以周为单位，数据呈近似波浪式，即每周的某一天和前一周的同一天数据近似，所以采用取前N周的同一天数据作为基础，通过不同周的权重配置，来计算当前周期缺失的数据，是比较符合真实的性能统计上报数据的算法。

为了使拟合采集周期可配置，让用户在使用过程中，可以不断校正算法，从而达到自己的预期，因此本发明实施例的采集数据的优化方法中，步骤31包括：

步骤311，获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

所述第一预设采样周期可以是指近三周内，所述第二时间段内可以是采样每周的同一天，如图2所示的采样每周的星期三的数据。

步骤312，获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

所述第二预设采样周期可以是指近五周内，所述第二时间段内可以是采样每周的同一天，如图2所示的采样每周的星期三数据；但采样的五周内的每周的权重都是可以根据用户进行设定。

步骤313，获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

所述第三预设采样周期可以是指近五周内，所述第二时间段内可以是采样每周的同一天，如图2所示的采样每周的星期三数据；但采样的五周内的每周的权重都是可以根据用户进行设定。

步骤314，存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

所述的存储是为了在后续使用的时候可以调用。

如图3所示，为了使拟合采权重可配置，让用户在使用过程中，可以不断校正算法，从而达到自己的预期，因此本发明实施例的所述的采集数据的优化方法中，步骤32包括：

步骤321，在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第四矿山物联网数据进行第三预设权重处理。

采集数据库中对应第二时间段内的历史数据，并保存在内存中，首先进行权重处理，根据权重对数据进行加权，得到的数据采用求平均值算法，如果遇到历史数据的某一笔数据也存在缺失，则不计算这笔数据到内存中，当计算结束后，把新生成的拟合字段的数据并回填到数据库表(如图4所示)中，并释放内存数据，然后采集下一笔缺失数据对应的历史数据，循环处理直到结束。

为了能够在短时间内填充缺失数据，因此本发明实施例的采集数据的优化方法中，步骤3包括：

步骤34，在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

对某个缺失的数据进行数据拟合操作，对缺失的数据进行拟合算法的选择，选择复杂性能拟合算法，并启动拟合，缺失数据可以直接填充零值，最大值、最小值或者平均值，可以填充数据，完善数据，当然此处的填充不仅仅是这些值，可以通过用户自行设定，也可以是其他算法，任何可以实现填充数据的也属于本发明的保护范围。

本发明通过针对矿山物联网网管性能统计数据的特点进行总结的拟合，从性能统计数据的周期行特性，通过灵活的配置，最大程度满足用户对缺失数据拟合的要求，满足对拟合数据贴近真实数据的需求。

相应的，本发明实施例还提供的采集数据的优化系统，应用一服务器，其中，包括：

第一获取模块51，用于获取在第一时间段内的第一矿山物联网数据；

第一处理模块52，用于判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

第二处理模块53，用于在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

第三处理模块54，用于通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

通过第一获取模块51在第一时间段内进行数据的采集，然后第一处理模块52将第一矿山物联网数据与原始的矿山物联网数据进行对比，得到一个缺失度，再通过第二处理模块53直接获取服务器中的拟合数据，并根据第三处理模块54将填充缺失的第一矿山物联网数据，形成一个新的数据库表，从而完善数据信息，使得后续继续可以用到该数据库表。

在数据优化完成后，会输出优化对比报告，可以看到优化前和优化后的数据质量对比，来决定是否进行下一步的优化。这样通过数据检查，对异常，质量低的数据进行自动优化，自生成优化报告，使得数据质量得到大幅度的提升。

本发明的又一实施例的采集数据的优化系统中，所述第二处理模块53包括：

第一子模块，用于获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

第二子模块，用于对所述矿山物联网数据进行预设权重处理；

第三子模块，用于根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

本发明的又一实施例的采集数据的优化系统中，所述第一子模块包括：

第一获取单元，用于获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

第二获取单元，用于获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

第三获取单元，用于获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

存储单元，用于存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

本发明的又一实施例的采集数据的优化系统中，所述第二子模块包括：判断单元，用于在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第三矿山物联网数据进行第四预设权重处理。

本发明的又一实施例的采集数据的优化系统中，所述第二处理模块53包括：处理子模块，用于在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

相应的由于本发明实施例的采集数据的优化系统，应用于服务器，因此，本发明实施例还提供了一种服务器，其中，上述采集数据的优化系统的所述实现实施例均适用于该服务器的实施例中，也能达到相同的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种采集数据的优化方法，应用于一服务器，其特征在于，包括：

获取在第一时间段内的第一矿山物联网数据；

判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

2.根据权利要求1所述的采集数据的优化方法，其特征在于，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括：

获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

对所述矿山物联网数据进行预设权重处理；

根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

3.根据权利要求2所述的采集数据的优化方法，其特征在于，获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据的步骤包括：

获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

4.根据权利要求3所述的采集数据的优化方法，其特征在于，对所述矿山物联网数据进行预设权重处理的步骤包括：

在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第四矿山物联网数据进行第三预设权重处理。

5.根据权利要求1所述的采集数据的优化方法，其特征在于，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括：

在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

6.一种采集数据的优化系统，应用一服务器，其特征在于，包括：

第一获取模块，用于获取在第一时间段内的第一矿山物联网数据；

第一处理模块，用于判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；

第二处理模块，用于在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；

第三处理模块，用于通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

7.根据权利要求6所述的采集数据的优化系统，其特征在于，所述第二处理模块包括：

第一子模块，用于获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；

第二子模块，用于对所述矿山物联网数据进行预设权重处理；

第三子模块，用于根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。

8.根据权利要求7所述的采集数据的优化系统，其特征在于，所述第一子模块包括：

第一获取单元，用于获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；

第二获取单元，用于获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；

第三获取单元，用于获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；

存储单元，用于存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。

9.根据权利要求8所述的采集数据的优化系统，其特征在于，所述第二子模块包括：判断单元，用于在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第三矿山物联网数据进行第四预设权重处理。

10.根据权利要求6所述的采集数据的优化系统，其特征在于，所述第二处理模块包括：处理子模块，用于在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。

11.一种服务器，其特征在于，包括如权利要求1至10任一项所述的采集数据的优化系统。