CN105975524A - 一种用于地质监测的数据集成方法和系统 - Google Patents

Abstract

本发明公开了一种用于地质监测的数据集成方法和系统，该方法包括：S1：从预先获取的数据源中获取原始数据；S2：将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。该方法将来源于不同的监测仪器得到的不同格式的数据进行格式转化，以得到具有同一格式的数据，解决了地质监测中，不同仪器得到的数据因为不兼容而不能进行统一使用的问题，实现了这些多源异构数据的快速、实时、有效地集成。

Description

一种用于地质监测的数据集成方法和系统

技术领域

本发明属于数据处理领域，具体涉及一种用于地质监测的数据集成的方法和系统。

背景技术

地质灾害监测是提升主动应对地质灾害能力的重要手段，通过利用各种监测传感器，如雨量、位移、地下水与受力等，对地质灾害的变形量等控制性因素进行监测，常见的有人工监测、半自动监测及全自动化监测等方式。随着地质灾害信息化管理的发展和各种监测技术的日益成熟与广泛应用，极大地推动了地质灾害无线自动化监测的进步，提高了监测数据的可靠性和实时性。

然而，地质灾害的监测工作中，使用的监测仪器往往来自不同的生产厂家，这些厂家拥有各自的业务系统，因而获取的监测数据结构也各不相同。这些数据分散于各个独立的数据库中，并且各自拥有独立的数据库管理系统，构成了一个庞大而且复杂的多源异构的数据源。监测人员只能在各监测仪器的业务系统中分析监测数据，很难在同一平台中对监测数据进行统一的分析与管理，使得监测工作变得异常繁琐复杂。

发明内容

本发明所要解决的技术问题如何实现多源异构数据的快速、实时、有效地集成。

针对该技术问题，本发明提供了一种用于地质监测的数据集成方法，包括：

S1：从预先获取的数据源中获取原始数据；

S2：将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

优选地，所述步骤S2具体包括：

S21：将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据；

S22：将所述修正的目标数据集成至目标数据库中。

优选地，所述将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

优选地，所述对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

优选地，还包括：

S3：对所述原始数据和获取所述原始数据相应的仪器参数进行备份。

另一方面，本发明提供了一种用于地质监测的数据集成系统，包括：

获取模块，用于从预先获取的数据源中获取原始数据；

转换模块，用于将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

优选地，所述转换模块还用于将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据并将所述修正的目标数据集成至目标数据库中。

优选地，所述转换模块在将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

优选地，所述转换模块对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

优选地，还包括备份模块，用于对所述原始数据和获取所述原始数据相应的仪器参数进行备份

本发明提供的用于地质监测的数据集成的方法和系统，将来源于不同的监测仪器得到的不同格式的数据进行格式转化，以得到具有同一格式的数据，解决了地质监测中，不同仪器得到的数据因为不兼容而不能进行统一使用的问题，实现了这些多源异构数据的快速、实时、有效地集成。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的用于地质监测的数据集成方法的流程示意图；

图2是本发明实施例提供的几种多源异构数据集成方法的流程示意图；

图3是本发明实施例提供的用于地质监测的数据集成系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本实施例提供的用于地质监测的数据集成方法的流程示意图，参见图1，该方法包括：

S1：从预先获取的数据源中获取原始数据；

S2：将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

数据源是原始数据的来源，可以是不同的数据库中的数据，也可以是不同的监测仪器获取的数据。

该方法将来源于不同的监测仪器得到的不同格式的数据进行格式转化，以得到具有同一格式的数据，解决了地质监测中，不同仪器得到的数据因为不兼容而不能进行统一使用的问题，实现了这些多源异构数据的快速、实时、有效地集成。

更进一步地，所述步骤S2具体包括：

S21：将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据；

S22：将所述修正的目标数据集成至目标数据库中。

通常，在对原始数据进行数据格式的转化后，即可将转化后的目标数据集成至数据库中，但是由于原始数据在获取的过程中会受到很多不确定性因素的影响，因此需要对目标数据进行检查并对检查出的异常数据进行处理，以使得处理之后的监测数据能在最大程度上反映真实情况。

原始数据在获取的过程中受到的不确定性因素有：如电压不稳、连接传感器失败、传感器损坏、网络传输失败等，这些因素会导致监测数据出现丢失、跳跃等现象。

具体地，所述将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

针对不同的原始数据的不同处理方法有助于更快的得到同意格式的目标数据。

具体地，所述对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

更进一步地，还包括：

S3：对所述原始数据和获取所述原始数据相应的仪器参数进行备份。

对原始数据进行备份供后期分析使用，充分保障了入库的监测数据的真实性与可靠性。

作为一种更为具体的示例，图2是本实施例提供的几种多源异构数据集成方法的流程示意图，参见图2，原始数据来源于不同的数据库，例如SQL Server，Oracle，My SQL和Access，这些原始数据通过借鉴ETL(一种将数据从源端经过抽取-转换-加载到目的端的过程)方法，结合作业表(Jobs)，通过自主开发的数据访问组件(图2中的HCY.DBUtility)从各数据源进行数据提取，得到原始数据集。经过“多源异构数据自动入库系统”完成数据的集成。

然后，对原始数据集中的数据进行格式转换，具体的参见图2中的中间件所示的过程。中间件通过数据访问组件从数据源获取原始数据，大多数时候原始数据并不能直接入库操作，还需对数据格式进行转换，通常情况下有三种方式，即：映射转换、直接提取和换算转换(图2中的①、②和③)。

①映射转换：这种方式适用于源数据表和目标数据表的字段名不同、且不需要对数据做特殊处理的情况，只需要对字段进行映射处理即可，其常用的处理方式是利用数据库的功能，即采用SQL语句对数据集进行映射重组。

②直接提取：当源数据表和目标数据表的数据结构一致时，则可以直接提取，无需任何特殊操作，这实际上是“映射转换”的一种特殊情况。

③换算转换：如果源数据表中存储的数据为监测仪器传回的原始记录，则需要根据不同的监测仪器从数据库中提取相应的公式、从参数表中提取参数，将原始记录转换为物理量，在进行入库操作，这是最常见的一种情况。

对展缓格式的数据进行数据异常处理(图2中的HCY.DataProcess)，方法有如下几种：插值处理、三点移动平均法修匀数据、均值替换法、等间距(等时间间隔)处理、数据消噪处理等。该过程中可同时将原始监测数据进行备份，供后期分析使用，充分保障入库的监测数据的真实性与可靠性。

通过上述步骤得到最终数据集后，结合通用数据访问组件，将分析处理后的监测数据进行数据入库(图2中的HCY.DBUtility)，集成到地质灾害监测数据中心平台的目标数据库中，即完成多源数据的集成工作。

该方法通过建立地质灾害监测类型编码规则，针对不同监测类型的监测数据能够按照该规则实现自动化集成入库，实现了监测数据的快速处理与分析，使得地质灾害监测工作更加自动化，并提高了监测工作的可靠性和时效性。

实现了对各类数据库的支持，如SQL Server、Oracle、MySQL、Access等常见数据库，同时能够轻松扩展以支持其它数据库，并自主开发了通用数据库访问组件类库，为多源地质灾害监测数据的集成奠定了基础。

地质灾害监测类型多，数据结构复杂，因此，建立地质灾害监测数据编码体系，实现数据格式统一、标准化及规范化，从而大大地促进了数据分析的速度。

由于监测仪器不间断地采集数据，因此要求监测数据集成系统必须一直稳定地运行，为此本发明将该系统设计为“系统服务”，保证集成系统随服务器一起自动运行，无需用户干预，完全自动化完成整个监测数据集成流程。除此之外，软件本身在内存管理、变量使用、数据库连接等方面做了相应的处理，避免长时间运行导致内存溢出、程序崩溃等现象，并开发了服务监视模块，监视数据集成系统运行情况，一旦发生异常，立即重启服务，并自动向管理员发送邮件或短信，充分保障监测数据能够及时入库。与现有技术相比，本发明提出的技术方案中建立了地质灾害监测类型编码规则和数据集成规则，不仅仅从技术方面能够实现对应的功能，更能从理论深度上确保构建地质灾害实时监测数据集成的可靠性与准确性。

另一方面，本发明提供了一种用于地质监测的数据集成系统30，如图3所示，包括：

获取模块31，用于从预先获取的数据源中获取原始数据；

转换模块32，用于将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

优选地，所述转换模块还用于将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据并将所述修正的目标数据集成至目标数据库中。

优选地，所述转换模块在将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

优选地，所述转换模块对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

优选地，还包括备份模块，用于对所述原始数据和获取所述原始数据相应的仪器参数进行备份

该系统将来源于不同的监测仪器得到的不同格式的数据进行格式转化，以得到具有同一格式的数据，解决了地质监测中，不同仪器得到的数据因为不兼容而不能进行统一使用的问题，实现了这些多源异构数据的快速、实时、有效地集成。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于地质监测的数据集成方法，其特征在于，包括：

S1：从预先获取的数据源中获取原始数据；

S2：将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S21：将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据；

S22：将所述修正的目标数据集成至目标数据库中。

3.根据权利要求1所述的方法，其特征在于，所述将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

4.根据权利要求2所述的方法，其特征在于，所述对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

5.根据权利要求1所述的方法，其特征在于，还包括：

S3：对所述原始数据和获取所述原始数据相应的仪器参数进行备份。

6.一种用于地质监测的数据集成系统，其特征在于，包括：

获取模块，用于从预先获取的数据源中获取原始数据；

转换模块，用于将所述原始数据转换为预设格式的目标数据，并将所述目标数据集成至目标数据库中。

7.根据权利要求6所述的系统，其特征在于，所述转换模块还用于将所述原始数据转化为预设格式的目标数据后，对所述目标数据进行检查，若检查到异常数据，对所述异常数据进行处理，以得到修正的目标数据并将所述修正的目标数据集成至目标数据库中。

8.根据权利要求6所述的系统，其特征在于，所述转换模块在将原始数据转化为预设格式的目标数据的方法包括：

映射转换，用于所述原始数据的数据表和与之对应的目标数据的数据表的字段不同的情况。

直接提取，用于所述原始数据的数据结构和与之与之对应的目标数据的数据结构相同的情况。

换算转换，用于所述原始数据为直接监测得到的数据且需要通过计算进行转换的情况。

9.根据权利要求7所述的系统，其特征在于，所述转换模块对所述异常数据进行处理的方法包括：

插值处理、三点移动平均法修匀数据、均值替换法、等间距处理、数据消噪处理。

10.根据权利要求1所述的系统，其特征在于，还包括备份模块，用于对所述原始数据和获取所述原始数据相应的仪器参数进行备份。