CN104850635B - 一种多数据源环境下数据缺失自动检查及集中监控方法 - Google Patents

Abstract

本发明提供了一种多数据源环境下数据缺失自动检查及集中监控方法，包括：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；执行集中监控处理，其中使用报表工具将总丢点文件展示出来。

Description

一种多数据源环境下数据缺失自动检查及集中监控方法

技术领域

本发明涉及企业数据质量领域，尤其涉及电力系统实时数据的质量检查，更具体地说，本发明涉及一种多数据源环境下数据缺失自动检查及集中监控方法。

背景技术

国家电网华东分部目前建有4套数据中心，D5000调度自动化系统的SCADA(数据采集与监控)实时数据是数据中心中最重要的数据之一，该数据包含电网重要一次设备十几种遥信遥测数据，要求实时接入数据中心。在这4套数据中心中，由于功能要求不同，接入数据的频度也不同，有的是1分钟断面(1分钟接入1次)，有的是15分钟断面，但都要求数据准确无误的接入；如果有数据丢失，需要及时发现并进行数据补缺。这就需要有一种方法，能对数据入库情况进行监控，及时发现数据丢失并反馈，由于数据中心比较多，最好能对4套数据中心统一进行监控。

监控类系统目前在各种生产系统中应用的比较多，但都基于各自的实际需要对一些重要指标进行监控，并在指标达到限值时进行报警，但针对数据缺失检查，特别是针对D5000调度自动化系统的SCADA数据缺失检查的系统或方法还没有。

对于将多个系统数据汇总到一起，目前市场上成熟的工具比较多，如ETL(Extract-Transform-Load，抽取-转换-加载)工具、Teiid等，可使用这些工具实现4套数据中心的统一监控。但是，现有的这些工具仍然无法解决多数据源数据丢失情况的集中监控。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，由此本发明提供一种定时丢点扫描方法来实现对数据丢失情况的自动检查，然后将4套数据中心的缺失数据汇总在一起，并开发成报表，从而实现对4套数据中心数据丢失情况的集中监控，解决了多数据源数据丢失情况的集中监控问题。

为了实现上述技术目的，根据本发明，提供了一种多数据源环境下数据缺失自动检查及集中监控方法，包括：第一步骤：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；第二步骤：执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；第三步骤：执行集中监控处理，其中使用报表工具将总丢点文件展示出来。

优选地，在第一步骤中，在执行定时查缺处理的过程中，对数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据的丢点文件名。

优选地，第二步骤中使用ETL工具执行数据汇总处理。

优选地，在第一步骤中，首先根据实时数据的断面类型和时间范围生成全量时间点，随后根据全量时间点判断数据是否是丢点数据，并且获取被判断为丢点数据的数据的丢点时间。

优选地，在第一步骤中，还进一步将丢点时间转化为丢点文件名。

优选地，总丢点文件中标明了各丢点数据的来源。

优选地，所述来源由丢点数据的数据中心的名称表示。

优选地，在第三步骤中，就总丢点文件集中处理以得到统计报表和详细报表，并且将统计报表和详细报表展示出来。

优选地，所述多套数据中心为四套数据中心。

优选地，所述实时数据为SCADA实时数据。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的多数据源环境下数据缺失自动检查及集中监控方法的总体流程图。

图2示意性地示出了根据本发明优选实施例的数据扫描和集中监控结构图。

图3示意性地示出了根据本发明优选实施例的扫描丢点数据过程示例的示意过程。

图4示意性地示出了根据本发明优选实施例的定时执行丢点扫描示例的示意过程。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

图1示意性地示出了根据本发明优选实施例的多数据源环境下数据缺失自动检查及集中监控方法的总体流程图。图2示意性地示出了根据本发明优选实施例的数据扫描和集中监控结构图。

具体地说，在实时数据监控时，首先需要找到缺失数据，然后再将缺失数据汇总起来，最后用可视化手段将缺丢数据展示出来供运维人员监控。如图1和图2所示，根据本发明优选实施例的多数据源环境下数据缺失自动检查及集中监控方法包括：

第一步骤S1：执行定时查缺处理，其中例如通过程序对数据中心接入的调度自动化系统(例如D5000)的实时数据(例如SCADA实时数据)表进行定时扫描，以查找丢点数据(数据没有正常接入的文件名)并将丢点数据保存起来。

其中，优选地，在第一步骤S1中，在执行定时查缺处理的过程中，对数据中心接入的调度自动化系统的SCADA实时数据表进行定时扫描，以查找丢点数据的丢点文件名，其具体过程的一个示例可以参见如图3所示。

具体地，定时执行扫描工作是保证查缺自动化执行的必要条件，过程如图4所示，其中程序定义要完成的任务，调度程序定义时间频率，由此使得任务定时执行任务。

第二步骤S2：执行数据汇总处理，其中在得到4套数据中心(如图2所示的第一数据中心11、第二数据中心12、第三数据中心13和第四数据中心14)的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件30；在优选实施例中，可以使用ETL工具执行数据汇总处理。在本说明书中以4套数据中心为示例说明了本发明的原理，但是显然本发明也适用于其它数量的数据中心的情况。

第三步骤S3：执行集中监控处理，其中使用报表工具将总丢点文件30展示出来。这样，运维人员通过该报表就能实现对实时数据集中监控。

下面将具体描述本发明的具体优选示例。

<第一步骤S1的定时查缺处理>

在进行定时查缺时，分为扫描丢点数据和自动执行扫描两部分内容，下面分别进行介绍。

1、扫描丢点数据

从前面的背景介绍可知，各数据中心都接入D5000调度自动化系统的SCADA的实时数据，但时间断面不同，因此在扫描时，需根据不同的设备、时间断面类型采用不同的扫描策略，执行过程的一个具体示例如图3所示。

在图3所示的扫描过程中，有几点比较重要：

(1)全量时间点：在丢点扫描前，可以根据实时数据的断面类型和时间范围生成全量时间点，如15分钟断面，例如查询时间为2015-3-25 00:00～2015-3-25 23:59的时间点为2015-3-25 00:00、2015-3-25 00:15、...、2015-3-25 23:45共计96个时间点。全量时间点对扫描丢点数据非常重要，它是比较的基准值，如果在比较时发现全量时间点有这个时间点，而设备表缺少该时间点，可判定该点数据丢失。

(2)抽样设备：在查询设备时间点时，用到了抽样设备、查询时间范围这两个约束条件，主要是为减少查询的数据量，提高执行效率。这里的抽样设备是事先精选的，要求代表着不同厂站重要的设备，且不会同时出现设备无数据情况，选择3个抽样设备既保证执行效率又保证时间点出现与否准确无误。

(3)丢点时间转化为丢点文件：在全量时间点和设备时间点比较时，得到的是丢点时间，在保存丢点数据时，优选地根据查询的设备将丢点时间转化为丢点文件名，这是因为扫描的结果是要判断哪个设备文件缺失，方便运维人员根据扫描结果查找具体的缺失文件并进行补缺。丢点数据内容如表1(数据中心的丢点数据)所示。

表1

设备类型	丢点文件名	扫描时间
			LINE	Aclineend201503250245.txt	2015-3-25 15:03
LINE	Aclineend201503250800.txt	2015-3-25 15:03
			Hz	FREQUENCE_201503250500.DT	2015-3-26 15:03
Hz	FREQUENCE_201503250745.DT	2015-3-26 15:03
			Hz	FREQUENCE_201503250830.DT	2015-3-26 15:03

丢点扫描是在各数据中心独立进行的，扫描的结果也保存在各数据中心的丢点表中。在具体开发过程中，考虑到各数据中心都采用Oracle数据库保存数据，扫描过程是针对数据库中表的内容进行扫描，因此采用PL/SQL编写存储过程来执行丢点数据扫描，这样开发更方便，程序执行效率也最高。

2、自动执行扫描

在实际工作中，各数据中心接入D5000 SCADA数据是一个连续的过程，在这过程中，新数据被连续不断的接入、数据补缺也在不停的进行，这都会使得丢点数据一直在变化，这就要求有一种方法能对实时数据自动进行扫描，以获得最新的数据丢失情况。

执行自动扫描的方法有很多种，考虑到丢点数据扫描程序是使用Oracle存储过程，而Oracle数据库自带的Job可以很方便的调用存储过程，并能灵活设定调用时间、执行频度，查询执行结果(执行时间、是否正确执行等)，可以满足自动扫描的要求，所以本发明采用任务(Job)来实现自动扫描工作，如图4所示。

从图4可以看出，使用任务(Job)实现自动扫描优选地可以做三部分工作，分别如下：

程序(Program)指定任务：使用Program指定任务时，需要将丢点扫描程序的存储过程名写到Program中，以备调用；

调度程序(Schedule)定义时间：自动扫描时，需要设定好自动扫描的时间，如每半小时执行一次，就可以使用Schedule来定义开始时间、时间间隔频率等；

任务(Job)综合：在配置好程序和调度程序后，就可以在任务中将二者综合起来，从而实现在指定的时间自动调用丢点扫描程序。

通过综合使用上述3个功能，就可以轻松实现丢点数据的自动扫描。由于程序、调度程序和任务都是通过配置的方式实现，在使用和修改的时候都比较方便。

<第二步骤S2的缺失数据汇总>

在4套数据中心得到丢点数据后，需要将丢点数据集中到一起。在数据集中的过程中，实现的方法有很多种，如配置DBLink、编写程序、ETL等。本发明具体实施例使用ETL工具Informatica来将不同数据中心的数据汇总到一起，原因是Informatica是专业的ETL工具，对于将不同数据源的数据集中到一起非常方便、高效，修改起来也非常方便。

使用ETL工具将缺失数据汇总起来有一点需要注意，就是在汇总时，优选地在汇总数据(总丢点文件30)中标明各缺失数据(即丢点数据)的来源(丢点数据中心名称)，这样在集中监控时就较为方便了解各数据中心的缺数情况，汇总数据如表2(缺失数据汇总)所示。

表2

在开发ETL过程中，使用Informatica自带的定时功能，定时将多个数据中心的丢点数据汇总到一起，从而保持汇总后的数据与各数据中心最新的丢点数据保持一致。

<第三步骤S3的集中监控展示>

在得到汇总数据后，下一步就是数据集中展示。在进行信息展示时，为了兼顾宏观、微观两个方面，可以将数据分成统计报表和详细报表两张报表，如表3(缺失文件统计报表)、表4(缺失文件详细报表)所示。

表3

表4

在上面表格中，表3是统计报表，从表中可以很方便看出过去两天内各种类型设备的文件缺失情况，如“第三数据中心13”在“2015-3-25”的“Line(线路)”缺少2个文件；表4是缺失文件的详细情况，上例中的线路所丢的具体文件名在表4中可以看到，同时该表还显示扫描的时间“原库更新时间”。

在具体实现过程中，本发明具体实施例将表3作为主表，表4作为从表，点击表3中具一设备类型，在表4中就显示该类型设备在所属数据中心、所属日期的数据缺失详情。

由此，在具体实施时，可以在各数据中心的数据库服务器上都部署了丢点数据自动扫描程序，在电力内网部署一台ETL服务器和丢点汇总数据库服务器，由该ETL服务器将4套数据中心的丢点数据汇总到数据库，并由BI(Business Intelligence商务智能)工具开发丢点数据的监控报表。实现了多数据源数据丢点的统一监控，降低了监控难度，提高了数据质量。

<技术效果>

本发明通过缺失数据自动检查和实时监控功能的开发，方便了数据运维人员的运维工作，同时提高了实时数据的质量，主要体现在：

1)简化运维：在本功能开发之前，数据运维人员需要手工检查4套数据中心所有设备的实时表，由于运维表的数量比较多，时间断面又不同，检查起来非常麻烦，对运维人员要求也比较高。在本功能开发之后，运维人员只需看一张报表，就能很轻松的了解当前4套数据中心的数据入库情况，大大降低了运维难度。

2)提高数据质量：本功能开发之前，由于需要手工检查数据质量的操作难度大，很难保证所有设备的实时数据都能及时得到检查，而且检查时所选的抽样设备也较为随机，这些都会导致有些数据缺失不能及时发现并补缺。在本功能开发后，由于所有设备的实时数据都得到及时监控，在数据缺失的第一时间就能发现，并及时进行补缺，提高了实时数据的质量。

需要说明的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种多数据源环境下数据缺失自动检查及集中监控方法，其特征在于包括：

第一步骤：执行定时查缺处理，其中通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；

第二步骤：执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；

第三步骤：执行集中监控处理，其中使用报表工具将总丢点文件展示出来；

其中，在所述第一步骤中，首先根据实时数据的断面类型和时间范围生成全量时间点，随后根据全量时间点判断数据是否是丢点数据，并且获取被判断为丢点数据的数据的丢点时间。

2.根据权利要求1所述的方法，其特征在于，在第一步骤中，在执行定时查缺处理的过程中，对数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据的丢点文件名。

3.根据权利要求1或2所述的方法，其特征在于，第二步骤中使用ETL工具执行数据汇总处理。

4.根据权利要求1所述的方法，其特征在于，在第一步骤中，还进一步将丢点时间转化为丢点文件名。

5.根据权利要求1或2所述的方法，其特征在于，总丢点文件中标明了各丢点数据的来源。

6.根据权利要求5所述的方法，其特征在于，所述各丢点数据的来源由丢点数据的数据中心的名称表示。

7.根据权利要求1或2所述的方法，其特征在于，在第三步骤中，就总丢点文件集中处理以得到统计报表和详细报表，并且将统计报表和详细报表展示出来。

8.根据权利要求1或2所述的方法，其特征在于，所述多套数据中心为四套数据中心。

9.根据权利要求1或2所述的方法，其特征在于，所述实时数据为SCADA实时数据。