CN102722521A - 监控数据比对的方法及系统 - Google Patents

Abstract

本发明揭示了一种监控数据比对的方法及系统。该方法可包括步骤：获取比对源信息以及比对目标信息，根据预设比对方案进行比对；当比对成功时，进行报警。本发明可通过实时的碰撞对比并产生预警，提升数据系统对监控对象的监控能力；还通过批量对比以及增量对比等对比方式，提升了系统的整体效率。

Description

监控数据比对的方法及系统

技术领域

本发明涉及到数据比对技术领域，特别涉及到一种监控数据比对的方法及系统。

背景技术

现有技术中的数据系统中，采用粗放型的运行模式，主要可提供一些数据的查询作用，比如在有事件发生时，可在数据系统中查询该事件涉及人物等的相应信息。其不能提供主动的预警功能，不能起到主动防范作用，已经不符合发展需求，并且查询速度较慢。

发明内容

本发明的主要目的为提供一种监控数据比对的方法，提升了系统的整体效率。

本发明提出一种监控数据比对的方法，包括步骤：

获取比对源信息以及比对目标信息，根据预设比对方案进行比对；

当比对成功时，进行报警。

优选地，所述获取比对源信息以及比对目标信息的步骤之前还包括：

分别建立比对源库以及比对目标库。

优选地，所述预设比对方案中设置有比对源库以及比对目标库的增量碰撞比对。

优选地，所述获取比对源信息以及比对目标信息，根据预设比对方案进行比对的步骤具体包括：

批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；

根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

优选地，所述当比对成功时，进行报警的步骤具体包括：

分别对比对结果进行监控；

当比对结果为成功时，进行报警，并将所述比对结果输出。

本发明还提出一种监控数据比对的系统，包括：

比对判断单元，用于获取比对源信息以及比对目标信息，根据预设比对方案进行比对；

结果执行单元，用于当比对成功时，进行报警。

优选地，所述系统还包括：

建库单元，用于分别建立比对源库以及比对目标库。

优选地，所述预设比对方案中设置有比对源库以及比对目标库的增量碰撞比对。

优选地，所比对判断单元具体包括：

批量获取模块，用于批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；

批量比对模块，用于根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

优选地，所述结果执行单元具体包括：

结果监控模块，用于分别对比对结果进行监控；

报警输出模块，用于当比对结果为成功时，进行报警，并将所述比对结果输出。

本发明可通过实时的碰撞对比并产生预警，提升数据系统对监控对象的监控能力；还通过批量对比以及增量对比等对比方式，提升了系统的整体效率。

附图说明

图1是本发明监控数据比对的方法一实施例中的步骤流程示意图；

图2是本发明监控数据比对的方法另一实施例中的步骤流程示意图；

图3是本发明监控数据比对的系统一实施例中的结构示意图；

图4是本发明监控数据比对的系统一实施例中的另一结构示意图；

图5是本发明监控数据比对的系统另一实施例中的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，提出本发明一种监控数据比对的方法的一实施例。该方法可包括：

步骤S10、获取比对源信息以及比对目标信息，根据预设比对方案进行比对；

步骤S11、当比对成功时，进行报警。

本实施例中，可使用基础网络平台，搭建由应用服务器、数据库服务器以及存储设备组成的硬件资源平台。

本实施例中，首先可分别建立比对源库以及比对目标库等数据库。该比对源库中包括比对源信息等数据。该比对目标库中可包括比对目标信息等数据。

上述各种数据的采集是以ETL(Extraction-Transformation-Loading，数据提取、转换和加载)为核心，包含数据抽取、过滤清洗、转换、整合加工等功能的数据提取处理，主要用于按照预先设计的数据抽取整合处理方案，执行从各种数据来源上提取新鲜数据，以及对数据进行清洗、转换、传输、整合加工，并装载数据到目标数据库、记录问题数据、记录处理日志等一系列数据加工处理工作过程。数据整合处理过程应具有较好的可监控、可维护能力，可支持处理任务的安排调度管理，并可接受信息资源管理应用的运行监测。

上述预设比对方案中的对象主要包括：比对源表(比如比对源信息表)、比对目标表(比如比对目标信息表)、中标输出、报警方式、比对条件以及比对过滤表达式等。

预设比对方案主要包括全局比对方案和即席比对方案。方案配置及方案加载过程中，全局比对方案加载方案中所有对象的信息，即席比对方案只加载比对目标表、比对条件以及中标输出。

比对任务通过比对方案和比对请求创建。由于即席比对方案属个性化定制，方案配置不包括比对源对象、过滤表达式、报警方式，需要在创建即席比对任务时定制产生。

上述预设比对方案中还设置有比对源库以及比对目标库的增量碰撞比对。上述比对还具有批量化以及实时、自动化等功能；该批量化即可将批量的比对源信息分别与比对目标信息进行比对，批量分别输出比对结果；该实时、自动化即可实时更新的监控比对源库(比对源信息)和比对目标库，将两者进行增量碰撞比对，如果发现比对源信息与比对目标库有新数据并找到匹配数据，就把比对结果输出。

参照图2，在本发明另一实施例中，上述步骤S10具体可包括：

步骤S101、批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；

步骤S102、根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

上述步骤S11之后还包括：

步骤S111、分别对比对结果进行监控；

步骤S112、当比对结果为成功时，进行报警，并将所述比对结果输出。

由于比对源信息与比对目标信息的信息项可能存在差异，在将比对源信息与比对目标信息进行比对时，首先需分别建立比对源信息表以及比对目标信息表；该比对源信息表以及比对目标信息表的表结构一致。

在比对时间，可并在比对源库与比对目标库之间建立比对任务。比对任务通过配置比对模型以及任务调度策略，可以实现比对源库和比对目标库的实时、定时和即时的增量碰撞比对，产生比对结果，并进行及时的报警提示；同时可自动的对各个比对任务和产生的比对结果以及资源库数据增量情况进行监控。

以下将上述监控数据比对的方法应用于比对系统为例，对上述方法作进一步说明。

系统通过ETL工具或者请求服务平台从相应的数据库当中抽取相应数据，分别建立比对源库和比对目标库，并在两库之间建立比对任务。比对任务通过配置，可以实现比对源库和比对目标库的实时的增量碰撞比对，产生比对结果，并进行及时的报警提示；系统同时会自动的对各个比对任务和产生的比对结果进行监控。系统将产生的比对结果按配置自动的分发到责任终端，并根据比对结果进行关联轨迹分析，根据研判分析结果采取相应的处置措施，并将处置结果进行通报，自动报警。

在进行比对前，可通过调度器实现对比对请求进行负载的控制，在负载限度内接受比对请求，并生成一条比对任务；在达到满负荷时，拒绝接受请求；在生成比对任务后，将该比对任务存储到比对任务表中，并分配资源执行比对任务，以及控制比对任务的运行，即控制比对任务的暂停、继续以及停止等。

执行比对任务时，可通过比对引擎实现将比对任务中的比对源信息批量发送到比对目标库中，查找匹配的轨迹记录，如果比对成功可将比对结果输出到填充器中。

然后通过填充器将中标(比对成功)后根据比对结果进行数据补全。当比对引擎产生比对成功的比对结果后，由比对引擎通知填充器开始工作，填充器根据比对引擎所得到比对结果集中所包含的比对目标信息表主键信息。再通过处理器将比对成功的比对结果存储到中标输出表，并触发报警器发送报警信息。

参照图3，提出本发明一种监控数据比对的系统20的一实施例。该系统20可包括：比对判断单元21以及结果执行单元22；该比对判断单元21，用于获取比对源信息以及比对目标信息，根据预设比对方案进行比对；该结果执行单元22，用于当比对成功时，进行报警。

本实施例中，可使用基础网络平台，搭建由应用服务器、数据库服务器以及存储设备组成的硬件资源平台。

参照图4，上述系统20还包括：建库单元23，用于分别建立比对源库以及比对目标库。

本实施例中，首先可分别建立比对源库以及比对目标库等数据库。该比对源库中包括比对源信息等数据，其数据可主要通过业务系统中采集获取。该比对目标库中可包括比对目标信息等数据，其数据可通过业务系统以及社会信息数据库中采集获取。

上述各种数据的采集是以ETL为核心，包含数据抽取、过滤清洗、转换、整合加工等功能的数据提取处理，主要用于按照预先设计的数据抽取整合处理方案，执行从各种数据来源上提取新鲜数据，以及对数据进行清洗、转换、传输、整合加工，并装载数据到目标数据库、记录问题数据、记录处理日志等一系列数据加工处理工作过程。数据整合处理过程应具有较好的可监控、可维护能力，可支持处理任务的安排调度管理，并可接受信息资源管理应用的运行监测。

上述预设比对方案中的对象主要包括：比对源表(比如比对源信息表)、比对目标表(比如比对目标信息表)、中标输出、报警方式、比对条件以及比对过滤表达式等。

预设比对方案主要包括全局比对方案和即席比对方案。方案配置及方案加载过程中，全局比对方案加载方案中所有对象的信息，即席比对方案只加载比对目标表、比对条件以及中标输出。

比对任务通过比对方案和比对请求创建。由于即席比对方案属个性化定制，方案配置不包括比对源对象、过滤表达式、报警方式，需要在创建即席比对任务时定制产生。

上述预设比对方案中还设置有比对源库以及比对目标库的增量碰撞比对。上述比对还具有批量化以及实时、自动化等功能；该批量化即可将批量的比对源信息分别与比对目标信息进行比对，批量分别输出比对结果；该实时、自动化即可实时更新的监控比对源库(比对源信息)和比对目标库，将两者进行增量碰撞比对，如果发现比对源信息与比对目标库有新数据并找到匹配数据，就把比对结果输出。

参照图5，上比对判断单元21具体包括：批量获取模块211以及批量比对模块212；该批量获取模块211，用于批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；该批量比对模块212，用于根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

上述结果执行单元22具体包括：结果监控模块221以及报警输出模块222；该结果监控模块221，用于分别对比对结果进行监控；该报警输出模块222，用于当比对结果为成功时，进行报警，并将所述比对结果输出。

由于比对源信息与比对目标信息的信息项可能存在差异，在将比对源信息与比对目标信息进行比对时，首先需分别建立比对源信息表以及比对目标信息表；该比对源信息表以及比对目标信息表的表结构一致。

在比对时间，可并在比对源库与比对目标库之间建立比对任务。比对任务通过配置比对模型以及任务调度策略，可以实现比对源库和比对目标库的实时、定时和即时的增量碰撞比对，产生比对结果，并进行及时的报警提示；同时可自动的对各个比对任务和产生的比对结果以及资源库数据增量情况进行监控。

以下将上述监控数据比对的系统20应用于比对系统为例，对上述系统20作进一步说明。

系统通过ETL工具或者请求服务平台从相应的数据库当中抽取相应数据，分别建立比对源库和比对目标库，并在两库之间建立比对任务。比对任务通过配置，可以实现比对源库和比对目标库的实时的增量碰撞比对，产生比对结果，并进行及时的报警提示；系统同时会自动的对各个比对任务和产生的比对结果进行监控。系统将产生的比对结果按配置自动的分发到责任终端，并根据比对结果进行关联轨迹分析，根据研判分析结果采取相应的处置措施，并将处置结果进行通报，自动报警。

在进行比对前，可通过调度器实现对比对请求进行负载的控制，在负载限度内接受比对请求，并生成一条比对任务；在达到满负荷时，拒绝接受请求；在生成比对任务后，将该比对任务存储到比对任务表中，并分配资源执行比对任务，以及控制比对任务的运行，即控制比对任务的暂停、继续以及停止等。

执行比对任务时，可通过比对引擎实现将比对任务中的比对源信息批量发送到比对目标库中，查找匹配的轨迹记录，如果比对成功可将比对结果输出到填充器中。

然后通过填充器将中标(比对成功)后根据比对结果进行数据补全。当比对引擎产生比对成功的比对结果后，由比对引擎通知填充器开始工作，填充器根据比对引擎所得到比对结果集中所包含的比对目标信息表主键信息。再通过处理器将比对成功的比对结果存储到中标输出表，并触发报警器发送报警信息。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种监控数据比对的方法，其特征在于，包括步骤：

获取比对源信息以及比对目标信息，根据预设比对方案进行比对；

当比对成功时，进行报警。

2.根据权利要求1所述的监控数据比对的方法，其特征在于，所述获取比对源信息以及比对目标信息的步骤之前还包括：

分别建立比对源库以及比对目标库。

3.根据权利要求2所述的监控数据比对的方法，其特征在于，所述预设比对方案中设置有比对源库以及比对目标库的增量碰撞比对。

4.根据权利要求1至3中任一项所述的监控数据比对的方法，其特征在于，所述获取比对源信息以及比对目标信息，根据预设比对方案进行比对的步骤具体包括：

批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；

根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

5.根据权利要求4所述的监控数据比对的方法，其特征在于，所述当比对成功时，进行报警的步骤具体包括：

分别对比对结果进行监控；

当比对结果为成功时，进行报警，并将所述比对结果输出。

6.一种监控数据比对的系统，其特征在于，包括：

比对判断单元，用于获取比对源信息以及比对目标信息，根据预设比对方案进行比对；

结果执行单元，用于当比对成功时，进行报警。

7.根据权利要求6所述的监控数据比对的系统，其特征在于，所述系统还包括：

建库单元，用于分别建立比对源库以及比对目标库。

8.根据权利要求7所述的监控数据比对的系统，其特征在于，所述预设比对方案中设置有比对源库以及比对目标库的增量碰撞比对。

9.根据权利要求6至8中任一项所述的监控数据比对的系统，其特征在于，所比对判断单元具体包括：

批量获取模块，用于批量获取比对源库中的比对源信息与比对目标库中的比对目标信息，分别建立比对源信息表以及比对目标信息表；

批量比对模块，用于根据所述比对源信息表、比对目标信息表以及预设比对方案进行批量比对。

10.根据权利要求9所述的监控数据比对的系统，其特征在于，所述结果执行单元具体包括：

结果监控模块，用于分别对比对结果进行监控；

报警输出模块，用于当比对结果为成功时，进行报警，并将所述比对结果输出。

Images