CN113609230A - 数据同步异常告警方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，特别是涉及一种数据同步异常告警方法、装置、计算机设备和存储介质。所述方法包括：获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果；基于判定结果，进行数据同步异常告警。采用本方法能够提升数据同步异常告警的准确性。本申请还涉及区块链技术领域，各数据均可以上传至区块链节点中。

Description

数据同步异常告警方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种数据同步异常告警方法、装置、计算机设备和存储介质。

背景技术

随着业务量的增长，各企业部门一般会使用支持亿级行表的大型数据库Oracle作为业务库，并且会进行分库的设计，以及多异构数据库并存的设计，那跨库，跨异构库之间的实时数据同步就需要使用数据同步系统来进行。

在传统方式中，数据同步系统主要实现的是跨异构数据库间实时数据同步的功能，通常是在发生异常后进行告警，或者是仅针对某一环节进行监控预警，从而，使得系统监控功能较弱，对数据同步的告警处理的准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升数据同步异常告警准确性的数据同步异常告警方法、装置、计算机设备和存储介质。

一种数据同步异常告警方法，所述方法包括：

获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；

对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果；

基于判定结果，进行数据同步异常告警。

在其中一个实施例中，获取同步状态数据，包括：

对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求；

基于监控请求，调用实时查询接口；

通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据。

在其中一个实施例中，

通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据，包括：

通过实时查询接口转发监控请求至预先配置于业务系统的监控代理服务，并接收监控代理服务反馈的数据同步的同步状态数据，监控代理服务用于监控源端数据库与目标端数据库的数据同步。

在其中一个实施例中，同步状态数据包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种；

对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，包括：

分别对缓存数据库中的进程状态、数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果；

基于判定结果，进行数据同步异常告警，包括：

基于各判定结果，若进程状态、数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

在其中一个实施例中，同步状态数据包括对应于源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及目标端数据库的数据复制流程的同步状态数据；

对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，包括：

分别基于缓存数据库中的各同步状态数据，对数据选取流程、数据抽取流程以及数据复制流程进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在其中一个实施例中，基于判定结果，进行数据同步异常告警，包括：

基于各判定结果，获取判定为异常的同步状态数据；

识别同步状态数据的各字段，并生成展示列表数据；

将展示列表数据发送终端，并通过终端进行展示。

在其中一个实施例中，上述方法还包括：

将同步状态数据和/或判定结果上传至区块链节点中进行存储。

一种数据同步异常告警装置，所述装置包括：

同步状态数据获取模块，用于获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；

判定模块，用于对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果；

异常告警模块，用于基于判定结果，进行数据同步异常告警。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。

上述数据同步异常告警方法、装置、计算机设备和存储介质，通过获取数据库数据同步的同步状态数据，并存储至缓存数据库中，所述同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据，然后对所述存储数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果，并基于所述判定结果，进行数据同步异常告警。从而，可以通过获取源端以及目标端进行数据同步的同步状态数据，并进行异常判定处理与预警，相比于现有技术中仅对单一环节进行监控，本申请方案使得可以对业务系统的整个同步过程均进行监控以及告警，以实现对业务系统的整个同步处理过程的监控以及告警，可以提升监控的覆盖面，并提升告警处理的准确性。并且，通过实时查询接口对业务系统进行实时查询与反馈，可以及时获取到业务系统的同步状态数据，可以实现实时告警处理，可以进一步提升告警处理的准确性。

附图说明

图1为一个实施例中数据同步异常告警方法的应用场景图；

图2为一个实施例中数据同步异常告警方法的流程示意图；

图3为一个实施例中源端数据库与目标端数据库关系的示意图；

图4为另一个实施例中源端数据库与目标端数据库关系的示意图；

图5为一个实施例中数据同步异常告警装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据同步异常告警方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体地，终端102可以与用户交互，并控制服务器104进行数据处理。服务器104可以获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据，然后服务器104可以对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，并基于判定结果，进行数据同步异常告警。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据同步异常告警方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据。

其中，同步状态数据是指业务系统在进行数据同步时所相关的状态数据，可以包括但不限于同步进程的进程状态以及相关的日志信息。

在本实施例中，业务系统是指进行业务数据存储的数据库系统，如业务系统可以是医疗平台，业务数据是指医疗数据，如个人健康档案、处方、检查报告等数据。参考图3，业务系统可以包括源端数据库以及目标点数据库，源端数据库与目标端数据库可以实现数据同步。

在本实施例中，实时查询接口是指可以对业务系统的同步状态数据进行实时访问与获取的接口，实时查询接口中配置了查询同步状态数据的配置数据，当服务器请求调用实时查询接口时，即可通过实时查询接口查询并获取对应的同步状态数据，并进行后续的处理。具体地，参考图4，服务器可以通过实时查询接口从业务系统的源端数据库以及目标端数据库查询并获取对应的同步状态数据，并存储至缓存数据库中。其中，缓存数据库可以是缓存库，仅用于临时存储数据使用。

在本实施例中，对于不同端的同步状态数据，服务器可以进行分区存储，即存储至存缓数据库的不同分区中，以便于后续分别进行处理，可以降低后续数据处理出错的概率，提升数据处理的准确性。

步骤S204，对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果。

具体地，服务器可以预先设置进行同步异常判定的判定规则，并对存储至缓存数据库中的同步状态数据进行异常判定处理。

在本实施例中，服务器预先设置的判定规则可以包括业务进程的进程状态判定规则、数据同步延迟数据的延迟规则以及进程统计数据的统计判定规则等，并用于对获取到同步状态数据进行同步异常判定，并生成对应各判定结果。

在本实施例中，判定结果可以是数据正常或者是数据异常，或者是同步正常或者是同步异常等结果。

在其中一个实施例中，服务器进行异常判定也可以是通过基于深度学习的神经网络模型进行的，即通过预先训练的神经网络模型进行同步状态数据的异常判定，并输出对应的判定结果。

具体地，服务器可以获取训练数据，训练数据中包括正样本数据以及负样本数据，然后基于获取到的训练数据进行初始模型的训练与迭代，以得到训练完成的异常判定模型。在其他实施例中，服务器还可以设置迭代训练参数，并基于迭代训练参数进行模型的训练，如迭代次数、学习率等。

进一步，服务器可以通过异常判定模型对获取到的同步状态数据进行特征数据提取，如提取出同步状态数据中的进程状态、延迟时间或者是进程统计数据等特征，然后进行判定，并生成对应的判定结果。

步骤S206，基于判定结果，进行数据同步异常告警。

在本实施例中，当服务器根据得到的各判定结果确定同步状态数据存在异常时，则进行数据同步异常告警处理。

具体地，当服务器基于至少一个判定结果确定数据同步异常时，即进行异常告警。

在本实施例中，服务器可以生成告警信息，参考图4，并通过短信网关和邮件网关，实时通知到相关运维和管理人员，以进行告警提示，并提示相关运维或者管理人员及时进行处理。

在本实施例中，告警信息中可以包括具体的异常节点信息以及异常种类信息，例如，可以是源端数据库异常或者是目标端数据库出现的异常等，以及可以是延迟异常或者是数据量缺少异常等，以使得运维以及管理人员可以基于告警信息准确定位到异常点，并及时进行处理。

在其中一个实施例中，继续参考图4，服务器在进行异常判定后，也可以根据判定结果，从缓存数据库中获取判定为异常的同步状态数据，并存储至告警数据库，并基于告警数据库进行数据同步异常告警。

具体地，告警数据库中可以设置有对应各不同异常告警的告警模板或者是告警配置数据，服务器可以根据告警数据库中设置的告警模板或者是告警配置数据，以及从缓存数据库中获取到的异常的同步状态数据，生成告警信息，并进行告警处理。

在本实施例中，当服务器从缓存数据库中获取异常的同步状态数据，并存储至告警数据库之后，缓存数据库可以基于预先设置的删除规则，对存储的同步状态数据进行删除处理，例如，通过定时任务或者是设置定时存储时长等，对缓存数据库中的同步状态数据进行删除，以减少存储数据库中的数据量，保障缓存数据库的运行稳定性。

上述数据同步异常告警方法中，通过获取数据库数据同步的同步状态数据，并存储至缓存数据库中，所述同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据，然后对所述存储数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果，并基于所述判定结果，进行数据同步异常告警。从而，可以通过获取源端以及目标端进行数据同步的同步状态数据，并进行异常判定处理与预警，相比于现有技术中仅对单一环节进行监控，本申请方案使得可以对业务系统的整个同步过程均进行监控以及告警，以实现对业务系统的整个同步处理过程的监控以及告警，可以提升监控的覆盖面，并提升告警处理的准确性。并且，通过实时查询接口对业务系统进行实时查询与反馈，可以及时获取到业务系统的同步状态数据，可以实现实时告警处理，可以进一步提升告警处理的准确性。

在其中一个实施例中，获取同步状态数据，可以包括：对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求；基于监控请求，调用实时查询接口；通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据。

在本实施例中，服务器可以以埋点的方式，对业务系统进行实时监控，以检测业务系统是否存在数据同步操作事件的发生。

在本实施例中，当服务器监控到业务系统的源端数据库与目标端数据库在执行数据同步操作时，则可以生成监控请求，以请求获取业务系统进行数据同步的同步状态数据。

具体地，服务器可以基于监控请求，调用实时查询接口，并根据调用的实时查询接口，将查询请求转发至业务系统，并获取业务系统反馈的同步状态数据。

在其中一个实施例中，通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据，可以包括：通过实时查询接口转发监控请求至预先配置于业务系统的监控代理服务，并接收监控代理服务反馈的数据同步的同步状态数据，监控代理服务用于监控源端数据库与目标端数据库的数据同步。

其中，监控代理服务可以具体是指监控程序，或者是由程序代码组成的监控控件，用于对源端数据库与目标端数据库的数据同步进行实时监控。

在本实施例中，继续参考图4，服务器可以预先在业务系统的源端数据库以及目标端数据库分别配置监控代理服务，实时调用接口可以实时获取监控代理服务采集到的源端数据库与目标端数据库的同步状态数据，并反馈至服务器，使得服务器进行后续的处理。

在本实施例中，各监控代理服务均可以进行进程的监控、延迟判定以及进程统计处理等，并生成对应的同步状态数据，并反馈至服务器。

上述实施例中，通过设置监控代理服务，并进行数据同步的同步状态数据的监控以及反馈，使得服务器可以基于接口实时获取到同步状态数据，可以实时获取到各同步状态数据，从而可以提升告警处理的及时性以及准确性。

在其中一个实施例中，同步状态数据可以包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种。

其中，进程状态数据是用于指示各业务进程的运行状态的数据，可以包括但不限于正常运行、启动过程中、正常关闭、非正常关闭等。

数据同步延迟数据是指在在进行数据同步时的数据延迟，可以是具体的延时时间。

进程统计数据可以是指对同步处理中各进程处理的统计数据等，可以包括具体地进程名称。

在本实施例中，对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别对缓存数据库中的进程状态、数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果。

在本实施例中，服务器可以从业务系统中分别获取各业务进程的进程状态、数据同步延迟数据以及进程统计数据，并分别进行同步异常判定处理。

具体地，在正常情况下，所有业务进程的进程状态应该为RUNNING，即正常运行，当至少一个进程的进程状态为非RUNNING时，服务器可以确定该业务进程异常，并生成异常的判定结果。

同理，延时应该在一个合理的范围内，如30分钟以内，格式是XX小时XX分钟XX秒。在本实施例中，服务器可以判断延迟时间是否大于00：30：00，当确定大于时，则确定同步状态数据异常，并生成对应的异常判定结果。

进一步，服务器可以基于获取到的进程统计数据，判定是否存在“No activereplication maps”(无效的隐射复制)，当服务器确定进程状态数据为No activereplication maps时，确定异常，并生成对应的异常判定结果。

在其中一个实施例中，确定进程状态数据异常的异常关键字还可以包括“Noactive”(无活动)、“ERROR”(错误)、“WARNING”(告警)等，本申请对此不作限制。

在本实施例中，基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，若进程状态、数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

在本实施例中，当至少一个判定结果指示同步状态数据异常时，服务器均可以进行异常告警，以指示运维端进行异常处理。

上述实施例中，通过从进程状态、数据同步延迟数据以及进程统计数据等多维度进行异常判定并进行异常告警，可以提升数据同步过程中异常告警处理的全面性，从而提升异常告警的准确性。

在其中一个实施例中，同步状态数据包括对应于源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及目标端数据库的数据复制流程的同步状态数据。

在本实施例中，业务系统在从源端数据库向目标端数据库进行数据同步时，可以通过多个处理流程实现，继续参考图3，可以包括位于源端数据库的数据选取流程(Extract流程)以及数据抽取流程(Datapump流程)，以及位于目标端数据库的复制流程(Repalicat流程)。

其中，Extract流程为从源端数据库抽取源端同步表，Datapump流程为从抽取的源端同步表中抽取出对应各目标端数据库的数据表，并分发至各目标端数据库，Repalicat流程为将分发至各目标端数据库的数据表赋值至各目标数据库中。

在本实施例中，结合参考图3和图4，源端数据库可以有1个或者多个，则对应源端数据库的Extract流程可以与源端数据库的数量一致，而对应源端数据库的Datapump流程可以多于源端数据库的数量。如，在图3中，源端数据库为1个，Datapump流程为2个，Extract流程与Datapump流程之间通过trailfile(跟踪文件)关联。而在图4中，源端数据库、Extract流程与Datapump流程均为一一对应的关系。

进一步，目标数据库的Repalicat流程与源端数据库的Datapump流程一一对应。目标数据库的Repalicat流程与目标数据库之间可以是一对一或者是多对一的关系。

在本实施例中，对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别基于缓存数据库中的各同步状态数据，对数据选取流程、数据抽取流程以及数据复制流程进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在本实施例中，服务器可以通过监控代理服务，分别获取对应各数据处理流程的各同步状态数据，并对各同步状态数据分别进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在本实施例中，当服务器基于生成的各判定结果，确定至少一个数据处理流程的同步状态数据异常时，则进行异常告警。

在本实施例中，继续参考图4，数据选取流程、数据抽取流程以及复制流程均可以包括多个，即包括多个数据选取流程、多个数据抽取流程或者是多个数据复制流程，服务器进行异常告警的告警信息中可以包括具体异常的数据处理流程的流程标识或者是流程名称，以及具体的异常原因，以使得运维人员可以准确获取异常出现的节点位置以及异常原因，进而可以提升后续异常处理的准确性。

在其中一个实施例中，基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，获取判定为异常的同步状态数据；识别同步状态数据的各字段，并生成展示列表数据；将展示列表数据发送终端，并通过终端进行展示。

在本实施例中，服务器在得到各判定结果之后，可以基于各判定结果，确定获取到的业务系统的全链路的同步状态数据中异常的同步状态数据，并提取出来进行后续的处理。

具体地，服务器可以对异常的同步状态数据的各个字段进行识别，如主机名称、数据库实例名称、OGG(Oracle Golden Gate)进程名称、进程运行状态、Group名称、延迟时间、检查点时间差，得到对应各个字段的字段名称以及字段内容，然后生成展示列表数据。

在本实施例中，展示列表数据可以基于设置的展示列表模板生成，例如，展示列表模板中定义了终端可以展示的行列数量等信息，服务器可以将识别得到的各个字段名称写入展示列表模板中，并将对应各字段内容填充至对应各字段名称的表格中，以得到展示列表数据。

进一步，服务器将生成的展示列表数据发送至终端，通过终端进行渲染展示。

在其中一个实施例中，用户可以通过监控web服务器，以web服务器上展示的展示列表实时查看整个OGG的运行统计情况，即通过web服务器实时查看OGG进行数据同步的同步状态数据，例如，web服务器可以控制1分钟自动刷新一次监控数据，即同步状态数据，并进行展示列表的刷新。

上述实施例中，通过筛选异常的同步状态数据，并通过展示列表的方式在终端进行渲染，使得用户可以通过终端直观查看数据同步异常情况，便于及时准确的进行处理。并且，通过仅展示异常的同步状态数据，可以减少终端的渲染展示数据数量，可以节约服务器与终端之间的传输数据量，进而可以提升传输效率。

在其中一个实施例中，上述方法还可以包括：将同步状态数据和/或判定结果上传至区块链节点中进行存储。

其中，区块链是指分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Block chain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

具体地，区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在本实施例中，服务器可以将同步状态数据和/或判定结果的一个或者多个数据上传并存储于区块链的节点中，以保证数据的私密性和安全性。

上述实施例中，通过将同步状态数据和/或判定结果上传至区块链并存储于区块链的节点中，从而可以保障存储至区块链节点中数据的私密性，可以提升数据的安全性。

在其中一个实施例中，上述数据处理过程可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种数据同步异常告警装置，包括：同步状态数据获取模块100、判定模块200以及异常告警模块300，其中：

同步状态数据获取模块100，用于获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据。

判定模块200，用于对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果。

异常告警模块300，用于基于判定结果，进行数据同步异常告警。

在其中一个实施例中，同步状态数据获取模块100，可以包括：

监控请求生成子模块，用于对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求。

调用子模块，用于基于监控请求，调用实时查询接口。

同步状态数据接收子模块，用于通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据。

在其中一个实施例中，同步状态数据接收子模块用于通过实时查询接口转发监控请求至预先配置于业务系统的监控代理服务，并接收监控代理服务反馈的数据同步的同步状态数据，监控代理服务用于监控源端数据库与目标端数据库的数据同步。

在其中一个实施例中，同步状态数据包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种。

在本实施例中，判定模块200用于分别对缓存数据库中的进程状态、数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果。

在本实施例中，异常告警模块300用于基于各判定结果，在确定进程状态、数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

在其中一个实施例中，同步状态数据可以包括对应于源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及目标端数据库的数据复制流程的同步状态数据。

在本实施例中，判定模块200用于分别基于缓存数据库中的各同步状态数据，对数据选取流程、数据抽取流程以及数据复制流程进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在其中一个实施例中，异常告警模块300，可以包括：

获取子模块，用于基于各判定结果，获取判定为异常的同步状态数据。

展示列表生成子模块，用于识别同步状态数据的各字段，并生成展示列表数据。

展示子模块，用于将展示列表数据发送终端，并通过终端进行展示。

在其中一个实施例中，上述装置还可以包括：

存储模块，用于将同步状态数据和/或判定结果上传至区块链节点中进行存储。

关于数据同步异常告警装置的具体限定可以参见上文中对于数据同步异常告警方法的限定，在此不再赘述。上述数据同步异常告警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储同步状态数据和/或判定结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步异常告警方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果；基于判定结果，进行数据同步异常告警。

在其中一个实施例中，处理器执行计算机程序时实现获取同步状态数据，可以包括：对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求；基于监控请求，调用实时查询接口；通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据。

在其中一个实施例中，处理器执行计算机程序时实现通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据，可以包括：通过实时查询接口转发监控请求至预先配置于业务系统的监控代理服务，并接收监控代理服务反馈的数据同步的同步状态数据，监控代理服务用于监控源端数据库与目标端数据库的数据同步。

在其中一个实施例中，同步状态数据可以包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种。

在本实施例中，处理器执行计算机程序时实现对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别对缓存数据库中的进程状态、数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果。

在本实施例中，处理器执行计算机程序时实现基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，若进程状态、数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

在其中一个实施例中，同步状态数据可以包括对应于源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及目标端数据库的数据复制流程的同步状态数据。

在本实施例中，处理器执行计算机程序时实现对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别基于缓存数据库中的各同步状态数据，对数据选取流程、数据抽取流程以及数据复制流程进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在其中一个实施例中，处理器执行计算机程序时实现基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，获取判定为异常的同步状态数据；识别同步状态数据的各字段，并生成展示列表数据；将展示列表数据发送终端，并通过终端进行展示。

在其中一个实施例中，处理器执行计算机程序时还可以实现以下步骤：将同步状态数据和/或判定结果上传至区块链节点中进行存储。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取同步状态数据，并存储至缓存数据库中，同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果；基于判定结果，进行数据同步异常告警。

在其中一个实施例中，计算机程序被处理器执行时实现获取同步状态数据，可以包括：对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求；基于监控请求，调用实时查询接口；通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据。

在其中一个实施例中，计算机程序被处理器执行时实现通过实时查询接口转发监控请求至业务系统，并接收业务系统反馈的数据同步的同步状态数据，可以包括：通过实时查询接口转发监控请求至预先配置于业务系统的监控代理服务，并接收监控代理服务反馈的数据同步的同步状态数据，监控代理服务用于监控源端数据库与目标端数据库的数据同步。

在其中一个实施例中，同步状态数据可以包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种。

在本实施例中，计算机程序被处理器执行时实现对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别对缓存数据库中的进程状态、数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果。

在本实施例中，计算机程序被处理器执行时实现基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，若进程状态、数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

在其中一个实施例中，同步状态数据可以包括对应于源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及目标端数据库的数据复制流程的同步状态数据。

在本实施例中，计算机程序被处理器执行时实现对缓存数据库中的同步状态数据进行数据同步异常判定，生成对应的判定结果，可以包括：分别基于缓存数据库中的各同步状态数据，对数据选取流程、数据抽取流程以及数据复制流程进行数据同步异常判定，并生成对应数据选取流程、数据抽取流程以及数据复制流程的各判定结果。

在其中一个实施例中，计算机程序被处理器执行时实现基于判定结果，进行数据同步异常告警，可以包括：基于各判定结果，获取判定为异常的同步状态数据；识别同步状态数据的各字段，并生成展示列表数据；将展示列表数据发送终端，并通过终端进行展示。

在其中一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：将同步状态数据和/或判定结果上传至区块链节点中进行存储。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据同步异常告警方法，其特征在于，所述方法包括：

获取同步状态数据，并存储至缓存数据库中，所述同步状态数据包括基于实时查询接口从业务系统获取到的源端数据库与目标端数据库进行数据同步时的同步状态数据；

对所述缓存数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果；

基于所述判定结果，进行数据同步异常告警。

2.根据权利要求1所述的方法，其特征在于，所述获取同步状态数据，包括：

对业务系统进行监控，并在监控到源端数据库与目标端数据库执行数据同步时，生成监控请求；

基于所述监控请求，调用实时查询接口；

通过所述实时查询接口转发所述监控请求至所述业务系统，并接收所述业务系统反馈的数据同步的同步状态数据。

3.根据权利要求2所述的方法，其特征在于，所述通过所述实时查询接口转发所述监控请求至所述业务系统，并接收所述业务系统反馈的数据同步的同步状态数据，包括：

通过所述实时查询接口转发所述监控请求至预先配置于所述业务系统的监控代理服务，并接收所述监控代理服务反馈的数据同步的同步状态数据；所述监控代理服务用于监控所述源端数据库与所述目标端数据库的数据同步。

4.根据权利要求1所述的方法，其特征在于，所述同步状态数据包括业务系统中业务进程的进程状态、数据同步延迟数据以及进程统计数据中至少一种；

所述对所述缓存数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果，包括：

分别对所述缓存数据库中的所述进程状态、所述数据同步延迟数据或进程统计数据进行同步异常判定，并生成对应的各判定结果；

所述基于所述判定结果，进行数据同步异常告警，包括：

基于各所述判定结果，若所述进程状态、所述数据同步延迟数据以及进程统计数据中至少一个异常，则进行同步异常告警。

5.根据权利要求1所述的方法，其特征在于，所述同步状态数据包括对应于所述源端数据库的数据选取流程和数据抽取流程的同步状态数据，以及所述目标端数据库的数据复制流程的同步状态数据；

所述对所述缓存数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果，包括：

分别基于所述缓存数据库中的各所述同步状态数据，对所述数据选取流程、所述数据抽取流程以及所述数据复制流程进行数据同步异常判定，并生成对应所述数据选取流程、所述数据抽取流程以及所述数据复制流程的各判定结果。

6.根据权利要求1所述的方法，其特征在于，所述基于所述判定结果，进行数据同步异常告警，包括：

基于各所述判定结果，获取判定为异常的同步状态数据；

识别所述同步状态数据的各字段，并生成展示列表数据；

将所述展示列表数据发送终端，并通过终端进行展示。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

将所述同步状态数据和/或所述判定结果上传至区块链节点中进行存储。

8.一种数据同步异常告警装置，其特征在于，所述装置包括：

同步状态数据获取模块，用于获取同步状态数据，并存储至缓存数据库中，所述同步状态数据包括基于实时查询接口从业务系统的源端数据库以及目标端数据库获取的数据同步的同步状态数据；

判定模块，用于对所述缓存数据库中的所述同步状态数据进行数据同步异常判定，生成对应的判定结果；

异常告警模块，用于基于所述判定结果，进行数据同步异常告警。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images