CN111586129A - 针对数据同步的报警方法、装置、电子设备及存储介质 - Google Patents

针对数据同步的报警方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111586129A
CN111586129A CN202010352844.8A CN202010352844A CN111586129A CN 111586129 A CN111586129 A CN 111586129A CN 202010352844 A CN202010352844 A CN 202010352844A CN 111586129 A CN111586129 A CN 111586129A
Authority
CN
China
Prior art keywords
abnormal information
data synchronization
alarm
aggregated
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010352844.8A
Other languages
English (en)
Inventor
朱博帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010352844.8A priority Critical patent/CN111586129A/zh
Publication of CN111586129A publication Critical patent/CN111586129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明实施例提供了一种针对数据同步的报警方法、装置、电子设备及存储介质，上述方法包括：获取在进行数据同步的过程中所产生的异常信息，异常信息表示在进行数据同步的过程中的异常情况；按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，得到聚合后的异常信息，聚合后的异常信息为将聚合前的异常信息进行去重后所得到的；将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当第一时长不小于第一预设时长阈值时，按照聚合后的异常信息，触发一级报警。采用本发明实施例提供的方案，针对聚合后的异常信息进行报警，减少了无效报警，并且根据聚合后的异常信息进行报警也提高了报警效率。

Description

针对数据同步的报警方法、装置、电子设备及存储介质
技术领域
本发明涉及数据维护技术领域，特别是涉及一种针对数据同步的报警方法、装置、电子设备及存储介质。
背景技术
在数据处理领域中，为了保证实时数据同步的正常进行，可以通过报警的方式，将进行数据同步时发生的异常情况及时告知运维人员，以便及时解决数据同步时所出现的问题。
现有的报警方式可以包括位点报警和延迟报警。位点报警是针对进行数据同步时发生阻塞的报警，延迟报警是针对数据同步过慢的报警。以位点报警为例，其中，位点是指源端已经同步完成的数据的最新位置，源端是指进行数据同步的发起端，位点报警的报警判断方法为：位点在一定的时间段内不发生变化时则触发位点报警。由于进行数据同步的同步数据流数量众多，当部分数据流完成数据同步后，由于已完成的部分数据流的位点不发生变化，也有可能触发位点报警。然而，正常情况下，已完成的部分数据流的位点本身不再变化，因此针对已完成的部分数据流的位点不发生变化所触发的位点报警为无效报警。
因此，现有的针对实时数据同步的报警方式，由于进行数据同步的同步数据流数量众多，存在无效报警过多的问题。
发明内容
本发明实施例的目的在于提供一种针对数据同步的报警方法，用以解决现有的针对实时数据同步的报警所存在的无效报警过多的问题。
为达到上述目的，本发明实施例提供了一种针对数据同步的报警方法，包括：
获取在进行数据同步的过程中所产生的异常信息，所述异常信息表示在进行数据同步的过程中的异常情况；
按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，所述聚合后的异常信息为将聚合前的所述异常信息进行去重后所得到的；
将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警。
进一步的，在所述当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警之后，还包括：
根据所述聚合后的异常信息，处理数据同步的过程中的异常情况；
在异常情况处理完成后，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第二时长，当所述第二时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发二级报警，所述二级报警的级别高于所述一级报警，且所述二级报警与所述一级报警对应的处理方式不同。
进一步的，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
监测从源端将数据写入目标端时所述目标端的状态，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
当所述目标端无法写入数据时，确定发生异常，记录所产生的异常信息作为同步异常信息。
进一步的，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述同步异常信息时，从多个所述同步异常信息中选取一个所述同步异常信息，作为聚合后的异常信息。
进一步的，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
监测从源端同步数据至目标端的过程中，所述源端已经完成同步的数据的最新位置，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
当所述最新位置在第二预设时长阈值内未发生变化时，确定发生异常，记录所产生的异常信息作为位点异常信息。
进一步的，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述位点异常信息时，从多个所述位点异常信息中选取一个所述位点异常信息，作为聚合后的异常信息。
进一步的，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
记录从源端同步数据至目标端的过程中，所述目标端已写入数据的时刻，作为写入时刻，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
将所述已写入数据的执行时刻距离所述写入时刻所经过的时间段，作为延迟时长差值，其中，所述执行时刻为所述已写入数据在所述源端被执行同步至所述目标端的时刻，当所述延迟时长差值大于第三预设时长阈值时，确定发生异常，记录所产生的异常信息作为延迟异常信息。
进一步的，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述延迟异常信息时，从多个所述延迟异常信息中选取一个所述延迟异常信息，作为聚合后的异常信息。
为了达到上述目的，本发明实施例还提供了一种针对数据同步的报警装置，包括：
异常信息获取模块，用于获取在进行数据同步的过程中所产生的异常信息，所述异常信息表示在进行数据同步的过程中的异常情况；
异常信息聚合模块，用于按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，所述聚合后的异常信息为将聚合前的所述异常信息进行去重后所得到的；
一级报警触发模块，用于将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警。
进一步的，所述装置，还包括：
异常情况处理模块，用于根据所述聚合后的异常信息，处理数据同步的过程中的异常情况；
二级报警触发模块，用于在异常情况处理完成后，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第二时长，当所述第二时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发二级报警，所述二级报警的级别高于所述一级报警，且所述二级报警与所述一级报警对应的处理方式不同。
进一步的，所述异常信息获取模块，具体用于监测从源端将数据写入目标端时所述目标端的状态，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；当所述目标端无法写入数据时，确定发生异常，记录所产生的异常信息作为同步异常信息。
进一步的，所述异常信息聚合模块，具体用于当所获取的预设时间段内产生的所述异常信息中，存在多个所述同步异常信息时，从多个所述同步异常信息中选取一个所述同步异常信息，作为聚合后的异常信息。
进一步的，所述异常信息获取模块，具体用于监测从源端同步数据至目标端的过程中，所述源端已经完成同步的数据的最新位置，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；当所述最新位置在第二预设时长阈值内未发生变化时，确定发生异常，记录所产生的异常信息作为位点异常信息。
进一步的，所述异常信息聚合模块，具体用于当所获取的预设时间段内产生的所述异常信息中，存在多个所述位点异常信息时，从多个所述位点异常信息中选取一个所述位点异常信息，作为聚合后的异常信息。
进一步的，所述异常信息获取模块，具体用于记录从源端同步数据至目标端的过程中，所述目标端已写入数据的时刻，作为写入时刻，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；将所述已写入数据的执行时刻距离所述写入时刻所经过的时间段，作为延迟时长差值，其中，所述执行时刻为所述已写入数据在所述源端被执行同步至所述目标端的时刻，当所述延迟时长差值大于第三预设时长阈值时，确定发生异常，记录所产生的异常信息作为延迟异常信息。
进一步的，所述异常信息聚合模块，具体用于当所获取的预设时间段内产生的所述异常信息中，存在多个所述延迟异常信息时，从多个所述延迟异常信息中选取一个所述延迟异常信息，作为聚合后的异常信息。
为了达到上述目的，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述针对数据同步的报警方法步骤。
为了达到上述目的，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的针对数据同步的报警方法步骤。
为了达到上述目的，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的针对数据同步的报警方法步骤。
本发明实施例有益效果：
本发明实施例所提供的针对数据同步的报警方法，通过按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，其中，聚合后的异常信息相比聚合前的异常信息，减少了针对同一异常情况的多条重复异常信息，因此，针对聚合后的异常信息进行报警，减少了无效报警。并且根据聚合后的异常信息进行报警提高了报警效率，进一步的，也提高了针对所报警的异常信息所表示的异常情况的处理效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的针对数据同步的报警方法的一种流程图；
图2为本发明实施例提供的针对数据同步的报警方法的另一种流程图；
图3为本发明实施例提供的针对数据同步的报警的处理流程图；
图4为本发明实施例提供的获取异常信息的一种流程图；
图5为本发明实施例提供的获取异常信息的另一种流程图；
图6为本发明实施例提供的获取异常信息的又一种流程图；
图7为本发明实施例提供的针对数据同步的报警装置的一种结构示意图；
图8为本发明实施例提供的针对数据同步的报警装置的另一种结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
由于现有技术存在针对实时数据同步的报警中无效报警过多的问题，为解决这一技术问题，本发明实施例提供了一种针对数据同步的报警方法，如图1所示，包括：
步骤101，获取在进行数据同步的过程中所产生的异常信息，异常信息表示在进行数据同步的过程中的异常情况。
步骤102，按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，得到聚合后的异常信息，聚合后的异常信息为将聚合前的异常信息进行去重后所得到的。
步骤103，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当第一时长不小于第一预设时长阈值时，按照聚合后的异常信息，触发一级报警。
采用本发明实施例提供的针对数据同步的报警方法，通过按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，其中，聚合后的异常信息相比聚合前的异常信息，减少了针对同一异常情况的多条重复异常信息，因此，针对聚合后的异常信息进行报警，减少了无效报警。并且根据聚合后的异常信息进行报警提高了报警效率，进一步的，也提高了针对所报警的异常信息所表示的异常情况的处理效率。
下面通过具体实施例对本发明实施例提供的针对数据同步的报警方法及装置进行详细描述。
本发明实施例公开的针对数据同步的报警方法，如图2所示，可以包括如下步骤：
步骤201，获取在进行数据同步的过程中所产生的异常信息，异常信息表示在进行数据同步的过程中的异常情况。
本发明实施例中，可以通过监测从源端向目标端所进行的数据同步的过程，获取数据同步的过程中所产生的异常信息，其中，源端为进行数据同步的发起端，目标端为接收从源端写入的同步数据的接收端。
其中，数据同步的过程中的异常情况可以是数据同步过程中出现的报错。具体可以包括：实时同步装置本身捕获的报错，以及向目标端写入同步数据的报错。实时同步装置可以用于将源端的获取源端的数据，并将从源端获取的数据同步写入目标端。
步骤202，按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，得到聚合后的异常信息，聚合后的异常信息为将聚合前的异常信息进行去重后所得到的。
本步骤中，预设时间段可以根据实际应用情况具体设定，例如可以设定为10秒钟。本发明实施例中，对所获取的预设时间段内产生的异常信息进行聚合，具体的可以是将针对表示同一种异常情况的多条异常信息进行合并，保留其中一条异常信息作为聚合后的异常信息。
步骤203，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，判断第一时长是否不小于第一预设时长阈值，若判断结果为是，执行步骤204，若判断结果为否，执行步骤205。
本发明实施例中，数据同步的最新位点具体可以是：源端已经同步完成的数据的最新位置；数据同步的最新位点的时间戳可以表示源端已经同步完成数据到最新位置的时刻。本步骤中，第一预设时长阈值可以根据实际应用情况具体设定，例如可以设定第一预设时长阈值为1秒。
举例说明：设定的第一预设时长阈值为1秒，数据同步的最新位点的时间戳为10时10分10秒，当前时刻为同日的10时10分12秒，此时第一时长为2秒，进而可以判断出第一时长不小于第一预设时长阈值。
步骤204，当第一时长不小于第一预设时长阈值时，按照聚合后的异常信息，触发一级报警。
步骤205，当第一时长小于第一预设时长阈值时，隐匿聚合后的异常信息。
采用本发明实施例提供的针对数据同步的报警方法，通过按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，其中，聚合后的异常信息相比聚合前的异常信息，减少了针对同一异常情况的多条重复异常信息，因此，针对聚合后的异常信息进行报警，减少了无效报警。并且，通过判断第一时长是否不小于第一预设时长阈值，当判断为是时再触发一级报警，进一步对报警流程进行把控，减少无效报警。根据聚合后的异常信息进行报警提高了报警效率，进一步的，也提高了针对所报警的异常信息所表示的异常情况的处理效率。
本发明实施例中，在触发一级报警之后，可以采用如下步骤处理一级报警的报警内容，如图3所示，可以包括：
步骤301，在触发一级报警之后，根据聚合后的异常信息，处理数据同步的过程中的异常情况。
步骤302，在异常情况处理完成后，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第二时长，当第二时长不小于第一预设时长阈值时，按照聚合后的异常信息，触发二级报警，二级报警的级别高于一级报警。
本发明实施例中，在处理数据同步的过程中的异常情况时，依然可以从源端同步数据至目标端，即本步骤中，异常情况处理完成后的数据同步的最新位点的时间戳，与对异常情况进行处理之前的数据同步的最新位点的时间戳可以是不同的。
本发明实施例中，二级报警与一级报警对应的处理方式不同。具体的，一级报警可以是上报至运维处理平台的报警，运维处理平台在接收到一级报警后，可以根据一级报警的内容对数据同步的过程中的异常情况进行自发处理。针对运维处理平台无法处理的数据同步的过程中的异常情况，可以通过触发二级报警，二级报警可以是向运维人员发送的电话报警，即可以向运维人员发送电话报警，通过运维人员对数据同步的过程中的异常情况进行进一步的处理。
本发明实施例提供的上述方法，先对一级报警的内容进行处理，再进一步第二时长与第一预设时长阈值的大小，当第二时长不小于第一预设时长阈值时再触发二级报警，通过二级报警对运维处理平台无法处理的数据同步的过程中的异常情况做进一步处理，这种方式统一和简化了对不同异常信息的处理方法，并避免了报警的误判。
本发明实施例中，获取从源端向目标端所进行的数据同步的过程中所产生的异常信息，具体可以采用如下方式：
第一种方式：如图4所示，具体可以包括如下步骤：
步骤401，监测从源端将数据写入目标端时目标端的状态。
步骤402，当目标端无法写入数据时，确定发生异常，记录所产生的异常信息作为同步异常信息。
本步骤中，在数据同步的不同阶段可以由java编程语言提供的try-catch(尝试捕获)机制捕获同步异常信息。例如，在将同步数据写入目标端阶段可以获取到“目标端已宕机不可用”的异常信息；在进行同步数据转换阶段可以获取到“某字段为空导致数据格式转换失败”的异常信息。也可以通过在数据同步程序中所做的最外层异常信息捕获机制，获取未经处理的异常信息。
第二种方式：如图5所示，具体可以包括如下步骤：
步骤501，监测从源端同步数据至目标端的过程中，源端已经完成同步的数据的最新位置。
步骤502，当最新位置在第二预设时长阈值内未发生变化时，确定发生异常，记录所产生的异常信息作为位点异常信息。
本步骤中，第二预设时长阈值可以根据实际应用进行具体设定。
第三种方式：如图6所示，具体可以包括如下步骤：
步骤601，记录从源端同步数据至目标端的过程中，目标端已写入数据的时刻，作为写入时刻。
步骤602，将已写入数据的执行时刻距离写入时刻所经过的时间段，作为延迟时长差值，其中，执行时刻为已写入数据在源端被执行同步至目标端的时刻，当延迟时长差值大于第三预设时长阈值时，确定发生异常，记录所产生的异常信息作为延迟异常信息。
本步骤中，第三预设时长阈值可以根据实际应用进行具体设定。
本发明实施例中，按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，得到聚合后的异常信息，具体可以采用如下聚合规则：
第一种聚合规则：当所获取的预设时间段内产生的异常信息中，存在多个同步异常信息时，从多个同步异常信息中选取一个同步异常信息，作为聚合后的异常信息，其中，聚合后的异常信息合并了全部同步异常信息；
第二种聚合规则：当所获取的预设时间段内产生的异常信息中，存在多个位点异常信息时，从多个位点异常信息中选取一个位点异常信息，作为聚合后的异常信息，具体的，可以将最新获取的位点异常信息，作为聚合后的异常信息；
第三种聚合规则：当所获取的预设时间段内产生的异常信息中，存在多个延迟异常信息时，从多个延迟异常信息中选取一个延迟异常信息，作为聚合后的异常信息；
第四种聚合规则：当所获取的预设时间段内产生的异常信息中，既存在同步异常信息又存在位点异常信息，可以从同步异常信息选取一个同步异常信息，作为聚合后的异常信息。
基于同一发明构思，根据本发明上述实施例提供的一种针对数据同步的报警方法，相应地，本发明另一实施例还提供了一种针对数据同步的报警装置，其结构示意图如图7所示，具体包括：
异常信息获取模块701，用于获取在进行数据同步的过程中所产生的异常信息，异常信息表示在进行数据同步的过程中的异常情况；
异常信息聚合模块702，用于按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，得到聚合后的异常信息，聚合后的异常信息为将聚合前的异常信息进行去重后所得到的；
一级报警触发模块703，用于将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当第一时长不小于第一预设时长阈值时，按照聚合后的异常信息，触发一级报警。
可见，采用本发明实施例提供的针对数据同步的报警装置，通过按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，其中，聚合后的异常信息相比聚合前的异常信息，减少了针对同一异常情况的多条重复异常信息，因此，针对聚合后的异常信息进行报警，减少了无效报警。并且根据聚合后的异常信息进行报警提高了报警效率，进一步的，也提高了针对所报警的异常信息所表示的异常情况的处理效率。
进一步的，针对数据同步的报警装置，如图8所示，还包括：
异常情况处理模块801，用于根据聚合后的异常信息，处理数据同步的过程中的异常情况；
二级报警触发模块802，用于在异常情况处理完成后，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第二时长，当第二时间长不小于第一预设时长阈值时，按照聚合后的异常信息，触发二级报警，二级报警的级别高于一级报警，且二级报警与一级报警对应的处理方式不同。
进一步的，异常信息获取模块701，具体用于监测从源端将数据写入目标端时目标端的状态，其中，源端为进行数据同步的发起端，目标端为接收从源端写入的同步数据的接收端；当目标端无法写入数据时，确定发生异常，记录所产生的异常信息作为同步异常信息。
进一步的，异常信息聚合模块702，具体用于当所获取的预设时间段内产生的异常信息中，存在多个同步异常信息时，从多个同步异常信息中选取一个同步异常信息，作为聚合后的异常信息。
进一步的，异常信息获取模块701，具体用于监测从源端同步数据至目标端的过程中，源端已经完成同步的数据的最新位置，其中，源端为进行数据同步的发起端，目标端为接收从源端写入的同步数据的接收端；当最新位置在第二预设时长阈值内未发生变化时，确定发生异常，记录所产生的异常信息作为位点异常信息。
进一步的，异常信息聚合模块702，具体用于当所获取的预设时间段内产生的异常信息中，存在多个位点异常信息时，从多个位点异常信息中选取一个位点异常信息，作为聚合后的异常信息。
进一步的，异常信息获取模块701，具体用于记录从源端同步数据至目标端的过程中，目标端已写入数据的时刻，作为写入时刻，其中，源端为进行数据同步的发起端，目标端为接收从源端写入的同步数据的接收端；将已写入数据的执行时刻距离写入时刻所经过的时间段，作为延迟时长差值，其中，执行时刻为已写入数据在源端被执行同步至目标端的时刻，当延迟时长差值大于第三预设时长阈值时，确定发生异常，记录所产生的异常信息作为延迟异常信息。
进一步的，异常信息聚合模块702，具体用于当所获取的预设时间段内产生的异常信息中，存在多个延迟异常信息时，从多个延迟异常信息中选取一个延迟异常信息，作为聚合后的异常信息。
可见，采用本发明实施例提供的针对数据同步的报警装置，通过按照预设的聚合规则，对所获取的预设时间段内产生的异常信息进行聚合，其中，聚合后的异常信息相比聚合前的异常信息，减少了针对同一异常情况的多条重复异常信息，因此，针对聚合后的异常信息进行报警，减少了无效报警。并且，通过一级报警和二级报警，进一步对报警流程进行把控，减少无效报警。根据聚合后的异常信息进行报警提高了报警效率，进一步的，也提高了针对所报警的异常信息所表示的异常情况的处理效率。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：
获取在进行数据同步的过程中所产生的异常信息，所述异常信息表示在进行数据同步的过程中的异常情况；
按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，所述聚合后的异常信息为将聚合前的所述异常信息进行去重后所得到的；
将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一针对数据同步的报警方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一针对数据同步的报警方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种针对数据同步的报警方法，其特征在于，所述方法包括：
获取在进行数据同步的过程中所产生的异常信息，所述异常信息表示在进行数据同步的过程中的异常情况；
按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，所述聚合后的异常信息为将聚合前的所述异常信息进行去重后所得到的；
将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警。
2.根据权利要求1所述的方法，其特征在于，在所述当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警之后，还包括：
根据所述聚合后的异常信息，处理数据同步的过程中的异常情况；
在异常情况处理完成后，将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第二时长，当所述第二时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发二级报警，所述二级报警的级别高于所述一级报警，且所述二级报警与所述一级报警对应的处理方式不同。
3.根据权利要求1所述的方法，其特征在于，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
监测从源端将数据写入目标端时所述目标端的状态，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
当所述目标端无法写入数据时，确定发生异常，记录所产生的异常信息作为同步异常信息。
4.根据权利要求3所述的方法，其特征在于，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述同步异常信息时，从多个所述同步异常信息中选取一个所述同步异常信息，作为聚合后的异常信息。
5.根据权利要求1所述的方法，其特征在于，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
监测从源端同步数据至目标端的过程中，所述源端已经完成同步的数据的最新位置，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
当所述最新位置在第二预设时长阈值内未发生变化时，确定发生异常，记录所产生的异常信息作为位点异常信息。
6.根据权利要求5所述的方法，其特征在于，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述位点异常信息时，从多个所述位点异常信息中选取一个所述位点异常信息，作为聚合后的异常信息。
7.根据权利要求1所述的方法，其特征在于，所述获取在进行数据同步的过程中的所产生的异常信息，包括：
记录从源端同步数据至目标端的过程中，所述目标端已写入数据的时刻，作为写入时刻，其中，所述源端为进行数据同步的发起端，所述目标端为接收从所述源端写入的同步数据的接收端；
将所述已写入数据的执行时刻距离所述写入时刻所经过的时间段，作为延迟时长差值，其中，所述执行时刻为所述已写入数据在所述源端被执行同步至所述目标端的时刻，当所述延迟时长差值大于第三预设时长阈值时，确定发生异常，记录所产生的异常信息作为延迟异常信息。
8.根据权利要求7所述的方法，其特征在于，所述按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，包括：
当所获取的预设时间段内产生的所述异常信息中，存在多个所述延迟异常信息时，从多个所述延迟异常信息中选取一个所述延迟异常信息，作为聚合后的异常信息。
9.一种针对数据同步的报警装置，其特征在于，所述装置包括：
异常信息获取模块，用于获取在进行数据同步的过程中所产生的异常信息，所述异常信息表示在进行数据同步的过程中的异常情况；
异常信息聚合模块，用于按照预设的聚合规则，对所获取的预设时间段内产生的所述异常信息进行聚合，得到聚合后的异常信息，所述聚合后的异常信息为将聚合前的所述异常信息进行去重后所得到的；
一级报警触发模块，用于将从数据同步的最新位点的时间戳到当前时刻所经过的时长，作为第一时长，当所述第一时长不小于第一预设时长阈值时，按照所述聚合后的异常信息，触发一级报警。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202010352844.8A 2020-04-28 2020-04-28 针对数据同步的报警方法、装置、电子设备及存储介质 Pending CN111586129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352844.8A CN111586129A (zh) 2020-04-28 2020-04-28 针对数据同步的报警方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352844.8A CN111586129A (zh) 2020-04-28 2020-04-28 针对数据同步的报警方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111586129A true CN111586129A (zh) 2020-08-25

Family

ID=72119884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352844.8A Pending CN111586129A (zh) 2020-04-28 2020-04-28 针对数据同步的报警方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111586129A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806188A (zh) * 2021-11-18 2021-12-17 苏州浪潮智能科技有限公司 一种数据同步告警的方法、装置、设备及可读介质
CN116088381A (zh) * 2023-01-31 2023-05-09 惠州市海葵信息技术有限公司 设备报警数据处理方法、控制器以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647299A (zh) * 2012-04-24 2012-08-22 网宿科技股份有限公司 基于内容分发网络的层次化报警分析方法和系统
US20150071308A1 (en) * 2013-09-10 2015-03-12 Anue Systems, Inc. System And Method For Monitoring Network Synchronization
EP2924575A2 (en) * 2014-03-26 2015-09-30 Rockwell Automation Technologies, Inc. Cloud-based global alarm annunciation system for industrial systems
CN105245408A (zh) * 2015-11-06 2016-01-13 上海斐讯数据通信技术有限公司 数据同步监控方法及装置
US20170155560A1 (en) * 2015-12-01 2017-06-01 Quanta Computer Inc. Management systems for managing resources of servers and management methods thereof
CN107196804A (zh) * 2017-06-01 2017-09-22 国网山东省电力公司信息通信公司 电力系统终端通信接入网告警集中监控系统及方法
CN108234465A (zh) * 2017-12-26 2018-06-29 创新科存储技术有限公司 一种分布式文件系统中应对异常的冗余方法和装置
CN109614283A (zh) * 2018-10-24 2019-04-12 世纪龙信息网络有限责任公司 分布式数据库集群的监控系统
CN110457185A (zh) * 2019-07-25 2019-11-15 北京奇艺世纪科技有限公司 一种异常报警方法、装置及电子设备
CN110727560A (zh) * 2019-10-12 2020-01-24 北京百度网讯科技有限公司 云服务报警方法及装置
CN110727533A (zh) * 2019-09-26 2020-01-24 华青融天(北京)软件股份有限公司 一种告警的方法、装置、设备和介质
CN110912949A (zh) * 2018-09-14 2020-03-24 北京京东尚科信息技术有限公司 位点提交方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647299A (zh) * 2012-04-24 2012-08-22 网宿科技股份有限公司 基于内容分发网络的层次化报警分析方法和系统
US20150071308A1 (en) * 2013-09-10 2015-03-12 Anue Systems, Inc. System And Method For Monitoring Network Synchronization
EP2924575A2 (en) * 2014-03-26 2015-09-30 Rockwell Automation Technologies, Inc. Cloud-based global alarm annunciation system for industrial systems
CN105245408A (zh) * 2015-11-06 2016-01-13 上海斐讯数据通信技术有限公司 数据同步监控方法及装置
US20170155560A1 (en) * 2015-12-01 2017-06-01 Quanta Computer Inc. Management systems for managing resources of servers and management methods thereof
CN107196804A (zh) * 2017-06-01 2017-09-22 国网山东省电力公司信息通信公司 电力系统终端通信接入网告警集中监控系统及方法
CN108234465A (zh) * 2017-12-26 2018-06-29 创新科存储技术有限公司 一种分布式文件系统中应对异常的冗余方法和装置
CN110912949A (zh) * 2018-09-14 2020-03-24 北京京东尚科信息技术有限公司 位点提交方法和装置
CN109614283A (zh) * 2018-10-24 2019-04-12 世纪龙信息网络有限责任公司 分布式数据库集群的监控系统
CN110457185A (zh) * 2019-07-25 2019-11-15 北京奇艺世纪科技有限公司 一种异常报警方法、装置及电子设备
CN110727533A (zh) * 2019-09-26 2020-01-24 华青融天(北京)软件股份有限公司 一种告警的方法、装置、设备和介质
CN110727560A (zh) * 2019-10-12 2020-01-24 北京百度网讯科技有限公司 云服务报警方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806188A (zh) * 2021-11-18 2021-12-17 苏州浪潮智能科技有限公司 一种数据同步告警的方法、装置、设备及可读介质
CN116088381A (zh) * 2023-01-31 2023-05-09 惠州市海葵信息技术有限公司 设备报警数据处理方法、控制器以及存储介质
CN116088381B (zh) * 2023-01-31 2024-02-06 惠州市海葵信息技术有限公司 设备报警数据处理方法、控制器以及存储介质

Similar Documents

Publication Publication Date Title
CN110213068B (zh) 一种消息中间件的监控方法及相关设备
US9442785B2 (en) Fault symptom detection method and information processing apparatus
CN110224885B (zh) 设备监控的告警方法、装置、存储介质及电子设备
US20180062909A1 (en) Log monitoring system
JP4573179B2 (ja) 性能負荷異常検出システム、性能負荷異常検出方法、及びプログラム
CN111104238B (zh) 一种基于ce的内存诊断的方法、设备及介质
CN113590429B (zh) 一种服务器故障诊断方法、装置及电子设备
CN111796959B (zh) 宿主机容器自愈方法、装置及系统
TWI666560B (zh) 記錄事件的電子裝置及其方法
CN107341258A (zh) 一种日志数据采集方法及系统
CN111586129A (zh) 针对数据同步的报警方法、装置、电子设备及存储介质
CN118301194B (zh) 基于云端可编程平台的数据存储方法、边缘网关、存储介质
CN117370469A (zh) 用于在大数据环境中高效数据复制的方法和系统
WO2022037536A1 (zh) 故障处理方法、装置、网络设备和存储介质
CN109861843B (zh) 日志文件的完整采集确认方法、装置及设备
WO2024139333A1 (zh) 存储集群运行状态的预测方法及装置
CN113656247A (zh) 一种服务监控方法、装置、电子设备及可读存储介质
JP2015035160A (ja) 監視データ記憶装置、監視データ記憶方法およびプログラム
JP2014153736A (ja) 障害予兆検出方法、プログラムおよび装置
CN108512698B (zh) 一种网络容灾方法、装置及电子设备
CN115733740A (zh) 日志检测方法、装置、计算机设备及计算机可读存储介质
CN113485872B (zh) 故障处理方法、装置及分布式存储系统
CN115033927A (zh) 一种检测数据完整性的方法、装置、设备及介质
KR102109536B1 (ko) 장애 유형 기반의 서버 장애 진단 및 대응 방법
CN112631808A (zh) 数据同步方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication