CN111371900B - 一种监测同步链路健康状态的方法及系统 - Google Patents

一种监测同步链路健康状态的方法及系统 Download PDF

Info

Publication number
CN111371900B
CN111371900B CN202010175877.XA CN202010175877A CN111371900B CN 111371900 B CN111371900 B CN 111371900B CN 202010175877 A CN202010175877 A CN 202010175877A CN 111371900 B CN111371900 B CN 111371900B
Authority
CN
China
Prior art keywords
verification
time
monitoring module
kafka
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175877.XA
Other languages
English (en)
Other versions
CN111371900A (zh
Inventor
张海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010175877.XA priority Critical patent/CN111371900B/zh
Publication of CN111371900A publication Critical patent/CN111371900A/zh
Application granted granted Critical
Publication of CN111371900B publication Critical patent/CN111371900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种监测同步链路健康状态的方法,应用于kafka数据同步系统,该方法包括:发送端通过kafka集群将验证数据发送至消费端,其中,kafka集群包括多个kafka分区,验证数据包括验证标识信息和验证时间;消费端接收发送端发送的验证数据,并将验证数据发送至存储端;监测模块从存储端获取验证数据,若监测模块验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态,否则,确定同步链路为非健康状态,其中,目标kafka分区是与验证标识信息对应的kafka分区。本发明可以主动获取故障信息,确定出现故障的具体同步链路。

Description

一种监测同步链路健康状态的方法及系统
技术领域
本申请涉及数据同步领域,尤其涉及一种监测同步链路健康状态的方法及系统。
背景技术
当前数据同步的过程为,生产端将数据通过kafka系统发送至各消费端,消费端再将数据存储在对应的存储端。举例来说,一条信息如果想要同步到各个服务器,使得用户可以从所在地区的服务器查看该信息,那么需要信息发送者将信息内容通过kafka系统发送至全国各省份的服务器,各省份的服务器再将信息内容存储在各自相应的存储设备中。其中,服务器为消费端,信息发送者为生产端,存储设备为存储端。
如果生产端和存储端之间的某条同步链路出现问题,那么处于消费端的用户将无法获取到相应的数据,需要用户主动反馈错误信息,生产端才能得知同步链路出现故障,生产端获取故障信息较为被动,不利于及时修复同步链路。
因此本申请提供了一种监测同步链路健康状态的方法及系统,能够主动获取同步链路的健康状态。
发明内容
为了解决上述技术问题,本申请提供了一种监测同步链路健康状态的方法及系统。
第一方面,本申请提供了一种监测同步链路健康状态的方法,所述方法应用于kafka数据同步系统,所述kafka数据同步系统包括发送端、kafka 集群、消费端、存储端和监测模块,所述方法包括:
所述发送端通过kafka集群将验证数据发送至消费端,其中,所述kafka 集群包括多个kafka分区,所述验证数据包括验证标识信息和验证时间;所述消费端接收所述发送端发送的验证数据,并将所述验证数据发送至所述存储端;所述监测模块从所述存储端获取所述验证数据,并判断所述验证时间是否满足预设时间规则,以及所述验证标识信息与预设标识信息是否相同;若所述验证时间满足预设时间规则,且所述验证标识信息与所述预设标识信息相同,则监测模块确定在所述验证时间下,与目标kafka分区和所述存储端对应的同步链路为健康状态,否则,确定所述同步链路为非健康状态,其中,所述目标kafka分区是与所述验证标识信息对应的kafka分区。
可选的,所述方法还包括:
监测模块根据预设的标识信息与kafka分区的对应关系,确定与所述验证标识信息对应的目标kafka分区。
可选的,所述判断所述验证时间是否满足时间规则包括:
监测模块判断所述验证时间是否等于上一次验证时间和预设时间间隔的和值;
若所述验证时间等于上一次验证时间和预设时间间隔的和值,则监测模块判定所述验证时间满足时间规则。
可选的,所述监测模块从所述存储端获取所述验证数据包括:
监测模块定时发送验证数据请求至所述存储端;
从所述存储端接收所述验证数据。
可选的,所述监测模块从所述存储端获取所述验证数据包括:
监测模块定时接收所述存储端发送的所述验证数据。
可选的,所述方法还包括:
监测模块以预设时间间隔为横轴,健康存储端的数量为纵轴建立平面坐标系,其中,所述健康存储端指与存储端关联的所有同步链路均处于健康状态的存储端;
监测模块根据确定的各验证时间、和在各验证时间下健康存储端的数量生成折线图;
监测模块通过显示装置显示所述折线图。
第二方面,本申请提供了一种监测同步链路健康状态的系统,其特征在于,所述系统包括:发送端、kafka集群、消费端、存储端和监测模块,其中,
所述发送端,用于通过kafka集群将验证数据发送至所述消费端,其中,
所述kafka集群包括多个kafka分区,所述验证数据包括验证标识信息和验证时间;
所述消费端接收所述发送端发送的验证数据,并将所述验证数据发送至所述存储端;
所述监测模块,用于获取所述存储端中的验证数据;若所述监测模块判断所述验证时间满足预设时间规则,且所述验证标识信息与所述预设标识信息相同,则确定在所述验证时间下,与目标kafka分区和所述存储端对应的同步链路为健康状态,否则,确定所述同步链路为非健康状态,其中,所述目标kafka分区是与所述验证标识信息对应的kafka分区。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该方法,发送端通过kafka集群将验证数据发送至消费端,kafka集群包括多个kafka分区,消费端接收发送端发送的验证数据,并将验证数据发送至存储端。监测模块从存储端获取验证数据,若监测模块验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态,否则,确定同步链路为非健康状态,其中,目标kafka分区是与验证标识信息对应的kafka分区。本发明可以主动获取故障信息,及时得知同步链路出现故障,并确定具体是哪条同步链路出现故障,减小了确定故障同步链路的难度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种监测同步链路健康状态的系统示意图;
图2为本申请实施例提供的一种监测同步链路健康状态的方法流程图;
图3为本申请实施例提供的判断验证时间是否满足时间规则的方法流程图;
图4为本申请实施例提供的生成折线图的方法流程图;
图5为本申请实施例提供的生成的折线图的示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种监测同步链路健康状态的方法,可以应用于一种监测同步链路健康状态的系统,具体的可以由一种监测同步链路健康状态的系统中的监测模块执行。如图1所示,为本申请实施例提供了一种监测同步链路健康状态的系统的示意图,该系统包括发送端、kafka集群、消费端、存储端和监测模块,kafka集群包括三个分区,消费端包括上海消费端、北京消费端和武汉消费端,存储端包括上海存储端、北京存储端和武汉存储端,发送端可以将验证数据发送至kafka集群的至少一个分区, kafka集群的每个分区将接收到的验证数据分别发送至三个消费端,每个消费端将接收到的验证数据发送至对应的存储端。
发送端根据标识信息和kafka分区的对应关系,将验证数据发送至与验证标识信息对应的kafka集群中的目标kafka分区,目标kafka分区将接收到的验证数据发送至消费端,消费端将接收到的验证数据发送至存储端,监测模块获取存储端中的验证数据,其中,验证数据包括验证标识信息和验证时间;若监测模块判断验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态,否则,确定同步链路为非健康状态,其中,目标 kafka分区是与验证标识信息对应的kafka分区。
发送端以固定周期发送验证数据至各存储端,验证数据包括验证时间,监测模块定时获取并解析存储端中的验证数据,其中,监测模块的获取时间间隔不大于发送端的发送时间间隔,监测模块根据确定的各验证时间T、和在各验证时间下健康存储端的数量N生成折线图。同步链路在健康状态下,折线情况为y=N,代表发送端每次定时发送的验证数据,在各存储端都能获取到验证数据;若折线情况为y<N,表示某存储端未获取到验证数据,同步链路为非健康状态。
本申请实施例将复杂的kafka数据同步系统抽象成一个模块,只有一个输入和N个输出,通过监测模块可以监测同步链路的健康状态,主动获取同步链路的状态,以便于在同步链路出现故障时及时发现并解决故障。
下面将结合具体实施方式,对本申请实施例提供的一种监测同步链路健康状态的方法进行详细的说明,该方法应用于kafka数据同步系统,kafka 数据同步系统包括发送端、kafka集群、消费端、存储端和监测模块,如图 2所示,具体步骤如下:
步骤201:发送端通过kafka集群将验证数据发送至消费端。
其中,kafka集群包括多个kafka分区,验证数据包括验证标识信息和验证时间。
在本申请实施例中,kafka集群包括多个kafka分区,发送端可以将验证数据发送至kafka集群的至少一个分区,kafka集群的分区接收发送端发送的验证数据,并将验证数据分别发送至三个消费端。
举例来说,kafka集群包括三个分区,存储端包括上海存储端、北京存储端和武汉存储端,发送端将验证数据发送至kafka分区1,kafka分区1 将接收到的部分验证数据分别发送至上海存储端、北京存储端和武汉存储端。
其中,验证数据包括验证标识信息和验证时间,验证标识信息为验证数据的标识信息,验证时间为发送端发送验证数据的时间。
在本申请实施例中,监测模块获取存储端中的验证数据,举例来说,验证数据为{"key":"test2","cache":"2019-12-08 10:10:10"},其中验证标识信息"test2",表示验证数据的标识信息为"test2";验证时间为"2019-12-08 10:10:10",表示发送端发送验证数据的时间为2019年12月08日10点10 分10秒。
步骤202:消费端接收发送端发送的验证数据,并将验证数据发送至存储端。
在本申请实施例中,消费端接收发送端发送的验证数据,并将验证数据发送至存储端,存储端用于存储该验证数据。
步骤203:监测模块从存储端获取验证数据,并判断验证时间是否满足预设时间规则,以及验证标识信息与预设标识信息是否相同;若验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态,否则,确定同步链路为非健康状态,其中,目标kafka分区是与验证标识信息对应的kafka分区。
具体的,发送端定时发送验证数据至存储端,监测模块定时获取存储端中的验证数据,监测模块的获取时间间隔不大于发送端的发送时间间隔,保证获取到的验证数据是最新的。
举例来说,发送端每隔1分钟发送一次验证数据至存储端,监测模块每隔1分钟获取一次存储端中的验证数据,或每隔20秒钟获取一次存储端中的验证数据。
可选的,监测模块从存储端获取验证数据包括:监测模块定时发送验证数据请求至存储端;从存储端接收验证数据。
在本申请实施例中,监测模块定时发送验证数据请求至存储端,存储端接收到监测模块定时发送的验证数据请求后,存储端根据验证数据请求查找相应的验证数据,并将该验证数据发送至监测模块,监测模块接收存储端发送的验证数据。其中,发送端的发送时间间隔包括n个监测模块的获取时间间隔,n为正整数。
举例来说,发送端每隔1分钟发送一次验证数据至存储端,监测模块每隔10秒钟获取一次存储端中的验证数据,或每隔20秒钟获取一次存储端中的验证数据,每隔30秒钟获取一次存储端中的验证数据。
发送端的发送时间间隔包括n个监测模块的获取时间间隔,表示监测模块会在发送时间间隔内获取n次验证数据,监测模块将获取到的n次验证数据合并,作为一次发送时间间隔获取到的验证数据。监测模块主动多次获取验证数据,在验证数据多次获取扔获取不到的情况下,才确定与该验证数据关联的同步链路发生故障,避免了将同步链路短暂性故障作为故障,以便于技术人员去修复影响较大的故障。
举例来说,如果监测模块每隔20秒钟获取一次存储端中的验证数据,那么监测模块要在发送时间间隔内1分钟内获取三次验证数据,监测模块将三次验证数据合并,作为1分钟的获取结果。
可选的,监测模块从存储端获取验证数据包括:监测模块定时接收存储端发送的验证数据。
在本申请实施例中,存储端接收到发送端定时发送的验证数据后,将该验证数据发送至监测模块,监测模块定时接收存储端发送的验证数据。
存储端主动发送验证数据至监测模块,无需监测模块主动获取,提高监测模块的效率。
在本申请实施例中,监测模块判断验证时间是否满足预设时间规则,以及验证标识信息与预设标识信息是否相同。若监测模块判断到验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态;若监测模块判断到验证时间不满足预设时间规则,或验证标识信息与预设标识信息不相同,则表示在验证时间下,与目标kafka分区和存储端对应的同步链路为非健康状态。
在本申请实施例中,若监测模块判断到验证时间满足预设时间规则,且验证标识信息与预设标识信息相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为健康状态。其中,目标kafka分区是与验证标识信息对应的kafka分区。
若监测模块判断到验证时间不满足预设时间规则,或验证标识信息与预设标识信息不相同,则监测模块确定在验证时间下,与目标kafka分区和存储端对应的同步链路为非健康状态。
表一为监测模块的数据。如表一所示,验证时间为"2019-12-08 10:12:10"时,预设标识信息为"test2",监测模块接收到的上海存储端的验证标识信息为空,监测模块接收到的上海存储端的验证标识信息为空有两种情况:
情况一:上海存储端从未接收到验证数据,表示验证标识信息与"test2" 不相同,那么验证标识信息为空。
情况二:上海存储端在2019-12-08 10:12:10时并没有接收到验证数据,因此监测模块在2019-12-08 10:12:10时获取到的为存储在上海存储端中的 2019-12-08 10:12:10之前的验证数据,验证时间不满足预设时间规则,上海存储端的验证标识信息也会显示为空。
根据以上两种情况,上海存储端的验证标识信息显示为空,表示验证时间不满足预设时间规则,或验证标识信息与预设标识信息不相同,由于验证标识信息对应的目标kafka分区为kafka分区2,那么2019-12-08 10:12:10 时,与kafka分区2和上海存储端对应的同步链路为非健康状态。
表一
Figure BDA0002410803730000081
Figure BDA0002410803730000091
可选的,监测模块根据预设的标识信息与kafka分区的对应关系,确定与验证标识别信息对应的目标kafka分区。
在本申请实施例中,监测模块根据预设的标识信息与kafka分区的对应关系,确定与验证标识别信息对应的目标kafka分区。
举例来说,验证标识信息为"test2",监测模块根据预设的标识信息与 kafka分区的对应关系,确定与"test2"对应的目标kafka分区为kafka分区2。
可选的,如图3所示,监测模块判断验证时间是否满足时间规则包括:
步骤301:监测模块判断验证时间是否等于上一次验证时间和预设时间间隔的和值。
在本申请实施例中,由于发送端是定时发送验证数据,而验证数据中包含验证时间,因此发送端是定时发送验证时间,监测模块从存储端接收到验证数据后,监测模块判断验证时间是否等于上一次验证时间和预设时间间隔的和值,若监测模块判断验证时间等于上一次验证时间和预设时间间隔的和值,表示验证时间满足时间规则;若监测模块判断验证时间不等于上一次验证时间和预设时间间隔的和值,表示验证时间不满足时间规则。
步骤302:若验证时间等于上一次验证时间和预设时间间隔的和值,则监测模块判定验证时间满足时间规则。
在本申请实施例中,若监测模块判断验证时间等于上一次验证时间和预设时间间隔的和值,表示验证时间满足时间规则。
举例来说,监测模块接收到的验证数据中的验证时间为2019-12-08 10:10:10,上一次验证时间为2019-12-08 10:09:10,预设时间间隔为1分钟,则验证时间等于上一次验证时间和预设时间间隔的和值,表示验证时间满足时间规则。
监测模块接收到的验证数据中的验证时间为2019-12-08 10:09:10,上一次验证时间为2019-12-08 10:09:10,预设时间间隔为1分钟,则验证时间不等于上一次验证时间和预设时间间隔的和值,表示验证时间不满足时间规则。
本申请实施例判定验证时间等于上一次验证时间和预设时间间隔的和值,表示验证时间满足时间规则,从而保证获取到的验证数据是连续的,没有遗漏验证数据。
可选的,如图4所示,方法还包括:
步骤401:监测模块以预设时间间隔为横轴,健康存储端的数量为纵轴建立平面坐标系。
其中,健康存储端指与存储端关联的所有同步链路均处于健康状态的存储端。
在本申请实施例中,监测终端在获取到验证数据后,以预设时间间隔为横轴,健康存储端的数量为纵轴建立平面坐标系。一个存储端可以关联多条同步链路,当一个存储端的多条同步链路均为健康状态,则该存储端为健康存储端。
举例来说,预设时间间隔为1分钟,平面坐标系的横轴为1分钟的预设时间间隔,纵轴为健康存储端的数量。存储端包括3个,分别为上海存储端、北京存储端和武汉存储端,每个存储端都关联3条同步链路,当每个存储端的3条同步链路均为健康状态,该存储端为健康存储端。
步骤402:监测模块根据确定的各验证时间、和在各验证时间下健康存储端的数量生成折线图。
在本申请实施例中,监测终端根据接收到的验证数据,确定验证数据中包含的验证时间,并判断在验证时间时,存储端的同步链路是否都处于健康状态,若监测终端判定验证时间时存储端的同步链路都处于健康状态,则该存储端为健康存储端;若监测终端判定验证时间时存储端的同步链路不是都处于健康状态,则该存储端为非健康存储端。监测终端根据确定的各验证时间、和在各验证时间下健康存储端的数量生成折线图。
步骤403:监测模块通过显示装置显示折线图。
在本申请实施例中,监测终端通过显示装置显示折线图,以使用户根据该折线图得到健康存储端数量下降的验证时间,并根据该验证时间在表一中查询:在该验证时间时,出现故障的存储端和目标kafka分区,以确定与目标kafka分区和存储端对应的同步链路为非健康状态。用户可以根据该折线图得知健康存储端的整体变化情况。
如图5所示,图5为健康存储端的折线图,从图中可以看到,水平线在10:12:10出现下降,表示在10:12:10出现故障,用户可以在表一中查询, 10:12:10时上海存储端的kafka分区2的验证数据为空,表示10:12:10时,与kafka分区2和上海存储端对应的同步链路为非健康状态。
基于相同的技术构思,本发明实施例还提供了一种电子设备,如图6 所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现以上方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一一种监测同步链路健康状态的方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上检测时,使得计算机执行上述实施例中任一一种监测同步链路健康状态的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种监测同步链路健康状态的方法,其特征在于,所述方法应用于kafka数据同步系统,所述kafka数据同步系统包括发送端、kafka集群、消费端、存储端和监测模块,所述方法包括:
所述发送端通过kafka集群将验证数据发送至消费端,其中,所述kafka集群包括多个kafka分区,所述验证数据包括验证标识信息和验证时间;
所述消费端接收所述发送端发送的验证数据,并将所述验证数据发送至所述存储端;
所述监测模块从所述存储端获取所述验证数据,并判断所述验证时间是否满足预设时间规则,以及所述验证标识信息与预设标识信息是否相同;若所述验证时间满足预设时间规则,且所述验证标识信息与所述预设标识信息相同,则监测模块确定在所述验证时间下,与目标kafka分区和所述存储端对应的同步链路为健康状态,否则,确定所述同步链路为非健康状态,其中,所述目标kafka分区是与所述验证标识信息对应的kafka分区;
其中,所述判断所述验证时间是否满足时间规则包括:
监测模块判断所述验证时间是否等于上一次验证时间和预设时间间隔的和值;
若所述验证时间等于上一次验证时间和预设时间间隔的和值,则监测模块判定所述验证时间满足时间规则。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监测模块根据预设的标识信息与kafka分区的对应关系,确定与所述验证标识信息对应的目标kafka分区。
3.根据权利要求1所述的方法,其特征在于,所述监测模块从所述存储端获取所述验证数据包括:
监测模块定时发送验证数据请求至所述存储端;
从所述存储端接收所述验证数据。
4.根据权利要求1所述的方法,其特征在于,所述监测模块从所述存储端获取所述验证数据包括:
监测模块定时接收所述存储端发送的所述验证数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监测模块以预设时间间隔为横轴,健康存储端的数量为纵轴建立平面坐标系,其中,所述健康存储端指与存储端关联的所有同步链路均处于健康状态的存储端;
监测模块根据确定的各验证时间、和在各验证时间下健康存储端的数量生成折线图;
监测模块通过显示装置显示所述折线图。
6.一种监测同步链路健康状态的系统,其特征在于,所述系统包括:发送端、kafka集群、消费端、存储端和监测模块,其中,
所述发送端,用于通过kafka集群将验证数据发送至所述消费端,其中,所述kafka集群包括多个kafka分区,所述验证数据包括验证标识信息和验证时间;
所述消费端接收所述发送端发送的验证数据,并将所述验证数据发送至所述存储端;
所述监测模块,用于获取所述存储端中的验证数据;若所述监测模块判断所述验证时间满足预设时间规则,且所述验证标识信息与所述预设标识信息相同,则确定在所述验证时间下,与目标kafka分区和所述存储端对应的同步链路为健康状态,否则,确定所述同步链路为非健康状态,其中,所述目标kafka分区是与所述验证标识信息对应的kafka分区;
所述监测模块还用于:
判断所述验证时间是否等于上一次验证时间和预设时间间隔的和值;若所述验证时间等于上一次验证时间和预设时间间隔的和值,则监测模块判定所述验证时间满足时间规则。
CN202010175877.XA 2020-03-13 2020-03-13 一种监测同步链路健康状态的方法及系统 Active CN111371900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010175877.XA CN111371900B (zh) 2020-03-13 2020-03-13 一种监测同步链路健康状态的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010175877.XA CN111371900B (zh) 2020-03-13 2020-03-13 一种监测同步链路健康状态的方法及系统

Publications (2)

Publication Number Publication Date
CN111371900A CN111371900A (zh) 2020-07-03
CN111371900B true CN111371900B (zh) 2022-07-12

Family

ID=71206732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175877.XA Active CN111371900B (zh) 2020-03-13 2020-03-13 一种监测同步链路健康状态的方法及系统

Country Status (1)

Country Link
CN (1) CN111371900B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425941A (zh) * 2008-12-04 2009-05-06 北京星网锐捷网络技术有限公司 一种环网链路收敛时间或恢复时间测试系统
CN102075987A (zh) * 2009-11-24 2011-05-25 中国移动通信集团四川有限公司 获取短信链路异常信息的方法、系统及网管监控服务器
CN107683586A (zh) * 2015-06-04 2018-02-09 思科技术公司 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN107683597A (zh) * 2015-06-04 2018-02-09 思科技术公司 用于异常检测的网络行为数据收集和分析
CN108173835A (zh) * 2017-12-25 2018-06-15 北京奇艺世纪科技有限公司 一种验证的方法、装置、服务器和终端
CN108880897A (zh) * 2018-06-29 2018-11-23 平安科技(深圳)有限公司 服务器的验收方法、装置、计算机设备及存储介质
CN110597794A (zh) * 2019-08-08 2019-12-20 阿里巴巴集团控股有限公司 数据处理方法、装置和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459594B (zh) * 2007-12-14 2011-04-13 华为技术有限公司 Bfd报文的发送方法、链路故障的探测方法及装置
CN103840900A (zh) * 2014-03-25 2014-06-04 哈尔滨工业大学 雷达应答机通信链路测试系统与方法
US10140206B2 (en) * 2015-11-17 2018-11-27 Proov Systems Ltd. Computerized method and end-to-end “pilot as a service” system for controlling start-up/enterprise interactions
US10826940B2 (en) * 2016-03-11 2020-11-03 Netskope, Inc. Systems and methods of enforcing multi-part policies on data-deficient transactions of cloud computing services
CN107015872B (zh) * 2016-12-09 2018-03-16 上海壹账通金融科技有限公司 监控数据的处理方法及装置
CN106713487B (zh) * 2017-01-16 2020-10-09 腾讯科技(深圳)有限公司 数据的同步方法和装置
CN108881379B (zh) * 2018-05-03 2021-04-16 网宿科技股份有限公司 一种服务器集群间数据同步的方法和装置
CN109788053B (zh) * 2019-01-04 2022-04-29 深圳壹账通智能科技有限公司 数据同步方法和系统
CN110083660A (zh) * 2019-04-29 2019-08-02 重庆天蓬网络有限公司 一种同步数据的方法、装置、介质和电子设备
CN110457178A (zh) * 2019-07-29 2019-11-15 江苏艾佳家居用品有限公司 一种基于日志采集分析的全链路监控告警方法
CN110704458B (zh) * 2019-08-15 2023-04-18 平安科技(深圳)有限公司 数据同步方法、装置、计算机设备及存储介质
CN110688254B (zh) * 2019-09-06 2022-06-03 北京达佳互联信息技术有限公司 一种数据同步方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425941A (zh) * 2008-12-04 2009-05-06 北京星网锐捷网络技术有限公司 一种环网链路收敛时间或恢复时间测试系统
CN102075987A (zh) * 2009-11-24 2011-05-25 中国移动通信集团四川有限公司 获取短信链路异常信息的方法、系统及网管监控服务器
CN107683586A (zh) * 2015-06-04 2018-02-09 思科技术公司 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN107683597A (zh) * 2015-06-04 2018-02-09 思科技术公司 用于异常检测的网络行为数据收集和分析
CN108173835A (zh) * 2017-12-25 2018-06-15 北京奇艺世纪科技有限公司 一种验证的方法、装置、服务器和终端
CN108880897A (zh) * 2018-06-29 2018-11-23 平安科技(深圳)有限公司 服务器的验收方法、装置、计算机设备及存储介质
CN110597794A (zh) * 2019-08-08 2019-12-20 阿里巴巴集团控股有限公司 数据处理方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Priscila Alves Lima ; Antonio Sa Barreto Neto ; Paulo Romero Marti."Data Centers Service Restoration Based on Distributed Agents Decision".《 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》.2019,全文. *
张娜 ; 史佳炳 ; 吴彪 ; 包晓安 ; 文艺霏."基于Netty和Kafka的IOT终端服务系统设计方案".《浙江理工大学学报(自然科学版)》.2020,全文. *
王岩 ; 王纯."一种基于Kafka的可靠的Consumer的设计方案".《软件》.2016,全文. *

Also Published As

Publication number Publication date
CN111371900A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN110581887B (zh) 数据处理方法、装置、区块链节点及存储介质
CN111078659B (zh) 模型更新方法、装置、计算机可读存储介质和计算机设备
CN109995612B (zh) 一种服务巡检方法、装置及电子设备
CN113032412B (zh) 数据同步方法、装置、电子设备和计算机可读介质
CN111711544B (zh) 链路拨测方法、装置、电子设备及存储介质
US20160063078A1 (en) Automatic identification and tracking of log entry schemas changes
CN114064208A (zh) 检测应用服务状态的方法、装置、电子设备及存储介质
CN111782502A (zh) 一种自动化测试的方法及装置
US11341842B2 (en) Metering data management system and computer readable recording medium
CN109600254B (zh) 全链路日志的生成方法及相关系统
CN109150587B (zh) 一种维护方法和装置
CN111371900B (zh) 一种监测同步链路健康状态的方法及系统
CN111309693A (zh) 一种数据同步方法、装置、系统、电子设备及存储介质
CN115296979B (zh) 一种故障处理方法、装置、设备及存储介质
CN107807885B (zh) 任务信息显示方法及装置
CN112054934A (zh) 一种协议检测方法、装置及电子设备
CN115203158A (zh) 一种数据比对方法、装置、设备以及存储介质
CN111400327B (zh) 一种数据同步方法、装置、电子设备及存储介质
CN108805741B (zh) 一种电能质量数据的融合方法、装置及系统
CN113961632A (zh) 消息数据处理方法、装置及电子设备
CN115002135B (zh) 多端协同方法、装置、系统及计算机可读存储介质
CN109471790A (zh) 送核参数比对方法及装置、计算机装置及可读存储介质
CN116739789B (zh) 虚拟物品回测信息发送方法、装置、电子设备和介质
CN112559087B (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN117608932A (zh) 一种延时任务的处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant