CN116132340A - 节点监控方法和装置 - Google Patents

节点监控方法和装置 Download PDF

Info

Publication number
CN116132340A
CN116132340A CN202310142359.1A CN202310142359A CN116132340A CN 116132340 A CN116132340 A CN 116132340A CN 202310142359 A CN202310142359 A CN 202310142359A CN 116132340 A CN116132340 A CN 116132340A
Authority
CN
China
Prior art keywords
node
data transmission
tracking instruction
source master
transmission channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310142359.1A
Other languages
English (en)
Inventor
冯剑侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202310142359.1A priority Critical patent/CN116132340A/zh
Publication of CN116132340A publication Critical patent/CN116132340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本公开的实施例提供了一种节点监控方法和装置。所述节点监控方法包括:首先基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道,然后响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,并且响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,最后基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,利用追踪指令在数据传输管道中进行传输,获取到追踪指令每通过一个数据传输节点时的接收时间及节点地址,实现了对数据传输通道中的每个数据传输节点的监控。

Description

节点监控方法和装置
技术领域
本公开的实施例涉及计算机技术领域和互联网技术领域,具体涉及信息通信技术领域,尤其涉及节点监控方法和装置。
背景技术
目前随着技术不断发展与进步,为了提升系统容灾能力和提高并发能力,核心系统会进行多机房部署来提升并发能力及高可用,例如采用异地多活等,而数据同步是异地多活的基础,所有具备数据存储能力的组件如:数据库、缓存、MQ等,在异地多活场景中都需要进行数据同步,来保证多机房间数据低延迟的传输。
数据同步过程中中间传输节点需跨地域部署,数据同步经过多个节点,有较大的传输延时,在此情况下,数据节点监控多数在外围管道上进行埋点来收集监控信息,从而导致了监控信息的不完整,链路上存在着漏采的节点,在发生网络延时等异常时,无法精准定位延时节点。
发明内容
本公开的实施例提出了一种节点监控方法、装置、电子设备和计算机可读介质。
第一方面,本公开的实施例提供了一种节点监控方法,该方法包括:基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令;响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间;基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息。
在一些实施例中,响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,包括:响应于确定源主节点向目标节点发送同步数据,获取源主节点的工作状态;判断源主节点的工作状态是否为预设状态;响应于确定源主节点的工作状态是预设状态,控制源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,还包括:响应于确定源主节点的工作状态不是预设状态,获取源主节点对应的多个从节点;基于多个从节点,确定新的源主节点;响应于确定新的源主节点与数据传输通道连接,控制新的源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,控制源主节点基于数据传输通道发送第一追踪指令,包括:判断数据传输通道对应的目标节点是否为预设节点;响应于确定目标节点是预设节点,控制源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,多个数据传输节点包括消费者节点;以及,响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,包括:响应于接收到消费者节点发送的第二追踪指令,判断第二追踪指令是否与第一追踪指令对应;响应于确定第二追踪指令与第一追踪指令对应,对第二追踪指令进行解析,获取到解析后的追踪指令,其中,第二追踪指令是数据传输通道中多个数据传输节点依次对第一追踪指令进行节点地址和接收时间添加得到的指令;从解析后的追踪指令中获取到多个数据传输节点的节点地址和接收时间。
在一些实施例中,基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,包括:基于多个数据传输节点的节点地址和接收时间,获取数据传输通道对应的数据传输时长;将数据传输时长与预设时长进行比较,基于比较结果,生成数据传输通道对应的节点监控信息。
第二方面,本公开的实施例提供了一种节点监控装置,该装置包括:构建模块,被配置成基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;控制模块,被配置成响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令;获取模块,被配置成响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间;生成模块,被配置成基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息。
在一些实施例中,控制模块,进一步被配置成:响应于确定源主节点向目标节点发送同步数据,获取源主节点的工作状态;判断源主节点的工作状态是否为预设状态;响应于确定源主节点的工作状态是预设状态,控制源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,控制模块,进一步被配置成:响应于确定源主节点的工作状态不是预设状态,获取源主节点对应的多个从节点;基于多个从节点,确定新的源主节点;响应于确定新的源主节点与数据传输通道连接,控制新的源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,控制模块,进一步被配置成:判断数据传输通道对应的目标节点是否为预设节点;响应于确定目标节点是预设节点,控制源主节点基于数据传输通道发送第一追踪指令。
在一些实施例中,多个数据传输节点包括消费者节点;以及,获取模块,进一步被配置成:响应于接收到消费者节点发送的第二追踪指令,判断第二追踪指令是否与第一追踪指令对应;响应于确定第二追踪指令与第一追踪指令对应,对第二追踪指令进行解析,获取到解析后的追踪指令,其中,第二追踪指令是数据传输通道中多个数据传输节点依次对第一追踪指令进行节点地址和接收时间添加得到的指令;从解析后的追踪指令中获取到多个数据传输节点的节点地址和接收时间。
在一些实施例中,生成模块,进一步被配置成:基于多个数据传输节点的节点地址和接收时间,获取数据传输通道对应的数据传输时长;将数据传输时长与预设时长进行比较,基于比较结果,生成数据传输通道对应的节点监控信息。
第三方面,本公开的实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实施例描述的节点监控方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实施例描述的节点监控方法。
本公开的实施例提供的节点监控方法,上述执行主体首先基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道,然后响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,并且响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,最后基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,利用追踪指令在数据传输管道中进行传输,获取到追踪指令每通过一个数据传输节点时的接收时间及节点地址,实现了对数据传输通道中的每个数据传输节点的监控,反映数据同步全链路的延时情况,可实现同步链路的实时监控及故障节点精准定位,能够及时定位存在问题的数据传输节点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的节点监控方法的一个实施例的流程图;
图3是根据本公开的控制源主节点基于数据传输通道发送第一追踪指令的一个实施例的流程图;
图4是根据本公开的控制源主节点基于数据传输通道发送第一追踪指令的另一个实施例的流程图;
图5是根据本公开的获取多个数据传输节点的节点地址和接收时间的一个实施例的流程图;
图6是根据本公开的节点监控装置的一个实施例的结构示意图;
图7是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关公开,而非对该公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的实施例的节点监控方法和装置的示例性系统架构100。
如图1所示,系统架构100可以包括数据中心A、数据中心B、设置在数据中心A一侧的生产者节点、设置在数据中心B一侧的消费者节点和监控中心。
其中,数据中心A中包括源主节点,数据中心B中包括目标节点,源主节点与生产者节点、消费者节点和目标节点之间连接,构建数据传输通道,该数据传输通道可以用于将源主节点中的数据同步至目标节点。
其中,源主节点与目标节点可以是异地数据中心中的数据缓存节点,也可以是同城不同数据中心中的数据缓存节点,还可以是同一个数据中心中的主节点和从节点。
其中,生产者节点用于对源主节点中的数据进行拉取、解析和数据传输。消费者节点用于对数据进行接收并写入目标节点。
监控中心可以与生产者节点和消费者节点相连接,可以根据源主节点和目标节点,构建包括多个数据传输节点的数据传输通道,以使得源主节点可以利用数据传输通道将数据同步至目标节点。然后监控中心可以确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,使得第一追踪指令可以按照数据传输通道依次发送至每个数据传输节点。并且监控中心可以接收到与第一追踪指令对应的第二追踪指令,该第二追踪指令可以是第一追踪指令经过每个数据传输节点后的指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,最后基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息
需要说明的是,本公开的实施例所提供的节点监控方法可以由监控中心执行。相应地,节点监控装置设置于监控中心中。
参考图2,示出了根据本公开的节点监控方法的一个实施例的流程200。该节点监控方法包括以下步骤:
步骤210,基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道。
在本步骤中,节点监控方法运行于其上的执行主体(例如图1中的监控中心)可以接收数据同步请求,该数据同步请求可以是源主节点和目标节点之间的请求。
然后上述执行主体对数据同步请求进行解析,确定出该数据同步请求对应的源主节点和目标节点,并且根据源主节点和目标节点,构建出源主节点和目标节点对应的数据传输通道,该数据传输通道可以包括多个数据传输节点,每个数据传输节点之间连接来实现源主节点和目标节点之间的连接,该数据传输通道可以用于将源主节点的数据传输至目标节点,实现源主节点和目标节点之间的数据同步。
步骤220,响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令。
在本步骤中,数据传输节点可以包括生产者节点和消费者节点,从而在数据传输通道构建完成后,生产者节点可以从源主节点中拉取数据,并对提取的数据进行解析和封装,将封装后的数据传输给下一个数据传输节点,经过多个数据传输节点进行传输,直至消费者节点接收到封装后的数据,将封装后的数据写入目标节点,从而完成源主节点和目标节点之间的数据同步。
上述执行主体可以通过配置集(config set)预先对源主节点进行追踪指令配置,使得源主节点可以按照预设周期发送追踪指令,上述执行主体可以对源主节点和目标节点的数据传输通道进行检测,确定源主节点通过数据传输通道向目标节点发送同步数据后,可以控制源主节点通过数据传输通道发送第一追踪指令,使得第一追踪指令能够与同步数据一致经由每个数据传输通道进行传输。
数据传输通道中的每个数据传输节点能够依次接收到第一追踪指令,并对第一追踪指令进行解析,确定出接收到的是追踪指令后,可以获取自身的节点地址和接收时间,并将节点地址和接收时间添加至第一追踪指令后,从而可以获取到附加有每个数据传输节点的节点地址和接收时间的第二追踪指令。
上述源主节点可以按照预设周期通过数据传输通道发送第一追踪指令,该第一追踪指令可以包括源主节点的节点地址和发送时间。
步骤230,响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间。
在本步骤中,上述执行主体可以获取到与第一追踪指令对应的第二追踪指令,对第二追踪指令进行解析,获取到数据传输通道中多个数据传输节点的节点地址和接收时间。其中,节点地址可以表征每个数据传输节点的本地IP地址,接收时间可以表征每个数据传输节点接收到追踪指令的时间。
步骤240,基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息。
在本步骤中,上述执行主体获取到多个数据传输节点的节点地址和接收时间后,可以根据数据传输通道中每个数据传输节点之间的连接顺序和多个数据传输节点的接收时间,计算源主节点至目标节点之间的第一传输时长。以及,上述执行主体根据每个数据传输节点之间的连接顺序和多个数据传输节点的接收时间,计算每两个数据传输节点之间的第二传输时长。
然后上述执行主体可以将第一传输时长和第一预设时长进行比较,判断第一传输时长是否大于第一预设时长,还可以将第二传输时长和第二预设时长进行比较,判断第二传输时长是否大于第二预设时长。上述执行主体分别获取到第一传输时长和第二传输时长的比较结果后,可以根据比较结果生成数据传输通道对应的节点监控信息。
作为示例,若第一传输时长大于第一预设时长,则确定数据传输通道异常,并进一步根据第二传输时长和比较结果,确定异常的数据传输节点,最后根据异常的数据传输节点生成表征数据传输通道异常的节点监控信息。
作为示例,若第一传输时长不大于第一预设时长,则确定数据传输通道正常,生成表征数据传输通道正常的节点监控信息。
作为一个可选实现方式,上述步骤240,基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,可以包括以下步骤:
第一步,基于多个数据传输节点的节点地址和接收时间,获取数据传输通道对应的数据传输时长。
具体地,上述执行主体获取到多个数据传输节点的节点地址和接收时间后,可以根据数据传输通道中每个数据传输节点之间的连接顺序和多个数据传输节点的接收时间确定出目标节点接收数据的接收时间。然后上述执行主体根据源主节点的发送时间和目标节点的接收时间,计算数据传输通道对应的数据传输时长。
第二步,将数据传输时长与预设时长进行比较,基于比较结果,生成数据传输通道对应的节点监控信息。
具体地,上述执行主体获取到数据传输时长后,将数据传输时长与预设时长进行比较,判断数据传输时长是否大于预设时长。若确定数据传输时长大于预设时长,上述执行主体确定数据传输通道存在异常,则生成表征数据传输通道异常的节点监控信息;若确定数据传输时长不大于预设时长,上述执行主体确定数据传输通道正常,则生成表征数据传输通道正常的节点监控信息。
在本实现方式中,通过基于多个数据传输节点的节点地址和接收时间,获取数据传输通道对应的数据传输时长,并将数据传输时长与预设时长进行比较,基于比较结果,生成数据传输通道对应的节点监控信息,能够监控数据传输通道的数据传输时长,并根据数据传输时长生成节点监控信息,能够反映数据同步全链路的延时情况。
本公开的实施例提供的节点监控方法,上述执行主体首先基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道,然后响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,并且响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,最后基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,利用追踪指令在数据传输管道中进行传输,获取到追踪指令每通过一个数据传输节点时的接收时间及节点地址,实现了对数据传输通道中的每个数据传输节点的监控,反映数据同步全链路的延时情况,可实现同步链路的实时监控及故障节点精准定位,能够及时定位存在问题的数据传输节点。
参见图3,图3示出了控制源主节点基于数据传输通道发送第一追踪指令的一个实施例的流程图300,即上述步骤220,响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,可以包括以下步骤:
步骤310,响应于确定源主节点向目标节点发送同步数据,获取源主节点的工作状态。
在本步骤中,上述执行主体可以对源主节点和目标节点的数据传输通道进行检测,确定源主节点通过数据传输通道向目标节点发送同步数据后,可以对源主节点进行检测,获取源主节点的工作状态。其中,该工作状态包括正常状态和异常状态,正常状态可以表征源主节点的正常工作状态,异常状态可以表征源主节点发生故障、不能正常工作的状态。
步骤320,判断源主节点的工作状态是否为预设状态。
在本步骤中,上述执行主体获取到源主节点的工作状态后,可以对源主节点的工作状态进行判断,确定源主节点的工作状态是否为预设状态,该预设状态可以是正常状态。
响应于确定源主节点的工作状态是预设状态,执行步骤330,响应于确定源主节点的工作状态是预设状态,控制源主节点基于数据传输通道发送第一追踪指令。
在本步骤中,上述执行主体通过判断确定源主节点的工作状态是预设状态后,控制源主节点通过数据传输通道发送第一追踪指令,使得第一追踪指令能够与同步数据一致经由每个数据传输通道进行传输。
在本实现方式中,通过对源主节点的工作状态进行判断,在确定源主节点的工作状态为预设状态后,控制源主节点基于数据传输通道发送第一追踪指令,能够对源主节点的工作状态进行判断,只有在源主节点处于预设状态时,才会控制源主节点基于数据传输通道发送第一追踪指令,提高了发送第一追踪指令的准确性。
继续参见图3,上述步骤220,响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,还可以包括以下步骤:
步骤340,响应于确定源主节点的工作状态不是预设状态,获取源主节点对应的多个从节点。
在本步骤中,上述执行主体通过判断确定源主节点的工作状态不是预设状态后,获取源主节点对应的本地多个从节点,其中,本地多个从节点与源主节点中的数据相同。
步骤350,基于多个从节点,确定新的源主节点。
在本步骤中,上述执行主体获取到源主节点对应的多个从节点后,从多个从节点中选取出新的源主节点。
步骤360,响应于确定新的源主节点与数据传输通道连接,控制新的源主节点基于数据传输通道发送第一追踪指令。
在本步骤中,上述执行主体确定出新的源主节点后,可以控制新的源主节点与数据传输通道连接。若确定新的源主节点与数据传输通道连接,上述执行主体可以控制新的源主节点通过数据传输通道发送第一追踪指令,使得第一追踪指令能够与同步数据一致经由每个数据传输通道进行传输。
在本实现方式中,通过对源主节点的工作状态进行判断,在确定源主节点的工作状态不是预设状态后,在多个从节点中确定出新的源主节点,从而控制新的源主节点基于数据传输通道发送第一追踪指令,在源主节点不是预设状态时,可以控制第一追踪指令的发送,实现了第一追踪指令发送的多样性。
参考图4,图4示出了控制源主节点基于数据传输通道发送第一追踪指令的另一个实施例的流程图400,即上述控制源主节点基于数据传输通道发送第一追踪指令,可以包括以下步骤:
步骤410,判断数据传输通道对应的目标节点是否为预设节点。
在本步骤中,上述执行主体还可以根据数据传输通道确定出对应的目标节点,并对目标节点进行判断,确定数据传输通道对应的目标节点是否为预设节点,该预设节点可以是表征与源主节点属于不同数据中心的节点。
步骤420,响应于确定目标节点是预设节点,控制源主节点基于数据传输通道发送第一追踪指令。
在本步骤中,上述执行主体经判断确定目标节点是预设节点后,可以确定该数据传输通道是不同数据中心之间的数据同步管道,则控制源主节点基于数据传输通道发送第一追踪指令。
作为一个可选实现方式,响应于确定目标节点不是预设节点,则确定该数据传输通道是相同数据中心之间的数据同步管道,即可以确定数据传输通道是主从同步管道,仅需要控制源主节点基于数据传输通道向多个数据传输节点发送数据,不发送第一追踪指令。
在本实现方式中,通过对目标节点进行判断,从而判断数据传输通道是否为主从同步管道,进而确定是否发送第一追踪指令,实现了第一追踪指令发送的针对性。
参考图5,图5示出了获取多个数据传输节点的节点地址和接收时间的一个实施例的流程图500,即上述步骤230,响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,可以包括以下步骤:
步骤510,响应于接收到消费者节点发送的第二追踪指令,判断第二追踪指令是否与第一追踪指令对应。
其中,多个数据传输节点可以包括消费者节点和生产者节点,生产者节点连接源主节点,消费者节点连接目标节点,生产者节点和消费者节点之间连接有其他数据传输节点。
在本步骤中,上述执行主体可以获取到与第一追踪指令对应的第二追踪指令,获取到第二追踪指令对应的指令标识。然后上述执行主体将第二追踪指令对应的指令标识与第一追踪指令的指令标识进行比较,判断指令标识是否相同,从而确定第二追踪指令是否与第一追踪指令对应。
步骤520,响应于确定第二追踪指令与第一追踪指令对应,对第二追踪指令进行解析,获取到解析后的追踪指令。
在本步骤中,上述执行主体经判断确定第二追踪指令与第一追踪指令对应,对第二追踪指令进行解析,获取到解析后的追踪指令。
其中,第二追踪指令可以是数据传输通道中多个数据传输节点依次对第一追踪指令进行节点地址和接收时间添加得到的指令,即第一追踪指令由源主节点发送,依次经过生产者节点、数据传输通道中间节点、消费者节点和目标节点,每个数据传输节点对第一追踪指令进行解析,并将本地节点地址和接收时间附加在第一追踪指令之后,从而获取到第二追踪指令。
其中,目标节点的接收时间可以是消费者节点接收到第一追踪指令后,进行解析后,并消费者节点发送反馈信息,消费者节点可以根据向目标节点发送第一追踪指令的发送时间和接收到反馈信息的时间,确定消费者节点到目标节点的时间,从而确定出目标节点的接收时间。
步骤530,从解析后的追踪指令中获取到多个数据传输节点的节点地址和接收时间。
在本步骤中,上述执行主体获取到解析后的追踪指令后,可以从解析后的追踪指令中读取每个数据传输节点对应的节点地址和每个数据传输节点对应的接收时间,从而获取到多个数据传输节点的节点地址和接收时间。
在本实施例中,通过判断第二追踪指令是否与第一追踪指令对应,在确定第二追踪指令与第一追踪指令对应后,可以对第二追踪指令进行解析,获取到解析后的追踪指令,并获取到多个数据传输节点的节点地址和接收时间,能够对第二追踪指令进行精准解析和读取,提高了多个数据传输节点的节点地址和接收时间的准确性,从而能够准确分析数据传输通道的节点监控信息。
进一步参考图6,作为对上述各图所示方法的实现,本公开提供了一种节点监控装置的一个实施例。该装置实施例与图2所示的方法实施例相对应。
如图6所示,本实施例的节点监控装置600可以包括:构建模块610、控制模块620、获取模块630和生成模块640。
其中,构建模块610,被配置成基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;
控制模块620,被配置成响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令;
获取模块630,被配置成响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间;
生成模块640,被配置成基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息。
在本实施的一些可选的实现方式中,控制模块,进一步被配置成:响应于确定源主节点向目标节点发送同步数据,获取源主节点的工作状态;判断源主节点的工作状态是否为预设状态;响应于确定源主节点的工作状态是预设状态,控制源主节点基于数据传输通道发送第一追踪指令。
在本实施的一些可选的实现方式中,控制模块,进一步被配置成:响应于确定源主节点的工作状态不是预设状态,获取源主节点对应的多个从节点;基于多个从节点,确定新的源主节点;响应于确定新的源主节点与数据传输通道连接,控制新的源主节点基于数据传输通道发送第一追踪指令。
在本实施的一些可选的实现方式中,控制模块,进一步被配置成:判断数据传输通道对应的目标节点是否为预设节点;响应于确定目标节点是预设节点,控制源主节点基于数据传输通道发送第一追踪指令。
在本实施的一些可选的实现方式中,多个数据传输节点包括消费者节点;以及,获取模块,进一步被配置成:响应于接收到消费者节点发送的第二追踪指令,判断第二追踪指令是否与第一追踪指令对应;响应于确定第二追踪指令与第一追踪指令对应,对第二追踪指令进行解析,获取到解析后的追踪指令,其中,第二追踪指令是数据传输通道中多个数据传输节点依次对第一追踪指令进行节点地址和接收时间添加得到的指令;从解析后的追踪指令中获取到多个数据传输节点的节点地址和接收时间。
在本实施的一些可选的实现方式中,生成模块,进一步被配置成:基于多个数据传输节点的节点地址和接收时间,获取数据传输通道对应的数据传输时长;将数据传输时长与预设时长进行比较,基于比较结果,生成数据传输通道对应的节点监控信息。
本公开的上述实施例提供的节点监控装置,上述执行主体首先基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道,然后响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令,并且响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间,最后基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息,利用追踪指令在数据传输管道中进行传输,获取到追踪指令每通过一个数据传输节点时的接收时间及节点地址,实现了对数据传输通道中的每个数据传输节点的监控,反映数据同步全链路的延时情况,可实现同步链路的实时监控及故障节点精准定位,能够及时定位存在问题的数据传输节点。
本领域技术人员可以理解,上述装置还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图6中未示出。
下面参考图7,其示出了适于用来实现本公开的实施例的电子设备700的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如智能屏、笔记本电脑、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的终端设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括构建模块、控制模块、获取模块和生成模块,其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;响应于确定源主节点向目标节点发送同步数据,控制源主节点基于数据传输通道发送第一追踪指令;响应于接收到与第一追踪指令对应的第二追踪指令,基于第二追踪指令,获取多个数据传输节点的节点地址和接收时间;基于多个数据传输节点的节点地址和接收时间,生成数据传输通道对应的节点监控信息。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种节点监控方法,所述方法包括:
基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;
响应于确定所述源主节点向所述目标节点发送同步数据,控制所述源主节点基于所述数据传输通道发送第一追踪指令;
响应于接收到与所述第一追踪指令对应的第二追踪指令,基于所述第二追踪指令,获取所述多个数据传输节点的节点地址和接收时间;
基于所述多个数据传输节点的节点地址和接收时间,生成所述数据传输通道对应的节点监控信息。
2.根据权利要求1所述的方法,其中,所述响应于确定所述源主节点向所述目标节点发送同步数据,控制所述源主节点基于所述数据传输通道发送第一追踪指令,包括:
响应于确定所述源主节点向所述目标节点发送同步数据,获取所述源主节点的工作状态;
判断所述源主节点的工作状态是否为预设状态;
响应于确定所述源主节点的工作状态是预设状态,控制所述源主节点基于所述数据传输通道发送第一追踪指令。
3.根据权利要求2所述的方法,其中,所述响应于确定所述源主节点向所述目标节点发送同步数据,控制所述源主节点基于所述数据传输通道发送第一追踪指令,还包括:
响应于确定所述源主节点的工作状态不是所述预设状态,获取所述源主节点对应的多个从节点;
基于所述多个从节点,确定新的源主节点;
响应于确定所述新的源主节点与所述数据传输通道连接,控制所述新的源主节点基于所述数据传输通道发送第一追踪指令。
4.根据权利要求2或3所述的方法,其中,所述控制所述源主节点基于所述数据传输通道发送第一追踪指令,包括:
判断所述数据传输通道对应的所述目标节点是否为预设节点;
响应于确定所述目标节点是所述预设节点,控制所述源主节点基于所述数据传输通道发送第一追踪指令。
5.根据权利要求1所述的方法,其中,所述多个数据传输节点包括消费者节点;以及,
所述响应于接收到与所述第一追踪指令对应的第二追踪指令,基于所述第二追踪指令,获取所述多个数据传输节点的节点地址和接收时间,包括:
响应于接收到所述消费者节点发送的第二追踪指令,判断所述第二追踪指令是否与所述第一追踪指令对应;
响应于确定所述第二追踪指令与所述第一追踪指令对应,对所述第二追踪指令进行解析,获取到解析后的追踪指令,其中,所述第二追踪指令是所述数据传输通道中多个数据传输节点依次对所述第一追踪指令进行节点地址和接收时间添加得到的指令;
从所述解析后的追踪指令中获取到所述多个数据传输节点的节点地址和接收时间。
6.根据权利要求1所述的方法,其中,所述基于所述多个数据传输节点的节点地址和接收时间,生成所述数据传输通道对应的节点监控信息,包括:
基于所述多个数据传输节点的节点地址和接收时间,获取所述数据传输通道对应的数据传输时长;
将所述数据传输时长与预设时长进行比较,基于比较结果,生成所述数据传输通道对应的节点监控信息。
7.一种数据传输装置,所述装置包括:
构建模块,被配置成基于源主节点和目标节点,构建包括多个数据传输节点的数据传输通道;
控制模块,被配置成响应于确定所述源主节点向所述目标节点发送同步数据,控制所述源主节点基于所述数据传输通道发送第一追踪指令;
获取模块,被配置成响应于接收到与所述第一追踪指令对应的第二追踪指令,基于所述第二追踪指令,获取所述多个数据传输节点的节点地址和接收时间;
生成模块,被配置成基于所述多个数据传输节点的节点地址和接收时间,生成所述数据传输通道对应的节点监控信息。
8.根据权利要求7所述的装置,其中,所述控制模块,进一步被配置成:
响应于确定所述源主节点向所述目标节点发送同步数据,获取所述源主节点的工作状态;
判断所述源主节点的工作状态是否为预设状态;
响应于确定所述源主节点的工作状态是预设状态,控制所述源主节点基于所述数据传输通道发送第一追踪指令。
9.根据权利要求8所述的装置,其中,所述控制模块,进一步被配置成:
响应于确定所述源主节点的工作状态不是所述预设状态,获取所述源主节点对应的多个从节点;
基于所述多个从节点,确定新的源主节点;
响应于确定所述新的源主节点与所述数据传输通道连接,控制所述新的源主节点基于所述数据传输通道发送第一追踪指令。
10.根据权利要求8或9所述的装置,其中,所述控制模块,进一步被配置成:
判断所述数据传输通道对应的所述目标节点是否为预设节点;
响应于确定所述目标节点是所述预设节点,控制所述源主节点基于所述数据传输通道发送第一追踪指令。
11.根据权利要求7所述的装置,其中,所述多个数据传输节点包括消费者节点;以及,所述获取模块,进一步被配置成:
响应于接收到所述消费者节点发送的第二追踪指令,判断所述第二追踪指令是否与所述第一追踪指令对应;
响应于确定所述第二追踪指令与所述第一追踪指令对应,对所述第二追踪指令进行解析,获取到解析后的追踪指令,其中,所述第二追踪指令是所述数据传输通道中多个数据传输节点依次对所述第一追踪指令进行节点地址和接收时间添加得到的指令;
从所述解析后的追踪指令中获取到所述多个数据传输节点的节点地址和接收时间。
12.根据权利要求7所述的装置,其中,所述生成模块,进一步被配置成:
基于所述多个数据传输节点的节点地址和接收时间,获取所述数据传输通道对应的数据传输时长;
将所述数据传输时长与预设时长进行比较,基于比较结果,生成所述数据传输通道对应的节点监控信息。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读介质,其上存储计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202310142359.1A 2023-02-09 2023-02-09 节点监控方法和装置 Pending CN116132340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310142359.1A CN116132340A (zh) 2023-02-09 2023-02-09 节点监控方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310142359.1A CN116132340A (zh) 2023-02-09 2023-02-09 节点监控方法和装置

Publications (1)

Publication Number Publication Date
CN116132340A true CN116132340A (zh) 2023-05-16

Family

ID=86309973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310142359.1A Pending CN116132340A (zh) 2023-02-09 2023-02-09 节点监控方法和装置

Country Status (1)

Country Link
CN (1) CN116132340A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041089A (zh) * 2023-08-21 2023-11-10 江苏臻云技术有限公司 一种面向异地数据中心的设备监控系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041089A (zh) * 2023-08-21 2023-11-10 江苏臻云技术有限公司 一种面向异地数据中心的设备监控系统及方法
CN117041089B (zh) * 2023-08-21 2024-01-23 江苏臻云技术有限公司 一种面向异地数据中心的设备监控系统及方法

Similar Documents

Publication Publication Date Title
CN111475298B (zh) 任务处理方法、装置、设备及存储介质
CN111679990B (zh) 测试数据生成方法、装置、可读介质及电子设备
CN111930709B (zh) 数据存储方法、装置、电子设备和计算机可读介质
CN109743209B (zh) 用于传输信息的方法及装置
CN109471647B (zh) 一种数据的更新方法、装置、电子设备及可读介质
CN110619100B (zh) 用于获取数据的方法和装置
CN112597047A (zh) 测试方法、装置、电子设备和计算机可读介质
CN116132340A (zh) 节点监控方法和装置
CN111092767B (zh) 用于调试设备的方法及装置
CN115996179A (zh) 业务节点的测试方法、装置、可读介质和电子设备
JP7090131B2 (ja) 情報を生成するための方法及び装置
JP2021170319A (ja) 情報を取得するための方法及び装置
CN111382058B (zh) 一种服务的测试方法、装置,服务器及存储介质
CN109144864B (zh) 用于测试窗口的方法及装置
CN116662193A (zh) 页面测试方法和装置
CN116700250A (zh) 路径规划方法、计算设备、装置、设备及介质
CN110750424B (zh) 资源巡检方法和装置
CN110633182B (zh) 用于监控服务器稳定性的系统、方法和装置
CN116560918A (zh) 一种压力测试方法、装置、设备及介质
CN113407229A (zh) 用于生成离线脚本的方法及装置
CN112883697B (zh) 工作流表单生成方法、装置、电子设备和计算机可读介质
CN113133107B (zh) 用于同步信息的方法及装置
CN114697206B (zh) 物联网节点管理方法、装置、设备和计算机可读介质
CN115827415B (zh) 系统进程性能测试方法、装置、设备和计算机介质
US20230071504A1 (en) Multi-client orchestrated automated testing platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination