CN110855495A - 任务动态平衡方法、装置、系统、电子设备及存储介质 - Google Patents

任务动态平衡方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110855495A
CN110855495A CN201911132389.4A CN201911132389A CN110855495A CN 110855495 A CN110855495 A CN 110855495A CN 201911132389 A CN201911132389 A CN 201911132389A CN 110855495 A CN110855495 A CN 110855495A
Authority
CN
China
Prior art keywords
acquisition
node
network element
control node
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911132389.4A
Other languages
English (en)
Other versions
CN110855495B (zh
Inventor
李岩
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN201911132389.4A priority Critical patent/CN110855495B/zh
Publication of CN110855495A publication Critical patent/CN110855495A/zh
Application granted granted Critical
Publication of CN110855495B publication Critical patent/CN110855495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种任务动态平衡方法、装置、系统、电子设备及存储介质,属于通信领域。该方法包括:主控节点获取到采集节点以及网元设备的标识信息后,根据标识信息查询归一化能力表项,从而获取到采集节点的采集能力以及网元设备的日志能力。后续,主控节点根据各个采集节点的采集能力以及各个网元设备的日志能力,将各个采集节点与各个网元设备之间建立任务对应关系,使得各个采集节点的采集能力物尽其用,避免负载不均衡的情况发生,从而使得整个系统运行到最佳状态。

Description

任务动态平衡方法、装置、系统、电子设备及存储介质
技术领域
本申请属于通信领域,具体涉及一种任务动态平衡方法、装置、系统、电子设备及存储介质。
背景技术
采集器用于采集网元设备所生成的日志。在现有技术中,一般采用人为配置的方式将多个网元设备平均地分配给每一台日志采集器。由于每台网元设备提供的网元日志的类型不一致,造成网元设备对采集器的采集能力需求不一致,且每台采集器的采集能力也有差异,因此,人为地为网元设备与采集器建立采集任务对应关系时,可能造成需要高采集能力的网元设备对应到低采集能力的采集器,而需要低采集能力的网元设备对应到高采集能力的采集器,即采集器与网元设备的能力不匹配,使得整个系统的运行不能达到最佳状态。
发明内容
有鉴于此,本申请的目的在于提供一种任务动态平衡方法、装置、系统、电子设备及存储介质,根据采集器的采集能力与网元设备的日志能力来动态平衡采集任务,使得整个系统可以运行到最佳状态。
第一方面,本申请实施例提供一种任务动态平衡方法,应用于任务动态平衡系统包括的主控节点,所述任务动态平衡系统还包括采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志,所述方法包括:获取每个所述采集节点及每个所述网元设备的标识信息;根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。通过该方法,使得各个采集节点的采集能力物尽其用,避免负载不均衡的情况发生,从而使得整个系统运行到最佳状态。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:在确定存在发生故障的故障采集节点时,获取与所述故障采集节点对应的网元设备的标识信息;查询所述归一化能力表项,获取与所述故障采集节点对应的网元设备的日志能力,并获取其它剩余采集节点的剩余采集能力;根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点。
结合第一方面实施例,在一种可能的实施方式中,所述根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点,包括:在确定所述剩余采集能力中的最大值对应的采集节点的采集能力利用率小于采集能力利用率阈值且所述最大值大于所述日志能力时,将所述故障采集节点对应的网元设备的采集任务分配给所述最大值对应的采集节点;否则,将所述故障采集节点对应的网元设备的采集任务平均分配给所述其它剩余采集节点。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:在获取到新的采集节点的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;在确定存在过载的采集节点时,将所述过载的采集节点对应的网元设备的采集任务中的预设比例的采集任务分配给所述新的采集节点,其中,所述过载的采集节点的采集能力利用率大于采集能力利用率阈值;否则,从所述剩余采集能力最小的采集节点对应的网元设备的采集任务中选取预设比例的采集任务分配给所述新的采集节点。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:在获取到新的网元设备的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;在确定存在未过载的采集节点时,将与所述新的网元设备对应的采集任务分配给所述未过载的采集节点,其中,所述未过载的采集节点的采集能力利用率小于采集能力利用率阈值;否则,将所述新的网元设备对应的采集任务平均分配给所述采集节点。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第一方面实施例,在一种可能的实施方式中,所述任务动态平衡系统还包括备控节点,所述备控节点分别与所述主控节点及所述采集节点相互通信连接,所述方法还包括:将所述归一化能力表项以及所述任务对应关系同步至所述备控节点。
第二方面,本申请实施例提供一种任务动态平衡方法,应用于任务动态平衡系统中的备控节点,所述任务动态平衡系统还包括主控节点、备控节点及采集节点,所述备控节点、所述主控节点及所述采集节点相互通信连接,所述方法包括:在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。根据该方法,可以避免备控节点随意发起选举新的主控节点的任务,从而可以减小任务动态平衡系统不必要的负担。
结合第二方面实施例,在一种可能的实施方式中,所述根据所述反馈信息的内容判断是否需要选举新的主控节点,包括:在确定用于表征所述主控节点发生故障的反馈信息的数量与所述反馈信息的总数量的比值超过预设比值时,确定需要选举新的主控节点;否则,确定不需要选举新的主控节点。
结合第二方面实施例,在一种可能的实施方式中,所述反馈信息中包括发送者的标识信息,在所述确定需要选举新的主控节点之后,所述方法还包括:在确定自身的标识信息的值均小于其它标识信息的值时,确定自身为新的主控节点。
第三方面,本申请实施例提供一种任务动态平衡装置,应用于任务动态平衡系统包括的主控节点,所述任务动态平衡系统还包括采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志,所述装置包括:获取模块、查询模块、分配模块。获取模块,用于获取每个所述采集节点及每个所述网元设备的标识信息;查询模块,用于根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;分配模块,用于根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
结合第三方面实施例,在一种可能的实施方式中,获取模块,还用于在确定存在发生故障的故障采集节点时,获取与所述故障采集节点对应的网元设备的标识信息,查询模块,还用于查询所述归一化能力表项,获取与所述故障采集节点对应的网元设备的日志能力,并获取其它剩余采集节点的剩余采集能力,分配模块,还用于根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点。
结合第三方面实施例,在一种可能的实施方式中,所述分配模块,用于在确定所述剩余采集能力中的最大值对应的采集节点的采集能力利用率小于采集能力利用率阈值且所述最大值大于所述日志能力时,将所述故障采集节点对应的网元设备的采集任务分配给所述最大值对应的采集节点,否则,将所述故障采集节点对应的网元设备的采集任务平均分配给所述其它剩余采集节点。
结合第三方面实施例,在一种可能的实施方式中,所述装置还包括更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第三方面实施例,在一种可能的实施方式中,所述获取模块,用于在获取到新的采集节点的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力,所述分配模块,用于在确定存在过载的采集节点时,将所述过载的采集节点对应的网元设备的采集任务中的预设比例的采集任务分配给所述新的采集节点,其中,所述过载的采集节点的采集能力利用率大于采集能力利用率阈值,否则,从所述剩余采集能力最小的采集节点对应的网元设备的采集任务中选取预设比例的采集任务分配给所述新的采集节点。
结合第三方面实施例,在一种可能的实施方式中,更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第三方面实施例,在一种可能的实施方式中,获取模块,还用于在获取到新的网元设备的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;分配模块,还用于在确定存在未过载的采集节点时,将与所述新的网元设备对应的采集任务分配给所述未过载的采集节点,其中,所述未过载的采集节点的采集能力利用率小于采集能力利用率阈值,否则,将所述新的网元设备对应的采集任务平均分配给所述采集节点。
结合第三方面实施例,在一种可能的实施方式中,更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
结合第三方面实施例,在一种可能的实施方式中,所述任务动态平衡系统还包括备控节点,所述备控节点分别与所述主控节点及所述采集节点相互通信连接,所述装置还包括同步模块,用于将所述归一化能力表项以及所述任务对应关系同步至所述备控节点。
第四方面,本申请实施例提供一种任务动态平衡装置,应用于任务动态平衡系统中的备控节点,所述任务动态平衡系统还包括主控节点、备控节点及采集节点,所述备控节点、所述主控节点及所述采集节点相互通信连接,所述装置包括发送模块、获取模块及判断模块。发送模块,用于在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;获取模块,用于获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;判断模块,用于在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
结合第四方面实施例,在一种可能的实施方式中,判断模块,用于在确定用于表征所述主控节点发生故障的反馈信息的数量与所述反馈信息的总数量的比值超过预设比值时,确定需要选举新的主控节点,否则,确定不需要选举新的主控节点。
结合第四方面实施例,在一种可能的实施方式中,所述反馈信息中包括发送者的标识信息,所述装置还包括确定模块,用于在确定自身的标识信息的值均小于其它标识信息的值时,确定自身为新的主控节点。
第五方面,本申请实施例还提供一种电子设备包括:存储器和处理器,所述存储器和所述处理器连接;所述存储器用于存储程序;所述处理器调用存储于所述存储器中的程序,以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法,或者执行上述第二方面实施例和/或结合第二方面实施例的任一种可能的实施方式提供的方法。
第六方面,本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称存储介质),其上存储有计算机程序,所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法,或者执行上述第二方面实施例和/或结合第二方面实施例的任一种可能的实施方式提供的方法。
第七方面,本申请实施例还提供一种任务动态平衡系统,包括主控节点、采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志;所述主控节点,用于获取每个所述采集节点及每个所述网元设备的标识信息;根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
结合第七方面实施例,在一种可能的实施方式中,所述系统还包括备控节点,所述备控节点、所述主控节点及所述采集节点相互通信连接;所述备控节点,用于在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
本申请的其它特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请的目的和其它优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。
图1示出本申请实施例提供的一种任务动态平衡系统的结构示意图之一。
图2示出本申请实施例提供的一种任务动态平衡系统的结构示意图之二。
图3示出本申请实施例提供的一种电子设备的结构示意图。
图4示出本申请实施例提供的一种任务动态平衡方法的流程图之一。
图5示出本申请实施例提供的一种任务动态平衡方法的流程图之二。
图6示出本申请实施例提供的一种任务动态平衡方法的流程图之三。
图7示出本申请实施例提供的一种任务动态平衡方法的流程图之四。
图8示出本申请实施例提供的一种任务动态平衡方法的流程图之五。
图9示出本申请实施例提供的一种任务动态平衡装置的结构框图之一。
图10示出本申请实施例提供的一种任务动态平衡装置的结构框图之二。
标号:10-任务动态平衡系统;11-主控节点;12-采集节点;13-备控节点;100-电子设备;110-处理器;120-存储器;130-收发器;400-任务动态平衡装置;410-获取模块;420-查询模块;430-分配模块;500-任务动态平衡装置;510-发送模块;520-获取模块;530-判断模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:术语“包括”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
为了解决现有技术存在的问题,本申请实施例提供一种任务动态平衡方法、装置、系统、电子设备及存储介质,可以根据采集器的采集能力与网元设备的日志能力来动态平衡采集任务,使得整个系统可以运行到最佳状态。
首先,参照图1来描述用于实现本申请实施例的任务动态平衡方法、装置的任务动态平衡系统10。
任务动态平衡系统10可以包括主控节点11、采集节点12,主控节点11与采集节点12通信连接,采集节点12彼此之间也通信连接。其中,采集节点12与主控节点11在本质上都是采集器,具备日志采集能力以及控制能力。采集节点12主要用于执行采集功能,以采集网元设备生成的日志,主控节点11主要用于执行控制功能,以对采集节点12的采集功能进行控制。
主控节点11的数量为一个,采集节点12的数量不受限制(在图1中示出为两个),例如在任务动态平衡系统10的初始化阶段,可以配置有一个主控节点11以及一个采集节点12,后续,随着新增采集节点12的加入,采集节点12的数量增加到多个。
其中,在任务动态平衡系统10的初始化阶段,由工作人员人为地为各个采集器分配角色并设置相应的配置信息。例如以图1中的任务动态平衡系统10为例,在初始化阶段,工作人员为采集器1分配的角色为主控节点11,为采集器2以及采集器3分配的角色为采集节点12。在完成角色分配后,工作人员为所有采集器配置通信IP地址,此外,还可以为所有的采集器分别配置具有唯一性的标识信息,例如ID(Identity document)等,便于后续可以通过标识信息快速查找到对应的采集器。当然,后续,还需要将每个采集节点12的通信IP地址保存在主控节点11内,以便主控节点11可以对采集节点12进行控制。
在任务动态平衡系统10正常运行之前,为了便于主控节点11在后续使多个采集器的日志采集任务实现任务动态平衡,在本申请实施例中,可以预先建立归一化能力表项,用于记录各个类型的采集节点12的采集能力以及各个类型的网元设备的日志能力。
下面将针对建立归一化表项的过程进行介绍。
首先确定出基础能力值Fb以及基础能力相对值Tb。其中,可以采用一台典型配置的采集器采集一种特定网元日志(称之为典型网元日志),在预设时间内所得到的采集量被确定为Fb,为Fb设置一个对应值,该对应值为Tb,例如Tb=1000。如此,获取到基础能力值Fb以及基础能力相对值Tb。
后续,与上述方法类似,可以采用不同配置的采集器采集典型网元日志,从而获取到各个采集器的能力值Fn(n用于区别不同的采集器),以及各个采集器的相对能力值Abn(n用于区别不同的采集器)=(Fn/Fb)×Tb。因此,可以用Abn来表征采集器n的采集能力。
后续,与上述方法类似,还可以采用典型配置的采集器测试不同类型的网元日志,从而获取到各个类型的网元日志的能力值Fm(m用于区别不同的网元日志),以及各个类型的网元日志的相对能力值Bbm(m用于区别不同的网元日志)=(Fm/Fb)×Tb。因此,可以用Bbm来表征生成的网元日志的类型为网元日志m的网元设备的日志能力。网元设备的日志能力用于表征网元设备所生成的网元日志被采集时所需要消耗的采集器的采集能力。
后续,根据各个采集器的采集能力以及各个网元设备的日志能力生成归一化能力表项保存在主控节点11内,便于主控节点11根据该归一化表项实现采集任务的动态平衡。其中,归一化表项请参看表1。
表1:归一化表项
Figure BDA0002277569970000121
在建立好归一化表项且任务动态平衡系统10完成初始化后,主控节点11可以获取每个采集节点12及每个网元设备的标识信息,然后根据标识信息确定各个采集节点12的类型以及各个网元设备的类型并查询归一化能力表项,以获取各个采集节点12的采集能力以及各个网元设备的日志能力。后续,主控节点11用于根据各个采集节点12的采集能力及各个网元设备的日志能力,将各个采集节点与各个网元设备之间建立任务对应关系。各个采集节点12,用于采集与其建立任务对应关系的网元设备生成的日志。
为了防止出现主控节点11发生故障后任务动态平衡系统10无法正常运行的情况,作为一种可选的实施方式,请参看图2,任务动态平衡系统10还可以包括备控节点13。其中,备控节点13与主控节点11以及采集节点12之间建立通信连接,当然,备控节点13与采集节点12之间也建立通信连接。
其中,备控节点13在本质上也是采集器,具备日志采集能力以及控制能力。备控节点13主要用于接收主控节点11发送的备份信息以及状态信息。备份信息包括归一化表项以及采集节点12与网元设备之间的任务对应关系,状态信息为一种保活信息,用于确定状态信息的收发双方是否发生故障。
备控节点13,用于在预设时间内未获取到主控节点11发送的状态信息时,向除自身以外的其余节点(可能同时包括主控节点11、其它备控节点13、采集节点12)发送询问信息;获取其余节点基于询问信息发送的反馈信息,反馈信息的内容用于表征主控节点11是否发生故障;在确定反馈信息的发送者不包括主控节点11时,根据反馈信息的内容判断主控节点11是否发生故障。例如在确定用于表征主控节点11发生故障的反馈信息的数量与反馈信息的总数量的比值超过预设比值时判断主控节点11发生故障,否则判断主控节点11未发生故障。
当判断主控节点11发生故障时,确定需要选举新的主控节点11。此时,备控节点13(可能是自身,也可能是其它备控节点13)可以接管主控节点11的管理职能成为新的主控节点11,并基于备份信息对采集节点12以及网元设备进行管理。
备控节点13的数量可以为一个,也可以为多个(在图2中示出为两个)。当任务动态平衡系统10处于初始化阶段时,工作人员人为地为各个采集器分配角色并设置相应的配置信息。例如以图2中的任务动态平衡系统10为例,在初始化阶段,工作人员为采集器1分配的角色为主控节点11,为采集器2以及采集器3分配的角色为采集节点12,为采集器4以及采集器5分配的角色为备控节点13。在完成角色分配后,工作人员为所有采集器配置通信IP地址,此外,还可以为所有的采集器分别配置具有唯一性的标识信息,例如ID(Identitydocument)等。
作为一种可选的实施方式,在存在多个备控节点13的情况下,工作人员还可以在任务动态平衡系统10初始化阶段为主控节点11以及备控节点13配置角色ID,便于后续当主控节点11故障需要进行主备切换时,可以根据角色ID来确定新的主控节点11,例如将角色ID最小的备控节点13确定为新的主控节点11。值得指出的是,角色ID的值为大于等于1的整数类型。
此外,请参看图3,本申请实施例还提供一种电子设备100,可以作为上述采集器。其中电子设备100可以包括:处理器110、存储器120、收发器130。
应当注意,图3所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备100也可以具有其它组件和结构。
处理器110、存储器120、收发器130以及其它可能出现于电子设备100的组件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,处理器110、存储器120、收发器130以及其它可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器120用于存储程序,例如存储有后文出现的任务动态平衡方法对应的程序或者后文出现的任务动态平衡装置。可选的,当存储器120内存储有任务动态平衡装置时,任务动态平衡装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
可选的,任务动态平衡装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system,OS)中。
处理器110用于执行存储器120中存储的可执行模块,例如任务动态平衡装置包括的软件功能模块或计算机程序。
当电子设备100作为主控节点时,处理器110在接收到执行指令后,可以执行计算机程序,例如执行:获取每个所述采集节点及每个所述网元设备的标识信息;根据所述标识信息查询预先建立的归一化能力表项,获取所述每个采集节点的采集能力及所述每个网元设备的日志能力;根据所述每个采集节点的采集能力及所述每个网元设备的日志能力,将各个采集节点与各个网元设备之间建立任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的网元设备生成的日志。
当电子设备100作为备控节点时,处理器110在接收到执行指令后,可以执行计算机程序,例如执行:在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
当然,本申请任一实施例所揭示的方法都可以应用于处理器110中,或者由处理器110实现。
下面将针对本申请所提供的任务动态平衡方法进行介绍。
请参阅图4,本申请实施例提供一种应用于上述主控节点11的任务动态平衡方法。该方法包括以下步骤。
步骤S110:获取每个所述采集节点及每个所述网元设备的标识信息。
步骤S120:根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力。
上文中提及到,可以通过获取每个采集节点12及每个网元设备的标识信息,然后根据标识信息确定各个采集节点12的类型以及各个网元设备的类型。然后查询归一化能力表项,以获取各个采集节点12的采集能力以及各个网元设备的日志能力。
步骤S130:根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
在获取到各个采集节点12的采集能力以及各个网元设备的日志能力后,主控节点11根据轮询的方式遍历各个网元设备,将日志能力的值大的网元设备的日志采集任务分配给采集能力的值大的采集节点12,将日志能力的值小的网元设备日志采集任务分配给采集能力的值小的采集节点12,使得各个采集节点12物尽其用,避免负载不均衡的情况发生,从而使得整个系统运行到最佳状态。当然,当网元设备的数量大于采集节点12的数量时,可能会出现同一个采集节点12需要与多个网元设备建立采集任务的情况。
此外,值得指出的是,针对每个采集节点12,当主控节点11为其分配采集任务后,主控节点11可以计算每个采集节点12的剩余采集能力Xn(n用于区别不同的采集器)以及采集能力利用率Zn(n用于区别不同的采集器),并将每个采集节点12的剩余采集能力Xn以及采集能力利用率Zn记录在归一化表项内。其中,Xn=Abn-Yn,Zn=Yn/Abn,Yn(n用于区别不同的采集器)为该采集节点12被分配的所有采集任务对应的网元设备的日志能力之和。
此时,若任务动态平衡系统10包括备控节点13,作为一种可选的实施方式,主控节点11还可以将记录有每个采集节点12的剩余采集能力Xn以及采集能力利用率Zn的归一化表项以及各个采集节点12与各个网元设备的任务对应关系以备份信息的方式同步至每个备控节点13。
此外,采集节点12可能存在发生故障的情况,此时,需要存在一种容错机制,使得当某个采集节点12发生故障时,与该采集节点12存在任务对应关系的网元设备的网元日志依然能够被采集。因此,作为一种可选的实施方式,请参看图5,上述方法还可以包括:
步骤S140:在确定存在发生故障的故障采集节点时,获取与所述故障采集节点对应的网元设备的标识信息。
主控节点11按照预设频率向其余节点发送状态信息。其余节点接受到状态信息后,将针对状态信息的发送方发送状态回复信息。当主控节点11在预设时间内未获取到某个采集节点12发送的状态回复信息时,确定该采集节点12发生故障,为故障采集节点12。后续,主控节点11将根据各个采集节点12与各个网元设备的任务对应关系查询与该故障采集节点12存在任务对应关系的网元设备,并获取这些网元设备(当然,与故障采集节点存在任务对应关系的网元设备也可能只有一个或零个)的标识信息。
步骤S150:查询所述归一化能力表项,获取与所述故障采集节点对应的网元设备的日志能力,并获取其它剩余采集节点的剩余采集能力。
在获取到网元设备的标识信息后,主控节点11可以根据标识信息查询归一化能力表项,获取与故障采集节点12存在任务对应关系的各个网元设备的日志能力。此外,主控节点11还可以通过查询归一化能力表项,从而获取到除故障采集节点12之外的其它剩余采集节点12的剩余采集能力Xn。
步骤S160:根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点。
作为一种可选的实施方式,主控节点11可以直接将故障采集节点12对应的网元设备的采集任务随机分配给其它剩余采集节点12。
作为另一种可选的实施方式,主控节点11可以从其它剩余采集节点12中筛选出剩余采集能力Xn大于故障采集节点12对应的网元设备的日志能力的采集节点12,然后将故障采集节点12对应的网元设备的采集任务分配给筛选出的采集节点12中的一个或者多个。
作为另一种可选的实施方式,主控节点11在将故障采集节点12对应的网元设备的采集任务进行分配前,还可以获取各个采集节点12的采集能力利用率Zn。然后主控节点11判断其它剩余采集节点12中剩余采集能力最大的那个采集节点12的采集能力利用率是否小于预先设置的采集能力利用率阈值(例如为80%),且判断该采集节点12的剩余采集能力是否大于故障采集节点12对应的网元设备的日志能力。在均为是时,将故障采集节点12对应的网元设备的采集任务分配给剩余采集能力最大时对应的该采集节点12,否则,将故障采集节点12对应的网元设备的采集任务平均分配给所述其它剩余采集节点。其中,平均分配指的是,将本次采集任务分配给采集节点12-A,当后续再有新的故障采集节点12时,将下次的采集任务分配给采集节点12-B,以此类推。当然,平均分配还可以指的是,将本次采集任务分配给剩余采集能力最大的采集节点12-A,当后续再有新的故障采集节点12时,将下次的采集任务分配给剩余采集能力次之的采集节点12-B,以此类推。
通过这种分配方式,可以尽量将采集任务分配到采集能力利用率最低的采集节点12。对于采集能力利用率最低的采集节点12而言,自身的负载压力较小,具备更多的资源来处理采集任务。当把采集任务分配到采集能力利用率最低的采集节点12时,对其自身的性能造成的不良影响较小,相应的,对于整个任务动态平衡系统10造成的不良影响也较小,可以保证任务动态平衡系统10运行到最佳状态。
作为一种可选的实施方式,主控节点11还可以根据重新分配采集任务后的各个采集节点12的实际剩余采集能力Xn对归一化能力表项进行更新,同时,主控节点11还可以将各个网元设备与各个采集节点12的实际任务对应关系进行更新。
此外,若任务动态平衡系统10包括备控节点13,作为一种可选的实施方式,主控节点11还可以将更新后的归一化表项以及更新后的各个采集节点12与各个网元设备的任务对应关系以备份信息的方式同步至每个备控节点13。
此外,任务动态平衡系统10在运行过程中,可能会加入新的采集节点12,即存在采集节点12扩容的情况。此时,为了实现采集任务动态平衡,作为一种可选的实施方式,请参看图6,上述方法还可以包括:
步骤S170:在获取到新的采集节点的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力。
当有新的采集节点12接入到任务动态平衡系统10时,工作人员需要为新的采集节点12设置相应的配置信息,此外,工作人员还需要将新的采集节点12的配置信息保存到主控节点11内,以便主控节点11可以对新的采集节点12实现控制。
可选的,当主控节点11获取到新的采集节点12的配置信息时,可以先查询新的采集节点12的类型,以确定新的采集节点12的采集能力。其中,当新的采集节点12的类型与归一化表项内已存在的一种采集节点12的类型一致时,主控节点11可以直接通过查询归一化表项获取到新的采集节点12的采集能力。当新的采集节点12的类型不与归一化表项内已存在的任何一种采集节点12的类型一致时,需要根据上述确定采集节点12的采集能力的方式重新测试该新的采集节点12的采集能力,并将该新的采集节点12的类型与其对应的采集能力加入到归一化表项,以便主控节点11可以基于归一化表项确定新的采集节点12的采集能力。
此外,主控节点11通过归一化表项获取已有采集节点12的剩余采集能力。
步骤S180:判断是否存在过载的采集节点。
其中,过载的采集节点12指的是当前采集能力利用率大于采集能力利用率阈值的采集节点12。
步骤S181:在为是时,将所述过载的采集节点对应的网元设备的采集任务中的预设比例的采集任务分配给所述新的采集节点。
步骤S182:否则,从所述剩余采集能力最小的采集节点对应的网元设备的采集任务中选取预设比例的采集任务分配给所述新的采集节点。
其中,预设比例可以是40%,例如将5个采集任务中的2个采集任务分配给新的采集节点12。
作为一种可选的实施方式,主控节点11还可以根据重新分配采集任务后的各个采集节点12的实际剩余采集能力Xn对归一化能力表项进行更新,同时,主控节点11还可以将各个网元设备与各个采集节点12的实际任务对应关系进行更新。
此外,若任务动态平衡系统10包括备控节点13,作为一种可选的实施方式,主控节点11还可以将更新后的归一化表项以及更新后的各个采集节点12与各个网元设备的任务对应关系以备份信息的方式同步至每个备控节点13。
此外,任务动态平衡系统10在运行过程中,可能会加入新的网元设备,即存在网元设备扩容的情况。此时,为了实现采集任务动态平衡,作为一种可选的实施方式,请参看图7,上述方法还可以包括:
步骤S190:在获取到新的网元设备的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力。
当有新的网元设备接入到任务动态平衡系统10时,工作人员需要为新的网元设备设置相应的配置信息,此外,工作人员还需要将新的网元设备的配置信息保存到主控节点11内。
可选的,当主控节点11获取到新的网元设备的配置信息时,可以先查询新的网元设备的类型,以确定新的网元设备的日志能力。其中,当新的网元设备生成的网元日志的类型与归一化表项内已存在的一种网元日志的类型一致时,主控节点11可以直接通过查询归一化表项获取到新的网元设备的日志能力。当新的网元设备生成的网元日志的类型不与归一化表项内已存在的任何一种网元日志的类型一致时,需要根据上述确定网元设备的日志能力的方式重新测试该新的网元设备的日志能力,并将该新的网元设备生成的网元日志的类型与其对应的日志能力更新加入到归一化表项,以便主控节点11可以基于归一化表项确定新的网元设备的日志能力。
此外,主控节点11通过归一化表项获取已有采集节点12的剩余采集能力。
步骤S200:判断是否存在未过载的采集节点。
其中,未过载的采集节点12指的是当前采集能力利用率小于采集能力利用率阈值的采集节点12。
步骤S201:在为是时,将与所述新的网元设备对应的采集任务分配给所述未过载的采集节点。
步骤S202:否则,将所述新的网元设备对应的采集任务平均分配给所述采集节点。
其中,平均分配指的是,将本次的采集任务分配给采集节点12-A,当后续再次有新的网元设备接入时,将下次的采集任务分配给采集节点12-B,以此类推。当然,平均分配还可以指的是,将本次采集任务分配给剩余采集能力最大的采集节点12-A,当后续再有新的故障采集节点12时,将下次的采集任务分配给剩余采集能力次之的采集节点12-B,以此类推。
作为一种可选的实施方式,主控节点11还可以根据重新分配采集任务后的各个采集节点12的实际剩余采集能力Xn对归一化能力表项进行更新,同时,主控节点11还可以将各个网元设备与各个采集节点12的实际任务对应关系进行更新。
此外,若任务动态平衡系统10包括备控节点13,作为一种可选的实施方式,主控节点11还可以将更新后的归一化表项以及更新后的各个采集节点12与各个网元设备的任务对应关系以备份信息的方式同步至每个备控节点13。
本申请实施例所提供的一种任务动态平衡方法,主控节点获取到采集节点以及网元设备的标识信息后,根据标识信息查询归一化能力表项,从而获取到采集节点的采集能力以及网元设备的日志能力。后续,主控节点根据各个采集节点的采集能力以及各个网元设备的日志能力,将各个采集节点与各个网元设备之间建立任务对应关系,使得各个采集节点的采集能力物尽其用,避免负载不均衡的情况发生,从而使得整个系统运行到最佳状态。
此外,请参阅图8,当任务动态平衡系统10还包括备控节点13时,本申请实施例提供还一种应用于上述备控节点13的任务动态平衡方法。该方法包括以下步骤。
步骤S310:在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息。
前文提及到,主控节点11按照预设频率向其余节点发送状态信息。当备控节点13在预设时间内未获取到主控节点11发送的状态信息时,备控节点13初步判断主控节点11发生故障。此时,为了避免出现误判,备控节点13向除自身以外的其余节点发送询问信息,用于询问其余节点主控节点11是否发生故障。
其中,上述其余节点包括主控节点11、采集节点12以及其余备控节点13。
步骤S320:获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障。
其余节点获取到询问信息后,向询问信息的发起者发送反馈信息。
其中,当其余节点为备控节点13或采集节点12时,其余节点先查询自身是否在预设时间内获取到主控节点11发送的状态信息。在为是时,说明主控节点11未发生故障,此时向询问信息的发起者发送反馈信息,并在该反馈信息中表征主控节点11未发生故障。在为否时,说明主控节点11发生故障,此时向询问信息的发起者发送反馈信息,并在该反馈信息中表征主控节点11发生故障。
当其余节点为主控节点11,且主控节点11获取到该询问信息时,主控节点11直接向询问信息的发起者发送表征主控节点11未发生故障的反馈信息。
步骤S330:在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
当发起询问信息的备控节点13获取到主控节点11发送的反馈信息时,表征主控节点11未发生故障,此时确定不需要选举新的主控节点11。
当发起询问信息的备控节点13未获取到主控节点11发送的反馈信息时,发起询问信息的备控节点13查询收到的反馈信息中用于表征主控节点11发生故障的反馈信息的数量。当用于表征主控节点11发生故障的反馈信息的数量与反馈信息的总数量的比值超过预设比值(例如50%)时,备控节点13确定需要选举新的主控节点11,避免个别的备控节点13故障导致频繁发生主备切换。
当备控节点13确定需要选举新的主控节点11后,作为一种可选的实施方式,各个备控节点13之间可以进行相互协商,从而从所有备控节点13之间随机确定出一个新的主控节点11。
作为另一种可选的实施方式,询问信息中可以包括询问信息的发送者的标识信息,反馈信息中也可以包括反馈信息的发送者的标识信息。当备控节点13确定需要选举新的主控节点11后,各个备控节点13通过询问信息以及反馈信息获取到彼此的标识信息。值得指出的是,此时的标识信息可以为角色ID,角色ID的值为大于等于1的整数类型。在备控节点13确定需要选举新的主控节点11之后,各个备控节点13之间相互协商,以角色ID的值最小的备控节点13为新的主控节点11。因此,对于询问信息的发送者,其在确定自身的标识信息的值均小于其它标识信息的值时,确定自身为新的主控节点11。同时,其余备控节点13以及采集节点12更新与主控节点11对应的主控信息。
新的主控节点11基于预先获取到的备份信息对其余节点进行控制。
可选的,当确定出新的主控节点11后,原来的主控节点11可能会再次恢复正常,此时,由于原来的主控节点11的主控信息没有更新,因此,原来的主控节点11会向所有的采集节点12发送状态信息。而此时,新的主控节点11也会向所有的采集节点12发送状态信息,因此,对于采集节点12而言,会出现主控节点11冲突的情况。为了避免这个问题,此时,所有采集节点12可以向原来的主控节点11发送用于表征当前的主控节点11是谁的主控信息。
原来的主控节点11在获取到用于表征当前的主控节点11不是自身的主控信息数量达到所有采集节点12的数量的一定比例(例如50%)时,原来的主控节点11将当前新的主控节点11确定为自身的主控节点11,并更新自身保存的主控信息。
此外,对应于图4,请参看图9,本申请实施例还提供一种应用于主控节点11的任务动态平衡装置400,任务动态平衡装置400可以包括:获取模块410、查询模块420、分配模块430。
获取模块410,用于获取每个所述采集节点及每个所述网元设备的标识信息;
查询模块420,用于根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;
分配模块430,用于根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
可选的,获取模块410,还用于在确定存在发生故障的故障采集节点时,获取与所述故障采集节点对应的网元设备的标识信息,查询模块,还用于查询所述归一化能力表项,获取与所述故障采集节点对应的网元设备的日志能力,并获取其它剩余采集节点的剩余采集能力,分配模块,还用于根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点。
可选的,分配模块430,用于在确定所述剩余采集能力中的最大值对应的采集节点的采集能力利用率小于采集能力利用率阈值且所述最大值大于所述日志能力时,将所述故障采集节点对应的网元设备的采集任务分配给所述最大值对应的采集节点,否则,将所述故障采集节点对应的网元设备的采集任务平均分配给所述其它剩余采集节点。
可选的,所述装置还包括更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
可选的,所述获取模块410,用于在获取到新的采集节点的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力,所述分配模块430,用于在确定存在过载的采集节点时,将所述过载的采集节点对应的网元设备的采集任务中的预设比例的采集任务分配给所述新的采集节点,其中,所述过载的采集节点的采集能力利用率大于采集能力利用率阈值,否则,从所述剩余采集能力最小的采集节点对应的网元设备的采集任务中选取预设比例的采集任务分配给所述新的采集节点。
可选的,更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
可选的,获取模块410,还用于在获取到新的网元设备的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;分配模块430,还用于在确定存在未过载的采集节点时,将与所述新的网元设备对应的采集任务分配给所述未过载的采集节点,其中,所述未过载的采集节点的采集能力利用率小于采集能力利用率阈值,否则,将所述新的网元设备对应的采集任务平均分配给所述采集节点。
可选的,更新模块,用于根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
可选的,在任务动态平衡系统10还包括备控节点13的前提下,所述装置还包括同步模块,用于将所述归一化能力表项以及所述任务对应关系同步至所述备控节点。
本申请实施例所提供的任务动态平衡装置400,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,在任务动态平衡系统10还包括备控节点13的前提下,对应于图8,请参看图10,本申请实施例还提供一种应用于备控节点13的任务动态平衡装置500,所述装置包括发送模块510、获取模块520及判断模块530。
发送模块510,用于在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;
获取模块520,用于获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;
判断模块530,用于在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
可选的,判断模块530,具体用于在确定用于表征所述主控节点发生故障的反馈信息的数量与所述反馈信息的总数量的比值超过预设比值时,确定需要选举新的主控节点,否则,确定不需要选举新的主控节点。
可选的,所述反馈信息中包括发送者的标识信息,所述装置还包括确定模块,用于在确定自身的标识信息的值均小于其它标识信息的值时,确定自身为新的主控节点。
本申请实施例所提供的任务动态平衡装置500,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本申请实施例还提供一种存储介质,该存储介质上存储有计算机程序,该计算机程序被计算机运行时,执行如上述的任务动态平衡方法。
综上所述,本发明实施例提出的任务动态平衡方法、装置、系统、电子设备及存储介质,主控节点获取到采集节点以及网元设备的标识信息后,根据标识信息查询归一化能力表项,从而获取到采集节点的采集能力以及网元设备的日志能力。后续,主控节点根据各个采集节点的采集能力以及各个网元设备的日志能力,将各个采集节点与各个网元设备之间建立任务对应关系,使得各个采集节点的采集能力物尽其用,避免负载不均衡的情况发生,从而使得整个系统运行到最佳状态。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (18)

1.一种任务动态平衡方法,其特征在于,应用于任务动态平衡系统包括的主控节点,所述任务动态平衡系统还包括采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志,所述方法包括:
获取每个所述采集节点及每个所述网元设备的标识信息;
根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;
根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定存在发生故障的故障采集节点时,获取与所述故障采集节点对应的网元设备的标识信息;
查询所述归一化能力表项,获取与所述故障采集节点对应的网元设备的日志能力,并获取其它剩余采集节点的剩余采集能力;
根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点。
3.根据权利要求2所述的方法,其特征在于,所述根据所述故障采集节点对应的网元设备的日志能力与所述剩余采集能力之间的大小关系,将所述故障采集节点对应的网元设备的采集任务分配给所述其它剩余采集节点,包括:
在确定所述剩余采集能力中的最大值对应的采集节点的采集能力利用率小于采集能力利用率阈值且所述最大值大于所述日志能力时,将所述故障采集节点对应的网元设备的采集任务分配给所述最大值对应的采集节点;
否则,将所述故障采集节点对应的网元设备的采集任务平均分配给所述其它剩余采集节点。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到新的采集节点的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;
在确定存在过载的采集节点时,将所述过载的采集节点对应的网元设备的采集任务中的预设比例的采集任务分配给所述新的采集节点,其中,所述过载的采集节点的采集能力利用率大于采集能力利用率阈值;
否则,从所述剩余采集能力最小的采集节点对应的网元设备的采集任务中选取预设比例的采集任务分配给所述新的采集节点。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到新的网元设备的配置信息时,查询所述归一化能力表项,获取已有采集节点的剩余采集能力;
在确定存在未过载的采集节点时,将与所述新的网元设备对应的采集任务分配给所述未过载的采集节点,其中,所述未过载的采集节点的采集能力利用率小于采集能力利用率阈值;
否则,将所述新的网元设备对应的采集任务平均分配给所述采集节点。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据分配后的各个采集节点的实际剩余采集能力更新所述归一化能力表项以及任务对应关系。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述任务动态平衡系统还包括备控节点,所述备控节点分别与所述主控节点及所述采集节点相互通信连接,所述方法还包括:
将所述归一化能力表项以及所述任务对应关系同步至所述备控节点。
10.一种任务动态平衡方法,其特征在于,应用于任务动态平衡系统中的备控节点,所述任务动态平衡系统还包括主控节点、备控节点及采集节点,所述备控节点、所述主控节点及所述采集节点相互通信连接,所述方法包括:
在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;
获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;
在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
11.根据权利要求10所述的方法,其特征在于,所述根据所述反馈信息的内容判断是否需要选举新的主控节点,包括:
在确定用于表征所述主控节点发生故障的反馈信息的数量与所述反馈信息的总数量的比值超过预设比值时,确定需要选举新的主控节点;
否则,确定不需要选举新的主控节点。
12.根据权利要求11所述的方法,其特征在于,所述反馈信息中包括发送者的标识信息,在所述确定需要选举新的主控节点之后,所述方法还包括:
在确定自身的标识信息的值均小于其它标识信息的值时,确定自身为新的主控节点。
13.一种任务动态平衡装置,其特征在于,应用于任务动态平衡系统包括的主控节点,所述任务动态平衡系统还包括采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志,所述装置包括:
获取模块,用于获取每个所述采集节点及每个所述网元设备的标识信息;
查询模块,用于根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;
分配模块,用于根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志。
14.一种任务动态平衡装置,其特征在于,应用于任务动态平衡系统中的备控节点,所述任务动态平衡系统还包括主控节点、备控节点及采集节点,所述备控节点、所述主控节点及所述采集节点相互通信连接,所述装置包括:
发送模块,用于在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;
获取模块,用于获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;
判断模块,用于在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
15.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器连接;
所述存储器用于存储程序;
所述处理器调用存储于所述存储器中的程序,以执行如权利要求1-9或10-12中任一项所述的方法。
16.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机运行时执行如权利要求1-9或10-12中任一项所述的方法。
17.一种任务动态平衡系统,其特征在于,包括主控节点、采集节点,所述主控节点与所述采集节点通信连接,所述采集节点用于采集网元设备生成的日志;
所述主控节点,用于获取每个所述采集节点及每个所述网元设备的标识信息;根据所述标识信息查询预先建立的归一化能力表项,获取每个所述采集节点的采集能力及每个所述网元设备的日志能力;根据每个所述采集节点的采集能力及每个所述网元设备的日志能力,建立所述采集节点与所述网元设备的任务对应关系,使得每个所述采集节点采集与其建立任务对应关系的所述网元设备生成的日志;
所述采集节点,用于采集与其建立任务对应关系的网元设备生成的日志。
18.根据权利要求17所述的系统,其特征在于,所述系统还包括备控节点,所述备控节点、所述主控节点及所述采集节点相互通信连接;
所述备控节点,用于在预设时间内未获取到所述主控节点发送的状态信息时,向除自身以外的其余节点发送询问信息;获取所述其余节点基于所述询问信息发送的反馈信息,所述反馈信息的内容用于表征所述主控节点是否发生故障;在确定所述反馈信息的发送者不包括所述主控节点时,根据所述反馈信息的内容判断是否需要选举新的主控节点。
CN201911132389.4A 2019-11-18 2019-11-18 任务动态平衡方法、装置、系统、电子设备及存储介质 Active CN110855495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911132389.4A CN110855495B (zh) 2019-11-18 2019-11-18 任务动态平衡方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911132389.4A CN110855495B (zh) 2019-11-18 2019-11-18 任务动态平衡方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110855495A true CN110855495A (zh) 2020-02-28
CN110855495B CN110855495B (zh) 2022-06-24

Family

ID=69602542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911132389.4A Active CN110855495B (zh) 2019-11-18 2019-11-18 任务动态平衡方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110855495B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724071A (zh) * 2012-06-19 2012-10-10 国网电力科学研究院 基于网络模型和规则模型的电力通信故障预警分析方法及其系统
CN105786681A (zh) * 2016-02-18 2016-07-20 中国科学院计算技术研究所 数据中心的服务器性能评估及服务器更新方法
CN106105112A (zh) * 2014-03-19 2016-11-09 日本电信电话株式会社 分析规则调整装置、分析规则调整系统、分析规则调整方法以及分析规则调整程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724071A (zh) * 2012-06-19 2012-10-10 国网电力科学研究院 基于网络模型和规则模型的电力通信故障预警分析方法及其系统
CN106105112A (zh) * 2014-03-19 2016-11-09 日本电信电话株式会社 分析规则调整装置、分析规则调整系统、分析规则调整方法以及分析规则调整程序
CN105786681A (zh) * 2016-02-18 2016-07-20 中国科学院计算技术研究所 数据中心的服务器性能评估及服务器更新方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘必雄等: "基于集群的多源日志综合审计系统", 《计算机应用》 *

Also Published As

Publication number Publication date
CN110855495B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN101729412B (zh) 地理信息服务的分布式层次集群方法和系统
CN103560922A (zh) 一种容灾方法及系统
CN104836819A (zh) 动态负载均衡的方法、系统及监控调度设备
CN102088490B (zh) 数据存储方法、设备和系统
CN102025630A (zh) 负载均衡方法及负载均衡系统
CN105337780B (zh) 一种服务器节点配置方法及物理节点
CN110244901B (zh) 任务分配方法及装置、分布式存储系统
CN103401937A (zh) 日志数据处理方法及系统
CN110597664A (zh) 一种高可用集群资源部署方法、装置及相关组件
CN101739263A (zh) 在多机集群系统中实现操作系统升级的方法及装置
CN105959078B (zh) 一种集群时间同步方法、集群及时间同步系统
CN103458013A (zh) 一种流媒体服务器集群负载均衡系统及均衡方法
CN110297867B (zh) 基于国产cpu和分布式容器集群的数据库集群运行方法及系统
CN108111566B (zh) 一种云存储系统扩容方法、装置及云存储系统
KR101586354B1 (ko) 병렬 연결식 서버시스템의 통신 장애 복구방법
CN112671928A (zh) 设备集中管理架构、负载均衡方法、电子设备及存储介质
CN111427670A (zh) 任务调度方法和系统
CN103546315A (zh) 一种dhcp服务器的备份系统、方法及设备
US7519855B2 (en) Method and system for distributing data processing units in a communication network
CN102708063A (zh) 磁盘空间管理方法及装置
CN110855495B (zh) 任务动态平衡方法、装置、系统、电子设备及存储介质
CN106899659B (zh) 分布式系统及其管理方法和管理装置
CN103931138A (zh) 可扩展的分布式多集群设备管理服务器架构及其操作的方法
CN113407340A (zh) 业务控制系统、网关服务方法、业务请求转发方法及装置
CN112631756A (zh) 一种应用于航天测控软件的分布式调控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant