CN114422508B - 一种网络设备性能采集的方法和系统 - Google Patents

一种网络设备性能采集的方法和系统 Download PDF

Info

Publication number
CN114422508B
CN114422508B CN202210182782.XA CN202210182782A CN114422508B CN 114422508 B CN114422508 B CN 114422508B CN 202210182782 A CN202210182782 A CN 202210182782A CN 114422508 B CN114422508 B CN 114422508B
Authority
CN
China
Prior art keywords
strategy
performance
compression
acquisition
uploading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210182782.XA
Other languages
English (en)
Other versions
CN114422508A (zh
Inventor
赵思俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Changjiang Computing Technology Co ltd
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN202210182782.XA priority Critical patent/CN114422508B/zh
Publication of CN114422508A publication Critical patent/CN114422508A/zh
Application granted granted Critical
Publication of CN114422508B publication Critical patent/CN114422508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及设备管理领域,特别是涉及一种网络设备性能采集的方法和系统。主要包括:获取各设备的性能文件历史采集的压缩策略和/或传输策略,及其对应的性能采集效率;根据设备的历史性能采集效率,对每台设备的压缩策略和/或传输策略进行迭代,根据迭代结果选择每台设备的当前压缩策略和/或当前传输策略;根据当前压缩策略对性能文件进行压缩,使用当前传输策略上传压缩后的性能文件。将各设备的压缩比和并发数的调整为最佳策略,使性能文件的压缩时间和上传时间相匹配,压缩和上传互相的等待时间最短。需性能上传的设备更多利用设备自身CPU进行压缩,减少性能文件大小,以减少上传时间,从而在单位时间内上送更可能多的性能数据。

Description

一种网络设备性能采集的方法和系统
【技术领域】
本发明涉及设备管理领域,特别是涉及一种网络设备性能采集的方法和系统。
【背景技术】
在网络运行过程中,为了监控网络运行状态,需要获取各网元设备的性能数据,以便于根据网元设备的性能指标调整网络设置,并及时发现设备性能的异常,以提高网络传输效率,避免出现性能异常导致的网络中断等问题。
现网中,进行性能采集通常采用ftp压缩模式。进行网络设备性能采集时,网管系统会向需要进行性能采集的网元设备发送采集指令,每个网元设备将当前的性能数据写入性能文件,并将性能文件压缩后进行上传。由于网络中的网元设备数量较大,在同一时刻可能会存在大量设备性能文件并发上传。该种方式下,大量设备各自管理压缩和上传参数,可能会导致同时上传的设备数过少或过多,在同一时刻可能存在带宽空闲或并发拥堵,造成带宽浪费或上送超时,限制了系统采集性能数据的能力,无法充分利用现有的上传带宽。
鉴于此,如何克服现有技术所存在的缺陷,解决现有网络设备性能采集能力不足的现象,本技术领域待解决的问题。
【发明内容】
针对现有技术的以上缺陷或改进需求,本发明解决了网络设备性能采集时由于设备并发上传调度不合理导致的采集效率低的问题。
本发明实施例采用如下技术方案:
第一方面,本发明提供了一种网络设备性能采集的方法,具体为:获取各设备的性能文件历史采集的压缩策略和/或传输策略,及其对应的性能采集效率;根据设备的历史性能采集效率,对每台设备的压缩策略和/或传输策略进行迭代,根据迭代结果选择每台设备的当前压缩策略和/或当前传输策略;根据当前压缩策略对性能文件进行压缩,使用当前传输策略上传压缩后的性能文件。
优选的,对每台设备的压缩策略和/或传输策略进行迭代,具体包括:判断性能文件的压缩耗时和/或上传等待时间是否大于预设压缩耗时阀值和/或预设上传等待时间阀值;若压缩耗时大于预设压缩耗时阀值,减小性能文件的压缩比;和/或,若上传等待时间大于预设上传等待时间阈值,增大性能文件的压缩比和/或增加上传并发数。
优选的,对每台设备的压缩策略和/或传输策略进行迭代,具体包括:保持上一次采集各设备的压缩策略和传输策略不变,调整当前设备的压缩策略,若调整后的策略可用,将调整后的策略放入策略预选池;按照本次采集时设备性能文件的上传顺序,为策略预选池中的策略分配优先级;下一次采集时,按照优先级选择策略预选池中的策略,使用选中的策略对性能文件进行压缩和上传。
优选的,对每台设备的压缩策略和/或传输策略进行迭代,还包括:每次采集完成后,将采集完成时间最短的策略组放入本次采集的策略比较池;将本次采集的策略比较池和历史采集的策略比较池中的策略进行对比,选择二者中采集完成时间更短的策略作为优选策略;将策略预选池中与优选策略一致的策略分配最高优先级,在下次迭代时优先保留该策略中的各项策略指标。
优选的,选择二者中采集完成时间更短的策略作为优选策略,还包括:若本次采集的策略比较池中的策略被选择为优选策略,将本次采集的策略保留在历史采集的策略比较池中。
优选的,获取各设备的性能文件历史采集的压缩策略和/或传输策略之前,还包括:对设备按照采集完成时间进行排序,将排序后的设备均分为设备集合,每个设备集合中的设备分配不同的压缩比,将每个设备集合分配的压缩比大小与最大并发数进行组合作为初始策略;使用初始策略进行至少三次初始采集,每次采集的策略调整依据分别为采集完成时间、性能文件大小、性能文件压缩实效中的至少一项。
优选的,对每台设备的压缩策略和/或传输策略进行迭代,还包括:迭代过程中,调整后的可选策略数大于预设指定策略数时,按照预设比例选择各优先级的策略数作为一下次的迭代策略,其中,预设指定策略数与设备数量及并发控制策略数正相关。
优选的,对每台设备的压缩策略和/或传输策略进行迭代,还包括:当迭代次数超过预设迭代次数阈值时停止迭代,使用当前上传时间最短的策略作为性能采集策略,其中,迭代次数阈值与设备数量正相关。
优选的,获取各设备的性能文件历史采集的压缩策略和/或传输策略,还包括:根据所有采集到的性能文件的平均大小、平均压缩耗时、传输平均耗时中的至少一项,排除设备性能异常情况对策略选择的影响。
另一方面,本发明提供了一种网络设备性能采集的系统,具体为:包括网管、首站设备和至少一个网元设备,首站设备采集网元设备的性能文件并上传至网管;其中,首站设备包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储能被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,根据第一方面中的网络设备性能采集的方法生成采集策略,并为每个网元设备分配相应的采集策略。
与现有技术相比,本发明实施例的有益效果在于:本发明将性能采集过程中的性能文件压缩过程与上传过程独立管理,对每个设备分别设置相应的压缩策略和传输策略,并对所有设备的压缩策略和传输策略进行容自适应优化。使用该方法后,将各设备的压缩比和并发数的调整为最佳策略,使性能文件的压缩时间和上传时间相匹配,压缩和上传互相的等待时间最短。需性能上传的设备更多利用设备自身CPU进行压缩,减少性能文件大小,以减少上传时间,从而在单位时间内上送更可能多的性能数据。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种网络设备性能采集的方法流程图;
图2为本发明实施例提供的一种网络设备性能采集的方法时序图;
图3为本发明实施例提供的另一种网络设备性能采集的方法流程图;
图4为使用本发明实施例提供的网络设备性能采集的方法之前进行采集时各采集流程的甘特图;
图5为使用本发明实施例提供的网络设备性能采集的方法之后进行采集时各采集流程的甘特图;
图6为本发明实施例提供的另一种网络设备性能采集的方法流程图;
图7为本发明实施例提供的另一种网络设备性能采集的方法流程图;
图8为本发明实施例提供的另一种网络设备性能采集的方法流程图;
图9为本发明实施例提供的一种网络设备性能采集的系统结构图;
图10为本发明实施例提供的一种网络设备性能采集的系统进行采集的流程图图;
图11为本发明实施例提供的一种网络设备性能采集的系统中首站设备的装置结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明是一种特定功能系统的体系结构,因此在具体实施例中主要说明各结构模组的功能逻辑关系,并不对具体软件和硬件实施方式做限定。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1:
在网络设备性能采集的实际场景中,由于成本限制等原因通常会存在网管与首站设备间带宽不足的问题,导致多个设备的性能文件需要排队上传,若性能文件压缩比设置不合理,或上传并发数设置不合理,可能导致某些设备上传等待时间较长,使得系统性能数据采集能力产生瓶颈。因此,本发明实施例提供了一种网络设备性能采集的方法,控制性能采集过程,对所有需进行性能采集的网元设备统一调整压缩策略和传输策略,通过调整各设备的压缩比,合理调度各设备性能上传顺序,使网管采集设备性能数据完成时间更短。在本实施例中,未做特殊说明的设备指需进行性能采集的网元设备。
如图1所示,本发明实施例提供的网络设备性能采集的方法具体步骤如下:
步骤101:获取各设备的性能文件历史采集的压缩策略和/或传输策略,及其对应的性能采集效率。
在本实施例提供的方法中,对所有设备的压缩策略和传输策略进行统一管理和调整,分别为每个设备设置合适的压缩策略和传输策略,各设备根据被分配的压缩策略和传输策略进行性能文件压缩和上传。为了便于进行管理和比较,可以将同一性能采集周期内能够达到最佳采集效率的各设备的压缩策略和传输策略整合为一个策略组进行性能比较和管理。为了比较不同策略下性能采集效率的优劣,为每个设备选择更佳的策略,需要先获取历史采集中各设备的压缩策略和上传策略,以及每次采集的采集效率,根据采集效率对策略择优选择,并对策略进行针对性调整。
在本实施例中,压缩策略的参数包括但不限于:压缩比、压缩线程数、压缩算法等;传输策略的参数包括但不限于:最大并发数、上传带宽、上传协议等;采集效率的参数包括但不限于:设备性能压缩文件大小、压缩文件质量、压缩耗时、上传等待时间、上传耗时等。其中,压缩耗时和上传耗时与整体采集效率的关系最密切,因此,使用压缩耗时、上传等待时间和上传耗时作为性能采集效率比较时的优选参数。相应的,在优选方案中,在设备CPU性能固定的条件下与压缩耗时相关性最高的压缩比为压缩策略调整的核心参数,在总上传带宽固定的条件下与上传耗时相关性最高的最大并发数为传输策略调整的核心参数,并通过不同设备压缩耗时和上传耗时的匹配减少上传等待时间。
步骤102:根据设备的历史性能采集效率,对每台设备的压缩策略和/或传输策略进行迭代,根据迭代结果选择每台设备的当前压缩策略和/或当前传输策略。
获取到性能文件历史采集的压缩策略和传输策略,以及对应的性能采集效率后,即可在每个采集周期对策略组中每台设备的压缩策略和传输策略进行迭代,逐渐调整出整体采集效率最佳、采集等待时间最短的策略集合。具体的,可以根据每台设备的采集效率的参数针对性的调整,例如:压缩耗时过大时减小性能文件压缩比以缩短压缩时间、上传等待时间过长时增大压缩比以节省设备CPU资源、上传耗时过大时提高最大并发数加快上传。在每次采集时,压缩策略和传输策略都在前一次采集使用的策略组基础上进行了迭代优化,使得整体的采集参数自适应的接近最佳策略,以获取或保持最佳采集效率。同时,迭代调整的动态策略参数也可以及时响应网络和业务的性能波动,在不同的网络和业务性能状态下保持较高的采集效率。进一步的,分配压缩策略时还需要考虑不同设备的压缩效果,压缩效果可以通过以下方式计算:(文件压缩前大小-文件压缩后大小)/压缩耗时,不同类型设备CPU规格不同,或者分配给压缩进程CPU资源不同,压缩效果不一样。
步骤103:根据当前压缩策略对性能文件进行压缩,使用当前传输策略上传压缩后的性能文件。
步骤102中经过迭代调整获取到本次采集的压缩策略和传输策略,获取到了每个设备的压缩策略和传输策略,每个设备即可使用各自的压缩策略进行性能文件的压缩和上传。本次采集完成后,对本次使用的策略组和策略效率进行记录,以便下次采集时进行迭代。
在实际使用中,为了使所有设备的,策略组的生成和迭代由一台设备进行统一管理,管理策略组的设备可以直接由网管设备担任,也可以使用额外独立的首站设备,或设置在某台能够和所有网元设备通信的网元设备上。以独立的首站设备作为策略组管理设备为例,如图2所示,在网管发出性能查询请求后,首站设备使用历史策略数据迭代生成本次采集的策略组,并向每个需要进行性能采集的设备发送性能查询指令,各设备进行性能采集并生成相应的性能文件,首站设备根据压缩策略为每个设备分配相应的压缩策略和传输策略,各设备分别使用被分配的压缩策略对性能文件进行压缩,并在首站设备发出上传通知后使用被分配的传输策略进行上传。
通过步骤101-步骤103,通过迭代获取比历史采集效率更高的本次采集策略组,为每台设备分配不同的压缩比,控制设备压缩时间,并通过控制压缩时间调整设备上传的开始时间,使性能文件能够依次上传至网管,减少上传等待时间,达到周期内性能采集完成时间最短的效果。
在步骤102的具体的实施过程中,为了简化迭代过程、加快迭代速度,可以仅针对压缩策略和传输策略的核心参数进行调整,即仅调整压缩比和最大并发数。最大并发数一般与设备本身的传输性能相关,通常保持不变,因此主要调整对象为性能文件的压缩比。在实际实施中,可以使用以下方式进行压缩比和上传并发数的调整:判断性能文件的压缩耗时或上传等待时间是否大于预设压缩耗时阀值或预设上传等待时间阀值。若压缩耗时大于预设压缩耗时阀值,减小性能文件的压缩比。若上传等待时间大于预设上传等待时间阈值,增大性能文件的压缩比或增加上传并发数。在采集时,性能文件压缩比越大,压缩后文件越小,压缩消耗时间越多,上传等待时间越短,上传耗时越短;相反,性能文件压缩比越小,压缩后时间文件越大,压缩时间越短,上传等待时间越长,上传耗时越长。通过调整压缩比可以显著的影响采集时的压缩耗时和上传耗时,并控制每个时刻开始上传的并发数。进一步的,对于压缩效果越好的性能文件,可以分配更大的压缩比,使得需要传输的总文件大小更小,更节省带宽流量。
进一步的,在调整压缩比时,为了加快迭代速度、减少迭代次数,可以根据压缩耗时和上传等待时间的长度调整压缩比每次调整的步长。压缩耗时超出能够接受的压缩耗时过多,或上传等待时间超出能够接受的上传等待时间过多,压缩比调整时使用较大的步长;反之,压缩比调整使用较小的步长。具体的,可以为压缩耗时和上传等待时间设置阈值,当压缩耗时或上传等待时间大于阀值时,压缩比每次调整时增减2,此时压缩耗时和上传等待时间可能变更短,能够加快参数自适应优化过程,在较少的迭代次数中获取到最佳的策略组。相反的,若压缩耗时和上传等待时间未超过阈值,压缩比每次调整时增减1,排除阀值对参数自适应优化的干扰,并避免调整过度。
进一步的,在上述迭代调整过程中,可以为不同的策略或不同的策略组标识优先级,为策略选择提供参考。在实际使用中,可以根据系统特性或实际需要,选择合适的采集效率参数作为优先级的划分标准。例如,在压缩耗时远大于上传耗时的系统中,压缩耗时的变化对整体效率影响更大,因此可以将压缩耗时作为优先级划分标准;上传耗时远大于压缩耗时的系统中,可以将上传耗时作为优先级划分标准。在大多数使用场景中,等待上传会产生时间浪费,降低系统整体利用率和采集效率,因此可以使用等待时长作为优先级的划分标准。
进一步的,在进行策略迭代时,需要同时调整多个设备的压缩策略和传输策略。为了提高迭代效率,并避免反向迭代,在具体实施过程中,可以将策略组作为一个整体放入策略预选池中,每次调整策略组中的部分参数进行迭代,从而完成策略选择。在具体实施场景中,可以根据实际需求选择迭代时保持不变和进行调整的参数。在一般情况下,对压缩策略的调整较为方便灵活,对采集效率影响也较为明显,因此通常保持传输策略不变,以压缩策略作为调整对象,对每个设备的压缩策略分别进行调整,每次调整后生成一个新策略组,将生成的新策略组放入策略预选池中进行比较挑选。具体的,保持上一次采集各设备的压缩策略和传输策略不变,调整当前设备的压缩策略,若调整后的策略可用,将调整后的策略放入策略预选池。按照本次采集时设备性能文件的上传顺序,为策略预选池中的策略分配优先级。下一次采集时,按照优先级选择策略预选池中的策略,使用选中的策略对性能文件进行压缩和上传。在仅需进行简单调整或快速迭代的场景中,保持最大并发数不变,其他设备压缩比不变,每次只调整当前设备压缩比,作为一个策略组放入预选策略池中,下次迭代策略从预选池中选择。将策略组放入预选策略池之后,按照每个策略组进行策略调整的设备性能文件上传先后顺序,给预选策略池中策略组分配优先级,按优先级从预选策略池中选择出作为下次迭代起点的策略组,保证每次产生的迭代策略更可靠。
进一步的,为了便于对不同策略进行对比,还可以使用策略比较池。每次采集完成后,将采集完成时间最短的策略组放入本次采集的策略比较池。将本次采集的策略比较池和历史采集的策略比较池中的策略进行对比,选择二者中采集完成时间更短的策略作为优选策略。将策略预选池中与优选策略一致的策略分配最高优先级,在下次迭代时优先保留该策略中的各项策略指标。为了便于择优迭代,若本次采集的策略比较池中的策略被选择为优选策略,将本次采集的策略保留在历史采集的策略比较池中,策略比较池中保留的策略不用再实施,作为优秀的策略一直保留在策略比较池中,作为比较选择的标准。
在某个新场景首次实施本实施例提供的方法时,不存在历史采集的压缩策略和传输策略,无法开始使用历史策略进行迭代。此时,需要先使用初始压缩策略和初始传输策略对设备性能数据进行采集,获取到历史策略和历史采集效率。具体的:对设备按照采集完成时间进行排序,将排序后的设备均分为设备集合,每个设备集合中的设备分配不同的压缩比,将每个设备集合分配的压缩比大小与最大并发数进行组合作为初始策略。使用初始策略进行至少三次初始采集,每次采集的策略调整依据分别为采集完成时间、性能文件大小、性能文件压缩实效中的至少一项。在具体实施场景中,可以按设备性能文件采集完成先后排序,将设备均分多个集合,每个集合依次分配连续的压缩比,与最大并发数组合作为第一组策略组作为初始策略。例如,将设备均分为9个集合,每个集合依次分配压缩比1-9作为初始压缩策略。
进一步的,为了进一步体现不同的策略对于不同的采集效率参数的影响,还可以根据每个策略组执行后的采集效率参数对策略组设置优先级,根据优先级选择下次迭代时优先选择的策略组,各采集效率参数在作为划分标准时都可以单独使用或同时使用。
进一步的,为了更准确的挑选出用于迭代的策略组,加快自适应调整速度,还可以多次使用初始策略组进行采集,在每一次采集后将设备根据另一个参数进行排序均分,完成数次初始迭代,根据初始迭代选出的策略组进行后续迭代。例如:在某个实际场景中,如图3所示,可以使用以下步骤获取初始策略组。
步骤201:按性能文件采集完成先后排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第一组策略组,参数优化自适应收敛与性能采集完成时间相关。
步骤202:按上次采集的性能文件由小到大排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第二组策略组,参数优化自适应收敛与采集的性能文件大小相关。
步骤203:按上次文件压缩效果由小到大排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第三组策略,参数优化自适应收敛与性能文件压缩实效相关。
经过步骤201-步骤203,即可在某个新场景中获取到能够作为步骤101中历史采集的压缩策略和传输策略的策略组,及其对应的性能采集效率,为后续的策略迭代提供基础。
在具体实施中,在每次采集时都需要进行采集策略的迭代生成。理论上来说,迭代时的可选策略数越多,或迭代次数越多,迭代所获得的策略可能更优。但是,出于处理效率及资源消耗的限制,对所有的可选策略进行无限次迭代并不可行。因此,在实际操作中,需要对迭代时的可选策略数和迭代次数进行限制。迭代过程中,调整后的可选策略数大于预设指定策略数时,按照预设比例选择各优先级的策略数作为一下次的迭代策略。通过设置预设指定策略数,可以限定参与迭代的策略数,加快收敛。在具体实施中,预设指定策略数与设备数量及并发控制策略数正相关,在具体实施中,可以使用m=n*k进行简单计算,其中,m为预设指定策略数,n为设备数量,k为并发控制策略数,迭代策略数与设备数量以及并发控制策略数相关,太大或太小可能导致收敛效果不好。另一方面,迭代次数也需要通过预设迭代次数阈值进行限制,当迭代次数超过预设迭代次数阈值时停止迭代,使用当前上传时间最短的策略作为性能采集策略,其中,迭代次数阈值与设备数量正相关。具体实施中,可以直接使用设备数量作为预设迭代次数阈值,迭代次数与设备数量相关,迭代次数越大,最优策略搜索空间越大,收敛越慢,策略可能更优。
在本实施例的策略选择过程中,需要根据各设备的历史采集效率对策略进行选。但是,在网络设备的实际运行中,可能会存在各种设备故障、网络故障、软件故障、人为干扰等情况,产生各种性能异常。为了避免这些性能异常对策略选择的影响,在步骤101中,对历史策略和历史采集效率进行采集时,还需要根据所有采集到的性能文件的平均大小、平均压缩耗时、传输平均耗时中的至少一项,排除设备性能异常情况对策略选择的影响。具体的,可以采用以下方式进行排除,也可以根据需要使用其它方式排除,或排除其它影响策略选择的因素。统计性能文件平均大小,排除该设备性能采集异常情况;统计性能文件压缩的平均耗时,排除该设备压缩异常情况;统计上传耗时平均值,排除其他网络高负载影响本次策略评估;计算该设备在该压缩比时,在该最大并发数情况下,上传完成的平均时间,排除网络其他高负载干扰参数的自适应优化。
在某个具体使用场景中,需要对4台设备进行性能采集,采集时的最大并发数为2。如图4和图5所示,分别为使用了本实施例中方案进行策略优化前后进行采集时的甘特图。在图4中,各设备分别采用a1、a2、a3、a4压缩比,最大并发数为2,此时设备3存在等待时间,设备4存在较长的等待时间,总体上传时间较长。图5中经过迭代,对各设备的压缩比进行了调整,各设备分别采用a1、a2、a3+1、a4+2压缩比,最大并发数为2。经过调整后,设备3压缩比加1后,图4中设备3的等待时间在图5中用于压缩性能文件,等待时间消失,减小了性能文件的大小,从而减小了上传时间,也减小了等待时间;设备4压缩比加2后,图4中设备4的等待时间在图5中部分用于压缩性能文件,等待时间变小,减小了性能文件大小,减小了上传时间,也减小了等待时间。
本实施例提供的网络设备性能采集的方法,通过对压缩策略和传输策略进行分离,并分别进行设置,通过迭代进行自适应调整,获取每台设备的最佳压缩策略和传输策略。通过本实施例中的分析和实例可以看出,使用本实施例提供的方法获取到的压缩策略和传输策略,能够充分利用设备的压缩能力和上传带宽,减小等待时间和上传时间,提高采集效率。
实施例2:
在本实施例的具体实施过程中,对于实施例1中提供的网络设备性能采集的方法,在进行步骤102中的策略迭代选择时,可以借鉴进化算法的思想作为迭代的具体方式,以获取更好的迭代效果,提高策略选择的准确度和效率。
本实施例中,为了描述简洁,参考进化算法中较为简单的遗传算法作为实例进行说明。在实际实施中,可以根据设备性能、迭代精度、迭代效率等因素选择合适的算法,例如:文化基因算法、进化多目标优化算法等。进一步的,在设备性能允许的情况下,也可以使用神经网络进行进化算法的迭代,以获得更高的策略选择准确度和迭代效率。
具体的,如图6所示,将实施例1中提供的方案结合遗传算法,通过以下步骤完成策略选择的迭代过程。
步骤301:在需进行性能采集的设备上开启单独的性能文件压缩进程。
在实施例1提供的方法中,进行性能采集时,将性能文件压缩和上传过程分离,分别单独设置参数,并分别调整策略。为了实现独立的压缩过程,需要在每个设备上运行单独的压缩进程,使用bz2算法等压缩算法压缩性能文件。实际使用中,压缩时的压缩比可以根据压缩文件大小、压缩效率、压缩质量等设置,在本实施例中,为了便于迭代调整,压缩比范围一般设置为1-9。进一步的,为了避免压缩进程影响设备中其它进程的执行效率,还需要限制压缩进程CPU利用率,具体的可以采用cgroups、信号SIGSTOP与SIGCONT控制等方案。
步骤302:借鉴遗传算法中初始种群生成的思想,获取迭代的初始种群。
在某个具体实施场景中,与步骤201-步骤203类似,可以使用以下方式生成前三批个体。(1)按采集完成先后排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第一批个体。(2)按上次采集的性能文件由小到大排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第二批个体。(3)按上次文件压缩实效由小到大排序,将设备均分9个集合,每个集合依次分配压缩比1-9,与最大并发数组合作为第三批个体。其中,每一批个体都可作为实施例1中的一个策略组。
获取前三批种群后,通过前三批个体交叉变异,产生第一代种群,即初始种群,初始种群对应实施例1中的初始策略。与实施例1中相同,迭代时的策略选择基于采集效率参数,以所有设性能采集时间最短作为适应度计算的目标,在每次迭代后,保留采集完成时间最短的一批个体。进一步的,在进行迭代时,种群规模越大,迭代准确度越高,但迭代时间越长,因此,需要限制种群最大规模。实际实施过程中,为了确保迭代准确度,可以使用最大并发数与设备数的乘积作为种群最大规模数。
步骤303:由第一代种群开始交叉变异,迭代出用于采集的压缩策略和传输策略。
获取第一代种群后,由第一代种群开始继续进行交叉变异,逐次迭代出最佳策略。
经过步骤301-步骤303,在实施例1的方法基础上加入了遗传算法的思想,不仅能够实现实施例1中获取最佳采集策略的效果,还通过遗传算法达到了更好的迭代效果和迭代效率。
在步骤303的交叉变异过程中,结合实施例1中提供的方法,可以通过以下方式实现具体的交叉变异过程。以下过程中,为了描述简洁,在迭代过程中,压缩策略仅调整压缩比,传输策略仅调整最大并发数,在实际使用中,可以根据实际需要同时或分别对压缩策略和传输策略中的多个参数进行调整。以下进行交叉变异时的每个个体,对应实施例1中的一个策略组。
如图7所示,为交叉的具体过程。
步骤401:最优压缩比分配按设备性能文件上传顺序收敛,保留优秀个体的前部分设备压缩比。
步骤402:设备压缩完成后,如果当前最大并发空闲时间超过阀值,该设备分配的压缩比减1,以减少压缩时间,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入交叉策略预选池。
步骤403:当前有设备性能文件上传完毕,如果设备性能文件上传等待时间超过阀值,该设备分配的压缩比加1,以减小等待时间,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入交叉策略预选池。
步骤404:进行交叉时的交叉规模包括:种群规模、选择保留规模、变异规模,从交叉策略预选池中按个体优先级选择交叉规模的个体加入交叉策略比较池,清空交叉策略预选池。
步骤405:记录选择的所有个体,用于交叉变异时去重。
进一步的,在进行压缩比调整时,当性能文件上传时间超过阈值的情况下,将压缩比调整幅度加大,可能加快收敛;没超过阀值的情况下,找原有调整幅度调整压缩比,可能有更优解。如图8所示,为变异的具体步骤。
步骤501:设备压缩完成后,如果当前最大并发空闲时间超过阀值,该设备分配的压缩比减2,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入变异策略预选池。
步骤502:如果当前最大并发空闲时间没超过阀值,该设备分配的压缩比减1,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入变异策略预选池。
步骤503:当前有设备性能文件上传完毕,如果设备性能文件上传等待时间超过阀值,该设备分配的压缩比加2,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入变异策略预选池。
步骤504:如果网设备性能文件上传等待时间没超过阀值,该设备分配的压缩比加1,其他设备压缩比不变,使用设备性能文件上传顺序作为个体优先级标识,作为个体加入变异策略预选池。
步骤505:进行变异时的交叉规模包括:种群规模-选择保留规模-交叉规模,从变异策略预选池按优先级选择变异规模的个体加入变异策略比较池,清空变异策略预选池。
步骤506:记录选择的所有个体,用于交叉变异时去重。
通过步骤401-步骤407,以及步骤501-步骤506,即可完成策略迭代时的交叉变异,选择出最佳的采集策略。
进一步的,在步骤401-步骤407,以及步骤501-步骤507中,与实施例1中相同,迭代次数影响着迭代结果的准确度和迭代效率。在具体实施中,优选的迭代次数为需进行性能采集的设备数,迭代时的解空间相当于实施例1中的预设指定策略数,使用设备数、压缩比的可选个数与并发最大数的乘积。
进一步的,还可以使用本实施例提供的进化算法作为基础对神经网络进行训练,使神经网络能够基于设备的性能文件大小、最大并发数、网络带宽等参数,得到当前网络环境下的最佳采集策略组进行性能采集。进一步的,在相同或相近网络环境的实施场景中,可以直接使用经过训练后的神经网络模型进行策略选择,不需要再次生成初始策略,提高了策略获取效率。进一步的,由于神经网络的预测能力,可以根据网络环境对采集策略进行预测,使得采集策略能够更及时的相应网络环境变化,避免在网络变化后才开始迭代导致的调整延迟。
基于上述分析,使用进化算法和神经网络等手段,可以提高步骤102中的迭代效率和准确度,从而获得更佳的采集策略,提升实施例1中性能采集方法的采集效率和准确度。
实施例3:
在上述实施例1至实施例2提供的网络设备性能采集的方法的基础上,本发明还提供了一种可用于实现上述方法的网络设备性能采集的系统,如图9所示,是本发明实施例的系统结构示意图。
系统包括网管、首站设备和至少一个网元设备。网元设备即实施例1和实施例2中需进行性能采集的设备。首站设备执行实施例1或实施例2中提供的网络设备性能采集的方法生成采集策略,并为每个网元设备分配相应的采集策略,采集网元设备的性能文件并上传至网管。在实际使用中,首站设备可以为单独的实体设备,也可以集成在网管设备中,也可以集成在某个性能足够的网元设备中。
具体的,如图10所示,根据实施例1和实施例2中提供的方法,各设备可以采用以下步骤完成设备性能采集上报的过程。
步骤601:网管向首站设备发出性能采集请求,首站设备向各网元设备发出性能采集指令。
步骤602:网元设备性能采集完成后,通知首站设备采集的性能文件大小。
步骤603:网元设备性能压缩完成后,通知首站设备性能压缩文件大小与压缩耗时,首站设备计算该设备压缩效果,为策略提供依据。
步骤604:首站设备根据步骤102生成采集策略组,并为每个网元设备分配相应的压缩策略和传输策略。
步骤605:网元设备根据首站设备分配的压缩策略运行单独的压缩进程,限制压缩进程CPU利用率,避免压缩占用设备太多CPU资源。
步骤606:网元设备根据首站设备分配的上传策略将压缩后的性能文件上传至首站设备。
步骤607:首站设备将所有网元设备上传的性能文件上报至网管。
经过步骤601-步骤607,本实施例提供的系统依照实施例1和实施例2中提供的方法完成了性能文件的采集,由于首站设备的统一管理和调度,以及策略组的迭代优化选择,本实施例提供的系统性能采集效率高于现有的采集系统。
进一步的,在实际采集过程中,首站设备还需要排除性能采集异常情况,避免异常情况对策略选择的干扰。例如,需要依据以下参考数据排除相应的异常情况。
(1)首站设备根据性能采集文件平均大小,排除性能采集异常情况,正常情况下,性能指标项不变,性能文件大小基本不变。
(2)首站设备根据压缩平均耗时,排除网元设备有其他高负载情况,正常情况,网元设备压缩时间基本不变。
(3)最大并发情况下,网络没有其他高负载时,性能文件传输完成时间基本不变。
在具体实施中,还可以根据实际情况和实际需求,使用其它方式进行异常排除,或排除其它影响策略选择的异常情况。
本实施例提供的系统中,由于首站设备需要完成策略选择和分配,因此需要包括一个或多个处理器11以及存储器12。其中,图11中以一个处理器11为例。处理器11和存储器12可以通过总线或者其他方式连接,图11中以通过总线连接为例。存储器12作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例1至实施例2中的网络设备性能采集方法。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块,从而网络设备性能采集和策略选择分配时的各种功能应用以及数据处理,即实现实施例1至实施例2的网络设备性能采集的方法。存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器12可选包括相对于处理器11远程设置的存储器,这些远程存储器可以通过网络连接至处理器11。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。程序指令/模块存储在存储器12中,当被一个或者多个处理器11执行时,执行上述实施例1至实施例2中的网络设备性能采集的方法,例如,执行以上描述的图1、图3、图6、图7、图8所示的各个步骤。本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(Read Only Memory,简写为:ROM)、随机存取存储器(Random Access Memory,简写为:RAM)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种网络设备性能采集的方法,其特征在于:
获取各设备的性能文件历史采集的压缩策略和/或传输策略,及其对应的性能采集效率;
根据设备的历史性能采集效率,保持上一次采集各设备的压缩策略和传输策略不变,调整当前设备的压缩策略,若调整后的策略可用,将调整后的策略放入策略预选池,按照本次采集时设备性能文件的上传顺序,为策略预选池中的策略分配优先级,下一次采集时,按照优先级选择策略预选池中的策略,使用选中的策略对性能文件进行压缩和上传,每次采集完成后,将采集完成时间最短的策略组放入本次采集的策略比较池,将本次采集的策略比较池和历史采集的策略比较池中的策略进行对比,选择二者中采集完成时间更短的策略作为优选策略,将策略预选池中与优选策略一致的策略分配最高优先级,在下次迭代时优先保留该策略中的各项策略指标,根据迭代结果选择每台设备的当前压缩策略和/或当前传输策略;
根据当前压缩策略对性能文件进行压缩,使用当前传输策略上传压缩后的性能文件。
2.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述调整当前设备的压缩策略,具体包括:
判断性能文件的压缩耗时和/或上传等待时间是否大于预设压缩耗时阀值和/或预设上传等待时间阀值;
若压缩耗时大于预设压缩耗时阀值,减小性能文件的压缩比;
和/或,若上传等待时间大于预设上传等待时间阈值,增大性能文件的压缩比和/或增加上传并发数。
3.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述选择二者中采集完成时间更短的策略作为优选策略,还包括:
若本次采集的策略比较池中的策略被选择为优选策略,将本次采集的策略保留在历史采集的策略比较池中。
4.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述获取各设备的性能文件历史采集的压缩策略和/或传输策略之前,还包括:
对设备按照采集完成时间进行排序,将排序后的设备均分为设备集合,每个设备集合中的设备分配不同的压缩比,将每个设备集合分配的压缩比大小与最大并发数进行组合作为初始策略;
使用初始策略进行至少三次初始采集,每次采集的策略调整依据分别为采集完成时间、性能文件大小、性能文件压缩实效中的至少一项。
5.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述在下次迭代时优先保留该策略中的各项策略指标,还包括:
迭代过程中,调整后的可选策略数大于预设指定策略数时,按照预设比例选择各优先级的策略数作为一下次的迭代策略,其中,预设指定策略数与设备数量及并发控制策略数正相关。
6.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述在下次迭代时优先保留该策略中的各项策略指标,还包括:
当迭代次数超过预设迭代次数阈值时停止迭代,使用当前上传时间最短的策略作为性能采集策略,其中,迭代次数阈值与设备数量正相关。
7.根据权利要求1所述的网络设备性能采集的方法,其特征在于,所述获取各设备的性能文件历史采集的压缩策略和/或传输策略,还包括:
根据所有采集到的性能文件的平均大小、平均压缩耗时、传输平均耗时中的至少一项,排除设备性能异常情况对策略选择的影响。
8.一种网络设备性能采集的系统,其特征在于:
包括网管、首站设备和至少一个网元设备,首站设备采集网元设备的性能文件并上传至网管;
其中,首站设备包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储能被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,根据权利要求1-7中任一项所述的网络设备性能采集的方法生成采集策略,并为每个网元设备分配相应的采集策略。
CN202210182782.XA 2022-02-25 2022-02-25 一种网络设备性能采集的方法和系统 Active CN114422508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210182782.XA CN114422508B (zh) 2022-02-25 2022-02-25 一种网络设备性能采集的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210182782.XA CN114422508B (zh) 2022-02-25 2022-02-25 一种网络设备性能采集的方法和系统

Publications (2)

Publication Number Publication Date
CN114422508A CN114422508A (zh) 2022-04-29
CN114422508B true CN114422508B (zh) 2023-06-09

Family

ID=81261391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210182782.XA Active CN114422508B (zh) 2022-02-25 2022-02-25 一种网络设备性能采集的方法和系统

Country Status (1)

Country Link
CN (1) CN114422508B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116545942B (zh) * 2023-07-04 2023-09-26 腾讯科技(深圳)有限公司 数据传输方法、装置、电子设备和存储介质
CN118449526A (zh) * 2023-10-25 2024-08-06 荣耀终端有限公司 数据处理方法、测量电路及电子设备
CN117294926B (zh) * 2023-11-24 2024-03-19 深圳金三立视频科技股份有限公司 一种基于设备分布的抓拍策略分配方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038371A (zh) * 2014-05-22 2014-09-10 国家电网公司 一种电力通信传输网自适应性能采集方法
CN110188015A (zh) * 2019-04-04 2019-08-30 北京升鑫网络科技有限公司 一种主机访问关系异常行为自适应检测装置及其监测方法
CN110532080A (zh) * 2019-09-02 2019-12-03 安徽三马信息科技有限公司 一种自适应现场工况数据采集系统
CN110609850A (zh) * 2019-08-01 2019-12-24 联想(北京)有限公司 一种信息确定方法、电子设备及计算机存储介质
CN113240067A (zh) * 2021-05-14 2021-08-10 江苏科技大学 一种基于改进蝠鲼觅食优化算法的rbf神经网络优化方法
CN113766357A (zh) * 2021-09-08 2021-12-07 北京籽创适居科技发展有限公司 一种数据采集传输和数据处理的方法及系统
CN113810489A (zh) * 2021-09-14 2021-12-17 广东三水合肥工业大学研究院 一种工业互联网控制系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373115B2 (en) * 2018-04-09 2022-06-28 Here Global B.V. Asynchronous parameter aggregation for machine learning
WO2020234476A1 (en) * 2019-05-23 2020-11-26 Deepmind Technologies Limited Large scale generative neural network model with inference for representation learning using adversial training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038371A (zh) * 2014-05-22 2014-09-10 国家电网公司 一种电力通信传输网自适应性能采集方法
CN110188015A (zh) * 2019-04-04 2019-08-30 北京升鑫网络科技有限公司 一种主机访问关系异常行为自适应检测装置及其监测方法
CN110609850A (zh) * 2019-08-01 2019-12-24 联想(北京)有限公司 一种信息确定方法、电子设备及计算机存储介质
CN110532080A (zh) * 2019-09-02 2019-12-03 安徽三马信息科技有限公司 一种自适应现场工况数据采集系统
CN113240067A (zh) * 2021-05-14 2021-08-10 江苏科技大学 一种基于改进蝠鲼觅食优化算法的rbf神经网络优化方法
CN113766357A (zh) * 2021-09-08 2021-12-07 北京籽创适居科技发展有限公司 一种数据采集传输和数据处理的方法及系统
CN113810489A (zh) * 2021-09-14 2021-12-17 广东三水合肥工业大学研究院 一种工业互联网控制系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云无线接入网络高能效功率分配和波束成形联合优化算法;左加阔;杨龙祥;鲍楠;卢官明;;电子与信息学报(12);全文 *

Also Published As

Publication number Publication date
CN114422508A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114422508B (zh) 一种网络设备性能采集的方法和系统
CN110381541B (zh) 一种基于强化学习的智能电网切片分配方法及装置
US8918792B2 (en) Workflow monitoring and control system, monitoring and control method, and monitoring and control program
CN105718479B (zh) 跨idc大数据处理架构下执行策略生成方法、装置
CN107239336B (zh) 一种实现任务调度的方法及装置
CN103699433B (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
CN104168318A (zh) 一种资源服务系统及其资源分配方法
WO2022052995A1 (zh) 机器人充电分配方法、装置、设备、系统及存储介质
CN110708259A (zh) 自动调整队列阈值的信息无感知Coflow调度系统及其调度方法
CN109710412A (zh) 一种基于动态反馈的Nginx负载均衡方法
CN116302578B (zh) 一种QoS约束的流应用延迟确保方法及系统
CN110099083A (zh) 一种用于服务器集群的负载均衡调度方法及装置
CN112463044B (zh) 一种保证分布式存储系统服务器端读尾延迟的方法及系统
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN112817728A (zh) 任务调度方法、网络设备和存储介质
CN113672391A (zh) 一种基于Kubernetes的并行计算任务调度方法与系统
CN114938372B (zh) 一种基于联邦学习的微网群请求动态迁移调度方法及装置
CN116627631A (zh) 资源调度方法、系统、电子设备和存储介质
CN116302404B (zh) 面向资源解耦合数据中心的服务器无感知计算调度方法
CN117221227A (zh) 一种基于fpga的自适应高效仲裁管理方法
CN114064226A (zh) 容器集群的资源调协方法、调协装置及存储介质
CN116483547A (zh) 资源调度方法、装置、计算机设备和存储介质
CN107360483B (zh) 一种用于软件定义光网络的控制器负载均衡算法
CN113783798A (zh) 数据传输方法及系统、边缘服务设备
CN112367275A (zh) 一种电网数据采集系统多业务资源分配方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240626

Address after: 430000 No. 6, High-tech Fourth Road, Donghu High-tech Development Zone, Wuhan City, Hubei Province

Patentee after: FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.

Country or region after: China

Patentee after: Wuhan Changjiang Computing Technology Co.,Ltd.

Address before: 430000 No. 6, High-tech Fourth Road, Donghu High-tech Development Zone, Wuhan City, Hubei Province

Patentee before: FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.

Country or region before: China