CN115333955A - 一种多层端口缓存的管理方法和装置 - Google Patents
一种多层端口缓存的管理方法和装置 Download PDFInfo
- Publication number
- CN115333955A CN115333955A CN202210959845.8A CN202210959845A CN115333955A CN 115333955 A CN115333955 A CN 115333955A CN 202210959845 A CN202210959845 A CN 202210959845A CN 115333955 A CN115333955 A CN 115333955A
- Authority
- CN
- China
- Prior art keywords
- port
- data
- time
- port data
- ports
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种多层端口缓存的管理方法和装置。其方法部分主要包括:进行端口数据的空间相关性分析以及时间相关性分析;将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类;确定以数据节点存储端口数据的结构,并将同一聚类的端口数据同步到客户端内存。本发明可以利用端口数据的空间聚集和时间聚集特性,将端口数据划分到不同的数据节点,使得访问相关联的端口数据时,不会在不同数据节点间切换,而是集中在同一数据节点上;另外利用端口数据的聚类信息,将同一聚类的端口数据同步到客户端内存中,减少客户端访问数据节点的频次。通过上述两点,从整体上提升了端口数据访问的性能。
Description
技术领域
本发明涉及电信传输网的网络管控技术领域,特别是涉及一种多层端口缓存的管理方法和装置。
背景技术
在电信传输网的网络管控系统中,通常用网元表示网络设备,用单盘表示网络设备上的某个槽位的物理盘,用物理端口表示物理盘上的物理口,用逻辑端口表示物理口上的不同层次的协议。总而言之,端口是网络设备的基本资源,也是最常见的资源。随着电信传输网的集约化进程的持续发展,网络管控系统管理的网络规模极速扩张,端口的数量也呈指数级增长。因此如何管理数量巨大的端口资源成为了制约网络管控系统管理容量的瓶颈问题。
现有技术的解决该问题的主要思路是:如图1所示,采用分布式缓存技术,构建客户端内存、分布式缓存数据节点、文件系统组成的多层缓存,提升系统访问端口数据的速度。
但现有技术会产生如下几个问题:一是端口数据的划分策略问题,大规模场景下的端口数量达到百万级,如果在分布式缓存的多个数据节点上的分布不合理,可能会导致频繁访问多个数据节点,影响性能;二是客户端内存从数据节点同步数据的策略问题,如果数据不是常用的数据,客户端内存的数据也还是会经常同步,影响性能。
有鉴于此,如何克服现有技术所存在的缺陷,解决上述技术问题,是本技术领域待解决的难题。
发明内容
针对现有技术中的缺陷或改进需求:端口数据的划分策略问题,大规模场景下的端口数量达到百万级,如果在分布式缓存的多个数据节点上的分布不合理,可能会导致频繁访问多个数据节点,影响性能。客户端内存从数据节点同步数据的策略问题,如果数据不是常用的数据,客户端内存的数据也还是会经常同步,影响性能。本发明提出了一种多层端口缓存的管理方法和装置,设计了一种端口数据的划分方法,使其在分布式缓存的多个数据节点上合理分布,尽量减少频繁访问多个数据节点;同时设计了一种客户端内存从数据节点同步数据的方法,尽量减少客户端内存的同步频率;通过上述两种方法的实施,达到提升访问端口数据缓存的整体性能。
本发明实施例采用如下技术方案:
第一方面,本发明提供了一种多层端口缓存的管理方法,包括:
进行端口数据的空间相关性分析以及时间相关性分析;
将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类;
确定以数据节点存储端口数据的结构,并将同一聚类的端口数据同步到客户端内存。
进一步的,所述进行端口数据的空间相关性分析以及时间相关性分析中,进行端口数据的空间相关性分析具体包括:
提取端口数据的物理寻址信息,提取端口数据的业务寻址信息;
对物理寻址信息和业务寻址信息进行归一化处理,并组成端口的空间属性向量;
对空间属性向量的属性按相关性排序;
对空间属性向量的属性赋予空间权值,其中相关性高的权值大,表示空间聚集程度高;相关性低的权值小,表示空间聚集程度低。
进一步的,所述物理寻址信息包括端口所在的逻辑域ID、网元ID、单盘ID、主接口ID以及端口号中的一种或多种;所述业务寻址信息包括端口所在的业务ID、业务类型、业务层次中的一种或多种;所述空间属性向量的属性包括逻辑域ID、网元ID、单盘ID、主接口ID、端口号、业务ID、业务类型、业务层次中的一种或多种;所述空间属性向量的属性按相关性排序从高到低包括:业务ID、主接口ID、单盘ID、网元ID、逻辑域ID、业务类型、业务层次、端口号中的一种或多种。
进一步的,所述进行端口数据的空间相关性分析以及时间相关性分析中,进行端口数据的时间相关性分析具体包括:
对所有待分析端口设置两个阀值:连续访问时间阀值、间隔无访问时间阀值;
获取所有待分析端口的访问记录:在待分析端口的历史访问日志里寻找待分析端口的访问记录,从该待分析端口的访问记录的时间开始,到连续访问时间阀值之前的时间作为待分析端口的第一时间窗口,获取待分析端口的第一时间窗口内的所有端口的访问记录;
确立所有待分析端口的有时间聚集关系的端口集合:遍历待分析端口的第一时间窗口内的所有端口的访问记录,若找到一条记录与前一条记录的时间间隔超出间隔无访问时间阀值,那么该记录之前的所有端口成为该待分析端口的有时间聚集关系的端口集合;
遍历所有待分析端口的有时间聚集关系的端口集合,按访问次数分配其中端口的时间权值,访问次数多的权值高,访问次数少的权值低。
进一步的,所述将所有端口数据按照时间关系进行分片具体包括:
取当前端口,若当前端口的有时间聚集关系的端口集合中,还有未被扩充的端口,则在当前端口的有时间聚集关系的端口集合中取未被扩充的端口;
将该未被扩充的端口的有时间聚集关系的端口集合扩充到当前端口的有时间聚集关系的端口集合中,直到当前端口的有时间聚集关系的端口集合不再扩大,得到一个端口数据的时间分片;
遍历所有端口,直到所有端口遍历完成,得到所有端口数据的时间分片。
进一步的,所述将时间分片里的端口按照空间关系进行聚类具体包括:
对于一个时间分片里的端口数据,按照端口的时间权值乘以端口的空间属性向量的空间权值,以得到时空权值;
按照端口的时空权值属性向量,使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析。
进一步的,所述使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析具体包括:
通过聚类算法进行分析,得到多个聚类,设其数量为K;
每个聚类内的端口数据小于距离阀值,表明端口数据在空间和时间上的聚集度较高,将其分配到同一个数据节点;
K个不同聚类之间的端口数据大于距离阀值,表明端口数据在空间和时间上的聚集度较低,将其分配到不同的数据节点。
进一步的,所述确定以数据节点存储端口数据的结构具体包括:
以端口为节点,端口与端口之间的关联性为连接的无向图;
对一个聚类内的端口数据,每个端口数据生成一个节点;
对一个聚类内的端口数据,与其他端口间的时空权值属性向量的距离值,作为链路的权值;
其中,K个聚类生成K个无向图,无向图之间没有关联性。
进一步的,所述将同一聚类的端口数据同步到客户端内存具体包括:
客户端检查内存里是否存在端口数据,若存在则直接返回;若不存在则从数据节点同步;
检测客户端的内存使用率,设置端口数据的阀值,使得现有内存加阀值后的内存使用率不大于70%;
按照需要的端口数据,在数据节点上查找存在关联性的端口数据;
在数据节点上聚类的无向图里,以要同步的端口数据为起点,放入端口数据列表;
端口数据列表更新:按权值最高的链路找到下一个端口数据,放入端口数据列表里;
重复进行端口数据列表更新,保证端口数据不超过阀值,并将最终的端口数据列表同步到客户端。
另一方面,本发明提供了一种多层端口缓存的管理装置,具体为:包括至少一个处理器和存储器,至少一个处理器和存储器之间通过数据总线连接,存储器存储能被至少一个处理器执行的指令,指令在被处理器执行后,用于完成第一方面中的多层端口缓存的管理方法。
与现有技术相比,本发明的有益效果在于:一是利用端口数据的空间聚集和时间聚集特性,将端口数据划分到不同的数据节点,使得访问相关联的端口数据时,不会在不同数据节点间切换,而是集中在同一数据节点上;二是利用端口数据的聚类信息,将同一聚类的端口数据同步到客户端内存中,减少客户端访问数据节点的频次。通过上述两点,从整体上提升了端口数据访问的性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明背景技术提供的分布式缓存架构图;
图2为本发明实施例1提供的一种多层端口缓存的管理方法流程图;
图3为本发明实施例1提供的进行端口数据的空间相关性分析流程图;
图4为本发明实施例1提供的进行端口数据的时间相关性分析流程图;
图5为本发明实施例1提供的将所有端口数据按照时间关系进行分片流程图;
图6为本发明实施例1提供的将时间分片里的端口按照空间关系进行聚类流程图;
图7为本发明实施例1提供的确定以数据节点存储端口数据的结构流程图;
图8为本发明实施例1提供的将同一聚类的端口数据同步到客户端内存流程图;
图9为本发明实施例3提供的一种多层端口缓存的管理装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明是一种特定功能系统的体系结构,因此在具体实施例中主要说明各结构模组的功能逻辑关系,并不对具体软件和硬件实施方式做限定。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合,各个步骤在符合逻辑、不冲突的情况下也可以调换先后顺序。下面就参考附图和实施例结合来详细说明本发明。
实施例1:
如图2所示,本发明实施例1提供一种多层端口缓存的管理方法,该方法包括如下步骤。
步骤100:进行端口数据的空间相关性分析以及时间相关性分析。
步骤200:将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类。
步骤300:确定以数据节点存储端口数据的结构,并将同一聚类的端口数据同步到客户端内存。
以上步骤中,进行端口数据的空间相关性分析以及时间相关性分析、将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类、以及确定以数据节点存储端口数据的结构均属于本实施例提出的端口数据的划分策略,主要就是从空间相关性和时间相关性上划分端口数据,使端口数据在分布式缓存的多个数据节点上合理分布,尽量减少频繁访问多个数据节点。而将同一聚类的端口数据同步到客户端内存属于本实施例提出的客户端内存从数据节点同步数据的策略,以减少客户端访问数据节点的频次,尽量减少客户端内存的同步频率。通过上述两种策略的设置,达到提升访问端口数据缓存的整体性能。
具体的,对于本优选实施例的步骤100(进行端口数据的空间相关性分析以及时间相关性分析),包括进行端口数据的空间相关性分析,以及进行端口数据的时间相关性分析。
其中,如图3所示,进行端口数据的空间相关性分析具体可包括如下步骤。
步骤101:提取端口数据的物理寻址信息,提取端口数据的业务寻址信息。在该步骤中,所述物理寻址信息包括端口所在的逻辑域ID、网元ID、单盘ID、主接口ID以及端口号中的一种或多种,物理寻址信息一般由端口所在的逻辑域ID、网元ID、单盘ID、主接口ID以及端口号组成;所述业务寻址信息包括端口所在的业务ID、业务类型、业务层次中的一种或多种,业务寻址信息一般由端口所在的业务ID、业务类型、业务层次组成。
步骤102:对物理寻址信息和业务寻址信息进行归一化处理,并组成端口的空间属性向量。在该步骤中,所述空间属性向量的属性包括逻辑域ID、网元ID、单盘ID、主接口ID、端口号、业务ID、业务类型、业务层次中的一种或多种,本实施例中的空间属性向量为<逻辑域ID,网元ID,单盘ID,主接口ID,端口号,业务ID,业务类型,业务层次>。
步骤103:对空间属性向量的属性按相关性排序。在该步骤中,所述空间属性向量的属性按相关性排序从高到低包括:业务ID、主接口ID、单盘ID、网元ID、逻辑域ID、业务类型、业务层次、端口号中的一种或多种。
步骤104:对空间属性向量的属性赋予空间权值,其中相关性高的权值大,表示空间聚集程度高;相关性低的权值小,表示空间聚集程度低。该步骤中,端口的空间聚集性的高低程度,主要是从端口使用时的相关性来判定,一条业务的端口通常会一起获取、存储,因此相关性最高;同一主接口上的端口,通常会连续获取,存储时都会对主接口产生影响,因此相关性较高;同理,同一单盘、同一网元、同一逻辑域,随着物理范围的扩大,端口之间的相关性也逐渐降低。权值范围按照空间属性向量的属性数量决定,例如本实施例中是8个属性,则最大权值是8,表示完全相关;最小权值是1,表示不相关;中间的权值越大,则相关性越大。
如图4所示,进行端口数据的时间相关性分析具体可包括如下步骤。
步骤105:对所有待分析端口设置两个阀值:连续访问时间阀值、间隔无访问时间阀值。
步骤106:获取所有待分析端口的访问记录:在待分析端口的历史访问日志里寻找待分析端口的访问记录,从该待分析端口的访问记录的时间开始,到连续访问时间阀值之前的时间作为待分析端口的第一时间窗口,获取待分析端口的第一时间窗口内的所有端口的访问记录。
步骤107:确立所有待分析端口的有时间聚集关系的端口集合:遍历待分析端口的第一时间窗口内的所有端口的访问记录,若找到一条记录与前一条记录的时间间隔超出间隔无访问时间阀值,那么该记录之前的所有端口成为该待分析端口的有时间聚集关系的端口集合。
步骤108:遍历所有待分析端口的有时间聚集关系的端口集合,按访问次数分配其中端口的时间权值,访问次数多的权值高,访问次数少的权值低。
本实施例中,将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类,以及确定以数据节点存储端口数据的结构,可以组成将端口数据划分到分布式缓存的数据节点的策略。
对于本优选实施例的步骤200(将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类),包括将所有端口数据按照时间关系进行分片,以及将时间分片里的端口按照空间关系进行聚类两大步骤。
具体的,如图5所示,将所有端口数据按照时间关系进行分片具体可包括如下步骤。
步骤201:取当前端口,若当前端口的有时间聚集关系的端口集合中,还有未被扩充的端口,则在当前端口的有时间聚集关系的端口集合中取未被扩充的端口。
步骤202:将该未被扩充的端口的有时间聚集关系的端口集合扩充到当前端口的有时间聚集关系的端口集合中,直到当前端口的有时间聚集关系的端口集合不再扩大,得到一个端口数据的时间分片。
步骤203:遍历所有端口,直到所有端口遍历完成,得到所有端口数据的时间分片。
如图6所示,将时间分片里的端口按照空间关系进行聚类具体可包括如下步骤。
步骤204:对于一个时间分片里的端口数据,按照端口的时间权值乘以端口的空间属性向量的空间权值,以得到时空权值。
步骤205:按照端口的时空权值属性向量,使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析。需要说明的是,时空权值是指端口的时间权值乘以端口的空间属性向量的空间权值,而时空权值属性向量的本质也是原本的空间属性向量,不过需要在原本的空间属性向量上乘以一个时间权值以得到时空权值属性向量。另外,在该步骤中,通过聚类算法进行分析,得到多个聚类,设其数量为K;每个聚类内的端口数据小于距离阀值,表明端口数据在空间和时间上的聚集度较高,将其分配到同一个数据节点;K个不同聚类之间的端口数据大于距离阀值,表明端口数据在空间和时间上的聚集度较低,将其分配到不同的数据节点。这里应用的聚类算法,比如k-means,对时间分片里的端口数据的具有“时空权值”的属性向量进行分析,会输出K个聚类,聚类内的端口数据,两两之间的距离小于距离阀值;不同聚类的端口数据,两两之间的距离大于距离阀值。
对于本优选实施例的步骤300(确定以数据节点存储端口数据的结构,并将同一聚类的端口数据同步到客户端内存),包括确定以数据节点存储端口数据的结构,以及将同一聚类的端口数据同步到客户端内存两大步骤。
具体的,如图7所示,确定以数据节点存储端口数据的结构具体可包括如下步骤。
步骤301:以端口为节点,端口与端口之间的关联性为连接的无向图。
步骤302:对一个聚类内的端口数据,每个端口数据生成一个节点。
步骤303:对一个聚类内的端口数据,与其他端口间的时空权值属性向量的距离值,作为链路的权值。其中,K个聚类生成K个无向图,无向图之间没有关联性。
如图8所示,将同一聚类的端口数据同步到客户端内存具体可包括如下步骤。
步骤304:客户端检查内存里是否存在端口数据,若存在则直接返回;若不存在则从数据节点同步。
步骤305:检测客户端的内存使用率,设置端口数据的阀值,使得现有内存加阀值后的内存使用率不大于70%。
步骤306:按照需要的端口数据,在数据节点上查找存在关联性的端口数据。
步骤307:在数据节点上聚类的无向图里,以要同步的端口数据为起点,放入端口数据列表。
步骤308:端口数据列表更新:按权值最高的链路找到下一个端口数据,放入端口数据列表里。
步骤309:重复进行端口数据列表更新,保证端口数据不超过阀值,并将最终的端口数据列表同步到客户端。该步骤中,一次性将更新完成的端口数据列表同步到客户端。
综上所述,本发明实施例提出的一种多层端口缓存的管理方法,一是利用端口数据的空间聚集和时间聚集特性,将端口数据划分到不同的数据节点,使得访问相关联的端口数据时,不会在不同数据节点间切换,而是集中在同一数据节点上;二是利用端口数据的聚类信息,将同一聚类的端口数据同步到客户端内存中,减少客户端访问数据节点的频次。通过上述两点,从整体上提升了端口数据访问的性能。
实施例2:
基于实施例1提供的一种多层端口缓存的管理方法,本实施例2以一个具体的例子,来对本发明进行进一步说明。
本实施例提供端口数据的划分策略,从空间相关性和时间相关性上划分端口数据。
端口数据的空间相关性分析:
(1)提取端口数据的物理寻址信息,一般由端口所在的逻辑域ID、网元ID、单盘ID和主接口ID组成。
假设网元1~网元6上的端口,依据物理寻址,可以由下列信息定位:
<逻辑域1,网元1,单盘1,主接口1,端口1>
<逻辑域2,网元2,单盘2,主接口2,端口2>
<逻辑域3,网元3,单盘3,主接口3,端口3>
<逻辑域4,网元4,单盘4,主接口4,端口4>
<逻辑域5,网元5,单盘5,主接口5,端口5>
<逻辑域6,网元6,单盘6,主接口6,端口6>
<逻辑域7,网元7,单盘7,主接口7,端口7>
<逻辑域8,网元8,单盘8,主接口8,端口8>
(2)提取端口数据的业务寻址信息,一般由端口所在的业务ID、业务类型、业务层次组成。
假设(1)中的6个端口分布在2条业务上,则依据业务寻址,其定位信息为:
<业务1,业务类型1,业务层次1,端口1>
<业务1,业务类型1,业务层次1,端口2>
<业务1,业务类型1,业务层次1,端口3>
<业务2,业务类型2,业务层次2,端口4>
<业务2,业务类型2,业务层次2,端口5>
<业务2,业务类型2,业务层次2,端口6>
另两个端口分别在其他业务上:
<业务3,业务类型3,业务层次3,端口7>
<业务4,业务类型4,业务层次4,端口8>
(3)对物理寻址信息和业务寻址信息进行归一化处理,并组成端口的空间属性向量<逻辑域ID,网元ID,单盘ID,主接口ID,端口号,业务ID,业务类型,业务层次>。
如下所示:
<逻辑域1,网元1,单盘1,主接口1,业务1,业务类型1,业务层次1,端口1>
<逻辑域2,网元2,单盘2,主接口2,业务1,业务类型1,业务层次1,端口2>
<逻辑域3,网元3,单盘3,主接口3,业务1,业务类型1,业务层次1,端口3>
<逻辑域4,网元4,单盘4,主接口4,业务2,业务类型2,业务层次2,端口4>
<逻辑域5,网元5,单盘5,主接口5,业务2,业务类型2,业务层次2,端口5>
<逻辑域6,网元6,单盘6,主接口6,业务2,业务类型2,业务层次2,端口6>
<逻辑域7,网元3,单盘3,主接口3,业务3,业务类型3,业务层次4,端口7>
<逻辑域8,网元7,单盘7,主接口7,业务4,业务类型4,业务层次3,端口8>
(4)对空间属性向量的属性按相关性排序,从高到低为:业务ID,主接口ID,单盘ID,网元ID,逻辑域ID,业务类型,业务层次,端口。
如下所示:
<业务1,主接口1,单盘1,网元1,逻辑域1,业务类型1,业务层次1,端口1>
<业务1,主接口2,单盘2,网元2,逻辑域2,业务类型1,业务层次1,端口2>
<业务1,主接口3,单盘3,网元3,逻辑域3,业务类型1,业务层次1,端口3>
<业务2,主接口4,单盘4,网元4,逻辑域4,业务类型2,业务层次2,端口4>
<业务2,主接口5,单盘5,网元5,逻辑域5,业务类型2,业务层次2,端口5>
<业务2,主接口6,单盘6,网元6,逻辑域6,业务类型2,业务层次2,端口6>
<业务3,主接口3,单盘3,网元3,逻辑域3,业务类型3,业务层次4,端口7>
<业务4,主接口7,单盘7,网元7,逻辑域8,业务类型3,业务层次4,端口8>
(5)对空间属性向量的的属性赋予空间权值:相关性高,权值大,表示空间聚集程度高的;相关性低,权值小,表示空间聚集程度低。
设空间权值从高到低为8到1的数值,则上述空间属性向量表示为:
<业务1×8,主接口1×7,单盘1×6,网元1×5,逻辑域1×4,业务类型1×3,业务层次1×2,端口1×1>
<业务1×8,主接口2×7,单盘2×6,网元2×5,逻辑域2×4,业务类型1×3,业务层次1×2,端口2×1>
<业务1×8,主接口3×7,单盘3×6,网元3×5,逻辑域3×4,业务类型1×3,业务层次1×2,端口3×1>
<业务2×8,主接口4×7,单盘4×6,网元4×5,逻辑域4×4,业务类型2×3,业务层次2×2,端口4×1>
<业务2×8,主接口5×7,单盘5×6,网元5×5,逻辑域5×4,业务类型2×3,业务层次2×2,端口5×1>
<业务2×8,主接口6×7,单盘6×6,网元6×5,逻辑域6×4,业务类型2×3,业务层次2×2,端口6×1>
<业务3×8,主接口3×7,单盘3×6,网元3×5,逻辑域3×4,业务类型3×3,业务层次3×2,端口7×1>
<业务4×8,主接口7×7,单盘7×6,网元7×5,逻辑域8×4,业务类型4×3,业务层次4×2,端口8×1>
端口数据的时间相关性分析:
(1)设置两个阀值:连续访问时间阀值、间隔无访问时间阀值。例如,假设连续访问时间阀值10分钟,间隔无访问时间阀值10秒钟。
(2)在端口的历史访问日志里寻找端口的访问记录。
(3)从该端口的访问记录的时间开始,到连续访问时间阀值之前的时间里,获取这一时间窗口的所有端口的访问记录。例如,分别查找端口1到端口6的十分钟内的所有访问记录。
(4)遍历这一时间窗口的所有端口的访问记录,如果找到一条记录,与前一条记录的时间间隔超出间隔无访问时间阀值,那么该记录之前的所有端口成为有时间聚集关系的端口集合。例如,对于十分钟内的所有访问记录,按照两次访问记录之间间隔时间超过10秒钟进行分段,每段记录里的端口作为有时间聚集关系的端口集合。
(5)对所有端口数据做(1)~(4)的处理,找到所有的有时间聚集关系的端口集合。比如业务1上的端口1~端口3,就属于有时间聚集关系的端口集合;业务2上的端口4~端口6也属于有时间聚集关系的端口集合。而端口7,在访问端口3后10秒内被访问,而端口8,则在访问端口6后10秒内被访问。
(6)遍历所有的有时间聚集关系的端口集合,按访问次数,分配其中端口的时间权值,访问次数多,权值高;访问次数少,权值低。例如,假设端口1~端口3的访问次数分别是2,1,2;端口4~端口6的访问次数分别是2,1,2;端口7访问次数是1,端口8访问次数是1。则它们的时间权值可以分配为:
<端口1,2>
<端口2,1>
<端口3,2>
<端口4,2>
<端口5,1>
<端口6,2>
<端口7,1>
<端口8,1>
端口数据划分到分布式缓存的数据节点的策略:
(1)将所有端口数据按照时间关系进行分片:
a.取当前端口,如果当前端口的有时间聚集关系的端口集合中,还有未被扩充的端口,执行b。
b.在有时间聚集关系的端口集合中取未被扩充的端口,此端口的有时间聚集关系的端口集合扩充到当前有时间聚集关系的端口集合中。例如,端口1~端口3有时间聚集关系;端口4~端口6有时间聚集关系。因此可以扩充到两个时间分片。端口1~端口3的时间片中,端口3与端口7有聚集关系,则时间片可以扩充到端口7;端口4~端口6的时间片中,端口6与端口8有聚集关系,则时间片可以扩充到端口8。
c.执行b,直到有时间聚集关系的端口集合不再扩大,得到一个端口数据的时间分片。
d.执行a-c,直到所有端口遍历完成。得到K个端口数据的时间分片。例如,两个时间分片为:<端口1,端口2,端口3,端口7>,<端口4,端口5,端口6,端口8>。
(2)将时间分片里的端口按照空间关系进行聚类:
a.对于一个时间分片里的端口数据,按照端口时间权值乘以端口的空间属性向量的空间权值,以得到时空权值。
例如,可以按如下方式设置时空权值:
分片一:
<业务1×8,主接口1×7,单盘1×6,网元1×5,逻辑域1×4,业务类型1×3,业务层次1×2,端口1×2>
<业务1×8,主接口2×7,单盘2×6,网元2×5,逻辑域2×4,业务类型1×3,业务层次1×2,端口2×1>
<业务1×8,主接口3×7,单盘3×6,网元3×5,逻辑域3×4,业务类型1×3,业务层次1×2,端口3×2>
<业务3×8,主接口3×7,单盘3×6,网元3×5,逻辑域3×4,业务类型3×3,业务层次3×2,端口7×1>
分片二:
<业务2×8,主接口4×7,单盘4×6,网元4×5,逻辑域4×4,业务类型2×3,业务层次2×2,端口4×2>
<业务2×8,主接口5×7,单盘5×6,网元5×5,逻辑域5×4,业务类型2×3,业务层次2×2,端口5×1>
<业务2×8,主接口6×7,单盘6×6,网元6×5,逻辑域6×4,业务类型2×3,业务层次2×2,端口6×2>
<业务4×8,主接口7×7,单盘7×6,网元7×5,逻辑域7×4,业务类型4×3,业务层次4×2,端口8×1>
b.按照端口的时空权值属性向量,使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析。例如,使用K-means算法,设置时空权值属性向量的距离阀值为1,对上述两个时间分片的数据分别进行聚类。
c.聚类内的端口数据小于距离阀值,表明端口数据在空间和时间上的聚集度较高,宜分配到同一个数据节点。例如,对于分片一,端口1~端口3的第一权重值相同,导致聚集度高,分配到同一个数据节点;端口7由于第二到第五权重值与端口3相同,导致聚集度较高,也分配到同一个数据节点。
d.K个聚类之间的端口数据大于距离阀值,表明端口数据在空间和时间上的聚集度较低,宜分配到不同的数据节点。例如,对于分片二,端口4~端口6的第一权重值相同,导致聚集度高,分配到同一个数据节点;端口8由于权重值均与之前端口不相同,导致聚集度较低,不分配到同一个数据节点。
(3)数据节点存储端口数据的结构:
a.以端口为节点,端口与端口之间的关联性为连接的无向图。
b.对一个聚类内的端口数据,每个端口数据生成一个节点。
c.对一个聚类内的端口数据,与其他端口间的时空权值属性向量的距离值,作为链路的权值。
d.K个聚类生成K个无向图,无向图之间没有关联性。
例如,以端口1~端口3和端口7为节点,以它们的时空权值属性向量的距离值,作为链路权值,生成一个无向图。以端口4~端口6为节点,以它们的时空权值属性向量的距离值,作为链路权值,生成一个无向图。端口8则单独为一个无向图。
客户端内存同步数据节点数据时的策略:
(1)如果客户端检查内存里是否存在端口数据,如果存在则直接返回;如果不存在则从数据节点同步。例如,客户端查询端口1,如果内存里有端口1端数据,则直接返回;否则,从数据节点同步端口1的数据。
(2)检测客户端的内存使用率,设置端口数据的阀值,使得现有内存加阀值后的内存使用率不大于70%。例如,客户端检测内存使用率在60%,设置端口数据阀值为10,保证获取10个端口数据后,客户端的整体内存使用率不超过70%。
(3)按照需要的端口数据,在数据节点上查找存在关联性的端口数据。例如,在数据节点上查找到端口1所在的无向图。
(4)在数据节点上聚类的无向图里,以要同步的端口数据为起点,放入端口数据列表。例如,将端口1的数据放入端口数据列表中。
(5)按权值最高的连接找到下一个端口数据,放入端口数据列表里。例如,按端口1与端口2、端口3、端口7之间的链路权值排序,将最高权值的端口2的数据放入端口数据列表中。
(6)反复执行(5),保证端口数据不超过阀值,并将最终的端口数据列表同步到客户端。例如,反复执行(5),直到端口1与端口2、端口3、端口7的数据都放入端口数据列表中,且未超过阀值10;将此端口数据列表同步到客户端。
综上所述,本发明实施例提出的一种多层端口缓存的管理方法,一是利用端口数据的空间聚集和时间聚集特性,将端口数据划分到不同的数据节点,使得访问相关联的端口数据时,不会在不同数据节点间切换,而是集中在同一数据节点上;二是利用端口数据的聚类信息,将同一聚类的端口数据同步到客户端内存中,减少客户端访问数据节点的频次。通过上述两点,从整体上提升了端口数据访问的性能。
实施例3:
在上述实施例1、实施例2提供的多层端口缓存的管理方法的基础上,本发明还提供了一种可用于实现上述方法及系统的多层端口缓存的管理装置,如图9所示,是本发明实施例的装置架构示意图。本实施例的多层端口缓存的管理装置包括一个或多个处理器21以及存储器22。其中,图9中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器22作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例1-2中的多层端口缓存的管理方法。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块,从而执行多层端口缓存的管理装置的各种功能应用以及数据处理,即实现实施例1-2的多层端口缓存的管理方法。
存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器22可选包括相对于处理器21远程设置的存储器,这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
程序指令/模块存储在存储器22中,当被一个或者多个处理器21执行时,执行上述实施例1-2中的多层端口缓存的管理方法,例如,执行以上描述的图2-图8所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ReadOnlyMemory,简写为:ROM)、随机存取存储器(RandomAccessMemory,简写为:RAM)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种多层端口缓存的管理方法,其特征在于,包括:
进行端口数据的空间相关性分析以及时间相关性分析;
将所有端口数据按照时间关系进行分片,并将时间分片里的端口按照空间关系进行聚类;
确定以数据节点存储端口数据的结构,并将同一聚类的端口数据同步到客户端内存。
2.根据权利要求1所述的多层端口缓存的管理方法,其特征在于,所述进行端口数据的空间相关性分析以及时间相关性分析中,进行端口数据的空间相关性分析具体包括:
提取端口数据的物理寻址信息,提取端口数据的业务寻址信息;
对物理寻址信息和业务寻址信息进行归一化处理,并组成端口的空间属性向量;
对空间属性向量的属性按相关性排序;
对空间属性向量的属性赋予空间权值,其中相关性高的权值大,表示空间聚集程度高;相关性低的权值小,表示空间聚集程度低。
3.根据权利要求2所述的多层端口缓存的管理方法,其特征在于,所述物理寻址信息包括端口所在的逻辑域ID、网元ID、单盘ID、主接口ID以及端口号中的一种或多种;所述业务寻址信息包括端口所在的业务ID、业务类型、业务层次中的一种或多种;所述空间属性向量的属性包括逻辑域ID、网元ID、单盘ID、主接口ID、端口号、业务ID、业务类型、业务层次中的一种或多种;所述空间属性向量的属性按相关性排序从高到低包括:业务ID、主接口ID、单盘ID、网元ID、逻辑域ID、业务类型、业务层次、端口号中的一种或多种。
4.根据权利要求2所述的多层端口缓存的管理方法,其特征在于,所述进行端口数据的空间相关性分析以及时间相关性分析中,进行端口数据的时间相关性分析具体包括:
对所有待分析端口设置两个阀值:连续访问时间阀值、间隔无访问时间阀值;
获取所有待分析端口的访问记录:在待分析端口的历史访问日志里寻找待分析端口的访问记录,从该待分析端口的访问记录的时间开始,到连续访问时间阀值之前的时间作为待分析端口的第一时间窗口,获取待分析端口的第一时间窗口内的所有端口的访问记录;
确立所有待分析端口的有时间聚集关系的端口集合:遍历待分析端口的第一时间窗口内的所有端口的访问记录,若找到一条记录与前一条记录的时间间隔超出间隔无访问时间阀值,那么该记录之前的所有端口成为该待分析端口的有时间聚集关系的端口集合;
遍历所有待分析端口的有时间聚集关系的端口集合,按访问次数分配其中端口的时间权值,访问次数多的权值高,访问次数少的权值低。
5.根据权利要求4所述的多层端口缓存的管理方法,其特征在于,所述将所有端口数据按照时间关系进行分片具体包括:
取当前端口,若当前端口的有时间聚集关系的端口集合中,还有未被扩充的端口,则在当前端口的有时间聚集关系的端口集合中取未被扩充的端口;
将该未被扩充的端口的有时间聚集关系的端口集合扩充到当前端口的有时间聚集关系的端口集合中,直到当前端口的有时间聚集关系的端口集合不再扩大,得到一个端口数据的时间分片;
遍历所有端口,直到所有端口遍历完成,得到所有端口数据的时间分片。
6.根据权利要求5所述的多层端口缓存的管理方法,其特征在于,所述将时间分片里的端口按照空间关系进行聚类具体包括:
对于一个时间分片里的端口数据,按照端口的时间权值乘以端口的空间属性向量的空间权值,以得到时空权值;
按照端口的时空权值属性向量,使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析。
7.根据权利要求6所述的多层端口缓存的管理方法,其特征在于,所述使用聚类算法,设置时空权值属性向量的距离阀值,对时间分片里的端口数据进行聚类分析具体包括:
通过聚类算法进行分析,得到多个聚类,设其数量为K;
每个聚类内的端口数据小于距离阀值,表明端口数据在空间和时间上的聚集度较高,将其分配到同一个数据节点;
K个不同聚类之间的端口数据大于距离阀值,表明端口数据在空间和时间上的聚集度较低,将其分配到不同的数据节点。
8.根据权利要求6所述的多层端口缓存的管理方法,其特征在于,所述确定以数据节点存储端口数据的结构具体包括:
以端口为节点,端口与端口之间的关联性为连接的无向图;
对一个聚类内的端口数据,每个端口数据生成一个节点;
对一个聚类内的端口数据,与其他端口间的时空权值属性向量的距离值,作为链路的权值;
其中,K个聚类生成K个无向图,无向图之间没有关联性。
9.根据权利要求8所述的多层端口缓存的管理方法,其特征在于,所述将同一聚类的端口数据同步到客户端内存具体包括:
客户端检查内存里是否存在端口数据,若存在则直接返回;若不存在则从数据节点同步;
检测客户端的内存使用率,设置端口数据的阀值,使得现有内存加阀值后的内存使用率不大于70%;
按照需要的端口数据,在数据节点上查找存在关联性的端口数据;
在数据节点上聚类的无向图里,以要同步的端口数据为起点,放入端口数据列表;
端口数据列表更新:按权值最高的链路找到下一个端口数据,放入端口数据列表里;
重复进行端口数据列表更新,保证端口数据不超过阀值,并将最终的端口数据列表同步到客户端。
10.一种多层端口缓存的管理装置,其特征在于:
包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储能被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,用于完成权利要求1-9中任一项所述的多层端口缓存的管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210959845.8A CN115333955B (zh) | 2022-08-11 | 2022-08-11 | 一种多层端口缓存的管理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210959845.8A CN115333955B (zh) | 2022-08-11 | 2022-08-11 | 一种多层端口缓存的管理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115333955A true CN115333955A (zh) | 2022-11-11 |
CN115333955B CN115333955B (zh) | 2023-06-02 |
Family
ID=83921018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210959845.8A Active CN115333955B (zh) | 2022-08-11 | 2022-08-11 | 一种多层端口缓存的管理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115333955B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103118132A (zh) * | 2013-02-28 | 2013-05-22 | 浙江大学 | 一种面向时空数据的分布式缓存系统及方法 |
JP2013242810A (ja) * | 2012-05-22 | 2013-12-05 | Nippon Telegr & Teleph Corp <Ntt> | データ分類装置およびデータ分類方法 |
WO2015001395A1 (en) * | 2013-07-05 | 2015-01-08 | Pismo Labs Technology Limited | Methods and systems for transmitting packets through network interfaces |
JP2016005008A (ja) * | 2014-06-13 | 2016-01-12 | 富士通株式会社 | ネットワーク管理装置及び方法 |
CN106657047A (zh) * | 2016-12-14 | 2017-05-10 | 北京启明星辰信息安全技术有限公司 | 一种网络访问关系的生成方法及装置 |
CN107545272A (zh) * | 2017-03-23 | 2018-01-05 | 北京工业大学 | 一种MapReduce框架下的空间网络对象聚类方法 |
US10354201B1 (en) * | 2016-01-07 | 2019-07-16 | Amazon Technologies, Inc. | Scalable clustering for mixed machine learning data |
US20200313985A1 (en) * | 2019-03-30 | 2020-10-01 | Wipro Limited | Method and system for effective data collection, aggregation, and analysis in distributed heterogeneous communication network |
CN113630419A (zh) * | 2021-08-16 | 2021-11-09 | 中移互联网有限公司 | 一种基于api流量的数据分类分级及数据安全监测方法及系统 |
US20210409334A1 (en) * | 2019-05-14 | 2021-12-30 | Huawei Technologies Co., Ltd. | Data Flow Classification Method and Packet Forwarding Device |
CN113961423A (zh) * | 2021-10-28 | 2022-01-21 | 中国联合网络通信集团有限公司 | Api接口安全管理方法、装置、设备及介质 |
-
2022
- 2022-08-11 CN CN202210959845.8A patent/CN115333955B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013242810A (ja) * | 2012-05-22 | 2013-12-05 | Nippon Telegr & Teleph Corp <Ntt> | データ分類装置およびデータ分類方法 |
CN103118132A (zh) * | 2013-02-28 | 2013-05-22 | 浙江大学 | 一种面向时空数据的分布式缓存系统及方法 |
WO2015001395A1 (en) * | 2013-07-05 | 2015-01-08 | Pismo Labs Technology Limited | Methods and systems for transmitting packets through network interfaces |
JP2016005008A (ja) * | 2014-06-13 | 2016-01-12 | 富士通株式会社 | ネットワーク管理装置及び方法 |
US10354201B1 (en) * | 2016-01-07 | 2019-07-16 | Amazon Technologies, Inc. | Scalable clustering for mixed machine learning data |
CN106657047A (zh) * | 2016-12-14 | 2017-05-10 | 北京启明星辰信息安全技术有限公司 | 一种网络访问关系的生成方法及装置 |
CN107545272A (zh) * | 2017-03-23 | 2018-01-05 | 北京工业大学 | 一种MapReduce框架下的空间网络对象聚类方法 |
US20200313985A1 (en) * | 2019-03-30 | 2020-10-01 | Wipro Limited | Method and system for effective data collection, aggregation, and analysis in distributed heterogeneous communication network |
US20210409334A1 (en) * | 2019-05-14 | 2021-12-30 | Huawei Technologies Co., Ltd. | Data Flow Classification Method and Packet Forwarding Device |
CN113630419A (zh) * | 2021-08-16 | 2021-11-09 | 中移互联网有限公司 | 一种基于api流量的数据分类分级及数据安全监测方法及系统 |
CN113961423A (zh) * | 2021-10-28 | 2022-01-21 | 中国联合网络通信集团有限公司 | Api接口安全管理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115333955B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109739849B (zh) | 一种数据驱动的网络敏感信息挖掘与预警平台 | |
CN109740037B (zh) | 多源、异构流态大数据分布式在线实时处理方法及系统 | |
CN109085995B (zh) | 数据动态分片的存储方法、装置和系统 | |
Patwary et al. | Window-based streaming graph partitioning algorithm | |
JP2022020070A (ja) | 情報処理、情報推薦の方法および装置、電子デバイス及び記憶媒体 | |
CN112162707A (zh) | 用于分布式存储系统的存储方法、电子设备及存储介质 | |
CN118227337B (zh) | 一种键值对存储系统的处理方法和装置 | |
CN112559459B (zh) | 一种基于云计算的自适应存储分层系统及方法 | |
CN108647266A (zh) | 一种异构数据快速分布存储、交互方法 | |
CN112231481A (zh) | 网址的分类方法、装置、计算机设备和存储介质 | |
CN115203255A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN117439655B (zh) | 一种空间太赫兹信息中心网络轻量级缓存方法及装置 | |
CN117539915A (zh) | 一种数据处理方法及相关装置 | |
CN115333955B (zh) | 一种多层端口缓存的管理方法和装置 | |
CN109101595A (zh) | 一种信息查询方法、装置、设备及计算机可读存储介质 | |
CN115618050B (zh) | 视频数据存储、分析方法、装置、系统、通信设备及存储介质 | |
CN112395453A (zh) | 一种自适应分布式遥感影像缓存及检索方法 | |
CN116541553A (zh) | 一种视频调度方法、装置、设备及可读存储介质 | |
CN109657018B (zh) | 一种分布式车辆行驶数据查询方法及终端设备 | |
CN110555037A (zh) | 智慧城市数据共享系统 | |
CN115951832A (zh) | 针对对象存储的智能小文件合并的方法及系统 | |
CN111209100B (zh) | 一种业务处理和数据源确定方法 | |
CN114547034A (zh) | 一种数据查询的方法、装置、设备及存储介质 | |
CN114253938A (zh) | 数据管理方法、数据管理装置及存储介质 | |
CN115905115A (zh) | 文件存储方法、读取方法及装置、电子设备与存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |