CN114124643A - 一种基于PaaS的网络设备流量采集方法及装置 - Google Patents

一种基于PaaS的网络设备流量采集方法及装置 Download PDF

Info

Publication number
CN114124643A
CN114124643A CN202111325151.0A CN202111325151A CN114124643A CN 114124643 A CN114124643 A CN 114124643A CN 202111325151 A CN202111325151 A CN 202111325151A CN 114124643 A CN114124643 A CN 114124643A
Authority
CN
China
Prior art keywords
acquisition
service
data
message queue
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111325151.0A
Other languages
English (en)
Other versions
CN114124643B (zh
Inventor
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN202111325151.0A priority Critical patent/CN114124643B/zh
Publication of CN114124643A publication Critical patent/CN114124643A/zh
Application granted granted Critical
Publication of CN114124643B publication Critical patent/CN114124643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种基于PaaS的网络设备流量采集方法及装置，其中，该方法包括：任务分发主应用周期性将需要采集对象插入缓存数据库服务中的任务分发队列；采集服务通过读取任务分发队列获取各自采集任务并排入各自任务列表；采集服务通过扫描各自任务列表内的任务，获取采集对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入缓存中；采集服务将该采集对象的上次与本次计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；分析服务读取消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。该方法及装置充分利用PaaS平台提供的组件，使用容器化技术实现高性能SNMP流量采集。

Description

一种基于PaaS的网络设备流量采集方法及装置
技术领域
本发明涉及SNMP流量采集领域，尤其是一种基于PaaS的网络设备流量采集方法及装置。
背景技术
传统SNMP流量采集是基于物理机/虚拟机部署分布式探针，通过在探针上下发任务列表并按列表顺序串行执行采集，可通过横向扩展服务器实现对海量采集对象的高效采集。
上述采集方式存在以下问题：
1、由于串行执行机制，使其不能支撑高频次SNMP(秒级)采集场景。
2、不支持灵活动态的作业调度，任务列表即固化了采集对象，无法根据负载动态调配采集。
发明内容
为了解决传统SNMP流量采集方式存在的上述问题，本发明提供一种基于PaaS的网络设备流量采集方法及装置，基于PaaS(Platform as a Service，平台即服务)平台提供的技术组件，充分利用容器化集群部署的技术优势，实现高性能SNMP流量采集。
为实现上述目的，本发明采用下述技术方案：
在本发明一实施例中，提出了一种基于PaaS的网络设备流量采集方法，该方法包括：
任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；
采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；
采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；
采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；
分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。
进一步地，采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起。
进一步地，采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中。
进一步地，采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：
采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；
若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；
若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。
进一步地，分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中，包括：
分析服务读取消息队列服务的消息队列，获取需要分析的数据，使用上次与本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速；若本次端口字节计数器的计数值＜上次端口字节计数器的计数值，则按端口字节计数器翻转次数进行计算补偿；
将分析计算得出的数据结构化存储到关系型数据库中，同时周期性进行以时间为粒度的汇总和持久化。
在本发明一实施例中，还提出了一种基于PaaS的网络设备流量采集装置，该装置包括：
采集任务分发模块，用于通过任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；
采集任务执行模块，用于采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；
数据分析入库模块，用于分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。
进一步地，采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起。
进一步地，采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中。
进一步地，采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：
采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；
若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；
若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。
进一步地，分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中，包括：
分析服务读取消息队列服务的消息队列，获取需要分析的数据，使用上次与本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速；若本次端口字节计数器的计数值＜上次端口字节计数器的计数值，则按端口字节计数器翻转次数进行计算补偿；
将分析计算得出的数据结构化存储到关系型数据库中，同时周期性进行以时间为粒度的汇总和持久化。
在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述基于PaaS的网络设备流量采集方法。
在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行基于PaaS的网络设备流量采集方法的计算机程序。
有益效果：
1、本发明基于PaaS平台构建流量采集系统，是云原生的流量采集应用。
2、本发明基于容器化方式部署，提高采集效能和横向扩展性。
附图说明
图1是本发明基于PaaS的网络设备流量采集任务分发流程示意图；
图2是本发明基于PaaS的网络设备流量采集任务执行流程示意图；
图3是本发明基于PaaS的网络设备流量采集任务分发框架图；
图4是本发明基于PaaS的网络设备流量采集任务执行框架图；
图5是本发明基于PaaS的网络设备流量数据分析入库框架图；
图6是本发明基于PaaS的网络设备流量采集装置结构示意图；
图7是本发明计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种基于PaaS的网络设备流量采集方法及装置，充分利用PaaS平台提供的技术组件，使用容器化技术实现高性能SNMP流量采集。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
本发明基于PaaS的网络设备流量采集方法，包括：
1、采集分发流程如图1所示，判断是否中断，是则结束，否则扫描任务队列，判断是否有待执行任务，是则扫描任务列表，选择采集服务，下发任务列表，完成后返回判断是否中断，否则直接跳到判断是否中断。
2、采集执行流程如图2所示，读取任务列表，判断是否有待执行任务，是则执行采集任务，同时查询缓存计数器，计算流量，写入流量数据，同时更新缓存计数器，否则直接结束。
3、数据分析入库。
本发明基于PaaS的网络设备流量采集方法，具体说明如下：
1、使用到的PaaS平台组件：
缓存数据库服务(Cache_Svc)：类似Redis(Remote Dictionary Server，远程字典服务)/Memcache(分布式的高速缓存系统)的功能，能够提供高性能、高可靠和可水平扩展的分布式缓存系统，具备分库分表，支持水平扩展和在线扩容等功能，解决大规模和高并发访问时的性能瓶颈，并提供了容灾、恢复、监控和迁移等能力。
消息队列服务(MQ_Svc)：具备消息有序、不重和不丢失，高堆积低损耗等特性的消息中间件产品，适用于系统的解耦、缓冲和数据交换及削峰填谷，并提供运维管理、监控预警和动态扩容等配套功能。
关系型数据库(RDBMS_Svc)：类似MySQL协议和语法，支持自动水平拆分的高性能和高可靠分布式关系型数据库；数据访问对应用透明，每个分片默认采用主备架构，提供灾备、恢复、监控和不停机扩容等整套解决方案，适用于TB或PB级的海量数据场景。
2、采集任务分发
如图3所示，Scheduller：任务分发主应用，周期性将需要采集的对象插入Cache_Svc中的任务分发队列taskqueue；
ColSrvX：采集服务，包含若干采集服务实例ColSrv，可根据任务分发队列的大小配置阈值，实现动态拉起或挂起即启动。每个采集服务实例每次从任务分发队列taskqueue的头部获取一个需要采集的对象，并插入自己的采集任务中。
2、采集任务执行
如图4所示，Cache_Svc中有两个基本对象，一是任务列表tasklist，每个采集服务实例ColSrv有一个唯一的任务列表tasklist，由ColSrv初始化的时候创建，通过读取任务分发队列taskqueue获取自己的采集任务，并将采集任务排入自己的任务列表；另一个是CounterCache，即端口字节计数器缓存，用于存储每个需要采集的对象的上次端口字节计数器的计数值及其采集时间。
采集任务执行包括以下过程：
(1)ColSrv拉取任务，获取采集的对象；
(2)ColSrv向网络设备NE发起SNMP采集，并采集到当前时间点的端口字节计数器的计数值；
(3)ColSrv读取CounterCache中该需要采集的对象的缓存值即上次端口字节计数器的计数值及采集时间，若未获取到，则跳到第(4)步，执行完后结束此次采集；若获取到，则继续第(4)和(5)步；
(4)将本次端口字节计数器的计数值和采集时间写入CounterCache中；
(5)将上次端口字节计数器的计数值及采集时间，本次上次端口字节计数器的计数值及采集时间组织为一条数据，写入MQ_SVC消息队列，供分析器读取分析。一条基本的数据组织形如{"colObj":"网元名:端口名","counterBit":"64","cacheCounter":53211,"cacheTime":"2021-09-07 21:36:10","counter":102342,"time":"2021-09-0721:38:12"}
3、数据分析入库
如图5所示，分析任务执行包括以下过程：
(1)读取MQ_SVC消息队列，获取需要分析的数据；例如获取到{"colObj":"网元名:端口名","counterBit":"64","cacheCounter":53211,"cacheTime":"2021-09-07 21:36:10","counter":102342,"time":"2021-09-0721:38:12"}，使用上次和本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速，也支持将单位转换为Bps；对于本次端口字节计数器的计数值<上次端口字节计数器的计数值的(设备侧SNMP流量使用的是端口字节计数器，该计数器位数一般有32位和64位，当计数器数值很大，超过临界时会翻转为0，类似于进制的进位)，说明计数器发生了翻转，此处默认按计数器只翻转了一次进行计算补偿。
(2)结构化存储，将上述分析计算得出的数据结构化存储到RDBMS_Svc中，同时支持周期性进行以5分钟、30分钟、小时、日、周、月等粒度的汇总和持久化。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了对上述基于PaaS的网络设备流量采集方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
实施例：
假定有一组电路Circuit1、Circuit2、Circuit3、Circuit4、Circuit5、Circuit6、Circuit7、Circuit8、Circuit9和Circuit10需要进行流量采集。
阶段一：主调服务启动，任务分发主应用Scheduller进程启动，对外提供服务；
阶段二：采集服务启动，依次启动采集服务实例ColSrv，假定此处启动了3个该类服务，分别是ColSrv1、ColSrv2和ColSrv3，每个采集服务实例分别向Scheduller通报采集服务信息，接受Scheduller的调度；
阶段三：采集任务分发，Scheduller将10条电路轮询分发至3个采集服务实例的任务队列，形成以下对应关系：
ColSrv1任务列表：Circuit1、Circuit4、Circuit7、Circuit10；
ColSrv2任务列表：Circuit2、Circuit5、Circuit8；
ColSrv3任务列表：Circuit3、Circuit6、Circuit9；
阶段四：采集任务执行，3个采集服务实例ColSrv1、ColSrv2和ColSrv3分别依次从队列头部开始获取其任务队列中的任务并执行后入库，以ColSrv1为例，其执行的4个时刻状态分别如下：
时刻1：采集Circuit1，此时ColSrv1任务列表为：Circuit4、Circuit7、Circuit10；
时刻2：采集Circuit4，此时ColSrv1任务列表为：Circuit7、Circuit10；
时刻3：采集Circuit7，此时ColSrv1任务列表为：Circuit10；
时刻4：采集Circuit10，至此任务全部执行完成。
基于同一发明构思，本发明还提出一种基于PaaS的网络设备流量采集装置。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是本发明基于PaaS的网络设备流量采集装置结构示意图。如图6所示，该装置包括：
采集任务分发模块101，用于通过任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；
采集任务执行模块102，用于采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；具体如下：
采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起；
采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中；
采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：
采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；
若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；
若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。
数据分析入库模块103，用于分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中；具体如下：
分析服务读取消息队列服务的消息队列，获取需要分析的数据，使用上次与本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速；若本次端口字节计数器的计数值＜上次端口字节计数器的计数值，则按端口字节计数器翻转次数进行计算补偿；
将分析计算得出的数据结构化存储到关系型数据库中，同时周期性进行以时间为粒度的汇总和持久化。
应当注意，尽管在上文详细描述中提及了基于PaaS的网络设备流量采集装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图7所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述基于PaaS的网络设备流量采集方法。
基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述基于PaaS的网络设备流量采集方法的计算机程序。
本发明提出的基于PaaS的网络设备流量采集方法及装置，基于PaaS平台构建流量采集系统，是云原生的流量采集应用；基于容器化方式部署，提高采集效能和横向扩展性。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (12)

1.一种基于PaaS的网络设备流量采集方法，其特征在于，该方法包括：
任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；
采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；
采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；
采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；
分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。
2.根据权利要求1所述的基于PaaS的网络设备流量采集方法，其特征在于，所述采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起。
3.根据权利要求1所述的基于PaaS的网络设备流量采集方法，其特征在于，所述采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中。
4.根据权利要求1所述的基于PaaS的网络设备流量采集方法，其特征在于，所述采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：
采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；
若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；
若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。
5.根据权利要求1所述的基于PaaS的网络设备流量采集方法，其特征在于，分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中，包括：
分析服务读取消息队列服务的消息队列，获取需要分析的数据，使用上次与本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速；若本次端口字节计数器的计数值＜上次端口字节计数器的计数值，则按端口字节计数器翻转次数进行计算补偿；
将分析计算得出的数据结构化存储到关系型数据库中，同时周期性进行以时间为粒度的汇总和持久化。
6.一种基于PaaS的网络设备流量采集装置，其特征在于，该装置包括：
采集任务分发模块，用于通过任务分发主应用周期性将需要采集的对象插入缓存数据库服务中的任务分发队列；
采集任务执行模块，用于采集服务通过读取任务分发队列获取各自的采集任务，并将采集任务排入各自的任务列表；采集服务通过扫描各自任务列表内的任务，获取需要采集的对象，进行SNMP采集，并采集当前时间点的端口字节计数器的计数值写入端口字节计数器缓存中；采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列；
数据分析入库模块，用于分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中。
7.根据权利要求6所述的基于PaaS的网络设备流量采集装置，其特征在于，所述采集服务中的若干采集服务实例，根据任务分发队列的大小配置阈值，实现动态拉起或挂起。
8.根据权利要求6所述的基于PaaS的网络设备流量采集装置，其特征在于，所述采集服务每次从任务分发队列头部获取一个需要采集的对象，并插入各自的采集任务中。
9.根据权利要求6所述的基于PaaS的网络设备流量采集装置，其特征在于，采集服务将该需要采集的对象的上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列，包括：
采集服务读取端口字节计数器缓存中该需要采集的对象的上次端口字节计数器的计数值及采集时间；
若未获取到，则直接写入本次端口字节计数器的计数值及采集时间，采集结束；
若获取到，则先写入本次端口字节计数器的计数值及采集时间，再将上次与本次端口字节计数器的计数值及采集时间组织为一条数据，写入消息队列服务的消息队列。
10.根据权利要求1所述的基于PaaS的网络设备流量采集装置，其特征在于，分析服务读取消息队列服务的消息队列，获取需要分析的数据，将分析计算得出的数据结构化存储到关系型数据库中，包括：
分析服务读取消息队列服务的消息队列，获取需要分析的数据，使用上次与本次端口字节计数器的计数差值除以采集时间差值，得出以Bps为单位的流速；若本次端口字节计数器的计数值＜上次端口字节计数器的计数值，则按端口字节计数器翻转次数进行计算补偿；
将分析计算得出的数据结构化存储到关系型数据库中，同时周期性进行以时间为粒度的汇总和持久化。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-5任一项所述方法的计算机程序。
CN202111325151.0A 2021-11-10 2021-11-10 一种基于PaaS的网络设备流量采集方法及装置 Active CN114124643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111325151.0A CN114124643B (zh) 2021-11-10 2021-11-10 一种基于PaaS的网络设备流量采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111325151.0A CN114124643B (zh) 2021-11-10 2021-11-10 一种基于PaaS的网络设备流量采集方法及装置

Publications (2)

Publication Number Publication Date
CN114124643A true CN114124643A (zh) 2022-03-01
CN114124643B CN114124643B (zh) 2023-08-01

Family

ID=80377877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111325151.0A Active CN114124643B (zh) 2021-11-10 2021-11-10 一种基于PaaS的网络设备流量采集方法及装置

Country Status (1)

Country Link
CN (1) CN114124643B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173766A1 (zh) * 2022-03-18 2023-09-21 中国电信股份有限公司 端口流量采集方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106059792A (zh) * 2016-05-13 2016-10-26 北京英诺威尔科技股份有限公司 一种低延迟的流量解析处理方法
CN107483245A (zh) * 2017-08-14 2017-12-15 上海新炬网络信息技术股份有限公司 一种基于karaf_agent的主动采集实现装置
CN109819019A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的监控与统计分析方法和系统
CN109814992A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的分布式动态调度方法和系统
CN109840298A (zh) * 2018-12-29 2019-06-04 中国科学院计算技术研究所 大规模网络数据的多信息来源采集方法和系统
CN111224817A (zh) * 2020-04-21 2020-06-02 重庆鲲量科技有限公司 一种分布式微采集系统及其方法
WO2020192733A1 (zh) * 2019-03-27 2020-10-01 京东方科技集团股份有限公司 定时任务配置方法、服务器、系统和计算机可读存储介质
CN112433764A (zh) * 2020-11-06 2021-03-02 北京浪潮数据技术有限公司 一种数据采集方法、装置、设备及计算机可读存储介质
WO2021114812A1 (zh) * 2019-12-12 2021-06-17 中兴通讯股份有限公司 数据采集方法、装置、计算机设备及计算机可读介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106059792A (zh) * 2016-05-13 2016-10-26 北京英诺威尔科技股份有限公司 一种低延迟的流量解析处理方法
CN107483245A (zh) * 2017-08-14 2017-12-15 上海新炬网络信息技术股份有限公司 一种基于karaf_agent的主动采集实现装置
CN109819019A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的监控与统计分析方法和系统
CN109814992A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的分布式动态调度方法和系统
CN109840298A (zh) * 2018-12-29 2019-06-04 中国科学院计算技术研究所 大规模网络数据的多信息来源采集方法和系统
WO2020192733A1 (zh) * 2019-03-27 2020-10-01 京东方科技集团股份有限公司 定时任务配置方法、服务器、系统和计算机可读存储介质
WO2021114812A1 (zh) * 2019-12-12 2021-06-17 中兴通讯股份有限公司 数据采集方法、装置、计算机设备及计算机可读介质
CN111224817A (zh) * 2020-04-21 2020-06-02 重庆鲲量科技有限公司 一种分布式微采集系统及其方法
CN112433764A (zh) * 2020-11-06 2021-03-02 北京浪潮数据技术有限公司 一种数据采集方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何锡点;马桂勤;: "基于云平台的数据中心改造架构设计及关键技术", 网络安全技术与应用 *
彭帆: "云数据采集系统中管理子系统的设计与实现", 中国优秀硕士学位论文全文数据库 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173766A1 (zh) * 2022-03-18 2023-09-21 中国电信股份有限公司 端口流量采集方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114124643B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN106126407B (zh) 一种针对分布式存储系统的性能监控调优系统及方法
CN107391744B (zh) 数据存储、读取方法、装置及其设备
US10338958B1 (en) Stream adapter for batch-oriented processing frameworks
KR101867286B1 (ko) 작업 부하를 고려한 하드웨어 가속화 기반의 대규모 데이터의 분산 처리 장치 및 방법
EP3285187B1 (en) Optimized merge-sorting of data retrieved from parallel storage units
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN105446893A (zh) 数据存储方法及设备
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
EP3172682B1 (en) Distributing and processing streams over one or more networks for on-the-fly schema evolution
CN106201561B (zh) 分布式缓存集群的升级方法与设备
CN104468274A (zh) 一种集群监控管理方法及系统
CN111984505B (zh) 一种运维数据采集装置及采集方法
WO2022178976A1 (zh) 基于大数据的信息处理方法、装置及相关设备
CN110187838A (zh) 数据io信息处理方法、分析方法、装置和相关设备
CN111782134A (zh) 数据处理方法、装置、系统和计算机可读存储介质
CN105553732B (zh) 一种分布式网络模拟方法及系统
CN114124643A (zh) 一种基于PaaS的网络设备流量采集方法及装置
CN103810197A (zh) 一种基于Hadoop的数据处理方法及其系统
GB2497172A (en) Reserving space on a storage device for new data based on predicted changes in access frequencies of storage devices
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN118113432A (zh) K8s集群的更新调度方法、设备及存储介质
CN112988884B (zh) 大数据平台数据存储方法及装置
CN116700933A (zh) 一种面向异构算力联邦的多集群作业调度系统和方法
US20040107278A1 (en) Management system, management computer, managed computer, management method and program
CN113760950B (zh) 指标数据查询方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant