CN111176811B - 一种基于多核处理器的大批量表项快速老化的实现装置及方法 - Google Patents

一种基于多核处理器的大批量表项快速老化的实现装置及方法 Download PDF

Info

Publication number
CN111176811B
CN111176811B CN201911377725.1A CN201911377725A CN111176811B CN 111176811 B CN111176811 B CN 111176811B CN 201911377725 A CN201911377725 A CN 201911377725A CN 111176811 B CN111176811 B CN 111176811B
Authority
CN
China
Prior art keywords
task
tag
aging
capacity
table entries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911377725.1A
Other languages
English (en)
Other versions
CN111176811A (zh
Inventor
李政
孙加敏
候美佳
戴丽
邹昕
韩志前
李高超
孙传明
张伟
陈国贺
陈训逊
于贵智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SINOVATIO TECHNOLOGY CO LTD
National Computer Network and Information Security Management Center
Original Assignee
NANJING SINOVATIO TECHNOLOGY CO LTD
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SINOVATIO TECHNOLOGY CO LTD, National Computer Network and Information Security Management Center filed Critical NANJING SINOVATIO TECHNOLOGY CO LTD
Priority to CN201911377725.1A priority Critical patent/CN111176811B/zh
Publication of CN111176811A publication Critical patent/CN111176811A/zh
Application granted granted Critical
Publication of CN111176811B publication Critical patent/CN111176811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多核处理器的大批量表项快速老化的实现装置及方法，针对上亿级别的大批量表项，借助多核处理器空闲任务调度机制和特定的并行表项设计，实现低资源消耗情况下的快速老化处理。

Description

一种基于多核处理器的大批量表项快速老化的实现装置及 方法
技术领域
本发明涉及INTERNET管理技术领域，尤其是一种基于多核处理器的大批量表项快速老化的实现装置及方法。
背景技术
多核处理器是一种多核心多线程的定制网络处理器，可以实现大容量报文的并行处理。在多核处理器中，一般包含32个或者48个协处理器，方便进行并行处理。
定制网络设备串接在路由器之间，或者旁路并接到承载网的路由器线路上，完成对网络流量的初步分析工作。部分场景下，定制设备上可能存在千万甚至上亿级别数目的表项，如此大量的表项，如果要进行老化删除处理，传统的方案是在每个表项中记录一个时间戳，每次表项被报文进行处理时，就刷新该时间戳，同时单独一个进程/线程进行持续性表项扫描，每扫描到一个节点时，取当前时间和表项中时间戳进行对比，当时间差超过老化阈值时，则进行表项删除。由上可见，传统解决方案虽然可以在功能上完成表项老化，但是存在时间精度低，单独进程资源持续占用等缺点。
发明内容
本发明所要解决的技术问题在于，提供一种基于多核处理器的大批量表项快速老化的实现装置及方法，针对上亿级别的大批量表项，借助多核处理器空闲任务调度机制和特定的并行表项设计，实现低资源消耗情况下的快速老化处理。
为解决上述技术问题，本发明提供一种基于多核处理器的大批量表项快速老化的实现装置，包括：任务调度模块、大容量表项拆分模块和老化处理模块；
任务调度模块根据任务类型及任务的tag值，进行调度，发现空闲协处理器时，按任务类型及tag值，提交任务到协处理器处理；
大容量表项拆分模块将亿级大容量表项按合适间隔M进行拆分，同时为整个大容量表的老化任务指定任务类型，及为每M个表项指定一个tag value，方便任务调度模块进行调度处理；
任务调度模块将指定tag值及任务类型分配给指定协处理器时，老化处理模块将指定tag值，遍历整个大容量表中，M*tag到M*(tag+1)范围的表项，进行老化判断。
相应的，一种基于多核处理器的大批量表项快速老化的实现方法，包括如下步骤：
(1)将需要进行老化处理的大容量表项按合适间隔M进行拆分，大容量表项的总容量为T，则共分为N段，T/M＝N，同时为整个大容量表的老化任务指定任务类型为MISSION_TYPE_A，及为每M个表项指定一个tag value，方便任务调度模块进行调度处理；
(2)表项分段完成后，设备启动一个简单定时器，按用户指定间隔触发任务，触发任务时携带任务类型及所有tag值；
(3)任务调度模块接收到定时器触发的任务类型及所有tag值后，根据硬件调度算法，寻找空闲协处理器，逐个将各tag值对应的表项段分配出去，若标签值查表成功，执行步骤(4)，若标签值查表失败，则结束任务；
(4)各协处理器接收到任务及指定tag值后，遍历tag值对应的表项段，范围M*tag到M*(tag+1)，逐个进行老化判断及删除。
本发明的有益效果为：本发明通过借用多核处理器多核心并发能力，设计了一种高效的大批量表项老化方案，在此方案下，即使是亿级别表项，都可以实现瞬间释放，为各种海量数据场景下，用户数据或表项快速更新，提供了一种高效解决方案。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
一种基于多核处理器的大批量表项快速老化的实现装置，包括：任务调度模块、大容量表项拆分模块和老化处理模块；
任务调度模块根据任务类型及任务的tag值，进行调度，发现空闲协处理器时，按任务类型及tag值，提交任务到协处理器处理；
大容量表项拆分模块将亿级大容量表项按合适间隔M进行拆分，同时为整个大容量表的老化任务指定任务类型，及为每M个表项指定一个tag value。方便任务调度模块进行调度处理；
任务调度模块将指定tag值及任务类型分配给指定协处理器时，老化处理模块将指定tag值，遍历整个大容量表中，M*tag到M*(tag+1)范围的表项，进行老化判断。
如图1所示，一种基于多核处理器的大批量表项快速老化的实现方法，包括如下步骤：
(1)将需要进行老化处理的大容量表项(总容量T)按合适间隔M进行拆分，则共分为N段(T/M＝N)，同时为整个大容量表的老化任务指定任务类型(MISSION_TYPE_A)，及为每M个表项指定一个tag value，方便任务调度模块进行调度处理；
(2)表项分段完成后，设备启动一个简单定时器，按用户指定间隔触发任务，触发任务时携带任务类型及所有tag值；
(3)任务调度模块接收到定时器触发的任务类型及所有tag值后，根据硬件调度算法，寻找空闲协处理器，逐个将各tag值对应的表项段分配出去，若标签值查表成功，执行步骤S4，若标签值查表失败，则结束任务；
(4)各协处理器接收到任务及指定tag值后，遍历tag值对应的表项段，范围M*tag到M*(tag+1)，逐个进行老化判断及删除。
针对上亿级别的大批量表项，借助多核处理器空闲任务调度机制和特定的并行表项设计，实现低资源消耗情况下的快速老化处理。
针对亿级的表项，首先在每个表项中存储表项创建时间对应的时间戳，后续任意一个协处理器调度获得该表项时，可以进行是否达到老化时间及是否需要删除的判断。
其次，将全局表项数目T，逻辑上等分为N份。则每一份表项数目为M＝T/N。为这N份表项集合，分别赋予一个标签值(tag value)，同时为这N个tag值，赋予一个统一的任务类型值(MISSION_TYPE_A)。
然后，只需要周期性调用接口，触发一次指定类型的任务(任务类型为MISSION_TYPE_A)，在任务中提交N个tag值，后续通过统一调度系统，在协处理器空闲时，分别将N个tag值各自交给空闲处理器处理，获取到tag值i的协处理器，将扫描M*i到M*(i+1)范围内的表项。分别进行老化判断，和表项删除处理。

Claims (2)

1.一种基于多核处理器的大批量表项快速老化的实现装置，其特征在于，包括：任务调度模块、大容量表项拆分模块和老化处理模块；
任务调度模块根据任务类型及任务的tag值，进行调度，发现空闲协处理器时，按任务类型及tag值，提交任务到协处理器处理；
大容量表项拆分模块将亿级大容量表项按合适间隔M进行拆分，同时为整个大容量表的老化任务指定任务类型，及为每M个表项指定一个tag value，方便任务调度模块进行调度处理；
任务调度模块将指定tag值及任务类型分配给指定协处理器时，老化处理模块将指定tag值，遍历整个大容量表中，M*tag到M*(tag+1)范围的表项，进行老化判断。
2.一种基于多核处理器的大批量表项快速老化的实现方法，其特征在于，包括如下步骤：
(1)将需要进行老化处理的大容量表项按合适间隔M进行拆分，大容量表项的总容量为T，则共分为N段，T/M＝N，同时为整个大容量表的老化任务指定任务类型为MISSION_TYPE_A，及为每M个表项指定一个tag value，方便任务调度模块进行调度处理；
(2)表项分段完成后，设备启动一个简单定时器，按用户指定间隔触发任务，触发任务时携带任务类型及所有tag值；
(3)任务调度模块接收到定时器触发的任务类型及所有tag值后，根据硬件调度算法，寻找空闲协处理器，逐个将各tag值对应的表项段分配出去，若标签值查表成功，执行步骤(4)，若标签值查表失败，则结束任务；
(4)各协处理器接收到任务及指定tag值后，遍历tag值对应的表项段，范围M*tag到M*(tag+1)，逐个进行老化判断及删除。
CN201911377725.1A 2019-12-27 2019-12-27 一种基于多核处理器的大批量表项快速老化的实现装置及方法 Active CN111176811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377725.1A CN111176811B (zh) 2019-12-27 2019-12-27 一种基于多核处理器的大批量表项快速老化的实现装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377725.1A CN111176811B (zh) 2019-12-27 2019-12-27 一种基于多核处理器的大批量表项快速老化的实现装置及方法

Publications (2)

Publication Number Publication Date
CN111176811A CN111176811A (zh) 2020-05-19
CN111176811B true CN111176811B (zh) 2022-06-10

Family

ID=70652261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377725.1A Active CN111176811B (zh) 2019-12-27 2019-12-27 一种基于多核处理器的大批量表项快速老化的实现装置及方法

Country Status (1)

Country Link
CN (1) CN111176811B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069455A (zh) * 2020-09-16 2020-12-11 成都启英泰伦科技有限公司 一种log-softmax函数硬件加速计算方法
CN113010286A (zh) * 2021-03-12 2021-06-22 京东数字科技控股股份有限公司 并行任务调度方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128689A1 (zh) * 2016-01-27 2017-08-03 中兴通讯股份有限公司 路由老化处理方法及装置
CN108243107A (zh) * 2018-01-30 2018-07-03 盛科网络（苏州）有限公司 一种动态调整硬件表项老化周期的方法及装置
CN110389958A (zh) * 2019-07-26 2019-10-29 迈普通信技术股份有限公司 动态调整硬件表项老化频率的方法、装置及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128689A1 (zh) * 2016-01-27 2017-08-03 中兴通讯股份有限公司 路由老化处理方法及装置
CN108243107A (zh) * 2018-01-30 2018-07-03 盛科网络（苏州）有限公司 一种动态调整硬件表项老化周期的方法及装置
CN110389958A (zh) * 2019-07-26 2019-10-29 迈普通信技术股份有限公司 动态调整硬件表项老化频率的方法、装置及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种即时触发的PIT表项老化方法;黄慧群等;《信息工程大学学报》;20150415(第02期);第28-32页 *

Also Published As

Publication number Publication date
CN111176811A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111078488B (zh) 数据采集方法、装置、存储介质及系统
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
CN109002484B (zh) 一种用于顺序消费数据的方法及系统
Ediger et al. Tracking structure of streaming social networks
US20140351820A1 (en) Apparatus and method for managing stream processing tasks
CN108390933B (zh) 消息分发方法、装置、服务器及存储介质
CN111176811B (zh) 一种基于多核处理器的大批量表项快速老化的实现装置及方法
US20230061102A1 (en) Method, device, and program product for managing index of streaming data storage system
CN109951323B (zh) 一种日志分析方法和系统
CN108415912B (zh) 基于MapReduce模型的数据处理方法和设备
CN105847378B (zh) 一种实现大数据同步的方法和系统
CN113238843B (zh) 一种任务执行方法、装置、设备及存储介质
Duan et al. Minimizing training time of distributed machine learning by reducing data communication
CN115033646A (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN111831425B (zh) 一种数据处理方法、装置及设备
US8108340B2 (en) Search engine configured to minimize performance degradation under high load
CN112650449B (zh) 缓存空间的释放方法、释放系统、电子设备及存储介质
CN113360576A (zh) 一种基于Flink Streaming的电网海量数据实时处理方法及装置
CN112182031B (zh) 数据查询方法及装置、存储介质、电子装置
CN116991562B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN110019168B (zh) 文件合并方法和系统
US20210097049A1 (en) Method, device and computer program product for managing index tables
US20190385078A1 (en) Data processing method, electronic device and computer readable storage medium
CN107911484B (zh) 一种消息处理的方法及装置
CN112817799B (zh) 一种基于Spring框架的访问多数据源的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant