CN101262352A - 一体化安全管理中数据统一加速处理方法 - Google Patents
一体化安全管理中数据统一加速处理方法 Download PDFInfo
- Publication number
- CN101262352A CN101262352A CNA2008100599347A CN200810059934A CN101262352A CN 101262352 A CN101262352 A CN 101262352A CN A2008100599347 A CNA2008100599347 A CN A2008100599347A CN 200810059934 A CN200810059934 A CN 200810059934A CN 101262352 A CN101262352 A CN 101262352A
- Authority
- CN
- China
- Prior art keywords
- son
- processing
- task
- handled
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 229
- 230000001133 acceleration Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 28
- 230000003139 buffering effect Effects 0.000 claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 26
- 239000000463 material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 15
- 238000000151 deposition Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 5
- 241001280173 Crassula muscosa Species 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000007726 management method Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 9
- 230000002155 anti-virotic effect Effects 0.000 description 6
- XXQCMVYBAALAJK-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(2-phenylethyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C=2C(N(CCC=3C=CC=CC=3)CC=3C=CC=CC=3)=NC(NC(=O)OCC)=CC=2NC=1CCC1=CC=CC=C1 XXQCMVYBAALAJK-UHFFFAOYSA-N 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Storage Device Security (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种一体化安全管理中数据统一加速处理方法。它是将来自安全应用的加速处理任务请求放入任务库;待加速处理任务从任务库调度后,根据加速处理任务请求描述,从加速处理任务中分解出所有子处理,针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列;子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列;子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕。本发明对多种安全应用中的数据处理采用统一的加速模型,极大地提高性能;支持基于优先级的数据加速处理任务调度,满足不同数据处理服务质量要求。
Description
技术领域
本发明涉及计算机网络安全,特别是一体化安全管理系统中数据加速处理方法,属于信息安全领域。
背景技术
随着国际互联网的迅速发展,基于互联网的业务量急剧增长,网络安全问题日益突出,网络的新型攻击方式层出不穷。新一代攻击的特点体现在以下几方面:一是混合型攻击,多种攻击方式的混合(如病毒、蠕虫、木马和后门攻击等),通过电子邮件和被感染的网站发出,并很快地传递散播产生攻击的变种,使得安全设备必须对付已知或未知攻击;二是新漏洞的攻击产生速度快,安全设施需要防范各种新的未知攻击;三是伴随社会工程陷阱元素的攻击层出不穷,间谍软件、网络欺诈、基于邮件的攻击和恶意Web站点等目不暇接,防不胜防,攻击者们伪造合法的应用程序和邮件信息来欺骗用户去运行它们。单一功能的边界安全技术系统彼此独立运行,不但已无法满足进一步发展的安全需求,而且会增加用户网络安全建设成本,使管理维护复杂要求高,一体化安全管理应运而生。
为了应对网络中巨大的业务量,用户对安全系统的处理能力也提出了更高要求。主干路由器的处理速度已从622Mbps增加到2.4Gbps并且很快将达10Gbps,跨互联网的应用业务成指数级增长。跨区域的银行业务、全省联网保险、大型跨省乃至跨国公司、核心政务系统和证券系统等业务应用,对应用各种安全技术如入侵检测、反病毒、防火墙、内容过滤等之后的网络系统性能提出了更大的挑战。密码运算、模式匹配、流分类等计算密集型或对性能有重要影响的数据处理已经成为网络安全系统的瓶颈,如何对这些数据处理进行加速已经成为急待解决的问题。
发明内容
本发明的目的是提供一种一体化安全管理中数据统一加速处理方法。包括如下步骤:
1)将来自安全应用的加速处理任务请求放入任务库;
2)待加速处理任务从任务库调度后,根据加速处理任务请求描述,从加速处理任务中分解出所有子处理,针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列;
3)子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列;
4)子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕。
所述的任务库为:任务库存储着由安全应用提交的加速处理任务请求描述,包括任务编号、任务属性、任务消息处理例程入口地址、任务输入数据区、任务输出数据区、子处理链表,其中:
任务编号是加速处理任务在任务库中的唯一编号;
任务属性包括任务的优先级和任务的加速模式,加速模式包括单处理加速模式或多处理捆绑加速模式;
任务消息处理例程入口地址是加速处理任务在接收到子处理完成消息或任务完成消息时,所要调用的函数的入口地址,包括子处理完成消息处理例程入口地址和任务完成消息处理例程入口地址;
任务输入数据区是存放待加工数据的缓冲区;
任务输出数据区是存放经加工后的数据的缓冲区;
子处理链表链接着若干个子处理描述;子处理描述包括子处理类型、子处理所依赖的其它子处理、子处理材料信息、子处理输入数据区、子处理输出数据区;其中:子处理类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验,子处理材料信息是执行与子处理类型对应的操作时所需要的材料信息,包括加密/解密密钥、验证密钥、模式。
所述加速处理任务从任务库调度方法是采用基于优先级的先进先出的调度策略。
所述的加速处理任务分解方法包括如下步骤:
1)提取加速处理任务描述中子处理链表中下一项子处理描述;
2)为子处理分配子处理环境缓冲区和子处理请求缓冲区;
3)填充子处理环境缓冲区和子处理请求缓冲区。
所述的环境缓冲区包括环境编号、环境映射号、运算类型、材料信息,其中:
环境编号是环境缓冲区在环境库中的唯一编号;
环境映射号是环境缓冲区映射到加速硬件单元上的唯一编号;
运算类型是待加速的运算的类型,运算的类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验;
材料信息是执行与运算类型对应的操作时所需要的材料信息,材料信息包括加密/解密密钥、验证密钥、模式。
所述的子处理请求缓冲区包括子处理编号、环境编号、父任务指针、输入数据缓冲区、输出数据缓冲区、完成标识、回调函数指针,其中:
子处理编号是子处理的唯一编号;
环境编号是该子处理所使用的环境的编号;
父任务指针是指向该子处理的父任务的指针;
输入数据缓冲区是存放该子处理中待加工数据的缓冲区;
输出数据缓冲区是存放该子处理中经加工后的数据的缓冲区;
完成标识是该子处理是否完成的标识;
回调函数指针是接收到该子处理完成消息时所要调用的函数的入口地址。
所述的针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列包括如下步骤:
1)判断该子处理所依赖的子处理是否完成;
2)若否,则等待所依赖的子处理完成的消息;
3)将该子处理的环境注册到加速硬件单元上,获取环境映射编号,并将完整的环境放入环境库中;
4)将子处理请求放入请求队列。
所述的子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列包括如下步骤:
1)按基于优先级的先进先出策略从请求队列中选出一项子处理;
2)将该子处理提交到与其环境中运算类型相对的加速单元上执行加速运算;
3)加速运算以异步的方式后完成后,进入完成队列。
所述的子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕包括如下步骤:
1)按基于优先级的先进先出策略从完成队列中选出一项子处理;
2)调用该子处理的回调函数执行完成回调处理,包括唤醒等待该子处理的其它子处理和等待该子处理的加速任务;
3)若加速处理任务已收到所有子处理完成的消息,则调用任务完成消息处理例程,并唤醒上层安全应用任务完毕。
本发明与现有技术相比具有的有益效果:
1)对多种安全应用中的特殊运算采用统一的加速处理方法,极大地提高性能
网络安全技术的应用会受到处理速度的局限。覆盖反病毒、入侵检测、虚拟私有网以及防火墙等的服务会因系统的延迟、吞吐量、特殊运算处理能力的限制形成的局部瓶颈而受到阻碍。随着网络处理流量的不断增加,处理任务的不断增多,安全网络处理的复杂性和计算强度急剧上升。特别是诸如加密/验证操作、内容检测与模式匹配等,都是计算密集性的,而且对内存访频繁,形成制约系统整体性能的瓶颈。
本发明从多种安全应用中提取制约系统性能的部分,建立了统一的特殊运算加速模型,充分利用中央处理器与特殊硬件之间处理的并行性进行加速处理,大大提高了性能。加速的特殊运算包括:
●密码/验证运算(DES/3DES,AES,MD5,SHA,RC4等)
●内容检测
●模式匹配
●CRC/HASH运算加速
●流分类加速
2)支持基于优先级策略的数据加速处理任务调度,满足不同数据处理服务质量要求
网络用户除了需要传统数据业务,对语音、视频等实时多媒体业务需求也在逐渐的提升并成为必要,这使得安全呈现服务多样性的发展趋势,不同类型的业务有不同的服务质量要求。需要加速的安全处理是对下层加速服务的请求和完成响应,当众多的加速处理请求呈现,且网络服务质量要求高时,加速处理任务的调度和派遣直接影响着网络数据流加工过程满足质量要求的程度。
本发明考虑到了不同数据包的服务类型和处理要求,可以给加速处理任务分配相应的优先级,在基于优先级策略的基础上结合先到先得的策略,对加速任务库里所有任务进行调度和派遣。被派遣到数据加速处理层的具体加速请求在队列管理模块的控制下同样按照基于优先级的策略接受处理。数据包在这样的控制策略中获得加速处理,能满足不同业务的质量需求。
3)支持单种处理和多种处理捆绑的加速处理模式,减少开销
在多种安全应用的环境中,对数据加速处理的需求是不同的。一些安全应用只需要针对某种特殊运算进行加速处理。而更多的情况则是需要对多种特殊运算进行加速,对于一个数据包,可能需要联合运用多种加速处理之后,才能完成整个包的处理流程。这种需求来自单个安全应用对多种处理捆绑加速的要求,也来自于多个安全应用高度集成后所产生的对多种处理捆绑加速的要求。
本发明支持单种处理和多种处理捆绑的加速处理模式。如果上层安全应用只需要对一种特殊运算进行加速处理,可以只使用单种处理加速模式,如果需要对多种处理进行加速,则使用多种处理捆绑的加速模式,提供了灵活的加速方式。更为重要的是,多种处理捆绑的加速方式极大地减少了上下层模块之间的数据移动和相关通信,上层安全应用只需将捆绑式加速任务描述递交下层模块,下层模块再将任务分解为单种子处理进行加速,所有单个子处理执行完毕之后再统一告知上层安全应用进行下一步动作。减少了上下层模块之间的耦合度,增加了数据加速处理层内的并行度,减少了开销提高了性能。
4)独立于下层特殊硬件及其驱动层,抽象性强,具有灵活的可扩展性
本发明中所述的加速处理任务调度层和数据加速处理层独立于下层的特殊硬件及其驱动程序,在与设备驱动模块接口的地方做到最小化接口抽象封装,具有很好的可移植性,下层硬件和驱动也具有灵活的可扩展性。
附图说明
图1为一体化安全管理中数据统一加速处理方法的流程示意图;
图2为数据统一加速处理的一体化安全管理系统层次结构示意图;
图3为数据统一加速处理的一体化安全管理系统结构组成示意图;
图4为数据统一加速处理的一体化安全管理系统在网络中的一个简单应用案例。
具体实施方式
一体化安全管理中数据统一加速处理方法包括如下步骤:
1)将来自安全应用的加速处理任务请求放入任务库;
2)待加速处理任务从任务库调度后,根据加速处理任务请求描述,从加速处理任务中分解出所有子处理,针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列;
3)子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列;
4)子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕。
所述的任务库为:任务库存储着由安全应用提交的加速处理任务请求描述,包括任务编号、任务属性、任务消息处理例程入口地址、任务输入数据区、任务输出数据区、子处理链表,其中:
任务编号是加速处理任务在任务库中的唯一编号;
任务属性包括任务的优先级和任务的加速模式,加速模式包括单处理加速模式或多处理捆绑加速模式;
任务消息处理例程入口地址是加速处理任务在接收到子处理完成消息或任务完成消息时,所要调用的函数的入口地址,包括子处理完成消息处理例程入口地址和任务完成消息处理例程入口地址;
任务输入数据区是存放待加工数据的缓冲区;
任务输出数据区是存放经加工后的数据的缓冲区;
子处理链表链接着若干个子处理描述;子处理描述包括子处理类型、子处理所依赖的其它子处理、子处理材料信息、子处理输入数据区、子处理输出数据区;其中:子处理类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验,子处理材料信息是执行与子处理类型对应的操作时所需要的材料信息,包括加密/解密密钥、验证密钥、模式。
所述加速处理任务从任务库调度方法是采用基于优先级的先进先出的调度策略。
所述的加速处理任务分解方法包括如下步骤:
1)提取加速处理任务描述中子处理链表中下一项子处理描述;
2)为子处理分配子处理环境缓冲区和子处理请求缓冲区;
3)填充子处理环境缓冲区和子处理请求缓冲区。
所述的环境缓冲区包括环境编号、环境映射号、运算类型、材料信息,其中:
环境编号是环境缓冲区在环境库中的唯一编号;
环境映射号是环境缓冲区映射到加速硬件单元上的唯一编号;
运算类型是待加速的运算的类型,运算的类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验;
材料信息是执行与运算类型对应的操作时所需要的材料信息,材料信息包括加密/解密密钥、验证密钥、模式。
所述的子处理请求缓冲区包括子处理编号、环境编号、父任务指针、输入数据缓冲区、输出数据缓冲区、完成标识、回调函数指针,其中:
子处理编号是子处理的唯一编号;
环境编号是该子处理所使用的环境的编号;
父任务指针是指向该子处理的父任务的指针;
输入数据缓冲区是存放该子处理中待加工数据的缓冲区;
输出数据缓冲区是存放该子处理中经加工后的数据的缓冲区;
完成标识是该子处理是否完成的标识;
回调函数指针是接收到该子处理完成消息时所要调用的函数的入口地址。
所述的针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列包括如下步骤:
1)判断该子处理所依赖的子处理是否完成;
2)若否,则等待所依赖的子处理完成的消息;
3)将该子处理的环境注册到加速硬件单元上,获取环境映射编号,并将完整的环境放入环境库中;
4)将子处理请求放入请求队列。
所述的子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列包括如下步骤:
1)按基于优先级的先进先出策略从请求队列中选出一项子处理;
2)将该子处理提交到与其环境中运算类型相对的加速单元上执行加速运算;
3)加速运算以异步的方式后完成后,进入完成队列。
所述的子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕包括如下步骤:
1)按基于优先级的先进先出策略从完成队列中选出一项子处理;
2)调用该子处理的回调函数执行完成回调处理,包括唤醒等待该子处理的其它子处理和等待该子处理的加速任务;
3)若加速处理任务已收到所有子处理完成的消息,则调用任务完成消息处理例程,并唤醒上层安全应用任务完毕。
如图1所示,一体化安全管理中数据统一加速处理方法的流程为(图中虚线部分为异步控制或流程):
1)安全应用递交数据加速处理任务请求;
2)任务描述放入任务库;
3)以异步的方式按基于优先级的先进先出原则从任务库中调度出一项任务;
4)根据任务描述将任务分解为多个子处理;
5)取出下一个子处理,若已没有子处理则转16);
6)若当前子处理可以并行执行则转8),否则转7);
7)等待依赖子处理完成的异步消息,等到后转8);
8)将当前子处理的环境注册到加速硬件单元上,获取环境映射编号,并将完整的环境放入环境库中;
9)递交当前子处理的处理请求;
10)子处理请求放入请求队列,然后转5);
11)以异步的方式按基于优先级的先进先出策略从请求队列中选出一项子处理;
12)通过加速单元的驱动程序接口将该子处理提交到与其环境中运算类型相对的加速单元上执行加速运算;
13)加速运算完成后发出异步完成信号,子处理请求放入完成队列;
14)以异步的方式按基于优先级的先进先出策略从完成队列中选出一项子处理;
15)调用该子处理的回调函数执行完成回调处理,包括唤醒等待该子处理的其它子处理和等待该子处理的加速任务。
16)等待所有子处理完毕的异步消息,等到后转17);
17)调用任务完成消息处理例程执行善后处理;
18)告知安全应用该任务完毕;
如图2所示,本发明还提供一种数据统一加速处理的一体化安全管理系统,它依次具有安全应用层1,加速处理任务调度层2,数据加速处理层3,设备驱动及安全操作系统层4,硬件层5模块组成并相串接。
多种安全应用层1是各种安全技术应用如入侵检测、反病毒、内容过滤、虚拟私有网等运行和配置的空间。
加速处理任务调度层2响应来自安全应用的加速处理任务请求,维护任务库,调度、分解任务,派遣子处理。
数据加速处理层3接收子处理请求,维护环境库,管理处理队列,执行相应的加速处理和完成后的回调控制。
设备驱动及安全操作系统层4包括加速处理硬件设备的驱动程序和安全操作系统平台支撑。
硬件层5包括多个实现特殊运算的硬件单元/设备。
图3是数据统一加速处理的一体化安全管理系统组成结构图。图中:
防火墙模块6、入侵检测模块9、反病毒模块10、内容过滤模块11、虚拟私有网模块12、安全策略库7、加速应用层接口8构成安全应用层1。
任务库13、任务库管理模块15、任务调度器模块16、告知管理模块17、任务分解模块18、子处理派遣模块19、任务善后模块20、环境映射模块21、子处理交互模块22构成加速处理任务调度层2。
环境库24、环境管理模块25、请求处理模块26、回调处理模块27、密码处理模块28、内容处理模块29、流分类处理模块30、HASH处理模块31、CRC处理模块32、队列管理模块35构成数据加速处理层3。
设备驱动模块36和安全操作系统37构成设备驱动及安全操作系统层4。
中央处理器38、网络控制器39、密码芯片组40、内容处理器41、流分类单元42、HASH单元43以及CRC单元44等构成硬件层5。
入侵检测模块9、反病毒模块10、内容过滤模块11以及虚拟私有网模块12并接后串接在防火墙模块6上,它们组成的子系统与安全策略库7、加速应用层接口8相接。
任务库管理模块15、告知管理模块17、任务分解模块18、子处理派遣模块19以及任务善后模块20并接在任务调度器16上;环境映射模块21和子处理交互模块22并接在子处理派遣模块19上;这些模块组成的子系统与任务库13相接,任务库13中的记录采用任务描述数据结构14;环境映射模块21与数据加速处理层的环境管理模块25相接;数据加速处理层的请求处理模块26和回调处理模块27并接在子处理交互模块22上。
环境管理模块25和回调处理模块27并接在请求处理模块26上;密码处理模块28、内容处理模块29、流分类处理模块30、HASH处理模块31以及CRC处理模块32并接后串接在请求处理模块26上;这些模块组成的子系统与环境库24和队列管理模块35相接;环境库24中的记录采用环境数据结构23;队列管理模块35中管理着请求队列33和完成队列34。
设备驱动模块36依次和安全操作系统37、硬件层5串接。硬件层中,网络控制器39、密码芯片组40、内容处理器41、流分类单元42、HASH单元43以及CRC单元44并接在PCI-E总线上后再与中央处理器38串接。
入侵检测模块9、反病毒模块10、内容过滤模块11、虚拟私有网模块12并接后串接在防火墙模块6上。并接的模块均能和串接的防火墙模块形成联动控制,在并行模块中发现有对安全产生威胁的数据来源,可以通过联动通信告知防火墙改变相应的策略。
安全策略库7是各安全应用模块的集中配置空间,在融合各安全模块配置需求,策略选项的基础上,简化了冗余部分,增加了联动控制的项目,方便并联安全模块和串联安全模块之间的互动配置。
加速应用层接口8为用户态的加速需求提供接口,它最终调用加速处理任务调度层2的相应内核态函数完成处理。
任务库13记录安全应用提交的加速任务请求描述以及相关数据结构,主要记录格式为任务描述数据结构14。
任务描述数据结构14是任务库13的主要记录格式。主要包含:
●任务编号
●任务属性(包括任务的优先级、单处理加速模式或多处理捆绑加速模式)
●消息处理例程(包括子处理完成消息处理例程入口地址和任务完成消息处理例程入口地址)
●任务输入/输出数据区
●子处理链表(链接着若干个子处理描述)
任务库管理模块15接收上层递交的加速任务请求,转换为任务描述结构14,保存在任务库13里。还负责任务库的提取、更新、删除。
任务调度器16是整个加速处理任务调度层的核心模块。它维持着任务的运转,通过任务库管理模块15提取到高优先级的任务描述,分解为子处理,然后将各子处理派遣到相应的具体加速处理模块上,所有子处理完成后作善后处理,并通过告知管理模块17向上层安全应用递交加速处理任务完成的消息。
告知管理模块17负责在加速任务完成后,以消息的形式告知上层安全应用模块可以进入下一环节的处理。
任务分解模块18根据任务描述数据结构14中的子处理链表将当前任务描述分解为一个或多个子处理,组建子处理环境,子处理继承任务的优先级等属性。
子处理派遣模块19负责将分解后的子处理环境映射到数据加速处理层中,控制具体子处理的执行,以及完成后的例行工作。
任务善后模块20负责在所有子处理完成后,执行必要的数据处理善后工作,通常为各数据加速处理执行完毕之后的综合处理。
环境映射模块21负责将子处理的环境通过环境管理模块25映射到数据加速处理层的环境库24中,以便进行相应数据加速处理时提取对应的环境。
子处理交互模块22为子处理派遣模块19第二阶段所要执行的操作,负责向请求处理模块26递交子处理请求,子处理完成之后回调处理模块27调用该模块的回调函数作善后工作。
描述子处理请求的数据结构为:
●子处理编号
●该子处理的环境编号
●父任务指针
●输入/输出数据缓冲区
●子处理是否完成的标识
●子处理完成回调函数指针
环境数据结构23是环境库24中记录的数据结构,主要包括:
●环境编号
●环境映射号
●运算类型(包括加密、解密、验证、内容扫描、模式匹配、CRC校验)
●材料信息(包括加密/解密密钥、验证密钥、匹配模式)
环境库24存储各子处理的环境信息,记录格式由环境数据结构23定义。
环境管理模块25负责注册子处理的环境信息到环境库24中,并将必须的环境信息下载到相应的硬件单元上,供硬件执行加速处理时使用。还负责提取、更新、删除环境库中的信息。
请求处理模块26是数据加速处理层3中的核心模块,负责接收子处理请求,通过队列管理模块35将请求入队。执行子处理时,通过队列管理模块35取出处理请求,通过环境管理模块25访问对应的环境信息,组织安排相应特殊运算处理模块执行加速处理,处理完成后通过回调处理模块27执行子处理完毕后的工作。
回调处理模块24根据子处理请求中数据结构提供的信息,调用相应的回调函数,完成后处理工作。
各特殊运算处理模块28至32控制执行具体的数据加工加速处理,完毕后将子处理描述放入完成队列34,向请求处理模块26发出完成信号。与特殊运算设备的驱动模块进行如下交互:
●设置相应的特殊运算处理环境信息
●启动相应的特殊运算处理工作
●等待完成信号
●接收输出数据
请求队列33存放着子处理请求描述。
完成队列34存放着已经完成的子处理请求。
队列管理模块35管理着请求队列33和完成队列34,队列策略采用基于优先级的先进先出原则。
设备驱动模块36是各种特殊运算设备的驱动程序。
安全操作系统37是浙江大学自主研发的嵌入式实时安全操作系统。
硬件层中的模块38至44包括中央处理器38和各特殊运算硬件模块,用较高带宽的PCI-E总线连接:
●网络控制器39:提供千兆级以太芯片和接口;
●密码芯片组40:加密/解密,验证等密码运算;
●内容处理器41:模式匹配,内容检测;
●流分类单元42:多元网络流分类器件;
●HASH单元43:完成大量的HASH运算,该单元或集成在其它器件中;
●CRC单元44:完成CRC校验运算,该单元或集成在其它器件中。
图4给出了一种数据统一加速处理的一体化安全管理系统在网络中的一个简单应用案例。本发明提供的数据统一加速处理的一体化安全管理系统通常部署在企业网络的出口网关处,为访问Internet或者虚拟私有网提供安全高速的通信服务。
Claims (9)
1.一种一体化安全管理中数据统一加速处理方法,其特征在于包括如下步骤:
1)将来自安全应用的加速处理任务请求放入任务库;
2)待加速处理任务从任务库调度后,根据加速处理任务请求描述,从加速处理任务中分解出所有子处理,针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列;
3)子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列;
4)子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕。
2.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的任务库为:任务库存储着由安全应用提交的加速处理任务请求描述,包括任务编号、任务属性、任务消息处理例程入口地址、任务输入数据区、任务输出数据区、子处理链表,其中:
任务编号是加速处理任务在任务库中的唯一编号;
任务属性包括任务的优先级和任务的加速模式,加速模式包括单处理加速模式或多处理捆绑加速模式;
任务消息处理例程入口地址是加速处理任务在接收到子处理完成消息或任务完成消息时,所要调用的函数的入口地址,包括子处理完成消息处理例程入口地址和任务完成消息处理例程入口地址;
任务输入数据区是存放待加工数据的缓冲区;
任务输出数据区是存放经加工后的数据的缓冲区;
子处理链表链接着若干个子处理描述;子处理描述包括子处理类型、子处理所依赖的其它子处理、子处理材料信息、子处理输入数据区、子处理输出数据区;其中:子处理类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验,子处理材料信息是执行与子处理类型对应的操作时所需要的材料信息,包括加密/解密密钥、验证密钥、模式。
3.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述加速处理任务从任务库调度方法是采用基于优先级的先进先出的调度策略。
4.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的加速处理任务分解方法包括如下步骤:
1)提取加速处理任务描述中子处理链表中下一项子处理描述;
2)为子处理分配子处理环境缓冲区和子处理请求缓冲区;
3)填充子处理环境缓冲区和子处理请求缓冲区。
5.根据权利要求4所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的环境缓冲区包括环境编号、环境映射号、运算类型、材料信息,其中:
环境编号是环境缓冲区在环境库中的唯一编号;
环境映射号是环境缓冲区映射到加速硬件单元上的唯一编号;
运算类型是待加速的运算的类型,运算的类型包括加密、解密、验证、内容扫描、模式匹配、CRC校验;
材料信息是执行与运算类型对应的操作时所需要的材料信息,材料信息包括加密/解密密钥、验证密钥、模式。
6.根据权利要求4所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的子处理请求缓冲区包括子处理编号、环境编号、父任务指针、输入数据缓冲区、输出数据缓冲区、完成标识、回调函数指针,其中:
子处理编号是子处理的唯一编号;
环境编号是该子处理所使用的环境的编号;
父任务指针是指向该子处理的父任务的指针;
输入数据缓冲区是存放该子处理中待加工数据的缓冲区;
输出数据缓冲区是存放该子处理中经加工后的数据的缓冲区;
完成标识是该子处理是否完成的标识;
回调函数指针是接收到该子处理完成消息时所要调用的函数的入口地址。
7.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的针对每一子处理,以并行或串行的方式映射环境库以及提交子处理请求到请求队列包括如下步骤:
1)判断该子处理所依赖的子处理是否完成;
2)若否,则等待所依赖的子处理完成的消息;
3)将该子处理的环境注册到加速硬件单元上,获取环境映射编号,并将完整的环境放入环境库中;
4)将子处理请求放入请求队列。
8.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的子处理请求从请求队列出队后,在相应的加速硬件单元上执行运算,完毕后进入完成队列包括如下步骤:
1)按基于优先级的先进先出策略从请求队列中选出一项子处理;
2)将该子处理提交到与其环境中运算类型相对的加速单元上执行加速运算;
3)加速运算以异步的方式后完成后,进入完成队列。
9.根据权利要求1所述的一体化安全管理中数据统一加速处理方法,其特征在于,所述的子处理从完成队列出队后,执行善后处理,待所有子处理完毕后,完成整个加速处理任务的善后工作,并告知任务完毕包括如下步骤:
1)按基于优先级的先进先出策略从完成队列中选出一项子处理;
2)调用该子处理的回调函数执行完成回调处理,包括唤醒等待该子处理的其它子处理和等待该子处理的加速任务;
3)若加速处理任务已收到所有子处理完成的消息,则调用任务完成消息处理例程,并唤醒上层安全应用任务完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100599347A CN101262352B (zh) | 2008-03-04 | 2008-03-04 | 一体化安全管理中数据统一加速处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100599347A CN101262352B (zh) | 2008-03-04 | 2008-03-04 | 一体化安全管理中数据统一加速处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101262352A true CN101262352A (zh) | 2008-09-10 |
CN101262352B CN101262352B (zh) | 2010-10-13 |
Family
ID=39962578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100599347A Expired - Fee Related CN101262352B (zh) | 2008-03-04 | 2008-03-04 | 一体化安全管理中数据统一加速处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101262352B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101969402A (zh) * | 2010-10-18 | 2011-02-09 | 浪潮集团山东通用软件有限公司 | 基于并行处理的数据交换方法 |
CN102200929A (zh) * | 2010-03-26 | 2011-09-28 | 迈普通信技术股份有限公司 | 任务间异步通信的处理方法及多任务异步通信处理系统 |
CN102270153A (zh) * | 2011-08-12 | 2011-12-07 | 曙光信息产业(北京)有限公司 | 一种虚拟环境下加密卡共享的方法和装置 |
CN102902581A (zh) * | 2011-07-29 | 2013-01-30 | 国际商业机器公司 | 硬件加速器及方法、中央处理单元、计算设备 |
CN103780635A (zh) * | 2012-10-17 | 2014-05-07 | 百度在线网络技术(北京)有限公司 | 云环境中的分布式异步任务队列执行系统和方法 |
CN104899085A (zh) * | 2015-05-29 | 2015-09-09 | 华为技术有限公司 | 一种数据处理方法和装置 |
CN105656994A (zh) * | 2014-12-31 | 2016-06-08 | 华为技术有限公司 | 一种业务加速方法和装置 |
CN108399120A (zh) * | 2017-02-06 | 2018-08-14 | 腾讯科技(深圳)有限公司 | 异步消息监控方法和装置 |
CN108509277A (zh) * | 2018-04-03 | 2018-09-07 | 中国电子科技集团公司第七研究所 | 电子锁串口异步接收处理系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6393023B1 (en) * | 1998-05-08 | 2002-05-21 | Fujitsu Limited | System and method for acknowledging receipt of messages within a packet based communication network |
US6886041B2 (en) * | 2001-10-05 | 2005-04-26 | Bea Systems, Inc. | System for application server messaging with multiple dispatch pools |
JP4433684B2 (ja) * | 2003-03-24 | 2010-03-17 | 富士ゼロックス株式会社 | ジョブ処理装置及び該装置におけるデータ管理方法 |
-
2008
- 2008-03-04 CN CN2008100599347A patent/CN101262352B/zh not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102200929A (zh) * | 2010-03-26 | 2011-09-28 | 迈普通信技术股份有限公司 | 任务间异步通信的处理方法及多任务异步通信处理系统 |
CN101969402B (zh) * | 2010-10-18 | 2012-05-23 | 浪潮集团山东通用软件有限公司 | 基于并行处理的数据交换方法 |
CN101969402A (zh) * | 2010-10-18 | 2011-02-09 | 浪潮集团山东通用软件有限公司 | 基于并行处理的数据交换方法 |
US9870255B2 (en) | 2011-07-29 | 2018-01-16 | International Business Machines Corporation | Hardware acceleration wait time awareness in central processing units with multi-thread architectures |
CN102902581A (zh) * | 2011-07-29 | 2013-01-30 | 国际商业机器公司 | 硬件加速器及方法、中央处理单元、计算设备 |
US9870256B2 (en) | 2011-07-29 | 2018-01-16 | International Business Machines Corporation | Hardware acceleration wait time awareness in central processing units with multi-thread architectures |
CN102270153A (zh) * | 2011-08-12 | 2011-12-07 | 曙光信息产业(北京)有限公司 | 一种虚拟环境下加密卡共享的方法和装置 |
CN103780635A (zh) * | 2012-10-17 | 2014-05-07 | 百度在线网络技术(北京)有限公司 | 云环境中的分布式异步任务队列执行系统和方法 |
CN103780635B (zh) * | 2012-10-17 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 云环境中的分布式异步任务队列执行系统和方法 |
CN105656994B (zh) * | 2014-12-31 | 2019-02-05 | 华为技术有限公司 | 一种业务加速方法和装置 |
CN105656994A (zh) * | 2014-12-31 | 2016-06-08 | 华为技术有限公司 | 一种业务加速方法和装置 |
WO2016192573A1 (zh) * | 2015-05-29 | 2016-12-08 | 华为技术有限公司 | 一种数据处理方法和装置 |
CN104899085B (zh) * | 2015-05-29 | 2018-06-26 | 华为技术有限公司 | 一种数据处理方法和装置 |
CN104899085A (zh) * | 2015-05-29 | 2015-09-09 | 华为技术有限公司 | 一种数据处理方法和装置 |
US10432506B2 (en) | 2015-05-29 | 2019-10-01 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
CN108399120A (zh) * | 2017-02-06 | 2018-08-14 | 腾讯科技(深圳)有限公司 | 异步消息监控方法和装置 |
CN108509277A (zh) * | 2018-04-03 | 2018-09-07 | 中国电子科技集团公司第七研究所 | 电子锁串口异步接收处理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101262352B (zh) | 2010-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101262352B (zh) | 一体化安全管理中数据统一加速处理方法 | |
CN104871484B (zh) | 用于安全环境中的端点硬件辅助的网络防火墙的系统和方法 | |
CN104951712B (zh) | 一种Xen虚拟化环境下的数据安全防护方法 | |
CN111783075A (zh) | 基于密钥的权限管理方法、装置、介质及电子设备 | |
CN101187965B (zh) | 用于过滤对数据对象的访问的方法和装置 | |
CN1679066A (zh) | 网络连接加密 | |
CN1893372A (zh) | 用于授权的方法与系统 | |
CN1934516A (zh) | 一种文档处理装置的基于角色访问控制的系统和方法 | |
CN116980230B (zh) | 一种信息安全保护方法及装置 | |
CN114390051A (zh) | 一种基于物流边缘网关的数据管理设备及其控制方法 | |
CN114884697B (zh) | 基于国密算法的数据加解密方法及相关设备 | |
CN101741826A (zh) | 在虚拟化平台上实现加密卸载的系统和方法 | |
CN109754322A (zh) | 一种数据服务系统 | |
WO2012155456A1 (zh) | 一种许可控制方法及系统 | |
Le et al. | Resource sharing and trading of blockchain radio access networks: Architecture and prototype design | |
CN108924086A (zh) | 一种基于安全代理的主机信息采集方法 | |
US20200310929A1 (en) | Methods and apparatus for verifying processing results and/or taking corrective actions in response to a detected invalid result | |
CN105677693B (zh) | 一种访问数据库的方法及装置 | |
CN112398861B (zh) | web组态化系统中敏感数据的加密系统及方法 | |
Mahdavi-Hezavehi et al. | An efficient framework for a third party auditor in cloud computing environments | |
Upadhya et al. | A state-of-art review of docker container security issues and solutions | |
CN1411199A (zh) | 基于数字标签的内容安全监控系统及方法 | |
US8595797B2 (en) | Enforcing web services security through user specific XML schemas | |
WO2023098824A1 (zh) | 车辆数据的管理方法、装置、服务器、存储介质 | |
CN1859088A (zh) | 一种提供加密服务的方法以及使用该方法的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101013 Termination date: 20130304 |