CN107122241B - 基于cpu和gpu的数据库防火墙系统和其的控制方法 - Google Patents
基于cpu和gpu的数据库防火墙系统和其的控制方法 Download PDFInfo
- Publication number
- CN107122241B CN107122241B CN201610101855.2A CN201610101855A CN107122241B CN 107122241 B CN107122241 B CN 107122241B CN 201610101855 A CN201610101855 A CN 201610101855A CN 107122241 B CN107122241 B CN 107122241B
- Authority
- CN
- China
- Prior art keywords
- gpu
- cpu
- group
- interface card
- network interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 40
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000012098 association analyses Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006798 recombination Effects 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 32
- 230000007246 mechanism Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于CPU和GPU的数据库防火墙系统，所述系统包括：至少一个多核CPU包括CPU调度核组，CPU计算核组和CPU常规任务核组；至少一个GPU包括GPU会话组、GPU运算组和GPU集群通信接口；网卡与所述GPU连接，包括网卡缓存区；系统内存分别与所述多核CPU和GPU连接，包括GPU专享内存池、CPU内存池、网卡内存池、GPU与CPU的共享内存池以及通过所述网卡内存池和GPU专享内存池进行虚拟映射形成的NIC与GPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；其中，所述CPU调度核组用于根据CPU调度核组中的核数量进行网卡缓存区的对应划分。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于CPU和GPU的数据库防火墙系统和基于CPU和GPU的数据库防火墙系统的控制方法。
背景技术
随着互联网技术和信息技术的迅速发展，以数据库为基础的信息系统在经济、金融、军工、医疗等领域的信息基础设施建设中得到了广泛的应用，越来越多的数据信息被不同组织和机构搜集、存储以及发布，其中大量信息被用于行业合作和数据共享，因此数据库防火墙的应用越来越广泛，越来越重要，同时，随着千兆、万兆的网络在国内的大规模应用，那么用户对数据库防火墙的吞吐量的要求越来越高。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，提供一种基于CPU和GPU的数据库防火墙系统和基于CPU和GPU的数据库防火墙系统的控制方法。
本发明提供一种基于CPU和GPU的数据库防火墙系统, 所述系统包括：至少一个多核CPU包括CPU调度核组，CPU计算核组和CPU常规任务核组；
至少一个GPU包括GPU会话组、GPU运算组和GPU 集群通信接口；
网卡与所述GPU连接，包括网卡缓存区；
系统内存分别与所述多核CPU和GPU连接，包括GPU专享内存池、CPU内存池、网卡内存池、GPU与CPU的共享内存池以及通过所述网卡内存池和GPU专享内存池进行虚拟映射形成的NIC与GPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；
其中，所述CPU调度核组用于根据CPU调度核组中的核数量进行网卡缓存区的对应划分。
从上述数据库防火墙系统的方案可以看出，通过GPU去并行处理数据库防火墙中所有的运算任务,从而满足大数据环境以及云计算环境中对高吞吐量安全的需求。而且采用嵌入式GPU防火墙硬件设计架构，实现大数据环境以及云计算环境中高性能、低能耗、低成本。
本发明还提供一种基于CPU和GPU的数据库防火墙系统的控制方法，所述控制方法包括以下步骤：
系统初始化；
根据CPU数量以及核数量将至少一个多核CPU划分为CPU调度核组、CPU计算核组和CPU常规任务核组；
根据GPU数量将至少一个GPU划分为GPU会话组和GPU运算组；
将系统内存划分为GPU专享内存池、CPU内存池、网卡内存池和GPU与CPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；
将所述网卡内存池和GPU专享内存池进行虚拟映射，形成NIC与GPU的共享内存池；
根据CPU调度核组中的核数量进行网卡缓存区的对应划分；以及
对GPU 集群通信接口进行初始化。
从上述控制方法的方案可以看出，通过GPU去并行处理数据库防火墙中所有的运算任务,从而满足大数据环境以及云计算环境中对高吞吐量安全的需求。而且采用嵌入式GPU防火墙硬件设计架构，实现大数据环境以及云计算环境中高性能、低能耗、低成本。
附图说明
图1为本发明的基于CPU和GPU的数据库防火墙系统一种实施例的结构示意图；
图2为本发明的基于CPU和GPU的数据库防火墙系统的控制方法中初始方法的一种实施例的流程图；
图3为本发明的基于CPU和GPU的数据库防火墙系统的控制方法中对网络数据包的处理方法的一种实施例的流程图；
图4为本发明的基于CPU和GPU的数据库防火墙系统的控制方法中对网络数据包的处理方法的另一种实施例的流程图；
图5为本发明的基于CPU和GPU的数据库防火墙系统的控制方法中的动态任务调度算法一种实施例的流程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种实施例的基于CPU和GPU的数据库防火墙系统，如图1所示，所述系统包括：
至少一个多核CPU１包括CPU调度核组，CPU计算核组和CPU常规任务核组；
至少一个GPU2包括GPU会话组、GPU运算组和GPU 集群通信接口；
网卡3即NIC与所述GPU2连接，包括网卡缓存区；
系统内存4分别与所述多核CPU1和GPU2连接，包括GPU专享内存池、CPU内存池、网卡内存池、GPU与CPU的共享内存池以及通过所述网卡内存池和GPU专享内存池进行虚拟映射形成的NIC与GPU的共享内存池，其中，所述网卡内存池和网卡缓存区即NIC缓冲区具有相同的物理地址；
其中，所述CPU调度核组用于根据CPU调度核组中的核数量进行网卡缓存区的对应划分。也就是说，多核多CPU、多GPU、高速网卡、以及系统内存构成一种高吞吐量的基于CPU和GPU的数据库防火墙系统，另外将传统CPU 集群上的大型防火墙并行应用移植到GPU集群上，显著减少空间、能耗等硬件资源需求，而且通过过CPU、GPU 的混合调度充分利用CPU 和GPU，在GPU 计算复杂任务的同时让CPU 做一些较为简单的调度和计算，充分发挥多CPU的调度优势与多GPU 的计算优势减少网络延迟。
在具体实施中，所述CPU常规任务核组可以包括如下功能：设备配置，集中管理，审计管理以及安全策略配置等。
在具体实施中，如图１所示，网卡3与GPU2之间实现高速内存交换机制，即实现GPU与NIC之间的内存（专属内存）交换以及GPU与系统内存（专属内存）的交换，把处于等待状态（或在CPU调度原则下被剥夺运行权利） 的GPU的映射内存空间腾出来，同时赋予忙碌状态的GPU或NIC采用内存管理, 优化算法所消耗的内存空间，内存大小是有限的,而数据流是不断产生,充分利用有限的内存一次性处理更多的数据,以达到数据流的实时处理。
在具体实施中，当网络数据包进入网卡缓存区时，所述CPU调度核组还用于：调度GPU会话组，以及根据动态任务调度算法将所述GPU会话组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
所述GPU会话组，用于进行全局初始化，并对与其对应匹配的网络数据包进行对应的任务处理，以及得到会话流和将会话流标志位存入所述系统内存中。
也就是说，CPU调度核组采用动态任务调度算法，将调度的GPU会话组与NIC缓冲区进行一一对应匹配计算，可以减小系统负载不均，提高硬件资源并行计算能力，使得所有计算资源尽可能在同一时间完成执行。
在具体实施中，GPU会话组进行的任务处理包括：
对网络数据包进行会话管理；
对网络数据包进行L2层解析；
对网络数据包进行TCP／IP协议的解析；
对网络数据包进行时域会话的Hash计算对时域会话的数据包进行TCP流重组；以及对时域会话的数据包进行数据库类型识别。
也就是说，GPU会话组采用基于GPU的数据流通用处理模型，该通用模型适合于各个应用领域的多条高维时间序列数据流,它涵盖了数据流的预处理、减负、概要抽取和挖掘处理等多项功能,能完成数据流处理时的多项任务,如查询处理、聚类、分类、频繁项集挖掘等。任务包括但不限于：GPU会话组针对单一数据包进行Checksum and CRC；GPU会话组针对单一数据包进行L2解析；GPU会话组针对单一数据包进行TCP协议的解析 ；GPU会话组针对单一数据包进行Session会话的HASH计算；GPU会话组针对Session会话的数据包进行TCP流的重组；GPU会话组针对Session会话进行数据库类型的识别。即将GPU会话组划分为多个会话小组，比如，第一会话小组的任务处理为：对网络数据包进行会话管理，第二会话小组的任务处理为：对网络数据包进行L2层解析，那么第一会话小组从匹配的网卡缓存区中得到对应的网络数据，并对所述对应的网络数据进行会话管理，而第二会话小组从匹配的网卡缓存区中得到对应的网络数据，并对所述对应的网络数据进行L2层解析。
在具体实施中，当网络数据包进入网卡缓存区时，所述CPU调度核组还用于：调度GPU计算组，以及根据动态任务调度算法将所述GPU运算组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
所述GPU运算组，用于进行全局初始化，对所述网络数据包进行优化处理，并对匹配且优化后的网络数据包进行任务处理。
在具体实施中，CPU调度核组采用联合专用线程调度策略，调度GPU运算组进行不同会话的相关运算。
在具体实施中，GPU会话组进行的任务处理包括：
对会话管理组进行数据迭代运算；
对会话管理组进行数据库协议解析
对会话管理组进行SQL语法分析；
对会话管理组进行安全策略分析；
对网络数据包进行安全策略自学习；
对网络数据包进行安全策略关联分析；以及对网络数据包进行阻断与放行。
也就是说，GPU运算组基于多层归约的MapReduce实现方案，主要从线程的执行方式，共享内存缓存策略和输入数据读取3个方面进行优化，采用多层归约机制在Map 计算结束后直接进行归约计算，以减少中间数据的存储开销。多层归约机制使块内部的并发线程可以同时分别在共享内存和全局内存上高效的执行归约计算，避免了由于频繁的共享内存数据换出带来的线程同步开销，提高了线程并发执行的效率，包括但不限于以下的运算：GPU运算组针对会话管理组的数据进行数据迭代运算；GPU运算组针对会话管理组进行数据库协议解析；GPU运算组针对会话管理组进行SQL语法分析；GPU运算组针对会话管理组进行安全策略分析；GPU运算组进行安全策略自学习；GPU运算组进行安全策略关联分析；GPU运算组进行数据包的阻断与放行。即将GPU运算组划分为多个运算小组，比如，第一运算小组的任务处理为：对会话管理组进行数据迭代运算，第二运算小组的任务处理为：对会话管理组进行数据库协议解析，那么第一会话小组从匹配的网卡缓存区中得到对应的网络数据，并对会话管理组进行数据迭代运算，而第二会话小组从匹配的网卡缓存区中得到对应的网络数据，并对会话管理组进行数据库协议解析。
从上述数据库防火墙系统的方案可以看出，通过GPU去并行处理数据库防火墙中所有的运算任务,从而满足大数据环境以及云计算环境中对高吞吐量安全的需求。而且采用嵌入式GPU防火墙硬件设计架构，实现大数据环境以及云计算环境中高性能、低能耗、低成本。进一步通过提供板间数据传输重叠化机制、片上内存虚拟地址管理、以及软硬件任务并执行调度算法等优化策略,能够对大数据应用取得可观的性能功耗优势。基于GPU的异构计算系统及并行计算模式使得大量传统串行算法转移到并行计算平台上的并行化实现成为可能，无论是从高性能计算的成本控制、精度要求还是并行计算在硬件设备和应用服务之间的关键作用来说，基于GPU的高性能并行优化算法具有应用价值。另外，云安全是大数据时代信息安全的体现，它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，高吞吐量的数据库防火墙能够有效地提高数据库系统环境的安全，为云机算环境的推广与普及提供安全保障和技术支撑。
在具体实施中，本发明还提供一种实施例的基于CPU和GPU的数据库防火墙系统的控制方法，如图2所示，所述控制方法包括以下步骤：
步骤S01，系统初始化；
步骤S02，根据CPU数量以及核数量将至少一个多核CPU划分为CPU调度核组、CPU计算核组和CPU常规任务核组；
步骤S03，根据GPU数量将至少一个GPU划分为GPU会话组和GPU运算组；
步骤S04，将系统内存划分为GPU专享内存池、CPU内存池、网卡内存池和GPU与CPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；
步骤S05，将所述网卡内存池和GPU专享内存池进行虚拟映射，形成NIC与GPU的共享内存池；
步骤S06，根据CPU调度核组中的核数量进行网卡缓存区的对应划分，以及网卡缓存区与网卡内存池进行虚拟映射使得所述网卡内存池和网卡缓存区具有相同的物理地址即进行网卡缓存区初始化；
步骤S07，对GPU 集群通信接口进行初始化。
也就是说，将传统CPU 集群上的大型防火墙并行应用移植到GPU集群上，显著减少空间、能耗等硬件资源需求，而且通过过CPU、GPU 的混合调度充分利用CPU 和GPU，在GPU计算复杂任务的同时让CPU 做一些较为简单的调度和计算，充分发挥多CPU的调度优势与多GPU 的计算优势减少网络延迟。
在具体实施中，如图3所示，对网络数据包的处理方法，在步骤S07之后还包括以下步骤：
步骤S31,当网络数据包进入网卡缓存区时，CPU调度核组调度GPU会话组；
步骤S32,GPU会话组从系统内存映射中获取数据包的物理地址；
步骤S33,GPU会话组进行全局初始化；
步骤S34,CPU调度核组根据动态任务调度算法将所述GPU会话组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
步骤S35,GPU会话组与其对应匹配的网络数据包进行对应的任务处理，得到会话流并将会话流标志位存入所述系统内存中。
也就是说，CPU调度核组采用动态任务调度算法，将调度的GPU会话组与NIC缓冲区进行一一对应匹配计算，可以减小系统负载不均，提高硬件资源并行计算能力，使得所有计算资源尽可能在同一时间完成执行。
在具体实施中，GPU会话组进行的任务处理包括：
对网络数据包进行会话管理；
对网络数据包进行L2层解析；
对网络数据包进行TCP／IP协议的解析；
对网络数据包进行时域会话的Hash计算
对时域会话的数据包进行TCP流重组；以及对时域会话的数据包进行数据库类型识别。
也就是说，GPU会话组采用基于GPU的数据流通用处理模型，该通用模型适合于各个应用领域的多条高维时间序列数据流,它涵盖了数据流的预处理、减负、概要抽取和挖掘处理等多项功能,能完成数据流处理时的多项任务,如查询处理、聚类、分类、频繁项集挖掘等。任务包括但不限于：GPU会话组针对单一数据包进行Checksum and CRC；GPU会话组针对单一数据包进行L2解析；GPU会话组针对单一数据包进行TCP协议的解析 ；GPU会话组针对单一数据包进行Session会话的HASH计算；GPU会话组针对Session会话的数据包进行TCP流的重组；GPU会话组针对Session会话进行数据库类型的识别。即将GPU会话组划分为多个会话小组，比如，第一会话小组的任务处理为：对网络数据包进行会话管理，第二会话小组的任务处理为：对网络数据包进行L2层解析，那么第一会话小组从匹配的网卡缓存区中得到对应的网络数据，并对所述对应的网络数据进行会话管理，而第二会话小组从匹配的网卡缓存区中得到对应的网络数据，并对所述对应的网络数据进行L2层解析。
在具体实施中，如图4所示，对网络数据包的处理方法，在步骤S07或步骤S35之后还包括以下步骤：
S41,当网络数据包进入网卡缓存区时，CPU调度核组调度GPU运算组；
S42,GPU运算组从系统内存映射中获取数据包的物理地址；
S43,GPU运算组进行全局初始化；
S44,GPU运算组对所述网络数据包进行优化处理；
S45,CPU调度核组根据动态任务调度算法将所述GPU运算组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
S46,GPU运算组与其对应匹配的网络数据包进行对应的任务处理。
在具体实施中，CPU调度核组采用联合专用线程调度策略，调度GPU运算组进行不同会话的相关运算。
在具体实施中，GPU会话组进行的任务处理包括：
对会话管理组进行数据迭代运算；
对会话管理组进行数据库协议解析
对会话管理组进行SQL语法分析；
对会话管理组进行安全策略分析；
对网络数据包进行安全策略自学习；
对网络数据包进行安全策略关联分析；以及对网络数据包进行阻断与放行。
在具体实施中，所述GPU运算组对所述网络数据包进行优化处理的步骤，具体包括：
数据加载；
数据分割；以及统计中间键值对应的归约频率也就是说，GPU运算组基于多层归约的MapReduce实现方案，主要从线程的执行方式，共享内存缓存策略和输入数据读取3个方面进行优化，采用多层归约机制在Map 计算结束后直接进行归约计算，以减少中间数据的存储开销。多层归约机制使块内部的并发线程可以同时分别在共享内存和全局内存上高效的执行归约计算，避免了由于频繁的共享内存数据换出带来的线程同步开销，提高了线程并发执行的效率，包括但不限于以下的运算：GPU运算组针对会话管理组的数据进行数据迭代运算；GPU运算组针对会话管理组进行数据库协议解析；GPU运算组针对会话管理组进行SQL语法分析；GPU运算组针对会话管理组进行安全策略分析；GPU运算组进行安全策略自学习；GPU运算组进行安全策略关联分析；GPU运算组进行数据包的阻断与放行。即将GPU运算组划分为多个运算小组，比如，第一运算小组的任务处理为：对会话管理组进行数据迭代运算，第二运算小组的任务处理为：对会话管理组进行数据库协议解析，那么第一会话小组从匹配的网卡缓存区中得到对应的网络数据，并对会话管理组进行数据迭代运算，而第二会话小组从匹配的网卡缓存区中得到对应的网络数据，并对会话管理组进行数据库协议解析。
在具体实施中，如图5所示，所述动态任务调度算法具体包括以下步骤：
步骤S51,判断是否第一次运行，如果是，进入步骤S52，如果否，进入步骤S55；
步骤S52，任务随机分配；
步骤S53，计算每个GPU的负载量；
步骤S54，计算每个GPU的计算速率,返回步骤S51；
步骤S55，预处理；
步骤S56, 更新每个GPU的负载量；
步骤S57, 更新每个GPU的计算速率；
步骤S58,减负；
步骤S59,概要抽取；
步骤S510，对两次负载和两次计算速率的差值进行加权；
步骤S511,判断加权的差值是否达到稳定速率或负载量的20%,如果是，进入步骤S512，如果否，返回步骤S55；
步骤S512，任务执行。
在步骤S512中，对于GPU会话组则执行与GPU会话组对应的任务，对于GPU运算组则执行与GPU运算组对应的任务。
在具体实施中，实现单次扫描算法，不允许任何可以暂时阻塞数据流的操作，所有的数据只能扫描一次。
从上述控制方法的方案可以看出，通过GPU去并行处理数据库防火墙中所有的运算任务,从而满足大数据环境以及云计算环境中对高吞吐量安全的需求。而且采用嵌入式GPU防火墙硬件设计架构，实现大数据环境以及云计算环境中高性能、低能耗、低成本。进一步通过提供板间数据传输重叠化机制、片上内存虚拟地址管理、以及软硬件任务并执行调度算法等优化策略,能够对大数据应用取得可观的性能功耗优势。基于GPU的异构计算系统及并行计算模式使得大量传统串行算法转移到并行计算平台上的并行化实现成为可能，无论是从高性能计算的成本控制、精度要求还是并行计算在硬件设备和应用服务之间的关键作用来说，基于GPU的高性能并行优化算法具有应用价值。另外，云安全是大数据时代信息安全的体现，它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，高吞吐量的数据库防火墙能够有效地提高数据库系统环境的安全，为云机算环境的推广与普及提供安全保障和技术支撑。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于CPU和GPU的数据库防火墙系统，其特征在于：所述系统包括：
至少一个多核CPU包括CPU调度核组，CPU计算核组和CPU常规任务核组；
至少一个GPU包括GPU会话组、GPU运算组和GPU 集群通信接口；
网卡与所述GPU连接，包括网卡缓存区；
系统内存分别与所述多核CPU和GPU连接，包括GPU专享内存池、CPU内存池、网卡内存池、GPU与CPU的共享内存池以及通过所述网卡内存池和GPU专享内存池进行虚拟映射形成的网卡与GPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；
其中，所述CPU调度核组用于根据CPU调度核组中的核数量进行网卡缓存区的对应划分。
2.如权利要求1所述的数据库防火墙系统，其特征在于：当网络数据包进入网卡缓存区时，所述CPU调度核组还用于：调度GPU会话组，以及根据动态任务调度算法将所述GPU会话组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
所述GPU会话组，用于进行全局初始化，并对与其对应匹配的网络数据包进行对应的任务处理，以及得到会话流和将会话流标志位存入所述系统内存中。
3.如权利要求1所述的数据库防火墙系统，其特征在于：当网络数据包进入网卡缓存区时，所述CPU调度核组还用于：调度GPU计算组，以及根据动态任务调度算法将所述GPU运算组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
所述GPU运算组，用于进行全局初始化，对所述网络数据包进行优化处理，并对匹配且优化后的网络数据包进行任务处理。
4.一种基于CPU和GPU的数据库防火墙系统的控制方法，其特征在于：所述控制方法包括以下步骤：
系统初始化；
根据CPU数量以及核数量将至少一个多核CPU划分为CPU调度核组、CPU计算核组和CPU常规任务核组；
根据GPU数量将至少一个GPU划分为GPU会话组和GPU运算组；
将系统内存划分为GPU专享内存池、CPU内存池、网卡内存池和GPU与CPU的共享内存池，其中，所述网卡内存池和网卡缓存区具有相同的物理地址；
将所述网卡内存池和GPU专享内存池进行虚拟映射，形成网卡与GPU的共享内存池；
根据CPU调度核组中的核数量进行网卡缓存区的对应划分；以及
对GPU 集群通信接口进行初始化。
5.如权利要求4所述的控制方法，其特征在于：还包括以下步骤：
当网络数据包进入网卡缓存区时，CPU调度核组调度GPU会话组；
GPU会话组从系统内存映射中获取数据包的物理地址；
GPU会话组进行全局初始化；
CPU调度核组根据动态任务调度算法将所述GPU会话组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
GPU会话组与其对应匹配的网络数据包进行对应的任务处理，得到会话流并将会话流标志位存入所述系统内存中。
6.如权利要求5所述的控制方法，其特征在于：GPU会话组进行的任务处理包括：
对网络数据包进行会话管理；
对网络数据包进行L2层解析；
对网络数据包进行TCP／IP协议的解析；
对网络数据包进行时域会话的Hash计算
对时域会话的数据包进行TCP流重组；以及
对时域会话的数据包进行数据库类型识别。
7.如权利要求4所述的控制方法，其特征在于：还包括以下步骤：
当网络数据包进入网卡缓存区时，CPU调度核组调度GPU运算组；
GPU运算组从系统内存映射中获取数据包的物理地址；
GPU运算组进行全局初始化；
GPU运算组对所述网络数据包进行优化处理；
CPU调度核组根据动态任务调度算法将所述GPU运算组分别与网卡缓存区中的网络数据包和任务处理进行匹配；
GPU运算组与其对应匹配的网络数据包进行对应的任务处理。
8.如权利要求7所述的控制方法，其特征在于：GPU运算组将所述任务处理的结果存入GPU与CPU的共享内存池中。
9.如权利要求7所述的控制方法，其特征在于：GPU运算组进行的任务处理包括：
对会话管理组进行数据迭代运算；
对会话管理组进行数据库协议解析；
对会话管理组进行SQL语法分析；
对会话管理组进行安全策略分析；
对网络数据包进行安全策略自学习；
对网络数据包进行安全策略关联分析；以及
对网络数据包进行阻断与放行。
10.如权利要求7所述的控制方法，其特征在于：所述GPU运算组对所述网络数据包进行优化处理的步骤，具体包括：
数据加载；
数据分割；以及
统计中间键值对应的归约频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610101855.2A CN107122241B (zh) | 2016-02-25 | 2016-02-25 | 基于cpu和gpu的数据库防火墙系统和其的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610101855.2A CN107122241B (zh) | 2016-02-25 | 2016-02-25 | 基于cpu和gpu的数据库防火墙系统和其的控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107122241A CN107122241A (zh) | 2017-09-01 |
| CN107122241B true CN107122241B (zh) | 2019-11-19 |
Family
ID=59716895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610101855.2A Active CN107122241B (zh) | 2016-02-25 | 2016-02-25 | 基于cpu和gpu的数据库防火墙系统和其的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107122241B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753134B (zh) * | 2018-12-24 | 2022-04-15 | 四川大学 | 一种基于全局解耦的gpu内部能耗控制系统及方法 |
| CN109976911B (zh) * | 2019-03-25 | 2021-04-20 | 哈尔滨工程大学 | 一种自适应资源调度方法 |
| CN110442389B (zh) * | 2019-08-07 | 2024-01-09 | 北京技德系统技术有限公司 | 一种多桌面环境共享使用gpu的方法 |
| US11876782B2 (en) * | 2021-02-08 | 2024-01-16 | Nvidia Corporation | Header-based packet filtering and inferencing to identify malicious network traffic using neural networks |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006049072A1 (ja) * | 2004-11-04 | 2006-05-11 | Nec Corporation | ファイアウォール検査システムおよびファイアウォール情報抽出システム |
| US8938723B1 (en) * | 2009-08-03 | 2015-01-20 | Parallels IP Holdings GmbH | Use of GPU for support and acceleration of virtual machines and virtual environments |
| CN205003680U (zh) * | 2015-08-05 | 2016-01-27 | 杭州世平信息科技有限公司 | 一种用于高速数据防泄漏系统的运行机构 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130332257A1 (en) * | 2012-06-08 | 2013-12-12 | Adobe Systems Incorporated | Sharing private devices for content rendering |
-
2016
- 2016-02-25 CN CN201610101855.2A patent/CN107122241B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006049072A1 (ja) * | 2004-11-04 | 2006-05-11 | Nec Corporation | ファイアウォール検査システムおよびファイアウォール情報抽出システム |
| US8938723B1 (en) * | 2009-08-03 | 2015-01-20 | Parallels IP Holdings GmbH | Use of GPU for support and acceleration of virtual machines and virtual environments |
| CN205003680U (zh) * | 2015-08-05 | 2016-01-27 | 杭州世平信息科技有限公司 | 一种用于高速数据防泄漏系统的运行机构 |
Non-Patent Citations (1)
| Title |
|---|
| 安全策略中心与NP架构防火墙的设计与实现;郝宁;《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》;20070115(第01期);I139-93 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107122241A (zh) | 2017-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cui et al. | A blockchain-based containerized edge computing platform for the internet of vehicles | |
| Xu et al. | Intelligent resource management in blockchain-based cloud datacenters | |
| Cai et al. | DGCL: An efficient communication library for distributed GNN training | |
| CN107122241B (zh) | 基于cpu和gpu的数据库防火墙系统和其的控制方法 | |
| Gharaibeh et al. | On graphs, gpus, and blind dating: A workload to processor matchmaking quest | |
| Huang et al. | BoR: Toward high-performance permissioned blockchain in RDMA-enabled network | |
| Jayaram et al. | Adaptive aggregation for federated learning | |
| Zhou et al. | Deep reinforcement learning-based algorithms selectors for the resource scheduling in hierarchical cloud computing | |
| Yin et al. | Effective task offloading heuristics for minimizing energy consumption in edge computing | |
| Narantuya et al. | Multi-Agent Deep Reinforcement Learning-Based Resource Allocation in HPC/AI Converged Cluster. | |
| Chatterjee et al. | On analyzing large graphs using GPUs | |
| Lee et al. | Decentralized resource management for multi-core desktop grids | |
| CN111459871A (zh) | 一种基于fpga异构计算的区块链加速系统及方法 | |
| Beauprez et al. | A multi-agent negotiation strategy for reducing the flowtime | |
| Abuidris et al. | Collaborative multi-chain architecture for data transmission across homogeneous blockchain | |
| CN103020197B (zh) | 网格仿真平台及网格仿真方法 | |
| Luo et al. | High performance design and implementation of nemesis communication layer for two-sided and one-sided mpi semantics in mvapich2 | |
| Lv et al. | Distributed computing to blockchain: Architecture, technology, and applications | |
| Zhu et al. | Balanced Cloud Edge resource allocation based on conflict conditions | |
| Wang et al. | Parallel data mining optimal algorithm of virtual cluster | |
| Li et al. | Reliability evaluation for cloud computing system considering common cause failure | |
| Wu | Task optimization scheduling algorithm in embedded system based on internet of things | |
| González et al. | Multimethod optimization in the cloud: A case‐study in systems biology modelling | |
| Liu et al. | Location‐Constrained Virtual Machine Placement (LCVP) Algorithm | |
| Wang et al. | Container Scaling Strategy Based on Reinforcement Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240821 Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Patentee after: Shenzhen maianxin Technology Co.,Ltd. Country or region after: China Address before: 17th Floor, Maikelong Building, Gaoxin South Sixth Road, Shenzhen High tech Industrial Park, Guangdong Province 518000 Patentee before: SHENZHEN ZHIQIONG TECHNOLOGY CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |