CN102098291A - 一种基于fpga的网络安全日志处理方法和装置 - Google Patents
一种基于fpga的网络安全日志处理方法和装置 Download PDFInfo
- Publication number
- CN102098291A CN102098291A CN2010105983877A CN201010598387A CN102098291A CN 102098291 A CN102098291 A CN 102098291A CN 2010105983877 A CN2010105983877 A CN 2010105983877A CN 201010598387 A CN201010598387 A CN 201010598387A CN 102098291 A CN102098291 A CN 102098291A
- Authority
- CN
- China
- Prior art keywords
- packet
- network
- packets
- source
- fpga
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于FPGA的网络安全日志处理装置和方法,装置包括网络数据存储器,用户规则存储器,特征比较器。接收外部网络送入的数据包,并将该数据包暂存于网络数据存储器;检测网络数据包的源目IP地址,源目端口以及协议,并监控报文的控制比特;对于与设定的源目IP地址,源目端口以及协议一致的数据包,命中的数据包根据规则过滤结果,分析包头信息及过滤动作,判断是否发送日志包以及发送哪种类型的日志包;当特征值符合时,从网络数据存储器中取出数据包进行组包,并发送到要求贮存的主机内存中,进行数据分析。本发明可以及时的监控网络上的数据包内容,避免增加网络安全风险,保障网络安全。
Description
技术领域
本发明涉及网络安全领域,具体涉及一种基于FPGA的网络安全日志处理方法的实现。
背景技术
随着网络的普及和发展,网络的安全越来越重要,现在网络的安全控制技术正飞速发展。一套网络安全的整体解决方案涉及很多方面,包括设置好密码策略、设置安全日志策略以及安全管理制度等等。其中设置安全日志策10略是通过在安全日志中记录一些重要信息以对网络的使用情况进行监控,通过监控的结果不断调整安全设置,提高网络安全性。
由于网络安全的重要性,考虑到交换机在网络中处于核心的地位,因此需要在交换机实现对用户的监控日志功能,从而可以查看各个用户上网情况,了解网上流量信息,对网络不法行为进行追查等。目前的安全日志可以包括以下几部分:
1、用户的上网记录,即用户的上下线时间、互联网协议(Intemet Protocal,简称“IP”)地址、介质访问控制(Media Access Control,简称“MAC”)、永久虚电路(Permanent Virtual Circuit,简称“PVC”)等信息进行保存;
2、用户的上网操作记录,即对用户所访问过的IP地址、协议类型、端口号等也进行保存;
3、对于做网络地址转换(Net Address Translation,简称“NAT”)的用户,还需要其报文的转发地址转换记录,以便必要时进行追踪。
现有的技术方案在生成安全日志时,软件在其中完成的功能较多,以下简称为安全日志的软件实现方案。该方案的实现有以下特点:
第一、由软件维护形成安全日志的规则,该规则一般以数据报文的五元组进行精确匹配查找。所谓五元组,即报文的一个套接字,包括协议、本地地址、本地端口、远程地址、远程端口。五元组中的项需要精确匹配,比如5某个五元组的组合。
第二、硬件在缓存中保存查找规则,软件为硬件维护查找规则缓存。该查找规则的组织形式可以为多种,例如采用哈希(HASH)表组织,该查找规则缓存以五元组为索引作精确匹配查找。
第三、硬件在接收到一个报文时,以它的五元组索引查找规则缓存。如10果有匹配,则按匹配表项的内容对该报文做处理;否则,将这个报文上报给软件。
第四、软件收到硬件上报的报文后,同样以它的五元组去索引查找规则,如果没有找到匹配结果,则要在查找规则缓存中添加一个记录,以使以后当硬件接收到的五元组完全相同的报文时可以通过查查找规则缓存转发。巧第五、软件定时按一定的策略,例如超时老化策略,刷新查找规则缓存。这样,通过这种首包上报的流转发机制,软件可以根据需要记录报文的信息,主要是五元组、接收客户端口,实现对网上流量的监控,实现安全日志功能。
在实际应用中,上述方案存在以下问题:软件处理速度慢,容易丢失报加文;对中央处理器的资源消耗大,导致整个系统的整体效率较低。
造成这种情况的一个主要原因在于在现有的安全日志的软件实现方案中,所有需要做日志的报文的首包都要上报给软件,由于软件的处理速度不高会形成处理瓶颈,对于数据流量瞬时突发度较大的情况,会导致报文丢失;该方案中,CPU需要花掉大量的时间执行软件去分析报文、计算索引、设置转发表项等等,因而会大大地增加CPU的负荷,进而导致整个系统的整体效率较低。
发明内容
为实现安全日志处理组包,本发明提供了一种基于FPGA的网络安全日志处理方法和装置。
一种基于FPGA的网络安全日志处理装置,包括网络数据存储器,用户规则存储器,特征比较器。
一种基于FPGA的网络安全日志处理方法,基于FPGA实现,步骤如下:
A、接收外部网络送入的数据包,并将该数据包暂存于网络数据存储器;
B、检测网络数据包的源目IP地址,源目端口以及协议,并监控报文的控制比特;
C、对于与设定的源目IP地址,源目端口以及协议一致的数据包,命中的数据包根据规则过滤结果,分析包头信息及过滤动作,判断是否发送日志包以及发送哪种类型的日志包;
D、当特征值符合时,从网络数据存储器中取出数据包进行组包,并发送到要求贮存的主机内存中,进行数据分析。
本发明可以及时的监控网络上的数据包内容,避免增加网络安全风险,保障网络安全。
附图说明
图1为日志包处理的结构框图
图2为状态定义
图3为附加包头的格式
图4为状态机状态转化图
图5为日志包组包状态图
具体实施方式
本发明包括网络数据存储器、用户规则存储器、特征比较器,其网络安全连接封堵的方法包括下列步骤:接收该外部网络所送入的数据封包;将所接收到的该数据包暂存于设置在网络数据存储器;并从数据包中提取特征值,根据该数据封包的一特征值与用户规则存储器中的某条规则比较,进行判断该数据包是否符合转发日志的条件;当该特征值符合时,该网络设备及时的从网络数据存储器中取出数据包,并进行组包,将数据包发送到要求存贮的主机主存中,便于分析数据。
图四为状态机状态转化图。各个状态的动作如下,
IDLE:初始状态,当PendingPktCMDBuf有数据,且存放日志包的缓冲区有空间时,则跳转到WAITACK状态,发出读请求;
WAITACK:向DDR2控制器发出读请求,等待返回Ack信号;
WAITDATA:等待DDR2控制器将所有数据返回,读取到最后一个数据时,跳转到APPHEADER。
APPHEADER:填写附加包头,总共需要两个字,填写完后,则跳转到CHECKSUM。
CHECKSUM:将之前计算的checksum折叠相加,最后得到32位的数据,写入到RAM地址0处,同时写入的还有长度信息。
日志包组包,也就是在上述模块的基础上加上MAC头、IP头以及UDP头;同时完成UDP checksum的计算;然后等待数据发送完成后即可处理下一个包。
图五为日志包组包状态图,其各状态操作如下;
IDLE:初始状态。当PendingLogPktBuf有数据包(简单日志包或详细日志包)准备好时,进入下一状态;
PRESTATE:预处理状态。向缓冲区中填写包头(MAC头、IP头、UDP头、附加包头),所需时钟周期固定;进入CHECKSUM状态;
CHECKSUM:计算数据包CheckSum。读取缓冲区中数据,每一拍数据为128b,即16B,每次加法完成32b(4B)运算,需要进行四次加法运算;所有数据计算完后则进入下一状态;对最后一个字的处理是在写入数据的时候保证无效的数据位上填0,所有数据统一处理,对计算结果就没有影响。
WAITDONE:将CheckSum折叠相加,最后将稳定的CheckSum然后填入缓冲区中对应字段里,填写完CheckSum后则将数据包ready信号拉高。
TXLOWDATA:发送高64位数据。
TXHIGHDATA:发送低64位数据。
Claims (2)
1.一种基于FPGA的网络安全日志处理装置,其特征在于:包括网络数据存储器,用户规则存储器,特征比较器。
2.一种基于FPGA的网络安全日志处理方法,其特征在于:
基于FPGA实现,步骤如下:
A、接收外部网络送入的数据包,并将该数据包暂存于网络数据存储器;
B、检测网络数据包的源目IP地址,源目端口以及协议,并监控报文的控制比特;
C、对于与设定的源目IP地址,源目端口以及协议一致的数据包,命中的数据包根据规则过滤结果,分析包头信息及过滤动作,判断是否发送日志包以及发送哪种类型的日志包;
D、当特征值符合时,从网络数据存储器中取出数据包进行组包,并发送到要求贮存的主机内存中,进行数据分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010598387.7A CN102098291B (zh) | 2010-12-17 | 2010-12-17 | 一种基于fpga的网络安全日志处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010598387.7A CN102098291B (zh) | 2010-12-17 | 2010-12-17 | 一种基于fpga的网络安全日志处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102098291A true CN102098291A (zh) | 2011-06-15 |
CN102098291B CN102098291B (zh) | 2015-08-19 |
Family
ID=44131155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010598387.7A Active CN102098291B (zh) | 2010-12-17 | 2010-12-17 | 一种基于fpga的网络安全日志处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102098291B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102497372A (zh) * | 2011-12-13 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种基于ip报文目的端口过滤策略的系统和方法 |
CN104767658A (zh) * | 2015-04-17 | 2015-07-08 | 浪潮电子信息产业股份有限公司 | 一种在线检测报文传输错误的方法与装置 |
WO2016184079A1 (zh) * | 2015-05-21 | 2016-11-24 | 中兴通讯股份有限公司 | 一种处理系统日志报文的方法和装置 |
CN107883999A (zh) * | 2016-09-29 | 2018-04-06 | 上海华测导航技术股份有限公司 | 一种多路传感器数据采集装置以及数据采集和导出方法 |
CN111464505A (zh) * | 2020-03-11 | 2020-07-28 | 北京吉芯网安技术有限公司 | 消息处理方法、设备、装置、存储介质及处理器 |
CN111817888A (zh) * | 2020-06-29 | 2020-10-23 | 中孚安全技术有限公司 | 一种基于单一状态机的网络日志解析方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547353A (zh) * | 2003-12-05 | 2004-11-17 | 浩 李 | 一种高性能多业务的网络安全处理设备 |
CN101483649A (zh) * | 2009-02-10 | 2009-07-15 | 浪潮电子信息产业股份有限公司 | 一种基于fpga的网络安全内容处理卡 |
-
2010
- 2010-12-17 CN CN201010598387.7A patent/CN102098291B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547353A (zh) * | 2003-12-05 | 2004-11-17 | 浩 李 | 一种高性能多业务的网络安全处理设备 |
CN101483649A (zh) * | 2009-02-10 | 2009-07-15 | 浪潮电子信息产业股份有限公司 | 一种基于fpga的网络安全内容处理卡 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102497372A (zh) * | 2011-12-13 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种基于ip报文目的端口过滤策略的系统和方法 |
CN104767658A (zh) * | 2015-04-17 | 2015-07-08 | 浪潮电子信息产业股份有限公司 | 一种在线检测报文传输错误的方法与装置 |
CN104767658B (zh) * | 2015-04-17 | 2018-05-29 | 浪潮电子信息产业股份有限公司 | 一种在线检测报文传输错误的方法与装置 |
WO2016184079A1 (zh) * | 2015-05-21 | 2016-11-24 | 中兴通讯股份有限公司 | 一种处理系统日志报文的方法和装置 |
CN107883999A (zh) * | 2016-09-29 | 2018-04-06 | 上海华测导航技术股份有限公司 | 一种多路传感器数据采集装置以及数据采集和导出方法 |
CN111464505A (zh) * | 2020-03-11 | 2020-07-28 | 北京吉芯网安技术有限公司 | 消息处理方法、设备、装置、存储介质及处理器 |
CN111817888A (zh) * | 2020-06-29 | 2020-10-23 | 中孚安全技术有限公司 | 一种基于单一状态机的网络日志解析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102098291B (zh) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mittal et al. | Revisiting network support for RDMA | |
CN102098291A (zh) | 一种基于fpga的网络安全日志处理方法和装置 | |
CN104904160B (zh) | 用于数据流的应用流的系统和方法 | |
CN102739473B (zh) | 一种应用智能网卡的网络检测方法 | |
CN103765851B (zh) | 用于到任何服务的透明的层2重定向的系统和方法 | |
JP5623585B2 (ja) | フロー統計に用いる方法、装置及びシステム | |
TW200818773A (en) | Merging multi-line log entries | |
US10873534B1 (en) | Data plane with flow learning circuit | |
CN106341266B (zh) | 具有主动和被动传输模式的硬件tcp/ip协议栈装置 | |
CN102098227B (zh) | 报文捕获方法及内核模块 | |
CN101815014B (zh) | 基于连接的实时网络数据捕获方法 | |
US20110125748A1 (en) | Method and Apparatus for Real Time Identification and Recording of Artifacts | |
CN106815112A (zh) | 一种基于深度包检测的海量数据监控系统及方法 | |
RU2014124009A (ru) | Метод и система потоковой передачи данных для обработки сетевых метаданных | |
CN109688069A (zh) | 一种处理网络流量的方法、装置、设备及存储介质 | |
CN102571946B (zh) | 一种基于对等网络的协议识别与控制系统的实现方法 | |
CN108287905A (zh) | 一种网络流特征的提取与存储方法 | |
CN108289125A (zh) | 基于流式处理的tcp会话重组与统计数据提取方法 | |
CN105897929B (zh) | 一种视频监控数据备份的方法及装置 | |
EP3101843B1 (en) | Capturing network data to provide to a data analyser | |
Zhang et al. | Identifying elephant flows in internet backbone traffic with bloom filters and LRU | |
Wellem et al. | A hardware-accelerated infrastructure for flexible sketch-based network traffic monitoring | |
CN101854366A (zh) | 一种对等网络流量识别的方法及装置 | |
CN103561025B (zh) | 防dos攻击能力检测方法、装置和系统 | |
CN101984635A (zh) | P2p协议流量识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221215 Address after: 430040 NO.666, Wuhuan Avenue, linkonggang economic and Technological Development Zone, Wuhan City, Hubei Province (10) Patentee after: Dawning Network Technology Co.,Ltd. Address before: 300384 Xiqing District, Tianjin Huayuan Industrial Zone (outside the ring) 15 1-3, hahihuayu street. Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd. |