CN114050926A - 一种数据报文深度检测方法和装置 - Google Patents

一种数据报文深度检测方法和装置 Download PDF

Info

Publication number
CN114050926A
CN114050926A CN202111320199.2A CN202111320199A CN114050926A CN 114050926 A CN114050926 A CN 114050926A CN 202111320199 A CN202111320199 A CN 202111320199A CN 114050926 A CN114050926 A CN 114050926A
Authority
CN
China
Prior art keywords
message
data
packet
preprocessor
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111320199.2A
Other languages
English (en)
Other versions
CN114050926B (zh
Inventor
戴涛
匡晓云
杜金燃
洪超
关泽武
赖博宇
蒙家晓
徐培明
徐传懋
黄建理
张宇南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Original Assignee
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, China Southern Power Grid Co Ltd filed Critical China South Power Grid International Co ltd
Priority to CN202111320199.2A priority Critical patent/CN114050926B/zh
Publication of CN114050926A publication Critical patent/CN114050926A/zh
Application granted granted Critical
Publication of CN114050926B publication Critical patent/CN114050926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据报文深度检测方法和装置,方法包括:通过获取原始报文数据包;对原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;根据数据协议对中间报文数据包执行数据预处理,得到预处理数据报文;基于预设匹配规则对预处理数据报文进行匹配,生成规则匹配结果;根据规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文,从而实现快速识别多种不同类别的流式数据包,灵活对数据报文进行高效过滤。

Description

一种数据报文深度检测方法和装置
技术领域
本发明涉及数据报文深度检测技术领域,尤其涉及一种数据报文深度检测方法和装置。
背景技术
数据报文的精细化匹配与过滤是进行网络安全监管的前提和基础,近年来,随着网络技术的高速发展,网络流量爆发式增长,网络应用种类层出不穷,日趋复杂多变的互联网流量给报文的精细化过滤带来了新的挑战。
传统的报文过滤方法通常是基于五元组、关键词检测等方式进行过滤,但仅仅依赖于单个过滤方法,难以快速识别多种不同类别的流式数据包,导致无法灵活实现对数据报文的高效过滤。
发明内容
本发明提供了一种数据报文深度检测方法和装置,解决了现有的报文过滤方法仅依赖于单个过滤方法,难以快速识别多种不同类别的流式数据包,导致无法灵活实现对数据报文的高效过滤的技术问题。
本发明提供的一种数据报文深度检测方法,包括:
获取原始报文数据包;
对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文;
基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果;
根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
可选地,所述对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包的步骤,包括:
获取所述原始报文数据包携带的至少一个报文头特征;
基于所述报文头特征从预存的多个调用函数中选取目标调用函数;
采用所述目标调用函数对所述原始报文数据包进行解码,确定所述原始报文数据包所对应的至少一个数据协议;
建立所述数据协议与所述原始报文数据包之间的关联关系,得到中间报文数据包。
可选地,所述根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文的步骤,包括:
根据所述数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;所述预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若所述目标预处理器为所述IP分片重组预处理器,则通过所述IP分片重组预处理器根据所述中间报文数据包对应的IP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,构建IP中间报文链;
若所述目标预处理器为所述TCP状态维护与会话重组预处理器,则通过所述TCP状态维护与会话重组预处理器对所述中间报文数据包所处的会话建立会话状态表,并基于所述中间报文数据包对应的TCP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若所述目标预处理器为所述协议解析预处理器,则通过所述协议解析预处理器按照所述数据协议对应的交互行为特征,确定所述中间报文数据包对应的交互行为特征,并基于所述交互行为特征将所述中间报文数据包抽象为检测流;
将所述IP中间报文链、所述TCP中间报文链和/或所述检测流确定为预处理数据报文。
可选地,所述基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果的步骤,包括:
对所述预处理数据报文进行字符串规则匹配;
若匹配成功,则在所述预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的所述预处理数据报文,生成规则匹配结果。
可选地,所述根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文的步骤,包括:
判断所述规则匹配结果是否存在所述深度内容标识;
若是存在,则对所述预处理数据报文进行深度检测,确定所述预处理数据报文的输入端口和应用层协议;
若所述应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取所述预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
本发明还提供了一种数据报文深度检测装置,包括:
报文数据包获取模块,用于获取原始报文数据包;
数据包解码模块,用于对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
数据预处理模块,用于根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文;
初始匹配模块,用于基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果;
深度检测模块,用于根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
可选地,所述数据包解码模块具体用于:
获取所述原始报文数据包携带的至少一个报文头特征;
基于所述报文头特征从预存的多个调用函数中选取目标调用函数;
采用所述目标调用函数对所述原始报文数据包进行解码,确定所述原始报文数据包所对应的至少一个数据协议;
建立所述数据协议与所述原始报文数据包之间的关联关系,得到中间报文数据包。
可选地,所述数据预处理模块具体用于:
根据所述数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;所述预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若所述目标预处理器为所述IP分片重组预处理器,则通过所述IP分片重组预处理器根据所述中间报文数据包对应的IP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,构建IP中间报文链;
若所述目标预处理器为所述TCP状态维护与会话重组预处理器,则通过所述TCP状态维护与会话重组预处理器对所述中间报文数据包所处的会话建立会话状态表,并基于所述中间报文数据包对应的TCP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若所述目标预处理器为所述协议解析预处理器,则通过所述协议解析预处理器按照所述数据协议对应的交互行为特征,确定所述中间报文数据包对应的交互行为特征,并基于所述交互行为特征将所述中间报文数据包抽象为检测流;
将所述IP中间报文链、所述TCP中间报文链和/或所述检测流确定为预处理数据报文。
可选地,所述初始匹配模块具体用于:
对所述预处理数据报文进行字符串规则匹配;
若匹配成功,则在所述预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的所述预处理数据报文,生成规则匹配结果。
可选地,所述深度检测模块具体用于:
判断所述规则匹配结果是否存在所述深度内容标识;
若是存在,则对所述预处理数据报文进行深度检测,确定所述预处理数据报文的输入端口和应用层协议;
若所述应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取所述预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
从以上技术方案可以看出,本发明具有以下优点:
本发明通过获取原始报文数据包;对原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;根据数据协议对中间报文数据包执行数据预处理,得到预处理数据报文;基于预设匹配规则对预处理数据报文进行匹配,生成规则匹配结果;根据规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文,从而实现快速识别多种不同类别的流式数据包,灵活对数据报文进行高效过滤。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种数据报文深度检测方法的步骤流程图;
图2为本发明实施例提供的一种TCP中间报文链的示意图;
图3为本发明实施例提供的一种数据报文深度检测装置的实现框架图;
图4为本发明实施例提供的一种数据报文深度检测装置的结构框图。
具体实施方式
本发明实施例提供了一种数据报文深度检测方法和装置,用于解决现有的报文过滤方法仅依赖于单个过滤方法,难以快速识别多种不同类别的流式数据包,导致无法灵活实现对数据报文的高效过滤的技术问题。
DPI(deep packet inspection)全称深度数据包检测,是一种计算机网络数据包过滤技术,用来检查通过检测点之数据包的数据部分或头文件,以搜索不匹配规范之协议、病毒、垃圾邮件、入侵,或以预定之准则来决定数据包是否可通过或需被路由至其他不同目的地,是为了收集统计数据之目的。在传统数据包检测技术之上增加了对应用层数据的应用协议识别,数据包内容检测与深度解码。
DPI的识别技术可以分为三大类:基于“特征字”的识别技术,应用层网关识别技术和行为模式识别技术。
(1)基于“特征字”的识别技术。不同的应用通常依赖于不同的协议,而不同的协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于“特征字”的识别技术通过对业务流中特定数据报文中的“指纹”信息的检测以确定业务流承载的应用。根据具体检测方式的不同,基于“特征字”的识别技术又可以被分为固定位置特征字匹配、变动位置的特征匹配以及状态特征匹配三种技术。通过对“指纹”信息的升级,基于特征的识别技术可以很方便的进行功能扩展,实现对新协议的检测。
(2)应用层网关识别技术。某些业务的控制流和业务流是分离的,业务流没有任何特征。这种情况下,采用应用层网关识别技术。应用层网关需要先识别出控制流,并根据控制流的协议通过特定的应用层网关对其进行解析,从协议内容中识别出相应的业务流。对于每一个协议,需要有不同的应用层网关对其进行分析。
(3)行为模式识别技术。行为模式识别技术基于对终端已经实施的行为的分析,判断出用户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于无法根据协议判断的业务的识别。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例提供的一种数据报文深度检测方法的步骤流程图。
本发明提供的一种数据报文深度检测方法,包括:
步骤101,获取原始报文数据包;
在本申请实施例中,通过将网卡设置为混乱模式和利用Libpcap/Winpcap从网卡捕获网络数据包以获取原始报文数据包。
具体可以通过将网络设置成混乱模式,并通过将多个端口的流量拷贝至特定端口进行监听,以实现监听连接在集线器上的所有流量。在网卡获取到原始报文数据包转发至数据链路层后,通过Libpcap/Winpcap库将数据链路层的原始报文数据包传输,等待后续解码操作。
需要说明的是,Libpcap是一个运行在类UNIX系统下的网络数据包捕获函数库,可以捕获网卡上的数据,也可以发送数据包,相应的Windows版本为WinPcap。
步骤102,对原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
在本申请实施例中,在获取到原始报文数据包后,可以通过调用特定函数对原始报文数据包的各个部分进行解码,以确定对应的数据协议并构建得到中间报文数据包。
可选地,步骤102可以包括以下子步骤:
获取原始报文数据包携带的至少一个报文头特征;
基于报文头特征从预存的多个调用函数中选取目标调用函数;
采用目标调用函数对原始报文数据包进行解码,确定原始报文数据包所对应的至少一个数据协议;
建立数据协议与原始报文数据包之间的关联关系,得到中间报文数据包。
在本申请的一个示例中,通过获取原始报文数据包所携带的至少一个报文头特征,按照该报文头特征从预存的多个调用函数中进行至少一个目标调用函数的选取,再采用目标调用函数对原始报文数据包进行解码,以确定原始报文数据包所对应的至少一个数据协议,再按照数据协议和原始报文数据包的数据之间的关联关系存储到数据包结构体内,从而得到中间报文数据包。
在具体实现中,当接收到原始报文数据包后,可以通过运行ProcessPacket()函数。ProcessPacket()函数调用DecodeEthPkt()函数,DecodeEthPkt()函数对以太帧进行解码。在DecodeEthPkt()函数中,DecodeIP()对IP协议进行解码。最后,调用DecodeTCPPkt()对TCP协议进行解码,根据报文头特征将数据解码成不同的协议,再按照对应的协议建立数据的关联,得到中间报文数据包。
步骤103,根据数据协议对中间报文数据包执行数据预处理,得到预处理数据报文;
可选地,步骤103可以包括以下子步骤:
根据数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若目标预处理器为IP分片重组预处理器,则通过IP分片重组预处理器根据中间报文数据包对应的IP报文头部的顺序,对中间报文数据包进行排序并建立关联,构建IP中间报文链;
若目标预处理器为TCP状态维护与会话重组预处理器,则通过TCP状态维护与会话重组预处理器对中间报文数据包所处的会话建立会话状态表,并基于中间报文数据包对应的TCP报文头部的顺序,对中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若目标预处理器为协议解析预处理器,则通过协议解析预处理器按照数据协议对应的交互行为特征,确定中间报文数据包对应的交互行为特征,并基于交互行为特征将中间报文数据包抽象为检测流;
将IP中间报文链、TCP中间报文链和/或检测流确定为预处理数据报文。
在本申请实施例中,在确定数据协议后,可以基于数据协议的类型,从多个预处理器中选取至少一个与数据协议的类型对应的目标预处理器进行对中间报文数据包的预处理,其中各个预处理器的功能可以通过插件形式实现。插件程序按照DPI提供的插件函数接口完成,使用时动态加载,在不用修改核心代码的前提下让DPI的功能和复杂性扩展更容易。既保障了插件程序和系统的核心代码的紧密相关性,又保障了核心代码的良好扩展性。
在本申请的一个示例中,若目标预处理器为IP分片重组预处理器,则通过IP分片重组预处理器根据中间报文数据包对应的IP报文头部的顺序,对中间报文数据包进行排序并建立关联,构建IP中间报文链。具体的IP分片重组主要处理分片乱序与丢包的情况,在处理过程中会缓存报文。为了减少内存拷贝,分片重组不会将分片报文组成一个完整的大IP报文,而以报文链方式交由后续模块。分片缓存链表头挂在会话结构上。IP分片重组报文处理分为以下几个状态:(1)分片重组超时,直接设置动作为接受;(2)分片重叠直接丢弃所有分片,直接设置动作为丢弃;(3)组装IP包的完整排序分片报文链;(4)会话结构删除时,缓存清理。
在本申请的一个示例中,若目标预处理器为TCP状态维护与会话重组预处理器,则通过TCP状态维护与会话重组预处理器对中间报文数据包所处的会话建立会话状态表,并基于中间报文数据包对应的TCP报文头部的顺序,对中间报文数据包进行排序并建立关联,得到TCP中间报文链。
请参阅图2,图2为本发明实施例的一种TCP中间报文链的示意图。
在本实施例中,以报文头为IP报头为例,图2中包括多个会话标头,也就是IP1-7,通过查看各个IP报文数据包是否存在于FRAG1这个会话中,若是存在,则将其提取出来进行进一步排序,如图所示可以提取IP1、IP2、IP4和IP6出来进行进一步的排序,生成TCP中间报文链。
在实际操作中,通过在会话当中建立状态表来表示这些会话,同样在会话终止之后,删除相应的表来表示会话结束。通过维护状态表,整个会话过程将很清楚,对于特定的服务器来说不再是单个的SYN、ACK、FIN标志,当检测引擎匹配一个包的时候,查看它是否在已经建立的会话中,而不是简单地匹配特征。类似IP分片,预处理器将TCP流进行重组,这样DPI就可以对整个数据流进行规则匹配。TCP流重组为后续解码与检测提供连续正确的报文负载内容,以保证解码与检测的正确。TCP流重组只保证报文按序进入后续模块处理,不进行TCP负载的内存拷贝重组。
在本申请的一个示例中,若目标预处理器为协议解析预处理器,则通过协议解析预处理器按照数据协议对应的交互行为特征,确定中间报文数据包对应的交互行为特征,并基于交互行为特征将中间报文数据包抽象为检测流。
在具体实现中,针对基于规则的模式匹配难以处理具有多种数据表达形式的协议问题,如Web服务器能够处理多种形式的URL,比如IIS允许用反斜杠“\”代替正斜杠“/”,Telnet协议的在线协议协商过程可能打断原本应该被匹配的数据,协议解析预处理器将所有URL改为统一格式,将所有协商代码从Telnet数据中去除,采用规范的匹配模式处理不同的表达形式的数据。协议解析预处理器可将二进制协议转换为文本或者其他形式,在引擎处理中起到流程分离作用。协议解析器的功能范畴如下:
(1)协议确认
L4流量经过知名端口协议识别分流后表现为L5协议,进入相应的协议解析器,协议解析器按照协议的交互行为特征进行确认。
(2)协议切分
协议切分是在会话的基础上进一步细分出“检测流”和“子流”的概念。例如:HTTP的一次transaction、FTP的一次用户登录行为、SMTP/POP3的一次邮件发送/接受等,都抽象成一条“检测流”。检测流的基础上可以进一步细分“子流”,例如:FTP可以在一次登录的过程中用PORT方式和PASSIVE方式传输文件,每一个传输又是一条子流。每条会话可以传输多次检测流,甚至同时有并发的检测流出现。每个“检测流”允许多个“子流”。解析器需要按照不同的协议识别这种行为,并将业务模块基于“检测流”或者“子流”的规则固化在“检测流”的每个报文的结果集中或者“子流”的每个报文的结果集中。直到“检测流”或者“子流”发生了变迁。
步骤104,基于预设匹配规则对预处理数据报文进行匹配,生成规则匹配结果;
在本申请的一个示例中,步骤104可以包括以下子步骤:
对预处理数据报文进行字符串规则匹配;
若匹配成功,则在预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的预处理数据报文,生成规则匹配结果。
字符串规则匹配指的是通过把所有L4-7层业务的需求归一化成字符串的搜索,每个需求条目抽象成一条DPI RULE(规则),从RULE中提取不少于3个字节的“固定字符串特征”,规则的其余要求定义成“选项”,将各个固定字符串特征与预处理数据报文进行匹配的过程。
在本申请实施例中,通过对预处理数据报文进行字符串规则匹配,以确定是否需要为当前预处理数据报文进行会话创建和标识,若是匹配成功,表明预处理数据报文需要进行后续的深度检测,可以在预处理数据报文上添加深度内容标识以便于后续DPI进行检测,生成规则匹配结果。
在本发明的一个示例中,若是匹配失败,则表明当前的预处理数据报文无法匹配当前的策略配置,此时维持当前的预处理数据报文,升规则匹配结果为匹配失败,在匹配失败的情况下,后续不进行对预处理数据报文的深度检测。
步骤105,根据规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
可选地,步骤105可以包括以下子步骤:
判断规则匹配结果是否存在深度内容标识;
若是存在,则对预处理数据报文进行深度检测,确定预处理数据报文的输入端口和应用层协议;
若应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
在本申请实施例中,若是规则匹配结果中存在深度内容标识,表明此时需要对预处理数据报文进行深度检测,此时可以进一步检测是否满足应用层协议所对应的载荷长度不为零且未包含预设快传标记的条件,若是满足,则进一步采用AC算法(Aho-Corasick)自动机算法,以查表的方法对报文快速匹配一次,得到多个匹配的结果。AC算法匹配报文的过程就是逐字节读取当前报文,并根据ASCII码获取下一个状态的过程。若下一个状态存在终结点,则记录匹配成功的字符序列,并继续往后匹配,直到报文读取完毕,从而完成深度检测,确定预处理数据报文的输入端口和应用层协议。
可选地,若是不存在深度内容标识,或是若会话中的检测标记没有任何Bit置位的报文,不检测;当前处于流量屏蔽的,不检测,尝试清除流信息;当前流穿越了一次流量屏蔽,不检测,尝试清除流信息;若会话中的检测标记没有任何Bit置位的报文,不检测;当前处于流量屏蔽的,不检测,尝试清除流信息;当前流穿越了一次流量屏蔽,不检测,尝试清除流信息。
在本发明的另一个实施例中,本发明的装置包含用户态和内核态两部分,内核态用于实现上述步骤101-105的具体实施过程,从而对原始报文数据包进行解析、模式匹配并基于匹配结果对报文进行相应出,而用户态用于响应用户配置的规则,对上述步骤105内的深度检测所使用的算法或规则进行编译和下发,例如AC(Aho-Corasick)自动机算法等。用户态处理规则的添加和删除、引擎的编译和下发(同步)。用户可以对特征进行添加、删除、修改等操作。当用户配置完规则并下发了引擎的编译激活指令之后,用户态将对所有的规则进行初始化,生成编译引擎,并下发到内核态。
在本申请实施例中,通过获取原始报文数据包;对原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;根据数据协议对中间报文数据包执行数据预处理,得到预处理数据报文;基于预设匹配规则对预处理数据报文进行匹配,生成规则匹配结果;根据规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文,从而实现快速识别多种不同类别的流式数据包,灵活对数据报文进行高效过滤。
请参阅图3,图3为本发明的一种数据报文深度检测装置的实现框架图。
在本发明实施例中,用户态处理规则的添加和删除、引擎的编译和下发(同步)。用户可以对特征进行添加、删除、修改等操作。当用户配置完规则并下发了引擎的编译激活指令之后,用户态将对所有的规则进行初始化,生成编译引擎,并下发到内核态。
在内核态,首先系统从网络中抓取数据包并进行包解码,然后交给预处理器,预处理器数据进行协议规范化和重组,之后交给检测引擎对报文进行模式匹配。检测引擎的建立是基于特征库的,用户也可自己定义属于自己的规则,规则库经编译之后生成算法引擎,并由用户态下发。由算法引擎对报文完成匹配,并根据规则中配置的处理动作对报文进行处理,保存于结果集中。
DPI系统的预处理器、检测引擎等模块都是插件结构,插件程序按照DPI提供的插件函数接口完成,使用时动态加载,在不用修改核心代码的前提下让DPI的功能和复杂性扩展更容易。既保障了插件程序和系统的核心代码的紧密相关性,又保障了核心代码的良好扩展性。
DPI使能在域间,匹配域间策略规则后,将报文下送到内核态做内容过滤,根据过滤结果处理该报文。当报文内容匹配上用户配置的特征后,或放行报文,或重置回话,或修改报文内容继续转发,或者应答错误信息,控制实现用户网络访问的目的。
请参阅图4,图4为本发明实施例提供的一种数据报文深度检测装置的结构框图。
本发明实施例提供了一种数据报文深度检测装置,包括:
报文数据包获取模块401,用于获取原始报文数据包;
数据包解码模块402,用于对原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
数据预处理模块403,用于根据数据协议对中间报文数据包执行数据预处理,得到预处理数据报文;
初始匹配模块404,用于基于预设匹配规则对预处理数据报文进行匹配,生成规则匹配结果;
深度检测模块405,用于根据规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
可选地,数据包解码模块402具体用于:
获取原始报文数据包携带的至少一个报文头特征;
基于报文头特征从预存的多个调用函数中选取目标调用函数;
采用目标调用函数对原始报文数据包进行解码,确定原始报文数据包所对应的至少一个数据协议;
建立数据协议与原始报文数据包之间的关联关系,得到中间报文数据包。
可选地,数据预处理模块403具体用于:
根据数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若目标预处理器为IP分片重组预处理器,则通过IP分片重组预处理器根据中间报文数据包对应的IP报文头部的顺序,对中间报文数据包进行排序并建立关联,构建IP中间报文链;
若目标预处理器为TCP状态维护与会话重组预处理器,则通过TCP状态维护与会话重组预处理器对中间报文数据包所处的会话建立会话状态表,并基于中间报文数据包对应的TCP报文头部的顺序,对中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若目标预处理器为协议解析预处理器,则通过协议解析预处理器按照数据协议对应的交互行为特征,确定中间报文数据包对应的交互行为特征,并基于交互行为特征将中间报文数据包抽象为检测流;
将IP中间报文链、TCP中间报文链和/或检测流确定为预处理数据报文。
可选地,初始匹配模块404具体用于:
对预处理数据报文进行字符串规则匹配;
若匹配成功,则在预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的预处理数据报文,生成规则匹配结果。
可选地,深度检测模块405具体用于:
判断规则匹配结果是否存在深度内容标识;
若是存在,则对预处理数据报文进行深度检测,确定预处理数据报文的输入端口和应用层协议;
若应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据报文深度检测方法,其特征在于,包括:
获取原始报文数据包;
对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文;
基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果;
根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包的步骤,包括:
获取所述原始报文数据包携带的至少一个报文头特征;
基于所述报文头特征从预存的多个调用函数中选取目标调用函数;
采用所述目标调用函数对所述原始报文数据包进行解码,确定所述原始报文数据包所对应的至少一个数据协议;
建立所述数据协议与所述原始报文数据包之间的关联关系,得到中间报文数据包。
3.根据权利要求1所述的方法,其特征在于,所述根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文的步骤,包括:
根据所述数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;所述预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若所述目标预处理器为所述IP分片重组预处理器,则通过所述IP分片重组预处理器根据所述中间报文数据包对应的IP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,构建IP中间报文链;
若所述目标预处理器为所述TCP状态维护与会话重组预处理器,则通过所述TCP状态维护与会话重组预处理器对所述中间报文数据包所处的会话建立会话状态表,并基于所述中间报文数据包对应的TCP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若所述目标预处理器为所述协议解析预处理器,则通过所述协议解析预处理器按照所述数据协议对应的交互行为特征,确定所述中间报文数据包对应的交互行为特征,并基于所述交互行为特征将所述中间报文数据包抽象为检测流;
将所述IP中间报文链、所述TCP中间报文链和/或所述检测流确定为预处理数据报文。
4.根据权利要求1所述的方法,其特征在于,所述基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果的步骤,包括:
对所述预处理数据报文进行字符串规则匹配;
若匹配成功,则在所述预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的所述预处理数据报文,生成规则匹配结果。
5.根据权利要求4所述的方法,其特征在于,所述根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文的步骤,包括:
判断所述规则匹配结果是否存在所述深度内容标识;
若是存在,则对所述预处理数据报文进行深度检测,确定所述预处理数据报文的输入端口和应用层协议;
若所述应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取所述预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
6.一种数据报文深度检测装置,其特征在于,包括:
报文数据包获取模块,用于获取原始报文数据包;
数据包解码模块,用于对所述原始报文数据包进行解码,确定对应的数据协议并构建中间报文数据包;
数据预处理模块,用于根据所述数据协议对所述中间报文数据包执行数据预处理,得到预处理数据报文;
初始匹配模块,用于基于预设匹配规则对所述预处理数据报文进行匹配,生成规则匹配结果;
深度检测模块,用于根据所述规则匹配结果对预处理数据报文进行深度检测,得到目标深度数据报文。
7.根据权利要求6所述的装置,其特征在于,所述数据包解码模块具体用于:
获取所述原始报文数据包携带的至少一个报文头特征;
基于所述报文头特征从预存的多个调用函数中选取目标调用函数;
采用所述目标调用函数对所述原始报文数据包进行解码,确定所述原始报文数据包所对应的至少一个数据协议;
建立所述数据协议与所述原始报文数据包之间的关联关系,得到中间报文数据包。
8.根据权利要求6所述的装置,其特征在于,所述数据预处理模块具体用于:
根据所述数据协议的类型,从预设的多个预处理器内选取至少一个目标预处理器;所述预处理器包括IP分片重组预处理器、TCP状态维护与会话重组预处理器和协议解析预处理器;
若所述目标预处理器为所述IP分片重组预处理器,则通过所述IP分片重组预处理器根据所述中间报文数据包对应的IP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,构建IP中间报文链;
若所述目标预处理器为所述TCP状态维护与会话重组预处理器,则通过所述TCP状态维护与会话重组预处理器对所述中间报文数据包所处的会话建立会话状态表,并基于所述中间报文数据包对应的TCP报文头部的顺序,对所述中间报文数据包进行排序并建立关联,得到TCP中间报文链;
若所述目标预处理器为所述协议解析预处理器,则通过所述协议解析预处理器按照所述数据协议对应的交互行为特征,确定所述中间报文数据包对应的交互行为特征,并基于所述交互行为特征将所述中间报文数据包抽象为检测流;
将所述IP中间报文链、所述TCP中间报文链和/或所述检测流确定为预处理数据报文。
9.根据权利要求6所述的装置,其特征在于,所述初始匹配模块具体用于:
对所述预处理数据报文进行字符串规则匹配;
若匹配成功,则在所述预处理数据报文上添加深度内容标识,生成规则匹配结果;
若匹配失败,则维持当前的所述预处理数据报文,生成规则匹配结果。
10.根据权利要求9所述的装置,其特征在于,所述深度检测模块具体用于:
判断所述规则匹配结果是否存在所述深度内容标识;
若是存在,则对所述预处理数据报文进行深度检测,确定所述预处理数据报文的输入端口和应用层协议;
若所述应用层协议所对应的载荷长度不为零且未包含预设快传标记,则逐字节读取所述预处理数据报文并进行字符序列匹配,生成目标深度数据报文。
CN202111320199.2A 2021-11-09 2021-11-09 一种数据报文深度检测方法和装置 Active CN114050926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111320199.2A CN114050926B (zh) 2021-11-09 2021-11-09 一种数据报文深度检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320199.2A CN114050926B (zh) 2021-11-09 2021-11-09 一种数据报文深度检测方法和装置

Publications (2)

Publication Number Publication Date
CN114050926A true CN114050926A (zh) 2022-02-15
CN114050926B CN114050926B (zh) 2024-07-09

Family

ID=80207579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320199.2A Active CN114050926B (zh) 2021-11-09 2021-11-09 一种数据报文深度检测方法和装置

Country Status (1)

Country Link
CN (1) CN114050926B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745452A (zh) * 2022-03-29 2022-07-12 烽台科技(北京)有限公司 设备管理方法、装置及电子设备
CN114745176A (zh) * 2022-04-11 2022-07-12 中国南方电网有限责任公司 数据传输控制方法、装置、计算机设备和存储介质
CN114760256A (zh) * 2022-04-14 2022-07-15 曙光网络科技有限公司 数据处理方法、装置、设备及存储介质
CN115296878A (zh) * 2022-07-27 2022-11-04 天翼云科技有限公司 一种报文检测方法、装置、电子设备及存储介质
CN115473850A (zh) * 2022-09-14 2022-12-13 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质
CN116962551A (zh) * 2023-07-28 2023-10-27 中科驭数(北京)科技有限公司 基于dpu应用层报文重组的dpi安全检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010612A1 (en) * 2002-06-11 2004-01-15 Pandya Ashish A. High performance IP processor using RDMA
US20090138471A1 (en) * 2006-11-24 2009-05-28 Hangzhou H3C Technologies Co., Ltd. Method and apparatus for identifying data content
US20100238264A1 (en) * 2007-12-03 2010-09-23 Yuan Liu Three dimensional video communication terminal, system, and method
CN103795709A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种网络安全检测方法和系统
CN104348677A (zh) * 2013-08-05 2015-02-11 华为技术有限公司 一种深度报文检测方法、设备及协处理器
CN107819646A (zh) * 2017-10-23 2018-03-20 国网冀北电力有限公司信息通信分公司 一种分布式传输的网络流量分类系统和方法
CN109391520A (zh) * 2017-08-10 2019-02-26 中国移动通信有限公司研究院 基于融合型家庭网关的深度报文检测方法、装置和系统
CN112702333A (zh) * 2020-12-21 2021-04-23 英赛克科技(北京)有限公司 数据安全检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010612A1 (en) * 2002-06-11 2004-01-15 Pandya Ashish A. High performance IP processor using RDMA
US20090138471A1 (en) * 2006-11-24 2009-05-28 Hangzhou H3C Technologies Co., Ltd. Method and apparatus for identifying data content
US20100238264A1 (en) * 2007-12-03 2010-09-23 Yuan Liu Three dimensional video communication terminal, system, and method
CN104348677A (zh) * 2013-08-05 2015-02-11 华为技术有限公司 一种深度报文检测方法、设备及协处理器
CN103795709A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种网络安全检测方法和系统
CN109391520A (zh) * 2017-08-10 2019-02-26 中国移动通信有限公司研究院 基于融合型家庭网关的深度报文检测方法、装置和系统
CN107819646A (zh) * 2017-10-23 2018-03-20 国网冀北电力有限公司信息通信分公司 一种分布式传输的网络流量分类系统和方法
CN112702333A (zh) * 2020-12-21 2021-04-23 英赛克科技(北京)有限公司 数据安全检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUOFENG ZHAO, ET.AL: "Network_dynamics_of_mobile_social_networks", IEEE, 31 December 2014 (2014-12-31) *
ZHENGXIONG LUO, ET.AL: "ICS_Protocol_Fuzzing_Coverage_Guided_Packet_Crack_and_Generation", IEEE, 31 December 2020 (2020-12-31) *
丁伟等: "电网信息物理系统网络安全风险 分析与防护对策", 电力信息与通信技术, 31 December 2018 (2018-12-31) *
郑生军等: "基于多种检测技术融合的入侵检测系统_郑生军", 计算机与现代化, 31 May 2016 (2016-05-31), pages 0 - 4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745452A (zh) * 2022-03-29 2022-07-12 烽台科技(北京)有限公司 设备管理方法、装置及电子设备
CN114745452B (zh) * 2022-03-29 2023-05-16 烽台科技(北京)有限公司 设备管理方法、装置及电子设备
CN114745176A (zh) * 2022-04-11 2022-07-12 中国南方电网有限责任公司 数据传输控制方法、装置、计算机设备和存储介质
CN114760256A (zh) * 2022-04-14 2022-07-15 曙光网络科技有限公司 数据处理方法、装置、设备及存储介质
CN114760256B (zh) * 2022-04-14 2024-01-30 曙光网络科技有限公司 数据处理方法、装置、设备及存储介质
CN115296878A (zh) * 2022-07-27 2022-11-04 天翼云科技有限公司 一种报文检测方法、装置、电子设备及存储介质
CN115296878B (zh) * 2022-07-27 2023-11-03 天翼云科技有限公司 一种报文检测方法、装置、电子设备及存储介质
CN115473850A (zh) * 2022-09-14 2022-12-13 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质
CN115473850B (zh) * 2022-09-14 2024-01-05 电信科学技术第十研究所有限公司 一种基于ai的实时数据过滤方法、系统及存储介质
CN116962551A (zh) * 2023-07-28 2023-10-27 中科驭数(北京)科技有限公司 基于dpu应用层报文重组的dpi安全检测方法
CN116962551B (zh) * 2023-07-28 2024-03-19 中科驭数(北京)科技有限公司 基于dpu应用层报文重组的dpi安全检测方法

Also Published As

Publication number Publication date
CN114050926B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN114050926B (zh) 一种数据报文深度检测方法和装置
CN106815112B (zh) 一种基于深度包检测的海量数据监控系统及方法
US20070195814A1 (en) Integrated Circuit Apparatus And Method for High Throughput Signature Based Network Applications
US8010685B2 (en) Method and apparatus for content classification
US7596809B2 (en) System security approaches using multiple processing units
CN101505276B (zh) 网络应用流量识别方法和装置及网络应用流量管理设备
US20150055481A1 (en) Context-aware pattern matching accelerator
US20220263823A1 (en) Packet Processing Method and Apparatus, Device, and Computer-Readable Storage Medium
US20080291912A1 (en) System and method for detecting file
CN112422567B (zh) 一种面向大流量的网络入侵检测方法
CN108737367A (zh) 一种视频监控网络的异常检测方法及系统
CN107707549B (zh) 一种自动提取应用特征的装置及方法
CN114866310A (zh) 一种恶意加密流量检测方法、终端设备及存储介质
CN114553730A (zh) 一种应用识别方法、装置、电子设备及存储介质
Antunes et al. ReverX: Reverse engineering of protocols
CN115622744B (zh) 一种加密流量下的web漏洞扫描攻击检测系统
US20230199005A1 (en) Method and apparatus for detecting network attack based on fusion feature vector
CN113596065B (zh) 一种基于机器学习的ssh协议登录状态检测方法
JP3648520B2 (ja) ネットワーク通信の監視・制御方法及びこれを利用した監視・制御装置並びにネットワーク通信の監視・制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN104125440B (zh) 云计算的屏幕监控系统及监控方法
CN114338126A (zh) 一种网络应用识别方法和装置
CN114760216A (zh) 一种扫描探测事件确定方法、装置及电子设备
CN114117429A (zh) 一种网络流量的检测方法及装置
RU2485705C1 (ru) Способ и система идентификации сетевых протоколов на основании описания клиент-серверного взаимодействия
CN113382003A (zh) 一种基于两级过滤器的rtsp混合入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant