CN113381986B - 网络安全扫描规则集的约减方法及装置 - Google Patents

网络安全扫描规则集的约减方法及装置 Download PDF

Info

Publication number
CN113381986B
CN113381986B CN202110596379.7A CN202110596379A CN113381986B CN 113381986 B CN113381986 B CN 113381986B CN 202110596379 A CN202110596379 A CN 202110596379A CN 113381986 B CN113381986 B CN 113381986B
Authority
CN
China
Prior art keywords
rule
regular expression
rule set
protocol
set based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110596379.7A
Other languages
English (en)
Other versions
CN113381986A (zh
Inventor
林飞
唐威
唐相雄
易永波
古元
毛华阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Act Technology Development Co ltd
Original Assignee
Beijing Act Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Act Technology Development Co ltd filed Critical Beijing Act Technology Development Co ltd
Priority to CN202110596379.7A priority Critical patent/CN113381986B/zh
Publication of CN113381986A publication Critical patent/CN113381986A/zh
Application granted granted Critical
Publication of CN113381986B publication Critical patent/CN113381986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/03—Protocol definition or specification 

Abstract

网络安全扫描规则集的约减方法及装置涉及信息技术领域。本发明由规则分类器、分类规则暂存器、字符串提取器、正则表达式提取器、字符串映射规则集合和正则表达式映射规则集合组成。本发明对文本规则进行二次转换处理：读取规则文件进行字段解析、提取、整理、聚类、输出。对输出的字段再加载，采用一次性匹配算法或聚类匹配算法执行匹配过程，改善逐条进行规则匹配效率低的问题。

Description

网络安全扫描规则集的约减方法及装置
技术领域
本发明涉及信息技术领域。
背景技术
规则扫描引擎是一种嵌入在应用程序中的组件，实现将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。具体执行可以分为接受数据输入、解释业务规则、根据业务规则做出业务决策几个过程。使用规则扫描引擎可以把复杂、冗余的业务逻辑同应用支撑系统分离开，做到系统架构的可复用移植。规则扫描引擎通常允许用户在不重新启动系统或部署新的可执行代码的情况下调整规则，从而实现业务处理能力的变化。规则扫描引擎旨在成为一个提供更高级别抽象的工具，以便用户可以更少地关注开发细节。网络安全扫描规则是安全扫描引擎的检测依据，它是对网络攻击的模式匹配的描述，主要包含特征串、正则表达式及逻辑表达式构成。特征串、正则表达式匹配是规则引擎的主要工作。
MTX（Meta-info Tuning eXtreme）是用于网络报文分析和检测的标准规范文档，由国家计算机网络与信息安全管理中心提出并归口。MTX规范定义了规则的编写格式、协议类型、数据类型、运算符、常量、变量、变量类型、表达式、函数等语法规范。用户可以采用MTX语法针对影响网络安全的病毒、木马、僵尸、后门、网页仿冒、移动互联网等恶意代码编写MTX规则，MTX规则经编译后动态更新到运行的系统当中，用于实时对网络报文进行分析和检测，并记录预警事件。
每条MTX规则都包括下列内容：
1）规则id：最长11位的整数；
2）规则名称：字符串，长度不大于500个字符；
3）协议：规则所属的协议类型，如：ip、ipv6、tcp、udp、http、dns、tcpstream；
4）按包/流匹配： packet – 按单包匹配，stream --按流匹配，目前该配置未生效；
5）匹配条件：需要匹配的内容；
6）响应动作：匹配后的执行动作；
7）日志是否反向：0-不反向；1-将正常的ip方向调换后上报；
8）日志上报位置：上报国家中心或分中心；
9）安全事件类型；
10）响应方式；
11）安全级别；
12）优先级；
其中8）~12）为后端系统使用，监测系统前端不涉及。
MTX规则举例如下：
111 xxx tcp packet tcp.payload.len>200 event(tcp.payload) 0 3 12alert 0 6
表示该规则编号为111，名称为xxx，优先级为6，规则对tcp协议进行单包匹配，tcp.payload长度大于200字节时，生成事件监测日志，并将tcp.payload作为返回值写入事件监测日志。
MTX规范定义了规则的语法规范，但没有定义具体的实现案例和匹配算法。采用逐条方式实现规则匹配的方案，匹配效率低，不能用于商业环境当中，所以需要对MTX规则的匹配算法进行优化。
Hyperscan是一款来自于Intel的高性能的正则表达式匹配库。它是基于X86平台以PCRE为原型而开发的。在支持PCRE的大部分语法的前提下，Hyperscan增加了特定的语法和工作模式来保证其在真实网络场景下的实用性。与此同时，大量高效算法及IntelSIMD*指令的使用实现了Hyperscan的高性能匹配。Hyperscan与DPDK的整合为DPI/IDS/IPS等产品提供了成熟高效的整套方案,目前已经在全球多个客户网络安全方案中得到实际的应用。
Hyperscan以自动机理论为基础，其工作流程主要分成两个部分：编译期(compiletime)和运行期(run-time)。Hyperscan 自带C++编写的正则表达式编译器。它将正则表达式作为输入，针对不同的IA平台，用户定义的模式及特殊语法，经过复杂的图分析及优化过程，生成对应的数据库。另外，生成的数据库可以被序列化后保存在内存中，以供运行期提取使用。
现有技术中基于MTX规范和Hyperscan正则表达式匹配库研发的检测引擎主要问题如下：
（1）性能问题：
检测引擎的主要使用客户是通信运营商，在运营商部署的流量监测设备接入流量大、恶意代码检测的规则复杂程度高，同时现网部署的规则数目达到两万多条，而且随着国家对网络安全形势的重视，对网络安全监管进一步加强，规则数量还会进一步增加，采用顺序匹配和模式匹配性能低，所以检测引擎已经成为网络安全监测的性能瓶颈；
（2）可移植性问题：
Hyperscan是Intel提供的高性能的正则表达式匹配引擎库，只能用在x86硬件平台上，不能用在ARM、MIPS、PowerPC等平台上，所以限制了检测引擎的可移植行。
发明内容
鉴于现有技术的不足，本发明提供的网络安全扫描规则集的约减装置由规则分类器、分类规则暂存器、字符串提取器、正则表达式提取器、字符串映射规则集合和正则表达式映射规则集合组成；
规则分类器读取原始规则集，原始规则集是按照MTX规则编写的用于网络报文分析和检测的标准规范文档；
规则分类器按照原始规则集中每条规则的协议类型字段，将规则按协议进行分类，形成基于TCP协议的规则集合、基于HTTP协议的规则集合、基于UDP协议的规则集合和基于DNS协议的规则集合，各规则集合存储于分类规则暂存器，各规则集合之间存在如下关系：
原始规则集为基于TCP协议的规则集合，并基于HTTP协议的规则集合，并基于UDP协议的规则集合，并基于DNS协议的规则集合的并集；
基于TCP协议的规则集合、基于HTTP协议的规则集合、基于UDP协议的规则集合、基于DNS协议的规则集合中，任意两个规则集合的交集为空集；
字符串提取器提取基于TCP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于TCP协议的规则集合中的字符串提取完成时，生成基于TCP协议的字符串映射规则集合；基于TCP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于HTTP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于HTTP协议的规则集合中的字符串提取完成时，生成基于HTTP协议的字符串映射规则集合；基于HTTP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于UDP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于UDP协议的规则集合中的字符串提取完成时，生成基于UDP协议的字符串映射规则集合；基于UDP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于DNS协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于DNS协议的规则集合中的字符串提取完成时，生成基于DNS协议的字符串映射规则集合；基于DNS协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
基于TCP协议的字符串映射规则集合、基于HTTP协议的字符串映射规则集合、基于UDP协议的字符串映射规则集合和基于DNS协议的字符串映射规则集合作为子集存储于字符串映射规则集合；
正则表达式提取器提取基于TCP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于TCP协议的规则集合中的正则表达式提取完成时，生成基于TCP协议的正则表达式映射规则集合；基于TCP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于HTTP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于HTTP协议的规则集合中的正则表达式提取完成时，生成基于HTTP协议的正则表达式映射规则集合；基于HTTP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于UDP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于UDP协议的规则集合中的正则表达式提取完成时，生成基于UDP协议的正则表达式映射规则集合；基于UDP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于DNS协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于DNS协议的规则集合中的正则表达式提取完成时，生成基于DNS协议的正则表达式映射规则集合；基于DNS协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
基于TCP协议的正则表达式映射规则集合、基于HTTP协议的正则表达式映射规则集合、基于UDP协议的正则表达式映射规则集合和基于DNS协议的正则表达式映射规则集合作为子集存储于正则表达式映射规则集合；
扫描网络协议时：
1、首先将字符串映射规则集合和正则表达式映射规则集合读取到计算机内存中；
2、按照被扫描的网络协议类型，选择参与扫描的字符串映射规则集合的子集和正则表达式映射规则集合的子集，完成第一次缩小计算范围的操作；
3、由字符串提取器提取被扫描的网络协议的字符串，当被扫锚的网络协议的字符串在字符串映射规则集合的子集中有映射的规则编号时，输出规则编号为字符串详细对比编号集，字符串详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第二次缩小计算范围的操作；
4、详细比对被扫描的网络协议与字符串详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告，不匹配时将被扫描的网络协议交给正则表达式提取器；
5、由正则表达式提取器提取被扫描的网络协议的正则表达式，当被扫锚的网络协议的正则表达式在正则表达式映射规则集合的子集中有映射的规则编号时，输出规则编号为正则表达式详细对比编号集，正则表达式详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第三次缩小计算范围的操作；
6、详细比对被扫描的网络协议与正则表达式详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告。
有益效果
通过规则预编译器提取规则中的特征子串和正则表达式串，并形成规则ID与特征串的映射关系，和根据网络流量的协议类型、特征值等参数对待检查的规则集合执行动态调整，过滤不相关规则，形成针对当前流量的检测规则子集，减少实际匹配的规则数量，同时对合成的深度匹配规则进行复杂度分析。
附图说明
图1是本发明的系统结构图。
具体实施方式
实施例一
参看图1，本发明提供的网络安全扫描规则集的约减装置由规则分类器1、分类规则暂存器2、字符串提取器3、正则表达式提取器4、字符串映射规则集合5和正则表达式映射规则集合6组成；
规则分类器1读取原始规则集，原始规则集是按照MTX规则编写的用于网络报文分析和检测的标准规范文档；
规则分类器1按照原始规则集中每条规则的协议类型字段，将规则按协议进行分类，形成基于TCP协议的规则集合20、基于HTTP协议的规则集合21、基于UDP协议的规则集合22和基于DNS协议的规则集合23，各规则集合存储于分类规则暂存器2，各规则集合之间存在如下关系：
原始规则集为基于TCP协议的规则集合20，并基于HTTP协议的规则集合21，并基于UDP协议的规则集合22，并基于DNS协议的规则集合23的并集；
基于TCP协议的规则集合20、基于HTTP协议的规则集合21、基于UDP协议的规则集合22、基于DNS协议的规则集合23中，任意两个规则集合的交集为空集；
字符串提取器3提取基于TCP协议的规则集合20中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于TCP协议的规则集合20中的字符串提取完成时，生成基于TCP协议的字符串映射规则集合50；基于TCP协议的字符串映射规则集合50以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器3提取基于HTTP协议的规则集合21中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于HTTP协议的规则集合21中的字符串提取完成时，生成基于HTTP协议的字符串映射规则集合51；基于HTTP协议的字符串映射规则集合51以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器3提取基于UDP协议的规则集合22中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于UDP协议的规则集合22中的字符串提取完成时，生成基于UDP协议的字符串映射规则集合52；基于UDP协议的字符串映射规则集合52以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器3提取基于DNS协议的规则集合23中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于DNS协议的规则集合23中的字符串提取完成时，生成基于DNS协议的字符串映射规则集合53；基于DNS协议的字符串映射规则集合53以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
基于TCP协议的字符串映射规则集合50、基于HTTP协议的字符串映射规则集合51、基于UDP协议的字符串映射规则集合52和基于DNS协议的字符串映射规则集合53作为子集存储于字符串映射规则集合5；
正则表达式提取器4提取基于TCP协议的规则集合20中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于TCP协议的规则集合20中的正则表达式提取完成时，生成基于TCP协议的正则表达式映射规则集合60；基于TCP协议的正则表达式映射规则集合60以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器4提取基于HTTP协议的规则集合21中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于HTTP协议的规则集合21中的正则表达式提取完成时，生成基于HTTP协议的正则表达式映射规则集合61；基于HTTP协议的正则表达式映射规则集合61以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于UDP协议的规则集合22中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于UDP协议的规则集合22中的正则表达式提取完成时，生成基于UDP协议的正则表达式映射规则集合62；基于UDP协议的正则表达式映射规则集合62以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于DNS协议的规则集合23中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于DNS协议的规则集合23中的正则表达式提取完成时，生成基于DNS协议的正则表达式映射规则集合63；基于DNS协议的正则表达式映射规则集合63以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
基于TCP协议的正则表达式映射规则集合60、基于HTTP协议的正则表达式映射规则集合61、基于UDP协议的正则表达式映射规则集合62和基于DNS协议的正则表达式映射规则集合63作为子集存储于正则表达式映射规则集合。
实施例二
扫描网络协议时：
1、首先将字符串映射规则集合5和正则表达式映射规则集合6读取到计算机内存中；
2、按照被扫描的网络协议类型，选择参与扫描的字符串映射规则集合5的子集和正则表达式映射规则集合6的子集，完成第一次缩小计算范围的操作；
3、由字符串提取器3提取被扫描的网络协议的字符串，当被扫锚的网络协议的字符串在字符串映射规则集合5的子集中有映射的规则编号时，输出规则编号为字符串详细对比编号集，字符串详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第二次缩小计算范围的操作；
4、详细比对被扫描的网络协议与字符串详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告，不匹配时将被扫描的网络协议交给正则表达式提取器4；
5、由正则表达式提取器4提取被扫描的网络协议的正则表达式，当被扫锚的网络协议的正则表达式在正则表达式映射规则集合6的子集中有映射的规则编号时，输出规则编号为正则表达式详细对比编号集，正则表达式详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第三次缩小计算范围的操作；
6、详细比对被扫描的网络协议与正则表达式详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告。

Claims (2)

1.网络安全扫描规则集的约减装置，其特征在于由规则分类器、分类规则暂存器、字符串提取器、正则表达式提取器、字符串映射规则集合和正则表达式映射规则集合组成；
规则分类器读取原始规则集，原始规则集是按照MTX规则编写的用于网络报文分析和检测的标准规范文档；
规则分类器按照原始规则集中每条规则的协议类型字段，将规则按协议进行分类，形成基于TCP协议的规则集合、基于HTTP协议的规则集合、基于UDP协议的规则集合和基于DNS协议的规则集合，各规则集合存储于分类规则暂存器，各规则集合之间存在如下关系：
原始规则集为基于TCP协议的规则集合，并基于HTTP协议的规则集合，并基于UDP协议的规则集合，并基于DNS协议的规则集合的并集；
基于TCP协议的规则集合、基于HTTP协议的规则集合、基于UDP协议的规则集合、基于DNS协议的规则集合中，任意两个规则集合的交集为空集；
字符串提取器提取基于TCP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于TCP协议的规则集合中的字符串提取完成时，生成基于TCP协议的字符串映射规则集合；基于TCP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于HTTP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于HTTP协议的规则集合中的字符串提取完成时，生成基于HTTP协议的字符串映射规则集合；基于HTTP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于UDP协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于UDP协议的规则集合中的字符串提取完成时，生成基于UDP协议的字符串映射规则集合；基于UDP协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
字符串提取器提取基于DNS协议的规则集合中每条规则的字符串，并生成字符串与规则编号的映射表；当有相同字符串被提取时，以字符串为根合并字符串与规则编号的映射表；当基于DNS协议的规则集合中的字符串提取完成时，生成基于DNS协议的字符串映射规则集合；基于DNS协议的字符串映射规则集合以字符串为根，以字符串在MTX规则中的优先级为顺序，表现为字符串和规则编号的对应关系表；
基于TCP协议的字符串映射规则集合、基于HTTP协议的字符串映射规则集合、基于UDP协议的字符串映射规则集合和基于DNS协议的字符串映射规则集合作为子集存储于字符串映射规则集合；
正则表达式提取器提取基于TCP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于TCP协议的规则集合中的正则表达式提取完成时，生成基于TCP协议的正则表达式映射规则集合；基于TCP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于HTTP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于HTTP协议的规则集合中的正则表达式提取完成时，生成基于HTTP协议的正则表达式映射规则集合；基于HTTP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于UDP协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于UDP协议的规则集合中的正则表达式提取完成时，生成基于UDP协议的正则表达式映射规则集合；基于UDP协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
正则表达式提取器提取基于DNS协议的规则集合中每条规则的正则表达式，并生成正则表达式与规则编号的映射表；当有相同正则表达式被提取时，以正则表达式为根合并正则表达式与规则编号的映射表；当基于DNS协议的规则集合中的正则表达式提取完成时，生成基于DNS协议的正则表达式映射规则集合；基于DNS协议的正则表达式映射规则集合以正则表达式为根，以正则表达式在MTX规则中的优先级为顺序，表现为正则表达式和规则编号的对应关系表；
基于TCP协议的正则表达式映射规则集合、基于HTTP协议的正则表达式映射规则集合、基于UDP协议的正则表达式映射规则集合和基于DNS协议的正则表达式映射规则集合作为子集存储于正则表达式映射规则集合。
2.根据权利要求1所述的网络安全扫描规则集的约减装置，其特征在于扫描网络协议时：
1）、首先将字符串映射规则集合和正则表达式映射规则集合读取到计算机内存中；
2）、按照被扫描的网络协议类型，选择参与扫描的字符串映射规则集合的子集和正则表达式映射规则集合的子集，完成第一次缩小计算范围的操作；
3）、由字符串提取器提取被扫描的网络协议的字符串，当被扫锚的网络协议的字符串在字符串映射规则集合的子集中有映射的规则编号时，输出规则编号为字符串详细对比编号集，字符串详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第二次缩小计算范围的操作；
4）、详细比对被扫描的网络协议与字符串详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告，不匹配时将被扫描的网络协议交给正则表达式提取器；
5）、由正则表达式提取器提取被扫描的网络协议的正则表达式，当被扫描 的网络协议的正则表达式在正则表达式映射规则集合的子集中有映射的规则编号时，输出规则编号为正则表达式详细对比编号集，正则表达式详细对比编号集里面的规则编号是确定参与和被扫描的网络协议进行详细对比的规则编号，完成第三次缩小计算范围的操作；
6）、详细比对被扫描的网络协议与正则表达式详细对比编号集中记录规则编号的每条规则，匹配时输出匹配报告。
CN202110596379.7A 2021-05-30 2021-05-30 网络安全扫描规则集的约减方法及装置 Active CN113381986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110596379.7A CN113381986B (zh) 2021-05-30 2021-05-30 网络安全扫描规则集的约减方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110596379.7A CN113381986B (zh) 2021-05-30 2021-05-30 网络安全扫描规则集的约减方法及装置

Publications (2)

Publication Number Publication Date
CN113381986A CN113381986A (zh) 2021-09-10
CN113381986B true CN113381986B (zh) 2022-05-17

Family

ID=77574877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110596379.7A Active CN113381986B (zh) 2021-05-30 2021-05-30 网络安全扫描规则集的约减方法及装置

Country Status (1)

Country Link
CN (1) CN113381986B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326781B2 (ja) * 2009-04-30 2013-10-30 日本電気株式会社 抽出規則作成システム、抽出規則作成方法及び抽出規則作成プログラム
US20150310342A1 (en) * 2014-04-25 2015-10-29 Board Of Trustees Of Michigan State University Overlay automata approach to regular expression matching for intrusion detection and prevention system
WO2016119954A1 (en) * 2015-01-28 2016-08-04 British Telecommunications Public Limited Company Data extraction
CN110020038A (zh) * 2017-08-01 2019-07-16 阿里巴巴集团控股有限公司 网页信息提取方法、装置、系统及电子设备
CN109977275A (zh) * 2019-02-22 2019-07-05 中国科学院计算技术研究所 一种正则表达式dfa空间压缩方法和系统

Also Published As

Publication number Publication date
CN113381986A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111277578B (zh) 加密流量分析特征提取方法、系统、存储介质、安全设备
US7685637B2 (en) System security approaches using sub-expression automata
US9990583B2 (en) Match engine for detection of multi-pattern rules
Chauhan et al. Polymorphic Adversarial DDoS attack on IDS using GAN
Nguyen et al. A collaborative approach to early detection of IoT Botnet
CN111147394B (zh) 一种远程桌面协议流量行为的多级分类检测方法
Vollmer et al. Autonomous rule creation for intrusion detection
CN112532642B (zh) 一种基于改进Suricata引擎的工控系统网络入侵检测方法
US7216364B2 (en) System security approaches using state tables
EP1744235A1 (en) Method and system for virus detection based on finite automata
CN112800424A (zh) 一种基于随机森林的僵尸网络恶意流量监测方法
CN110971601A (zh) 一种高效的网络报文传输层多级特征提取方法和系统
CN113904881A (zh) 一种入侵检测规则误报处理方法和装置
CN112507336A (zh) 基于代码特征和流量行为的服务端恶意程序检测方法
Zhang et al. Detection of android malware based on deep forest and feature enhancement
CN113381986B (zh) 网络安全扫描规则集的约减方法及装置
CN111431872B (zh) 一种基于tcp/ip协议特征的两阶段物联网设备识别方法
CN116663019B (zh) 一种源代码漏洞检测方法、装置和系统
CN111211948B (zh) 基于载荷特征和统计特征的Shodan流量识别方法
Shi et al. Network traffic classification by program synthesis
Herrero et al. Movicab-ids: visual analysis of network traffic data streams for intrusion detection
Michael Finding the vocabulary of program behavior data for anomaly detection
CN110602038B (zh) 一种基于规则的异常ua检测和分析的方法及系统
CN115913655B (zh) 一种基于流量分析和语义分析的Shell命令注入检测方法
Mischiatti et al. Applying local search and genetic evolution in concept learning systems to detect intrusion in computer networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant