CN114866349A - 一种网络信息过滤方法 - Google Patents

一种网络信息过滤方法 Download PDF

Info

Publication number
CN114866349A
CN114866349A CN202210785542.9A CN202210785542A CN114866349A CN 114866349 A CN114866349 A CN 114866349A CN 202210785542 A CN202210785542 A CN 202210785542A CN 114866349 A CN114866349 A CN 114866349A
Authority
CN
China
Prior art keywords
information flow
filtering
information
illegal
legal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210785542.9A
Other languages
English (en)
Other versions
CN114866349B (zh
Inventor
戚建淮
刘航
崔宸
唐娟
胡金华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Y&D Electronics Information Co Ltd
Original Assignee
Shenzhen Y&D Electronics Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Y&D Electronics Information Co Ltd filed Critical Shenzhen Y&D Electronics Information Co Ltd
Priority to CN202210785542.9A priority Critical patent/CN114866349B/zh
Publication of CN114866349A publication Critical patent/CN114866349A/zh
Application granted granted Critical
Publication of CN114866349B publication Critical patent/CN114866349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0263Rule management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络信息过滤方法,涉及信息处理技术领域。本发明包括:总结信息流特征,建立基于信息流的过滤特征库;每个信息流与过滤特征库中一个或多个特征相匹配;基于每个信息流及其对应的特征,通过确定过滤参数组合建立相应的过滤方案;基于建立的过滤方案对过去一段时间的信息流进行过滤模拟;统计过滤模拟结果,获得过滤方案基于误杀率、漏杀率的加权使用评价;通过调整各过滤参数取值进行过滤模拟,获得多种使用评价取值,选择最小的使用评价取值对应的过滤参数组合作为过滤参数的调整目标。本发明通过误杀率,漏杀率调整合法及非法信息流过滤器的过滤参数,从而获得最优过滤方案的方法。

Description

一种网络信息过滤方法
技术领域
本发明属于信息处理技术领域,特别是涉及一种网络信息过滤方法。
背景技术
信息过滤是网络安全领域的重要研究内容,通过对网络信息有效过滤,可以有效防止内部及外部异常操作或攻击行为对用户系统的不利影响。
传统网络信息过滤主要依赖于对异常、漏洞的特征进行分析,确定过滤方案,很少考虑从对正常信息“误杀”,对非法信息“漏杀”的角度进行综合评价的方法确定过滤标准。
发明内容
本发明的目的在于提供一种网络信息过滤方法,通过一种基于网络防护信息过滤时对正常信息“误杀”,以及对需要过滤的非法信息“漏杀”进行加权评价的方法,对信息过滤参数进行调整,从而获得综合评价更好的过滤方案的信息过滤方法,解决了现有的问题。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明为一种网络信息过滤方法,包括以下步骤:
步骤S01:总结信息流特征,建立基于信息流的过滤特征库;每个信息流与过滤特征库中一个或多个特征相匹配;
步骤S02:基于每个信息流及其对应的特征,通过确定过滤参数组合建立相应的过滤方案;
步骤S03:基于建立的过滤方案对过去一段时间的信息流进行过滤模拟;
步骤S04:统计过滤模拟结果,获得过滤方案基于误杀率、漏杀率的加权使用评价;
步骤S05:通过调整各过滤参数取值进行过滤模拟,获得多种使用评价取值,选择最小的使用评价取值对应的过滤参数组合作为过滤参数的调整目标。
进一步地,所述信息流包括合法信息流及非法信息流;合法信息流包括合法的操作指令、正常的数据传输;非法信息流包括非法的操作指令、网络攻击,网络攻击包括DoS攻击、Probe攻击、U2R攻击、R2L攻击。
进一步地,建立所述过滤方案时:
采用信息熵、聚类、图分类、神经网络作为信息流的过滤方案。
进一步地,建立所述过滤方案的方法为:
步骤S21:设当前待过滤的信息流m1具备过滤特征库中n1个特征,作为信息流m1比较对象的合法信息流m2具备n2个特征,作为信息流m1比较对象的非法信息流m3具备n3个特征;
步骤S22:通过合法信息流过滤器进行以下步骤:
取n1,2个特征作为评判参数,其中,n1,2个特征构成的集合同时为步骤S21中n1个特征构成的集合、n2个特征构成的集合的子集;
将n1,2个特征作为多维空间的n1,2个维数,根据欧氏距离原理计算合法信息流m2与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否合法;
步骤S23:通过非法信息流过滤器进行以下操作:
取n1,3个特征作为评判参数,其中n1,3个特征构成的集合同时为步骤S21中n1个特征构成的集合、n3个特征构成的集合的子集;
将n1,3个特征作为多维空间的n1,3个维数,根据欧氏距离原理计算非法信息流m3与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否非法。
进一步地,所述步骤S22中判断信息流m1是否合法的步骤为:
将n1,2个特征作为多维空间的n1,2个维数,则合法信息流m2与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与合法信息流m2之间的特征距离为:
Figure 719375DEST_PATH_IMAGE001
S1,k:待过滤信息流第k个特征的值(1≤k≤n1,2);
S2,k:合法信息流第k个特征的值(1≤k≤n1,2);
设待过滤信息流m1的合法性判定阈值的初始值为r1,则有下列过滤方案:
Figure 809691DEST_PATH_IMAGE002
进一步地,所述步骤S23中判断信息流m1是否非法的步骤为:
将n1,3个特征作为多维空间的n1,3个维数,则非法信息流m3与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与非法信息流m3之间的特征距离为:
Figure 991273DEST_PATH_IMAGE003
S3,k:非法信息流的第k个特征的值(1≤k≤n1,3);
设待过滤信息流m1的非法性判定阈值的初始值为W1,则有下列过滤方案:
Figure 180946DEST_PATH_IMAGE004
进一步地,所述步骤S03中:基于建立的过滤方案对过去一段时间的信息流进行过滤模拟:
对过去一段时间的信息流进行过滤模拟,使用类脑神经元计算架构计算机对数据进行处理,类脑神经元计算节点之间采用全交换网络连接方式,采用多个类脑神经元计算节点对信息流的多个特征进行分别提取,按照步骤S02中建立的过滤方案,通过非法信息流过滤器及合法信息流过滤器进行处理。
进一步地,所述步骤S04中获取基于误杀率、漏杀率的加权使用评价的方法为:
步骤S41:过一段时间内以合法信息流m2为过滤方案处理了t条信息流,其中,误过滤的信息流数目为tw,漏过滤的信息流数目为tm
步骤S42:针对步骤S41中过滤方案的误杀率为
Figure 80769DEST_PATH_IMAGE005
,设其权值为qw
针对步骤S41中过滤方案的漏杀率为
Figure 709197DEST_PATH_IMAGE006
,设其权值为qm
其中,
Figure 10865DEST_PATH_IMAGE007
步骤S43:以合法信息流m2为过滤方案的使用评价Ev,定义如下:
Figure 371439DEST_PATH_IMAGE008
进一步地,所述步骤S05中,可调整的过滤参数包括以下类型:
(a)选取的信息流特征的个数;
(b)更换信息流特征的选择,在过滤特征库中选择不同的特征组合进行实用评价;
(c)调整合法性判定阈值或非法性判定阈值,或两者均进行调整,例如步骤S22、步骤S23中,调整
Figure 823805DEST_PATH_IMAGE009
的值;
(d)调整过滤模拟的信息流时段。
进一步地,所述步骤S05中,还可以调整信息流过滤器的顺序,可调整的信息流过滤器的顺序具体包括:
A:信息流先通过非法信息流过滤器,再通过合法信息流过滤器;
B:信息流先通过合法信息流过滤器,再通过非法信息流过滤器;
C:根据步骤S22、步骤S23的方法,采用合法信息流过滤器、非法信息流过滤器同时对一个信息流进行判定,判定后的过滤方案如下:
若合法信息流过滤器与非法信息流过滤器判定结果相同,则按照共同判定结果处理;
若合法信息流过滤器与非法信息流过滤器判定结果相抵触,则根据需要采信其中一种信息流过滤器的判定结果。
本发明具有以下有益效果:
本发明基于误杀率、漏杀率的加权使用评价调整过滤参数的组合,根据确定的最小使用评价值确定当前信息过滤的方案;通过合法信息流过滤器、非法信息流过滤器综合进行信息过滤,通过误杀率、漏杀率调整合法及非法信息流过滤器的过滤参数,从而获得最优过滤方案。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种网络信息过滤方法的流程图;
图2为本发明中每个过滤方案的过滤模拟流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
现有方法对实时信息流进行分析及过滤,针对概念漂移不断调整过滤标准及模型,但均未考虑根据对正常信息“误杀”,对非法信息“漏杀”进行综合评价的方法确定过滤标准;本发明通过一种基于网络防护信息过滤时对正常信息“误杀”,以及对需要过滤的非法信息“漏杀”进行加权评价的方法,对信息过滤参数进行调整,从而获得综合评价更好的过滤方案的信息过滤方法;请参阅图1所示,包括以下步骤:
步骤S01:总结信息流特征,建立基于信息流的过滤特征库;每个信息流与过滤特征库中一个或多个特征相匹配;
步骤S02:基于每个信息流及其对应的特征,通过确定过滤参数组合建立相应的过滤方案,通过合法信息流过滤器、非法信息流过滤器进行组合过滤,从而有效进行信息过滤;
步骤S03:基于建立的过滤方案对过去一段时间的信息流进行过滤模拟;
步骤S04:统计过滤模拟结果,获得过滤方案基于误杀率、漏杀率的加权使用评价;
步骤S05:通过调整各过滤参数取值进行过滤模拟,获得多种使用评价取值,选择最小的使用评价取值对应的过滤参数组合作为过滤参数的调整目标。
作为本发明提供的一个实施例,优选的,过滤特征库中,基于相关的信息流的特征包括并不限于以下17类:
(1)目标服务类型相同条件下出现SYN错误比率;
(2)目标主机地址相同条件下出现SYN错误的比率;
(3)目标主机地址相同条件下连接非正常关断的比率;
(4)目标服务类型相同条件下连接非正常关断的比率;
(5)源端到目的端平均传输字节数;
(6)目的端到源端平均传输字节数;
(7)目标服务类型相同条件下目标主机IP地址相同记录的个数;
(8)目标服务类型相同条件下目标主机IP地址不相同记录的比率;
(9)目标主机地址相同条件下目标服务类型不相同记录的比率;
(10)目标主机地址与当前连接相同的连接记录的个数;
(11)目标主机IP地址相同连接记录的个数;
(12)连接的类型标志;
(13)复位标记出现的百分比;
(14)SREJ 标记出现的百分比;
(15)目标服务类型与当前连接相同的连接记录个数;
(16)目标服务类型与当前连接不同的连接记录的比率;
(17)连接的平均持续时间;
作为本发明提供的一个实施例,优选的,所述信息流包括典型合法信息流(白名单)及非法信息流(黑名单);合法信息流包括并不限于合法的操作指令、正常的数据传输;非法信息流包括并不限于非法的操作指令、网络攻击,网络攻击包括DoS 攻击、Probe攻击、U2R攻击、R2L攻击。
作为本发明提供的一个实施例,优选的,建立所述过滤方案时:
采用信息熵、聚类、图分类、神经网络等方法作为信息流的过滤方案。
作为本发明提供的一个实施例,优选的,建立所述过滤方案的方法为:
步骤S21:设当前待过滤的信息流m1具备过滤特征库中n1个特征,作为信息流m1比较对象的合法信息流m2具备n2个特征,作为信息流m1比较对象的非法信息流m3具备n3个特征;
步骤S22:通过合法信息流过滤器进行以下步骤:
取n1,2个特征作为评判参数,其中,n1,2个特征构成的集合同时为步骤S21中n1个特征构成的集合、n2个特征构成的集合的子集;
将n1,2个特征作为多维空间的n1,2个维数,根据欧氏距离原理计算合法信息流m2与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否合法;
步骤S23:通过非法信息流过滤器进行以下操作:
取n1,3个特征作为评判参数,其中n1,3个特征构成的集合同时为步骤S21中n1个特征构成的集合、n3个特征构成的集合的子集;
将n1,3个特征作为多维空间的n1,3个维数,根据欧氏距离原理计算非法信息流m3与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否非法。
作为本发明提供的一个实施例,优选的,所述步骤S22中判断信息流m1是否合法的步骤为:
将n1,2个特征作为多维空间的n1,2个维数,则合法信息流m2与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与合法信息流m2之间的特征距离为:
Figure 193606DEST_PATH_IMAGE001
S1,k:待过滤信息流第k个特征的值(1≤k≤n1,2);
S2,k:合法信息流第k个特征的值(1≤k≤n1,2);
设待过滤信息流m1的合法性判定阈值的初始值为r1,则有下列过滤方案:
Figure 84202DEST_PATH_IMAGE002
进一步地,所述步骤S23中判断信息流m1是否非法的步骤为:
将n1,3个特征作为多维空间的n1,3个维数,则非法信息流m3与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与非法信息流m3之间的特征距离为:
Figure 881256DEST_PATH_IMAGE003
S3,k:非法信息流的第k个特征的值(1≤k≤n1,3);
设待过滤信息流m1的非法性判定阈值的初始值为W1,则有下列过滤方案:
Figure 552409DEST_PATH_IMAGE004
实施例二:
作为本发明提供的一个实施例,优选的,所述步骤S03中:基于建立的过滤方案对过去一段时间的信息流进行过滤模拟:
对过去一段时间的数据(例如截取过去2小时内的所有信息流;又例如当前时刻为12:00,截取前一天11:00-13:00之间的所有信息流)进行过滤模拟,使用类脑神经元计算架构计算机对数据进行处理,类脑神经元计算节点之间采用全交换网络连接方式,采用多个类脑神经元计算节点(例如神经元计算机的多个神经元计算节点)对信息流的多个特征进行分别提取,按照步骤S02中建立的过滤方案,如图2所示,通过非法信息流过滤器及合法信息流过滤器进行处理,n1,3个特征分别对应非法信息流过滤器中的n1,3个类脑神经元计算节点,n1,2个特征分别对应合法信息流过滤器中的n1,2个类脑神经元计算节点。
作为本发明提供的一个实施例,优选的,如图2所示:
所述类脑神经元计算架构计算机基于人脑认知功能结构建立,将信息流的特征按照典型的合法信息流或非法信息流进行分类,从而建立对应人脑认知功能的知识体系,将典型的合法信息流或非法信息流的特征分别交由神经元计算节点进行处理,神经元计算节点之间通过全交换网络进行通信连接。
(1)待过滤信息流为m1,作为评判信息流为m1标准的非法信息流与合法信息流分别为m3、m2
(2)某典型非法信息流有n1,3个特征,则分别交给最多n1,3个神经元计算节点进行处理(每个节点处理1个特征或多个特征,也即当用于处理n1,3个特征的神经元计算节点不足n1,3个,需部分节点处理多个特征),该神经元计算节点的集合也可称为该非法信息流的过滤器。每个神经元计算节点分别计算m1与m3中各自负责的特征的差值(如步骤S23中判断信息流m1是否非法的步骤):S1,k-S3,k,所有神经元计算节点通过全交换网络将计算得到的n1,3个差值汇总到该过滤器中n1,3个神经元计算节点中的一个或几个,负责汇总计算的神经元计算节点计算待过滤信息流与非法信息流之间的特征距离,并按照步骤S23中判断信息流m1是否非法的过滤规则对待过滤信息流进行过滤处理。
(3)已通过典型非法信息流过滤器的信息流,继续通过合法信息流过滤器的处理方法与非法信息流过滤器类似。
(4)根据步骤S04中获取基于误杀率、漏杀率的加权使用评价的方法,计算已过滤信息流,通过上述过滤器组合的基于误杀率、漏杀率的加权使用评价。
将步骤S03过滤模拟处理结果进行统计分析,通过统计执行步骤S03时使用某条过滤规则处理的信息流总数,被该条过滤规则误过滤以及漏过滤的信息流个数,可以得出使用该条过滤规则处理的“误杀率”及“漏杀率”,通过赋予误杀率及漏杀率各自的权值,可以计算得出该条过滤规则的使用评价。
作为本发明提供的一个实施例,优选的,所述步骤S04中获取基于误杀率、漏杀率的加权使用评价的方法为:
步骤S41:过一段时间内以合法信息流m2为过滤方案处理了t条信息流,其中,误过滤的信息流数目为tw,漏过滤的信息流数目为tm
步骤S42:针对步骤S41中过滤方案的误杀率为
Figure 725902DEST_PATH_IMAGE005
,设其权值为qw
针对步骤S41中过滤方案的漏杀率为
Figure 736583DEST_PATH_IMAGE006
,设其权值为qm
其中,
Figure 766856DEST_PATH_IMAGE007
qw,qm的具体取值根据过滤要求而定,例如一个系统为确保安全性可以牺牲部分效率,则可将漏杀率权值提高,相对的降低误杀率权值;
步骤S43:以合法信息流m2为过滤方案的使用评价Ev,定义如下:
Figure 862988DEST_PATH_IMAGE008
作为本发明提供的一个实施例,优选的,所述步骤S05中,可调整的过滤参数包括以下类型:
(a)选取的信息流特征的个数,例如步骤S22中,可调整n1,2的个数(增加或减少);
(b)更换信息流特征的选择,在过滤特征库中选择不同的特征组合进行实用评价,例如步骤S22中,可重新在过滤特征库中选择n1,2个特征的组合形式,如某条信息流首先采用过滤特征库中第1,3,4这三种特征组合获得一个使用评价
Figure 574592DEST_PATH_IMAGE010
后;可更换信息流特征选择,采用2,3,5三种特征组合获得另一个使用评价
Figure 439780DEST_PATH_IMAGE011
(c)调整合法性判定阈值或非法性判定阈值,或两者均进行调整,例如步骤S22、步骤S23中,调整
Figure 640954DEST_PATH_IMAGE009
的值;
(d)调整过滤模拟的信息流时段,例如可以选择过去2小时内的信息流,又例如当前时刻为12:00,截取前一天11:00-13:00之间的所有信息流;
设通过调整5(1)(a)(b)(c)(d)中各种过滤参数获得h种参数组合,相应获得h个过滤模拟使用评价Ev取值,也即Ev1,Ev2,Ev3,...,Evh,其中最小值Evj(1≤j≤h)对应的过滤参数组合,即为最佳过滤参数组合。
实施例三:
所述步骤S05中,还可以调整信息流过滤器的顺序,可调整的信息流过滤器的顺序具体包括:
A:信息流先通过非法信息流过滤器,再通过合法信息流过滤器;
B:信息流先通过合法信息流过滤器,再通过非法信息流过滤器;
C:根据步骤S22、步骤S23的方法,采用合法信息流过滤器、非法信息流过滤器同时对一个信息流进行判定,判定后的过滤方案如下:
若合法信息流过滤器与非法信息流过滤器判定结果相同,例如同时判定该信息流需要可被放行或需要被过滤,则按照共同判定结果处理;
若合法信息流过滤器与非法信息流过滤器判定结果相抵触,则根据需要采信其中一种信息流过滤器的判定结果(实施例:过滤标准要求较高,则凡是判定结果相抵触的信息流均需被过滤;过滤标准要求较低,则凡是判定结果相抵触的信息流均可被放行;实施例2:统一按合法信息流过滤器判定结果处理;实施例3:统一按非法信息流过滤器判定结果处理。
一种网络信息过滤方法,基于误杀率、漏杀率的加权使用评价调整过滤参数的组合,根据确定的最小使用评价值确定当前信息过滤的方案;通过合法信息流过滤器、非法信息流过滤器综合进行信息过滤,通过误杀率、漏杀率调整合法及非法信息流过滤器的过滤参数,从而获得最优过滤方案。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种网络信息过滤方法,其特征在于,包括以下步骤:
步骤S01:总结信息流特征,建立基于信息流的过滤特征库;每个信息流与过滤特征库中一个或多个特征相匹配;
步骤S02:基于每个信息流及其对应的特征,通过确定过滤参数组合建立相应的过滤方案;
步骤S03:基于建立的过滤方案对过去一段时间的信息流进行过滤模拟;
步骤S04:统计过滤模拟结果,获得过滤方案基于误杀率、漏杀率的加权使用评价;
步骤S05:通过调整各过滤参数取值进行过滤模拟,获得多种使用评价取值,选择最小的使用评价取值对应的过滤参数组合作为过滤参数的调整目标。
2.根据权利要求1所述的一种网络信息过滤方法,其特征在于,所述信息流包括合法信息流及非法信息流;合法信息流包括合法的操作指令、正常的数据传输;非法信息流包括非法的操作指令、网络攻击,网络攻击包括DoS 攻击、Probe攻击、U2R攻击、R2L攻击。
3.根据权利要求1所述的一种网络信息过滤方法,其特征在于,建立所述过滤方案时:
采用信息熵、聚类、图分类或神经网络作为信息流的过滤方案。
4.根据权利要求1所述的一种网络信息过滤方法,其特征在于,建立所述过滤方案的方法为:
步骤S21:设当前待过滤的信息流m1具备过滤特征库中n1个特征,作为信息流m1比较对象的合法信息流m2具备n2个特征,作为信息流m1比较对象的非法信息流m3具备n3个特征;
步骤S22:通过合法信息流过滤器进行以下步骤:
取n1,2个特征作为评判参数,其中,n1,2个特征构成的集合同时为步骤S21中n1个特征构成的集合、n2个特征构成的集合的子集;
将n1,2个特征作为多维空间的n1,2个维数,根据欧氏距离原理计算合法信息流m2与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否合法;
步骤S23:通过非法信息流过滤器进行以下操作:
取n1,3个特征作为评判参数,其中n1,3个特征构成的集合同时为步骤S21中n1个特征构成的集合、n3个特征构成的集合的子集;
将n1,3个特征作为多维空间的n1,3个维数,根据欧氏距离原理计算非法信息流m3与待过滤信息流m1之间的相似性,根据相似性判断信息流m1是否非法。
5.根据权利要求4所述的一种网络信息过滤方法,其特征在于,所述步骤S22中判断信息流m1是否合法的步骤为:
将n1,2个特征作为多维空间的n1,2个维数,则合法信息流m2与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与合法信息流m2之间的特征距离为:
Figure 421962DEST_PATH_IMAGE001
S1,k:待过滤信息流第k个特征的值(1≤k≤n1,2);
S2,k:合法信息流第k个特征的值(1≤k≤n1,2);
设待过滤信息流m1的合法性判定阈值的初始值为r1,则有下列过滤方案:
Figure 364511DEST_PATH_IMAGE002
,信息流m1合法;
Figure 802445DEST_PATH_IMAGE003
,信息流m1非法,需要被过滤。
6.根据权利要求5所述的一种网络信息过滤方法,其特征在于,所述步骤S23中判断信息流m1是否非法的步骤为:
将n1,3个特征作为多维空间的n1,3个维数,则非法信息流m3与待过滤信息流m1之间的相似性可以通过多维空间内两点间的欧氏距离来表示,根据欧氏距离基本原理可知:
待过滤信息流m1与非法信息流m3之间的特征距离为:
Figure 285379DEST_PATH_IMAGE004
S3,k:非法信息流的第k个特征的值(1≤k≤n1,3);
设待过滤信息流m1的非法性判定阈值的初始值为W1,则有下列过滤方案:
Figure 757949DEST_PATH_IMAGE005
,信息流m1非法;
Figure 871398DEST_PATH_IMAGE006
,信息流m1可被放行。
7.根据权利要求4所述的一种网络信息过滤方法,其特征在于,所述步骤S03中进行过滤模拟时:对过去一段时间的信息流使用类脑神经元计算架构计算机对数据进行处理,处理方法为:
类脑神经元计算节点之间采用全交换网络连接方式,采用多个类脑神经元计算节点对信息流的多个特征进行分别提取,按照步骤S02中建立的过滤方案,通过非法信息流过滤器及合法信息流过滤器进行处理。
8.根据权利要求5所述的一种网络信息过滤方法,其特征在于,所述步骤S04中获取基于误杀率、漏杀率的加权使用评价的方法为:
步骤S41:过一段时间内以合法信息流m2为过滤方案处理了t条信息流,其中,误过滤的信息流数目为tw,漏过滤的信息流数目为tm
步骤S42:针对步骤S41中过滤方案的误杀率为
Figure 858946DEST_PATH_IMAGE007
,设其权值为qw
针对步骤S41中过滤方案的漏杀率为
Figure 83254DEST_PATH_IMAGE008
,设其权值为qm
其中,
Figure 144751DEST_PATH_IMAGE009
步骤S43:以合法信息流m2为过滤方案的使用评价Ev,定义如下:
Figure 429102DEST_PATH_IMAGE010
9.根据权利要求1所述的一种网络信息过滤方法,其特征在于,所述步骤S05中,可调整的过滤参数包括以下类型:
(a)选取的信息流特征的个数;
(b)更换信息流特征的选择,在过滤特征库中选择不同的特征组合进行实用评价;
(c)调整合法性判定阈值或非法性判定阈值,或两者均进行调整;
(d)调整过滤模拟的信息流时段。
10.根据权利要求6所述的一种网络信息过滤方法,其特征在于,所述步骤S05中,还可以调整信息流过滤器的顺序,可调整的信息流过滤器的顺序具体包括:
A:信息流先通过非法信息流过滤器,再通过合法信息流过滤器;
B:信息流先通过合法信息流过滤器,再通过非法信息流过滤器;
C:根据步骤S22、步骤S23的方法,采用合法信息流过滤器、非法信息流过滤器同时对一个信息流进行判定,判定后的过滤方案如下:
若合法信息流过滤器与非法信息流过滤器判定结果相同,则按照共同判定结果处理;
若合法信息流过滤器与非法信息流过滤器判定结果相抵触,则根据需要采信其中一种信息流过滤器的判定结果。
CN202210785542.9A 2022-07-06 2022-07-06 一种网络信息过滤方法 Active CN114866349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210785542.9A CN114866349B (zh) 2022-07-06 2022-07-06 一种网络信息过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210785542.9A CN114866349B (zh) 2022-07-06 2022-07-06 一种网络信息过滤方法

Publications (2)

Publication Number Publication Date
CN114866349A true CN114866349A (zh) 2022-08-05
CN114866349B CN114866349B (zh) 2022-11-15

Family

ID=82626519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210785542.9A Active CN114866349B (zh) 2022-07-06 2022-07-06 一种网络信息过滤方法

Country Status (1)

Country Link
CN (1) CN114866349B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170966B1 (en) * 2008-11-04 2012-05-01 Bitdefender IPR Management Ltd. Dynamic streaming message clustering for rapid spam-wave detection
WO2013075430A1 (zh) * 2011-11-23 2013-05-30 中兴通讯股份有限公司 信息过滤的方法、转发信息的处理方法、装置及系统
CN103347009A (zh) * 2013-06-20 2013-10-09 新浪网技术(中国)有限公司 一种信息过滤方法及装置
CN103729384A (zh) * 2012-10-16 2014-04-16 中国移动通信集团公司 信息过滤方法、系统与装置
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN108092948A (zh) * 2016-11-23 2018-05-29 中国移动通信集团湖北有限公司 一种网络攻击模式的识别方法和装置
CN108763449A (zh) * 2018-05-28 2018-11-06 华南理工大学 一种垃圾邮件过滤的中文关键词规则生成方法
CN109067586A (zh) * 2018-08-16 2018-12-21 海南大学 DDoS攻击检测方法及装置
WO2019129915A1 (en) * 2017-12-29 2019-07-04 Nokia Solutions And Networks Oy Intelligent defense and filtration platform for network traffic
CN109995770A (zh) * 2019-03-19 2019-07-09 中国民航大学 一种基于队列分布的LDoS攻击检测方法
CN110381052A (zh) * 2019-07-16 2019-10-25 海南大学 基于CNN的DDoS攻击多元信息融合方法及装置
CN111163114A (zh) * 2020-04-02 2020-05-15 腾讯科技(深圳)有限公司 用于检测网络攻击的方法和设备
CN112422584A (zh) * 2020-12-04 2021-02-26 中国石油大学(华东) 一种基于深度学习的DDoS攻击回溯抵御方法
CN112565183A (zh) * 2020-10-29 2021-03-26 中国船舶重工集团公司第七0九研究所 一种基于流式动态时间规整算法的网络流量异常检测方法及装置
CN113242267A (zh) * 2021-07-12 2021-08-10 深圳市永达电子信息股份有限公司 一种基于类脑计算的态势感知方法
CN113489751A (zh) * 2021-09-07 2021-10-08 浙江大学 一种基于深度学习的网络流量过滤规则转化方法
US20210365470A1 (en) * 2020-05-20 2021-11-25 Samsung Sds Co., Ltd. Apparatus for recommending feature and method for recommending feature using the same
CN114006771A (zh) * 2021-12-30 2022-02-01 北京微步在线科技有限公司 一种流量检测方法及装置
CN114422174A (zh) * 2021-12-09 2022-04-29 绿盟科技集团股份有限公司 一种网络流量过滤方法、装置、介质、产品和设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170966B1 (en) * 2008-11-04 2012-05-01 Bitdefender IPR Management Ltd. Dynamic streaming message clustering for rapid spam-wave detection
WO2013075430A1 (zh) * 2011-11-23 2013-05-30 中兴通讯股份有限公司 信息过滤的方法、转发信息的处理方法、装置及系统
CN103729384A (zh) * 2012-10-16 2014-04-16 中国移动通信集团公司 信息过滤方法、系统与装置
CN103347009A (zh) * 2013-06-20 2013-10-09 新浪网技术(中国)有限公司 一种信息过滤方法及装置
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN108092948A (zh) * 2016-11-23 2018-05-29 中国移动通信集团湖北有限公司 一种网络攻击模式的识别方法和装置
WO2019129915A1 (en) * 2017-12-29 2019-07-04 Nokia Solutions And Networks Oy Intelligent defense and filtration platform for network traffic
CN108763449A (zh) * 2018-05-28 2018-11-06 华南理工大学 一种垃圾邮件过滤的中文关键词规则生成方法
CN109067586A (zh) * 2018-08-16 2018-12-21 海南大学 DDoS攻击检测方法及装置
CN109995770A (zh) * 2019-03-19 2019-07-09 中国民航大学 一种基于队列分布的LDoS攻击检测方法
CN110381052A (zh) * 2019-07-16 2019-10-25 海南大学 基于CNN的DDoS攻击多元信息融合方法及装置
CN111163114A (zh) * 2020-04-02 2020-05-15 腾讯科技(深圳)有限公司 用于检测网络攻击的方法和设备
US20210365470A1 (en) * 2020-05-20 2021-11-25 Samsung Sds Co., Ltd. Apparatus for recommending feature and method for recommending feature using the same
CN112565183A (zh) * 2020-10-29 2021-03-26 中国船舶重工集团公司第七0九研究所 一种基于流式动态时间规整算法的网络流量异常检测方法及装置
CN112422584A (zh) * 2020-12-04 2021-02-26 中国石油大学(华东) 一种基于深度学习的DDoS攻击回溯抵御方法
CN113242267A (zh) * 2021-07-12 2021-08-10 深圳市永达电子信息股份有限公司 一种基于类脑计算的态势感知方法
CN113489751A (zh) * 2021-09-07 2021-10-08 浙江大学 一种基于深度学习的网络流量过滤规则转化方法
CN114422174A (zh) * 2021-12-09 2022-04-29 绿盟科技集团股份有限公司 一种网络流量过滤方法、装置、介质、产品和设备
CN114006771A (zh) * 2021-12-30 2022-02-01 北京微步在线科技有限公司 一种流量检测方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANUJ KUMAR SINGH等: "Filtering spam messages and mails using fuzzy C means algorithm", 《2019 4TH INTERNATIONAL CONFERENCE ON INTERNET OF THINGS:SMART INNOVATION AND USAGES(IOT-SIU)》 *
刘凯: "移动网络环境中不良信息智能过滤方法仿真", 《计算机仿真》 *
张微: "基于图的恶意代码检测及系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李璇: "基于行为识别的垃圾邮件过滤技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
潘晓君等: "基于IG-PSO特征选择权重的入侵检测研究", 《宁夏师范学院学报》 *
蒋华等: "基于KL距离的自适应阈值网络流量异常检测", 《计算机工程》 *
许勐等: "基于半监督学习和信息增益率的入侵检测方案", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN114866349B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN110149343B (zh) 一种基于流的异常通联行为检测方法和系统
CN110213227B (zh) 一种网络数据流检测方法及装置
CN108462717B (zh) 基于规则匹配命中率和分布方差的防火墙规则集优化方法
CN108764267B (zh) 一种基于对抗式决策树集成的拒绝服务攻击检测方法
Da Silva et al. Identification and selection of flow features for accurate traffic classification in SDN
JP4677569B2 (ja) ネットワーク異常検知方法およびネットワーク異常検知システム
CN106973038B (zh) 基于遗传算法过采样支持向量机的网络入侵检测方法
CN111385145B (zh) 一种基于集成学习的加密流量识别方法
CN112187752A (zh) 一种基于随机森林的入侵检测分类方法及装置
CN108833437A (zh) 一种基于流量指纹和通信特征匹配的apt检测方法
CN104468507B (zh) 基于无控制端流量分析的木马检测方法
JP2006279930A (ja) 不正アクセス検出方法及び装置、並びに不正アクセス遮断方法及び装置
CN111800430B (zh) 一种攻击团伙识别方法、装置、设备及介质
CN110166454A (zh) 一种基于自适应遗传算法的混合特征选择入侵检测方法
JP2004312064A (ja) ネットワーク異常検出装置、ネットワーク異常検出方法およびネットワーク異常検出プログラム
CN109218321A (zh) 一种网络入侵检测方法及系统
CN109951462B (zh) 一种基于全息建模的应用软件流量异常检测系统及方法
Sun et al. Detection and classification of malicious patterns in network traffic using Benford's law
CN111262849A (zh) 一种基于流表信息的网络异常流量行为识别阻断的方法
Didaci et al. Ensemble learning for intrusion detection in computer networks
CN115987615A (zh) 一种网络行为安全预警方法及系统
CN110460611A (zh) 基于机器学习的全流量攻击检测技术
Mohamed et al. Denoising autoencoder with dropout based network anomaly detection
Wai et al. Automated botnet traffic detection via machine learning
CN114866349B (zh) 一种网络信息过滤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant