CN112311803A - 一种规则库更新方法、装置、电子设备及可读存储介质 - Google Patents
一种规则库更新方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112311803A CN112311803A CN202011229849.8A CN202011229849A CN112311803A CN 112311803 A CN112311803 A CN 112311803A CN 202011229849 A CN202011229849 A CN 202011229849A CN 112311803 A CN112311803 A CN 112311803A
- Authority
- CN
- China
- Prior art keywords
- data
- rule base
- normal
- abnormal
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种规则库更新方法、装置、电子设备及计算机可读存储介质,该方法包括:获取待测数据,利用规则库对待测数据进行异常数据检测,得到检测结果;从待测数据中滤除检测结果对应的第一异常数据,得到待分类数据;利用分类模型对待分类数据进行分类处理,得到第二异常数据;生成第二异常数据对应的规则信息,并利用规则信息更新规则库;该方法利用分类模型对待分类数据进行进一步检测,将待检测数据中无法被规则库检出的第二异常数据检出,并基于第二异常数据对规则库进行针对性更新,提高了规则库的更新效率和准确性,及时更新的规则库可以减少误报和漏报,提高了网络安全防护的可靠性。
Description
技术领域
本申请涉及网络安全技术领域,特别涉及一种规则库更新方法、规则库更新装置、电子设备及计算机可读存储介质。
背景技术
随着大数据和人工智能时代的到来,5G网络的广泛应用,网络流量的数据量越来越大,网络环境越来越复杂多样。为了进行网络安全防护,相关技术一般采用基于规则的网络防火墙对数据进行规则匹配,将符合规则要求的网络数据确定为异常数据。然而,随着新的异常网络数据的出现,规则库中的规则需要及时更新,相关技术需要人工筛选异常网络数据,并基于该异常网络数据人工更新规则库,这使得规则库更新速度较慢,效率较低,准确性较差。同时,无法及时更新的规则库还会导致大量的误报和漏报,网络安全防护的可靠性较差。
因此,相关技术存在的规则库更新效率低,准确性较差,网络安全防护可靠性差的问题,是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此,本申请的目的在于提供一种规则库更新方法、规则库更新装置、电子设备及计算机可读存储介质,提高了规则库的更新效率和准确性,提高了网络安全防护的可靠性。
为解决上述技术问题,本申请提供了一种规则库更新方法,包括:
获取待测数据,利用规则库对所述待测数据进行异常数据检测,得到检测结果;
从所述待测数据中滤除所述检测结果对应的第一异常数据,得到待分类数据;
利用分类模型对所述待分类数据进行分类处理,得到第二异常数据;
生成所述第二异常数据对应的规则信息,并利用所述规则信息更新所述规则库。
可选地,所述获取待测数据,包括:
获取网络数据,并对所述网络数据进行正常数据检测,得到正常检测结果;
基于所述正常检测结果,滤除所述网络数据中的所述正常数据,得到所述待测数据。
可选地,还包括:
利用所述正常数据和所述第一异常数据生成样本数据集;
利用所述样本数据集对所述分类模型进行更新训练。
可选地,所述对所述网络数据进行正常数据检测,得到正常检测结果,包括:
对所述网络数据进行聚类处理,得到聚类结果,并将所述聚类结果确定为所述正常检测结果;
相应的,所述基于所述正常检测结果,滤除所述网络数据中的所述正常数据,得到所述待测数据,包括:
基于所述聚类结果确定正常数据,并从所述网络数据中滤除所述正常数据,得到待测数据。
可选地,所述基于所述聚类结果确定正常数据,包括:
根据所述聚类结果确定数据点密度,并将最大数据点密度对应的范围确定为正常数据范围;
将处于所述正常数据范围内的数据点对应的所述网络数据确定为所述正常数据。
可选地,所述获取网络数据,包括:
获取初始网络数据;
对所述初始网络数据进行预处理和特征提取处理,得到所述网络数据。
可选地,所述生成所述第二异常数据对应的规则信息,包括:
利用Seq2Seq算法对所述第二异常数据进行处理,得到所述规则信息。
本申请还提供了一种规则库更新装置,包括:
异常数据检测模块,用于获取待测数据,利用规则库对所述待测数据进行异常数据检测,得到检测结果;
异常数据过滤模块,用于从所述待测数据中滤除所述检测结果对应的第一异常数据,得到待分类数据;
分类模块,用于利用分类模型对所述待分类数据进行分类处理,得到第二异常数据;
规则库更新模块,用于生成所述第二异常数据对应的规则信息,并利用所述规则信息更新所述规则库。
本申请还提供了一种电子设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的规则库更新方法。
本申请还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的规则库更新方法。
本申请提供的规则库更新方法,获取待测数据,利用规则库对待测数据进行异常数据检测,得到检测结果;从待测数据中滤除检测结果对应的第一异常数据,得到待分类数据;利用分类模型对待分类数据进行分类处理,得到第二异常数据;生成第二异常数据对应的规则信息,并利用规则信息更新规则库。
可见,该方法在获取到待测数据后,先利用规则库对其进行异常检测,得到检测结果。检测结果可以反映当前情况下规则库的检测能力。根据检测结果将第一异常数据滤除后,将剩余的数据均作为无法确定是否安全的待分类数据,并利用分类模型对其进行分类。分类模型并不基于规则库,可以从网络数据本身的特征对其是否异常进行检测,因此可以不受规则库的限制,从其中检测出第二异常数据。在得到第二异常数据后生成其对应的规则信息,并利用规则信息对规则库进行更新。规则信息可以对第二异常数据的特征进行描述,利用其对规则库进行更新,可以使得更新后的规则库具有对第二异常数据的检测能力。该方法并不将已经基于规则库过滤后的待分类数据确定为正常数据,而是利用分类模型对其进行进一步检测,将待检测数据中无法被规则库检出的第二异常数据检出,并基于第二异常数据对规则库进行针对性更新,使规则库具备对第二异常数据的检测能力。无需人工筛选网络异常数据,提高了规则库的更新效率和准确性,及时更新的规则库可以减少误报和漏报,提高了网络安全防护的可靠性。
此外,本申请还提供了一种规则库更新装置、电子设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种规则库更新方法流程图;
图2为本申请实施例提供的一种具体的规则库更新方法流程图;
图3为本申请实施例提供的一种规则库更新装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例提供的一种规则库更新方法流程图。该方法包括:
S101:获取待测数据,利用规则库对待测数据进行异常数据检测,得到检测结果。
待测数据为用于进行异常数据检测的数据,其具体可以为最原始的、直接获取到的网络数据,或者可以为经过处理的网络数据,例如为经过过滤处理的网络数据,或者为对网络数据经过预处理和特征提取处理后得到的数据。在获取待测数据后,可以利用已有的规则库对待测数据进行异常数据检测,得到检测结果。检测结果可以表明待测数据中具有哪些异常数据,或不具有异常数据。利用规则库对待测数据进行异常数据检测,可以确定当前规则库已经对哪些异常数据具有了检测能力,规则库无需加强对于这些异常数据的检测能力。
在一种可行的实施方式中,待测数据为滤除正常数据的网络数据。在这种情况下,获取待测数据的步骤可以包括:
步骤11:获取网络数据,并对网络数据进行正常数据检测,得到正常检测结果。
步骤12:基于正常检测结果,滤除网络数据中的正常数据,得到待测数据。
在本实施例中,网络数据包括正常数据和异常数据,而在对规则库更新时,无需加强其对于正常数据的检测能力。因此为了减少数据处理所需的时间,提高规则库更新效率,减少计算资源的消耗,在获取到网络数据后,可以先对其进行正常数据检测,得到对应的正常检测结果。该正常检测结果可以表征网络数据具有哪些正常数据,因此可以基于正常检测结果对网络数据中的正常数据进行滤除,得到待测数据,在这种情况下,待测数据中仅包括异常数据和无法确定正常或异常的数据,减少了后续数据处理工作量。
需要说明的是,上述滤除的正常数据可以作为训练数据,以便利用其与异常数据一起对后续分类时采用的分类模型进行训练,提高分类模型的分类准确度。
进一步的,在一种实施方式中,直接获取的数据中存在大量的无效数据或者不确定数据,还可能存在数据缺失的情况。在这种情况下,为了进一步提高数据处理效率,获取网络数据的步骤可以包括:
步骤21:获取初始网络数据。
步骤22:对初始网络数据进行预处理和特征提取处理,得到网络数据。
初始网络数据即为从网络环境中直接获取到的数据。初始网络数据可以是文本数据、pcap包、日志数据等。这些初识网络数据可以根据其原本所处的具体的网络环境进行针对性地数据预处理或数据治理。预处理的具体方式不做限定,例如可以批量处理或单一处理,批量数据可以使用MapReduce模型(一种编程模型)和spark(一种安全的、经正式定义的编程语言)模型进行数据处理分析,并在处理后,存储到hbase(一个开源的非关系型分布式数据库)或者es(ElasticSearch,一个搜索服务器,提供了一个分布式多用户能力的全文搜索引擎,能够方便地使大量数据具有搜索、分析和探索的能力)中。若网络数据为实时数据,则可以采用FLINK(一种开源流处理框架)和storm(一种开源分布式实时计算系统)进行预处理。
预处理的具体方式不做限定,初始网络数据可能包括存在结构化和非结构化数据。其中结构化数据涉及网络流量大小、数据包大小、数据包数量、端口、连接时长等;非结构化数据可能是文字数据、文本数据、pcap包等。针对可能出现的数据缺失的问题,可以通过预处理得到一个完整的数据集,并利用该完整的数据集进行后续步骤。在预处理过程中,在数据量较多的情况下,可以采用删除一些不确定的数据的方式来优化数据集,并采用随机采样的方式来选择样本组成数据集。在数据量较少的情况下,可以采用重采样的方式来得到数据集。针对一些缺失的数据,可以采用众数、中位数、平均值、算法预测等方式来补全数据,进而优化经预处理后得到的数据集。
与预处理过程类似的,特征提取处理的具体方式也不做限定。初始网络数据一般为基于http或htpps协议生成,因此对于初始网络数据,其中存在的url(Uniform ResourceLocator,统一资源定位器)、user-Agent、cookie等信息即可组成一条完整的数据。本实施例中,可以采用基于词频的词向量化方式将其向量化,再使用N-gram算法对词义等因素进行收集。基于收集到的数据将初始网络数据中一些包含用户隐私的信息或与异常攻击无关的数据去除,保留path、参数、参数值和一些特殊符号等可能与异常攻击(即异常数据)有关的部分,完成特征提取处理。该方式可以加快异常检测算法的运算,提高检测的效率,进而提高规则库更新效率。
进一步,在一种可行的实施方式中,可以通过聚类的方式进行正常数据检测。对网络数据进行正常数据检测,得到正常检测结果,包括
步骤31:对网络数据进行聚类处理,得到聚类结果,并将聚类结果确定为正常检测结果。
相应的,基于正常检测结果,滤除网络数据中的正常数据,得到待测数据的步骤可以包括:
步骤32:基于聚类结果确定正常数据,并从网络数据中滤除正常数据,得到待测数据。
在本实施例中,网络数据不具有具体的标签,因此为了快速筛选其中的正常数据,可以采用聚类处理的方式识别其中的正常数据。具体的,聚类处理可以将网络数据分为至少两类,得到聚类结果。聚类结果表明了网络数据具体被分类几类,以及每一类包括哪些数据。通过对各类数据以抽检或其他方式决定其具体所属的类别后,即可确定全部网络数据对应的类别,因此可以基于聚类结果在网络数据中快速确定正常数据,以便将其从网络数据中滤除。具体的,基于聚类结果确定正常数据的步骤可以包括:
步骤41:根据聚类结果确定数据点密度,并将最大数据点密度对应的范围确定为正常数据范围。
步骤42:将处于正常数据范围内的数据点对应的网络数据确定为正常数据。
由于网络数据或用于得到网络数据的初始网络数据从真实的网络环境中获取,而在真实的网络环境中正常数据占大部分,非正常数据占小部分,因此可以根据聚类结果确定数据点密度,数据点即为各个网络数据在二维空间中的分布点。由于正常数据数量最多,因此正常数据所处的范围对应的数据点密度最大。在得到数据点密度后,将其中的最大值即最大数据点密度对应的范围确定为正常数据范围,并将处于该正常数据范围内的数据点对应的网络数据确定为正常数据。该方式可以无需对各类网络数据进行抽检等确定其具体类型,提高了正常数据的确定速度。
请参考图2,图2为本申请实施例提供的一种具体的规则库更新方法流程图。在获取网络数据后,对其进行数据预处理,利用特征工程对其进行特征提取后输入聚类算法,聚类算法可以识别正常数据并将其滤除得到待测数据,并利用规则库对待测数据进行规则匹配,得到第一异常数据。第一异常数据和正常数据可以被收入样本数据及,以便在后续对分类模型进行更新训练。
S102:从待测数据中滤除检测结果对应的第一异常数据,得到待分类数据。
在检测得到第一异常数据后将其从待测数据中滤除,得到待分类数据。此时,待分类数据中不包括任何基于现有规则库能够检测得到的异常数据,剩余的数据并不会被直接确定为正常数据,而是确定为待分类数据,以便在后续对待分类数据进行进一步检测。
S103:利用分类模型对待分类数据进行分类处理,得到第二异常数据。
分类模型用于对待分类数据为正常数据或异常数据进行分类,且其基于待测数据本身的特征进行分类,不受到规则库的限制。利用其对待分类数据进行分类后,可以检测出其中基于规则库无法检测出的第二异常数据。需要说明的是,本实施例并不限定待分类数据中不包括第二异常数据时执行的步骤,可以执行预设操作,例如可以为无操作。
在一种可行的实施方式中,为了提高分类模型的分类准确度,可以利用正常数据和第一异常数据对分类模型进行更新训练。具体的,可以利用正常数据和第一异常数据生成样本数据集,并利用样本数据集对分类模型进行更新训练。训练的具体过程不做限制。具体的,分类模型的总体生成可以包括如下1至7共7个步骤,第7步骤即为更新训练的步骤:
1、数据收集。
数据收集中涉及到各种各样的编程语言,如果将所有的语言作为一个数据集对模型的训练会存在影响(语言的类型不同、语言涉及的关键字不同、语言规则不同等等)。一般的处理方法是将语言转换为统一的特征向量进行训练,但是这样的针对性不强。
因此在数据少时,可以将其他代码使用相关的工具将代码转换为统一的代码来增加数据量,增加模型的效率。在数据量多的时候,可以构建不同程序的数据集,可以使用不同的模型来分别检测。
2、数据处理。
当收集数据的时候,会出现数据缺失、数据相关性不足(无效数据、信息熵)、数据获取代价大等,因此会涉及到人工、统计、算法等技术。人工处理一般根据经验选择删除、特殊值填充,不处理等。统计一般根据平均值、众数、中位数,相似度样本填充等。算法一般涉及到典型的机器学习算法预测填充(KNN、C4.5),深度学习等。
3、特征提取。
特征提取需要将程序有针对性处理,涉及到程序切片(敏感代码、指令序列、中间代码),然后使用文本识别的算法(词袋、词频、Word2vec、主题模型LDA等等),得到可以特征向量。或者将代码数据转换为二进制文件,然后将二进制的文件转换为可以供深度学习输入的矩阵或向量等。
4、模型选择。
基于数据挖掘的模型包括关联分析,通过计算支持度和置信度、频繁项集、聚类分析等。
基于机器学习的模型需要人工提取特征,增加了人力、资源和经验投入,但是一定程度上影响了漏洞挖掘的准确性。在特征选择方面,需要将程序进行词法、语法、语义等分析。
基于深度学习的模型可以选择基于CPU和GPU的模型,增加了模型处理的效率,减少了人工特征选择的繁琐,但是实际效果待商定。
5、模型训练与评估。
模型训练之后,需要使用测试集、验证集来测试模型的效果与实际场景评估。
6、模型保存。
训练一次模型会占用大部分的系统资源,影响其它程序的运行和使用,因此,将模型保存下来可以直接提供使用。
7、模型上线更新。
数据在实时的变化,代码漏洞也是在不停的更新,一次训练的模型不可能一直在实际的场景中使用,这是需要模型更新,更新策略可以采用一段时间的离线训练或者是在线学习等方式。
S104:生成第二异常数据对应的规则信息,并利用规则信息更新规则库。
在检测得到第二异常数据后,说明现有的规则库对第二异常数据没有检测能力,为了提高安全防护的可靠性,可以生成第二异常数据对应的规则信息,并利用规则信息更新规则库。规则信息的生成方式不做限定,例如可以利用Seq2Seq算法(是卷积神经网络的一个变种)对第二异常数据进行处理,得到规则信息。请参考图2,在得到第二异常数据后利用Seq2Seq算法得到异常数据规则,即规则信息,并可以以将其加入规则库的方式完成对规则库的更新。
应用本申请实施例提供的规则库更新方法,在获取到待测数据后,先利用规则库对其进行异常检测,得到检测结果。检测结果可以反映当前情况下规则库的检测能力。根据检测结果将第一异常数据滤除后,将剩余的数据均作为无法确定是否安全的待分类数据,并利用分类模型对其进行分类。分类模型并不基于规则库,可以从网络数据本身的特征对其是否异常进行检测,因此可以不受规则库的限制,从其中检测出第二异常数据。在得到第二异常数据后生成其对应的规则信息,并利用规则信息对规则库进行更新。规则信息可以对第二异常数据的特征进行描述,利用其对规则库进行更新,可以使得更新后的规则库具有对第二异常数据的检测能力。该方法并不将已经基于规则库过滤后的待分类数据确定为正常数据,而是利用分类模型对其进行进一步检测,将待检测数据中无法被规则库检出的第二异常数据检出,并基于第二异常数据对规则库进行针对性更新,使规则库具备对第二异常数据的检测能力。无需人工筛选网络异常数据,提高了规则库的更新效率和准确性,及时更新的规则库可以减少误报和漏报,提高了网络安全防护的可靠性。
下面对本申请实施例提供的规则库更新装置进行介绍,下文描述的规则库更新装置与上文描述的规则库更新方法可相互对应参照。
请参考图3,图3为本申请实施例提供的一种规则库更新装置的结构示意图,包括:
异常数据检测模块110,用于获取待测数据,利用规则库对待测数据进行异常数据检测,得到检测结果;
异常数据过滤模块120,用于从待测数据中滤除检测结果对应的第一异常数据,得到待分类数据;
分类模块130,用于利用分类模型对待分类数据进行分类处理,得到第二异常数据;
规则库更新模块140,用于生成第二异常数据对应的规则信息,并利用规则信息更新规则库。
可选地,异常数据检测模块110,包括:
正常数据检测单元,用于获取网络数据,并对网络数据进行正常数据检测,得到正常检测结果;
正常数据过滤单元,用于基于正常检测结果,滤除网络数据中的正常数据,得到待测数据。
可选地,还包括:
数据集生成模块,用于利用正常数据和第一异常数据生成样本数据集;
更新训练模块,用于利用样本数据集对分类模型进行更新训练。
可选地,正常数据检测单元,包括
聚类处理子单元,用于对网络数据进行聚类处理,得到聚类结果,并将聚类结果确定为正常检测结果;
相应的,正常数据过滤单元,包括:
过滤子单元,用于基于聚类结果确定正常数据,并从网络数据中滤除正常数据,得到待测数据。
可选地,过滤子单元,包括:
正常数据范围确定子单元,用于根据聚类结果确定数据点密度,并将最大数据点密度对应的范围确定为正常数据范围;
正常数据确定子单元,用于将处于正常数据范围内的数据点对应的网络数据确定为正常数据。
可选地,正常数据检测单元,包括:
初始获取单元,用于获取初始网络数据;
处理单元,用于对初始网络数据进行预处理和特征提取处理,得到网络数据。
可选地,规则库更新模块140,包括:
算法生成单元,用于利用Seq2Seq算法对第二异常数据进行处理,得到规则信息。
下面对本申请实施例提供的电子设备进行介绍,下文描述的电子设备与上文描述的规则库更新方法可相互对应参照。
请参考图4,图4为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102,还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中,处理器101用于控制电子设备100的整体操作,以完成上述的规则库更新方法中的全部或部分步骤;存储器102用于存储各种类型的数据以支持在电子设备100的操作,这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令,以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、只读存储器(Read-OnlyMemory,ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件105可以包括:Wi-Fi部件,蓝牙部件,NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、数字信号处理器(Digital Signal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field ProgrammableGate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述实施例给出的规则库更新方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的规则库更新方法可相互对应参照。
本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的规则库更新方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语包括、包含或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种规则库更新方法,其特征在于,包括:
获取待测数据,利用规则库对所述待测数据进行异常数据检测,得到检测结果;
从所述待测数据中滤除所述检测结果对应的第一异常数据,得到待分类数据;
利用分类模型对所述待分类数据进行分类处理,得到第二异常数据;
生成所述第二异常数据对应的规则信息,并利用所述规则信息更新所述规则库。
2.根据权利要求1所述的规则库更新方法,其特征在于,所述获取待测数据,包括:
获取网络数据,并对所述网络数据进行正常数据检测,得到正常检测结果;
基于所述正常检测结果,滤除所述网络数据中的所述正常数据,得到所述待测数据。
3.根据权利要求2所述的规则库更新方法,其特征在于,还包括:
利用所述正常数据和所述第一异常数据生成样本数据集;
利用所述样本数据集对所述分类模型进行更新训练。
4.根据权利要求2所述的规则库更新方法,其特征在于,所述对所述网络数据进行正常数据检测,得到正常检测结果,包括:
对所述网络数据进行聚类处理,得到聚类结果,并将所述聚类结果确定为所述正常检测结果;
相应的,所述基于所述正常检测结果,滤除所述网络数据中的所述正常数据,得到所述待测数据,包括:
基于所述聚类结果确定正常数据,并从所述网络数据中滤除所述正常数据,得到待测数据。
5.根据权利要求4所述的规则库更新方法,其特征在于,所述基于所述聚类结果确定正常数据,包括:
根据所述聚类结果确定数据点密度,并将最大数据点密度对应的范围确定为正常数据范围;
将处于所述正常数据范围内的数据点对应的所述网络数据确定为所述正常数据。
6.根据权利要求2所述的规则库更新方法,其特征在于,所述获取网络数据,包括:
获取初始网络数据;
对所述初始网络数据进行预处理和特征提取处理,得到所述网络数据。
7.根据权利要求1至6任一项所述的规则库更新方法,其特征在于,所述生成所述第二异常数据对应的规则信息,包括:
利用Seq2Seq算法对所述第二异常数据进行处理,得到所述规则信息。
8.一种规则库更新装置,其特征在于,包括:
异常数据检测模块,用于获取待测数据,利用规则库对所述待测数据进行异常数据检测,得到检测结果;
异常数据过滤模块,用于从所述待测数据中滤除所述检测结果对应的第一异常数据,得到待分类数据;
分类模块,用于利用分类模型对所述待分类数据进行分类处理,得到第二异常数据;
规则库更新模块,用于生成所述第二异常数据对应的规则信息,并利用所述规则信息更新所述规则库。
9.一种电子设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至7任一项所述的规则库更新方法。
10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的规则库更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011229849.8A CN112311803B (zh) | 2020-11-06 | 2020-11-06 | 一种规则库更新方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011229849.8A CN112311803B (zh) | 2020-11-06 | 2020-11-06 | 一种规则库更新方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112311803A true CN112311803A (zh) | 2021-02-02 |
CN112311803B CN112311803B (zh) | 2023-02-24 |
Family
ID=74326424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011229849.8A Active CN112311803B (zh) | 2020-11-06 | 2020-11-06 | 一种规则库更新方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112311803B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159992A (zh) * | 2021-04-23 | 2021-07-23 | 全球能源互联网研究院有限公司 | 一种闭源电力工控系统行为模式的分类方法及装置 |
CN113450139A (zh) * | 2021-06-04 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 基于交互策略的流量检测、系统、存储介质及电子设备 |
CN113452685A (zh) * | 2021-06-22 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 识别规则的处理方法、系统、存储介质及电子设备 |
CN113961579A (zh) * | 2021-11-05 | 2022-01-21 | 杭州安恒信息技术股份有限公司 | 基于ClickHouse的动态更新方法、装置、电子装置和存储介质 |
CN114064711A (zh) * | 2021-10-13 | 2022-02-18 | 国家电网公司华中分部 | 一种基于规则库的装置异常处置方法、装置及存储介质 |
CN114282624A (zh) * | 2021-12-29 | 2022-04-05 | 北京天融信网络安全技术有限公司 | 对象标注方法、装置、设备及介质 |
CN115587158A (zh) * | 2022-12-08 | 2023-01-10 | 广东名阳信息科技有限公司 | 基于可视化配置的日志数据转换方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873463A (zh) * | 2014-02-26 | 2014-06-18 | 北京优炫软件股份有限公司 | 多级过滤防火墙系统及多级过滤方法 |
US20170364576A1 (en) * | 2016-06-15 | 2017-12-21 | Empow Cyber Security Ltd. | Classification of security rules |
CN108199875A (zh) * | 2017-12-29 | 2018-06-22 | 上海上讯信息技术股份有限公司 | 一种网络入侵检测系统及方法 |
US20180183682A1 (en) * | 2015-09-02 | 2018-06-28 | Kddi Corporation | Network monitoring system, network monitoring method, and computer-readable storage medium |
CN109120632A (zh) * | 2018-09-04 | 2019-01-01 | 中国人民解放军陆军工程大学 | 基于在线特征选择的网络流异常检测方法 |
CN109639659A (zh) * | 2018-12-05 | 2019-04-16 | 四川长虹电器股份有限公司 | 一种基于机器学习的web应用防火墙的实现方法 |
CN111224984A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 一种基于数据挖掘算法的Snort改进方法 |
CN111585955A (zh) * | 2020-03-31 | 2020-08-25 | 中南大学 | 一种http请求异常检测方法及系统 |
CN111639497A (zh) * | 2020-05-27 | 2020-09-08 | 北京东方通科技股份有限公司 | 一种基于大数据机器学习的异常行为发现方法 |
-
2020
- 2020-11-06 CN CN202011229849.8A patent/CN112311803B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873463A (zh) * | 2014-02-26 | 2014-06-18 | 北京优炫软件股份有限公司 | 多级过滤防火墙系统及多级过滤方法 |
US20180183682A1 (en) * | 2015-09-02 | 2018-06-28 | Kddi Corporation | Network monitoring system, network monitoring method, and computer-readable storage medium |
US20170364576A1 (en) * | 2016-06-15 | 2017-12-21 | Empow Cyber Security Ltd. | Classification of security rules |
CN108199875A (zh) * | 2017-12-29 | 2018-06-22 | 上海上讯信息技术股份有限公司 | 一种网络入侵检测系统及方法 |
CN109120632A (zh) * | 2018-09-04 | 2019-01-01 | 中国人民解放军陆军工程大学 | 基于在线特征选择的网络流异常检测方法 |
CN109639659A (zh) * | 2018-12-05 | 2019-04-16 | 四川长虹电器股份有限公司 | 一种基于机器学习的web应用防火墙的实现方法 |
CN111224984A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 一种基于数据挖掘算法的Snort改进方法 |
CN111585955A (zh) * | 2020-03-31 | 2020-08-25 | 中南大学 | 一种http请求异常检测方法及系统 |
CN111639497A (zh) * | 2020-05-27 | 2020-09-08 | 北京东方通科技股份有限公司 | 一种基于大数据机器学习的异常行为发现方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159992A (zh) * | 2021-04-23 | 2021-07-23 | 全球能源互联网研究院有限公司 | 一种闭源电力工控系统行为模式的分类方法及装置 |
CN113450139A (zh) * | 2021-06-04 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 基于交互策略的流量检测、系统、存储介质及电子设备 |
CN113452685A (zh) * | 2021-06-22 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 识别规则的处理方法、系统、存储介质及电子设备 |
CN113452685B (zh) * | 2021-06-22 | 2024-04-09 | 上海明略人工智能(集团)有限公司 | 识别规则的处理方法、系统、存储介质及电子设备 |
CN114064711A (zh) * | 2021-10-13 | 2022-02-18 | 国家电网公司华中分部 | 一种基于规则库的装置异常处置方法、装置及存储介质 |
CN113961579A (zh) * | 2021-11-05 | 2022-01-21 | 杭州安恒信息技术股份有限公司 | 基于ClickHouse的动态更新方法、装置、电子装置和存储介质 |
CN114282624A (zh) * | 2021-12-29 | 2022-04-05 | 北京天融信网络安全技术有限公司 | 对象标注方法、装置、设备及介质 |
CN115587158A (zh) * | 2022-12-08 | 2023-01-10 | 广东名阳信息科技有限公司 | 基于可视化配置的日志数据转换方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112311803B (zh) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112311803B (zh) | 一种规则库更新方法、装置、电子设备及可读存储介质 | |
CN106992994B (zh) | 一种云服务的自动化监控方法和系统 | |
CN107292170B (zh) | Sql注入攻击的检测方法及装置、系统 | |
CN109271788B (zh) | 一种基于深度学习的Android恶意软件检测方法 | |
CN108985061B (zh) | 一种基于模型融合的webshell检测方法 | |
CN112307473A (zh) | 一种基于Bi-LSTM网络和注意力机制的恶意JavaScript代码检测模型 | |
CN111783016B (zh) | 一种网站分类方法、装置及设备 | |
CN107273546B (zh) | 仿冒应用检测方法以及系统 | |
CN112801155B (zh) | 基于人工智能的业务大数据分析方法及服务器 | |
CN114528457B (zh) | Web指纹检测方法及相关设备 | |
CN112532624B (zh) | 一种黑链检测方法、装置、电子设备及可读存储介质 | |
CN108984514A (zh) | 词语的获取方法及装置、存储介质、处理器 | |
CN112416800A (zh) | 智能合约的测试方法、装置、设备及存储介质 | |
CN115828180A (zh) | 一种基于解析优化和时序卷积网络的日志异常检测方法 | |
CN113918936A (zh) | Sql注入攻击检测的方法以及装置 | |
CN110929506A (zh) | 一种垃圾信息检测方法、装置、设备及可读存储介质 | |
CN111125704A (zh) | 一种网页挂马识别方法及系统 | |
CN110598115A (zh) | 一种基于人工智能多引擎的敏感网页识别方法及系统 | |
CN114218569A (zh) | 数据分析方法、装置、设备、介质和产品 | |
CN115455407A (zh) | 一种基于机器学习的GitHub敏感信息泄露监控方法 | |
CN105677827B (zh) | 一种表单的获取方法及装置 | |
CN109299400A (zh) | 一种观点抽取方法、装置及设备 | |
CN113626815A (zh) | 病毒信息的识别方法、病毒信息的识别装置及电子设备 | |
CN113962216A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
Sharanya et al. | Predicting Abnormal User Behaviour Patterns in Social Media Platforms based on Process Mining |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |