CN110719278A - 一种网络入侵数据的检测方法、装置、设备及介质 - Google Patents
一种网络入侵数据的检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110719278A CN110719278A CN201910949957.3A CN201910949957A CN110719278A CN 110719278 A CN110719278 A CN 110719278A CN 201910949957 A CN201910949957 A CN 201910949957A CN 110719278 A CN110719278 A CN 110719278A
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- target
- features
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络入侵数据的检测方法，包括：采集网络中的真实数据作为目标数据；根据目标数据的类别，提取目标数据的全部特征并进行预处理以生成第一特征集；判断第一特征集中各特征与入侵数据之间的关联性是否为不相关；如果不相关，则移除特征以生成第二特征集；确定目标特征在第二特征集中的重要程度；根据重要程度，判断目标特征是否为冗余特征；如果是，则移除所述目标特征以生成目标特征集；根据目标特征集，检测未来网络数据中的入侵数据。由此可见，本发明提高了检测效率和准确性，更好地保证了网络数据的安全性。此外，本发明还提供一种网络入侵数据的检测装置、设备及介质与上述方法对应。
Description
技术领域
本发明涉及网络安全领域，特别是涉及一种网络入侵数据的检测方法、装置、设备及介质。
背景技术
随着互联网的快速发展，被恶意网络访问的情况越来越多，且采用的网络入侵手段也越来越呈现隐蔽性、静默性的特点。为了防止网络中的恶意入侵给网络系统中的数据带来的破坏、更改和泄露，使网络系统能够安全可靠的运行，利用入侵检测技术对网络访问进行安全检测，成为保证网络安全必不可少的环节。
现有技术中，通过收集网络中的数据建立针对于异常数据的特征集；当检测到与特征集中匹配的网络数据时，就将此次访问定义为入侵访问。但是，由于网络入侵数据量规模逐渐庞大，数据量多而且维度较高，存在着大量的冗余信息，这些无关的信息会极大降低入侵检测的效果。采用现有技术对大量数据进行入侵检测，造成时间浪费；且易受无关数据的干扰，降低了检测的准确率。
因此，提供一种既能保证检测的准确率，又能减少时间资源浪费的网络入侵数据的检测方法是当前亟待解决的问题。
发明内容
本发明的目的是提供一种网络入侵数据的检测方法、装置、设备及介质，通过判断第一特征集中各特征与入侵数据之间的关联性，移除大量不相关的特征，从而提高检测效率，在对大量的网络数据进行检测时，可节省时间资源；并且确定目标特征集时需考虑到重要程度的影响因素，提高入侵数据检测的准确性，更好地保证网络数据的安全性。
为解决上述技术问题，本发明提供一种网络入侵数据的检测方法，包括：
采集网络中的真实数据作为目标数据；
根据所述目标数据的类别，提取所述目标数据的全部特征并进行预处理以生成第一特征集；
判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关；
如果不相关，则移除所述特征以生成第二特征集；
确定目标特征在所述第二特征集中的重要程度；
根据所述重要程度，判断所述目标特征是否为冗余特征；
如果是，则移除所述目标特征以生成目标特征集；
根据所述目标特征集，检测未来网络数据中的入侵数据。
优选地，所述判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关具体包括：
计算各所述特征与所述入侵数据之间的第一关联程度；
对各所述特征按照所述第一关联程度降序的方式进行排序以组成序列；
判断所述序列的前N项特征的第一关联程度之和是否大于预设的阈值；其中，所述N具体为正整数；
如果是，则说明第N项之后的特征与入侵数据之间的关联性为不相关。
优选地，所述根据所述重要程度，判断所述目标特征是否为冗余特征具体包括：
计算所述第二特征集与所述入侵数据之间的相干程度；
计算所述目标特征与所述剩余特征之间的第二关联程度；
判断所述第二关联程度是否大于或等于所述相干程度与所述重要程度的乘积；
如果是，则说明所述目标特征为冗余特征。
优选地，还包括：
生成用于记录已移除的各特征的日志。
优选地，还包括：
根据对所述未来网络数据中入侵数据的检测结果，更新所述目标特征集。
优选地，所述预处理具体为归一化处理或离散化处理。
为解决上述技术问题，本发明还提供一种网络入侵数据的检测装置，包括：
采集模块，用于采集网络中的真实数据作为目标数据；
提取模块，用于根据所述目标数据的类别，提取所述目标数据的全部特征并进行预处理以生成第一特征集；
第一判断模块，用于判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关；如果不相关，则进入第一移除模块；
第一移除模块，用于移除所述特征以生成第二特征集；
确定模块，用于确定目标特征在所述第二特征集中的重要程度；
第二判断模块，用于根据所述重要程度，判断所述目标特征是否为冗余特征；如果是，则进入第二移除模块；
第二移除模块，用于移除所述目标特征以生成目标特征集；
检测模块，用于根据所述目标特征集，检测未来网络数据中的入侵数据。
为解决上述技术问题，本发明还提供一种网络入侵数据的检测设备，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述的网络入侵数据的检测方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的网络入侵数据的检测方法的步骤。
本发明所提供的一种网络入侵数据的检测方法，首先采集网络中的真实数据作为目标数据；并根据目标数据的类别，提取目标数据的全部特征并进行预处理以生成第一特征集；通过判断第一特征集中各特征与入侵数据之间的关联性；可移除不相关的特征以生成第二特征集，从而减少了后续步骤中需要处理的特征数量，只对具有少量特征的第二特征集继续处理即可，节省了大量时间；并且，确定目标特征在第二特征集中的重要程度；根据重要程度，判断目标特征是否为冗余特征；即在确定目标特征集时考虑到了重要程度的因素，使判断依据更全面，判断结果更准确，有利于提高目标特征集的准确率。最后，根据目标特征集，检测未来网络数据中的入侵数据。由此可见，本发明通过判断第一特征集中各特征与入侵数据之间的关联性，移除大量不相关的特征，从而提高了检测效率，在有大量的网络数据需要进行检测时，可节省时间资源；并且确定目标特征集时考虑到了重要程度的影响因素，使确定的目标特征集更准确、有效；从而进一步提高了入侵数据检测的准确性，更好地保证了网络数据的安全性。
此外，本发明还提供一种网络入侵数据的检测装置、设备及介质与上述方法对应，具有同样的有益效果。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种网络入侵数据的检测方法的流程图；
图2为本发明实施例提供的一种网络入侵数据的检测装置的结构图；
图3为本发明实施例提供的一种网络入侵数据的检测设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种网络入侵数据的检测方法、装置、设备及介质，通过判断第一特征集中各特征与入侵数据之间的关联性，移除大量不相关的特征，从而提高检测效率，在对大量的网络数据进行检测时，可节省时间资源；并且确定目标特征集时需考虑到重要程度的影响因素，提高入侵数据检测的准确性，更好地保证网络数据的安全性。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种网络入侵数据的检测方法的流程图；如图1所示，本发明实施例提供的网络入侵数据的检测方法，包括步骤S101-步骤S108：
步骤S101：采集网络中的真实数据作为目标数据；
步骤S102：根据目标数据的类别，提取目标数据的全部特征并进行预处理以生成第一特征集；
需要说明的是，目标数据可指代用于提取特征以生成特征集的样本数据。在一个实施例中，采集网络中的真实数据作为目标数据；例如，采集网络中的一段语音数据作为目标数据。可以理解的是，网络中的真实数据既包含有合法的正常数据，也包括用于网络攻击的入侵数据。本领域技术人员可根据实际情况采集合适时段的网络中的真实数据作为目标数据，本实施例并不作限定；采集的网络真实数据只需满足包含有入侵数据的特征的要求即可。
在一个实施例中，目标数据根据类别的不同，具有的特征个数和特征种类也是不同的；例如目标数据为网络中的语音数据时，则相应的特征应为语音数据的频率、振幅、音调、响度和音色等特征；而目标数据为图像数据时，则相应的特征应为图像数据的色调、色相、饱和度、对比度、亮度等特征。
具体地，根据目标数据的类别不同，提取目标数据的全部特征；并根据检测方法的实际应用环境要求，对全部特征进行预处理以生成第一特征集。在一个实施例中，预处理具体为归一化处理或离散化处理。通过归一化或离散化的处理方法，为入侵数据的检测提供归一化特征集或离散特征集，为后续特征处理提供便利。可以理解的，当进行归一化处理后，则生成的第一特征集为归一化特征集；当进行离散化处理后，则生成的第一特征集为离散特征集。需要说明的是，本领域技术人员可根据实际应用情况，确定采用何种预处理方式，本发明实施例并不作限定。
步骤S103：判断第一特征集中各特征与入侵数据之间的关联性是否为不相关；如果不相关，则进入步骤S104；
步骤S104：移除特征以生成第二特征集；
在一个实施例中，判断第一特征集中各特征与入侵数据之间的关联性是否为不相关；从而找出与入侵数据不相关的特征，并对这些不相关特征进行移除，生成第二特征集。需要说明的是，本实施例中提出的特征与入侵数据之间的关联性，可理解为特征与入侵数据这一类的关联性；本领域技术人员可根据现有技术中的描述得知特征与类的相关信息，此处不再赘述。由于第二特征集中相比第一特征集中减少了大量与入侵数据不相关的特征，因此第二特征集中的特征量得到大量简化。
在一个实施例中，步骤S103具体包括以下步骤：
计算各特征与入侵数据之间的第一关联程度；
对各特征按照第一关联程度降序的方式进行排序以组成序列；
判断序列的前N项特征的第一关联程度之和是否大于预设的阈值；其中，N具体为正整数；
如果是，则说明第N项之后的特征与入侵数据之间的关联性为不相关。
具体地，可利用对称不确定性的评估准则，计算特征与入侵数据之间的第一关联程度。将第一特征集中的特征看作变量X，将入侵数据这一类看作变量Y；对于变量X、Y来说，它们之间的对称不确定性，即关联程度为：
其中，IG(X|Y)指两个变量之间的互信息多少；H(X)、H(Y)指变量的信息熵。
进一步地，通过上述计算过程获得了各特征与入侵数据的第一关联程度，比较各第一关联程度的大小，按照降序的方式对与各第一关联程度相应的特征进行排序以组成序列；判断序列的前N项特征的第一关联程度之和是否大于预设的阈值，N具体为正整数；具体可从第一项开始，判断第一项的第一关联程度是否大于预设的阈值，如果是，则确定第一项特征之后的特征的关联性均为不相关；如果否，则计算第一项特征与第二项特征的第一关联程度之和，再次与预设的阈值进行判断，如果大于，则说明第二项之后的特征的关联性均为不相关，如果小于或等于，则继续按照以上方式重复，直到第N项特征，满足前N项特征的第一关联程度之和大于预设的阈值这一条件，则说明第N项之后的特征与入侵数据之间的关联性为不相关。然后将不相关的特征进行移除操作，从而筛除了与入侵数据这一类不相关的特征，保证不相关特征尽量减少对特征集的影响。
本领域技术人员可知，所有特征的第一关联程度之和应为1，本领域技术人员可根据实际应用情况，预设一小于1的数值作为阈值，例如阈值为98％；本发明实施例对此不作限定。
步骤S105：确定目标特征在第二特征集中的重要程度；
步骤S106：根据重要程度，判断目标特征是否为冗余特征；如果是，则进入步骤S107；
步骤S107：移除目标特征以生成目标特征集；
步骤S108：根据目标特征集，检测未来网络数据中的入侵数据。
在一个实施例中，确定第二特征集中的特征对于第二特征集的重要程度；需要说明的是，将当下将要确定的特征称为目标特征。重要程度ISCk可通过以下计算得到，例如计算特征Fk的重要程度：
ISCk＝SC/SCk
其中，SC指集合与类相关性(Subset Correlation,SC)，也可理解为集合与类的相干程度。SCk指去除特征Fk之后计算得到的SC，SC可定义如下：
其中，N为特征个数，Avg(SUic)为所有特征与类之间的相关性的平均值，Avg(SUij)为特征与特征之间的相关性的平均值。
可以理解的，如果ISCk>1，则SC>SCk，说明去除特征Fk后，特征集与类之间的关联性减少了，表示特征Fk在集合中是非常重要的，需要增大保留该特征的概率；
如果ISCk≤1，则SC≤SCk，说明去除特征Fk后，特征集与类之间的关联性是增大或不变的，表示特征Fk在集合中是可有可无的，需要减少保留该特征的概率。
在具体实施中，根据重要程度，判断目标特征是否为冗余特征具体包括：
计算第二特征集与入侵数据之间的相干程度；
计算目标特征与剩余特征之间的第二关联程度；
判断第二关联程度是否大于或等于相干程度与重要程度的乘积；
如果是，则说明目标特征为冗余特征。
具体地，计算第二特征集与入侵数据的相干程度SC，计算目标特征与剩余特征之间的第二关联程度SUij；通过判断第二关联程度是否大于或等于相干程度与重要程度的乘积，即当SUij≥SC*ISCj时，说明目标特征Fi不能提升第二特征集与入侵数据之间的相关性，所以目标特征Fi为冗余特征，应该被移除；当SUij<SC*ISCj时，说明目标特征Fi与剩余特征Fj的关联性为无关，所以目标特征Fi为可用于体现入侵数据特点的特征，应该被保留；重复上述过程，直到第二特征集中的每个特征均判断结束为止，从而删除掉冗余特征，得到目标特征集。
进一步地，将第二特征集中的全部冗余特征移除后，生成了目标特征集，通过目标特征集，检测未来网络数据中的入侵数据。本领域技术人员可利用十折交叉的方式对目标特征集的准确率和稳定性进行验证，关于十折交叉的方式的信息可参见现有技术，此处不再赘述。
本发明所提供的一种网络入侵数据的检测方法，首先采集网络中的真实数据作为目标数据；并根据目标数据的类别，提取目标数据的全部特征并进行预处理以生成第一特征集；通过判断第一特征集中各特征与入侵数据之间的关联性；可移除不相关的特征以生成第二特征集，从而减少了后续步骤中需要处理的特征数量，只对具有少量特征的第二特征集继续处理即可，节省了大量时间；并且，确定目标特征在第二特征集中的重要程度；根据重要程度，判断目标特征是否为冗余特征；即在确定目标特征集时考虑到了重要程度的因素，使判断依据更全面，判断结果更准确，有利于提高目标特征集的准确率。最后，根据目标特征集，检测未来网络数据中的入侵数据。由此可见，本发明通过判断第一特征集中各特征与入侵数据之间的关联性，移除大量不相关的特征，从而提高了检测效率，在有大量的网络数据需要进行检测时，可节省时间资源；并且确定目标特征集时考虑到了重要程度的影响因素，使确定的目标特征集更准确、有效；从而进一步提高了入侵数据检测的准确性，更好地保证了网络数据的安全性。
在一个实施例中，本发明提供的网络入侵数据的检测方法，还包括：
生成用于记录已移除的各特征的日志。
具体地，在移除特征的过程中，将被移除的特征信息记录到日志中；便于后续对特征集的调整及更新。当需要调整特征集中的特征时，可根据日志中记录的已移除的特征，重新对特征集进行特征的增加或删减，提高了操作的灵活性，无需再重新获取已删除的特征；同时也避免误移除操作。
也可以通过日志来进行异常提示；入侵数据检测过程中存在异常时，可在日志中进行警告提示，便于工作人员及时发现；也可根据预先存储有的工作人员的联系方式，例如，邮箱或者电话号等。在出现异常时将异常信息发送给工作人员，使工作人员能够及时做出处理。保证入在网络入侵检测过程中的效率及准确率。
在一个实施例中，本发明提供的网络入侵数据的检测方法，还包括：
根据对未来网络数据中入侵数据的检测结果，更新目标特征集。
具体地，在对未来网络中入侵数据进行检测后，可根据实际的检测结果，对当前目标特征集的准确率进行分析，并相应的对目标特征集进行调整和更新，从而保证了目标特征集的有效性，能根据实际情况不断进行调整，达到更高地检测准确率，更好地满足用户的需求。
本发明还提供一种网络入侵数据的检测装置对应的实施例，基于功能模块的角度对网络入侵数据的检测装置进行了说明。
图2为本发明实施例提供的一种网络入侵数据的检测装置的结构图；如图2所示，本发明实施例提供的网络入侵数据的检测装置，包括：
采集模块10，用于采集网络中的真实数据作为目标数据；
提取模块11，用于根据目标数据的类别，提取目标数据的全部特征并进行预处理以生成第一特征集；
第一判断模块12，用于判断第一特征集中各特征与入侵数据之间的关联性是否为不相关；如果不相关，则进入第一移除模块13；
第一移除模块13，用于移除特征以生成第二特征集；
确定模块14，用于确定目标特征在第二特征集中的重要程度；
第二判断模块15，用于根据重要程度，判断目标特征是否为冗余特征；如果是，则进入第二移除模块16；
第二移除模块16，用于移除目标特征以生成目标特征集；
检测模块17，用于根据目标特征集，检测未来网络数据中的入侵数据。
本发明实施例提供的网络入侵数据的检测装置，还包括：
生成模块，用于生成用于记录已移除的各特征的日志。
更新模块，用于根据对未来网络数据中入侵数据的检测结果，更新目标特征集。
由于本部分的实施例与方法部分的实施例相互对应，因此本部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。本发明所提供的一种网络入侵数据的检测装置，有益效果与提供的一种网络入侵数据的检测方法的有益效果相同。
本发明还提供一种网络入侵数据的检测设备对应的实施例，基于硬件的角度对网络入侵数据的检测设备进行了说明。
图3为本发明实施例提供的一种网络入侵数据的检测设备的结构图，如图3所示，本发明实施例提供的一种网络入侵数据的检测设备，包括存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述任一项的网络入侵数据的检测方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的网络入侵数据的检测方法中的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。
在一些实施例中，网络入侵数据的检测设备还可包括有输入输出接口22、通信接口23、电源24以及通信总线25。
本领域技术人员可以理解，图3中示出的结构并不构成对网络入侵数据的检测设备的限定，可以包括比图示更多或更少的组件。
由于设备部分的实施例与方法部分的实施例相互对应，因此设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。本发明所提供的一种网络入侵数据的检测设备，有益效果与提供的一种网络入侵数据的检测方法的有益效果相同。
在本发明的一些实施例中，处理器和存储器可通过总线或其它方式连接。
最后，本发明还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种网络入侵数据的检测方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种网络入侵数据的检测方法，其特征在于，包括：
采集网络中的真实数据作为目标数据；
根据所述目标数据的类别，提取所述目标数据的全部特征并进行预处理以生成第一特征集；
判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关；
如果不相关，则移除所述特征以生成第二特征集；
确定目标特征在所述第二特征集中的重要程度；
根据所述重要程度，判断所述目标特征是否为冗余特征；
如果是，则移除所述目标特征以生成目标特征集；
根据所述目标特征集，检测未来网络数据中的入侵数据。
2.根据权利要求1所述的网络入侵数据的检测方法，其特征在于，所述判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关具体包括：
计算各所述特征与所述入侵数据之间的第一关联程度；
对各所述特征按照所述第一关联程度降序的方式进行排序以组成序列；
判断所述序列的前N项特征的第一关联程度之和是否大于预设的阈值；其中，所述N具体为正整数；
如果是，则说明第N项之后的特征与入侵数据之间的关联性为不相关。
3.根据权利要求2所述的网络入侵数据的检测方法，其特征在于，所述根据所述重要程度，判断所述目标特征是否为冗余特征具体包括：
计算所述第二特征集与所述入侵数据之间的相干程度；
计算所述目标特征与所述剩余特征之间的第二关联程度；
判断所述第二关联程度是否大于或等于所述相干程度与所述重要程度的乘积；
如果是，则说明所述目标特征为冗余特征。
4.根据权利要求1所述的网络入侵数据的检测方法，其特征在于，还包括：
生成用于记录已移除的各特征的日志。
5.根据权利要求1所述的网络入侵数据的检测方法，其特征在于，还包括：
根据对所述未来网络数据中入侵数据的检测结果，更新所述目标特征集。
6.根据权利要求1所述的网络入侵数据的检测方法，其特征在于，所述预处理具体为归一化处理或离散化处理。
7.一种网络入侵数据的检测装置，其特征在于，包括：
采集模块，用于采集网络中的真实数据作为目标数据；
提取模块，用于根据所述目标数据的类别，提取所述目标数据的全部特征并进行预处理以生成第一特征集；
第一判断模块，用于判断所述第一特征集中各特征与入侵数据之间的关联性是否为不相关；如果不相关，则进入第一移除模块；
第一移除模块，用于移除所述特征以生成第二特征集；
确定模块，用于确定目标特征在所述第二特征集中的重要程度；
第二判断模块，用于根据所述重要程度，判断所述目标特征是否为冗余特征；如果是，则进入第二移除模块；
第二移除模块，用于移除所述目标特征以生成目标特征集；
检测模块，用于根据所述目标特征集，检测未来网络数据中的入侵数据。
8.一种网络入侵数据的检测设备，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的网络入侵数据的检测方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的网络入侵数据的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949957.3A CN110719278A (zh) | 2019-10-08 | 2019-10-08 | 一种网络入侵数据的检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949957.3A CN110719278A (zh) | 2019-10-08 | 2019-10-08 | 一种网络入侵数据的检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110719278A true CN110719278A (zh) | 2020-01-21 |
Family
ID=69212234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910949957.3A Pending CN110719278A (zh) | 2019-10-08 | 2019-10-08 | 一种网络入侵数据的检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110719278A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111343175A (zh) * | 2020-02-22 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种提高网络入侵检测精度的方法、系统、设备及介质 |
| CN111368894A (zh) * | 2020-02-27 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种fcbf特征选择方法及其在网络入侵检测中的应用 |
| CN113111350A (zh) * | 2021-04-28 | 2021-07-13 | 北京天融信网络安全技术有限公司 | 一种恶意pdf文件的检测方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100027836A (ko) * | 2008-09-03 | 2010-03-11 | 충남대학교산학협력단 | 룰기반 웹아이디에스 시스템용 웹로그 전처리방법 및 시스템 |
| CN105930723A (zh) * | 2016-04-20 | 2016-09-07 | 福州大学 | 一种基于特征选择的入侵检测方法 |
| CN109818961A (zh) * | 2019-01-30 | 2019-05-28 | 广东工业大学 | 一种网络入侵检测方法、装置和设备 |
| CN110263920A (zh) * | 2019-06-21 | 2019-09-20 | 北京石油化工学院 | 卷积神经网络模型及其训练方法和装置、巡检方法和装置 |
-
2019
- 2019-10-08 CN CN201910949957.3A patent/CN110719278A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100027836A (ko) * | 2008-09-03 | 2010-03-11 | 충남대학교산학협력단 | 룰기반 웹아이디에스 시스템용 웹로그 전처리방법 및 시스템 |
| CN105930723A (zh) * | 2016-04-20 | 2016-09-07 | 福州大学 | 一种基于特征选择的入侵检测方法 |
| CN109818961A (zh) * | 2019-01-30 | 2019-05-28 | 广东工业大学 | 一种网络入侵检测方法、装置和设备 |
| CN110263920A (zh) * | 2019-06-21 | 2019-09-20 | 北京石油化工学院 | 卷积神经网络模型及其训练方法和装置、巡检方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111343175A (zh) * | 2020-02-22 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种提高网络入侵检测精度的方法、系统、设备及介质 |
| CN111368894A (zh) * | 2020-02-27 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种fcbf特征选择方法及其在网络入侵检测中的应用 |
| CN111368894B (zh) * | 2020-02-27 | 2022-10-25 | 苏州浪潮智能科技有限公司 | 一种fcbf特征选择方法及其在网络入侵检测中的应用 |
| CN113111350A (zh) * | 2021-04-28 | 2021-07-13 | 北京天融信网络安全技术有限公司 | 一种恶意pdf文件的检测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090567B (zh) | 电力通信系统故障诊断方法及装置 | |
| CN110719278A (zh) | 一种网络入侵数据的检测方法、装置、设备及介质 | |
| CN113609261B (zh) | 基于网络信息安全的知识图谱的漏洞信息挖掘方法和装置 | |
| CN105718795B (zh) | Linux下基于特征码的恶意代码取证方法及系统 | |
| CN113918951B (zh) | 基于抽象语法树的恶意代码检测方法、装置及电子设备 | |
| CN103679030A (zh) | 一种基于动态语义特征的恶意代码分析检测方法 | |
| CN111338692A (zh) | 基于漏洞代码的漏洞分类方法、装置及电子设备 | |
| CN112765660A (zh) | 一种基于MapReduce并行聚类技术的终端安全性分析方法和系统 | |
| CN113407495A (zh) | 一种基于simhash的文件相似度判定方法及系统 | |
| CN111813593A (zh) | 一种数据处理方法、设备、服务器及存储介质 | |
| CN114978877A (zh) | 一种异常处理方法、装置、电子设备及计算机可读介质 | |
| CN113378161A (zh) | 一种安全检测方法、装置、设备及存储介质 | |
| CN111368894B (zh) | 一种fcbf特征选择方法及其在网络入侵检测中的应用 | |
| CN111209158B (zh) | 服务器集群的挖矿监控方法及集群监控系统 | |
| CN117113348A (zh) | 威胁检测代码的生成和使用方法、装置、设备和介质 | |
| CN115664931A (zh) | 一种告警数据的关联方法、装置、存储介质及设备 | |
| CN112163217B (zh) | 恶意软件变种识别方法、装置、设备及计算机存储介质 | |
| CN115412274A (zh) | 攻击溯源方法及相关数据处理、关联展示方法及装置 | |
| CN113535458A (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN109409127B (zh) | 网络数据安全策略的生成方法、装置及存储介质 | |
| CN114676428A (zh) | 基于动态特征的应用程序恶意行为检测方法及设备 | |
| CN111144471B (zh) | 一种检测方法、装置、设备及存储介质 | |
| CN114006766B (zh) | 网络攻击检测方法、装置、电子设备及可读存储介质 | |
| US11822655B1 (en) | False alarm reduction by novelty detection | |
| CN115221857B (zh) | 一种含数值类型的数据相似性检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |
|
| RJ01 | Rejection of invention patent application after publication |