CN113542310B - 一种网络扫描检测方法、装置及计算机存储介质 - Google Patents
一种网络扫描检测方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN113542310B CN113542310B CN202111090260.9A CN202111090260A CN113542310B CN 113542310 B CN113542310 B CN 113542310B CN 202111090260 A CN202111090260 A CN 202111090260A CN 113542310 B CN113542310 B CN 113542310B
- Authority
- CN
- China
- Prior art keywords
- key information
- target
- ports
- destination
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 83
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 12
- 239000013589 supplement Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009469 supplementation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 102100026278 Cysteine sulfinic acid decarboxylase Human genes 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 108010064775 protein C activator peptide Proteins 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种网络扫描检测方法、装置及计算机存储介质。其中，该方法包括：提取各报文数据中的目的IP以及相应的目的IP端口特征值；采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。综合多种端口特征得到每个目的IP的异常评分，并综合所有评分确定遭受网络扫描的目的IP，提高了对网络扫描检测的准确性。
Description
技术领域
本发明涉及网络安全领域，尤其涉及一种网络扫描检测方法、装置及计算机存储介质。
背景技术
网络扫描是网络攻击的侦查阶段，其目的是确定哪些IP地址已连接计算机，以及哪些应用程序正在这些计算机上运行。黑客在进行网络攻击时，一般首先会对目标网络进行扫描，目的就是要收集攻击目标的各种信息，然后就可以根据收集到的信息对目标进行分析，找到目标系统存在的漏洞，从而利用这些漏洞进行下一步攻击行动。
目前，对网络扫描的检测方法主要为统计特征与规则判断相结合的方式。例如专利CN106027559A中，对网络扫描的检测主要是对捕获的原始网络数据，按协议类型筛选分类；再从数据中还原每个会话，将会话按照IP聚类；统计每个IP所有会话的异常返回值数目，计算出异常返回值与正常返回值的数目比值；分析每个IP所有会话的请求模式，观察异常返回值对应的请求模式是否一致；根据比值和请求模式判断是否有攻击行为，当有攻击行为时，获取攻击者和攻击目标的IP信息，并相应地做出处理措施。
但上述方法是通过观察每个IP下所有会话的异常返回值来进行网络扫描判断的，属于先统计异常返回值比值特征，再利用规则设定来进行告警判断的方式。虽然该方法能够一定程度上发现网络扫描行为，但是其统计特征过于单一，且比值特征往往无法区分1/2与500/1000在实际业务上的区别；另一方面该检测方法最终判断是否有攻击行为是需要设定规则或阈值的，该方法往往对实际业务的理解要求较高，基于规则判断本身存在局限性，理论上是可以被绕过的，因此误报和漏报往往无法避免。而提高规则准确性的代价就是添加更多精细化规则，大量的规则不但给维护工作增加了难度，也拖累了整体性能。
针对现有技术中对不同网络扫描区分能力弱，误报率和漏报率较高的问题，目前还没有一个有效的解决办法。
发明内容
为解决上述问题，本发明提供一种网络扫描检测方法、装置及计算机存储介质，提取每个报文信息中的目的IP端口特征值，根据目的IP端口特征值对每个目的IP进行打分，并综合所有目的IP的异常打分得到特殊的目的IP，以解决现有技术中对不同网络扫描区分能力弱，误报率和漏报率较高的问题。
为达到上述目的，一方面，本发明实施例提供了一种网络扫描检测方法，包括：提取各报文数据中的目的IP以及相应的目的IP端口特征值；采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
进一步可选的，所述提取各报文数据中的目的IP以及相应的目的IP端口特征值，包括：根据所述各报文数据的数据源类型解析所述各报文数据；对解析后的报文数据进行关键信息提取，得到初始关键信息；将所述初始关键信息进行格式标准化，得到关键信息；其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
进一步可选的，所述将所述初始关键信息进行格式标准化，得到关键信息之后，还包括：滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；删除所述关键信息中不符合业务逻辑的关键信息；对所述关键信息中缺失端口数据的关键信息进行数据补充。
进一步可选的，所述目的IP端口特征值，至少包括以下的一种或几种：目的IP下被访问的端口中TOP20端口的数量，其中，所述TOP20端口指黑客访问频率最高的20个端口；目的IP下被访问的端口中TOP1000端口的数量，其中，所述TOP1000端口指黑客访问频率最高的1000个端口；目的IP下被访问的端口总数；目的IP下被访问的关闭端口的数量；目的IP下被访问的UDP端口数量。
进一步可选的，所述通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，包括：计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
另一方面，本发明实施例还提供了一种网络扫描检测装置，包括：提取模块，用于提取各报文数据中的目的IP以及相应的目的IP端口特征值；评分模块，用于采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；标记模块，用于通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
进一步可选的，所述提取模块，包括：解析子模块，用于根据所述各报文数据的数据源类型解析所述各报文数据；关键信息提取子模块，用于对解析后的报文数据进行关键信息提取，得到初始关键信息；标准化子模块，用于将所述初始关键信息进行格式标准化，得到关键信息；其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
进一步可选的，所述提取模块还包括：过滤子模块，用于滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；删除子模块，用于删除所述关键信息中不符合业务逻辑的关键信息；数据补充子模块，用于对所述关键信息中缺失端口数据的关键信息进行数据补充。
进一步可选的，所述标记模块包括：计算子模块，用于计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；阈值确定子模块，用于将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
另一方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的网络扫描检测方法。
上述技术方案具有如下有益效果：将端口作为分析切入点，获取每个目的IP的端口特征值，并根据端口特征值对每个目的IP进行评分，根据不同目的IP的异常得分，区分不同IP的异常程度，再综合这些IP异常得分确定一个异常阈值，将超过该异常阈值的目的IP确定为遭受网络扫描的目的IP，对网络扫描的检测是根据不同数据动态调节的，且无需人工参与，使对网络扫描的检测更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的网络扫描检测方法的流程图；
图2是本发明实施例提供的提取关键信息方法的流程图；
图3是本发明实施例提供的关键信息预处理方法的流程图；
图4是本发明实施例提供的确定异常得分阈值方法的流程图；
图5是本发明实施例提供的网络扫描检测装置的结构框图；
图6是本发明实施例提供的提取模块的结构框图；
图7是本发明实施例提供的标记模块的结构框图。
附图标记：100-提取模块 1001-解析子模块 1002-关键信息提取子模块 1003-标准化子模块 1004-过滤子模块 1005-删除子模块 1006-数据补充子模块 200-评分模块300-标记模块 3001-计算子模块 3002-阈值确定子模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术构造出的特征为异常返回值与正常返回值的比值，根据比值特征区分不同网络扫描时区分能力弱，且规则设定存在局限性，容易出现漏报和误报的问题。
为解决上述问题，本发明提供了一种网络扫描检测方法，图1是本发明实施例提供的网络扫描检测方法的流程图，如图1所示，包括：
S101、提取各报文数据中的目的IP以及相应的目的IP端口特征值；
报文数据是网络中交换与传输的数据单元，即站点一次性要发送的数据块，其中包含了将要发送的完整数据信息。
在各个报文数据中采集目的IP信息以及目的IP端口特征值信息，作为后续分析的基础。
S102、采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；
孤立森林是一种适用于连续数据的无监督异常检测方法，即不需要有标记的样本来训练模型，但是需要输入的特征是连续的。在孤立森林中，递归地随机分割数据集，直到所有的样本点都是孤立的。在这种随机分割的策略下，异常点通常具有较短的路径。
具体的，样本x的异常得分，即每个目的IP的异常得分通过下式计算:
其中，E(h(x))为样本x在一批孤立树中的路径长度的期望，
为路径长度，
为给定样本数n时路径长度
的平均值。
其中，
为调和数，该值可以被估计为
。
S103、通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
得到所有的目的IP的异常得分后，综合这些目的IP的异常得分，划定一个异常得分阈值，该阈值用于区分正常目的IP和异常目的IP。
异常阈值是根据不同目的IP的异常得分集的动态确定的，针对每一个目的IP的异常得分集都有一个自动分析后得到的异常阈值，这样的异常阈值划分方式使得确定异常目的IP的准确度更高。
作为一种可选的实施方式，图2是本发明实施例提供的提取关键信息方法的流程图，如图2所示，S101、所述提取各报文数据中的目的IP以及相应的目的IP端口特征值，包括：
S1011、根据所述各报文数据的数据源类型解析所述各报文数据；
网络扫描检测所用的数据源通常会根据实际业务场景的不同而不同，例如有些场景可以通过采集口对镜像流量来提供数据，而有些场景则只能提供离线PCAP文件等形式的数据。因不同数据源类型对应不同的解析方式，因此为得到不同来源的报文数据中的信息，需要根据报文数据的数据源确定其数据解析方式，以实现对所有报文数据的解析。
S1012、对解析后的报文数据进行关键信息提取，得到初始关键信息；
为减少后续的数据处理量，本实施例将对后续分析有价值的数据内容提取出来，以方便后续的数据处理，被提取出的对后续分析有价值的数据内容即为初始关键信息。
S1013、将所述初始关键信息进行格式标准化，得到关键信息；
通常报文数据是以特定协议形式传递的，为方便后续处理，需要将多种数据格式转换为统一的可读字符串类型，为后续的分析工作提供可直接使用的分析数据。
作为一种可选的实施方式，初始关键信息可以转换为json、字典或数据框等形式。
其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
作为一种可选的实施方式，图3是本发明实施例提供的关键信息预处理方法的流程图，如图3所示，所述S1013、将所述初始关键信息进行格式标准化，得到关键信息之后，还包括：
S1014、滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；
若分析关键信息后，确定该关键信息与白名单有关，则判断该关键信息为正常，无需再参加后续的异常评分操作；另外，本实施例中分析的端口指传输层中的端口，即 TCP和 UDP 中的端口。若分析关键信息后，确定该关键信息的端口传输协议非TCP协议或UDP协议，则判断该关键信息没有继续分析的价值，无需参加后续的异常评分操作。如此，可提前将无后续分析价值的关键信息滤除，减少后续的数据处理量。
S1015、删除所述关键信息中不符合业务逻辑的关键信息；
TCP 和 UDP 中的端口以16 bit的数据来表示，它的个数有2的16次方（65536），即其端口号范围为0~65535。一般情况下不同的端口会运行不同的程序，例如HTTP服务默认运行在80端口上，HTTPS服务默认运行在443端口上，MYSQL服务默认运行在3306端口上。
不符合业务逻辑的关键信息指其端口号出现在0~65535之外的关键信息，这样的关键信息为异常的数据信息，需要预先删除避免对后续分析的干扰。
S1016、对所述关键信息中缺失端口数据的关键信息进行数据补充。
数据的补充指的是当接收到的关键信息中端口数据存在缺失时，需要尝试根据已有信息对缺失的端口数据进行补充。例如，已知一关键数据的来源服务为HTTP服务，当端口数据缺失时可以将HTTP服务默认端口（80）作为缺失的端口数据补充入所述关键信息。
作为一种可选的实施方式，所述目的IP端口特征值，至少包括以下的一种或几种：目的IP下被访问的端口中TOP20端口的数量，其中，所述TOP20端口指黑客访问频率最高的20个端口；目的IP下被访问的端口中TOP1000端口的数量，其中，所述TOP1000端口指黑客访问频率最高的1000个端口；目的IP下被访问的端口总数；目的IP下被访问的关闭端口的数量；目的IP下被访问的UDP端口数量。
将上述各特征端口数量作为目的IP端口特征值。
作为一种可选的实施方式，图4是本发明实施例提供的确定异常得分阈值方法的流程图，如图4所示，S103、所述通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，包括：
S1031、计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；
四分位算法指先将所有目的IP的异常得分降序排列，并将该数据集合分成相等的四个部分，其中每部分包括25%的数据，处在各等分点的数值就是四分位数。四分位数有三个，第一个四分位数Q1就是通常所说的四分位数，称为下四分位数，第二个四分位数Q2就是中位数，第三个四分位数Q3称为上四分位数。第三四分位数与第一四分位数的差距又称四分位距IQR。
S1032、将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
本实施例中将第三四分位数Q3与三倍的四分位距IQR之和，即Q3+3IQR的值定义为异常得分阈值，将大于该异常的得分阈值的异常得分对应的地址认定为遭受网络扫描的IP地址。
本发明实施例还提供了一种网络扫描检测装置，图5是本发明实施例提供的网络扫描检测装置的结构框图，如图5所示，包括：
提取模块100，用于提取各报文数据中的目的IP以及相应的目的IP端口特征值；
报文数据是网络中交换与传输的数据单元，即站点一次性要发送的数据块，其中包含了将要发送的完整数据信息。
在各个报文数据中采集目的IP信息以及目的IP端口特征值信息，作为后续分析的基础。
评分模块200，用于采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；
孤立森林是一种适用于连续数据的无监督异常检测方法，即不需要有标记的样本来训练模型，但是需要输入的特征是连续的。在孤立森林中，递归地随机分割数据集，直到所有的样本点都是孤立的。在这种随机分割的策略下，异常点通常具有较短的路径。
具体的，样本x的异常得分，即每个目的IP的异常得分通过下式计算::
其中，E(h(x))为样本x在一批孤立树中的路径长度的期望，
为路径长度，
为给定样本数n时路径长度
的平均值。
其中，
为调和数，该值可以被估计为
。
标记模块300，用于通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
得到所有的目的IP的异常得分后，综合这些目的IP的异常得分，划定一个异常得分阈值，该阈值用于区分正常目的IP和异常目的IP。
异常阈值是根据不同目的IP的异常得分集的动态确定的，针对每一个目的IP的异常得分集都有一个自动分析后得到的异常阈值，这样的异常阈值划分方式使得确定异常目的IP的准确度更高。
作为一种可选的实施方式，图6是本发明实施例提供的提取模块的结构框图，如图6所示，所述提取模块100，包括：
解析子模块1001，用于根据所述各报文数据的数据源类型解析所述各报文数据；
网络扫描检测所用的数据源通常会根据实际业务场景的不同而不同，例如有些场景可以通过采集口对镜像流量来提供数据，而有些场景则只能提供离线PCAP文件等形式的数据。因不同数据源类型对应不同的解析方式，因此为得到不同来源的报文数据中的信息，需要根据报文数据的数据源确定其数据解析方式，以实现对所有报文数据的解析。
关键信息提取子模块1002，用于对解析后的报文数据进行关键信息提取，得到初始关键信息；
为减少后续的数据处理量，本实施例将对后续分析有价值的数据内容提取出来，以方便后续的数据处理，被提取出的对后续分析有价值的数据内容即为初始关键信息。
标准化子模块1003，用于将所述初始关键信息进行格式标准化，得到关键信息；
通常报文数据是以特定协议形式传递的，为方便后续处理，需要将多种数据格式转换为统一的可读字符串类型，为后续的分析工作提供可直接使用的分析数据。作为一种可选的实施方式，初始关键信息可以转换为json、字典或数据框等形式。
其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
作为一种可选的实施方式，如图6所示，所述提取模块100还包括：
过滤子模块1004，用于滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；
若分析关键信息后，确定该关键信息与白名单有关，则判断该关键信息为正常，无需再参加后续的异常评分操作；另外，本实施例中分析的端口指传输层中的端口，即 TCP和 UDP 中的端口。若分析关键信息后，确定该关键信息的端口传输协议非TCP协议或UDP协议，则判断该关键信息没有继续分析的价值，无需参加后续的异常评分操作。如此，可提前将无后续分析价值的关键信息滤除，减少后续的数据处理量。
删除子模块1005，用于删除所述关键信息中不符合业务逻辑的关键信息；
TCP 和 UDP 中的端口以16 bit的数据来表示，它的个数有2的16次方（65536），即其端口号范围为0~65535。一般情况下不同的端口会运行不同的程序，例如HTTP服务默认运行在80端口上，HTTPS服务默认运行在443端口上，MYSQL服务默认运行在3306端口上。
不符合业务逻辑的关键信息指其端口号出现在0~65535之外的关键信息，这样的关键信息为异常的数据信息，需要预先删除避免对后续分析的干扰。
数据补充子模块1006，用于对所述关键信息中缺失端口数据的关键信息进行数据补充。
数据的补充指的是当接收到的关键信息中端口数据存在缺失时，需要尝试根据已有信息对缺失的端口数据进行补充。例如，已知一关键数据的来源服务为HTTP服务，当端口数据缺失时可以将HTTP服务默认端口（80）作为缺失的端口数据补充入所述关键信息。
作为一种可选的实施方式，所述目的IP端口特征值，至少包括以下的一种或几种：目的IP下被访问的端口中TOP20端口的数量，其中，所述TOP20端口指黑客访问频率最高的20个端口；目的IP下被访问的端口中TOP1000端口的数量，其中，所述TOP1000端口指黑客访问频率最高的1000个端口；目的IP下被访问的端口总数；目的IP下被访问的关闭端口的数量；目的IP下被访问的UDP端口数量。将上述各特征端口数量作为目的IP端口特征值。
作为一种可选的实施方式，图7是本发明实施例提供的标记模块的结构框图，如图7所示，所述标记模块300包括：
计算子模块3001，用于计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；
四分位算法指先将所有目的IP的异常得分降序排列，并将该数据集合分成相等的四个部分，其中每部分包括25%的数据，处在各等分点的数值就是四分位数。四分位数有三个，第一个四分位数Q1就是通常所说的四分位数，称为下四分位数，第二个四分位数Q2就是中位数，第三个四分位数Q3称为上四分位数。第三四分位数与第一四分位数的差距又称四分位距IQR。
阈值确定子模块3002，用于将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
本实施例中将第三四分位数Q3与三倍的四分位距IQR之和，即Q3+3IQR的值定义为异常得分阈值，将大于该异常的得分阈值的异常得分对应的地址认定为遭受网络扫描的IP地址。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的网络扫描检测方法。
上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
上述技术方案具有如下有益效果：将端口作为分析切入点，获取每个目的IP的多种端口特征值，并根据端口特征值对每个目的IP进行评分，根据不同目的IP的异常得分，区分不同IP的异常程度，再综合这些IP异常得分确定一个异常阈值，将超过该异常阈值的目的IP确定为遭受网络扫描的目的IP，对网络扫描的检测是根据不同数据动态调节的，且无需人工参与，使对网络扫描的检测更加准确。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种网络扫描检测方法，其特征在于，包括：
提取各报文数据中的目的IP以及相应的目的IP端口特征值；
其中，所述目的IP端口特征值包括以下的多种：目的IP下被访问的端口中TOP20端口的数量，其中，所述TOP20端口指黑客访问频率最高的20个端口；目的IP下被访问的端口中TOP1000端口的数量，其中，所述TOP1000端口指黑客访问频率最高的1000个端口；目的IP下被访问的端口总数；目的IP下被访问的关闭端口的数量；目的IP下被访问的UDP端口数量；
采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；
通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
2.根据权利要求1所述的网络扫描检测方法，其特征在于，所述提取各报文数据中的目的IP以及相应的目的IP端口特征值，包括：
根据所述各报文数据的数据源类型解析所述各报文数据；
对解析后的报文数据进行关键信息提取，得到初始关键信息；
将所述初始关键信息进行格式标准化，得到关键信息；
其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
3.根据权利要求2所述的网络扫描检测方法，其特征在于，所述将所述初始关键信息进行格式标准化，得到关键信息之后，还包括：
滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；
删除所述关键信息中不符合业务逻辑的关键信息；
对所述关键信息中缺失端口数据的关键信息进行数据补充。
4.根据权利要求1所述的网络扫描检测方法，其特征在于，所述通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，包括：
计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；
将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
5.一种网络扫描检测装置，其特征在于，包括：
提取模块，用于提取各报文数据中的目的IP以及相应的目的IP端口特征值；
其中，所述目的IP端口特征值包括以下的多种：目的IP下被访问的端口中TOP20端口的数量，其中，所述TOP20端口指黑客访问频率最高的20个端口；目的IP下被访问的端口中TOP1000端口的数量，其中，所述TOP1000端口指黑客访问频率最高的1000个端口；目的IP下被访问的端口总数；目的IP下被访问的关闭端口的数量；目的IP下被访问的UDP端口数量；
评分模块，用于采用孤立森林算法，根据各报文数据的目的IP端口特征值计算相应的所述目的IP的异常得分；
标记模块，用于通过四分位算法对所有目的IP的异常得分进行异常得分阈值计算，将大于所述异常得分阈值的所述目的IP的异常得分对应的目的IP标记为遭受网络扫描的目的IP。
6.根据权利要求5所述的网络扫描检测装置，其特征在于，所述提取模块，包括：
解析子模块，用于根据所述各报文数据的数据源类型解析所述各报文数据；
关键信息提取子模块，用于对解析后的报文数据进行关键信息提取，得到初始关键信息；
标准化子模块，用于将所述初始关键信息进行格式标准化，得到关键信息；
其中，所述关键信息至少包括所述目的IP以及相应的所述目的IP端口特征值。
7.根据权利要求6所述的网络扫描检测装置，其特征在于，所述提取模块还包括：
过滤子模块，用于滤除所述关键信息中与白名单关联的关键信息，或与TCP协议以及UDP协议无关的关键信息；
删除子模块，用于删除所述关键信息中不符合业务逻辑的关键信息；
数据补充子模块，用于对所述关键信息中缺失端口数据的关键信息进行数据补充。
8.根据权利要求5所述的网络扫描检测装置，其特征在于，所述标记模块包括：
计算子模块，用于计算所有目的IP的异常得分的第三四分位数Q3以及四分位距IQR；
阈值确定子模块，用于将所述第三四分位数Q3与三倍的所述四分位距IQR之和Q3+3IQR定义为所述异常得分阈值。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的网络扫描检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111090260.9A CN113542310B (zh) | 2021-09-17 | 2021-09-17 | 一种网络扫描检测方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111090260.9A CN113542310B (zh) | 2021-09-17 | 2021-09-17 | 一种网络扫描检测方法、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113542310A CN113542310A (zh) | 2021-10-22 |
| CN113542310B true CN113542310B (zh) | 2021-12-21 |
Family
ID=78093330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111090260.9A Active CN113542310B (zh) | 2021-09-17 | 2021-09-17 | 一种网络扫描检测方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542310B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115348097A (zh) * | 2022-08-18 | 2022-11-15 | 北京天融信网络安全技术有限公司 | 一种异常资产的获取方法、装置、电子设备和存储介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7908655B1 (en) * | 2005-08-16 | 2011-03-15 | Sprint Communications Company L.P. | Connectionless port scan detection on a network |
| US7930748B1 (en) * | 2005-12-29 | 2011-04-19 | At&T Intellectual Property Ii, L.P. | Method and apparatus for detecting scans in real-time |
| KR20090080741A (ko) * | 2008-01-22 | 2009-07-27 | 성균관대학교산학협력단 | 퍼지 로직 기반 비정상 트래픽 제어 시스템 및 그 방법 |
| CN101902349B (zh) * | 2009-05-27 | 2012-10-31 | 北京启明星辰信息技术股份有限公司 | 一种检测端口扫描行为的方法和系统 |
| CN102045251B (zh) * | 2009-10-20 | 2012-08-22 | 国基电子（上海）有限公司 | 路由器及tcp端口防御方法 |
| US9948661B2 (en) * | 2014-10-29 | 2018-04-17 | At&T Intellectual Property I, L.P. | Method and apparatus for detecting port scans in a network |
| CN106254368B (zh) * | 2016-08-24 | 2019-09-06 | 杭州迪普科技股份有限公司 | Web漏洞扫描的检测方法及装置 |
| CN107172064B (zh) * | 2017-06-08 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 数据访问控制方法、装置及服务器 |
| CN108900486B (zh) * | 2018-06-19 | 2020-11-27 | 杭州默安科技有限公司 | 一种扫描器指纹识别方法及其系统 |
| CN108667856B (zh) * | 2018-08-10 | 2021-01-26 | 广东电网有限责任公司 | 一种网络异常检测方法、装置、设备及存储介质 |
| CN110392034B (zh) * | 2018-09-28 | 2020-10-13 | 新华三信息安全技术有限公司 | 一种报文处理方法及装置 |
| US11316872B2 (en) * | 2019-01-30 | 2022-04-26 | Palo Alto Networks (Israel Analytics) Ltd. | Malicious port scan detection using port profiles |
| US11070569B2 (en) * | 2019-01-30 | 2021-07-20 | Palo Alto Networks (Israel Analytics) Ltd. | Detecting outlier pairs of scanned ports |
| US11184378B2 (en) * | 2019-01-30 | 2021-11-23 | Palo Alto Networks (Israel Analytics) Ltd. | Scanner probe detection |
| CN111092900B (zh) * | 2019-12-24 | 2022-04-05 | 北京北信源软件股份有限公司 | 服务器异常连接和扫描行为的监控方法和装置 |
| CN111314300B (zh) * | 2020-01-17 | 2022-03-22 | 广州华多网络科技有限公司 | 恶意扫描ip检测方法、系统、装置、设备和存储介质 |
| CN111698260B (zh) * | 2020-06-23 | 2022-10-11 | 上海观安信息技术股份有限公司 | 一种基于报文分析的dns劫持检测方法及系统 |
-
2021
- 2021-09-17 CN CN202111090260.9A patent/CN113542310B/zh active Active
Non-Patent Citations (6)
| Title |
|---|
| OA系统用户行为分析方法研究;王艺林;《中国优秀博硕士学位论文全文数据库》;20200215;全文 * |
| 一种电力工控网络指令异常分析方法;张明等;《南京理工大学学报》;20200515;全文 * |
| 基于多源数据及机器学习的威胁监测系统架构和功能设计;任竹艳;《电子技术与软件工程》;20210901;全文 * |
| 基于孤立森林的工控网络入侵防御系统的研究与应用;胡默迪;《中国优秀硕士学位论文全文数据库》;20210415;全文 * |
| 基于重点博文的突发事件检测方法;李东昊等;《计算机工程与应用》;20190318;全文 * |
| 网络信息动态采集策略的研究及应用;杨华;《中国优秀博硕士学位论文全文数据库》;20110815;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113542310A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483488B (zh) | 一种恶意Http检测方法及系统 | |
| CN107592312B (zh) | 一种基于网络流量的恶意软件检测方法 | |
| CN101414939B (zh) | 一种基于动态深度包检测的互联网应用识别方法 | |
| CN111277587A (zh) | 基于行为分析的恶意加密流量检测方法及系统 | |
| CN102420723A (zh) | 一种面向多类入侵的异常检测方法 | |
| EP2860937A1 (en) | Log analysis device, method, and program | |
| EP3905624A1 (en) | Botnet domain name family detecting method, apparatus, device, and storage medium | |
| CN111800430B (zh) | 一种攻击团伙识别方法、装置、设备及介质 | |
| CN114338195B (zh) | 基于改进孤立森林算法的web流量异常检测方法及装置 | |
| CN110611640A (zh) | 一种基于随机森林的dns协议隐蔽通道检测方法 | |
| CN110365636B (zh) | 工控蜜罐攻击数据来源的判别方法及装置 | |
| CN113328985B (zh) | 一种被动物联网设备识别方法、系统、介质及设备 | |
| Zhang et al. | Toward unsupervised protocol feature word extraction | |
| CN113542310B (zh) | 一种网络扫描检测方法、装置及计算机存储介质 | |
| CN114785563A (zh) | 一种软投票策略的加密恶意流量检测方法 | |
| CN114553591A (zh) | 随机森林模型的训练方法、异常流量检测方法及装置 | |
| CN106911665B (zh) | 一种识别恶意代码弱口令入侵行为的方法及系统 | |
| US20210152573A1 (en) | Cyberattack information analysis program, cyberattack information analysis method, and information processing apparatus | |
| CN117729137A (zh) | 一种网络流量数据的特征生成方法、装置及设备 | |
| CN113645215A (zh) | 异常网络流量数据的检测方法、装置、设备及存储介质 | |
| CN112073364A (zh) | 一种基于DPI的DDoS攻击识别方法、系统、设备及可读存储介质 | |
| CN116668145A (zh) | 一种基于工控协议通信模型的工控设备厂商识别方法 | |
| CN116170227A (zh) | 一种流量异常的检测方法、装置、电子设备及存储介质 | |
| CN109190408B (zh) | 一种数据信息的安全处理方法及系统 | |
| CN112929364B (zh) | 一种基于icmp隧道分析的数据泄漏检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |