CN113612657A - 一种异常http连接的检测方法 - Google Patents
一种异常http连接的检测方法 Download PDFInfo
- Publication number
- CN113612657A CN113612657A CN202110876741.6A CN202110876741A CN113612657A CN 113612657 A CN113612657 A CN 113612657A CN 202110876741 A CN202110876741 A CN 202110876741A CN 113612657 A CN113612657 A CN 113612657A
- Authority
- CN
- China
- Prior art keywords
- http
- http connection
- time
- group
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000002776 aggregation Effects 0.000 claims abstract description 16
- 238000004220 aggregation Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000006872 improvement Effects 0.000 description 10
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100391180 Dictyostelium discoideum forG gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种异常HTTP连接的检测方法，步骤S1：在交换机镜像端口设置流量采集器采集流量，再解析出基于HTTP连接的网络元数据并去除敏感信息再存储；步骤S2：利用历史数据，根据时间戳及HTTP请求路径进行分组聚合运算，划分出多个HTTP连接组，并计算每个组特征值统计量，通过机器学习创建基于所述的HTTP连接组检测异常HTTP连接的检测模型；步骤S3：对HTTP连接进行分组聚合运算，采用检测模型，判断出每组HTTP连接是否异常；步骤S4：将检测结果相关数据即时反馈到检测模型并实时更新检测模型，然后再依序循环执行前述步骤。本技术方案能够实现无需人工分析业务数据，节省了人力，同时会根据数据不断调整优化检测模型，检测准确率高。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种异常HTTP连接的检测方法。
背景技术
超文本传输协议（HyperText Transfer Protocol，简写为HTTP），是互联网上应用最为广泛的一种网络应用层协议。HTTP协议是基于TCP/IP协议之上，用于规范客户端于服务端之间的通讯格式，而不关心具体传输细节。正是由于其广泛使用及灵活性，存在相当多的针对HTTP协议的攻击手段，比如拒绝服务攻击、撞库攻击、漏洞扫描攻击等。
目前针对这些攻击手段的传统方法有：阈值限制，即通过人工观察数据后设置阈值，短时间内流量或连接数大于阈值则进行限制（如网络四层防火墙），但该方法根据阈值的设置，可能出现大量的误报、漏报，从而严重影响正常业务流量。还有正则匹配，即由专家预先针对已有攻击手段编写正则表达式规则，并对每一个数据包进行匹配（如网站应用防火墙）。该方法针对未知的攻击没有应对能力，而且需要对每个包对进行分析，检测速度慢，随着规则的增多，可能出现规则间的冲突，难以维护。因为要对数据包内容进行检测，还存在数据隐私问题。
随着人工智能技术的发展，也出现了很多在传统方法上优化了的机器学习的方法，比如同样需要对每个包分析的文本特征识别。该方法取代了专家的人工分析，改由机器自动识别异常连接的文本特征，因此同样无法正则匹配规则检测时出现的问题。基于阈值限制的机器学习算法，通常为根据历史数据的无监督学习，不同于有监督学习，该方法无需前期的人工，对未知攻击也有一定的抗衡能力。该方法需要解决的问题是，数据的特征选择问题，这直接影响到聚类的结果；此外，还需要考虑到算法复杂度、模型的时效性等问题。除了在网络安全，异常HTTP连接的检测同样可以应用在商业智能、系统运维。
发明内容
本发明目的是为了克服现有技术的不足而提供一种误报少、漏报率低、降低计算复杂度且检测效率高的异常HTTP连接的检测方法。
下述文档中涉及到的英文所对应的中文解释如下：∈是数学符号为“∈”，指属于关系表达，表示元素和集合之间的关系；若a∈A，则a属于集合A，a是集合A中的元素；若a∉A，则a不属于集合A，a不是集合A中的元素。
为达到上述目的，本发明采用了如下技术方案。
一种异常HTTP连接的检测方法，具体包括以下步骤：
步骤S1：在交换机镜像端口设置流量采集器采集流量，再从旁路采集到的网络全流量中，解析出基于HTTP连接的网络元数据并去除敏感信息再存储；
步骤S2：利用历史数据，基于所述HTTP连接，根据时间戳及HTTP请求路径进行分组聚合运算，划分出多个HTTP连接组，并计算每个组特征值统计量，通过机器学习创建基于所述的HTTP连接组检测异常HTTP连接的检测模型；
步骤S3：在实时流量环境下，对HTTP连接进行分组聚合运算，采用检测模型，判断出每组HTTP连接是否异常；
步骤S4：将检测结果相关数据即时反馈到检测模型，并实时更新检测模型的计算参数，然后再依序循环执行步骤S1至步骤S4。
作为本发明的进一步改进，所述解析出基于HTTP连接的网络元数据具体为以一次包含进出的HTTP连接为单位存储，描述一次HTTP连接的关键数据，包括但不限于时间戳、HTTP请求路径、HTTP响应状态码、载荷信息的字节数、通讯使用的包数和连接数，其中通过载荷信息的字节数、通讯使用的包数可以区分进出方向。
作为本发明的进一步改进，所述步骤S2中分组聚合运算具体包括根据预设的时间区间长度L以及基于时间戳，对所述HTTP连接进行第一次分组，得到第一次分组的HTTP连接组G1；使得对于任意一组HTTP连接gi，gi∈G1，存在一组时间戳ti∈gi，对任意tij∈ti，有tij∈[T0+(i-1)*L, T0+i*L)，T0是初始时间，i和j为任意正整数。
作为本发明的进一步改进，所述步骤S2中分组聚合运算在进行第一次分组处理后，根据预设的HTTP请求路径深度P，基于HTTP请求路径，对权利要求4所述的G1进行第二次分组，得到第二次分组的HTTP连接组G2；使得对于任意一组HTTP连接gi，gi∈G2，存在一组HTTP请求路径pi∈gi，对任意pij, pik∈pi，有‘/’分割后的前P部分相同，即pij[0:P] =pik[0:P]，其中i, j, k为任意正整数。
作为本发明的进一步改进，所述步骤S2中分组聚合运算通过计算每个分组的数值指标，得到第一次聚合的HTTP连接组G3；使得对于任意一组HTTP连接gi，gi∈G3，令mi∈{pi, ipi, opi, bi, ibi, obi, fi}，其中pi, ipi, opi, bi, ibi, obi, fi∈gi，分别为Packet、Inpacket、Outpacket、Byte、Inbyte、Outbyte、Flow，则数值指标为SUM(mi)，其中SUM()为和值，i为任意正整数。
作为本发明的进一步改进，所述步骤S3根据预设的时间周期T，基于时间戳和第一次聚合的HTTP连接组G3，得到第三次分组的HTTP连接组G4；使得对于任意一组HTTP连接gi，gi∈G4，存在一组时间戳ti，使得对于任意两个时间戳tij, tik∈ti，有:
tij = tik + n * T
其中i, j, k为任意正整数，n为任意整数；此外，根据每组的时间戳所在时间周期T的位置进行编号，则编号从1到T/L。
作为本发明的进一步改进，所述步骤S3对所述第三次分组的HTTP连接组G4进行聚合，计算每一组数值指标的统计量，得到第二次聚合的HTTP连接组G5；使得对于任意一组HTTP连接gi，gi∈G5，存在一组数值指标mi∈gi，计算mi的统计量，其中数据分布指标可以是中位数χi和绝对中值差γi或均值μi和标准差σi。
作为本发明的进一步改进，对任意gi∈G5，有数据分布指标为均值μi∈gi和标准差σi∈gi，则拟合正太分布：Xi ~ N(μi,σi2)或有数据分布指标为中位数χi∈gj和绝对中值差γi∈gj，则拟合柯西分布：Xi ~ C(γi , χi)。
作为本发明的进一步改进，所述步骤S3检测异常HTTP连接的检测模型是通过在实时流量环境中，采集时间长度为L的HTTP元数据，作为待检测的HTTP连接元数据；对待检测的HTTP连接元数据，进行分组聚合运算，得到待检测的HTTP连接组G；使得对于任意一组HTTP连接组gi，gi∈G，gi仅有一条记录，包含的数据有，时间区间编号、时间戳、HTTP请求路径、数值指标。
作为本发明的进一步改进，所述步骤S3检测异常HTTP连接的检测模型是通过对任意gi∈G，存在gj∈G5，使得：ni = nj，pi = pj；其中，时间区间编号ni∈gi，nj∈gj，HTTP请求路径pi∈gi，pj∈gj；当数值指标mi在分布Xj∈gj中的概率小于概率阈值时，则将该待检测HTTP连接组G标记为异常的HTTP连接组。
作为本发明的进一步改进，所述步骤S4的实时更新检测模型是对任意gi∈G，存在gj∈G4，使得：ni = nj，pi = pj；其中，时间区间编号ni∈gi，nj∈gj，HTTP请求路径pi∈gi，pj∈gj；将gi合并到gj，完成对G4的更新；然后按照前述聚合计算G4，再更新得到G5，最后完成对检测模型的更新。
由于上述技术方案的运用，本发明的技术方案带来的有益技术效果：本技术方案不需要解析和存储HTTP载荷信息，保护客户数据的隐私，减少了存储资源消耗；本技术方案经过转换后的特征值可以使用简单的概率分布拟合，降低了计算量，提高了检测速度；本技术方案利用低复杂度的检测模型构建方法，使得模型可以动态更新，提高了鲁棒性和准确度；本技术方案的检测模型使用无监督学习，无需前期的人工先验知识对数据进行分析，部署方便且利用广泛性强。
具体实施方式
下面结合反应路线及具体实施例对本发明作进一步的详细说明。
1. 旁路流量采集及去敏存储
通过在交换机旁路部署高性能的流量采集器采集流量，以达到不影响原业务流量的情况下，实时监控全流量。具体方法如下：
1) 在交换机镜像端口部署高性能的流量采集器采集流量；
2) 分离出HTTP协议的流量信息，将使用HTTP协议的请求包和对应的响应包作为一次HTTP连接记录。每条HTTP连接可以用以下元数据来描述：
(Timestamp, SIP, Sport, DIP, Dport, Path, Status, Byte, Inbyte,Outbyte, Packet, Inpacket, Outpacket, Flow)
其中，
Timestamp： 识别到服务端发出的响应包的时间；
SIP：IP层源地址；
Sport：TCP层源端口；
DIP：IP层目的地址；
Dport：TCP层目的端口；
Path：HTTP请求路径；
Status：HTTP返回状态码；
Byte：总字节数；
Inbyte：客户端发出字节数；
Outbyte：服务端发出字节数；
Packet：总包数；
Inpacket：客户端发出包数；
Outpacket：服务端发出包数；
Flow：连接数。
3) 以一条HTTP为单元存储数据，此时已完成对流量信息解析以及去敏。
2. 检测模型的构建
2.1. 特征值的转换
1) 选择一个时间长度L，基于Timestamp，对所述HTTP连接进行第一次分组，得到第一次分组的HTTP连接组G 1 ，使得对于任意一组HTTP连接g i ，g i ∈G 1 ，存在一组时间戳t i ∈g i ，对任意t ij ∈t i ，有t ij ∈[T 0 +(i-1)*L, T 0 +i*L)，T 0 是初始时间（通常为0点），i, j为任意正整数。
2) 选择一个HTTP请求路径深度P，基于Path，对G 1 进行第二次分组，得到第二次分组的HTTP连接组G 2 ，使得对于任意一组HTTP连接g i ，g i ∈G 2 ，存在一组HTTP请求路径p i ∈g i ，对任意p ij , p ik ∈p i ，有‘/’分割后的前P部分相同，即p ij [0:P] = p ik [0:P]，其中i, j, k为任意正整数。
3) 对G 2 进行聚合，计算每个分组的数值指标Metrics，得到第一次聚合的HTTP连接组G 3 。使得对于任意一组HTTP连接g i ，g i ∈G 3 ，令m i ∈{p i , ip i , op i , b i , ib i , ob i , f i }，其中p i , ip i , op i , b i , ib i , ob i , f i ∈g i ，分别为Packet、Inpacket、Outpacket、Byte、Inbyte、Outbyte、Flow。则Metrics = SUM(m i )，其中SUM()为和值，i为任意正整数。
4) 选择一个时间周期T，基于Timestamp，对G 3 进行分组，得到第三次分组的HTTP连接组G 4 。使得对于任意一组HTTP连接g i ，g i ∈G 4 ，存在一组Timestamp t i ，使得对于任意两个Timestamp t ij , t ik ∈t i ，有t ij = t ik + n * T，其中i, j, k为任意正整数，n为任意整数。此外，根据每组的Timestamp所在时间周期T的位置进行编号ID，则ID从1到T/L。比如，时间周期T为1小时，时间长度L为5分钟，则[0, 5)编号为1，[55, 60)编号为12。
5) 特征值转换过程的类SQL语句如下：
SELECT
Timestamp, Path, ID,
(SUM(Byte), SUM(Inbyte), SUM(Outbyte),
SUM(Packet), SUM(Inpacket), SUM(Outpacket),
SUM(Flow) ) AS Metrics
FROM
Metadata
GROUP BY
Date_histogram(Timestamp, L, T) AS ID,
Prematch(Path, /, P)
其中，SUM()为求和方法；Metadata为HTTP连接元数据；Date_histogram(Timestamp, L, T)为Timestamp分组方法，Prematch(Path, /, P)为Path的分组方法。
2.2. 检测模型的生成
1) 对G 4 进行聚合，计算每一组Metrics的统计量，得到第二次聚合的HTTP连接组G 5 。使得对于任意一组HTTP连接g i ，g i ∈G 5 ，存在一组Metrics m i ∈g i ，计算m i 的统计量，其中Metrics的统计量可以是中位数χ i 和绝对中值差γ i ，或均值μ i 和标准差σ i 。
2) 对任意g i ∈G 5 ，有数据分布指标为均值μ i ∈g i 和标准差σ i ∈g i ，则拟合正太分布：
X i ~ N(μ i ,σ i 2 )
此时有概率密度函数：
或有数据分布指标为中值χ i ∈g j 和绝对中值差γ i ∈g j ，则拟合柯西分布：
X i ~ C(γ i , χ i )
此时有概率密度函数：
3. 检测模型利用及更新
3.1. 实时流量检测
1) 实时流量环境中，采集时间长度为L的HTTP连接元数据，作为待检测的HTTP连接元数据。对待检测的HTTP连接元数据，进行分组聚合运算，具体步骤同2.1，得到待检测的HTTP连接组G。使得对于任意一组HTTP连接组g i ，g i ∈G，显然g i 仅有一条记录，包含的数据有，ID、Timestamp、Path、Metrics。
2) 对任意g i ∈G，存在g j ∈G 5 ，使得：n i = n j ，p i = p j 。其中，ID n i ∈g i ，n j ∈g j ，Pathp i ∈g i ，p j ∈g j 。当Metrics m i 在分布X j ∈g j 中的概率：
或
小于概率阈值时，即m i 过大或者过小时，则将该待检测HTTP连接组G标记为异常的HTTP连接组。
对于标记为异常的HTTP连接组，通过Timestamp、Path可以在HTTP连接的元数据中回溯到攻击的详细细节。
3.2. 检测模型更新
对任意g i ∈G，存在g j ∈G 4 ，使得：n i = n j ，p i = p j 。其中，时间区间编号n i ∈g i ，n j ∈g j ，HTTP请求路径p i ∈g i ，p j ∈g j 。将g i 合并到g j ，完成对G 4 的更新，然后按照2.2重新生成模型。
本发明利用根据历史数据无监督学习创建的模型对实时数据进行检测，无需人工分析业务数据，节省了人力;同时，会根据数据不断调整优化检测模型，以提高检测准确率;可应用在检测DDoS攻击、HTTP撞库攻击，漏洞扫描利用，监控服务器状态的运维等出现HTTP连接数、字节数、包数急剧变化的场景。
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。
Claims (10)
1.一种异常HTTP连接的检测方法，其特征在于，具体包括以下步骤：
步骤S1：在交换机镜像端口设置流量采集器采集流量，再从旁路采集到的网络全流量中，解析出基于HTTP连接的网络元数据并去除敏感信息再存储；
步骤S2：利用历史数据，基于所述HTTP连接，根据时间戳及HTTP请求路径进行分组聚合运算，划分出多个HTTP连接组，并计算每个组特征值统计量，通过机器学习创建基于所述的HTTP连接组检测异常HTTP连接的检测模型；
步骤S3：在实时流量环境下，对HTTP连接进行分组聚合运算，采用检测模型，判断出每组HTTP连接是否异常；
步骤S4：将检测结果相关数据即时反馈到检测模型，并实时更新检测模型的计算参数，然后再依序循环执行步骤S1至步骤S4。
2.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述解析出基于HTTP连接的网络元数据具体为以一次包含进出的HTTP连接为单位存储，描述一次HTTP连接的关键数据，包括但不限于时间戳、HTTP请求路径、HTTP响应状态码、载荷信息的字节数、通讯使用的包数和连接数，其中通过载荷信息的字节数、通讯使用的包数可以区分进出方向。
3.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：
所述步骤S2中分组聚合运算具体包括根据预设的时间区间长度L以及基于时间戳，对所述HTTP连接进行第一次分组，得到第一次分组的HTTP连接组G1；使得对于任意一组HTTP连接gi，gi∈G1，存在一组时间戳ti∈gi，对任意tij∈ti，有tij∈[T0+(i-1)*L， T0+i*L)，T0是初始时间，i和j为任意正整数；
所述步骤S2中分组聚合运算在进行第一次分组处理后，根据预设的HTTP请求路径深度P，基于HTTP请求路径，对权利要求4所述的G1进行第二次分组，得到第二次分组的HTTP连接组G2；使得对于任意一组HTTP连接gi，gi∈G2，存在一组HTTP请求路径pi∈gi，对任意pij，pik∈pi，有‘/’分割后的前P部分相同，即pij[0:P] = pik[0:P]，其中i， j， k为任意正整数。
4.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S2中分组聚合运算通过计算每个分组的数值指标，得到第一次聚合的HTTP连接组G3；使得对于任意一组HTTP连接gi，gi∈G3，令mi∈{pi， ipi， opi， bi， ibi， obi， fi}，其中pi， ipi，opi， bi， ibi， obi， fi∈gi，分别为Packet、Inpacket、Outpacket、Byte、Inbyte、Outbyte、Flow，则数值指标为SUM(mi)，其中SUM()为和值，i为任意正整数。
5.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S3根据预设的时间周期T，基于时间戳和第一次聚合的HTTP连接组G3，得到第三次分组的HTTP连接组G4；使得对于任意一组HTTP连接gi，gi∈G4，存在一组时间戳ti，使得对于任意两个时间戳tij， tik∈ti，有:
tij = tik + n * T，
其中i， j， k为任意正整数，n为任意整数；此外，根据每组的时间戳所在时间周期T的位置进行编号，则编号从1到T/L。
6.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S3对所述第三次分组的HTTP连接组G4进行聚合，计算每一组数值指标的统计量，得到第二次聚合的HTTP连接组G5；使得对于任意一组HTTP连接gi，gi∈G5，存在一组数值指标mi∈gi，计算mi的统计量，其中数据分布指标可以是中位数χi和绝对中值差γi或均值μi和标准差σi。
7.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：对任意gi∈G5，有数据分布指标为均值μi∈gi和标准差σi∈gi，则拟合正太分布：Xi ~ N(μi，σi2)或有数据分布指标为中位数χi∈gj和绝对中值差γi∈gj，则拟合柯西分布：Xi ~ C(γi ， χi)。
8.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S3检测异常HTTP连接的检测模型是通过在实时流量环境中，采集时间长度为L的HTTP元数据，作为待检测的HTTP连接元数据；对待检测的HTTP连接元数据，进行分组聚合运算，得到待检测的HTTP连接组G；使得对于任意一组HTTP连接组gi，gi∈G，gi仅有一条记录，包含的数据有，时间区间编号、时间戳、HTTP请求路径、数值指标。
9.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S3检测异常HTTP连接的检测模型是通过对任意gi∈G，存在gj∈G5，使得：ni = nj，pi = pj；其中，时间区间编号ni∈gi，nj∈gj，HTTP请求路径pi∈gi，pj∈gj；当数值指标mi在分布Xj∈gj中的概率小于概率阈值时，则将该待检测HTTP连接组G标记为异常的HTTP连接组。
10.根据权利要求1所述的一种异常HTTP连接的检测方法，其特征在于：所述步骤S4的实时更新检测模型是对任意gi∈G，存在gj∈G4，使得：ni = nj，pi = pj；其中，时间区间编号ni∈gi，nj∈gj，HTTP请求路径pi∈gi，pj∈gj；将gi合并到gj，完成对G4的更新；然后按照前述聚合计算G4，再更新得到G5，最后完成对检测模型的更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876741.6A CN113612657A (zh) | 2021-07-31 | 2021-07-31 | 一种异常http连接的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876741.6A CN113612657A (zh) | 2021-07-31 | 2021-07-31 | 一种异常http连接的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113612657A true CN113612657A (zh) | 2021-11-05 |
Family
ID=78306343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110876741.6A Pending CN113612657A (zh) | 2021-07-31 | 2021-07-31 | 一种异常http连接的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113612657A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116418599A (zh) * | 2023-06-09 | 2023-07-11 | 北京安帝科技有限公司 | 一种基于工业交换机的报文检测方法及装置 |
| WO2024000903A1 (zh) * | 2022-06-30 | 2024-01-04 | 方未科技（荷兰） | 一种流量检测方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105337985A (zh) * | 2015-11-19 | 2016-02-17 | 北京师范大学 | 一种攻击检测方法及系统 |
| CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
| CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
| JP2018133004A (ja) * | 2017-02-16 | 2018-08-23 | 日本電信電話株式会社 | 異常検知システム及び異常検知方法 |
| CN111526141A (zh) * | 2020-04-17 | 2020-08-11 | 福州大学 | 基于Word2vec和TF-IDF的Web异常检测方法与系统 |
| CN111654487A (zh) * | 2020-05-26 | 2020-09-11 | 南京云利来软件科技有限公司 | 一种基于旁路网络全流量与行为特征dga域名识别方法 |
| CN112565270A (zh) * | 2020-12-08 | 2021-03-26 | 国网湖南省电力有限公司 | Http会话异常检测方法及检测系统 |
-
2021
- 2021-07-31 CN CN202110876741.6A patent/CN113612657A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105337985A (zh) * | 2015-11-19 | 2016-02-17 | 北京师范大学 | 一种攻击检测方法及系统 |
| CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
| JP2018133004A (ja) * | 2017-02-16 | 2018-08-23 | 日本電信電話株式会社 | 異常検知システム及び異常検知方法 |
| CN107454109A (zh) * | 2017-09-22 | 2017-12-08 | 杭州安恒信息技术有限公司 | 一种基于http流量分析的网络窃密行为检测方法 |
| CN111526141A (zh) * | 2020-04-17 | 2020-08-11 | 福州大学 | 基于Word2vec和TF-IDF的Web异常检测方法与系统 |
| CN111654487A (zh) * | 2020-05-26 | 2020-09-11 | 南京云利来软件科技有限公司 | 一种基于旁路网络全流量与行为特征dga域名识别方法 |
| CN112565270A (zh) * | 2020-12-08 | 2021-03-26 | 国网湖南省电力有限公司 | Http会话异常检测方法及检测系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000903A1 (zh) * | 2022-06-30 | 2024-01-04 | 方未科技（荷兰） | 一种流量检测方法、装置、设备及可读存储介质 |
| CN116418599A (zh) * | 2023-06-09 | 2023-07-11 | 北京安帝科技有限公司 | 一种基于工业交换机的报文检测方法及装置 |
| CN116418599B (zh) * | 2023-06-09 | 2023-09-15 | 北京安帝科技有限公司 | 一种基于工业交换机的报文检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111277570A (zh) | 数据的安全监测方法和装置、电子设备、可读介质 | |
| US20180020015A1 (en) | System and method for automated network monitoring and detection of network anomalies | |
| US8813220B2 (en) | Methods and systems for internet protocol (IP) packet header collection and storage | |
| CN102271091B (zh) | 一种网络异常事件分类方法 | |
| CN113645232B (zh) | 一种面向工业互联网的智能化流量监测方法、系统及存储介质 | |
| CN108833376B (zh) | 面向软件定义网络的DoS攻击检测方法 | |
| US8762515B2 (en) | Methods and systems for collection, tracking, and display of near real time multicast data | |
| CN113612657A (zh) | 一种异常http连接的检测方法 | |
| CN109766695A (zh) | 一种基于融合决策的网络安全态势感知方法和系统 | |
| WO2023071761A1 (zh) | 一种异常定位方法及装置 | |
| CN115776449B (zh) | 列车以太网通信状态监测方法及系统 | |
| Su et al. | Hierarchical clustering based network traffic data reduction for improving suspicious flow detection | |
| CN113660209B (zh) | 一种基于sketch与联邦学习的DDoS攻击检测系统及应用 | |
| CN112688822A (zh) | 基于多点协同的边缘计算故障或安全威胁监测系统与方法 | |
| CN117395076B (zh) | 基于大数据的网络感知异常检测系统与方法 | |
| CN117375982B (zh) | 一种网络态势安全监测系统 | |
| CN111935063A (zh) | 一种终端设备异常网络访问行为监测系统及方法 | |
| CN101741608A (zh) | 一种基于流量特征的p2p应用识别系统及方法 | |
| CN114866485A (zh) | 一种基于聚合熵的网络流量分类方法及分类系统 | |
| WO2020020098A1 (zh) | 网络流测量的方法、网络测量设备以及控制面设备 | |
| CN111800389A (zh) | 基于贝叶斯网络的港口网络入侵检测方法 | |
| CN112039906A (zh) | 一种面向云计算的网络流量异常检测系统及方法 | |
| CN112395608A (zh) | 网络安全威胁监测方法、装置和可读存储介质 | |
| CN116155581A (zh) | 一种基于图神经网络的网络入侵检测方法与装置 | |
| CN116170208A (zh) | 一种基于半监督isodata算法的网络入侵实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230328 Address after: Room 101, No. 163, Pingyun Road, Tianhe District, Guangzhou City, Guangdong Province 510000 Room 103, self-made Applicant after: GUANGZHOU RADIO AND TELEVISION RESEARCH INSTITUTE Co.,Ltd. Address before: Room 302, building 5, No. 27, Yanling lane, Qinhuai District, Nanjing, Jiangsu 210000 Applicant before: NANJING CLEARCLOUD SOFTWARE TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211105 |
|
| RJ01 | Rejection of invention patent application after publication |