CN117097578A - 一种网络流量的安全监控方法、系统、介质及电子设备 - Google Patents

一种网络流量的安全监控方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN117097578A
CN117097578A CN202311365742.XA CN202311365742A CN117097578A CN 117097578 A CN117097578 A CN 117097578A CN 202311365742 A CN202311365742 A CN 202311365742A CN 117097578 A CN117097578 A CN 117097578A
Authority
CN
China
Prior art keywords
target
flow
flow data
data set
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311365742.XA
Other languages
English (en)
Other versions
CN117097578B (zh
Inventor
黄怿
李明昊
吕行
赵丹阳
乔亚杰
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhuwei Intelligent Technology Co ltd
Original Assignee
Hangzhou Zhuwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuwei Intelligent Technology Co ltd filed Critical Hangzhou Zhuwei Intelligent Technology Co ltd
Priority to CN202311365742.XA priority Critical patent/CN117097578B/zh
Publication of CN117097578A publication Critical patent/CN117097578A/zh
Application granted granted Critical
Publication of CN117097578B publication Critical patent/CN117097578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络流量的安全监控方法、系统、介质及电子设备,方法包括:当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;基于处理结果,判断目标流量数据集中是否存在异常网络流量;若存在,则拦截异常网络流量,生成异常网络流量的预警信息反馈至预警终端。由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性。

Description

一种网络流量的安全监控方法、系统、介质及电子设备
技术领域
本申请涉及网络安全技术领域,特别涉及一种网络流量的安全监控方法、系统、介质及电子设备。
背景技术
随着服务端系统平台的规模越来越大,造成了网络设备量级越来越高,并且网络流量中包含了大量重要有价值的信息,使得对网络中的流量进行网络流量分析是十分重要的。网络流量分析在网络安全中占有重要的地位,网络流量分析能够应用于安全攻防领域,除了为网络层异常检测和拦截上提供有效数据,还对于主机安全、应用安全都能起到不错的补充增强作用,因此有效的分析识别和管理网络上的流量变得愈发重要。
在现有技术中,在基于TCP/IP的互联网网络中,网络流量可以按照网络的应用类型将网络通信产生的流量划分为双向TCP流或UDP流,对双向TCP流或UDP流进行安全监控目前采用动态端口、协议加密等方法进行分析,该方式基于网络流量中的存在的关键字进行分析,在单一系统中该方式可满足监控需求,但是在目前规模庞大的服务端系统平台中,数据类型千变万化,基于关键字的方式会造成大量异常数据流无法拦截,从而降低了平台系统的安全性。
发明内容
本申请实施例提供了一种网络流量的安全监控方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种网络流量的安全监控方法,方法包括:
当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;
根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;
基于处理结果,判断目标流量数据集中是否存在异常网络流量;
在目标流量数据集中存在异常网络流量的情况下,拦截异常网络流量,并生成异常网络流量的预警信息反馈至预警终端。
可选的,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集,包括:
基于流量采集组件捕获目标服务端的待传输网络流量;流量采集组件至少包括流量采集软件、网络设备、基于端口的镜像以及集线器;
对待传输网络流量进行异常数据清理、异常记录修订以及空缺值处理,得到清洗后的待传输网络流量;
通过Z-score规范化算法对清洗后的待传输网络流量进行规范化处理,得到目标流量数据集。
可选的,预先构建的网络流量安全监控模型包括关联关系挖掘层、流量数据集分类层、流参数值获取层、流分险值计算层以及参数输出层;
根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果,包括:
关联关系挖掘层对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系;
流量数据集分类层根据关联关系,对目标流量数据集进行分类,得到多类流量数据;
流参数值获取层获取各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;
流分险值计算层根据各类流量数据的流参数值,计算各类流量数据的流分险值;
参数输出层将各类流量数据的流分险值作为处理结果进行输出。
可选的,对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系,包括:
确定目标流量数据集中每个目标流量包含的参数标识;
将每个目标流量包含的参数标识进行归并,以及将归并的参数标识进行去重,得到多个目标参数标识;
计算每个目标参数标识的支持率,并根据每个目标参数标识的支持率,确定每个目标流量的关联系数;
基于每个目标流量的关联系数,计算目标流量数据集中任意两个目标流量数据的关联系数的目标差值;
建立目标差值小于预设阈值的任意两个目标流量数据之间的连接线,得到目标流量数据集的关联关系。
可选的,计算每个目标参数标识的支持率,包括:
统计每个目标参数标识在目标流量数据集的出现次数,得到每个目标参数标识的出现次数;
将每个目标参数标识的出现次数与目标流量数据集的目标流量总数量之间的比值,确定为每个目标参数标识的支持率。
可选的,根据关联关系,对目标流量数据集进行分类,得到多类流量数据,包括:
遍历关联关系,对于遍历到的每个目标流量数据,均获取目标流量数据和与其关联的其他目标流量数据,得到每个目标流量数据的待判定数据流量集;
将每个目标流量数据的待判定数据流量集输入预先训练的流量分类模型中,输出每个目标流量数据对应的分类结果;
基于每个目标流量数据对应的分类结果,将同一分类结果的目标流量数据进行合并,得到多类流量数据;其中,
按照以下步骤生成预先训练的流量分类模型,包括:
收集预设周期内的历史流量数据;
根据历史流量数据,统计每种预设类型的流量数据;
针对每种预设类型的流量数据标注分类标签,得到模型训练样本;
建立流量分类模型,并根据模型训练样本以及无监督的贝叶斯识别技术对流量分类模型进行训练,得到模型损失值;
在模型损失值到达最小时,生成预先训练的流量分类模型。
可选的,根据各类流量数据的流参数值,计算各类流量数据的流分险值,包括:
获取各类流量数据传输的目标地址;
解析目标地址所指示的用于传输到目标设备的设备信息;
在预设动态风险映射表中确定设备信息对应的设备分险系数;
根据设备分险系数以及流持续时间、平均包长、平均间隔时间,计算各类流量数据的流分险值;其中,
流分险值计算公式为:
;其中,
为流分险值,/>为设备分险系数,/>为流持续时间,/>为平均包长、/>为平均间隔时间,/>、/>、/>、/>为预先设置的权重参数,且/>、/>、/>、/>分别在区间(0,1)之间以及/>、/>、/>、/>的权重和为1。
第二方面,本申请实施例提供了一种网络流量的安全监控系统,系统包括:
待传输网络流量捕获模块,用于当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;
流量数据集多层级处理模块,用于根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;
异常网络流量判断模块,用于基于处理结果,判断目标流量数据集中是否存在异常网络流量;
异常网络流量拦截预警模块,用于在目标流量数据集中存在异常网络流量的情况下,拦截异常网络流量,并生成异常网络流量的预警信息反馈至预警终端。
第三方面,本申请实施例提供一种计算机存储介质,计算机存储介质存储有多条指令,指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,存储器存储有计算机程序,计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,网络流量的安全监控系统首先当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;然后根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;其次基于处理结果,判断目标流量数据集中是否存在异常网络流量;最后在目标流量数据集中存在异常网络流量的情况下,生成异常网络流量的预警信息反馈至预警终端。由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种网络流量的安全监控方法的流程示意图;
图2是本申请实施例提供的一种预先构建的网络流量安全监控模型的模型架构示意图;
图3是本申请实施例提供的一种目标流量数据集中每个目标流量包含的参数标识的标识示意图;
图4是本申请实施例提供的一种目标参数标识的支持率示意图;
图5是本申请实施例提供的一种流量分类模型生成过程示意图;
图6是本申请实施例提供的一种网络流量的安全监控过程的过程示意框图;
图7是本申请实施例提供的一种网络流量的安全监控系统的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
目前,在基于TCP/IP的互联网网络中,网络流量可以按照网络的应用类型将网络通信产生的流量划分为双向TCP流或UDP流,对双向TCP流或UDP流进行安全监控目前采用动态端口、协议加密等方法进行分析。
本申请的发明人注意到,该方式基于网络流量中的存在的关键字进行分析,在单一系统中该方式可满足监控需求,但是在目前规模庞大的服务端系统平台中,数据类型千变万化,基于关键字的方式会造成大量异常数据流无法拦截,从而降低了平台系统的安全性。
为了能够解决平台系统的安全性低的问题,本申请提供了一种网络流量的安全监控方法、系统、介质及电子设备,以解决上述相关技术问题中存在的问题。本申请提供的技术方案中,由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性,下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图6,对本申请实施例提供的网络流量的安全监控方法进行详细介绍。该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的网络流量的安全监控系统上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
请参见图1,为本申请实施例提供了一种网络流量的安全监控方法的流程示意图。如图1所示,本申请实施例的方法可以包括以下步骤:
S101,当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;
其中,目标服务端是部署了目标企业所开发系统平台的服务器,企业所开发系统平台可以是集群式的大规模软件系统,也可以是单点服务的小规模软件系统,本申请对集群式的大规模软件系统可以精确的进行安全监控。网络流量是服务器上所部署的系统平台在网络上所传输的流动数据。
在本申请实施例中,通过流量探针在感知到目标服务端上部署的系统平台存在待传输的流动数据时,此时捕获目标服务端的待传输网络流量,以及对捕获的待传输网络流量进行预处理,预处理结束后得到目标流量数据集。
在本申请实施例中,在捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集时,首先基于流量采集组件捕获目标服务端的待传输网络流量;流量采集组件至少包括流量采集软件、网络设备、基于端口的镜像以及集线器;然后对待传输网络流量进行异常数据清理、异常记录修订以及空缺值处理,得到清洗后的待传输网络流量;最后通过Z-score规范化算法对清洗后的待传输网络流量进行规范化处理,得到目标流量数据集。
具体的,流量采集软件例如Snort、Wireshark、Burpsuite等。Z-score规范化算法是数据处理的一种常用方法。通过它能够将不同量级的数据转化为统一量度的Z-Score分值进行比较。
S102,根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;
例如图2所示,预先构建的网络流量安全监控模型包括关联关系挖掘层、流量数据集分类层、流参数值获取层、流分险值计算层以及参数输出层。
其中,预先构建的网络流量安全监控模型是能够对目标流量数据集进行多层级处理的数学模型,该模型可分析出目标流量数据集中各流量数据的分险。
在本申请实施例中,首先关联关系挖掘层对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系;然后流量数据集分类层根据关联关系,对目标流量数据集进行分类,得到多类流量数据;其次流参数值获取层获取各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;最后流分险值计算层根据各类流量数据的流参数值,计算各类流量数据的流分险值;以及参数输出层将各类流量数据的流分险值作为处理结果进行输出。
具体的,在对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系时,首先确定目标流量数据集中每个目标流量包含的参数标识;再将每个目标流量包含的参数标识进行归并,以及将归并的参数标识进行去重,得到多个目标参数标识;然后计算每个目标参数标识的支持率,并根据每个目标参数标识的支持率,确定每个目标流量的关联系数;其次基于每个目标流量的关联系数,计算目标流量数据集中任意两个目标流量数据的关联系数的目标差值;最后建立目标差值小于预设阈值的任意两个目标流量数据之间的连接线,得到目标流量数据集的关联关系。
具体的,在计算每个目标参数标识的支持率时,首先统计每个目标参数标识在目标流量数据集的出现次数,得到每个目标参数标识的出现次数;然后将每个目标参数标识的出现次数与目标流量数据集的目标流量总数量之间的比值,确定为每个目标参数标识的支持率。
例如,目标流量数据集中每个目标流量包含的参数标识图3所示,目标流量1包含的参数标识为{A,B,E},目标流量2包含的参数标识为{D,E,F},目标流量3包含的参数标识为{A,C,D,E},目标流量4包含的参数标识为{D,E,F},目标流量5包含的参数标识为{C,E,F}。
因此,对每个目标流量包含的参数标识进行归并以及去重后得到的标识为A,B,C,D,E,F;此时A出现于{A,B,E}以及{A,C,D,E},可知A出现了的次数为2,目标流量数据集的目标流量总数量为5,因此A的支持率为2和5的比值为0.4。同理可得到B,C,D,E,F的支持率。最终的每个目标参数标识的支持率例如图4所示。
具体的,在根据关联关系,对目标流量数据集进行分类,得到多类流量数据时,首先遍历关联关系,对于遍历到的每个目标流量数据,均获取目标流量数据和与其关联的其他目标流量数据,得到每个目标流量数据的待判定数据流量集;然后将每个目标流量数据的待判定数据流量集输入预先训练的流量分类模型中,输出每个目标流量数据对应的分类结果;最后基于每个目标流量数据对应的分类结果,将同一分类结果的目标流量数据进行合并,得到多类流量数据。
进一步地,例如图5所示,图5是本申请提供的一种流量分类模型生成过程示意图,首先收集预设周期内的历史流量数据;然后根据历史流量数据,统计每种预设类型的流量数据;其次针对每种预设类型的流量数据标注分类标签,得到模型训练样本;最后建立流量分类模型,并根据模型训练样本以及无监督的贝叶斯识别技术对流量分类模型进行训练,得到模型损失值;以及在模型损失值到达最小时,生成预先训练的流量分类模型。
进一步地,在模型损失值未到达最小时,将模型损失值进行反向传播,以更新模型的参数,并继续执行根据模型训练样本以及无监督的贝叶斯识别技术对流量分类模型进行训练的步骤,直到模型损失值到达最小。
具体的,在根据各类流量数据的流参数值,计算各类流量数据的流分险值时,首先获取各类流量数据传输的目标地址;然后解析目标地址所指示的用于传输到目标设备的设备信息;其次在预设动态风险映射表中确定设备信息对应的设备分险系数;最后根据设备分险系数以及流持续时间、平均包长、平均间隔时间,计算各类流量数据的流分险值。
具体的,流分险值计算公式为:
;其中,
为流分险值,/>为设备分险系数,/>为流持续时间,/>为平均包长、/>为平均间隔时间,/>、/>、/>、/>为预先设置的权重参数,且/>、/>、/>、/>分别在区间(0,1)之间以及/>、/>、/>、/>的权重和为1。
S103,基于处理结果,判断目标流量数据集中是否存在异常网络流量;
在本申请实施例中,在得到处理结果后,目标流量数据集中各类流量数据存在了流分险值,可将各类流量数据的流分险值和预设风险阈值进行比较,并将流风险值大于预设风险阈值的流量数据确定为异常网络流量。
进一步地,将流风险值小于等于预设风险阈值的流量数据确定为正常网络流量。
S104,在目标流量数据集中存在异常网络流量的情况下,拦截异常网络流量,并生成异常网络流量的预警信息反馈至预警终端。
在本申请实施例中,在目标流量数据集中存在异常网络流量的情况下,可拦截异常网络流量,并提取异常网络流量的关键信息,例如目标端和源端的IP地址,流量的关键参数,最后可基于异常网络流量的关键信息进行预警报文封装,封装后生成异常网络流量的预警信息反馈至预警终端。
例如图6所示,图6是本申请提供的一种网络流量的安全监控过程的过程示意框图,首先进行网络流量数据采集(流量采集软件、网络设备、基于端口的镜像以及集线器),然后进行数据预处理(异常数据清理、异常记录修订以及空缺值处理以及Z-score规范化算法),其次通过流量分析模型进行流量分析(预先构建的网络流量安全监控模型),最后输出分析结果(各流量的流分险值),并基于分析结果进行异常流量预警。
在本申请实施例中,网络流量的安全监控系统首先当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;然后根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;其次基于处理结果,判断目标流量数据集中是否存在异常网络流量;最后在目标流量数据集中存在异常网络流量的情况下,生成异常网络流量的预警信息反馈至预警终端。由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性。
下述为本申请系统实施例,可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节,请参照本申请方法实施例。
请参见图7,其示出了本申请一个示例性实施例提供的网络流量的安全监控系统的结构示意图。该网络流量的安全监控系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括待传输网络流量捕获模块10、流量数据集多层级处理模块20、异常网络流量判断模块30、异常网络流量拦截预警模块40。
待传输网络流量捕获模块10,用于当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;
流量数据集多层级处理模块20,用于根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;
异常网络流量判断模块30,用于基于处理结果,判断目标流量数据集中是否存在异常网络流量;
异常网络流量拦截预警模块40,用于在目标流量数据集中存在异常网络流量的情况下,拦截异常网络流量,并生成异常网络流量的预警信息反馈至预警终端。
可选的,流量数据集多层级处理模块20,包括:
关联关系确定单元201,用于通过关联关系挖掘层对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系;
流量数据集分类单元202,用于通过流量数据集分类层根据关联关系,对目标流量数据集进行分类,得到多类流量数据;
流参数值获取单元203,用于通过流参数值获取层获取各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;
流分险值计算单元204,用于通过流分险值计算层根据各类流量数据的流参数值,计算各类流量数据的流分险值;
处理结果输出单元205,用于参数输出层将各类流量数据的流分险值作为处理结果进行输出。
需要说明的是,上述实施例提供的网络流量的安全监控系统在执行网络流量的安全监控方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的网络流量的安全监控系统与网络流量的安全监控方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,网络流量的安全监控系统首先当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;然后根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;其次基于处理结果,判断目标流量数据集中是否存在异常网络流量;最后在目标流量数据集中存在异常网络流量的情况下,生成异常网络流量的预警信息反馈至预警终端。由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性。
本申请还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的网络流量的安全监控方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例的网络流量的安全监控方法。
请参见图8,为本申请实施例提供了一种电子设备的结构示意图。如图8所示,电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图8所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络流量的安全监控应用程序。
在图8所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的网络流量的安全监控应用程序,并具体执行以下操作:
当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;
根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;
基于处理结果,判断目标流量数据集中是否存在异常网络流量;
在目标流量数据集中存在异常网络流量的情况下,拦截异常网络流量,并生成异常网络流量的预警信息反馈至预警终端。
在一个实施例中,处理器1001在执行捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集时,具体执行以下操作:
基于流量采集组件捕获目标服务端的待传输网络流量;流量采集组件至少包括流量采集软件、网络设备、基于端口的镜像以及集线器;
对待传输网络流量进行异常数据清理、异常记录修订以及空缺值处理,得到清洗后的待传输网络流量;
通过Z-score规范化算法对清洗后的待传输网络流量进行规范化处理,得到目标流量数据集。
在一个实施例中,处理器1001在执行根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果时,具体执行以下操作:
关联关系挖掘层对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系;
流量数据集分类层根据关联关系,对目标流量数据集进行分类,得到多类流量数据;
流参数值获取层获取各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;
流分险值计算层根据各类流量数据的流参数值,计算各类流量数据的流分险值;
参数输出层将各类流量数据的流分险值作为处理结果进行输出。
在一个实施例中,处理器1001在执行对目标流量数据集进行数据挖掘,以确定出目标流量数据集的关联关系时,具体执行以下操作:
确定目标流量数据集中每个目标流量包含的参数标识;
将每个目标流量包含的参数标识进行归并,以及将归并的参数标识进行去重,得到多个目标参数标识;
计算每个目标参数标识的支持率,并根据每个目标参数标识的支持率,确定每个目标流量的关联系数;
基于每个目标流量的关联系数,计算目标流量数据集中任意两个目标流量数据的关联系数的目标差值;
建立目标差值小于预设阈值的任意两个目标流量数据之间的连接线,得到目标流量数据集的关联关系。
在一个实施例中,处理器1001在执行计算每个目标参数标识的支持率时,具体执行以下操作:
统计每个目标参数标识在目标流量数据集的出现次数,得到每个目标参数标识的出现次数;
将每个目标参数标识的出现次数与目标流量数据集的目标流量总数量之间的比值,确定为每个目标参数标识的支持率。
在一个实施例中,处理器1001在执行根据关联关系,对目标流量数据集进行分类,得到多类流量数据时,具体执行以下操作:
遍历关联关系,对于遍历到的每个目标流量数据,均获取目标流量数据和与其关联的其他目标流量数据,得到每个目标流量数据的待判定数据流量集;
将每个目标流量数据的待判定数据流量集输入预先训练的流量分类模型中,输出每个目标流量数据对应的分类结果;
基于每个目标流量数据对应的分类结果,将同一分类结果的目标流量数据进行合并,得到多类流量数据;其中,
按照以下步骤生成预先训练的流量分类模型,包括:
收集预设周期内的历史流量数据;
根据历史流量数据,统计每种预设类型的流量数据;
针对每种预设类型的流量数据标注分类标签,得到模型训练样本;
建立流量分类模型,并根据模型训练样本以及无监督的贝叶斯识别技术对流量分类模型进行训练,得到模型损失值;
在模型损失值到达最小时,生成预先训练的流量分类模型。
在一个实施例中,处理器1001在执行根据各类流量数据的流参数值,计算各类流量数据的流分险值时,具体执行以下操作:
获取各类流量数据传输的目标地址;
解析目标地址所指示的用于传输到目标设备的设备信息;
在预设动态风险映射表中确定设备信息对应的设备分险系数;
根据设备分险系数以及流持续时间、平均包长、平均间隔时间,计算各类流量数据的流分险值;其中,
流分险值计算公式为:
;其中,
为流分险值,/>为设备分险系数,/>为流持续时间,/>为平均包长、/>为平均间隔时间,/>、/>、/>、/>为预先设置的权重参数,且/>、/>、/>、/>分别在区间(0,1)之间以及/>、/>、/>、/>的权重和为1。
在本申请实施例中,网络流量的安全监控系统首先当监测到目标服务端进行网络流量传输时,捕获并预处理目标服务端的待传输网络流量,得到目标流量数据集;然后根据预先构建的网络流量安全监控模型,对目标流量数据集进行多层级处理,得到处理结果;其次基于处理结果,判断目标流量数据集中是否存在异常网络流量;最后在目标流量数据集中存在异常网络流量的情况下,生成异常网络流量的预警信息反馈至预警终端。由于本申请通过预先构建的网络流量安全模型对目标流量数据集多层级处理,多层级处理的过程能对规模庞大的服务端系统平台中各种数据完成分析,避免了出现数据流无法拦截的情况,同时可对异常网络流量及时拦截,从而提升了系统平台的安全性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,网络流量的安全监控的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,网络流量的安全监控的程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (9)

1.一种网络流量的安全监控方法,其特征在于,所述方法包括:
当监测到目标服务端进行网络流量传输时,捕获并预处理所述目标服务端的待传输网络流量,得到目标流量数据集;
根据预先构建的网络流量安全监控模型,对所述目标流量数据集进行多层级处理,得到处理结果;其中,所述预先构建的网络流量安全监控模型包括关联关系挖掘层、流量数据集分类层、流参数值获取层、流分险值计算层以及参数输出层;其中,
根据预先构建的网络流量安全监控模型,对所述目标流量数据集进行多层级处理,得到处理结果,包括:
关联关系挖掘层对所述目标流量数据集进行数据挖掘,以确定出所述目标流量数据集的关联关系;
流量数据集分类层根据所述关联关系,对所述目标流量数据集进行分类,得到多类流量数据;
流参数值获取层获取所述各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;
流分险值计算层根据所述各类流量数据的流参数值,计算所述各类流量数据的流分险值;
参数输出层将所述各类流量数据的流分险值作为处理结果进行输出;
基于所述处理结果,判断所述目标流量数据集中是否存在异常网络流量;
在所述目标流量数据集中存在异常网络流量的情况下,拦截所述异常网络流量,并生成所述异常网络流量的预警信息反馈至预警终端。
2.根据权利要求1所述的方法,其特征在于,所述捕获并预处理所述目标服务端的待传输网络流量,得到目标流量数据集,包括:
基于流量采集组件捕获所述目标服务端的待传输网络流量;所述流量采集组件至少包括流量采集软件、网络设备、基于端口的镜像以及集线器;
对所述待传输网络流量进行异常数据清理、异常记录修订以及空缺值处理,得到清洗后的待传输网络流量;
通过Z-score规范化算法对清洗后的待传输网络流量进行规范化处理,得到目标流量数据集。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标流量数据集进行数据挖掘,以确定出所述目标流量数据集的关联关系,包括:
确定所述目标流量数据集中每个目标流量包含的参数标识;
将每个目标流量包含的参数标识进行归并,以及将归并的参数标识进行去重,得到多个目标参数标识;
计算每个目标参数标识的支持率,并根据所述每个目标参数标识的支持率,确定每个目标流量的关联系数;
基于所述每个目标流量的关联系数,计算所述目标流量数据集中任意两个目标流量数据的关联系数的目标差值;
建立所述目标差值小于预设阈值的任意两个目标流量数据之间的连接线,得到所述目标流量数据集的关联关系。
4.根据权利要求3所述的方法,其特征在于,所述计算每个目标参数标识的支持率,包括:
统计每个目标参数标识在所述目标流量数据集的出现次数,得到每个目标参数标识的出现次数;
将所述每个目标参数标识的出现次数与所述目标流量数据集的目标流量总数量之间的比值,确定为每个目标参数标识的支持率。
5.根据权利要求1所述的方法,其特征在于,所述根据所述关联关系,对所述目标流量数据集进行分类,得到多类流量数据,包括:
遍历所述关联关系,对于遍历到的每个目标流量数据,均获取所述目标流量数据和与其关联的其他目标流量数据,得到每个目标流量数据的待判定数据流量集;
将每个目标流量数据的待判定数据流量集输入预先训练的流量分类模型中,输出所述每个目标流量数据对应的分类结果;
基于所述每个目标流量数据对应的分类结果,将同一分类结果的目标流量数据进行合并,得到多类流量数据;其中,
按照以下步骤生成预先训练的流量分类模型,包括:
收集预设周期内的历史流量数据;
根据所述历史流量数据,统计每种预设类型的流量数据;
针对每种预设类型的流量数据标注分类标签,得到模型训练样本;
建立流量分类模型,并根据所述模型训练样本以及无监督的贝叶斯识别技术对所述流量分类模型进行训练,得到模型损失值;
在所述模型损失值到达最小时,生成预先训练的流量分类模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述各类流量数据的流参数值,计算所述各类流量数据的流分险值,包括:
获取所述各类流量数据传输的目标地址;
解析所述目标地址所指示的用于传输到目标设备的设备信息;
在预设动态风险映射表中确定所述设备信息对应的设备分险系数;
根据所述设备分险系数以及所述流持续时间、平均包长、平均间隔时间,计算所述各类流量数据的流分险值;其中,
所述流分险值计算公式为:
;其中,
为流分险值,/>为设备分险系数,/>为流持续时间,/>为平均包长、为平均间隔时间,/>、/>、/>、/>为预先设置的权重参数,且/>、/>、/>、/>分别在区间(0,1)之间以及/>、/>、/>、/>的权重和为1。
7.一种网络流量的安全监控系统,其特征在于,所述系统包括:
待传输网络流量捕获模块,用于当监测到目标服务端进行网络流量传输时,捕获并预处理所述目标服务端的待传输网络流量,得到目标流量数据集;
流量数据集多层级处理模块,用于根据预先构建的网络流量安全监控模型,对所述目标流量数据集进行多层级处理,得到处理结果;其中,所述预先构建的网络流量安全监控模型包括关联关系挖掘层、流量数据集分类层、流参数值获取层、流分险值计算层以及参数输出层;其中,
根据预先构建的网络流量安全监控模型,对所述目标流量数据集进行多层级处理,得到处理结果,包括:
关联关系挖掘层对所述目标流量数据集进行数据挖掘,以确定出所述目标流量数据集的关联关系;
流量数据集分类层根据所述关联关系,对所述目标流量数据集进行分类,得到多类流量数据;
流参数值获取层获取所述各类流量数据的流持续时间、平均包长、平均间隔时间,得到各类流量数据的流参数值;
流分险值计算层根据所述各类流量数据的流参数值,计算所述各类流量数据的流分险值;
参数输出层将所述各类流量数据的流分险值作为处理结果进行输出;
异常网络流量判断模块,用于基于所述处理结果,判断所述目标流量数据集中是否存在异常网络流量;
异常网络流量拦截预警模块,用于在所述目标流量数据集中存在异常网络流量的情况下,拦截所述异常网络流量,并生成所述异常网络流量的预警信息反馈至预警终端。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-6任意一项所述的方法。
9.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-6任意一项所述的方法。
CN202311365742.XA 2023-10-20 2023-10-20 一种网络流量的安全监控方法、系统、介质及电子设备 Active CN117097578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311365742.XA CN117097578B (zh) 2023-10-20 2023-10-20 一种网络流量的安全监控方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311365742.XA CN117097578B (zh) 2023-10-20 2023-10-20 一种网络流量的安全监控方法、系统、介质及电子设备

Publications (2)

Publication Number Publication Date
CN117097578A true CN117097578A (zh) 2023-11-21
CN117097578B CN117097578B (zh) 2024-01-05

Family

ID=88770323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311365742.XA Active CN117097578B (zh) 2023-10-20 2023-10-20 一种网络流量的安全监控方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN117097578B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376247A (zh) * 2015-11-30 2016-03-02 睿峰网云(北京)科技股份有限公司 一种基于频繁算法的异常流量的识别方法及装置
CN108595667A (zh) * 2018-04-28 2018-09-28 广东电网有限责任公司 一种网络异常数据的关联性分析方法
CN113556358A (zh) * 2021-07-30 2021-10-26 平安普惠企业管理有限公司 异常流量数据检测方法、装置、设备及存储介质
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
CN116506217A (zh) * 2023-06-20 2023-07-28 北京门石信息技术有限公司 业务数据流安全风险的分析方法、系统、存储介质及终端
US20230300159A1 (en) * 2020-08-21 2023-09-21 Dbappsecurity Co., Ltd Network traffic anomaly detection method and apparatus, and electronic apparatus and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376247A (zh) * 2015-11-30 2016-03-02 睿峰网云(北京)科技股份有限公司 一种基于频繁算法的异常流量的识别方法及装置
CN108595667A (zh) * 2018-04-28 2018-09-28 广东电网有限责任公司 一种网络异常数据的关联性分析方法
US20230300159A1 (en) * 2020-08-21 2023-09-21 Dbappsecurity Co., Ltd Network traffic anomaly detection method and apparatus, and electronic apparatus and storage medium
CN113556358A (zh) * 2021-07-30 2021-10-26 平安普惠企业管理有限公司 异常流量数据检测方法、装置、设备及存储介质
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
CN116506217A (zh) * 2023-06-20 2023-07-28 北京门石信息技术有限公司 业务数据流安全风险的分析方法、系统、存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王子为;张清华;肖明;熊建斌;: "基于大数据的石油化工旋转机械的无量纲故障诊断", 广东石油化工学院学报, no. 06 *
陈霖;梁坤;: "4G时代基于网络流量大数据分析的安全预警研究", 湖南邮电职业技术学院学报, no. 04 *

Also Published As

Publication number Publication date
CN117097578B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN102110122B (zh) 一种建立样本图片索引表和图片过滤、搜索方法及装置
CN112769796A (zh) 一种基于端侧边缘计算的云网端协同防御方法及系统
CN116506217B (zh) 业务数据流安全风险的分析方法、系统、存储介质及终端
WO2020078385A1 (zh) 数据采集方法、装置、存储介质及系统
CN110445801B (zh) 一种物联网的态势感知方法和系统
CN110298662B (zh) 交易重复提交的自动化检测方法及装置
CN106973047A (zh) 一种异常流量检测方法和装置
CN106130806B (zh) 数据层实时监控方法
CN110493043B (zh) 一种分布式态势感知调用方法和装置
CN112636942B (zh) 业务主机节点的监测方法及装置
CN114553591B (zh) 随机森林模型的训练方法、异常流量检测方法及装置
CN110943974B (zh) 一种DDoS异常检测方法及云平台主机
CN110460608B (zh) 一种包含关联分析的态势感知方法和系统
CN106375295A (zh) 数据存储监控方法
CN102982048A (zh) 一种用于评估垃圾信息挖掘规则的方法与设备
CN106372171B (zh) 监控平台实时数据处理方法
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN111182002A (zh) 基于http首个问答包聚类分析的僵尸网络检测装置
CN111064719A (zh) 文件异常下载行为的检测方法及装置
WO2021262344A1 (en) Method and apparatus to detect scripted network traffic
CN117097578B (zh) 一种网络流量的安全监控方法、系统、介质及电子设备
CN112953948A (zh) 一种实时网络横向蠕虫攻击流量检测方法及装置
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质
US9398040B2 (en) Intrusion detection system false positive detection apparatus and method
CN110069691A (zh) 用于处理点击行为数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant