CN114338221B - 一种基于大数据分析的网络检测系统 - Google Patents

一种基于大数据分析的网络检测系统 Download PDF

Info

Publication number
CN114338221B
CN114338221B CN202210008371.9A CN202210008371A CN114338221B CN 114338221 B CN114338221 B CN 114338221B CN 202210008371 A CN202210008371 A CN 202210008371A CN 114338221 B CN114338221 B CN 114338221B
Authority
CN
China
Prior art keywords
network
network interface
module
data
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210008371.9A
Other languages
English (en)
Other versions
CN114338221A (zh
Inventor
刘海成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weizhun Intelligent Technology Co ltd
Original Assignee
Beijing Weizhun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weizhun Intelligent Technology Co ltd filed Critical Beijing Weizhun Intelligent Technology Co ltd
Priority to CN202210008371.9A priority Critical patent/CN114338221B/zh
Publication of CN114338221A publication Critical patent/CN114338221A/zh
Application granted granted Critical
Publication of CN114338221B publication Critical patent/CN114338221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种基于大数据分析的网络检测系统,包括网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块和处理器,检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;安防模块用于对网络接口的传输数据进行过滤,以对网络通信的数据进行主动防护;分析模块基于用户访问端接收的数据,并对所述数据进行分析;处理模块用于对网络的异常进行处理,并将异常的数据向用户访问端进行提示;预警模块用于对网络传输信道的通断状态进行预警,以实现对网络状态的交互反馈提示。本发明通过分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护。

Description

一种基于大数据分析的网络检测系统
技术领域
本发明涉及网络通信技术领域,尤其涉及一种基于大数据分析的网络检测系统。
背景技术
企业防火墙作为保护连接的网络财产的关键性设施,所有从外部网络向内部服务器传输的报文都会首先发往防火墙网关,然后经由防火墙网关转发给内部的不同业务服务器,因此防火墙网关处往往会收到难以计数的海量报文数据,其中包含着来自各种各样不同攻击者伪装的攻击数据。由于网络流速极大,不论存储数据还是即时分析都会造成难以接受的空间/时间消耗,从而导致对于攻击防护的成本高于企业接受的程度。
如CN112422513B现有技术公开了一种基于网络流量报文的异常检测和攻击发起者分析系统,同时由于线上资产具有的特殊性质,往往会吸引到竞争对手或者黑客的攻击,但是由于互联网其自由的特征,所有的格式合法报文都可以在互联网中得到转发和流通,所以常规的防护工作无法识别的发起者和真实来源,更不提进行网络攻击的溯源。使得企业没有办法掌握足够的信息来找出攻击发起者的嫌疑对象,从而进一步完善防御或者掌握其发起攻击的证据。
另一种典型的如CN103037415B的现有技术公开的一种网络分析方法及系统,一般网络分析设备部署在WLAN(Wireless Metropolitan Area Networks,无线局域网)AC(Access Controller,接入控制器)与AP(Access Point,接入点)之间,而在集中认证环境下的真实的radius
(Remote Authentication Dial In User Service,远程用户拨号认证系统)、portal(入口)认证请求过程都由BRAS(Broadband Remote Access Server,宽带接入服务器)统一发起,并与radius、portal服务器之间进行交换;因此没有认证数据经过分析设备,而BRAS发起的认证数据也无法一一关联到具体的分析设备。在这种环境中,有些网络分析方案是不将IP(Internet Protocol,互联网协议)与用户进行关联,直接按照IP进行分析;这种方案在需要进行用户级网络质量分析的情况下,分析不到真实的用户名,无法将IP与真实用户之间对应起来,很难进行有效的分析并精确定位到真实用户。有的方案则是直接查询或者同步radius服务器的在线用户数据,再把IP与真实用户进行关联;这种方案实时性不好,并额外增加了服务器的压力。有的方案则是直接将认证数据全部镜像到分析设备,再在本机上进行分析关联;这种方案需要额外增加多台镜像设备,增加了成本,且多台分析设备分析的都是同样已汇聚到一起的认证数据,造成了分析设备的性能损耗。
为了解决本领域普遍存在网络检测性能差、无法识别真实地址、单纯的进行被动防御、无法实施主动防护和实时性差等等问题,作出了本发明。
发明内容
本发明的目的在于,针对所存在的不足,提出了一种基于大数据分析的网络检测系统。
为了克服现有技术的不足,本发明采用如下技术方案:
一种基于大数据分析的网络检测系统,包括网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块和处理器,所述处理器分别与网络接口、网络管理模块所述检测模块、所述安防模块、所述分析模块、所述处理模块和所述预警模块控制连接,所述网络管理模块用于集中询问多个网络接口,以定期收集安全状态数据和操作状态数据;
所述检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;
所述安防模块用于对网络接口的传输数据进行过滤,以对网络通信的数据进行主动防护;
所述分析模块基于网络管理模块所接收的安全状态数据和操作状态数据,对所述安全状态数据和操作状态数据进行分析,若所述安全状态数据和操作状态数据中存在漏洞,则触发对所述安防模块对所述漏洞的处理;
所述处理模块用于对网络连接的异常状态进行处理,并将异常的数据向用户访问端进行提示;
所述预警模块用于对网络传输信道的通断状态进行预警,以实现对网络状态的交互反馈提示;
所述检测模块包括监控器、网间连接器和评价单元,所述网间连接器用于对各个设备的数据包的地址进行寻址,并获取MAC地址;所述监控器用于对各个用户访问端与网络接口构建的子网络进行监视,以实现对各个网络接口的连接状态的监视;所述评价单元基于所述网间连接器和所述监控器的状态进行评价;
所述评价单元包括活动检测器和活动分析器,所述活动检测器用于对用户访问端的网络进行检测;所述活动分析器基于所述活动检测器的数据对网络的连接状态进行分析;所述活动检测器使用地址解析包确定本地网络是否处于活动状态,以确定各个网络接口列表的实时状态、以及与各个网络接口相关联的可用协议;其中,各个所述网络接口与可用协议相匹配,形成网络连接通路;
所述活动检测器获取所述网络接口列表中的可用接口数N,形成一个接口分布矩阵SET:
Figure BDA0003457894700000031
其中,auv为第u个接口的第v个关键性能指标所对应的测量值;u=1,2,…,N为;v=1,2,…,n;
将接口分布矩阵中的各个测量值与设定的评价阈值进行比较;若大于关键阈值,则将该接口进行统计形成full{auv};若低于设定的评价阈值,则将该接口进行统计形成un_full{auv};
获取可用的接口数量、full{auv}和un_full{auv},以确定评价阈值的占比Duv;满足:
Figure BDA0003457894700000032
式中,N为网络接口列表中的可用接口数;un_full{auv}为低于设定的评价阈值的接口数量;full{auv}为高于设定的评价阈值的接口数量;
将评价阈值的占比Duv代入下式,求出网络接口的评价指数Y:
Figure BDA0003457894700000033
其中,k为连接网络中实际存在的连接数与现存网络接口总数的比值,满足:k=full{auv}/Lmax,其中,full{auv}为实际满足评价阈值的数量;Lmax为所述网络接口的总数;
Y的取值越大,能提供给用户访问端进行网络连接的网络接口越多,各个网络接口的可供选择量越大。
可选的,所述检测模块耦合到一个或多个网络接口并对各个网络接口配置执行多个反馈进程;所述反馈进程基于可执行程序的执行,并向各个网络接口进行状态的反馈;
其中,所述可执行程序在执行时识别多个网络接口中每一个的关键性能指标的变化;所述关键性能指标包括网络利用率、连接的客户端数量、吞吐量、流量、网络丢失包数量、延迟或抖动;并从关键性能指标随时间的变化相关联的多个网络接口中形成网络接口的监控对等组;并监控所述网络接口关键对等组中的各个网络接口的关键性能指标;
其中,通过所述网络接口的关键性能指标的变化与网络接口关键对等组中的其他网络接口展示的关键性能指标变化的平均值或百分位数进行比较;若关键性能指标变化的平均值或百分数超过设定的阈值,则触发该网络接口预警。
可选的,所述分析模块包括分析单元和隔离单元,所述分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护;所述隔离单元基于所述分析单元的数据,将传输的数据包进行隔离;所述分析单元自动从云漏洞服务器获取漏洞的域,并对域进行分析以提取域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址;其中,所述分析单元在进行分析后,将识别出的异常漏洞上传至云漏洞服务器中,并对云漏洞服务器进行更新;根据常见漏洞和通用漏洞披露数据库,搜索所述漏洞的域,以识别出与域相关联的漏洞列表;其中,所述漏洞列表的排列次序是基于确定漏洞的域和子域的名称空间的权重来排序;
并根据所述漏洞列表获取与域关联的云监控内容;利用名称列表、漏洞列表和云监控内容来确定与域相关的风险。
可选的,所述预警模块包括预警单元和动作单元,所述预警单元用于对各个网络接口和用户访问端之间的网络连接通路的异常状态进行预警,以向设备触发预警信号;所述动作单元基于所述预警单元触发的预警信号,对异常执行修复动作;
所述预警单元包括检测控制器和缓冲器,所述缓冲器用于将过滤规则中多个包进行存储,并配合所述检测控制器对数据进行检测;
所述检测控制器遍历缓冲区中的包,所述检测控制器分析包中的数据块的数量,形成数据列表,并将所述数据列表中的数据块依次通过网络通信信道进行传输;
若检测到所述数据上载或者下载产生中断,超过设定的等待恢复时间,则触发向用户进行预警;
所述动作单元包括转换策略和转换器,所述转换器基于所述转换策略将原有的网络通信信道进行转换;其中,所述转换器基于所述预警单元的预警信号触发对网络通信信道的转换。
可选的,根据所述关键性能指标将各个网络接口划分为关键对等组和非必要对等组,若所述关键对等组中的某一个网络接口的关键性能指标存在异常,则通过处理模块对所述关键对等组中的各个网络接口进行分析;其中,所述处理模块包括异常采集单元和提示单元,所述异常采集单元用于对各个网络接口的连接状态进行监控,并设置预警阈值,则对各个网络接口的连接状态与预警阈值进行比较;
若低于设定的预警阈值,则会触发异常预警;
所述提示单元基于所述异常采集单元的异常预警,向与各个网络接口连接的用户访问端推送提示信息;其中,所述提示信息是经过所述网络接口向连接的用户访问端进行提示消息的传输。
本发明所取得的有益效果是:
1.通过采用分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护;
2.通过确定的域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址,对相关联的地址和主机的访问请求进行屏蔽、隔离等操作,以提升网络连接接口的安全和可靠性;
3.通过采用检测单元对网络接口的各个阶段进行检测,并对各个接口的连接质量进行评价,使得各个外接设备的网络连接状态进行检测,以实现对网络检测的高效性;
4.通过将网络接口的关键性能指标的变化与网络接口关键对等组中的其他网络接口展示的关键性能指标变化的平均值或百分位数进行比较,使得网络接口的关键性能指标能被检测出来,提升全部网络接口的智能检测;
5.通过转换器与预警单元相互配合,使得网络接口之间的数据传输时,能够根据不同的网络状态对网络通信信道进行转换。
为使能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,然而所提供的附图仅用于提供参考与说明,并非用来对本发明加以限制。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在不同的视图中,相同的附图标记指定对应的部分。
图1为本发明的控制流程示意图。
图2为本发明的系统方框示意图。
图3为本发明的所述检测模块的控制流程示意图。
图4为本发明的所述预警模块的控制流程示意图。
图5为本发明的所述异常采集单元对异常采集的控制流程示意图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式,本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用,本说明书中的各项细节也可基于不同观点与应用,在不悖离本发明的精神下进行各种修饰与变更。另外,本发明的附图仅为简单示意说明,并非依实际尺寸的描绘,事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容,但所公开的内容并非用以限制本发明的保护范围。
实施例一。
根据图1、图2、图3、图4和图5,本实施例提供一种基于大数据分析的网络检测系统,包括网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块和处理器,所述处理器分别与网络接口、网络管理模块所述检测模块、所述安防模块、所述分析模块、所述处理模块和所述预警模块控制连接,所述网络管理模块用于集中询问多个网络接口,以定期收集安全状态数据和操作状态数据;
所述检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;
所述安防模块用于对网络接口的传输数据进行过滤,以对网络通信的数据进行主动防护;
所述分析模块基于网络管理模块所接收的安全状态数据和操作状态数据,对所述安全状态数据和操作状态数据进行分析,若所述安全状态数据和操作状态数据中存在漏洞,则触发对所述安防模块对所述漏洞的处理;所述处理模块用于对网络连接的异常状态进行处理,并将异常的数据向用户访问端进行提示;
所述预警模块用于对网络传输信道的通断状态进行预警,以实现对网络状态的交互反馈提示;
所述检测模块包括监控器、网间连接器和评价单元,所述网间连接器用于对各个设备的数据包的地址进行寻址,并获取MAC地址;所述监控器用于对各个用户访问终端与各个网络接口构建的子网络进行监视,以实现对各个网络接口的连接状态的监视;所述评价单元基于所述网间连接器和所述监控器的状态进行评价;
所述评价单元包括活动检测器和活动分析器,所述活动检测器用于对用户访问端的网络进行检测;所述活动分析器基于所述活动检测器的数据对网络的连接状态进行分析;所述活动检测器使用地址解析包确定本地网络是否处于活动状态,以确定各个网络接口列表的实时状态、以及与各个网络接口相关联的可用协议;其中,各个所述网络接口与可用协议相匹配,形成网络连接通路;
所述活动检测器获取所述网络接口列表中的可用接口数N,形成一个接口分布矩阵SET:
Figure BDA0003457894700000071
其中,auv为第u个接口的第v个关键性能指标所对应的测量值;u=1,2,…,N为;v=1,2,…,n;
将接口分布矩阵中的各个测量值与设定的评价阈值进行比较;若大于关键阈值,则将该接口进行统计形成full{auv};若低于设定的评价阈值,则将该接口进行统计形成un_full{auv};
获取可用的接口数量、full{auv}和un_full{auv},以确定评价阈值的占比Duv;满足:
Figure BDA0003457894700000072
式中,N为网络接口列表中的可用接口数;un_full{auv}为低于设定的评价阈值的接口数量;full{auv}为高于设定的评价阈值的接口数量;
将评价阈值的占比Duv代入下式,求出网络接口的评价指数Y:
Figure BDA0003457894700000081
其中,k为连接网络中实际存在的连接数与现存网络接口总数的比值,满足:k=full{auv}/Lmax,其中,full{auv}为实际满足评价阈值的数量;Lmax为所述网络接口的总数;
Y的取值越大,能提供给用户访问端进行网络连接的网络接口越多,各个网络接口的可供选择量越大。可选的,所述检测模块耦合到一个或多个网络接口并对各个网络接口配置执行多个反馈进程;所述反馈进程基于可执行程序的执行,并向各个网络接口进行执行状态的反馈;
其中,所述可执行程序在执行时识别多个网络接口中每一个的关键性能指标的变化;所述关键性能指标包括网络利用率、连接的客户端数量、吞吐量、流量、网络丢失包数量、延迟或抖动;并从关键性能指标随时间的变化相关联的多个网络接口中形成网络接口的监控对等组;并监控所述网络接口关键对等组中的各个网络接口的关键性能指标;
其中,通过所述网络接口的关键性能指标的变化与网络接口关键对等组中的其他网络接口展示的关键性能指标变化的平均值或百分位数进行比较;若关键性能指标变化的平均值或百分数超过设定的阈值,则触发对该网络接口预警;
可选的,所述分析模块包括分析单元和隔离单元,所述分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护;所述隔离单元基于所述分析单元的数据,将传输的数据包进行隔离;所述分析单元自动从云漏洞服务器获取漏洞的域,并对域进行分析以提取域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址;其中,所述分析单元在进行分析后,将识别出的异常漏洞上传至云漏洞服务器中,并对云漏洞服务器进行更新;根据常见漏洞和通用漏洞披露数据库,搜索所述漏洞的域,以识别出与域相关联的漏洞列表;其中,所述漏洞列表的排列次序基于确定漏洞的域和子域的名称空间的权重来排序;
并根据所述漏洞列表获取与域关联的云监控内容;利用名称列表、漏洞列表和云监控内容来确定与域相关的风险;
可选的,所述预警模块包括预警单元和动作单元,所述预警单元用于对各个网络接口和用户访问端之间的网络连接通路的异常状态进行预警,以向设备触发预警信号;所述动作单元基于所述预警单元触发的预警信号,对异常执行修复动作;
所述预警单元包括检测控制器和缓冲器,,所述缓冲器用于将过滤规则中多个包进行存储,并配合所述检测控制器对数据进行检测;
所述检测控制器遍历缓冲区中的包,所述检测控制器分析包中的数据块的数量,形成数据列表,并将所述数据列表中的数据块依次通过网络通信信道进行传输;
若检测到所述数据上载或者下载产生中断,超过设定的等待恢复时间,则触发向用户进行预警;
所述动作单元包括转换策略和转换器,所述转换器基于所述转换策略将原有的网络通信信道进行转换;其中,所述转换器基于所述预警单元的预警信号触发对网络通信信道的转换;
可选的,根据所述关键性能指标将各个网络接口划分为关键对等组和非必要对等组,若所述关键对等组中的某一个网络接口的关键性能指标存在异常,则通过处理模块对所述关键对等组中的各个网络接口进行分析;其中,所述处理模块包括异常采集单元和提示单元,所述异常采集单元用于对各个网络接口的连接状态进行监控,并设置预警阈值,则对各个网络接口的连接状态与预警阈值进行比较;若低于设定的预警阈值,则会触发异常预警;
所述提示单元基于所述异常采集单元的异常预警,向与各个网络接口连接的用户访问端推送提示信息;其中,所述提示信息是经过所述网络接口向连接的用户访问端进行提示消息的传输。
实施例二。
本实施例应当理解为至少包含前述任一一个实施例的全部特征,并在其基础上进一步改进,根据图1、图2、图3、图4和图5,还在于提供了一种基于大数据分析的网络检测系统,包括网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块、提示模块和处理器,所述处理器分别与网络接口、网络管理模块所述检测模块、所述安防模块、所述分析模块、所述处理模块和所述预警模块控制连接,并基于所述处理器对所述网络接口、网络管理模块、检测模块、安防模块、分析模块、处理模块、预警模块进行集中的控制,以提升对网络的智能检测的能力;
所述检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;
所述网络管理模块用于集中询问多个网络接口,以定期收集安全状态数据和操作状态数据;
其中,所述网络管理模块包括路由器、交换机、网络隧道、无线接入点或无线接入点的控制器;各个外接的设备通过所述网络接口进行连接,并配合所述网络管理模块对各个外接的设备进行网络和数据的监控;另外,若所述网络出现异常,如拥堵、断网或者超过设定的最低阈值,则通过所述预警模块向各个用户的设备发出提示;其中,所述预警模块用于对网络传输信道的通断状态进行预警,以实现对网络状态的交互反馈提示;
同时,本系统还能进行主动的安防,以提升对网络用户访问端的安全;其中,所述安防模块用于对网络接口的传输数据进行过滤,以对网络通信的数据进行主动防护;
同时,所述分析模块与所述安防模块相互配合,使得所述分析模块基于网络管理模块所接收的安全状态数据和操作状态数据,对所述安全状态数据和操作状态数据进行分析,若所述安全状态数据和操作状态数据中存在漏洞,则触发对所述安防模块对所述漏洞的处理;
所述处理模块用于对网络连接的异常状态进行处理,并将异常的数据向用户访问端进行提示;其中,所述网络的异常包括网络利用率过低、连接的客户端数量过载、吞吐量大、流量超过负荷、网络丢失包数量高、延迟或抖动异常等等;
所述检测模块包括监控器、网间连接器和评价单元,所述网间连接器用于对各个设备的数据包的地址进行寻址,并获取MAC地址;所述监控器用于对各个设备构建的子网络进行监视,以实现对各个设备连接状态的监视;所述评价单元基于所述网间连接器和所述监控器的状态进行评价;
所述评价单元包括活动检测器和活动分析器,所述活动检测器用于对用户访问端的网络进行检测;所述活动分析器基于所述活动检测器的数据对网络的连接状态进行分析;所述活动检测器使用地址解析包确定本地网络是否处于活动状态,以确定各个网络接口列表的实时状态、以及与各个网络接口相关联的可用协议;其中,各个所述网络接口与可用协议相匹配,形成网络连接通路;
所述活动检测器获取所述网络接口列表中的可用接口数N,形成一个接口分布矩阵SET:
Figure BDA0003457894700000111
其中,auv为第u个接口的第v个关键性能指标所对应的测量值;u=1,2,…,m为;v=1,2,…,n;
将接口分布矩阵中的各个测量值与设定的评价阈值进行比较;若大于关键阈值,则将该接口进行统计形成full{auv};若低于设定的评价阈值,则将该接口进行统计形成un_full{auv};
获取可用的接口数量、full{auv}和un_full{auv},以确定评价阈值的占比Duv;满足:
Figure BDA0003457894700000112
式中,N为网络接口列表中的可用接口数;un_full{auv}为低于设定的评价阈值的接口数量;full{auv}为高于设定的评价阈值的接口数量;
将评价阈值的占比Duv代入下式,求出网络接口的评价指数Y:
Figure BDA0003457894700000113
其中,k为连接网络中实际存在的连接数与现存网络接口总数的比值,满足:k=full{auv}/Lmax,其中,full{auv}为实际满足评价阈值的数量;Lmax为所述网络接口的总数;
Y的取值越大,能提供给用户访问端进行网络连接的网络接口越多,各个网络接口的可供选择量越大;所述检测单元对与所述网络接口连接的用户访问端的实时网络状态进行检测,并对各个接口的连接质量进行评价;同时,基于所述评价指数Y,对各个网络接口的关键性能指标进一步的确定;其中,将所述检测模块耦合到一个或多个网络接口并对各个网络接口配置执行多个反馈进程;所述反馈进程基于可执行程序的执行,并向各个网络接口进行状态的反馈;
其中,所述可执行程序在执行时识别多个网络接口中每一个的关键性能指标的变化;所述关键性能指标包括网络利用率、连接的客户端数量、吞吐量、流量、网络丢失包数量、延迟或抖动;并从关键性能指标随时间的变化相关联的多个网络接口中形成网络接口的监控对等组;
所述可执行程序在执行的过程中监控所述网络接口关键对等组中的各个网络接口的关键性能指标;若是随着时间的推移,所述关键性能指标随着时间的变化而产生变化(增大或减小),则该性能指标为与时间相关联;
其中,通过所述网络接口的关键性能指标的变化与网络接口关键对等组中的其他网络接口展示的关键性能指标变化的平均值或百分位数进行比较;若关键性能指标变化的平均值或百分数超过设定的阈值,则触发该网络接口预警;
获取连续的一个检测周期中的关键性能指标的初始检测值S0(t)和最终检测值Si(t),并根据下式计算所述关键性能指标的变化率Change:
Figure BDA0003457894700000121
若变化率超过设定检测阈值,则对所述性能指标进行预警;对于设定检测阈值Threshold(t)根据下式进行计算:
Figure BDA0003457894700000122
HEar(t)=S0(t)-Si(t)
其中,Threshold(t-1)为上一检测周期的设定检测阈值,若为首次设定检测阈值,则Threshold(t-1)置零,τd为网络接口的固有检测频率;Ts为网络检测时的更新频率,其值可以根据需要进行调整;HEar(t)关键性能指标的随着时间的变化量;S0(t)为关键性能指标的初始检测值;Si(t)为所述关键性能指标的最终检测值;
若Change>Threshold(t),则触发预警;
可选的,所述分析模块包括分析单元和隔离单元,所述分析单元对各个网络接口数据进行过滤,以实现对风险的主动防护;所述隔离单元基于所述分析单元的数据,将传输的数据包进行隔离;
所述分析单元自动从云漏洞服务器获取漏洞的域,并对域进行分析以提取域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址;
其中,所述分析单元在进行分析后,确定该漏洞为异常漏洞,并将识别出的异常漏洞上传至云漏洞服务器中,并对云漏洞服务器进行更新;根据常见漏洞和通用漏洞披露数据库,搜索所述漏洞的域,以识别出与域相关联的漏洞列表;其中,所述漏洞列表的排列次序是基于确定漏洞的域和子域的名称空间的权重来排序;并根据所述漏洞列表获取与域关联的云监控内容;利用名称列表、漏洞列表和云监控内容来确定与域相关的风险;其中,对于域和子域的名称空间的权重,则根据对用户访问端或系统的威胁程度进行确定,并根据威胁的大小进行排序;
所述隔离单元基于确定的域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址,对相关联的地址和主机的访问请求进行屏蔽、隔离等操作,以提升网络连接接口的安全和可靠性;
所述预警模块与所述检测模块相互配合,并基于所述检测模块的评价单元的评价值进行不同预警的触发;其中;所述预警模块包括预警单元和动作单元,所述预警单元用于对各个网络接口和用户访问端之间的网络连接通路的异常状态进行预警,以向设备触发预警信号;所述动作单元基于所述预警单元触发的预警信号,对异常执行修复动作;其中,所述异常状态为超过设定的网络抖动阈值;
所述预警单元包括检测控制器和缓冲器,所述缓冲器用于将过滤规则中多个包进行存储,并配合所述检测控制器对数据进行检测;
所述检测控制器遍历缓冲区中的包,所述检测控制器分析包中的数据块的数量,形成数据列表,并将所述数据列表中的数据块依次通过网络通信信道进行传输;
若检测到所述数据上载或者下载产生中断,超过设定的等待恢复时间,则触发向用户进行预警;
所述动作单元包括转换策略和转换器,所述转换器基于所述转换策略将原有的网络通信信道进行转换;其中,所述转换器基于所述预警单元的预警信号触发对网络通信信道的转换;
若所述评价指数超过设定的检测阈值,则通过转换器将当前的传输通道转换为其他传输通道;另外,所述转换策略是预置在系统中的,并在所述转换器需要对所述网络通信信道进行转换时,根据所述转换策略进行触发;其中,所述转换策略中预置了各种转换的情况,对于转换的情况是本领域的技术人员所熟知的技术手段,本领域的技术人员可以查询相关的技术手册获知该技术,因而在本实施例中不再一一赘述;
举个例子:假设L为实际满足连接阈值的数量;Lmax为所述网络接口的总数,若进行转换操作,则从剩下的L-1中选择任意一个网络接口,并通过选择的传输通道进行数据包的传输;
可选的,根据所述关键性能指标将各个网络接口划分为关键对等组和非必要对等组,若所述关键对等组中的某一个网络接口的关键性能指标存在异常,则通过处理模块对所述关键对等组中的各个网络接口进行分析;其中,所述处理模块包括异常采集单元和提示单元,所述异常采集单元用于对各个网络接口的连接状态进行监控,并设置预警阈值,则对各个网络接口的连接状态与预警阈值进行比较;若低于设定的预警阈值,则会触发异常预警;
所述提示单元基于所述异常采集单元的异常预警,向与各个网络接口连接的用户访问端推送提示信息;其中,所述提示信息是经过所述网络接口向连接的用户访问端进行提示消息的传输;
在本实施例中,所述异常采集单元基于所述网络接口中的负载程度BURDEN具体数值确定是否发生网络连接状态的异常,其中,各个所述网络接口的负载程度BURDEN,根据下式进行确定:
Figure BDA0003457894700000141
其中,Gt为各个网络接口数据处理量;Ut为网络接口的占用率;
对于网络接口数据处理量Gt的确定,满足:
Figure BDA0003457894700000142
其中,in_date为单位时间中各个网络接口输出的消息数;in_maximum为单位时间中各个网络接口传输的数据总量;
对于网络接口的占用率Ut的确定,满足:
Figure BDA0003457894700000143
其中,animate_call为当前占用所述数据列表中项数;occupation_num为所述数据列表的总项数;
若BURDEN>Threshold(t),则表示当前网络接口不适合进行数据传输,通过所述预警单元向所述动作单元发出转换的请求,使得对网络通信信道进行替换;
可选的,所述安防模块包括监控单元和防护单元,所述监控单元用于集中询问多个网络设备,以定期收集安全状态数据和操作状态数据;所述防护单元用于集中分析缓存的安全状态数据和操作状态数据,并根据连接到网络接口的至少一个用户访问端的漏洞,以触发对该漏洞提出安全建议;同时,自动从云漏洞服务器下载漏洞解决对应的动作;其中,所述安全状态数据和操作状态数据是根据所述用户访问端对所述网络管理模块访问时产生。
所述监控单元确定与各个网络接口连接的用户访问端的安全状态数据和操作状态的数据,若出现异常,则基于与异常相关联的属性,识别多个用户访问端中的一个或多个设备,从用户访问端接收访问的数据包;并根据接收到的所述数据包确定异常源;所述异常源包括但不局限于以下列举的几种:数据源的域的名称空间、与数据源的域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址,
另外,所述安防模块也与所述分析模块进行配合,对漏洞或者攻击进行隔离,以提升整个网络接口的安全;
对漏洞隔离的操作包括:直接进行删除、粉碎或将接收到的数据包存储在沙盒环境中;在检测到后续异常的情况下,将数据包在沙盒环境中进行隔离或者屏蔽;
其中,所述异常状态指在网络设备通过各个所述网络接口进行传输数据包时发生的异常行为,其中异常行为包括但是不局限于以下列举的几种:传播木马病毒和数据捆绑不相关的软件。
以上所公开的内容仅为本发明的优选可行实施例,并非因此局限本发明的保护范围,所以凡是运用本发明说明书及附图内容所做的等效技术变化,均包含于本发明的保护范围内,此外,随着技术发展其中的元素可以更新的。

Claims (5)

1.一种基于大数据分析的网络检测系统,包括网络接口和网络管理模块,其特征在于,包括检测模块、安防模块、分析模块、处理模块、预警模块和处理器,所述处理器分别与网络接口、网络管理模块、所述检测模块、所述安防模块、所述分析模块、所述处理模块和所述预警模块控制连接,所述网络管理模块与所述网络接口连接,所述检测模块与所述网络接口连接,所述检测模块分别于所述分析模块、处理模块连接,所述安防模块与所述分析模块连接,所述预警模块与所述处理模块连接;
所述网络管理模块用于集中询问多个网络接口,以定期收集安全状态数据和操作状态数据;
所述检测模块对网络接口和网络管理模块的状态进行检测,以获取网络通信信道的状态数据;
所述安防模块用于对网络接口的安全状态数据和操作状态数据进行主动防护;
所述分析模块基于网络管理模块所接收的安全状态数据和操作状态数据,对所述安全状态数据和操作状态数据进行分析,若所述安全状态数据和操作状态数据中存在漏洞,则触发对所述安防模块对所述漏洞的处理;
所述处理模块用于对所述网络通信信道的状态数据的异常状态进行处理,并将异常的状态向用户访问端进行提示;
所述预警模块用于对网络通信信道的通断状态向用户访问端进行预警;
所述检测模块包括监控器、网间连接器和评价单元,所述网间连接器用于对各个用户访问端的数据包的地址进行寻址,并获取MAC地址;所述监控器用于对各个用户访问端与各个网络接口构建的子网络进行监视,以实现对各个网络接口的连接状态的监视;所述评价单元基于所述网间连接器和所述监控器对用户访问端的网络连接状态进行评价;
所述评价单元包括活动检测器和活动分析器,所述活动检测器用于对用户访问端的网络进行检测;所述活动分析器基于所述活动检测器的数据对网络的连接状态进行分析;所述活动检测器使用地址解析包确定本地网络是否处于活动状态,以确定各个网络接口列表的实时状态、以及与各个网络接口相关联的可用协议;其中,各个所述网络接口与可用协议相匹配,形成网络连接通路;
所述活动检测器获取所述网络接口列表中的可用接口数N,形成一个接口分布矩阵SET:
Figure DEST_PATH_IMAGE001
其中,auv为第u个接口的第v 个关键性能指标所对应的测量值;u=1,2,…,m;v=1,2,…,n;将接口分布矩阵中的各个测量值与设定的评价阈值进行比较;若大于评价阈值,则将该接口进行统计形成full{auv};若低于设定的评价阈值,则将该接口进行统计形成un_full{auv};
获取可用的接口数量、full{auv}和un_full{auv},以确定评价阈值的占比Duv;满足:
Figure 771632DEST_PATH_IMAGE002
式中,N为网络接口列表中的可用接口数;un_full{auv}为低于设定的评价阈值的接口数量;full{auv}为高于设定的评价阈值的接口数量;
将评价阈值的占比Duv代入下式,求出网络接口的评价指数Y:
Figure DEST_PATH_IMAGE003
其中, k为连接网络中实际存在的连接数与现存网络接口总数的比值,满足:k= full{auv}/Lmax,其中,full{auv}为实际满足评价阈值的数量;Lmax为所述网络接口的总数;
Y的取值越大,能提供给用户访问端进行网络连接的网络接口越多,各个网络接口的可供选择量越大。
2.根据权利要求1所述的一种基于大数据分析的网络检测系统,其特征在于,所述检测模块耦合到一个或多个网络接口并对各个网络接口配置执行多个反馈进程;所述反馈进程基于可执行程序的执行,并向各个网络接口进行状态的反馈;
其中,所述可执行程序在执行时识别多个网络接口中每一个的关键性能指标的变化;所述关键性能指标包括网络利用率、连接的客户端数量、吞吐量、流量、网络丢失包数量、延迟或抖动;并从关键性能指标随时间的变化相关联的多个网络接口中形成网络接口的关键对等组;并监控所述网络接口关键对等组中的各个网络接口的关键性能指标;
其中,通过所述网络接口的关键性能指标的变化与网络接口关键对等组中的其他网络接口展示的关键性能指标变化的平均值或百分位数进行比较;若关键性能指标变化的平均值或百分数超过设定的阈值,则触发该网络接口预警。
3.根据权利要求2所述的一种基于大数据分析的网络检测系统,其特征在于,所述分析模块包括分析单元和隔离单元,所述隔离单元基于所述分析单元的数据,将传输的数据包进行隔离;所述分析单元自动从云漏洞服务器获取漏洞的域,并对域进行分析以提取域的名称空间、与域关联的主机、与域关联的子域、子域的名称空间以及包括任何已识别名称空间的地址范围的地址;其中,所述分析单元在进行分析后,将识别出的异常漏洞上传至云漏洞服务器中,并对云漏洞服务器进行更新;根据常见漏洞和通用漏洞披露数据库,搜索所述漏洞的域,以识别出与域相关联的漏洞列表;其中,所述漏洞列表的排列次序是基于确定漏洞的域和子域的名称空间的权重来排序;
并根据所述漏洞列表获取与域关联的云监控内容;利用名称列表、漏洞列表和云监控内容来确定与域相关的风险。
4.根据权利要求3所述的一种基于大数据分析的网络检测系统,其特征在于,所述预警模块包括预警单元和动作单元,所述预警单元用于对各个网络接口和用户访问端之间的网络连接通路的异常状态进行预警,以向用户访问端触发预警信号;所述动作单元基于所述预警单元触发的预警信号,对异常执行修复动作;
所述预警单元包括检测控制器和缓冲器,所述缓冲器用于将过滤规则中多个包进行存储,并配合所述检测控制器对数据进行检测;
所述检测控制器遍历缓冲区中的包,所述检测控制器分析包中的数据块的数量,形成数据列表,并将所述数据列表中的数据块依次通过网络通信信道进行传输;
若检测到所述数据上载或者下载产生中断,超过设定的等待恢复时间,则触发向用户进行预警;
所述动作单元包括转换策略和转换器,所述转换器基于所述转换策略将原有的网络通信信道进行转换;其中,所述转换器基于所述预警单元的预警信号触发对网络通信信道的转换。
5.根据权利要求4所述的一种基于大数据分析的网络检测系统,其特征在于,根据所述关键性能指标将各个网络接口划分为关键对等组和非必要对等组,若所述关键对等组中的某一个网络接口的关键性能指标存在异常,则通过处理模块对所述关键对等组中的各个网络接口进行分析;其中,所述处理模块包括异常采集单元和提示单元,所述异常采集单元用于对各个网络接口的连接状态进行监控,并设置预警阈值,则对各个网络接口的连接状态与预警阈值进行比较;
若低于设定的预警阈值,则会触发异常预警;
所述提示单元基于所述异常采集单元的异常预警,向与各个网络接口连接的用户访问端推送提示信息;其中,所述提示信息经过网络接口向用户访问端进行提示消息的传输。
CN202210008371.9A 2022-01-06 2022-01-06 一种基于大数据分析的网络检测系统 Active CN114338221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210008371.9A CN114338221B (zh) 2022-01-06 2022-01-06 一种基于大数据分析的网络检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210008371.9A CN114338221B (zh) 2022-01-06 2022-01-06 一种基于大数据分析的网络检测系统

Publications (2)

Publication Number Publication Date
CN114338221A CN114338221A (zh) 2022-04-12
CN114338221B true CN114338221B (zh) 2022-07-22

Family

ID=81024930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210008371.9A Active CN114338221B (zh) 2022-01-06 2022-01-06 一种基于大数据分析的网络检测系统

Country Status (1)

Country Link
CN (1) CN114338221B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933731B (zh) * 2017-05-22 2022-04-12 南京骏腾信息技术有限公司 基于大数据分析的智能网关
CN108259462A (zh) * 2017-11-29 2018-07-06 国网吉林省电力有限公司信息通信公司 基于海量网络监测数据的大数据安全分析系统
KR20200136662A (ko) * 2019-05-28 2020-12-08 삼성에스디에스 주식회사 데이터 보안 방법과 시스템 및 이를 수행하기 위한 장치
CN113536381A (zh) * 2021-08-03 2021-10-22 刘来凤 一种基于终端的大数据分析处理方法及系统

Also Published As

Publication number Publication date
CN114338221A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN107454109B (zh) 一种基于http流量分析的网络窃密行为检测方法
US9860154B2 (en) Streaming method and system for processing network metadata
KR100942456B1 (ko) 클라우드 컴퓨팅을 이용한 DDoS 공격 탐지 및 차단 방법 및 서버
EP2227889B1 (en) Method of detecting anomalies in a communication system using symbolic packet features
CN108063765B (zh) 适于解决网络安全的sdn系统
US20050182950A1 (en) Network security system and method
EP3410336A1 (en) Forensic analysis
KR20170060092A (ko) 분산형 트래픽 관리 시스템 및 기법들
KR20120126674A (ko) 차단서버를 이용한 스푸핑 공격 방어방법
CN109561051A (zh) 内容分发网络安全检测方法及系统
CN115134099B (zh) 基于全流量的网络攻击行为分析方法及装置
US20150264071A1 (en) Analysis system and analysis apparatus
Janabi et al. Convolutional neural network based algorithm for early warning proactive system security in software defined networks
CN114124516A (zh) 态势感知预测方法、装置及系统
US11863584B2 (en) Infection spread attack detection device, attack origin specification method, and program
KR102044181B1 (ko) 네트워크 트래픽을 통해 화이트 리스트를 생성하는 장치 및 그 방법
CN111343135A (zh) 一种网络安全态势检测方法
CN114338221B (zh) 一种基于大数据分析的网络检测系统
US20110141899A1 (en) Network access apparatus and method for monitoring and controlling traffic using operation, administration, and maintenance (oam) packet in internet protocol (ip) network
WO2019235403A1 (ja) 感染拡大攻撃検知システム及び方法、並びに、プログラム
Nakahara et al. Malware Detection for IoT Devices using Automatically Generated White List and Isolation Forest.
CN114189361B (zh) 防御威胁的态势感知方法、装置及系统
CN114172881A (zh) 基于预测的网络安全验证方法、装置及系统
US9049170B2 (en) Building filter through utilization of automated generation of regular expression
CN112291213A (zh) 一种基于智能终端的异常流量分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant