CN116723136A - 应用fcm聚类算法的网络检测数据的方法 - Google Patents

应用fcm聚类算法的网络检测数据的方法 Download PDF

Info

Publication number
CN116723136A
CN116723136A CN202310996240.0A CN202310996240A CN116723136A CN 116723136 A CN116723136 A CN 116723136A CN 202310996240 A CN202310996240 A CN 202310996240A CN 116723136 A CN116723136 A CN 116723136A
Authority
CN
China
Prior art keywords
data
network
network data
clustering algorithm
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310996240.0A
Other languages
English (en)
Other versions
CN116723136B (zh
Inventor
阎星娥
严荣明
刘慰慰
杨昆
张�林
赵万亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huafei Data Technology Co ltd
Original Assignee
Nanjing Huafei Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huafei Data Technology Co ltd filed Critical Nanjing Huafei Data Technology Co ltd
Priority to CN202310996240.0A priority Critical patent/CN116723136B/zh
Publication of CN116723136A publication Critical patent/CN116723136A/zh
Application granted granted Critical
Publication of CN116723136B publication Critical patent/CN116723136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/091Measuring contribution of individual network components to actual service level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了应用FCM聚类算法的网络检测数据的方法,涉及网络检测领域,解决的问题是提高网络检测能力,进而提高无线网络的通信能力,采用的方法是一种应用FCM聚类算法的网络检测数据的方法,首先实时捕获网络数据,然后监控捕获网络数据质量并反馈改进,并对捕获的网络数据进行多通道分类通讯,对网络数据进行数据去重、数据补缺、数据降噪、数据归一化和数据格式转换,对网络数据进行两次聚类数据分析,获取异常网络数据和异常网络数据类别,对网络异常告警处理,并同步反馈至网络修复模块对网络进行漏洞修复、安全加固和异常点追踪,大大提高了网络通信能力和网络检测能力。

Description

应用FCM聚类算法的网络检测数据的方法
技术领域
本发明涉及网络检测领域,且更具体地涉及一种应用FCM聚类算法的网络检测数据的方法。
背景技术
无线通信网络是一种将数据传输到计算机或其他设备,通过无线信号进行通信的网络。这种网络通常由无线接入点(Access Point,简称AP)和无线客户端设备(Wirelessclient devices)组成。网络数据传输过程中,大多遇到各种问题,使得数据通讯存在各种问题。网络检测通讯数据就显得尤其必要。
网络检测数据通常是指用于评估网络拓扑结构、分析网络性能、检测网络故障等方面的数据。这些数据的来源可能包括网络设备(如路由器、交换机、防火墙等)、软件开发工具(如Wireshark、Nagios、Prometheus等)、网络监控平台(如NetFlow、Ping、DNS Stuff等)等。在评估网络拓扑结构方面,这些数据可以帮助分析网络中的节点和链路,识别网络拓扑中的问题,例如网络中的端口有故障、链路上有丢包、节点性能不足等。在分析网络性能方面,这些数据可以帮助评估网络的吞吐量、响应时间、数据传输速度等指标,帮助发现问题并制定解决方案。
在检测网络故障方面,这些数据可以帮助检测网络中的异常,例如节点故障、链路故障、网络拓扑结构异常等。这些数据还可以用于检测网络安全漏洞,例如在检测漏洞扫描器时使用这些数据来检测漏洞。网络检测数据是评估和监控网络性能和拓扑结构的重要工具,对于网络管理员和研究人员来说,这些数据可以帮助他们在网络管理和维护方面更加高效。无线客户端设备可以包括智能手机、无绳电话、无线耳机等。无线接入点负责为这些设备提供信号并传输数据。无线通信网络可以支持不同的设备和通信方式,以适应不同的需求和应用场景。
随着网络带宽逐渐增加、存储介质的容量逐渐增大、服务器计算能力逐渐增强,促使了数据产生的成本越来越低,从而造成网络数据急剧膨胀。如何快速、准确对网络数据进行识别和分类是网络检测中亟待解决的问题。
然而,应用传统FCM聚类算法的网络检测数据计算复杂度较高,需要进行多次迭代才能得到结果,需要考虑计算效率和准确性问题,因此,本发明公开了一种应用FCM聚类算法的网络检测数据的方法。
发明内容
针对现有技术的不足,本发明公开了一种应用FCM聚类算法的网络检测数据的方法,对网络流量数据进行聚类分析,快速、准确地检测网络中的异常情况,提高网络的安全性;通过采用多线程和异步I/O结合工作方式实时收集多维度网络数据,提高网络数据捕获的效率;通过数据质量反馈模块监控捕获网络数据质量并反馈改进,提高数据聚类分析的准确性;通过数据通讯模块将捕获网络数据分维度多通道加速传输,并设置备用传输通道,提高数据传输的效率和稳定性;通过云计算平台构建改进式FCM聚类算法模型,并对网络数据进行两次聚类数据分析,以获取异常网络数据和异常网络数据类别,以提高网络异常搜查精确度并减少修复时间;自动化、智能化程度高。
本发明采用以下技术方案:
一种应用FCM聚类算法的网络检测数据的方法,其特征在于:包括以下步骤:
步骤一、实时捕获网络数据,通过数据捕获模块实时收集多维度网络数据,网络数据维度包括网络流量、网络交换速率、端口传输数据、网络拓扑交互数据、网络数据包负载和网络数据包质量,所述数据捕获模块采用多线程和异步I/O结合工作方式实时捕获网络数据,以提高网络数据捕获效率;
步骤二、监控捕获网络数据质量并反馈改进,通过数据质量监控模块监控捕获网络数据质量,并基于捕获网络数据的质量改进网络数据捕获方法;
步骤三、捕获网络数据的多通道分类通讯,通过数据通讯模块将捕获网络数据分维度多通道传输,所述数据通讯模块通过备用通道单元实现主传输通道故障的替换,并通过传输加速单元对网络数据传输加速,以保证数据处理的及时性;
步骤四、网络数据预处理,通过数据清洗工具对网络数据进行数据去重、数据补缺、数据降噪、数据归一化和数据格式转换;
步骤五、对网络数据进行聚类分析,通过云计算平台构建改进式FCM聚类算法模型,并对网络数据进行两次聚类数据分析,以获取异常网络数据和异常网络数据类别;
在步骤五中,首次应用改进式FCM聚类算法对网络数据进行异常聚类分析时,所述云计算平台通过双阈值评估网络数据异常情况,当改进式FCM聚类算法结果大于高阈值或小于低阈值,则判定网络数据异常,二次应用改进式FCM聚类算法时,所述云计算平台对网络异常数据类别进行异常聚类分析,以减少网络异常修复时间;
步骤六、网络异常告警处理,通过告警反馈模块将异常网络数据和异常发生时间通过邮件、短信或看板方式汇报给管理人员,并同步反馈至网络修复模块对网络进行漏洞修复、安全加固和异常点追踪。
作为本发明进一步的技术方案,所述数据质量监控模块通过DataV可视化应用搭建工具实现捕获网络数据图表化统计,并采用深度融合预测模型预测网络数据质量风险值,所述数据质量监控模块根据网络数据质量风险值评估网络数据质量。
作为本发明进一步的技术方案,所述深度融合预测模型基于历史网络数据质量可用度、重复度和完整度特征预测网络数据质量风险值,设置历史网络数据样本为,n为历史网络数据样本个数,/>n,将历史网络数据样本按照可用度、重复度和完整度特征分为不同数据集/>,预测网络数据质量风险值输出函数公式为:
(1)
在公式(1)中,为网络数据质量风险值预测结果,/>为网络数据综合特征加权值,/>为加权辅助函数值,/>为网络数据可用度特征,/>为网络数据可用度特征的第i个数据,/>为网络数据重复度特征,/>为网络数据重复度特征的第i个数据,/>为网络数据完整度特征,/>为网络数据完整度特征的第i个数据。
作为本发明进一步的技术方案,所述备用通道单元通过备用通道驱动卡实现主传输通道和备用传输通道无间歇故障切换,所述备用通道驱动卡包括高速串行扩展总线PCIe和备用通道处理电路,所述高速串行计算机扩展总线PCIe采用热插拔备用切换方式和QOS抗延迟阻塞服务实现主传输通道和备用传输通道端对端实时信息同步,以提高备用通道切换信息同步可靠性,并减少切换时间延迟,所述备用传输通道通过备用通道处理电路连接控制器,以接收备用通道切换控制指令。
作为本发明进一步的技术方案,所述传输加速单元采用全连接多源加速网络实现多通道网络数据的加速传输,所述全连接多源加速网络通过三层TCP/UDP传输协议和数据压缩算法DEFLATE/GZIP减少网络数据通讯时间延迟,并基于服务器负载均衡逻辑分布式部署缓存服务器实现网络数据实时分配至后端服务器。
作为本发明进一步的技术方案,所述改进式FCM聚类算法工作步骤包括:
步骤1、确定聚类数,所述改进式FCM聚类算法采用分割指标法确定聚类数,所述分割指标法通过计算不同聚类数对应的分割指标确定最优聚类数,并采用自适应聚类中心点算法自动选择最佳初始聚类中心点,以避免局部最优情况,所述改进式FCM聚类算法添加数据点权重因子增强网络数据点在聚类过程中清晰度;
步骤2、初始化矩阵,所述改进式FCM聚类算法采用先验领域信息实现样本初始分类,并对矩阵进行赋值,所述改进式FCM聚类算法根据网络数据样本特征赋予网络数据样本不同权重,并通过迭代优化法优化聚类效果,所述迭代优化法与自适应学习率法结合基于迭代次数和预设参数值自动调整学习率,以提高改进式FCM聚类算法的收敛速度和稳定性;
步骤3、计算聚类中心,所述改进式FCM聚类算法采用软加权平均法计算聚类中心,以提高聚类的鲁棒性和稳健性,并通过约束条件限制聚类中心数量和位置,以避免聚类中心过多或过少情况,所述软加权平均法采用指数函数计算样本加权后平均值,以减少异常点的影响;
步骤4、更新矩阵,所述改进式FCM聚类算法根据聚类中心计算数据点到聚类中心的距离,并将距离转化为隶属度值,以更新矩阵;
步骤5、判断收敛,设置最大迭代次数,迭代次数达到最大值判断矩阵收敛,迭代次数未达到最大值判断矩阵不收敛,则执行步骤5操作。
作为本发明进一步的技术方案,所述云计算平台应用改进式FCM聚类算法对网络数据异常聚类分析结果集合为,n为聚类分析结果个数,聚类分析结果低阈值的输出函数公式为:
(2)
在公式(2)中,为聚类分析结果低阈值,/>为聚类分析结果低阈值加权值,/>为聚类分析结果个数,/>为第i个聚类分析结果,/>为网络数据异常聚类分析结果最大值,为网络数据异常聚类分析结果最小值;
聚类分析结果高阈值的输出函数公式为:
(3)
在公式(3)中,为聚类分析结果高阈值,/>为聚类分析结果高阈值加权值。
作为本发明进一步的技术方案,所述网络修复模块的工作包括以下方面:
(1)漏洞识别,所述网络修复模块通过云安全服务扫描网络漏洞发现未安装的补丁、应用配置缺陷、新型漏洞和弱口令风险;
(2)异常处置,所述网络修复模块通过云应用防火墙过滤入站和出站的恶意网络流量,并阻止应用程序中的恶意指令;
(3)异常点追踪,所述网络修复模块通过安全信息和事件管理系统管理网络修复日志,并基于网络修复日志追踪修复漏洞状态。
积极有益效果:
本发明公开了一种应用FCM聚类算法的网络检测数据的方法,对网络流量数据进行聚类分析,快速、准确地检测网络中的异常情况,提高网络的安全性;通过采用多线程和异步I/O结合工作方式实时收集多维度网络数据,提高网络数据捕获的效率;通过数据质量反馈模块监控捕获网络数据质量并反馈改进,提高数据聚类分析的准确性;通过数据通讯模块将捕获网络数据分维度多通道加速传输,并设置备用传输通道,提高数据传输的效率和稳定性;通过云计算平台构建改进式FCM聚类算法模型,并对网络数据进行两次聚类数据分析,以获取异常网络数据和异常网络数据类别,以提高网络异常搜查精确度并减少修复时间;自动化、智能化程度高。
基于集的FCM算法作为一种无监督的分类方法,表现了样本与样本之间的联系,建立了数据样本对类别的不确定性描述,已广泛应用于机器学习、数据挖掘、图像分割、海量数据分析等领域。在网络数据检测中,可以利用FCM聚类算法对网络流量数据进行聚类分析,从而快速检测网络中的异常情况。
附图说明
图1为本发明一种应用FCM聚类算法的网络检测数据的方法的整体流程示意图;
图2为本发明一种应用FCM聚类算法的网络检测数据的方法中数据通讯模块的模型架构示意图;
图3为本发明一种应用FCM聚类算法的网络检测数据的方法中数据捕获模块的工作原理图;
图4为本发明一种应用FCM聚类算法的网络检测数据的方法中数据质量监控模块的工作原理图;
图5为本发明一种应用FCM聚类算法的网络检测数据的方法中数据通讯模块的电路示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种应用FCM聚类算法的网络检测数据的方法,其特征在于:包括以下步骤:
步骤一、实时捕获网络数据,通过数据捕获模块实时收集多维度网络数据,网络数据维度包括网络流量、网络交换速率、端口传输数据、网络拓扑交互数据、网络数据包负载和网络数据包质量,所述数据捕获模块采用多线程和异步I/O结合工作方式实时捕获网络数据,以提高网络数据捕获效率;
步骤二、监控捕获网络数据质量并反馈改进,通过数据质量监控模块监控捕获网络数据质量,并基于捕获网络数据的质量改进网络数据捕获方法;
步骤三、捕获网络数据的多通道分类通讯,通过数据通讯模块将捕获网络数据分维度多通道传输,所述数据通讯模块通过备用通道单元实现主传输通道故障的替换,并通过传输加速单元对网络数据传输加速,以保证数据处理的及时性;
步骤四、网络数据预处理,通过数据清洗工具对网络数据进行数据去重、数据补缺、数据降噪、数据归一化和数据格式转换;
步骤五、对网络数据进行聚类分析,通过云计算平台构建改进式FCM聚类算法模型,并对网络数据进行两次聚类数据分析,以获取异常网络数据和异常网络数据类别;
在步骤五中,首次应用改进式FCM聚类算法对网络数据进行异常聚类分析时,所述云计算平台通过双阈值评估网络数据异常情况,当改进式FCM聚类算法结果大于高阈值或小于低阈值,则判定网络数据异常,二次应用改进式FCM聚类算法时,所述云计算平台对网络异常数据类别进行异常聚类分析,以减少网络异常修复时间;
步骤六、网络异常告警处理,通过告警反馈模块将异常网络数据和异常发生时间通过邮件、短信或看板方式汇报给管理人员,并同步反馈至网络修复模块对网络进行漏洞修复、安全加固和异常点追踪。
在具体实施例中,该方法是通过网络流量分析来检测和识别网络数据的特征,从而判断是否为恶意流量或危险行为。收集网络流量数据:将网络流量数据捕获并存储在系统中,可以使用网络流量分析软件,如Wireshark等。预处理数据:对收集到的数据进行预处理,消除噪声和不必要的信息。可以使用数据清洗技术,如过滤、归一化等。特征提取:从预处理后的数据中提取特征,用于判断网络数据的性质。可提取的特征包括数据包大小、数据包间隔时间、数据包源地址和目标地址等。建立模型:使用机器学习或深度学习技术构建分类模型,将提取的特征作为输入,将网络数据分类为正常流量或恶意流量。可使用各种算法,如决策树、支持向量机、神经网络等。模型评估:对建立的模型进行评估,包括模型正确率、召回率、精确度等指标的评估。对于结果不理想的模型,需要进行调整和优化。实时监测:使用模型对实时流量进行监测,判断是否为恶意流量或危险行为,并根据需要采取相应的防范措施。
总而言之,该方法通过归纳和学习网络数据的特征,可以实现对网络数据的自动识别和分类,提高了网络安全性。
在上述实施例中,所述数据质量监控模块通过DataV可视化应用搭建工具实现捕获网络数据图表化统计,并采用深度融合预测模型预测网络数据质量风险值,所述数据质量监控模块根据网络数据质量风险值评估网络数据质量。
在具体实施例中,数据质量监控是指对数据进行实时、定期或不定期的检查、评估和反馈,以确保数据质量符合特定标准和要求,并及时发现数据质量问题,为数据管理、分析和应用提供可靠的数据基础。数据质量监控包括以下步骤:
确定数据质量指标:根据数据的应用场景和要求,确定数据质量指标,如准确性、完整性、一致性、时效性等。设计监控方案:设计监控方案,明确监控周期、监控方式、数据源、数据处理方法等。实施监控:按照监控方案实施监控,收集数据、处理数据、生成报告。分析结果:对监控结果进行分析,识别数据质量问题,确定问题原因。反馈建议:根据分析结果,提出改进建议或解决方案,反馈给数据负责人或相关业务部门。持续改进:根据反馈结果,不断优化监控方案和数据管理流程,提高数据质量水平。
数据质量监控可以提高数据质量、降低风险、提高数据利用价值,是数据管理和应用的重要环节。
在上述实施例中,所述深度融合预测模型基于历史网络数据质量可用度、重复度和完整度特征预测网络数据质量风险值,设置历史网络数据样本为,n为历史网络数据样本个数,/>n,将历史网络数据样本按照可用度、重复度和完整度特征分为不同数据集/>,预测网络数据质量风险值输出函数公式为:
(1)
在公式(1)中,为网络数据质量风险值预测结果,/>为网络数据综合特征加权值,/>为加权辅助函数值,/>为网络数据可用度特征,/>为网络数据可用度特征的第i个数据,/>为网络数据重复度特征,/>为网络数据重复度特征的第i个数据,/>为网络数据完整度特征,/>为网络数据完整度特征的第i个数据。
在上述实施例中,所述备用通道单元通过备用通道驱动卡实现主传输通道和备用传输通道无间歇故障切换,所述备用通道驱动卡包括高速串行扩展总线PCIe和备用通道处理电路,所述高速串行计算机扩展总线PCIe采用热插拔备用切换方式和QOS抗延迟阻塞服务实现主传输通道和备用传输通道端对端实时信息同步,以提高备用通道切换信息同步可靠性,并减少切换时间延迟,所述备用传输通道通过备用通道处理电路连接控制器,以接收备用通道切换控制指令。
在具体实施例中,备用通道驱动卡是指在计算机或者其他电子设备中,用于备用通道的驱动卡。备用通道通常是系统中的一条备用路径,在主通道无法正常工作时,备用通道可以起到故障转移的作用,确保系统的连续性和可靠性。备用通道驱动卡可以插入主板或其他扩展槽中,通过连接线路使其与备用通道相连。当主通道出现故障时,备用通道驱动卡会自动接管,并将数据传输到备用通道中,以保证系统的正常运行。备用通道驱动卡在高可靠性要求的系统中经常使用,如金融交易、航空控制等领域。同时,备用通道驱动卡也需要具有高可靠性和稳定性,以确保其在故障情况下能够快速自动切换,并能够提供稳定的数据传输服务。
添加备用通道驱动卡能够实现主传输通道和备用传输通道无间歇切换,减少主传输通道和备用传输通道切换导致的时间延迟,对比效果如表1所示:
表1 时间延迟速度对比统计表
在上述实施例中,所述传输加速单元采用全连接多源加速网络实现多通道网络数据的加速传输,所述全连接多源加速网络通过三层TCP/UDP传输协议和数据压缩算法DEFLATE/GZIP减少网络数据通讯时间延迟,并基于服务器负载均衡逻辑分布式部署缓存服务器实现网络数据实时分配至后端服务器。
在具体实施例中,全连接多源加速网络包括以下部分:
加速区域,要优化访问体验的区域,目前覆盖全球的阿里云数据中心大部分可以作为加速区域使用,一个全球加速实例支持多个加速区域,不同的加速区域可以根据需要分配不同的加速带宽。
加速IP,选择了加速地域后,将自动在该地域创建一个加速IP作为服务的访问入口。
监听,将前端加速IP收到的请求转发到后端的应用服务,转发的过程中可以利用阿里云覆盖全球的内部传输网络进行加速,可以创建TCP/UDP或者HTTP/HTTPS的监听。
终端组,一个靠近服务或网站所在地的代理集群,用于发送服务请求并获取服务响应,对于TCP/UDP监听来说一个监听只能对应一个终端组,对于HTTP/HTTPS的监听来说可以对应一个默认终端组以及多个虚拟终端组。
终端节点,一个代理服务器节点,用于发送服务请求及传回结果。
来自加速区域的服务请求将被分别发送到不同的加速区域的加速IP,加速IP具体接受什么样的请求要以监听为准,一个GA全球加速实例可以创建多个监听,而一个监听又对应多个不同的服务端口,这些端口限定了一个GA提供的服务范围,通过监听接受到的服务请求将通过阿里云的内部网络传输到不同的终端组,这些终端组的位置将尽可能靠近网站和服务的源站点,为了充分保证加速的性能和可用性,因此一个终端组将对应4个终端节点,这4个终端节点将负责将收到的加速请求转发给源站,待源站处理完成后结果将顺原路返回到加速IP,加速IP将把结果发送给在加速地域的客户端。对于TCP/UDP协议的全球加速监听,监听和终端组是一一对应的关系。对于HTTP/HTTPS协议的全球加速监听,默认情况下所有的加速请求将被发送到默认终端组,另外还可以通过设置基于URL的转发策略将部分请求转发到虚拟端口组。用户可根据需要将带宽包在不同的加速区域间进行分配。
在上述实施例中,所述改进式FCM聚类算法工作步骤包括:
步骤1、确定聚类数,所述改进式FCM聚类算法采用分割指标法确定聚类数,所述分割指标法通过计算不同聚类数对应的分割指标确定最优聚类数,并采用自适应聚类中心点算法自动选择最佳初始聚类中心点,以避免局部最优情况,所述改进式FCM聚类算法添加数据点权重因子增强网络数据点在聚类过程中清晰度;
步骤2、初始化矩阵,所述改进式FCM聚类算法采用先验领域信息实现样本初始分类,并对矩阵进行赋值,所述改进式FCM聚类算法根据网络数据样本特征赋予网络数据样本不同权重,并通过迭代优化法优化聚类效果,所述迭代优化法与自适应学习率法结合基于迭代次数和预设参数值自动调整学习率,以提高改进式FCM聚类算法的收敛速度和稳定性;
步骤3、计算聚类中心,所述改进式FCM聚类算法采用软加权平均法计算聚类中心,以提高聚类的鲁棒性和稳健性,并通过约束条件限制聚类中心数量和位置,以避免聚类中心过多或过少情况,所述软加权平均法采用指数函数计算样本加权后平均值,以减少异常点的影响;
步骤4、更新矩阵,所述改进式FCM聚类算法根据聚类中心计算数据点到聚类中心的距离,并将距离转化为隶属度值,以更新矩阵;
步骤5、判断收敛,设置最大迭代次数,迭代次数达到最大值判断矩阵收敛,迭代次数未达到最大值判断矩阵不收敛,则执行步骤5操作。
在具体实施例中,利用matlab2018a对数据进行仿真,按4:1的比例对正常流量数据和异常流量数据进行分别抽样,随机抽取一万条记录进行数据清洗和规范化,并通过数据规约对数据进行降维采样,尽量保持原有数据集的有关特性,减少需要处理的数据量,将改进式FCM聚类算法与传统FCM算法进行性能比较,权重指数为2。分别对数据样本进行聚类,聚类结果如表2所示:
表2聚类结果对比
通过理论分析和实验发现,改进式FCM聚类算法的运行速度比传统FCM算法快,且准确率高于传统FCM算法,对数据集抑制5%的噪声,在模拟实验环境下,基于改进FCM算法的网络异常流量检测具有聚类速度较快,分类好的特点,算法鲁棒性较好,能正确、及时发现网络异常流量,为网络异常流量实时检测提供技术支持。
在上述实施例中,所述云计算平台应用改进式FCM聚类算法对网络数据异常聚类分析结果集合为,n为聚类分析结果个数,聚类分析结果低阈值的输出函数公式为:
) (2)
在公式(2)中,为聚类分析结果低阈值,/>为聚类分析结果低阈值加权值,/>为聚类分析结果个数,/>为第i个聚类分析结果,/>为网络数据异常聚类分析结果最大值,为网络数据异常聚类分析结果最小值;
聚类分析结果高阈值的输出函数公式为:
(3)
在公式(3)中,为聚类分析结果高阈值,/>为聚类分析结果高阈值加权值。
在具体实施例中,采用公式(2)和(3)的计算结果判断网络数据是否异常与人工判定结果对比统计入表3所示:
表3结果对比统计表
由表3可知,采用公式(2)和(3)的计算结果判断网络数据是否异常与人工判定结果基本相同,当计算结果近似接近阈值时可能会导致判断失误。
在上述实施例中,所述网络修复模块的工作包括以下方面:
(1)漏洞识别,所述网络修复模块通过云安全服务扫描网络漏洞发现未安装的补丁、应用配置缺陷、新型漏洞和弱口令风险;
(2)异常处置,所述网络修复模块通过云应用防火墙过滤入站和出站的恶意网络流量,并阻止应用程序中的恶意指令;
(3)异常点追踪,所述网络修复模块通过安全信息和事件管理系统管理网络修复日志,并基于网络修复日志追踪修复漏洞状态。
在具体实施例中,追踪监视通过分布式链路追踪实现,分布式链路追踪就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。链路跟踪主要功能包括:故障快速定位:可以通过调用链结合业务日志快速定位错误信息。链路性能可视化:各个阶段链路耗时、服务依赖关系可以通过可视化界面展现出来。链路分析:通过分析链路耗时、服务依赖关系可以得到用户的行为路径,汇总分析应用在很多业务场景。通过开发人员编写时间连接模式以建立变量之间的因果关系,并通过自定义编写的日志消息予以公开;与采样机制不兼容,因为在收集所有日志之前,他们会延迟确定因果关系;不侵入应用程序,它基于关联预先存在的变量和时间通过统计或回归分析来推断因果关系;它无法正确地解释异步(缓存或事件驱动的系统)行为、并发、聚合以及专有的代码模式;所有基于元数据传播的实现都可以识别单个函数或跟踪点之间的因果关系,并以日志记录的形式记录相关时间内的事件;
从本质上讲,手动对组件在特定的跟踪点添加检测机制以跟踪函数、组件和系统之间的因果关系;另外,也可使用通用的RPC库,自动为每个调用添加元数据;跟踪的元数据包括Trace ID(代表单个跟踪或工作流)和特定跟踪中每个点的Span ID(例如,从客户端发送的请求、服务器接收的请求、服务器响应等)以及Span的开始和结束时间;有最好时效性的分布式跟踪机制。
溯源纠察单元采用数据流量纠察TP工具识别数据流量在各节点间的流转时间分布特征,并基于两节点间路径总时间与给定时间的差值度量数据流动路径,实现接入层至输出层的数据纠察溯源,并将不符合流量路由规则的调用进行标记分析。
在具体实施例中,根据概率理论,流转时间连续变量的数学期望可用来表征该时间分布的数字特征。因此,以两节点间是否存在追溯单元流转及其流转时间分布的数学期望为变量,以两节点间路径总时间与给定时间的差值最小为最优化目标,建立路径估测优化模型(P)。
在网络中指定起始端节点I和终端节点J,在模型(P)中增加约束条件I≤{i,j}≤J,求解模型(P),得到追溯单元在两节点间的流动路径。采用Monte Carlo仿真所得路径的时间分布,查看t在所得路径的时间分布中出现的概率,以确定可信度高的追溯单元流动路径。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变。例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此,本发明的范围仅由所附权利要求书限定。

Claims (8)

1.一种应用FCM聚类算法的网络检测数据的方法,其特征在于:包括以下步骤:
步骤一、实时捕获网络数据,通过数据捕获模块实时收集多维度网络数据,网络数据维度包括网络流量、网络交换速率、端口传输数据、网络拓扑交互数据、网络数据包负载和网络数据包质量,所述数据捕获模块采用多线程和异步I/O结合工作方式实时捕获网络数据,以提高网络数据捕获效率;
步骤二、监控捕获网络数据质量并反馈改进,通过数据质量监控模块监控捕获网络数据质量,并基于捕获网络数据的质量改进网络数据捕获方法;
步骤三、捕获网络数据的多通道分类通讯,通过数据通讯模块将捕获网络数据分维度多通道传输,所述数据通讯模块通过备用通道单元实现主传输通道故障的替换,并通过传输加速单元对网络数据传输加速,以保证数据处理的及时性;
步骤四、网络数据预处理,通过数据清洗工具对网络数据进行数据去重、数据补缺、数据降噪、数据归一化和数据格式转换;
步骤五、对网络数据进行聚类分析,通过云计算平台构建改进式FCM聚类算法模型,并对网络数据进行两次聚类数据分析,以获取异常网络数据和异常网络数据类别;
在步骤五中,首次应用改进式FCM聚类算法对网络数据进行异常聚类分析时,所述云计算平台通过双阈值评估网络数据异常情况,当改进式FCM聚类算法结果大于高阈值或小于低阈值,则判定网络数据异常,二次应用改进式FCM聚类算法时,所述云计算平台对网络异常数据类别进行异常聚类分析,以减少网络异常修复时间;
步骤六、网络异常告警处理,通过告警反馈模块将异常网络数据和异常发生时间通过邮件、短信或看板方式汇报给管理人员,并同步反馈至网络修复模块对网络进行漏洞修复、安全加固和异常点追踪。
2.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述数据质量监控模块通过DataV可视化应用搭建工具实现捕获网络数据图表化统计,并采用深度融合预测模型预测网络数据质量风险值,所述数据质量监控模块根据网络数据质量风险值评估网络数据质量。
3.根据权利要求2所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述深度融合预测模型基于历史网络数据质量可用度、重复度和完整度特征预测网络数据质量风险值,设置历史网络数据样本为,n为历史网络数据样本个数,n,将历史网络数据样本按照可用度、重复度和完整度特征分为不同数据集,预测网络数据质量风险值输出函数公式为:
(1)
在公式(1)中,为网络数据质量风险值预测结果,/>为网络数据综合特征加权值,为加权辅助函数值,/>为网络数据可用度特征,/>为网络数据可用度特征的第i个数据,/>为网络数据重复度特征,/>为网络数据重复度特征的第i个数据,/>为网络数据完整度特征,/>为网络数据完整度特征的第i个数据。
4.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述备用通道单元通过备用通道驱动卡实现主传输通道和备用传输通道无间歇故障切换,所述备用通道驱动卡包括高速串行扩展总线PCIe和备用通道处理电路,所述高速串行计算机扩展总线PCIe采用热插拔备用切换方式和QOS抗延迟阻塞服务实现主传输通道和备用传输通道端对端实时信息同步,以提高备用通道切换信息同步可靠性,并减少切换时间延迟,所述备用传输通道通过备用通道处理电路连接控制器,以接收备用通道切换控制指令。
5.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述传输加速单元采用全连接多源加速网络实现多通道网络数据的加速传输,所述全连接多源加速网络通过三层TCP/UDP传输协议和数据压缩算法DEFLATE/GZIP减少网络数据通讯时间延迟,并基于服务器负载均衡逻辑分布式部署缓存服务器实现网络数据实时分配至后端服务器。
6.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述改进式FCM聚类算法工作步骤包括:
步骤1、确定聚类数,所述改进式FCM聚类算法采用分割指标法确定聚类数,所述分割指标法通过计算不同聚类数对应的分割指标确定最优聚类数,并采用自适应聚类中心点算法自动选择最佳初始聚类中心点,以避免局部最优情况,所述改进式FCM聚类算法添加数据点权重因子增强网络数据点在聚类过程中清晰度;
步骤2、初始化矩阵,所述改进式FCM聚类算法采用先验领域信息实现样本初始分类,并对矩阵进行赋值,所述改进式FCM聚类算法根据网络数据样本特征赋予网络数据样本不同权重,并通过迭代优化法优化聚类效果,所述迭代优化法与自适应学习率法结合基于迭代次数和预设参数值自动调整学习率,以提高改进式FCM聚类算法的收敛速度和稳定性;
步骤3、计算聚类中心,所述改进式FCM聚类算法采用软加权平均法计算聚类中心,以提高聚类的鲁棒性和稳健性,并通过约束条件限制聚类中心数量和位置,以避免聚类中心过多或过少情况,所述软加权平均法采用指数函数计算样本加权后平均值,以减少异常点的影响;
步骤4、更新矩阵,所述改进式FCM聚类算法根据聚类中心计算数据点到聚类中心的距离,并将距离转化为隶属度值,以更新矩阵;
步骤5、判断收敛,设置最大迭代次数,迭代次数达到最大值判断矩阵收敛,迭代次数未达到最大值判断矩阵不收敛,则执行步骤5操作。
7.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述云计算平台应用改进式FCM聚类算法对网络数据异常聚类分析结果集合为,n为聚类分析结果个数,聚类分析结果低阈值的输出函数公式为:
(2)
在公式(2)中,为聚类分析结果低阈值,/>为聚类分析结果低阈值加权值,/>为聚类分析结果个数,/>为第i个聚类分析结果,/>为网络数据异常聚类分析结果最大值,为网络数据异常聚类分析结果最小值;
聚类分析结果高阈值的输出函数公式为:
(3)
在公式(3)中,为聚类分析结果高阈值,/>为聚类分析结果高阈值加权值。
8.根据权利要求1所述的一种应用FCM聚类算法的网络检测数据的方法,其特征在于:所述网络修复模块的工作包括以下方面:
(1)漏洞识别,所述网络修复模块通过云安全服务扫描网络漏洞发现未安装的补丁、应用配置缺陷、漏洞和弱口令风险;
(2)异常处置,所述网络修复模块通过云应用防火墙过滤入站和出站的恶意网络流量,并阻止应用程序中的恶意指令;
(3)异常点追踪,所述网络修复模块通过安全信息和事件管理系统管理网络修复日志,并基于网络修复日志追踪修复漏洞状态。
CN202310996240.0A 2023-08-09 2023-08-09 应用fcm聚类算法的网络检测数据的方法 Active CN116723136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310996240.0A CN116723136B (zh) 2023-08-09 2023-08-09 应用fcm聚类算法的网络检测数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310996240.0A CN116723136B (zh) 2023-08-09 2023-08-09 应用fcm聚类算法的网络检测数据的方法

Publications (2)

Publication Number Publication Date
CN116723136A true CN116723136A (zh) 2023-09-08
CN116723136B CN116723136B (zh) 2023-11-03

Family

ID=87871958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310996240.0A Active CN116723136B (zh) 2023-08-09 2023-08-09 应用fcm聚类算法的网络检测数据的方法

Country Status (1)

Country Link
CN (1) CN116723136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112871A (zh) * 2023-10-19 2023-11-24 南京华飞数据技术有限公司 基于fcm聚类算法模型的数据实时高效融合处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217763A1 (en) * 2007-09-17 2010-08-26 Electronics And Telecommunications Research Institute Method for automatic clustering and method and apparatus for multipath clustering in wireless communication using the same
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN103093394A (zh) * 2013-01-23 2013-05-08 广东电网公司信息中心 一种基于用户用电负荷数据细分的聚类融合方法
CN108763590A (zh) * 2018-06-20 2018-11-06 合肥工业大学 一种基于双变加权核fcm算法的数据聚类方法
CN109766695A (zh) * 2018-12-14 2019-05-17 杭州迪普科技股份有限公司 一种基于融合决策的网络安全态势感知方法和系统
CN109902915A (zh) * 2019-01-11 2019-06-18 国网浙江省电力有限公司 一种基于模糊c均值模型的电水气用能行为分析方法
CN110348608A (zh) * 2019-06-18 2019-10-18 西安交通大学 一种基于模糊聚类算法改进lstm的预测方法
CN114492671A (zh) * 2022-02-17 2022-05-13 河海大学 基于改进fcm聚类算法与mlp神经网络的非侵入式家庭负荷识别方法
CN115378000A (zh) * 2022-05-25 2022-11-22 国网天津市电力公司 基于区间二型模糊聚类分析的配电网运行状态评估方法
CN115843085A (zh) * 2022-10-14 2023-03-24 桂林理工大学 一种基于改进模糊c均值聚类的wsn分簇路由方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217763A1 (en) * 2007-09-17 2010-08-26 Electronics And Telecommunications Research Institute Method for automatic clustering and method and apparatus for multipath clustering in wireless communication using the same
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN103093394A (zh) * 2013-01-23 2013-05-08 广东电网公司信息中心 一种基于用户用电负荷数据细分的聚类融合方法
CN108763590A (zh) * 2018-06-20 2018-11-06 合肥工业大学 一种基于双变加权核fcm算法的数据聚类方法
CN109766695A (zh) * 2018-12-14 2019-05-17 杭州迪普科技股份有限公司 一种基于融合决策的网络安全态势感知方法和系统
CN109902915A (zh) * 2019-01-11 2019-06-18 国网浙江省电力有限公司 一种基于模糊c均值模型的电水气用能行为分析方法
CN110348608A (zh) * 2019-06-18 2019-10-18 西安交通大学 一种基于模糊聚类算法改进lstm的预测方法
CN114492671A (zh) * 2022-02-17 2022-05-13 河海大学 基于改进fcm聚类算法与mlp神经网络的非侵入式家庭负荷识别方法
CN115378000A (zh) * 2022-05-25 2022-11-22 国网天津市电力公司 基于区间二型模糊聚类分析的配电网运行状态评估方法
CN115843085A (zh) * 2022-10-14 2023-03-24 桂林理工大学 一种基于改进模糊c均值聚类的wsn分簇路由方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NA JIAO;: "Two Hybrid Methods Based on Rough Set Theory for Network Intrusion Detection", JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY, no. 06 *
唐成华 等: "基于特征选择的模糊聚类异常入侵行为检测", 计算机研究与发展, no. 03 *
李雪琴;: "基于模糊C均值的异常流量检测模型", 赣南师范学院学报, no. 06 *
王文慧 等: "噪声不均条件下的模糊C均值聚类算法及应用", 计算机工程与应用, no. 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112871A (zh) * 2023-10-19 2023-11-24 南京华飞数据技术有限公司 基于fcm聚类算法模型的数据实时高效融合处理方法
CN117112871B (zh) * 2023-10-19 2024-01-05 南京华飞数据技术有限公司 基于fcm聚类算法模型的数据实时高效融合处理方法

Also Published As

Publication number Publication date
CN116723136B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN108429651B (zh) 流量数据检测方法、装置、电子设备及计算机可读介质
US8676965B2 (en) Tracking high-level network transactions
CN107872457B (zh) 一种基于网络流量预测进行网络操作的方法及系统
KR20060042903A (ko) 네트워크 동작에서의 장애를 탐지하기 위한 방법 및 시스템
JP6564799B2 (ja) 閾値決定装置、閾値決定方法及びプログラム
CN116723136B (zh) 应用fcm聚类算法的网络检测数据的方法
CN105024877A (zh) 一种基于网络行为分析的Hadoop恶意节点检测系统
US11336545B2 (en) Network device measurements employing white boxes
Bulle et al. A host-based intrusion detection model based on OS diversity for SCADA
CN117640335B (zh) 一种智能建筑综合布线的动态调整和优化方法
CN113489711A (zh) DDoS攻击的检测方法、系统、电子设备和存储介质
Seddiqi et al. A new protection-based approach for link failure management of software-defined networks
CN111698110A (zh) 一种网络设备性能分析方法、系统、设备及计算机介质
US20230261940A1 (en) Network Intention Monitoring Method, Network Intention Monitoring System, and Storage Medium
CN116708246A (zh) 传输链路的检测方法及装置、设备及存储介质
KR20220029142A (ko) Sdn 컨트롤러 서버 및 이의 sdn 기반 네트워크 트래픽 사용량 분석 방법
Nam et al. Virtual machine failure prediction using log analysis
CN107566187B (zh) 一种sla违例监测方法、装置和系统
CN115348147A (zh) 故障分析方法、装置、设备、存储介质和程序产品
US20230394373A1 (en) Method, apparatus, and system for determining collection period, device, and storage medium
CN117560701B (zh) 一种无线路由器的远程管理方法及系统
CN117596126B (zh) 一种针对高性能集群中高速网络异常的监控方法
CN117896237B (zh) 一种针对网络组网的多设备互通场景监管系统
Yu et al. Research on path configuration strategy of in-band network telemetry detection based on adaptive algorithm and P4
CN118074977A (zh) 数据流监控方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant