CN117319258A - EdgeX的节点异常检测方法、装置、设备及存储介质 - Google Patents

EdgeX的节点异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117319258A
CN117319258A CN202311220133.5A CN202311220133A CN117319258A CN 117319258 A CN117319258 A CN 117319258A CN 202311220133 A CN202311220133 A CN 202311220133A CN 117319258 A CN117319258 A CN 117319258A
Authority
CN
China
Prior art keywords
node
abnormal
data
network
network node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311220133.5A
Other languages
English (en)
Inventor
屈晟
武斌
武延军
吴敬征
罗天悦
庞海天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Software Technology Research Institute
Original Assignee
Zhongke Nanjing Software Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Software Technology Research Institute filed Critical Zhongke Nanjing Software Technology Research Institute
Priority to CN202311220133.5A priority Critical patent/CN117319258A/zh
Publication of CN117319258A publication Critical patent/CN117319258A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种EdgeX的节点异常检测方法、装置、设备及存储介质，该方法包括：采集EdgeX网络中各网络节点的状态数据并进行预处理，获得各网络节点的性能数据和异常数据；将各网络节点的节点连接特征、异常数据和性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；根据异常网络节点信息和历史故障节点信息对网络节点进行数据分析，确定网络节点的节点异常因素。由于本发明通过预设异常节点检测模型提取出异常网络节点信息，并对异常网络节点信息进行数据分析，避免了传统的网络节点故障根据网络节点流量宏观检测的方式，能够准确检测到影响网络节点的节点异常因素，提高了EdgeX的节点异常检测的准确性。

Description

EdgeX的节点异常检测方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种EdgeX的节点异常检测方法、装置、设备及存储介质。
背景技术
互联网的网络质量、故障修复以及服务的质量、故障修复在对于用户体验有非常重要的影响。目前在对网络节点进行故障检测时，通常是对网络节点的流量进行监控，若流量发生突降则认为网络节点本身或网络节点与用户之间的链路发生了问题。而根据检测异常时考虑的信息的不同，现有的异常检测方法可以分为三类：一是基于节点自身特征的异常检测，二是基于自我中心网络或社区划分的异常检测，三是基于网络嵌入的异常检测。
但是传统的网络节点故障的检测方式一般是根据网络节点流量宏观检测，难以检测到节点的异常因素，导致检测结果不准确。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种EdgeX的节点异常检测方法、装置、设备及存储介质，旨在传统的网络节点故障的检测方式一般是根据网络节点流量宏观检测，难以检测到节点的异常因素，导致检测结果不准确的技术问题。
为实现上述目的，本发明提供了一种EdgeX的节点异常检测方法，所述方法包括以下步骤：
采集EdgeX网络中各网络节点的状态数据；
对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；
将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；
根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
可选地，所述采集EdgeX网络中各网络节点的状态数据之前，还包括：
获取所述EdgeX网络中各网络节点对应的原始数据集，所述原始数据集包括各网络节点的节点性能数据、历史故障数据和流量数据；
对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集；
根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型。
可选地，所述对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集，包括：
对所述原始数据集进行数据提取，获得异常流量数据和正常流量数据；
提取所述异常流量数据的异常行号和异常数量；
基于所述异常行号对所述异常流量数据进行异常填充，获得填充后的异常流量数据；
根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集。
可选地，所述根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集，包括：
判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；
若否，则对所述异常流量数据进行循环填充，直至所述异常数量达到所述正常数量，将达到所述正常数量所对应的填充后的异常流量数据作为异常节点数据；
将所述异常节点数据和所述正常流量数据进行交替拼接，获得所述原始数据集对应的训练数据集。
可选地，所述根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型，包括：
根据遗传算法构建初始检测模型；
基于所述初始检测模型产生随机初始种群，对所述随机初始种群的每个种群个体进行编号，获得编号个体；
通过所述训练数据集对所述编号个体进行分组聚合处理，获得种群个体适度值；
判断所述种群个体适度值是否满足预设终止条件；
若不满足，则更新所述随机初始种群，直至所述种群个体适度值满足预设终止条件，将满足所述预设终止条件所对应的随机初始种群作为模型最优种群；
根据所述模型最优种群确定预设异常节点检测模型。
可选地，所述将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息，包括：
对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据；
根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征；
将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。
可选地，所述根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征之后，还包括：
通过所述节点连接特征获取各个网络节点的网络流量连接图；
相应的，所述将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息之后，还包括：
根据所述网络流量连接图确定各个异常网络节点的权重等级；
按照所述权重等级显示所述异常网络节点的网络流量连接图。
此外，为实现上述目的，本发明还提出一种EdgeX的节点异常检测装置，所述装置包括：
数据采集模块，用于采集EdgeX网络中各网络节点的状态数据；
预处理模块，用于对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；
异常信息模块，用于将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；
异常分析模块，用于根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
此外，为实现上述目的，本发明还提出一种EdgeX的节点异常检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的EdgeX的节点异常检测程序，所述EdgeX的节点异常检测程序配置为实现如上文所述的EdgeX的节点异常检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有EdgeX的节点异常检测程序，所述EdgeX的节点异常检测程序被处理器执行时实现如上文所述的EdgeX的节点异常检测方法的步骤。
本发明通过采集EdgeX网络中各网络节点的状态数据；对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；然后将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；最后根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。由于本发明根据网络节点的状态数据获得各网络节点的性能数据和异常数据，并通过预设异常节点检测模型提取出异常网络节点信息，最后对异常网络节点信息进行数据分析，确定影响网络节点的节点异常因素，避免了传统的网络节点故障一般根据网络节点流量宏观检测的方式，能够准确检测到影响网络节点的节点异常因素，提高了检测准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的EdgeX的节点异常检测设备的结构示意图；
图2为本发明EdgeX的节点异常检测方法第一实施例的流程示意图；
图3为本发明EdgeX的节点异常检测方法第二实施例的流程示意图；
图4为本发明EdgeX的节点异常检测方法第三实施例的流程示意图；
图5为本发明EdgeX的节点异常检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的EdgeX的节点异常检测设备的结构示意图。
如图1所示，该EdgeX的节点异常检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对EdgeX的节点异常检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及EdgeX的节点异常检测程序。
在图1所示的EdgeX的节点异常检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明EdgeX的节点异常检测设备中的处理器1001、存储器1005可以设置在EdgeX的节点异常检测设备中，所述EdgeX的节点异常检测设备通过处理器1001调用存储器1005中存储的EdgeX的节点异常检测程序，并执行本发明实施例提供的EdgeX的节点异常检测方法。
本发明实施例提供了一种EdgeX的节点异常检测方法，参照图2，图2为本发明EdgeX的节点异常检测方法第一实施例的流程示意图。
本实施例中，所述EdgeX的节点异常检测方法包括以下步骤：
步骤S10：采集EdgeX网络中各网络节点的状态数据。
需要说明的是，本实施例方法的执行主体可以是具有数据处理、异常节点检测以及数据分析功能的计算服务设备，例如平板电脑、个人电脑、服务器等，还可以是能够实现相同或相似功能的其他电子设备，例如上述EdgeX的节点异常检测设备，本实施例对此不加以限制。此处以上述EdgeX的节点异常检测设备(简称检测设备)对本实施例和下述各实施例进行具体说明。
需要说明的是，本发明实施例通过采用异常节点检测模型对采集的用户访问的网络节点的状态数据进行检测获得异常网络节点信息，将历史故障节点信息与当前的异常网络节点信息进行对比从而判断当前网络节点的节点异常因素，从而可以更加准确地识别网络节点可能出现的问题，达到提高检测节点异常时的准确率的技术效果。
应理解的是，状态数据是用户在访问EdgeX网络的节点时所收集的数据，包括性能数据、故障数据，在用户访问网络节点的过程中，可抓取网络访问的性能数据，并收集用户上报的故障作为故障数据。
步骤S20：对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据。
需要说明的是，性能数据是在计算机网络中，对网络设备、服务器或其他节点进行监测和记录的各种指标和参数。可用来评估和监测节点的运行状态、负载情况以及网络性能的表现。例如响应时间、吞吐量、带宽利用率、网络丢包率等。通过收集、分析和监测性能数据，可便于评估网络节点的运行状况、检测潜在问题以改善网络性能。
可理解的是，异常数据是在计算机网络中，与正常行为不符的、异常或异常值的网络节点性能数据。例如出现了故障，或者受到了恶意攻击。通过监测和分析网络节点的异常数据，可快速识别和定位潜在的问题，来修复节点故障、防止恶意攻击或优化网络性能。
在具体实现中，检测设备在用户访问网络节点的过程中采集EdgeX网络中各网络节点的状态数据；然后对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；以便于评估网络节点的运行状况和修复节点故障，来改善网络性能。
步骤S30：将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。
需要说明的是，节点连接特征是网络节点的每个具体节点在网络中与其他节点之间的连接属性和关系，这些特征可以用来描述节点的位置、交互模式以及与其他节点的相互作用。通过节点连接特征可分析网络结构、识别关键节点、预测节点行为以及进行网络优化和安全防护等。
可理解的是，预设异常节点检测模型是用于识别网络中异常节点的模型。可分析节点的特征和行为模式，自动检测出与正常节点行为不符的异常节点，获得异常节点的异常网络节点信息。在构建预设异常节点检测模型时，需要足够的训练数据集，包括正常节点和已知异常节点的样本，以便模型能够学习和泛化到新的未知数据中。同时，对于复杂网络和大规模数据集，还可结合多个学习方法来提高检测性能，例如离群点检测算法、遗传算法、时序分析等。
步骤S40：根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
需要说明的是，历史故障节点信息是在过去发生的网络故障事件中，记录和收集到的与故障相关的节点信息。例如导致网络中断、延迟或其他问题的具体节点标识、位置、状态以及所遇到的故障类型等。通过历史故障节点信息可优化网络架构或改进节点配置，从而提高网络的可靠性和稳定性。
可理解的是，节点异常因素是可能导致节点行为异常的各种因素。例如外部环境的变化、硬件故障、软件漏洞、网络攻击或人为错误等。通过识别和理解节点异常因素，可提前预测潜在异常，以确保网络的正常运行和安全性。
在具体实现中，检测设备将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。然后根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。例如外部环境的变化、硬件故障、软件漏洞、网络攻击或人为错误等。通过识别和理解节点异常因素，可提前预测潜在异常，以确保网络的正常运行和安全性。
本实施例检测设备在用户访问网络节点的过程中采集EdgeX网络中各网络节点的状态数据；然后对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；以便于评估网络节点的运行状况和修复节点故障，来改善网络性能。接着将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。最后根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。例如外部环境的变化、硬件故障、软件漏洞、网络攻击或人为错误等。通过识别和理解节点异常因素，可提前预测潜在异常，以确保网络的正常运行和安全性。由于本实施例根据网络节点的状态数据获得各网络节点的性能数据和异常数据，并通过预设异常节点检测模型提取出异常网络节点信息，最后对异常网络节点信息进行数据分析，避免了传统的网络节点故障一般根据网络节点流量宏观检测的方式，能够准确检测到影响网络节点的节点异常因素，提高了检测准确性。
参考图3，图3为本发明EdgeX的节点异常检测方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，考虑到模型的误差，所述步骤S10之前，还包括：
步骤S01：获取所述EdgeX网络中各网络节点对应的原始数据集，所述原始数据集包括各网络节点的节点性能数据、历史故障数据和流量数据。
步骤S02：对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集。
需要说明的是，节点性能数据是原始数据集中，对网络设备、服务器或其他节点进行监测和记录的各种指标和参数，用于对模型训练的数据。可用来评估和监测节点的运行状态、负载情况以及网络性能的表现。例如响应时间、吞吐量、带宽利用率、网络丢包率等。
可理解的是，历史故障数据是原始数据集中，在过去发生的网络故障事件中，记录和收集到的与故障相关的节点信息。例如导致网络中断、延迟或其他问题的具体节点标识、位置、状态以及所遇到的故障类型等。
应理解的是，流量数据是通过网络节点传输的数据量信息，记录了在特定时间段内通过节点的数据流量，包括入站流量和出站流量。通过流量数据可评估节点的负载、网络的性能状况以及监测网络流量的变化趋势。
在具体实现中，可获取所述EdgeX网络中各网络节点对应的原始数据集，包括各网络节点的节点性能数据、历史故障数据和流量数据，以此来表征节点的负载、网络的性能状况等。
步骤S03：根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型。
需要说明的是，反向传播算法(Backpropagation Algorithm)是用于训练模型准确性的算法。通过多次迭代训练，反向传播算法可以使模型调整权重和偏置，从而实现对输入数据的更准确的预测或分类。
可理解的是，遗传算法(Genetic Algorithm)是一种模拟自然选择和遗传机制的优化搜索算法。通过模拟生物进化的过程，基于遗传操作的策略来寻找模型的最优解或接近最优解。
在具体实现中，可根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，基于遗传操作的策略来寻找模型的最优解或接近最优解改进模型，获得预设异常节点检测模型，以提高模型的精确性，减小模型的检测误差。
进一步地，考虑到训练数据集中异常数据对模型误差的影响，本实施例中在步骤S02包括：对所述原始数据集进行数据提取，获得异常流量数据和正常流量数据；提取所述异常流量数据的异常行号和异常数量；基于所述异常行号对所述异常流量数据进行异常填充，获得填充后的异常流量数据；根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集。
需要说明的是，异常流量数据是原始数据集中，网络节点传输的异常的数据量信息，记录了在特定时间段内通过节点的异常数据流量。正常流量数据是原始数据集中，网络节点传输的正常情况的数据量信息，记录了在特定时间段内通过节点的正常情况数据流量。
可理解的是，异常行号是异常流量数据在原始数据集的流量数据的位置行号。
在具体实现中，在对所述原始数据集提取获得异常流量数据和正常流量数据后；可提取所述异常流量数据的异常行号和异常数量；然后基于所述异常行号对所述异常流量数据进行异常填充，使异常流量数据的数量扩充，提高模型对异常数据的监测和分析，快速识别和定位异常节点。接着根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，使异常流量数据和正常流量数据交替拼接，获得所述原始数据集对应的训练数据集，从而扩充原始数据集中异常流量数据的分析占比，提高模型对异常数据的监测和分析效率。
进一步地，本实施例中所述根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集，包括：判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；若否，则对所述异常流量数据进行循环填充，直至所述异常数量达到所述正常数量，将达到所述正常数量所对应的填充后的异常流量数据作为异常节点数据；将所述异常节点数据和所述正常流量数据进行交替拼接，获得所述原始数据集对应的训练数据集。
在具体实现中，在对异常流量数据进行填充时，可判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；若否，则进一步进行循环填充，将填充后的异常流量数据的异常数量与正常数量一致。然后将每条正常流量数据和每条异常流量数据进行拼接，形成组合数据；获得所述原始数据集对应的训练数据集，以提高正常流量数据和异常流量数据之间的关联性，从容提高训练数据集的泛化性，减小数据的误差。
进一步地，本实施例中在步骤S03包括：根据遗传算法构建初始检测模型；基于所述初始检测模型产生随机初始种群，对所述随机初始种群的每个种群个体进行编号，获得编号个体；通过所述训练数据集对所述编号个体进行分组聚合处理，获得种群个体适度值；判断所述种群个体适度值是否满足预设终止条件；若不满足，则更新所述随机初始种群，直至所述种群个体适度值满足预设终止条件，将满足所述预设终止条件所对应的随机初始种群作为模型最优种群；根据所述模型最优种群确定预设异常节点检测模型。
需要说明的是，随机初始种群是在遗传算法中，在优化问题求解开始时，通过随机生成一组个体(染色体)作为初始种群。每个个体表示问题的一个可能解。通过生成随机初始种群可在模型搜索空间中广泛探索，以便更好地找到问题的最优解或接近最优解，避免陷入局部最优解。
可理解的是，种群个体适度值是评估个体在解决模型问题中的优劣程度的数值，可用于衡量个体对问题的适应能力或优化目标的达成程度。通过种群个体适度值能够帮助选择出更优秀的个体，并引导种群向着更优解的方向进化，以优化模型。
应理解的是，预设终止条件是在模型训练过程中预先设置的终止初始检测模型产生随机初始种群的条件。
在具体实现中，可基于所述初始检测模型产生随机初始种群，对所述随机初始种群的每个种群个体进行编号，获得编号个体。然后通过所述训练数据集对所述编号个体进行分组聚合处理，获得种群个体适度值，通过种群个体适度值来选择出更优秀的个体，并引导种群向着更优解的方向进化，以优化模型。接着判断所述种群个体适度值是否满足预设终止条件；若不满足，则更新所述随机初始种群，直至所述种群个体适度值满足预设终止条件，终止初始检测模型产生随机初始种群，此时将满足所述预设终止条件所对应的随机初始种群作为模型最优种群；最后根据所述模型最优种群确定预设异常节点检测模型。通过种群迭代的方式大幅提升模型的分类求解过程，消除数据不平衡对模型带来的影响，提高模型的精确性。
本实施例可获取所述EdgeX网络中各网络节点对应的原始数据集，包括各网络节点的节点性能数据、历史故障数据和流量数据，以此来表征节点的负载、网络的性能状况等。然后根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，基于遗传操作的策略来寻找模型的最优解或接近最优解改进模型，获得预设异常节点检测模型，以提高模型的精确性，减小模型的检测误差。进一步地，在对所述原始数据集提取获得异常流量数据和正常流量数据后；可提取所述异常流量数据的异常行号和异常数量；然后基于所述异常行号对所述异常流量数据进行异常填充，使异常流量数据的数量扩充，提高模型对异常数据的监测和分析，快速识别和定位异常节点。接着根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，使异常流量数据和正常流量数据交替拼接，获得所述原始数据集对应的训练数据集，从而扩充原始数据集中异常流量数据的分析占比，提高模型对异常数据的监测和分析效率。更进一步地，在对异常流量数据进行填充时，可判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；若否，则进一步进行循环填充，将填充后的异常流量数据的异常数量与正常数量一致。然后将每条正常流量数据和每条异常流量数据进行拼接，形成组合数据；获得所述原始数据集对应的训练数据集，以提高正常流量数据和异常流量数据之间的关联性，从容提高训练数据集的泛化性，减小数据的误差。
参考图4，图4为本发明EdgeX的节点异常检测方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，考虑到网络流量数据对网络节点的影响，所述步骤S30包括：
步骤S31：对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据。
步骤S32：根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征。
需要说明的是，网络流量数据是流量流经具有数据收发功能的网络节点产生的数据，例如路由器、服务器以及个人电脑等，在网络节点上有许多的收发端口，用来按照协议要求接收以及发送各种应用产生的流量数据。
可理解的是，节点连接特征在EdgeX网络的网络结构中，每一个网络节点的网络连接设备之间的连接关系，例如路由器以及服务器等性能存在差异，因此在网络中的每一个网络节点的连接行为特征是不一样的，不同的节点连接特征，流量数据在网络节点之间转发的方向、速度以及流量数据包的大小、分组数量以及转发时延等是不一样的。
步骤S33：将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。
在具体实现中，检测设备可对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据。然后根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征。由于不同的节点连接特征，流量数据在网络节点之间转发的方向、速度以及流量数据包的大小、分组数量以及转发时延等是不一样的，因此基于节点连接特征可提高异常节点检测的鲁棒性，最后将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息，从而可根据节点连接特征提高预设异常节点检测模型对数据检测的精确性。
进一步地，本实施例中在步骤S32之后，还包括：通过所述节点连接特征获取各个网络节点的网络流量连接图；相应的，所述步骤S33之后，还包括：根据所述网络流量连接图确定各个异常网络节点的权重等级；按照所述权重等级显示所述异常网络节点的网络流量连接图。
需要说明的是，网络流量连接图是利用节点连接特征展现网络节点连接结构中的局部细节的拓扑图，可分析局部细节中网络节点以及网络边的变化，以方便调用异常节点的调用和分析。
可理解的是，在确定异常网络节点后，可得出两种网络流量连接图，一种是流量数据异常的异常网络节点网络流量连接图，另外一种则是正常网络节点网络流量连接图。一般情况下，由于EdgeX网络的网络节点较多，生成的网络流量连接图比较多，因此可根据各个异常网络节点的权重等级，仅对异常网络节点网络连接图进行显示，以达到直观的效果。
本实施例检测设备可对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据。然后根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征。由于不同的节点连接特征，流量数据在网络节点之间转发的方向、速度以及流量数据包的大小、分组数量以及转发时延等是不一样的，因此基于节点连接特征可提高异常节点检测的鲁棒性，最后将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息，从而可根据节点连接特征提高预设异常节点检测模型对数据检测的精确性。进一步的，还可在确定异常网络节点后，得出两种网络流量连接图，一种是流量数据异常的异常网络节点网络流量连接图，另外一种则是正常网络节点网络流量连接图。一般情况下，由于EdgeX网络的网络节点较多，生成的网络流量连接图比较多，因此可根据各个异常网络节点的权重等级，仅对异常网络节点网络连接图进行显示，以达到直观的效果。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有EdgeX的节点异常检测程序，所述EdgeX的节点异常检测程序被处理器执行时实现如上文所述的EdgeX的节点异常检测方法的步骤。
参照图5，图5为本发明EdgeX的节点异常检测装置第一实施例的结构框图。
如图5所示，本发明实施例提出的EdgeX的节点异常检测装置包括：
数据采集模块501，用于采集EdgeX网络中各网络节点的状态数据；
预处理模块502，用于对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；
异常信息模块503，用于将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；
异常分析模块504，用于根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
本实施例检测设备在用户访问网络节点的过程中采集EdgeX网络中各网络节点的状态数据；然后对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；以便于评估网络节点的运行状况和修复节点故障，来改善网络性能。接着将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。最后根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。例如外部环境的变化、硬件故障、软件漏洞、网络攻击或人为错误等。通过识别和理解节点异常因素，可提前预测潜在异常，以确保网络的正常运行和安全性。由于本实施例根据网络节点的状态数据获得各网络节点的性能数据和异常数据，并通过预设异常节点检测模型提取出异常网络节点信息，最后对异常网络节点信息进行数据分析，避免了传统的网络节点故障一般根据网络节点流量宏观检测的方式，能够准确检测到影响网络节点的节点异常因素，提高了检测准确性。
基于本发明上述EdgeX的节点异常检测装置第一实施例，提出本发明EdgeX的节点异常检测装置的第二实施例。
在本实施例中，所述EdgeX的节点异常检测装置还包括模型训练模块505，用于获取所述EdgeX网络中各网络节点对应的原始数据集，所述原始数据集包括各网络节点的节点性能数据、历史故障数据和流量数据；对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集；根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型。
进一步地，所述模型训练模块505，还用于对所述原始数据集进行数据提取，获得异常流量数据和正常流量数据；提取所述异常流量数据的异常行号和异常数量；基于所述异常行号对所述异常流量数据进行异常填充，获得填充后的异常流量数据；根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集。
进一步地，所述模型训练模块505，还用于判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；若否，则对所述异常流量数据进行循环填充，直至所述异常数量达到所述正常数量，将达到所述正常数量所对应的填充后的异常流量数据作为异常节点数据；将所述异常节点数据和所述正常流量数据进行交替拼接，获得所述原始数据集对应的训练数据集。
进一步地，所述模型训练模块505，还用于根据遗传算法构建初始检测模型；基于所述初始检测模型产生随机初始种群，对所述随机初始种群的每个种群个体进行编号，获得编号个体；通过所述训练数据集对所述编号个体进行分组聚合处理，获得种群个体适度值；判断所述种群个体适度值是否满足预设终止条件；若不满足，则更新所述随机初始种群，直至所述种群个体适度值满足预设终止条件，将满足所述预设终止条件所对应的随机初始种群作为模型最优种群；根据所述模型最优种群确定预设异常节点检测模型。
进一步地，所述异常信息模块503，还用于对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据；根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征；将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。
进一步地，所述EdgeX的节点异常检测装置还包括连接图模块506，用于通过所述节点连接特征获取各个网络节点的网络流量连接图；相应的，根据所述网络流量连接图确定各个异常网络节点的权重等级；按照所述权重等级显示所述异常网络节点的网络流量连接图。
本发明EdgeX的节点异常检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种EdgeX的节点异常检测方法，其特征在于，所述EdgeX的节点异常检测包括：
采集EdgeX网络中各网络节点的状态数据；
对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；
将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；
根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
2.如权利要求1所述的EdgeX的节点异常检测方法，其特征在于，所述采集EdgeX网络中各网络节点的状态数据之前，还包括：
获取所述EdgeX网络中各网络节点对应的原始数据集，所述原始数据集包括各网络节点的节点性能数据、历史故障数据和流量数据；
对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集；
根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型。
3.如权利要求2所述的EdgeX的节点异常检测方法，其特征在于，所述对所述原始数据集进行预处理，获得所述原始数据集对应的训练数据集，包括：
对所述原始数据集进行数据提取，获得异常流量数据和正常流量数据；
提取所述异常流量数据的异常行号和异常数量；
基于所述异常行号对所述异常流量数据进行异常填充，获得填充后的异常流量数据；
根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集。
4.如权利要求3所述的EdgeX的节点异常检测方法，其特征在于，所述根据所述异常数量对所述填充后的异常流量数据和所述正常流量数据进行拼接，获得所述原始数据集对应的训练数据集，包括：
判断所述填充后的异常流量数据的异常数量是否达到所述正常流量数据的正常数量；
若否，则对所述异常流量数据进行循环填充，直至所述异常数量达到所述正常数量，将达到所述正常数量所对应的填充后的异常流量数据作为异常节点数据；
将所述异常节点数据和所述正常流量数据进行交替拼接，获得所述原始数据集对应的训练数据集。
5.如权利要求4所述的EdgeX的节点异常检测方法，其特征在于，所述根据所述训练数据集利用反向传播算法对基于遗传算法构建的初始检测模型进行训练，获得预设异常节点检测模型，包括：
根据遗传算法构建初始检测模型；
基于所述初始检测模型产生随机初始种群，对所述随机初始种群的每个种群个体进行编号，获得编号个体；
通过所述训练数据集对所述编号个体进行分组聚合处理，获得种群个体适度值；
判断所述种群个体适度值是否满足预设终止条件；
若不满足，则更新所述随机初始种群，直至所述种群个体适度值满足预设终止条件，将满足所述预设终止条件所对应的随机初始种群作为模型最优种群；
根据所述模型最优种群确定预设异常节点检测模型。
6.如权利要求1所述的EdgeX的节点异常检测方法，其特征在于，所述将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息，包括：
对所述异常数据进行预处理，得到所述网络节点对应的网络流量数据；
根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征；
将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息。
7.如权利要求6所述的EdgeX的节点异常检测方法，其特征在于，所述根据所述网络流量数据确定所述网络流量数据流经的每个网络节点的节点连接特征之后，还包括：
通过所述节点连接特征获取各个网络节点的网络流量连接图；
相应的，所述将所述节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息之后，还包括：
根据所述网络流量连接图确定各个异常网络节点的权重等级；
按照所述权重等级显示所述异常网络节点的网络流量连接图。
8.一种EdgeX的节点异常检测装置，其特征在于，所述装置包括：
数据采集模块，用于采集EdgeX网络中各网络节点的状态数据；
预处理模块，用于对所述状态数据进行预处理，获得各网络节点的性能数据和异常数据；
异常信息模块，用于将各网络节点的节点连接特征、所述异常数据和所述性能数据输入至预设异常节点检测模型中，获得异常网络节点信息；
异常分析模块，用于根据所述异常网络节点信息和历史故障节点信息对所述网络节点进行数据分析，确定所述网络节点的节点异常因素。
9.一种EdgeX的节点异常检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的EdgeX的节点异常检测程序，所述EdgeX的节点异常检测程序配置为实现如权利要求1至7中任一项所述的EdgeX的节点异常检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有EdgeX的节点异常检测程序，所述EdgeX的节点异常检测程序被处理器执行时实现如权利要求1至7任一项所述的EdgeX的节点异常检测方法的步骤。
CN202311220133.5A 2023-09-20 2023-09-20 EdgeX的节点异常检测方法、装置、设备及存储介质 Pending CN117319258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311220133.5A CN117319258A (zh) 2023-09-20 2023-09-20 EdgeX的节点异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311220133.5A CN117319258A (zh) 2023-09-20 2023-09-20 EdgeX的节点异常检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117319258A true CN117319258A (zh) 2023-12-29

Family

ID=89284150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311220133.5A Pending CN117319258A (zh) 2023-09-20 2023-09-20 EdgeX的节点异常检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117319258A (zh)

Similar Documents

Publication Publication Date Title
CN112395159B (zh) 一种日志检测方法、系统、设备及介质
CN108667856B (zh) 一种网络异常检测方法、装置、设备及存储介质
JP2019061565A (ja) 異常診断方法および異常診断装置
CN108470003A (zh) 模糊测试方法、装置和系统
CN110222513B (zh) 一种线上活动的异常监测方法、装置及存储介质
CN115277102B (zh) 网络攻击检测方法、装置、电子设备及存储介质
CN114553523A (zh) 基于攻击检测模型的攻击检测方法及装置、介质、设备
CN109634820A (zh) 一种云端移动端协同的故障预警方法、相关设备及系统
CN112565301A (zh) 基于小样本学习的服务器运行网络流量异常数据检测方法
US10419449B1 (en) Aggregating network sessions into meta-sessions for ranking and classification
CN113015167A (zh) 加密流量数据的检测方法、系统、电子装置和存储介质
CN117336055A (zh) 一种网络异常行为检测方法、装置、电子设备及存储介质
CN114257517B (zh) 一种生成用于检测网络节点的状态的训练集的方法
CN114462040A (zh) 一种恶意软件检测模型训练、恶意软件检测方法及装置
US11665185B2 (en) Method and apparatus to detect scripted network traffic
Wetzig et al. Unsupervised anomaly alerting for iot-gateway monitoring using adaptive thresholds and half-space trees
CN112073396A (zh) 一种内网横向移动攻击行为的检测方法及装置
CN117319258A (zh) EdgeX的节点异常检测方法、装置、设备及存储介质
Cemerlic et al. Network Intrusion Detection Based on Bayesian Networks.
CN115270137A (zh) 风险状态的确定方法、装置及电子设备
El Farissi et al. The analysis performance of an intrusion detection systems based on neural network
RU2787078C1 (ru) Способ выявления аномалий в работе высоконагруженной сети автоматизированной телекоммуникационной системы
CN116112285B (zh) 一种基于人工智能的网络攻击路径预测方法及系统
CN117318984A (zh) 互联网异常行为检测方法及装置
CN114418036B (zh) 神经网络的性能测试和训练方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination