CN117370724B - 一种数据异常预测模型的生成和更新方法及系统 - Google Patents

一种数据异常预测模型的生成和更新方法及系统 Download PDF

Info

Publication number
CN117370724B
CN117370724B CN202311680161.5A CN202311680161A CN117370724B CN 117370724 B CN117370724 B CN 117370724B CN 202311680161 A CN202311680161 A CN 202311680161A CN 117370724 B CN117370724 B CN 117370724B
Authority
CN
China
Prior art keywords
matrix
tuple
generating
mode
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311680161.5A
Other languages
English (en)
Other versions
CN117370724A (zh
Inventor
郑皓桦
刘海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Youkegu Technology Co ltd
Original Assignee
Guangzhou Youkegu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Youkegu Technology Co ltd filed Critical Guangzhou Youkegu Technology Co ltd
Priority to CN202311680161.5A priority Critical patent/CN117370724B/zh
Publication of CN117370724A publication Critical patent/CN117370724A/zh
Application granted granted Critical
Publication of CN117370724B publication Critical patent/CN117370724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种数据异常预测模型的生成和更新方法及系统；先初始化流量拓扑矩阵，然后根据所述流量拓扑矩阵生成模式矩阵，将标定系数加一；并重复执行上述过程，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列；再获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列；最后根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。本申请可以提高模型在系统异常数据方面的实时预测能力和准确率；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。

Description

一种数据异常预测模型的生成和更新方法及系统
技术领域
本申请涉及数据异常预测模型技术领域，特别涉及一种数据异常预测模型的生成和更新方法及系统。
背景技术
随着物联网技术的日渐成熟，其越来越多地被应用到不同的生产生活场景中，万物互联的雏形已开始形成。在一些对网络节点间的相互协调实时性要求高的场景，比如自动驾驶、智慧工厂、数据中心等，常常需要寻找一种实时的数据异常预测方法，以及时发现系统中潜在的故障节点，以防止部分节点的异常而导致整个系统的停顿甚至崩溃。
以深度学习为代表的人工智能技术的再度兴起，使其成为很多领域里用于预测及估算的新算法，许多学者也提出了基于深度学习的物联网数据异常预测方法，其通常需要人工提前标注好大量的有标签数据，并送入模型进行大量训练工作。这种方法的优点是，当训练数据足够多时，往往能有较高的预测准确率。其缺点也比较明显，如果模型的结构及初始参数选择不当，模型的训练过程不容易收敛，导致计算量极大且模型精度下降较大。另外，该模型一般无法在线调优，要更新模型就需要重新训练和部署。设计一种在线的小样本数据异常预测方法是物联网领域需要解决的技术问题之一。
发明内容
本申请为解决上述技术问题，提供一种数据异常预测模型的生成和更新方法及系统。
具体的，本申请提供一种数据异常预测模型的生成和更新方法，包括以下步骤：
S100：初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一。
S200：重复执行步骤S100，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1。
S300：获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列。
S400：根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。
在上述技术方案中，能够通过计算流量拓扑矩阵序列的方式估算出物联网系统的一般网络数据特性，并通过模型模式提取算法对模型的规模进行有效压缩，提高了模型在系统异常数据方面的实时预测能力和准确率，特别适用于由异构硬件组成的物联网场景；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统能够在不同的组网场景下持续稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。
在执行步骤S100之前，包括：预先公开所述监控节点的公钥。
所述步骤S100中的生成初始元组，包括：
通过监控节点初始化流量拓扑矩阵，所述流量拓扑矩阵至少包括所述监控节点的公钥。
根据流量拓扑矩阵的各行元素和初始元组发送顺序生成预设元组，并通过监控节点使用其私钥将所述预设元组加密为初始元组，将所述初始元组发送给第一节点。
在上述技术方案中，按照所述流量拓扑矩阵的各行元素和初始元组发送顺序生成预设元组，可以确保数据的准确性和完整性。通过这种方式，可以确保数据被正确地收集、处理和传输。
所述步骤S100中的生成模式矩阵，包括：
当第一节点接收到所述初始元组时，使用所述监控节点的公钥对所述初始元组进行解密，并获取解密后的初始元组中的对角元，若所述对角元不是监控节点的公钥，则清除所述初始元组；否则记该初始元组为合法元组，根据该合法元组生成目标元组，并转发。
在上述技术方案中，生成模式矩阵的方法可以提高数据的可信度和完整性，确保只有合法的数据被使用，并减少错误和造假数据对模型的影响。
所述步骤S100中的生成模式矩阵，还包括：
在转发所述目标元组的过程中，若所述合法元组有更新，且上述目标元组对应的初始元组发送顺序大于更新后的合法元组对应的初始元组发送顺序，则清除更新后的合法元组；否则根据更新后的合法元组生成新的目标元组，并转发。
在上述技术方案中，通过这样的更新机制，可以确保数据在传输过程中的正确性和完整性，只有经过验证和合法的更新才会被接受，避免了数据错误或不一致对后续处理的影响，确保数据在传输过程中的准确性和完整性。
所述步骤S100中的生成模式矩阵，还包括：
当第二节点接收到所述目标元组时，转发该目标元组至监控节点，并当所述目标元组转发成功时，生成成功元组，将该成功元组转发至所述监控节点。
在上述技术方案中，生成模式矩阵中的这个步骤能够确保数据的可追溯性和监控能力，以及加强对数据处理过程的监管和控制。
所述步骤S100中的生成模式矩阵，还包括：
当所述监控节点接收到所述目标元组和成功元组时，判断其中是否存在重复数据包，若存在，则清除，以生成模式矩阵；否则直接根据当前过程的接收结果生成模式矩阵。
在上述技术方案中，通过去重处理，可以确保数据的准确性和一致性，提高处理的效率和结果的可信度；同时，根据当前过程的接收结果生成模式矩阵也更加直接和简便。
所述步骤S400包括：
获取监控节点在默认时长内收到的预设节点发出的流量总量。
当所述流量总量小于默认值时，基于流量拓扑矩阵生成目标矩阵，并按照压缩序列中模式矩阵的权重大小计算各模式矩阵与目标矩阵的相似度，以获取压缩系列中目标矩阵对应的相似矩阵。
若获取到相似矩阵，则预测不存在异常；否则获取相似度最高的模式矩阵，并确定所述预设节点是否存在异常。
若所述预设节点不存在异常，则结束流程；否则将目标矩阵添加至所述压缩序列中，并增加相似度最高的模式矩阵的权重。
在上述技术方案中，通过流量控制、动态生成目标矩阵、相似度计算和异常处理等方式，具有高效、灵活和准确的特点，能够有效地监测模型的异常处理能力，进而根据监测结果优化该模型。
基于同一构思，本申请还提供一种数据异常预测模型的生成和更新系统，所述系统包括：
模式矩阵生成模块：用于初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一。
模式矩阵序列生成模块：用于重复执行模式矩阵生成模块，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1。
压缩序列生成模块：用于获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列。
更新模块：用于根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。
在上述技术方案中，能够通过计算流量拓扑矩阵序列的方式估算出物联网系统的一般网络数据特性，并通过模型模式提取算法对模型的规模进行有效压缩，提高了模型在系统异常数据方面的实时预测能力和准确率；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统能够在不同的组网场景下持续稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。
所述系统还包括：
公开模块：用于预先公开所述监控节点的公钥。
与现有技术相比，本申请的有益效果在于：
本申请先初始化流量拓扑矩阵，然后根据所述流量拓扑矩阵生成模式矩阵，将标定系数加一；并重复执行上述过程，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列；再获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列；最后根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。本申请可以提高模型在系统异常数据方面的实时预测能力和准确率；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。
附图说明
图1为本申请所述的数据异常预测模型的生成和更新方法的流程图。
图2为图1所述的数据异常预测模型的生成和更新方法的系统框架图。
具体实施方式
本申请提供一种数据异常预测模型的生成和更新方法及系统；以解决现有技术中通过人工提前标注好标签数据，并送入模型进行训练，导致的模型的训练过程不容易收敛、计算量极大且模型精度下降较大，以及无法调优的技术问题。
下面结合具体实施例及附图对本申请的一种数据异常预测模型的生成和更新方法及系统，作进一步详细描述。
实施例一：
请参见图1，本申请提供一种数据异常预测模型的生成和更新方法，包括以下步骤：
S100：初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一。
在执行步骤S100之前，包括：预先公开所述监控节点的公钥。
在本实施例中，监控节点的公钥在整个算法开始前全网公开。
所述步骤S100中的生成初始元组，包括：
通过监控节点初始化流量拓扑矩阵，所述流量拓扑矩阵至少包括所述监控节点的公钥。
在本实施例中，监控节点初始化一个N行N列的流量拓扑矩阵M，N为全网其他节点数量。流量拓扑矩阵M的对角元mi,i均为监控节点的公钥，第i行第j列的元素mi,j为随机数，mi,j∈（0,1），i∈[1,N],j∈[1,N]。
其中，流量拓扑矩阵M的第i行记为mi=（mi,1,mi,2,...,mi,N） 。
根据流量拓扑矩阵的各行元素和初始元组发送顺序生成预设元组，并通过监控节点使用其私钥将所述预设元组加密为初始元组，将所述初始元组发送给第一节点。
在本实施例中，监控节点使用其私钥将预设元组gi=(c,mi)加密为Gi（即初始元组），并将Gi发给节点i（即第一节点）；其中，c表示这是监控节点发出的第几个Gi，初始值为1。
所述步骤S100中的生成模式矩阵，包括：
当第一节点接收到所述初始元组时，使用所述监控节点的公钥对所述初始元组进行解密，并获取解密后的初始元组中的对角元，若所述对角元不是监控节点的公钥，则清除所述初始元组；否则记该初始元组为合法元组，根据该合法元组生成目标元组，并转发。
在本实施例中，当节点i收到监控节点发来的Gi，使用监控节点的公钥对Gi进行解密，若解密后的mi,i不是监控节点的公钥，则将Gi丢掉；否则记该Gi为合法的，并生成目标元组Ri,j=(Fi,j,i,j,c) ，并将其发到网络上。其中，Fi,j=mi,j*B，B为默认常数。
所述步骤S100中的生成模式矩阵，还包括：
在转发所述目标元组的过程中，若所述合法元组有更新，且上述目标元组对应的初始元组发送顺序大于更新后的合法元组对应的初始元组发送顺序，则清除更新后的合法元组；否则根据更新后的合法元组生成新的目标元组，并转发。
在本实施例中，若在处理Ri,j的过程中，收到新的合法的Gi，若c的值不大于当前的c的值，则丢掉新的Gi，否则中断对当前Ri,j的处理，转而处理新的Gi。
所述步骤S100中的生成模式矩阵，还包括：
当第二节点接收到所述目标元组时，转发该目标元组至监控节点，并当所述目标元组转发成功时，生成成功元组，将该成功元组转发至所述监控节点。
在本实施例中，当节点k（即第二节点）收到节点i发来的Ri,j，k∈[1,N]且k≠i,j，则将其转发出去，并将转发成功消息元组Di,j,k(即成功元组)=(i,j,k,c)发给监控节点。
所述步骤S100中的生成模式矩阵，还包括：
当所述监控节点接收到所述目标元组和成功元组时，判断其中是否存在重复数据包，若存在，则清除，以生成模式矩阵；否则直接根据当前过程的接收结果生成模式矩阵。
在本实施例中，当监控节点收到全网其他节点发来的Ri,j和Di,j,k时，将重复的数据包剔除，生成模式矩阵P(c)，P(c)的每个元素的初始值为q，q>0为默认常数。
每收到一个Ri,j，则P(c)的元素增加α，α>0为默认常数；每收到一个Di,j,k，则/>增加β，/>增加γ，β,γ>0为默认常数。
S200：重复执行步骤S100，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1。
在本实施例中，当一个新的时间片到来时，监控节点停止对Ri,j和Di,j,k的处理，将c加1，并重复步骤S100，直到c为预设数值，这里对预设数值的具体数值不进行限定，本领域技术人员可以根据实际应用需求进行设置。
S300：获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列。
在本实施例中，先初始化变量c=1，v=1，将模式矩阵序列的每个模式矩阵的权重初始化为1。
外循环：一直执行下述所有操作，直到c为预设数值时，则不再执行。
外循环的迭代操作：
内循环：
内循环的迭代条件：
上层迭代变量i的初值为1，每次增1，直到i=N。
下层迭代变量j的初值为1，每次增1，直到j=N-1。
内循环的迭代操作：计算所有矩阵的局部相似度。
执行完一个完整的内循环后，若局部相似度的数量大于默认常数，，则认为矩阵P(c)和P(c+v)相似，将P(c)合并到P(c+v)，即矩阵P(c+v)的每个元素=/>，将矩阵P(c+v)的权重加1，并将矩阵P(c)删除。将c增1，v重新赋值为1，继续执行外循环。
否则，继续寻找与P(c)潜在的相似矩阵，即v增1，重新执行内循环。
进一步的，将执行完迭代操作后剩余的模式矩阵按照权重大小排列成一个长度为Y的序列，称为压缩序列，Y>0为剩余模式矩阵数量。
此时，基于系统正常模式的流量模型的构建初步完成。
S400：根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。
所述步骤S400包括：
获取监控节点在默认时长内收到的预设节点发出的流量总量。
当所述流量总量小于默认值时，基于流量拓扑矩阵生成目标矩阵，并按照压缩序列中模式矩阵的权重大小计算各模式矩阵与目标矩阵的相似度，以获取压缩系列中目标矩阵对应的相似矩阵。
若获取到相似矩阵，则预测不存在异常；否则获取相似度最高的模式矩阵，并确定所述预设节点是否存在异常。
若所述预设节点不存在异常，则结束流程；否则将目标矩阵添加至所述压缩序列中，并增加相似度最高的模式矩阵的权重。
在本实施例中，当监控节点在默认时长T>0内收到节点w(即预设节点)∈[1,N]发出的流量总量小于默认值时，其按照步骤S100的方法生成一个目标矩阵H，并计算目标矩阵H和压缩序列里所有模式矩阵的相似度。
具体计算顺序是：按照压缩序列里模式矩阵的权重大小依次进行计算，若找到一个相似矩阵，即停止计算，并将相似矩阵的权重加1；若未找到相似矩阵，则记下相似度最高的矩阵。
当存在相似矩阵时，则预测不存在异常，不对节点w采取异常排查操作；否则执行下述操作。
对节点w进行异常排查，若最终确定节点w确实存在异常，则说明当前的流量模型工作良好，能自动识别异常；若最终确定无异常，则说明当前的流量模型仍不够完善，尚有正常的模式没有囊括，将目标矩阵H追加到压缩序列的末尾，其权重赋值为1，并将跟其相似性最高的矩阵的权重加1。
实施例二：
本申请还提供一种数据异常预测模型的生成和更新系统，所述系统包括：
模式矩阵生成模块：用于初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一。
模式矩阵序列生成模块：用于重复执行模式矩阵生成模块，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1。
压缩序列生成模块：用于获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列。
更新模块：用于根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。
在上述技术方案中，能够通过计算流量拓扑矩阵序列的方式估算出物联网系统的一般网络数据特性，并通过模型模式提取算法对模型的规模进行有效压缩，提高了模型在系统异常数据方面的实时预测能力和准确率；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统能够在不同的组网场景下持续稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。
所述系统还包括：
公开模块：用于预先公开所述监控节点的公钥。
综上所述，本申请提供一种数据异常预测模型的生成和更新方法及系统；先初始化流量拓扑矩阵，然后根据所述流量拓扑矩阵生成模式矩阵，将标定系数加一；并重复执行上述过程，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列；再获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列；最后根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列。本申请可以提高模型在系统异常数据方面的实时预测能力和准确率；并且能够动态地实时更新模型模式，算法具有较高的普适性和可扩展性，有助于确保物联网系统稳定工作，及时发现潜在的故障节点，从而提高整个系统的数据处理能力。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并不是意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然对本申请的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

Claims (9)

1.一种数据异常预测模型的生成和更新方法，其特征在于，包括以下步骤：
S100：初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一；
S200：重复执行步骤S100，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1；
S300：获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列；
S400：根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列；
所述步骤S400包括：
获取监控节点在默认时长内收到的预设节点发出的流量总量；
当所述流量总量小于默认值时，基于流量拓扑矩阵生成目标矩阵，并按照压缩序列中模式矩阵的权重大小计算各模式矩阵与目标矩阵的相似度，以获取压缩系列中目标矩阵对应的相似矩阵；
若获取到相似矩阵，则预测不存在异常；否则获取相似度最高的模式矩阵，并确定所述预设节点是否存在异常；
若所述预设节点不存在异常，则结束流程；否则将目标矩阵添加至所述压缩序列中，并增加相似度最高的模式矩阵的权重。
2.根据权利要求1所述的数据异常预测模型的生成和更新方法，其特征在于，在执行步骤S100之前，包括：预先公开监控节点的公钥。
3.根据权利要求2所述的数据异常预测模型的生成和更新方法，其特征在于，所述步骤S100中的生成初始元组，包括：
通过监控节点初始化流量拓扑矩阵，所述流量拓扑矩阵至少包括所述监控节点的公钥；
根据流量拓扑矩阵的各行元素和初始元组发送顺序生成预设元组，并通过监控节点使用其私钥将所述预设元组加密为初始元组，将所述初始元组发送给第一节点。
4.根据权利要求3所述的数据异常预测模型的生成和更新方法，其特征在于，所述步骤S100中的生成模式矩阵，包括：
当第一节点接收到所述初始元组时，使用所述监控节点的公钥对所述初始元组进行解密，并获取解密后的初始元组中的对角元，若所述对角元不是监控节点的公钥，则清除所述初始元组；否则记该初始元组为合法元组，根据该合法元组生成目标元组，并转发。
5.根据权利要求4所述的数据异常预测模型的生成和更新方法，其特征在于，所述步骤S100中的生成模式矩阵，还包括：
在转发所述目标元组的过程中，若所述合法元组有更新，且上述目标元组对应的初始元组发送顺序大于更新后的合法元组对应的初始元组发送顺序，则清除更新后的合法元组；否则根据更新后的合法元组生成新的目标元组，并转发。
6.根据权利要求5所述的数据异常预测模型的生成和更新方法，其特征在于，所述步骤S100中的生成模式矩阵，还包括：
当第二节点接收到所述目标元组时，转发该目标元组至监控节点，并当所述目标元组转发成功时，生成成功元组，将该成功元组转发至所述监控节点。
7.根据权利要求6所述的数据异常预测模型的生成和更新方法，其特征在于，所述步骤S100中的生成模式矩阵，还包括：
当所述监控节点接收到所述目标元组和成功元组时，判断其中是否存在重复数据包，若存在，则清除，以生成模式矩阵；否则直接根据当前过程的接收结果生成模式矩阵。
8.一种采用如权利要求1-7任一项所述的数据异常预测模型的生成和更新方法的系统，其特征在于，所述系统包括：
模式矩阵生成模块：用于初始化流量拓扑矩阵，并根据所述流量拓扑矩阵生成初始元组，以根据所述初始元组生成模式矩阵，将标定系数加一；
模式矩阵序列生成模块：用于重复执行模式矩阵生成模块，直至所述标定系数等于预设数值时，根据N个模式矩阵生成模式矩阵序列，N＞1；
压缩序列生成模块：用于获取各模式矩阵的相似度，并根据所述相似度对模式矩阵序列进行特征提取和长度压缩，以生成压缩序列；
更新模块：用于根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列；
所述更新模块根据所述压缩序列获取相似矩阵，并根据获取结果更新所述压缩序列的具体过程包括：
获取监控节点在默认时长内收到的预设节点发出的流量总量；
当所述流量总量小于默认值时，基于流量拓扑矩阵生成目标矩阵，并按照压缩序列中模式矩阵的权重大小计算各模式矩阵与目标矩阵的相似度，以获取压缩系列中目标矩阵对应的相似矩阵；
若获取到相似矩阵，则预测不存在异常；否则获取相似度最高的模式矩阵，并确定所述预设节点是否存在异常；
若所述预设节点不存在异常，则结束流程；否则将目标矩阵添加至所述压缩序列中，并增加相似度最高的模式矩阵的权重。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：
公开模块：用于预先公开监控节点的公钥。
CN202311680161.5A 2023-12-08 2023-12-08 一种数据异常预测模型的生成和更新方法及系统 Active CN117370724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311680161.5A CN117370724B (zh) 2023-12-08 2023-12-08 一种数据异常预测模型的生成和更新方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311680161.5A CN117370724B (zh) 2023-12-08 2023-12-08 一种数据异常预测模型的生成和更新方法及系统

Publications (2)

Publication Number Publication Date
CN117370724A CN117370724A (zh) 2024-01-09
CN117370724B true CN117370724B (zh) 2024-04-16

Family

ID=89391474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311680161.5A Active CN117370724B (zh) 2023-12-08 2023-12-08 一种数据异常预测模型的生成和更新方法及系统

Country Status (1)

Country Link
CN (1) CN117370724B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982386A (zh) * 2012-09-07 2013-03-20 浙江大学 一种基于空时压缩感知的蜂窝网络流量预测方法
WO2020191800A1 (zh) * 2019-03-27 2020-10-01 东北大学 基于wde优化lstm网络的锂离子电池剩余寿命预测方法
CN113240187A (zh) * 2021-05-26 2021-08-10 合肥工业大学 预测模型生成方法、系统、设备、存储介质及预测方法
CN117061360A (zh) * 2023-09-22 2023-11-14 南京邮电大学 基于时空信息的sdn网络流量预测方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982386A (zh) * 2012-09-07 2013-03-20 浙江大学 一种基于空时压缩感知的蜂窝网络流量预测方法
WO2020191800A1 (zh) * 2019-03-27 2020-10-01 东北大学 基于wde优化lstm网络的锂离子电池剩余寿命预测方法
CN113240187A (zh) * 2021-05-26 2021-08-10 合肥工业大学 预测模型生成方法、系统、设备、存储介质及预测方法
CN117061360A (zh) * 2023-09-22 2023-11-14 南京邮电大学 基于时空信息的sdn网络流量预测方法与系统

Also Published As

Publication number Publication date
CN117370724A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN112906903B (zh) 网络安全风险预测方法、装置、存储介质及计算机设备
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
US8171130B2 (en) Active probing for real-time diagnosis
WO2022134911A1 (zh) 诊断方法、装置、终端及存储介质
CN112822052B (zh) 一种基于网络拓扑和告警的网络故障根因定位方法
CN115427968A (zh) 边缘计算设备中的鲁棒人工智能推理
CN110912908A (zh) 网络协议异常检测方法、装置、计算机设备和存储介质
CN112116078A (zh) 一种基于人工智能的信息安全基线学习方法
CN113162888B (zh) 安全威胁事件处理方法、装置及计算机存储介质
CN116258573A (zh) 一种农产品供应链信用风险识别与演化预测方法
CN117370724B (zh) 一种数据异常预测模型的生成和更新方法及系统
US20210266383A1 (en) Conversion system, method and program
CN116074403B (zh) 一种多协议融合通信方法、装置及架构
CN114679283A (zh) 区块链数据请求处理方法、装置、服务器及存储介质
CN116909788A (zh) 一种任务导向和视角不变的多模态故障诊断方法及系统
CN113541986A (zh) 5g切片的故障预测方法、装置及计算设备
KR20210046423A (ko) 머신러닝 기반 보안관제 장치 및 방법
CN116257455A (zh) 一种模糊测试用例的生成方法、装置、设备及存储介质
CN116170203A (zh) 一种安全风险事件的预测方法及系统
CN115729825A (zh) 一种工业协议的模糊测试用例生成方法、装置和电子设备
CN114048328A (zh) 基于转换假设和消息传递的知识图谱链接预测方法及系统
CN114677584A (zh) 一种双注意力机制配电站水浸识别方法及系统
CN112104684A (zh) 一种基于物联网的平台管理系统
US20240144075A1 (en) Updating label probability distributions of data points
Zhu et al. Edge-Assisted Video Transmission with Adaptive Key Frame Selection: A Hierarchical DRL Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant