CN115934484A - 基于扩散模型数据增强的异常检测方法、存储介质及设备 - Google Patents
基于扩散模型数据增强的异常检测方法、存储介质及设备 Download PDFInfo
- Publication number
- CN115934484A CN115934484A CN202211510886.5A CN202211510886A CN115934484A CN 115934484 A CN115934484 A CN 115934484A CN 202211510886 A CN202211510886 A CN 202211510886A CN 115934484 A CN115934484 A CN 115934484A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- template
- dimensional
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000009792 diffusion process Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于扩散模型数据增强的异常检测方法、存储介质及设备，所述方法包括步骤：对原始日志数据预处理得到一维模板日志；根据格拉姆角场将一维模板日志转换为二维图像数据；采用扩散模型对日志数据处理得到增广二维图像数据；更新数据检测模型权重；将当前系统的日志数据输入检测模型中，根据检测模型的输出结果判定当前系统的状态。本申请将日志数据进行处理，得到对应的一维模板日志和二维图像日志，又基于扩散模型根据对应日志序列进行数据增广得到增广二维图像数据，通过所述一维模板日志、二维图像日志及增广二维图像数据训练检测模型，将当前日志输入到训练好的检测模型实现基于日志数据的系统状态的异常检测和诊断。
Description
技术领域
本发明涉及信息处理和人工智能技术领域，具体涉及一种基于扩散模型数据增强的异常检测方法、存储介质及设备。
背景技术
日志数据作为终端操作人员在进行事件溯源和研判时所必不可少的信息资源，其在系统状态诊断领域当中也受到了越来越多研究者的研究和关注。从传统机器学习一直到深度学习，关于如何使用日志数据来进行系统诊断，各方研究者均提出了不少方案，并取得了优异的结果。而由于异常状态在各类生产环境当中均属于发生频次较少的特殊事件，因此在日志数据当中，代表正常状态的日志数据和代表异常状态的日志数据在数量上的分布并不不平衡。因此关于如何处理日志类别不平衡的问题，成为了该领域的重点攻坚方向。
发明内容
为了克服上述技术缺陷，本发明提供一种基于扩散模型数据增强的异常检测方法、存储介质及设备，其能实现基于日志数据的系统状态的异常检测和诊断。
为了解决上述问题，本发明按以下技术方案予以实现：
第一方面，本发明提供一种基于扩散模型数据增强的异常检测方法，包括步骤：
获取原始日志数据，对原始日志数据预处理得到一维模板日志；
根据格拉姆角场将一维模板日志转换为二维图像数据；
采用扩散模型对日志数据处理得到增广二维图像数据；
根据一维模板日志、二维图像数据及增广二维图像数据更新数据检测模型权重；
获取当前系统的日志数据并输入到已更新权重的检测模型中，根据检测模型的输出结果判定当前系统的状态。
作为上述方案的改进，所述获取原始日志数据，对原始日志数据预处理得到一维模板日志包括步骤：
获取原始日志数据，采用正则匹配法对所述原始日志数据预处理，得到原始日志模板；
将所述原始日志模板组成一个日志模板库，并对所述日志模板库里的每个日志模板编号；
将日志数据替换成其在模板库中对应的编号，并使其按时序进行排列得到日志序列；
设置滑窗将日志序列按顺序分割成集合，得到一维模板日志。
作为上述方案的改进，所述获取原始日志数据，对原始日志数据预处理得到一维模板日志还包括步骤：
若所述日志数据在所述模板库中匹配不到对应的模板，则根据该日志数据生成新日志模板；
遍历所述模板库，得到与所述新日志模版最近似的旧日志模板，并将所述新日志模板替换所述旧日志模版。
作为上述方案的改进，所述采用扩散模型对日志数据处理得到增广二维图像数据包括步骤：
设置文本编码器和图像编码器，并根据一维模板日志和二维图像数据更新所述文本编码器和图像编码器的模型权重；
所述文本编码器根据一维模板日志生成文本特征，所述图像编码器根据一维模板日志对应的二维图像数据生成第一图像特征，使用U-Net网络和扩散模型根据所述文本特征，得到第二图像特征，并根据所述第一图像特征与第二图像特征更新U-Net网络。
根据所述文本特征，由U-Net网络生成第三图像特征，并通过自回归解码器处理所述第三图像特征得到增广二维图像数据。
作为上述方案的改进，所述根据一维模板日志和二维图像数据更新所述文本编码器和图像编码器的模型权重包括：
将基于同一日志时序的一维模板日志与二维图像数据作为正样本对，将一维模板日志与批次中的其余二维图像数据作为负样本对，进行对比损失函数计算，并更新所述文本编码器和所述图像编码器的模型权重。
作为上述方案的改进，所述根据所述文本特征，由U-Net网络生成第三图像特征步骤包括：
将所述文本编码器生成的文本特征数据复制若干份，将每份文本特征数据均加入随机噪声，得到文本特征数据集；
所述U-Net网络根据所述文本特征数据集生成第三图像特征。
作为上述方案的改进，所述根据所述文本特征，由U-Net网络生成第三图像特征步骤还包括：重复将同一日志时序的一维模板日志输入所述文本编码器，并对每份文本特征数据加入不同的随机噪声的扰动，得到文本特征数据集。
作为上述方案的改进，所述根据一维模板日志、二维图像数据及增广二维图像数据更新数据检测模型权重包括步骤：
将基于同一模板日志序列的一维模板日志、二维图像数据及增广二维图像数据分散到不同的训练批次中，然后输入检测模型；
将检测模型中全连接层输出的结果与系统真实的状态标签做交叉熵损失函数计算，检测模型中投影层输出的结果与系统真实的状态标签做对比学习损失函数计算，将所述交叉熵损失函数的计算结果和对比所述学习损失函数的计算结果进行相加，对检测模型做权重更新。
第二方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面所述的基于扩散模型数据增强的异常检测方法。
第三方面，本发明提供一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如第一方面所述的基于扩散模型数据增强的异常检测方法。
与现有技术相比，本发明具有以下有益效果：
本申请将日志数据进行处理，得到对应的一维模板日志和二维图像日志，又基于扩散模型根据对应日志序列进行数据增广得到增广二维图像数据，通过所述一维模板日志、二维图像日志及增广二维图像数据训练检测模型，将当前日志输入到训练好的检测模型实现基于日志数据的系统状态的异常检测和诊断。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1为本申请一个实施例中基于扩散模型数据增强的异常检测方法的流程示意图；
图2为本申请一个实施例中所述中步骤S100的流程示意图；
图3为本申请另一个实施例中所述步骤S100的流程示意图；
图4为本申请一个实施例中所述步骤S300的流程示意图；
图5为本申请一个实施例中所述步骤S330的流程示意图；
图6为本申请另一个实施例中所述步骤S330的流程示意图；
图7为本申请一个实施例中所述步骤S400的流程示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
需要注意的是，本文中所提及的序号，如S331、S332……，该些序号仅仅是作为步骤与步骤之间的区分，并不代表该些步骤必须要按照序号的顺序严格执行。
在一个实施例中，如图1所示，提供了一种基于扩散模型数据增强的异常检测方法，包括步骤：
S100：获取原始日志数据，对原始日志数据预处理得到一维模板日志；
本发明基于日志数据来实现系统状态的异常检测和诊断，首先需要获取系统的原始日志数据，由于数据可能因为各种原因而丢失，为了提高机器学习的准确性，首先需要对原始日志数据进行预处理；对进行预处理后的原始日志数据按一定编码规则，以预先设定的日志数据模板将原始日志数据转换成对应的一维模板日志
在其中一个实施例中，如图2所示，所述步骤S100包括如下步骤：
S110：获取原始日志数据，采用正则匹配法对所述原始日志数据预处理，得到原始日志模板；
具体的，在数据预处理前，需要获取系统的原始日志数据，所述原始日志数据可对应系统状态监测前的初始状态，将原始日志数据进行预处理。所述数据预处理算法可采用正则匹配法，通过正则匹配的方式将日志数据中关于IP、端口等的变量数据给剔除出去，以尽量保留住系统最原始的日志数据，然后根据将预处理后的原始日志数据生成相应的原始日志模板。
S120：将所述原始日志模板组成一个日志模板库，并对所述日志模板库里的每个日志模板编号；
具体的，将步骤S110所有经过处理的日志模板组成一个日志模板库，其中，每个模板都有其在库中对应的编号。
S150：将日志数据替换成其在模板库中对应的编号，并使其按时序进行排列得到日志序列；
具体的，根据每组日志数据都能在所述日志模板库中找到与之对应的编号，用日志数据所对应的编号来替换日志数据，并将对应的编号按照时序进行排列，已得到日志序列。
S160：设置滑窗将日志序列按顺序分割成集合，得到一维模板日志。
具体的，将所有的日志数据都替换成其在模板库中对应的编号，并且使其按时序进行排列后，设置一个滑动窗口，每次沿着时序的方向移动设定个单位，从而将日志序列按顺序分割成一系列上下文的集合，又分割出来的集合可对应得到一维模板日志。优选地，将所述滑动窗口大小设置为20，并设定窗口每次沿着时序的方向移动20个单位。
在其中一个实施例中，如图3所示，所述步骤S100还包括如下步骤：
S130：若所述日志数据在所述模板库中匹配不到对应的模板，则根据该日志数据生成新日志模板；
具体的，若步骤S120中，日志数据在所述日志模板库中匹配不到相对应的模板，则以该个日志数据生成一个新的日志模板；
S140：遍历所述模板库，得到与所述新日志模版最近似的旧日志模板，并将所述新日志模板替换所述旧日志模版。
具体的，将步骤S130中日志数据生成的新的日志模板用于替换模板库中其中一个模板，所述被替换的其中一个模板为与新的日志模板最相似的模板。通过将日志数据生成新的模板来替换模板库中最相似的模板，进而不断更新日志模板库中的模板。
S200：根据格拉姆角场将一维模板日志转换为二维图像数据；
具体的，深度神经网络的处理对象为二维图像，无法对一维的时间序列进行处理，因此需要将一维的时间序列转换成二维图像供深度神经网络处理；采用格拉姆角场可以将有时间序列处理的一维模板日志转换为对应的二维图像数据。
S300：采用扩散模型对日志数据处理得到增广二维图像数据；
具体的，由于异常状态在各类生产环境当中均属于发生频次较少的特殊事件，因此在日志数据当中，代表正常状态的日志数据和代表异常状态的日志数据在数量上的分布并不不平衡，因此采用扩散模型来对日志数据进行数据增广，通过扩散模型随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。
在其中一个实施例中，如图4所示，所述步骤S300包括如下步骤：
S310：设置文本编码器和图像编码器，并根据一维模板日志和二维图像数据更新所述文本编码器和图像编码器的模型权重；
具体的，通过设置文本编码器及图像编码器来分别对一维日志模板和二维图像数据进行编码处理。所用的文本编码器和图像编码器的算法模型需要通过大量的一维日志模板和二维图像数据作为训练样本来进行权重的更新。
在其中一个实施例中，通过将基于同一日志时序的一维模板日志与二维图像数据作为正样本对，将一维模板日志与batch中的其余二维图像数据作为负样本对，进行对比损失函数计算，并更新所述文本编码器和所述图像编码器的模型权重。
S320：所述文本编码器根据一维模板日志生成文本特征，所述图像编码器根据一维模板日志对应的二维图像数据生成第一图像特征，使用U-Net网络和扩散模型根据所述文本特征，得到第二图像特征，并根据所述第一图像特征与第二图像特征更新U-Net网络；
具体的，一维模板日志通过文本编码器的处理可得到相对应文本特征，一维模板日志通过图像编码器的处理可得到相应的图像特征，将图像编码器得到的图像特征作为第一图像特征。然后使用一个U-Net网络，通过扩散模型的方式还原出图像特征，该图像为第二图像特征，使用图像编码器编码后的图像特征作为真实值(即第一图像特征)和U-Net网络生成的图像特征(即第二图像特征)来进行损失函数的计算，并根据计算结果对模型U-Net网络的权重进行更新。
S330：根据所述文本特征，由U-Net网络生成第三图像特征，并通过自回归解码器处理所述第三图像特征得到增广二维图像数据。
具体的，将一个一维日志模板输入到文本编码器中生成文本特征数据，然后将该文本特征数据复制几份，然后对这几份文本特征数据加入轻微的随机噪声骚动，再让它们通过U-Net网络生成图像特征，接着使用一个自回归的解码器，将这些图像特征还原成二维图像，而这些二维图像就是该日志序列增广后得到的二维图像数据。
在其中一个实施例中，如图5所示，所述根据所述文本特征，由U-Net网络生成第三图像特征包括步骤：
S331：将所述文本编码器生成的文本特征数据复制若干份，将每份文本特征数据均加入随机噪声，得到文本特征数据集；
具体的，对一维日志模板由所述文本编码器生成的文本特征加入随机噪声，在随机噪声加入前先将文本特征数据进行复制，通过对每组文本特征数据加入随机造成以获得多组受扰动的文本特征。
S333：所述U-Net网络根据所述文本特征数据集生成第三图像特征。
具体的，将所述多组受扰动的文本特征数据，通过所述U-Net网络来生成受扰动的文本特征数据集的每组图像特征(即第三图像特征)，接着使用一个自回归的解码器，将这些图像特征还原成二维图像，而这些二维图像就是该日志序列增广后得到的二维图像数据。
在其中一个实施例中，如图6所示，所述根据所述文本特征，由U-Net网络生成第三图像特征包括还步骤：
S332：重复将同一日志时序的一维模板日志输入所述文本编码器，并对每份文本特征数据加入不同的随机噪声的扰动，得到文本特征数据集。
具体的，该步骤的目的与所述步骤S331相同，意在获得以获得多组受扰动的文本特征，进而通过所述U-Net网络来生成受扰动的文本特征数据集的每组图像特征(即第三图像特征)，接着使用一个自回归的解码器，将这些图像特征还原成二维图像，以得到的二维图像数据。
S400：根据一维模板日志、二维图像数据及增广二维图像数据更新数据检测模型权重；
具体的，使用一个深度神经网络作为检测模型，将生成的二维图像数据与增广生成的二维图像数据结合在一起，然后与对应一维日志模板一起输送到深度神经网络中来更新检测模型的权重。
在其中一个实施例中，如图7所示，所述步骤S400包括步骤：
S410：将基于同一模板日志序列的一维模板日志、二维图像数据及增广二维图像数据分散到不同的训练批次中，然后输入检测模型；
S420：将检测模型中全连接层输出的结果与系统真实的状态标签做交叉熵损失函数计算，检测模型中投影层输出的结果与真实情况标签做对比学习损失函数计算，将所述交叉熵损失函数的计算结果和对比所述学习损失函数的计算结果进行相加，对检测模型做权重更新。
S500：获取当前系统的日志数据并输入到已更新权重的检测模型中，根据检测模型的输出结果判定当前系统的状态。
具体的，通过上述步骤S400不断更新深度神经网络，在进行状态异常检测时，将当前状态下，状态所对应的日志数据输入到更新好的深度神经网络中，又深度神经网络进行相关计算，便能得出当前系统的状态是否存在异常的结论。
本申请将日志数据进行处理，得到对应的一维模板日志和二维图像日志，又基于扩散模型根据对应日志序列进行数据增广得到增广二维图像数据，通过所述一维模板日志、二维图像日志及增广二维图像数据训练检测模型，将当前日志输入到训练好的检测模型实现基于日志数据的系统状态的异常检测和诊断。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器实现第一方面提供的基于扩散模型数据增强的异常检测方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机可读存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的，术语计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
示例性的，所述计算机可读存储介质可以是前述实施例所述的网管设备的内部存储单元，例如所述网管设备的硬盘或内存。所述计算机可读存储介质也可以是所述网管设备的外部存储设备，例如所述网管设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
在一个实施例中，提供了一种设备，包括处理器与存储器，所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现本发明第一方面提供的基于扩散模型数据增强的异常检测方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.基于扩散模型数据增强的异常检测方法，其特征在于，包括步骤：
获取原始日志数据，对原始日志数据预处理得到一维模板日志；
根据格拉姆角场将一维模板日志转换为二维图像数据；
采用扩散模型对日志数据处理得到增广二维图像数据；
根据一维模板日志、二维图像数据及增广二维图像数据更新数据检测模型权重；
获取当前系统的日志数据并输入到已更新权重的检测模型中，根据检测模型的输出结果判定当前系统的状态。
2.根据权利要求1所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述获取原始日志数据，对原始日志数据预处理得到一维模板日志包括步骤：
获取原始日志数据，采用正则匹配法对所述原始日志数据预处理，得到原始日志模板；
将所述原始日志模板组成一个日志模板库，并对所述日志模板库里的每个日志模板编号；
将日志数据替换成其在模板库中对应的编号，并使其按时序进行排列得到日志序列；
设置滑窗将日志序列按顺序分割成集合，得到一维模板日志。
3.根据权利要求2所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述获取原始日志数据，对原始日志数据预处理得到一维模板日志还包括步骤：
若所述日志数据在所述模板库中匹配不到对应的模板，则根据该日志数据生成新日志模板；
遍历所述模板库，得到与所述新日志模版最近似的旧日志模板，并将所述新日志模板替换所述旧日志模版。
4.根据权利要求1所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述采用扩散模型对日志数据处理得到增广二维图像数据包括步骤：
设置文本编码器和图像编码器，并根据一维模板日志和二维图像数据更新所述文本编码器和图像编码器的模型权重；
所述文本编码器根据一维模板日志生成文本特征，所述图像编码器根据一维模板日志对应的二维图像数据生成第一图像特征，使用U-Net网络和扩散模型根据所述文本特征，得到第二图像特征，并根据所述第一图像特征与第二图像特征更新U-Net网络；
根据所述文本特征，由U-Net网络生成第三图像特征，并通过自回归解码器处理所述第三图像特征得到增广二维图像数据。
5.根据权利要求4所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述根据一维模板日志和二维图像数据更新所述文本编码器和图像编码器的模型权重包括：
将基于同一日志时序的一维模板日志与二维图像数据作为正样本对，将一维模板日志与批次中的其余二维图像数据作为负样本对，进行对比损失函数计算，并更新所述文本编码器和所述图像编码器的模型权重。
6.根据权利要求4所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述根据所述文本特征，由U-Net网络生成第三图像特征步骤包括：
将所述文本编码器生成的文本特征数据复制若干份，将每份文本特征数据均加入随机噪声，得到文本特征数据集；
所述U-Net网络根据所述文本特征数据集生成第三图像特征。
7.根据权利要求6所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述根据所述文本特征，由U-Net网络生成第三图像特征步骤还包括：重复将同一日志时序的一维模板日志输入所述文本编码器，并对每份文本特征数据加入不同的随机噪声的扰动，得到文本特征数据集。
8.根据权利要求1所述的基于扩散模型数据增强的异常检测方法，其特征在于，所述根据一维模板日志、二维图像数据及增广二维图像数据更新数据检测模型权重包括步骤：
将基于同一模板日志序列的一维模板日志、二维图像数据及增广二维图像数据分散到不同的训练批次中，然后输入检测模型；
将检测模型中全连接层输出的结果与系统真实的状态标签做交叉熵损失函数计算，检测模型中投影层输出的结果与系统真实的状态标签做对比学习损失函数计算，将所述交叉熵损失函数的计算结果和对比所述学习损失函数的计算结果进行相加，对检测模型做权重更新。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至8任一项所述的基于扩散模型数据增强的异常检测方法。
10.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的基于扩散模型数据增强的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211510886.5A CN115934484B (zh) | 2022-11-29 | 2022-11-29 | 基于扩散模型数据增强的异常检测方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211510886.5A CN115934484B (zh) | 2022-11-29 | 2022-11-29 | 基于扩散模型数据增强的异常检测方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115934484A true CN115934484A (zh) | 2023-04-07 |
| CN115934484B CN115934484B (zh) | 2024-02-09 |
Family
ID=86698524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211510886.5A Active CN115934484B (zh) | 2022-11-29 | 2022-11-29 | 基于扩散模型数据增强的异常检测方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115934484B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593215A (zh) * | 2024-01-19 | 2024-02-23 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种生成模型增强的大规模视觉预训练方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
| CN112882899A (zh) * | 2021-02-25 | 2021-06-01 | 中国烟草总公司郑州烟草研究院 | 一种日志异常检测方法及装置 |
| CN113361391A (zh) * | 2021-06-04 | 2021-09-07 | 北京华文众合科技有限公司 | 基于深度学习的数据增广方法、系统、介质和计算设备 |
| CN113806198A (zh) * | 2021-09-18 | 2021-12-17 | 广东技术师范大学 | 一种基于深度学习的系统状态诊断方法 |
| CN114022706A (zh) * | 2021-10-29 | 2022-02-08 | 际络科技(上海)有限公司 | 一种图像分类模型的优化方法、装置、设备及存储介质 |
| CN114297022A (zh) * | 2021-12-24 | 2022-04-08 | 天翼云科技有限公司 | 云环境异常检测方法、装置、电子设备和存储介质 |
| CN114429441A (zh) * | 2020-10-15 | 2022-05-03 | 华为云计算技术有限公司 | 一种异常检测方法及装置、设备、存储介质 |
| CN114661544A (zh) * | 2022-02-28 | 2022-06-24 | 北京交通大学 | 基于注意力机制层的大数据平台日志异常检测方法 |
| CN115187832A (zh) * | 2022-06-24 | 2022-10-14 | 同济大学 | 一种基于深度学习与格拉姆角场图像的能源系统故障诊断方法 |
-
2022
- 2022-11-29 CN CN202211510886.5A patent/CN115934484B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
| CN114429441A (zh) * | 2020-10-15 | 2022-05-03 | 华为云计算技术有限公司 | 一种异常检测方法及装置、设备、存储介质 |
| CN112882899A (zh) * | 2021-02-25 | 2021-06-01 | 中国烟草总公司郑州烟草研究院 | 一种日志异常检测方法及装置 |
| CN113361391A (zh) * | 2021-06-04 | 2021-09-07 | 北京华文众合科技有限公司 | 基于深度学习的数据增广方法、系统、介质和计算设备 |
| CN113806198A (zh) * | 2021-09-18 | 2021-12-17 | 广东技术师范大学 | 一种基于深度学习的系统状态诊断方法 |
| CN114022706A (zh) * | 2021-10-29 | 2022-02-08 | 际络科技(上海)有限公司 | 一种图像分类模型的优化方法、装置、设备及存储介质 |
| CN114297022A (zh) * | 2021-12-24 | 2022-04-08 | 天翼云科技有限公司 | 云环境异常检测方法、装置、电子设备和存储介质 |
| CN114661544A (zh) * | 2022-02-28 | 2022-06-24 | 北京交通大学 | 基于注意力机制层的大数据平台日志异常检测方法 |
| CN115187832A (zh) * | 2022-06-24 | 2022-10-14 | 同济大学 | 一种基于深度学习与格拉姆角场图像的能源系统故障诊断方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张海军等: ""类图像处理面向大数据XSS 入侵智能检测研究"", 《计算机应用与软件》, pages 288 - 294 * |
| 闫力等: ""基于机器学习的日志异常检测综述"", 《计算机系统应用》, pages 57 - 69 * |
| 黄志豪等: "基于轻卷积神经网络的电力电缆绝缘损伤图像检测 方法", 《电子设计工程》, pages 170 - 175 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593215A (zh) * | 2024-01-19 | 2024-02-23 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种生成模型增强的大规模视觉预训练方法及系统 |
| CN117593215B (zh) * | 2024-01-19 | 2024-03-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种生成模型增强的大规模视觉预训练方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115934484B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189364A1 (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
| CN111475797A (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
| CN107730040B (zh) | 基于rbm的电力信息系统日志信息综合特征提取方法和装置 | |
| CN111046027A (zh) | 时间序列数据的缺失值填充方法和装置 | |
| CN110941964A (zh) | 双语语料筛选方法、装置及存储介质 | |
| CN115934484B (zh) | 基于扩散模型数据增强的异常检测方法、存储介质及设备 | |
| CN110929733A (zh) | 除噪方法、装置、计算机设备、存储介质及模型训练方法 | |
| CN117376632B (zh) | 基于智能深度合成的数据恢复方法和系统 | |
| CN114445663A (zh) | 检测对抗样本的方法、装置及计算机程序产品 | |
| CN112037174B (zh) | 染色体异常检测方法、装置、设备及计算机可读存储介质 | |
| CN116776014B (zh) | 多源轨迹数据表示方法及装置 | |
| CN116257885A (zh) | 基于联邦学习的隐私数据通信方法、系统和计算机设备 | |
| CN117194219A (zh) | 模糊测试用例生成与选择方法、装置、设备及介质 | |
| CN116842520A (zh) | 基于检测模型的异常感知方法、装置、设备及介质 | |
| CN115102779B (zh) | 预测模型的训练、访问请求的决策方法、装置、介质 | |
| CN116306610A (zh) | 模型训练方法及装置、自然语言处理方法及装置 | |
| CN115982965A (zh) | 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置 | |
| CN111971951A (zh) | 运算装置、运算方法、程序和鉴别系统 | |
| CN115631457A (zh) | 建筑施工监控视频中的人机协作异常检测方法及系统 | |
| CN117693754A (zh) | 训练用于图像修复的经掩模的自动编码器 | |
| CN110929786B (zh) | 一种数据增广方法及电子设备 | |
| CN115828977B (zh) | 工业互联网标签编码方法、装置、介质及电子设备 | |
| CN113505137B (zh) | 一种不动产空间图形更新方法 | |
| CN111062468B (zh) | 生成网络的训练方法和系统、以及图像生成方法及设备 | |
| CN117151227B (zh) | 一种半导体检测结果的推理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |