CN115514614A - 基于强化学习的云网络异常检测模型训练方法及存储介质 - Google Patents

基于强化学习的云网络异常检测模型训练方法及存储介质 Download PDF

Info

Publication number
CN115514614A
CN115514614A CN202211427195.9A CN202211427195A CN115514614A CN 115514614 A CN115514614 A CN 115514614A CN 202211427195 A CN202211427195 A CN 202211427195A CN 115514614 A CN115514614 A CN 115514614A
Authority
CN
China
Prior art keywords
network
detection
anomaly detection
abnormal
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211427195.9A
Other languages
English (en)
Other versions
CN115514614B (zh
Inventor
杨家海
贺鑫
张世泽
董恩焕
王之梁
卢建元
吕彪
祝顺民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Alibaba Cloud Computing Ltd
Original Assignee
Tsinghua University
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Alibaba Cloud Computing Ltd filed Critical Tsinghua University
Priority to CN202211427195.9A priority Critical patent/CN115514614B/zh
Publication of CN115514614A publication Critical patent/CN115514614A/zh
Application granted granted Critical
Publication of CN115514614B publication Critical patent/CN115514614B/zh
Priority to PCT/CN2023/131887 priority patent/WO2024104401A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书实施例提供基于强化学习的云网络异常检测模型训练方法及存储介质，其中所述方法包括：将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。

Description

基于强化学习的云网络异常检测模型训练方法及存储介质
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种基于强化学习的云网络异常检测模型训练方法及存储介质。
背景技术
随着云网络技术的发展，云网络设备的规模逐渐扩大，其承载的用户数量越来越多。由于云网络设备可能会以小概率发生故障，一旦发生故障，可能会对用户的使用造成大面积影响。因此，在大量云网络设备长期运行的过程中，需要来检测其是否正常工作，以保证网络的稳定运行。目前主流的观测云网络设备是否存在异常的方法，多是通过将云网络设备某一时刻所产生的数据，与静态阈值进行比对的方式实现，但这种基于静态阈值的异常检测方法，在处理具备复杂、动态模式的数据时，会出现高虚警率、高漏报率的问题，从而难以定位真正的异常事件，因此，亟需一种有效的方法以解决此类问题。
发明内容
有鉴于此，本说明书实施例提供了一种基于强化学习的云网络异常检测模型训练方法。本说明书一个或者多个实施例同时涉及一种基于强化学习的云网络异常检测模型训练装置，一种基于强化学习的云网络异常检测方法，一种基于强化学习的云网络异常检测装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种基于强化学习的云网络异常检测模型训练方法，包括：
将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果；
确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果；
根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息；
基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
根据本说明书实施例的第二方面，提供了一种基于强化学习的云网络异常检测模型训练装置，包括：
生成模块，被配置为将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果；
输入模块，被配置为确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果；
确定模块，被配置为根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息；
调整模块，被配置为基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
根据本说明书实施例的第三方面，提供了一种基于强化学习的云网络异常检测方法，包括：
将与云网络设备相关的时间序列数据，输入目标异常检测模型的第一检测网络进行处理，生成所述云网络设备在目标历史时刻对应的第一异常检测结果。
确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述云网络设备的至少一个历史报警信息，输入所述目标异常检测模型中第二检测网络的智能体进行处理，生成所述云网络设备的第二异常检测结果。
在基于所述第二异常检测结果确定满足报警条件的情况下，对所述云网络设备进行报警处理。
根据本说明书实施例的第四方面，提供了一种基于强化学习的云网络异常检测装置，包括：
生成模块，被配置为将与云网络设备相关的时间序列数据，输入目标异常检测模型的第一检测网络进行处理，生成所述云网络设备在目标历史时刻对应的第一异常检测结果；
输入模块，被配置为确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述云网络设备的至少一个历史报警信息，输入所述目标异常检测模型中第二检测网络的智能体进行处理，生成所述云网络设备的第二异常检测结果；
处理模块，被配置为在基于所述第二异常检测结果确定满足报警条件的情况下，对所述云网络设备进行报警处理。
根据本说明书实施例的第五方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述基于强化学习的云网络异常检测模型训练方法或所述基于强化学习的云网络异常检测方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述基于强化学习的云网络异常检测模型训练方法或所述基于强化学习的云网络异常检测方法的步骤。
本说明书一个实施例通过将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
本说明书实施例中的第一检测网络用于预测待检测设备在至少一个历史时刻对应的第一异常检测结果，因此，可将第一检测网络看作预测网络，而第二检测网络可看作强化学习网络，本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率；另外，本说明书实施例通过结合奖励信息，对强化学习网络的网络参数进行调整，有利于提高所生成的目标异常检测模型的鲁棒性，并且利用生成的目标异常检测模型对待检测设备进行异常检测，有利于降低待检测设备的误报率。
附图说明
图1是本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的流程图；
图2是本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的流程图；
图3a是本说明书一个实施例提供的误差生成过程的示意图；
图3b是本说明书一个实施例提供的一种第二检测网络的示意图；
图3c是本说明书一个实施例提供的一种异常检测模型训练过程的示意图；
图3d是本说明书一个实施例提供的一种模型测试过程的示意图；
图3e是本说明书一个实施例提供的一种异常检测系统的架构图；
图4是本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的处理过程流程图；
图5是本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练装置的结构示意图；
图6是本说明书一个实施例提供的一种基于强化学习的云网络异常检测方法的流程图；
图7是本说明书一个实施例提供的一种基于强化学习的云网络异常检测装置的流程图；
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
时间序列数据：指在一段时间内，按照固定频率采集到的数据，用于描述被观测指标随时间变化的情况。
LSTM：Long Short-Term Memory，长短期记忆神经网络。
Q学习：一种强化学习算法。
在本说明书中，提供了一种基于强化学习的云网络异常检测模型训练方法，本说明书同时涉及一种基于强化学习的云网络异常检测模型训练装置，一种基于强化学习的云网络异常检测方法，一种基于强化学习的云网络异常检测装置，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的流程图，
随着云网络技术的发展，云网络设备的规模逐渐扩大，其承载的用户数量越来越多。由于云网络设备可能会以小概率发生故障，一旦发生故障，可能会对用户的使用造成大面积影响。因此，在大量云网络设备长期运行的过程中，需要来检测其是否正常工作，以保证网络的稳定运行。目前主流的观测云网络设备是否存在异常的方法，多是通过将云网络设备某一时刻所产生的数据，与静态阈值进行比对的方式实现，例如，若存在某个时间段的数据与历史数据表现不一致时，即可判断云网络设备存在异常。
但目前的异常检测方法存在以下三方面的问题，导致其难以应用于云网络设备异常检测的场景。
（1）无法处理动态数据模式：由于云网络流量数据存在复杂的异常模式，因此，如何设计算法从复杂的流量数据中准确地识别出各类异常是具有挑战性的。
（2）静态异常阈值难以适应动态数据模式：现有异常检测方法是通过比较当前数据与历史数据的偏差程度来确定是否存在故障的，偏差程度也被称为异常阈值。现有方法使用静态的异常阈值来判别异常。在云网络场景中，由于云网络设备升级快速，新版本的设备的流量模式可能会发生变化，而原有的静态阈值难以适应新的数据模式，导致检测器产生虚假报警或漏掉真正的异常。
（3）高虚警率：现有的异常检测方法大多存在高虚警率的问题，在云网络场景中，由于网络设备数量庞大，较高的虚警率会导致大量网络设备发出无效告警，进而导致运维团队花费大量时间处理无效警报，甚至可能因此忽略掉真正的异常。
结合上述问题，现有基于静态阈值的异常检测方法，在处理具备复杂、动态模式的时间序列数据时，会出现高虚警率、高漏报率的问题，从而难以定位真正的异常事件。为了解决高虚警率、高漏报率问题，本说明书实施例通过将序列预测模型与强化学习模型相结合，先获取与云网络设备相关的历史网络流量数据，并通过预设长度的滑动窗口对历史网络流量数据进行划分，生成至少两个数据集合，将每个数据集合中的历史网络流量数据输入异常检测模型的预测网络（多层神经网络）进行处理，生成云网络设备在第一历史时刻对应的第一异常检测结果，确定云网络设备在第一历史时刻对应的历史异常检测结果，并确定第一异常检测结果与历史异常检测结果间的误差，将误差输入异常检测模型中强化学习网络的环境模块，由环境模块将误差及云网络设备的至少一个历史报警信息，输入智能体。智能体通过误差以及至少一个历史报警信息，进行报警动作价值估计，并根据估计结果生成报警动作，环境模块根据报警动作确定奖励信息，并根据奖励信息对智能体的网络参数进行调整，生成目标异常检测模型。
本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率；另外，本说明书实施例通过结合奖励信息，对强化学习网络的网络参数进行调整，有利于提高所生成的目标异常检测模型的鲁棒性，并且利用生成的目标异常检测模型对云网络设备进行异常检测，有利于降低云网络设备的误报率。
图2示出了根据本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的流程图，具体包括以下步骤。
步骤202，将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果。
具体的，待检测设备，即可以云网络设备，历史时间序列数据，即可以是待检测设备在历史时刻所生成的时间序列数据，该历史时间序列数据可以是不同历史时刻对应的网络流量数据或不同历史时刻对应的CPU使用率等，可用于对异常检测模型进行训练。
本说明书实施例的异常检测模型由第一检测网络和第二检测网络组成，其中，第一检测网络可以由至少一级LSTM网络构成，而第二检测网络可以是强化学习网络。在基于历史时间序列数据训练异常检测模型时，即可先将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成该待检测设备在至少一个历史时刻对应的第一异常检测结果，该第一异常检测结果即为第一检测网络输出的预测结果，例如，可以是待检测设备在至少一个历史时刻对应的网络流量的预测结果，或在至少一个历史时刻对应的CPU使用率的预测结果等。
具体实施时，将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，包括：
获取与待检测设备相关的历史时间序列数据，并通过预设长度的滑动窗口对所述历史时间序列数据进行划分，生成至少两个数据集合；
将目标数据集合中的历史时间序列数据输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在第一历史时刻对应的第一异常检测结果，其中，所述目标数据集合为所述至少两个数据集合中的任意一个。
具体的，在对异常检测模型进行训练之前，可先获取与待检测设备相关的历史时 间序列数据，并可将其处理为长度为N的时间序列
Figure 151548DEST_PATH_IMAGE001
，然后可采用滑 动窗口对时间序列𝑥进行切片划分，以从时间序列𝑥划分出N-E+1个片段（数据集合），其 中，E为滑动窗口的预设长度，这样即可构造出存在重叠部分的子时间序列
Figure 862277DEST_PATH_IMAGE002
，其中，
Figure 359118DEST_PATH_IMAGE003
。对于每 个数据集合
Figure 603017DEST_PATH_IMAGE004
，均会被输入至异常检测模型的第一检测网络进行处理，生成t1+E时刻 的预测结果
Figure 855007DEST_PATH_IMAGE005
，即待检测设备在第一历史时刻对应的第一异常检测结果。
步骤204，确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果。
具体的，第一检测网络在输出第一异常检测结果后，即可确定第一异常检测结果 对应的检测误差（预测误差）。例如，第一异常检测结果为
Figure 348305DEST_PATH_IMAGE006
，而待检测设备在t1+E时刻 对应的真实异常结果为
Figure 648837DEST_PATH_IMAGE007
，则可计算检测误差
Figure 980199DEST_PATH_IMAGE008
，计算完成 后，该检测误差
Figure 199827DEST_PATH_IMAGE009
可以输入至第二检测网络，由第二检测网络根据该检测误差
Figure 321367DEST_PATH_IMAGE010
判断待 检测设备是否存在异常，并发出告警。
另外，在第二检测网络为强化学习网络的情况下，第二检测网络可包含环境模块 和智能体，环境会不断地记录由第一检测网络传输的检测误差
Figure 222327DEST_PATH_IMAGE011
和智能体在至少一个历 史时刻的报警动作a，其中，报警动作a存在0或1两种取值，a=0即不报警，a=1即报警。环境会 根据检测误差和智能体在至少一个历史时刻的报警动作生成状态序列s，状态序列s中包括 m个检测误差和m个历史报警动作，其中，m为时间窗口，状态序列s的定义如公式（1）所示。
Figure 971977DEST_PATH_IMAGE012
在每个时刻t2，其对应的状态序列
Figure 503453DEST_PATH_IMAGE013
会不断地输入给智能体，使得智能体可根 据状态序列
Figure 410491DEST_PATH_IMAGE014
确定待检测设备在目标时刻的第二异常检测结果，其中，目标时刻即为t2。
具体实施时，将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，包括：
将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体；
通过所述智能体将所述检测误差以及所述至少一个历史报警信息，输入异常值计算函数进行处理，生成第一报警动作对应的第一异常值以及第二报警动作对应的第二异常值；
根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果。
进一步的，根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果，包括：
将所述第一异常值与所述第二异常值进行比对；
在根据比对结果确定所述第一异常值大于所述第二异常值的情况下，将所述第一报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果；
在根据比对结果确定所述第二异常值大于所述第一异常值的情况下，将所述第二报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
具体的，如前所述，环境会根据检测误差和智能体在至少一个历史时刻的报警动 作生成状态序列
Figure 443038DEST_PATH_IMAGE015
，状态序列s中包括m个检测误差和m个历史报警动作，然后可将状态序 列
Figure 250457DEST_PATH_IMAGE016
输入至智能体，由智能体根据状态序列
Figure 952834DEST_PATH_IMAGE017
确定待检测设备在目标时刻的第二异常 检测结果。
实际应用中，智能体在确定第二异常检测结果时，可使用异常值计算函数
Figure 845703DEST_PATH_IMAGE018
，其中，𝜃为智能体的网络参数，以利用异常值计算函数
Figure 858440DEST_PATH_IMAGE019
、状 态序列
Figure 582682DEST_PATH_IMAGE020
以及网络参数𝜃确定不同报警动作对应的异常值Q。
本说明书实施例存在两种报警动作，其中，第一报警动作即为“报警”，第二报警动 作即为“不报警”，利用异常值计算函数
Figure 455960DEST_PATH_IMAGE021
、状态序列
Figure 836126DEST_PATH_IMAGE022
以及网络参数𝜃，可分 别确定“报警”这一报警动作所对应的第一异常值
Figure 944896DEST_PATH_IMAGE023
，以及“不报警”这一报 警动作所对应的第二异常值
Figure 399011DEST_PATH_IMAGE024
，然后可根据第一异常值和第二异常值，确 定待检测设备在目标时刻（t2时刻）的异常检测结果。
其中，
Figure 272552DEST_PATH_IMAGE025
即代表报警，
Figure 140014DEST_PATH_IMAGE026
即代表不报警，确定两种报警动作分别对 应的异常值之后，可将两个异常值进行比对，若报警动作的异常值大于不报警动作的异常 值，则可确定第二异常检测结果为报警，否则可确定第二异常检测结果为不报警。
本说明书实施例提供的误差生成过程的示意图如图3a所示，先通过LSTM网络提取历史时间序列数据中的时间序列特征，构建3层级联的LSTM网络，来学习大量历史时间序列数据的规律，预测下一时刻的异常检测结果。再将输出的预测值与实际值进行比较，计算预测误差，供基于强化学习的第二检测网络进一步进行异常分析。图3a中以3层LSTM为例进行说明，但实际应用中，第一检测网络可包含一层或至少两层LSTM，具体可根据实际需求确定，在此不做限制。
本说明书实施例提供的一种第二检测网络的示意图如图3b所示。图3b中，第二检测网络包含环境模块和智能体，而智能体又由LSTM和全连接层共同构成。
其中，环境会根据检测误差和智能体在至少一个历史时刻的报警动作生成状态序列s，状态序列s中包括m个检测误差和m个历史报警动作，并可将状态序列s输入至智能体进行处理。
智能体包含基于神经网络的异常值估计组件和报警动作生成组件，异常值估计组 件采用长短期记忆神经网络（LSTM）和全连接神经网络构成，用于估计报警动作对应的异常 值。长短期记忆神经网络（LSTM）可以被视为一个学习输入的有效表示的模型，其作用是提 取输入数据的时间序列信息，即状态s，并将时间序列信息传输至全连接神经网络。全连接 神经网络将LSTM的输出作为输入，计算Q1和Q2，Q1即“报警”这一报警动作对应的异常值，Q2 即“不报警”这一报警动作对应的异常值，即
Figure 52475DEST_PATH_IMAGE027
和
Figure 688992DEST_PATH_IMAGE028
， 然后可选择这两个值中较大值所对应的报警动作，并将其作为待检测设备在目标时刻的第 二异常检测结果。
或者，根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果，包括：
获取第一指示信息及第二指示信息，其中，所述第一指示信息用于指示第一异常值的选择概率，第二指示信息用于指示第二异常值的选择概率；
根据所述第一指示信息、所述第二指示信息、所述第一异常值及所述第二异常值，确定目标异常值，其中，所述目标异常值为所述第一异常值或所述第二异常值之一；
将所述目标异常值对应的报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
具体的，在计算获得报警和不报警这两个报警动作分别对应的异常值
Figure 904073DEST_PATH_IMAGE029
和
Figure 757366DEST_PATH_IMAGE030
，选择这两个值中较大值所对应的报警动作，并 将其作为待检测设备在目标时刻的第二异常检测结果之外，还可引入随机策略，即基于随 机策略在两个值中随机选择一个值，并将被选中的值所对应的报警动作作为待检测设备在 目标时刻的第二异常检测结果。
实际应用中，可预先设置两个值分别对应的选择概率，例如，先将两个值中较大值的选择概率设为ε，另有1-ε的概率选择两个值中的任意一个，这种情况下，两个值中较大值对应的选择概率即为ε+（1-ε）/2，另一个值对应的选择概率即为（1-ε）/2。
然后即可根据两个异常值分别对应的选择概率，随机在两个异常值中选择其中一个异常值作为目标异常值，并将该目标异常值对应的报警动作确定为待检测设备在目标时刻的第二异常检测结果。
实际应用中，在模型的训练初期，由于智能体缺乏对环境的探索，可将ε设为较小的值，到模型训练的后期，ε会逐增大到较大的值，具体可根据实际需求确定，在此不做限制。
另外，确定所述第一异常检测结果对应的检测误差，包括：
确定所述待检测设备在所述第一历史时刻对应的历史异常检测结果；
确定所述第一异常检测结果与所述历史异常检测结果间的误差；
相应地，确定所述第一异常检测结果与所述历史异常检测结果间的误差之后，还包括：
根据所述误差对所述第一检测网络的网络参数进行调整。
具体的，第一历史时刻对应的历史异常检测结果，即第一历史时刻对应的真实值，或是根据专家经验生成的该第一历史时刻对应的标签值。
第一检测网络在输出t+E时刻对应的第一异常检测结果
Figure 411201DEST_PATH_IMAGE031
后，可将该
Figure 964543DEST_PATH_IMAGE032
与该历史时刻所对应的历史异常检测结果
Figure 881683DEST_PATH_IMAGE033
比较，并计算检测误差
Figure 287519DEST_PATH_IMAGE034
，该检测误差除可输入至基于强化学习的第二检测网络进行异常 检测外，还可用于调整第一检测网络的网络参数，以提高第一检测网络的输出结果的准确 性。
步骤206，根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息。
具体的，第二检测网络中的智能体输出待检测设备在目标时刻的第二异常检测结果后，可将该第二异常检测结果返回至环境模块，由环境模块根据第二检测结果以及待检测设备在目标时刻的目标异常检测结果（标签值），确定第二检测网络的奖励信息，该奖励信息可用于对第二检测网络中智能体的网络参数进行调整。
具体实施时，根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，包括：
根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二异常检测结果对应的异常检测类型；
根据所述异常检测类型确定所述第二检测网络的奖励信息。
进一步的，根据所述异常检测类型确定所述第二检测网络的奖励信息，包括：
在确定所述异常检测类型属于第一类型的情况下，确定所述第一类型对应的预设奖励值，并将所述预设奖励值确定为所述第二检测网络的奖励信息；
在确定所述异常检测类型属于第二类型的情况下，通过奖励值计算函数对所述至少一个历史报警信息进行处理，生成对应的函数值，并将所述函数值确定为所述第二检测网络的奖励信息。
具体的，第一类型包括：正确的报警、漏报、正确的不报警，第二类型包括误报。
本说明书实施例中，环境模块可预先为不同的异常检测类型设置不同的奖励计算机制，然后根据第二异常检测结果及待检测设备在目标时刻的目标异常检测结果，确定第二异常检测结果对应的异常检测类型（正确的报警、漏报、正确的不报警、误报），并根据该奖励计算机制，确定该异常检测类型对应的奖励信息，并将该奖励信息确定为第二检测网络的奖励信息。
其中，奖励计算机制如下所示：
Figure 745045DEST_PATH_IMAGE035
可将，在确定异常检测类型为“正确的报警”的情况下，该第一类型对应的预设奖励值即为5，并可将该预设奖励值确定为第二检测网络的奖励信息；在确定异常检测类型为“漏报”的情况下，该第一类型对应的预设奖励值即为-5，并可将该预设奖励值确定为第二检测网络的奖励信息；在确定异常检测类型为“正确的不报警”的情况下，该第一类型对应的预设奖励值即为1，并可将该预设奖励值确定为第二检测网络的奖励信息。
而对于“误报”这一异常检测类型，其对应的预设奖励值同样可设为常数，但在云 网络设备的异常检测场景中，为了避免发生大量报警导致运维人员无法及时处理所有警报 的情况，本说明书实施例可通过调节奖励函数以减少智能体的误报，具体即可将“误报”这 一异常检测类型对应的奖励值计算函数设为：
Figure 90576DEST_PATH_IMAGE036
在确定异常检测类型为“误报”的情况下，即可统计智能体在时间窗口m内的累计报警动作，并对“误报”进行对数级别的惩罚，即先对时间窗口m内的m个报警动作对应的值（0或1）进行求和，再通过ln( )这一对数函数确定求和结果的对数值，并将对数值与1求和获得的结果的负数确定为“误报”这一类型对应的预设奖励值。
另外，本说明书仅以常数或奖励值计算函数为例进行说明，具体可根据实际需求进行设置。例如，某些应用对于误报较为敏感，则可以对FP设置较高的负奖励，在此不做限定。
本说明书实施例通过改进强化学习网络的奖励计算函数和报警策略，对误报进行惩罚，有利于构建了一种低误报率、鲁棒性强的目标异常检测模型。
步骤208，基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
具体的，第二检测网络的环境模块生成奖励信息之后，即可利用该奖励信息对智能体的网络参数进行调整，从而基于调整后的智能体、环境模块以及第一检测网络共同构成目标异常检测模型。
具体实施时，基于所述奖励信息对所述智能体的网络参数进行调整，包括：
根据所述第二异常检测结果对所述异常值计算函数的函数参数进行调整，生成目标函数参数；
根据所述函数参数、所述目标函数参数及所述奖励信息，计算所述智能体对应的误差信息；
根据所述误差信息对所述智能体的网络参数进行调整。
具体的，异常值计算函数即
Figure 913038DEST_PATH_IMAGE037
，异常值计算函数的函数参数即
Figure 242388DEST_PATH_IMAGE038
，根据第二异常检测结果对异常值计算函数的函数参数进行调整，生成的目 标函数参数即
Figure 465123DEST_PATH_IMAGE039
，而根据函数参数、目标函数参数及奖励信息，计算智能体对应 的误差信息，具体即将函数参数、目标函数参数及奖励信息代入
Figure 993056DEST_PATH_IMAGE040
，以计算智能体对应的误差，其中，r即为奖励信 息，γ为折扣率，
Figure 720841DEST_PATH_IMAGE041
，然后根据该误 差对智能体的网络参数进行调整即可。
本说明书实施例提供的一种异常检测模型训练过程的示意图如图3c所示。图3c中，首先构造训练数据集，训练数据集中包含了若干个时间序列。然后通过随机采样模块对训练数据集进行随机采样，即随机抽取一条时间序列输入至预测器（该预测器即由至少一层LSTM构成），预测器输出预测结果后，将基于该预测结果与真实结果计算预测误差，并将由预测误差构成的误差序列输入至智能体Target网络，同时，训练数据集中保存着智能体的历史动作序列，同样由随机采样模块将该历史动作序列输入至智能体Target网络，然后智能体Target网络可基于接收的时间序列和历史动作序列计算各报警动作对应的异常值Q(s,a)。
为了使训练过程中的强化学习过程更加稳定，本说明书实施例可采用一个与智能体Target网络相同的智能体Eval网络，智能体Eval网络可以使用智能体Target网络计算的异常值发出报警动作。此报警动作会传递至训练数据集中，并且智能体Eval网络会根据环境给出的奖励不断地进行参数更新。每隔一定数量的epoch，将智能体Eval网络的参数复制到智能体Target网络中，随后智能体Target网络的参数保持不变，通过这种方式可以让训练过程更加鲁棒。
具体的异常检测模型的训练过程如下：
将环境、状态序列S、经验池D、智能体Eval网络和智能体Target网络作为输入，经验池D为一片初始为空的内存空间。在训练过程中，先初始化智能体Eval网络和智能体Target网络的网络参数，并初始化经验池D，然后从环境的状态序列中随机抽取一个状态序列S，输入给智能体Target网络计算Q函数值，并根据随机策略选择报警动作a，环境可以根据智能体的报警动作a计算奖励r，并根据奖励r对智能体Eval网络的网络参数进行更新。为方便后续的参数更新，经验即{S,a,r,S′}四元组被储存到经验池当中，其中S′是下一个时刻的状态。后续可循环对智能体Eval网络的网络参数进行更新，其中循环轮数为epoch，在每一轮中，智能体Eval网络对经验池进行采样，计算误差并进行梯度下降用于自身网络参数的更新，同时每隔L轮，智能体Eval网络会将参数赋值到智能体Target网络当中。当循环结束时，输出训练完毕的智能体Target网络。
为了验证训练获得的目标异常检测模型的有效性，本说明书实施例可采用精确率Precision、召回率Recall和F1-score来评估模型的性能，具体的评估方式如下所示：
Figure 6328DEST_PATH_IMAGE042
另外，训练获得目标异常检测模型后，还可将与待检测设备相关的时间序列数据，输入所述第一检测网络进行处理，生成所述待检测设备在目标历史时刻对应的第三异常检测结果；
确定所述第三异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述智能体进行处理，生成所述待检测设备的第四异常检测结果；
在基于所述第四异常检测结果确定满足报警条件的情况下，对所述待检测设备进行报警处理，并基于所述第四异常检测结果对所述智能体的网络参数进行调整。
具体的，在对目标异常检测模型进行测试或应用时，第一检测网络可以流式地直接分析与待检测设备相关的时间序列数据，并计算出检测误差后，将该检测误差传递至第二检测网络的智能体。智能体则根据检测误差和历史报警动作计算异常值，进而输出报警动作，达到异常检测目的。其中，本说明书实施例在测试或应用阶段生成的第三异常检测结果，其生成方式与训练阶段的第一异常检测结果类似，测试或应用阶段生成的第四异常检测结果，其生成方式与训练阶段的第二异常检测结果类似，具体可参见前述实施例的相关描述内容，在此不再赘述。
另外，在基于第四异常检测结果确定满足报警条件的情况下，除对待检测设备进行报警处理外，还可利用该第四异常检测结果对智能体的网络参数进行调整，以实现对目标异常检测模型的模型参数进行优化。
本说明书实施例提供的一种模型测试过程的示意图如图3d所示，模型测试过程具体可通过以下方式实现：
智能体训练完毕后，可以进入实际的测试阶段，即使用训练完毕的目标异常检测 模型进行异常检测，首先输入一段长度为N的时间序列数据，生成状态序列S，在每个时刻t， 智能体Target网络按顺序读取状态序列S，并将其输入到智能体Target网络中。智能体 Target网络按照贪婪策略（随机策略）选择报警动作a，并将其加入到报警动作序列A当中， 其中动作a有两种取值，即报警或不报警。每当动作a为报警时，便会输出一个报警日志，发 送给运维人员。当循环结束，算法会输出一组报警动作序列
Figure 867974DEST_PATH_IMAGE043
，即每个时 刻的报警动作。报警动作序列A可以被后续用于评估此智能体的异常检测精度。
本说明书实施例提供的一种异常检测系统的架构图如图3e所示，图3e中，数据库用于保存待检测设备所产生的时间序列数据，而服务端可通过网络在数据库中读取这部分时间序列数据，并使用前述实施例训练获得的目标异常检测模型对时间序列数据进行处理，得到对应的异常检测结果，在根据异常检测结果确定满足报警条件的情况下，可向用户发送报警信息，由用户根据报警信息对待检测设备进行异常修复。
本说明书一个实施例通过将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
本说明书实施例中的第一检测网络用于预测待检测设备在至少一个历史时刻对应的第一异常检测结果，因此，可将第一检测网络看作预测网络，而第二检测网络可看作强化学习网络，本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率；另外，本说明书实施例通过结合奖励信息，对强化学习网络的网络参数进行调整，有利于提高所生成的目标异常检测模型的鲁棒性，并且利用生成的目标异常检测模型对待检测设备进行异常检测，有利于降低待检测设备的误报率。
下述结合附图4，以本说明书提供的基于强化学习的云网络异常检测模型训练方法在设备异常检测场景的应用为例，对所述基于强化学习的云网络异常检测模型训练方法进行进一步说明。其中，图4示出了本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练方法的处理过程流程图，具体包括以下步骤。
步骤402，获取与云网络设备相关的历史网络流量数据，并通过预设长度的滑动窗口对历史网络流量数据进行划分，生成至少两个数据集合。
步骤404，将每个数据集合中的历史网络流量数据输入异常检测模型的预测网络进行处理，生成云网络设备在第一历史时刻对应的第一异常检测结果。
步骤406，确定云网络设备在第一历史时刻对应的历史异常检测结果，并确定第一异常检测结果与历史异常检测结果间的误差。
步骤408，将误差以及云网络设备的至少一个历史报警信息，输入异常检测模型中强化学习网络的智能体。
步骤410，通过智能体将误差以及至少一个历史报警信息，输入异常值计算函数进行处理，生成第一报警动作对应的第一异常值以及第二报警动作对应的第二异常值。
具体的，第一报警动作表征报警，第二报警动作表征不报警。
步骤412，在第一异常值大于第二异常值的情况下，将第一报警动作确定为云网络设备在目标时刻的第二异常检测结果，在第二异常值大于第一异常值的情况下，将第二报警动作确定为云网络设备在目标时刻的第二异常检测结果。
步骤414，根据第二异常检测结果及云网络设备在目标时刻的目标异常检测结果，确定第二异常检测结果对应的异常检测类型。
步骤416，在异常检测类型属于第一类型的情况下，确述第一类型对应的预设奖励值，并将预设奖励值确定为强化学习网络的奖励信息，在确定异常检测类型属于第二类型的情况下，通过奖励值计算函数对至少一个历史报警信息进行处理，生成对应的函数值，并将函数值确定为强化学习网络的奖励信息。
其中，第一类型包括：正确的报警、漏报、正确的不报警，第二类型包括误报。
步骤418，根据所述第二异常检测结果对异常值计算函数的函数参数进行调整，生成目标函数参数。
步骤420，根据函数参数、目标函数参数及奖励信息，计算智能体对应的误差信息。
步骤422，根据误差信息对智能体的网络参数进行调整，生成目标异常检测模型。
本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率；另外，本说明书实施例通过结合奖励信息，对强化学习网络的网络参数进行调整，有利于提高所生成的目标异常检测模型的鲁棒性，并且利用生成的目标异常检测模型对云网络设备进行异常检测，有利于降低云网络设备的误报率。
与上述方法实施例相对应，本说明书还提供了基于强化学习的云网络异常检测模型训练装置实施例，图5示出了本说明书一个实施例提供的一种基于强化学习的云网络异常检测模型训练装置的结构示意图。如图5所示，该装置包括：
生成模块502，被配置为将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果；
输入模块504，被配置为确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果；
确定模块506，被配置为根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息；
调整模块508，被配置为基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
可选地，所述确定模块506，进一步被配置为：
根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二异常检测结果对应的异常检测类型；
根据所述异常检测类型确定所述第二检测网络的奖励信息。
可选地，所述确定模块506，进一步被配置为：
在确定所述异常检测类型属于第一类型的情况下，确定所述第一类型对应的预设奖励值，并将所述预设奖励值确定为所述第二检测网络的奖励信息；
在确定所述异常检测类型属于第二类型的情况下，通过奖励值计算函数对所述至少一个历史报警信息进行处理，生成对应的函数值，并将所述函数值确定为所述第二检测网络的奖励信息。
可选地，所述输入模块504，进一步被配置为：
将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体；
通过所述智能体将所述检测误差以及所述至少一个历史报警信息，输入异常值计算函数进行处理，生成第一报警动作对应的第一异常值以及第二报警动作对应的第二异常值；
根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果。
可选地，所述输入模块504，进一步被配置为：
将所述第一异常值与所述第二异常值进行比对；
在根据比对结果确定所述第一异常值大于所述第二异常值的情况下，将所述第一报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果；
在根据比对结果确定所述第二异常值大于所述第一异常值的情况下，将所述第二报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
可选地，所述输入模块504，进一步被配置为：
获取第一指示信息及第二指示信息，其中，所述第一指示信息用于指示第一异常值的选择概率，第二指示信息用于指示第二异常值的选择概率；
根据所述第一指示信息、所述第二指示信息、所述第一异常值及所述第二异常值，确定目标异常值，其中，所述目标异常值为所述第一异常值或所述第二异常值之一；
将所述目标异常值对应的报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
可选地，所述调整模块508，进一步被配置为：
根据所述第二异常检测结果对所述异常值计算函数的函数参数进行调整，生成目标函数参数；
根据所述函数参数、所述目标函数参数及所述奖励信息，计算所述智能体对应的误差信息；
根据所述误差信息对所述智能体的网络参数进行调整。
可选地，所述生成模块502，进一步被配置为：
获取与待检测设备相关的历史时间序列数据，并通过预设长度的滑动窗口对所述历史时间序列数据进行划分，生成至少两个数据集合；
将目标数据集合中的历史时间序列数据输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在第一历史时刻对应的第一异常检测结果，其中，所述目标数据集合为所述至少两个数据集合中的任意一个。
可选地，所述输入模块504，进一步被配置为：
确定所述待检测设备在所述第一历史时刻对应的历史异常检测结果；
确定所述第一异常检测结果与所述历史异常检测结果间的误差；
相应地，所述方法还包括：
根据所述误差对所述第一检测网络的网络参数进行调整。
可选地，所述基于强化学习的云网络异常检测模型训练装置，还包括处理模块，被配置为：
将与待检测设备相关的时间序列数据，输入所述第一检测网络进行处理，生成所述待检测设备在目标历史时刻对应的第三异常检测结果；
确定所述第三异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述智能体进行处理，生成所述待检测设备的第四异常检测结果；
在基于所述第四异常检测结果确定满足报警条件的情况下，对所述待检测设备进行报警处理，并基于所述第四异常检测结果对所述智能体的网络参数进行调整。
本说明书一个实施例通过生成模块将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，通过输入模块确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，通过确定模块根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，通过调整模块基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
本说明书实施例中的第一检测网络用于预测待检测设备在至少一个历史时刻对应的第一异常检测结果，因此，可将第一检测网络看作预测网络，而第二检测网络可看作强化学习网络，本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率；另外，本说明书实施例通过结合奖励信息，对强化学习网络的网络参数进行调整，有利于提高所生成的目标异常检测模型的鲁棒性，并且利用生成的目标异常检测模型对待检测设备进行异常检测，有利于降低待检测设备的误报率。
上述为本实施例的一种基于强化学习的云网络异常检测模型训练装置的示意性方案。需要说明的是，该基于强化学习的云网络异常检测模型训练装置的技术方案与上述的基于强化学习的云网络异常检测模型训练方法的技术方案属于同一构思，异常检测模型训练装置的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测模型训练方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种基于强化学习的云网络异常检测方法的流程图，具体包括以下步骤。
步骤602，将与云网络设备相关的时间序列数据，输入目标异常检测模型的第一检测网络进行处理，生成所述云网络设备在目标历史时刻对应的第一异常检测结果。
步骤604，确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述云网络设备的至少一个历史报警信息，输入所述目标异常检测模型中第二检测网络的智能体进行处理，生成所述云网络设备的第二异常检测结果。
步骤606，在基于所述第二异常检测结果确定满足报警条件的情况下，对所述云网络设备进行报警处理。
其中，目标异常检测模型通过前述实施例所述的基于强化学习的云网络异常检测模型训练方法训练获得。
具体的，在需对云网络设备进行异常检测的情况下，可将与云网络设备相关的时间序列数据输入通过前述实施例训练获得的目标异常检测模型，由目标异常检测模型的第一检测网络对时间序列数据进行处理，生成云网络设备在目标历史时刻的第一异常检测结果，并确定第一异常检测结果与该目标历史时刻对应的真实异常结果间的误差，将误差输入异常检测模型中强化学习网络的环境模块，由环境模块将误差及云网络设备的至少一个历史报警信息，输入智能体，智能体通过误差以及至少一个历史报警信息，进行报警动作价值估计，并在根据估计结果确定满足报警条件的情况下，对云网络设备进行报警处理。
本说明书实施例将预测网络与强化学习网络级联，使得强化学习网络在生成目标异常检测结果时，可使用至少一个第一异常检测结果和至少一个历史报警信息，即能够感知上下文信息，因此，可有效地提高异常检测结果准确率。
上述为本实施例的一种基于强化学习的云网络异常检测方法的示意性方案。需要说明的是，该基于强化学习的云网络异常检测方法的技术方案与上述的基于强化学习的云网络异常检测模型训练方法的技术方案属于同一构思，基于强化学习的云网络异常检测方法的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测模型训练方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了异常检测装置实施例，图7示出了本说明书一个实施例提供的一种异常检测装置的结构示意图。如图7所示，该装置包括：
生成模块702，被配置为将与云网络设备相关的时间序列数据，输入目标异常检测模型的第一检测网络进行处理，生成所述云网络设备在目标历史时刻对应的第一异常检测结果；
输入模块704，被配置为确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述云网络设备的至少一个历史报警信息，输入所述目标异常检测模型中第二检测网络的智能体进行处理，生成所述云网络设备的第二异常检测结果；
处理模块706，被配置为在基于所述第二异常检测结果确定满足报警条件的情况下，对所述云网络设备进行报警处理。
其中，所述目标异常检测模型通过前述实施例所述的基于强化学习的云网络异常检测模型训练方法训练获得。
上述为本实施例的一种基于强化学习的云网络异常检测装置的示意性方案。需要说明的是，该基于强化学习的云网络异常检测装置的技术方案与上述的基于强化学习的云网络异常检测方法的技术方案属于同一构思，基于强化学习的云网络异常检测装置的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测方法的技术方案的描述。
图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。
计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本说明书的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中，处理器820用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述的基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述基于强化学习的云网络异常检测模型训练方法或基于强化学习的云网络异常检测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种基于强化学习的云网络异常检测模型训练方法，包括：
将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果；
确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果；
根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息；
基于所述奖励信息对所述智能体的网络参数进行调整，生成目标异常检测模型。
2.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法，所述根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二检测网络的奖励信息，包括：
根据所述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果，确定所述第二异常检测结果对应的异常检测类型；
根据所述异常检测类型确定所述第二检测网络的奖励信息。
3.根据权利要求2所述的基于强化学习的云网络异常检测模型训练方法，所述根据所述异常检测类型确定所述第二检测网络的奖励信息，包括：
在确定所述异常检测类型属于第一类型的情况下，确定所述第一类型对应的预设奖励值，并将所述预设奖励值确定为所述第二检测网络的奖励信息；
在确定所述异常检测类型属于第二类型的情况下，通过奖励值计算函数对所述至少一个历史报警信息进行处理，生成对应的函数值，并将所述函数值确定为所述第二检测网络的奖励信息。
4.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法，所述将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体进行处理，生成所述待检测设备在目标时刻的第二异常检测结果，包括：
将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述异常检测模型中第二检测网络的智能体；
通过所述智能体将所述检测误差以及所述至少一个历史报警信息，输入异常值计算函数进行处理，生成第一报警动作对应的第一异常值以及第二报警动作对应的第二异常值；
根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果。
5.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法，所述根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果，包括：
将所述第一异常值与所述第二异常值进行比对；
在根据比对结果确定所述第一异常值大于所述第二异常值的情况下，将所述第一报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果；
在根据比对结果确定所述第二异常值大于所述第一异常值的情况下，将所述第二报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
6.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法，所述根据所述第一异常值及所述第二异常值，确定所述待检测设备在目标时刻的第二异常检测结果，包括：
获取第一指示信息及第二指示信息，其中，所述第一指示信息用于指示第一异常值的选择概率，第二指示信息用于指示第二异常值的选择概率；
根据所述第一指示信息、所述第二指示信息、所述第一异常值及所述第二异常值，确定目标异常值，其中，所述目标异常值为所述第一异常值或所述第二异常值之一；
将所述目标异常值对应的报警动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。
7.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法，所述基于所述奖励信息对所述智能体的网络参数进行调整，包括：
根据所述第二异常检测结果对所述异常值计算函数的函数参数进行调整，生成目标函数参数；
根据所述函数参数、所述目标函数参数及所述奖励信息，计算所述智能体对应的误差信息；
根据所述误差信息对所述智能体的网络参数进行调整。
8.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法，所述将与待检测设备相关的历史时间序列数据，输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果，包括：
获取与待检测设备相关的历史时间序列数据，并通过预设长度的滑动窗口对所述历史时间序列数据进行划分，生成至少两个数据集合；
将目标数据集合中的历史时间序列数据输入异常检测模型的第一检测网络进行处理，生成所述待检测设备在第一历史时刻对应的第一异常检测结果，其中，所述目标数据集合为所述至少两个数据集合中的任意一个。
9.根据权利要求8所述的基于强化学习的云网络异常检测模型训练方法，所述确定所述第一异常检测结果对应的检测误差，包括：
确定所述待检测设备在所述第一历史时刻对应的历史异常检测结果；
确定所述第一异常检测结果与所述历史异常检测结果间的误差；
相应地，所述方法还包括：
根据所述误差对所述第一检测网络的网络参数进行调整。
10.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法，还包括：
将与待检测设备相关的时间序列数据，输入所述第一检测网络进行处理，生成所述待检测设备在目标历史时刻对应的第三异常检测结果；
确定所述第三异常检测结果对应的检测误差，并将所述检测误差以及所述待检测设备的至少一个历史报警信息，输入所述智能体进行处理，生成所述待检测设备的第四异常检测结果；
在基于所述第四异常检测结果确定满足报警条件的情况下，对所述待检测设备进行报警处理，并基于所述第四异常检测结果对所述智能体的网络参数进行调整。
11.一种基于强化学习的云网络异常检测方法，包括：
将与云网络设备相关的时间序列数据，输入目标异常检测模型的第一检测网络进行处理，生成所述云网络设备在目标历史时刻对应的第一异常检测结果；
确定所述第一异常检测结果对应的检测误差，并将所述检测误差以及所述云网络设备的至少一个历史报警信息，输入所述目标异常检测模型中第二检测网络的智能体进行处理，生成所述云网络设备的第二异常检测结果；
在基于所述第二异常检测结果确定满足报警条件的情况下，对所述云网络设备进行报警处理，其中，所述目标异常检测模型通过权利要求1至10任意一项所述的基于强化学习的云网络异常检测模型训练方法训练获得。
12.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至10任意一项所述基于强化学习的云网络异常检测模型训练方法或权利要求11所述基于强化学习的云网络异常检测方法的步骤。
13.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至10任意一项所述异常检测模型训练方法或权利要求11所述基于强化学习的云网络异常检测方法的步骤。
CN202211427195.9A 2022-11-15 2022-11-15 基于强化学习的云网络异常检测模型训练方法及存储介质 Active CN115514614B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211427195.9A CN115514614B (zh) 2022-11-15 2022-11-15 基于强化学习的云网络异常检测模型训练方法及存储介质
PCT/CN2023/131887 WO2024104401A1 (zh) 2022-11-15 2023-11-15 基于强化学习的云网络异常检测模型训练方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211427195.9A CN115514614B (zh) 2022-11-15 2022-11-15 基于强化学习的云网络异常检测模型训练方法及存储介质

Publications (2)

Publication Number Publication Date
CN115514614A true CN115514614A (zh) 2022-12-23
CN115514614B CN115514614B (zh) 2023-02-24

Family

ID=84514151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211427195.9A Active CN115514614B (zh) 2022-11-15 2022-11-15 基于强化学习的云网络异常检测模型训练方法及存储介质

Country Status (2)

Country Link
CN (1) CN115514614B (zh)
WO (1) WO2024104401A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662828A (zh) * 2023-06-14 2023-08-29 浙江大学 云网络多阶段异常检测方法及系统
WO2024104401A1 (zh) * 2022-11-15 2024-05-23 杭州阿里云飞天信息技术有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100023307A1 (en) * 2008-07-24 2010-01-28 University Of Cincinnati Methods for prognosing mechanical systems
US20100030544A1 (en) * 2008-07-31 2010-02-04 Mazu Networks, Inc. Detecting Outliers in Network Traffic Time Series
CN110766955A (zh) * 2019-09-18 2020-02-07 平安科技（深圳）有限公司 基于动作预测模型的信号调节方法、装置和计算机设备
CN111800414A (zh) * 2020-07-03 2020-10-20 西北工业大学 一种基于卷积神经网络的流量异常检测方法及系统
US20200371892A1 (en) * 2017-10-13 2020-11-26 Huawei Technologies Co., Ltd. System and method for cloud-device collaborative real-time user experience and performance abnormality detection
US20210120031A1 (en) * 2019-10-16 2021-04-22 General Electric Company Dynamic, resilient sensing system for automatic cyber-attack neutralization
US20210126931A1 (en) * 2019-10-25 2021-04-29 Cognizant Technology Solutions India Pvt. Ltd System and a method for detecting anomalous patterns in a network
CN112987675A (zh) * 2021-05-06 2021-06-18 北京瑞莱智慧科技有限公司 一种异常检测的方法、装置、计算机设备和介质
CN113191192A (zh) * 2021-03-25 2021-07-30 云南电网有限责任公司玉溪供电局 基于小波分析与模糊神经网络算法的断路器故障检测方法
CN113365312A (zh) * 2021-06-22 2021-09-07 东南大学 强化学习和监督学习相结合的移动负载均衡方法
CN113780432A (zh) * 2021-09-15 2021-12-10 中国人民解放军国防大学联合作战学院 基于增强学习的网络信息系统运维异常智能检测方法
US11295131B1 (en) * 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN114374541A (zh) * 2021-12-16 2022-04-19 四川大学 一种基于强化学习的异常网络流量检测器生成方法
CN114520743A (zh) * 2022-02-24 2022-05-20 周口师范学院 一种网络异常流量检测方法、系统及可存储介质
CN114528972A (zh) * 2021-12-29 2022-05-24 阿里云计算有限公司 移动边缘计算中深度学习模型训练方法及相应系统
CN114866338A (zh) * 2022-06-10 2022-08-05 阿里云计算有限公司 网络安全检测方法、装置及电子设备
CN115081585A (zh) * 2022-05-18 2022-09-20 北京航空航天大学 一种强化异构图神经网络的人机物协同异常状态检测方法
CN115130656A (zh) * 2022-05-23 2022-09-30 腾讯科技（深圳）有限公司 异常检测模型的训练方法、装置、设备及存储介质
CN115277464A (zh) * 2022-05-13 2022-11-01 清华大学 基于多维时间序列分析的云网络变更流量异常检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378079B2 (en) * 2014-09-02 2016-06-28 Microsoft Technology Licensing, Llc Detection of anomalies in error signals of cloud based service
JP7204626B2 (ja) * 2019-10-01 2023-01-16 株式会社東芝 異常検知装置、異常検知方法および異常検知プログラム
CN113111996A (zh) * 2020-01-10 2021-07-13 北京百度网讯科技有限公司 模型生成方法和装置
US20210256392A1 (en) * 2020-02-10 2021-08-19 Nec Laboratories America, Inc. Automating the design of neural networks for anomaly detection
US11513878B2 (en) * 2020-06-26 2022-11-29 Acronis International Gmbh Systems and methods for detecting behavioral anomalies in applications
CN113743607B (zh) * 2021-09-15 2023-12-05 京东科技信息技术有限公司 异常检测模型的训练方法、异常检测方法及装置
CN115514614B (zh) * 2022-11-15 2023-02-24 阿里云计算有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100023307A1 (en) * 2008-07-24 2010-01-28 University Of Cincinnati Methods for prognosing mechanical systems
US20100030544A1 (en) * 2008-07-31 2010-02-04 Mazu Networks, Inc. Detecting Outliers in Network Traffic Time Series
US20200371892A1 (en) * 2017-10-13 2020-11-26 Huawei Technologies Co., Ltd. System and method for cloud-device collaborative real-time user experience and performance abnormality detection
CN110766955A (zh) * 2019-09-18 2020-02-07 平安科技（深圳）有限公司 基于动作预测模型的信号调节方法、装置和计算机设备
WO2021051930A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 基于动作预测模型的信号调节方法、装置和计算机设备
US20210120031A1 (en) * 2019-10-16 2021-04-22 General Electric Company Dynamic, resilient sensing system for automatic cyber-attack neutralization
US20210126931A1 (en) * 2019-10-25 2021-04-29 Cognizant Technology Solutions India Pvt. Ltd System and a method for detecting anomalous patterns in a network
CN111800414A (zh) * 2020-07-03 2020-10-20 西北工业大学 一种基于卷积神经网络的流量异常检测方法及系统
CN113191192A (zh) * 2021-03-25 2021-07-30 云南电网有限责任公司玉溪供电局 基于小波分析与模糊神经网络算法的断路器故障检测方法
CN112987675A (zh) * 2021-05-06 2021-06-18 北京瑞莱智慧科技有限公司 一种异常检测的方法、装置、计算机设备和介质
US11295131B1 (en) * 2021-06-15 2022-04-05 Knoetik Solutions, Inc. Smoke and fire recognition, fire forecasting, and monitoring
CN113365312A (zh) * 2021-06-22 2021-09-07 东南大学 强化学习和监督学习相结合的移动负载均衡方法
CN113780432A (zh) * 2021-09-15 2021-12-10 中国人民解放军国防大学联合作战学院 基于增强学习的网络信息系统运维异常智能检测方法
CN114374541A (zh) * 2021-12-16 2022-04-19 四川大学 一种基于强化学习的异常网络流量检测器生成方法
CN114528972A (zh) * 2021-12-29 2022-05-24 阿里云计算有限公司 移动边缘计算中深度学习模型训练方法及相应系统
CN114520743A (zh) * 2022-02-24 2022-05-20 周口师范学院 一种网络异常流量检测方法、系统及可存储介质
CN115277464A (zh) * 2022-05-13 2022-11-01 清华大学 基于多维时间序列分析的云网络变更流量异常检测方法
CN115081585A (zh) * 2022-05-18 2022-09-20 北京航空航天大学 一种强化异构图神经网络的人机物协同异常状态检测方法
CN115130656A (zh) * 2022-05-23 2022-09-30 腾讯科技（深圳）有限公司 异常检测模型的训练方法、装置、设备及存储介质
CN114866338A (zh) * 2022-06-10 2022-08-05 阿里云计算有限公司 网络安全检测方法、装置及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
吕孟伟.: "基于强化学习的无线传感器网络节点状态检测方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
无.: "P1073.1.1.1/D8 - Unapproved IEEE Draft Standard for Health Informatics Point-Of-Care Medical Device", 《 01.040.35 35.240.80 - INFORMATION TECHNOLOGY. OFFICE MACHINES (VOCABULARIES) IT APPLICATIONS IN HEALTH CARE TECHNOLOGY》 *
朱应武，杨家海，等.: "基于流量信息结构的异常检测", 《软件学报》 *
李自若等.: "基于深度强化学习的智慧变电站网络异常检测方法", 《南方电网技术》 *
董慧.: "基于强化学习的网络数据流异常检测数学建模", 《电子设计工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024104401A1 (zh) * 2022-11-15 2024-05-23 杭州阿里云飞天信息技术有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质
CN116662828A (zh) * 2023-06-14 2023-08-29 浙江大学 云网络多阶段异常检测方法及系统
CN116662828B (zh) * 2023-06-14 2023-12-29 浙江大学 云网络多阶段异常检测方法及系统

Also Published As

Publication number Publication date
WO2024104401A1 (zh) 2024-05-23
CN115514614B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
US11921566B2 (en) Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
CN115514614B (zh) 基于强化学习的云网络异常检测模型训练方法及存储介质
JP6609050B2 (ja) 時間的因果グラフにおける異常フュージョン
CN111314121A (zh) 链路异常检测方法以及装置
Nguyen et al. Probabilistic deep learning methodology for uncertainty quantification of remaining useful lifetime of multi-component systems
CN111639798A (zh) 智能的预测模型选择方法及装置
CN115063588A (zh) 一种数据处理方法、装置、设备及存储介质
Qin et al. Remaining useful life prediction for rotating machinery based on optimal degradation indicator
CN115983087A (zh) 一种注意力机制与lstm结合检测时序数据异常方法及终端机
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN117156442A (zh) 基于5g网络的云数据安全保护方法及系统
CN113158448A (zh) 一种船舶系统设备阈值的自适应计算方法
CN117149249A (zh) 模型更新方法、系统、设备和存储介质
Haldimann et al. A scalable algorithm for identifying multiple-sensor faults using disentangled RNNs
Absar et al. Neural Time-Invariant Causal Discovery from Time Series Data
KR20190109194A (ko) 불확정성을 모델링할 수 있는 뉴럴네트워크 학습 장치 및 방법
Lijun et al. An intuitionistic calculus to complex abnormal event recognition on data streams
CN115329146A (zh) 时序网络中的链路预测方法、电子设备及存储介质
Jonscher et al. Heteroscedastic Gaussian processes for data normalisation in probabilistic novelty detection of a wind turbine
CN112686330B (zh) Kpi异常数据检测方法及装置、存储介质及电子设备
CN117891566A (zh) 智能软件的可靠性评估方法、装置、设备、介质和产品
CN116910507A (zh) 一种异常检测方法及装置
CN117707899A (zh) 一种微服务异常检测方法、装置、设备及存储介质
Zhebka et al. Methods for Predicting Failures in a Smart Home.
Gupta Development of User Friendly Based Home Health Monitoring System for The Prediction of Hypertension Using Machine Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant