CN116804964A - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents

数据处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116804964A
CN116804964A CN202210273236.7A CN202210273236A CN116804964A CN 116804964 A CN116804964 A CN 116804964A CN 202210273236 A CN202210273236 A CN 202210273236A CN 116804964 A CN116804964 A CN 116804964A
Authority
CN
China
Prior art keywords
value
sequence
observation
current
evaluation index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210273236.7A
Other languages
English (en)
Inventor
黄涛
李瑞鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210273236.7A priority Critical patent/CN116804964A/zh
Publication of CN116804964A publication Critical patent/CN116804964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，涉及大数据、人工智能及云技术领域。该方法包括：获取目标设备的各个设备评估指标各自对应的观测数据，观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，将历史观测序列和周期观测序列分别作为窗口数据，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，偏离特征值表征了当前观测值相对于窗口数据的偏离程度；基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常。基于该方法，能够有效提高设备异常检测的准确性，且该方法能够很好的适用于各种不同的应用场景中。

Description

数据处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及计算机技术领域，具体可以涉及人工智能、游戏以及云技术领域，具体而言，本申请涉及一种数据处理方法、装置、电子设备及可读存储介质。
背景技术
随着科学技术的飞速发展以及人们生活水平的提高，如何为用户提供更加高性能、高可靠的服务是服务提供商一直关注的重点问题。为了确保服务(尤其是在线服务)的高可用，对提供服务的设备节点的异常检测是必不可少的，以准确及时地发现节点异常。
目前，相关技术中已经存在多种多样的异常检测技术，但是将这些技术直接应用于生产环境中依然存在挑战，很多相关技术的扩展性受限，很难在工业场景中广泛推广，因此，现有的异常检测技术仍需改进。
发明内容
本申请的目的旨在提供一种能够更好的满足实际应用需求的数据处理方法、装置、电子设备及可读存储介质。为了实现该目的，本申请实施例提供的技术方案如下：
一方面，本申请实施例提供了一种数据处理方法，该方法包括：
获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，其中，历史观测序列是当前周期内在当前观测值之前获取到的第一观测值序列，周期观测序列包括当前周期内在当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中当前观测值对应的历史同期观测值序列；
将历史观测序列和周期观测序列分别作为一个窗口数据，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，偏离特征值表征了当前观测值相对于窗口数据的偏离程度；
基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常。
另一方面，本申请实施例提供了一种数据处理装置，该装置包括：
观测数据获取模块，用于获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，其中，历史观测序列是当前周期内在当前观测值之前获取到的第一观测值序列，周期观测序列包括当前周期内在当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中当前观测值对应的历史同期观测值序列；
特征提取模块，用于将历史观测序列和周期观测序列分别作为一个窗口数据，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，偏离特征值表征了当前观测值相对于窗口数据的偏离程度；
异常判断模块，用于基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常。
可选的，对于每个设备评估指标，特征提取模块在分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值时，可以通用于：
对于每个窗口数据，将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定原始时间序列对应的变换时间序列，变换时间序列包括变化特征序列或差值序列中的至少一项，变化特征序列中各数值为原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在原始时间序列中的异常程度，差值序列中的各数值为原始时间序列中各观测值与当前观测值的差值；
对于每个窗口数据的每个变换时间序列，将该窗口数据对应的变换时间序列中当前观测值对应的数值作为新的当前观测值，将该变换时间序列中该窗口数据中的各观测值对应的各数值作为新的窗口数据，确定新的当前观测值对应于新的窗口数据的偏离特征值；
一个设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，包括该设备评估指标对应的新的当前观测值相对于该设备评估指标对应的新的窗口数据的偏离特征值。
可选的，上述时间变换序列包括变化特征序列，对于每个窗口数据，特征提取模块在确定原始时间序列对应的变化特征序列时，可以用于执行以下至少一项：
对该设备评估指标对应于该窗口数据的原始时间序列进行显著性检测变换，得到对应的显著性数据，将显著性数据作为变化特征序列；
基于该设备评估指标对应于该窗口数据的原始时间序列进行时序预测，得到原始时间序列对应的预测时间序列，确定原始时间序列和预测时间序列之间的预测误差序列，将预测误差序列作为变化特征序列。
可选的，对于每个设备评估指标，特征提取模块在分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值时，可以用于执行以下至少一项：
对于每个窗口数据，基于该设备评估指标对应的该窗口数据，拟合得到该设备评估指标对应的观测值的第一概率密度分布，确定该设备评估指标的当前观测值对应于第一概率密度分布的第一累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第一累计概率；
对于每个窗口数据，确定该设备评估指标对应的该窗口数据中的极值；基于该窗口数据中的极值，拟合得到该设备评估指标对应的极值的第二概率密度分布；确定该设备评估指标的当前观测值对应于第二概率密度分布的第二累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第二累计概率。
可选的，特征值提取模块还用于：将每个偏离特征值进行特征值转换，得到每个偏离特征值对应的异常特征值；其中，每个偏离特征值对应的异常特征值属于取值范围为非负数的预设取值区间；
相应的，异常判断模块可以用于：基于各设备评估指标对应于各窗口数据的偏离特征值对应的异常特征值，确定目标设备是否存在异常。
可选的，特征值提取模块可以通过执行以下操作得到每个偏离特征值对应的异常特征值：
对于小于或等于设定阈值的每个偏离特征值，将第一值确定为该偏离特征值对应的异常特征值，第一值为取值范围上述预设取值区间的最大值；
对于大于设定阈值的每个偏离特征值，根据该偏离特征值和显著性水平的预设取值，确定该偏离特征值对应的异常特征值，其中，每个偏离特征值对应的异常特征值属于上述预设取值区间，且小于上述预设取值的偏离特征值对应的异常特征值属于第一取值区间，大于或等于上述预设取值的偏离特征值对应的异常特征值属于第二取值区间，第一取值区间和第二取值区间的并集为上述预设取值区间，第一取值区间和第二取值区间的交集为空集。
可选的，第一取值区间的取值范围的大小和第二取值区间的取值范围的大小之间的差异小于设定大小。
可选的，特征值提取模块可以通过以下表达式确定每个偏离特征值对应的异常特征值：
其中，表示第i个偏离特征值，T1表示设定阈值，a表示显著性水平的预设取值，表示对应的异常特征值。该可选方案中，第一值为1。
可选的，对于一个历史周期，上述历史同期观测值序列包括当前观测值在该历史周期中的同期观测值、以及该历史周期中同期观测值的前置观测值序列和后置观测值序列。
可选的，异常判断模块在基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常时，可以用于：
基于各窗口数据的偏离特征值，通过调用训练好的异常检测模型预测目标设备是否存在异常；
其中，训练好的异常检测模型是基于训练数据集对神经网络模型进行迭代训练得到的，训练数据集中的每个训练样本包括一个样本设备对应于各设备评估指标的偏离特征值和设备状态标签，其中，设备状态标签表征了样本设备存在异常或者不存在异常，一个样本设备对应于各设备评估指标的偏离特征值，是基于该样本设备对应于各设备评估指标的观测数据确定出的。
可选的，异常判断模块在基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常时，可以用于：
将各设备评估指标对应于各窗口数据的偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到目标设备的异常值；
基于历史异常特征提取观测数据对应的当前异常特征；将当前异常特征和历史异常特征融合，基于融合后的特征预测目标设备的异常值；
根据上述异常值，确定目标设备是否存在异常。
可选的，将当前异常特征和历史异常特征融合，包括将当前异常特征和历史异常特征拼接，得到融合后的特征。
另一方面，本申请实施例还提供了一种数据处理方法，该方法包括：
获取目标设备的至少一个设备评估指标中每个指标的观测数据，所述观测数据包括当前观测值和历史观测序列，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列；
对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，所述第一偏离特征值表征了所述当前观测值相对于所述历史观测序列的偏离程度；
将各所述设备评估指标对应的第一偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到所述目标设备的异常值，根据所述异常值，确定所述目标设备是否存在异常：
基于历史异常特征提取所述观测数据对应的当前异常特征；将所述当前异常特征和所述历史异常特征融合，基于融合后的特征预测所述目标设备的异常值。
另一方面，本申请实施例还提供一种数据处理装置，该装置包括：
观测数据获取模块，用于获取目标设备的至少一个设备评估指标中每个指标的观测数据，所述观测数据包括当前观测值和历史观测序列，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列；
特征提取模块，用于对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，所述第一偏离特征值表征了所述当前观测值相对于所述历史观测序列的偏离程度；
异常判断模块，用于将各所述设备评估指标对应的第一偏离特征值作为历史异常特征，通过调用训练好的异常检测模块执行以下操作，得到所述目标设备的异常值，根据所述异常值，确定所述目标设备是否存在异常：
基于所述历史异常特征提取所述观测数据对应的当前异常特征；将所述当前异常特征和所述历史异常特征融合，基于融合后的特征预测所述目标设备的异常值。
可选的，异常判断模块还通过异常检测模型执行以下操作：
基于所述融合后的特征，确定所述观测数据对应的不确定性，所述不确定性表征了所述目标设备是否存在异常的检测结果的不确定性；
该数据处理装置还包括优化样本选择模块，该模块用于：在上述不确定性大于设定阈值，将目标设备对应的观测数据作为训练样本数据，用于上述训练好的异常检测模型的优化训练。
可选的，异常判断模块在根据异常值确定目标设备是否存在异常时，可以用于：若所述异常值大于或等于异常阈值，确定所述目标设备存在异常；
其中，上述异常阈值是通过以下方式确定的：
获取验证数据集，所述验证数据集中包括多个验证样本，每个所述验证样本包括一个第一设备对应于各所述设备评估指标的观测数据；基于各所述验证样本包括的观测数据，确定各所述验证样本对应的历史异常特征，并通过所述训练好的异常检测模型得到各所述验证样本对应的异常值；基于各所述验证样本对应的异常值，确定所述异常阈值。
可选的，上述观测数据还包括周期观测序列，所述周期观测序列包括当前周期内在所述当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中所述当前观测值对应的历史同期观测值序列；特征提取模块还用于：
对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的周期观测序列的第二偏离特征值；
其中，上述历史异常特征包括各设备评估指标对应的第一偏离特征值和第二偏离特征值。
可选的，对于每个设备评估指标，特征提取模块在确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值时，可以用于：
将该设备评估指标对应的历史观测序列和当前观测值作为原始时间序列，确定所述原始时间序列对应的变换时间序列；其中，所述变换时间序列包括变化特征序列或差值序列中的至少一项，所述变化特征序列中的各数值为所述原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在所述原始时间序列中的异常程度，所述差值序列中的各数值为所述原始时间序列中各观测值与所述当前观测值的差值；
对于每个所述变换时间序列，确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，其中，所述当前值是该变换时间序列中所述当前观测值对应的数值，所述第一序列为该变换时间序列中除所述当前值之外的各数值构成的时间序列；
其中，该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，包括对应于该设备评估指标的各个变换时间序列的第三偏离特征值。
可选的，对于每个所述变换时间序列，特征提取模块可以通过执行以下至少一项确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值：
通过对所述第一序列进行拟合，得到所述第一序列对应的第三概率密度分布；确定该变换时间序列中的当前值对应于所述第三概率密度分布的第三累计概率，所述第三偏离特征值包括第三累计概率；
确定所述第一序列中的极值，得到极值序列；通过对所述极值序列进行拟合，得到所述极值序列对应的第四概率密度分布；确定该变换时间序列中所述当前值对应于所述第四概率密度分布的第四累计概率，所述第三偏离特征值包括所述第四累计概率。
另一方面，本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本申请任一可选实施例中提供的方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。
另一方面，本申请实施例还提供了一种计算机程序产品，该计算机产品包括计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。
本申请实施例提供的技术方案带来的有益效果如下：
本申请实施例提供的数据处理方法，在基于目标设备的各设备评估指标的观测数据来判别目标设备是否存在异常时，从异常的本质出发，将各设备评估指标的观测数据转化为最新的观测值(即当前观测值)相对于观测数据的偏离特征值，并采用各设备评估指标对应的偏离特征值作为评估设备是否异常的输入数据，采用该处理方法，可以将各设备评估指标的观测数据转化为同一个维度的特征数据，可有效避免由于不同设备评估指标的观测数据的分布不同造成的检测结果不准确的问题，有效提高检测的准确性。进一步的，由于所获取到的特征值是从异常定义的思想出发基于观测数据得到的最新的观测值相对于观测数据的偏离程度，转换后的数据具有很好的通用性，因此，本申请实施例提供的方法，在不同的实体设备之间是共通的，能够很好的跨实体使用，可以应用于到任意的电子设备上用于设备是否异常的检测，可以在工业场景中广泛推广使用，更好的满足了实际应用需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种数据处理方法的流程示意图；
图2为本申请实施例提供的一种历史观测序列的示意图；
图3为本申请实施例提供的一种周期观测序列的示意图；
图4为本申请实施例提供的一种数据处理方法的流程示意图；
图5为本申请实施例提供的一种数据处理系统的原理示意图；
图6为本申请实施例提供的一种数据处理方法的流程示意图；
图7为本申请提供的方法的部署实施流程示意图；
图8为本申请实施例提供的一种异常特征提取的流程示意图；
图9为本申请实施例提供的一种数据处理装置的结构示意图；
图10为本申请实施例所适用的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”或者“至少一项”指示该术语所限定的项目中的至少一个，例如“A和/或B”、“A或B中的至少一项”或者“A和B中的至少一项”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。在描述多个(两个或两个以上)项目时，如果没有明确限定多个项目之间的关系，这多个项目之间可以是指多个项目中的一个、多个或者全部，例如，对于“参数A包括A1、A2、A3”的描述，可以实现为参数A包括A1或A2或A3，还可以实现为参数A包括参数A1、A2、A3这三项中的至少两项。
本申请实施例提供的方案，是针对现有设备异常检测技术中存在的检测准确性不理想、技术可扩展性弱，不能够满足实际工业场景应用需求的问题，提出的一种数据处理方法，本申请实施例提供的该方法具有很好的可扩展性，可适用于任意电子设备的异常检测，且经实验证明，本申请实施例提供的该方法，能够有效提高异常检测的准确性。
可选的，本申请实施例提供的数据处理方法，可以基于人工智能(ArtificialIntelligence，AI)技术实现。比如，在基于目标设备的设备评估指标对应的偏离特征值确定目标是被是否存在异常时，可以是通过训练好的神经网络模型实现。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。随着人工智能技术研究和进步，人工智能技术已经在多个领域广泛展开研究和应用，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
可选的，本申请实施例中所涉及的数据处理可以基于云技术(Cloud technology)实现，比如，基于窗口数据确定偏离特征值的步骤中所涉及的计算可以采用云计算实现。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算则是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本申请实施例提供的数据处理方法可以由任意的电子设备执行，如可以由设备终端或服务器执行。其中，服务器包括但不限于物理服务器或云服务器，还可以是服务器集群等。上述终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、可穿戴电子设备、AR/VR设备等。
下面对本申请提供的多种可选实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1示出了本申请实施例提供的一种数据处理方法的流程示意图，该方法可以由用户终端或服务器执行，如图1中所示，本申请实施例提供的该方法可以包括以下步骤S110至步骤S130。
步骤S110：获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列。
其中，目标设备可以是任意的实体粒度的电子设备，可以是任意的终端设备或服务器，目标设备可以是物理设备，也可以是虚拟机设备，比如，目标设备可以是云服务业务场景下的云服务器、容器等物理实体，也可以是为微服务结构中的逻辑实体。本申请实施例提供的方法的执行主体可以是由目标设备执行，也可以是其他设备执行，执行主体可以基于目标设备的至少一个设备评估指标的观测数据，通过执行本申请实施例提供的方法，来判断目标设备是否存在异常。
设备评估指标是指可以用于评估设备运行状态的参数，也就是能够用于评估设备是否存在异常的评估参数。上述至少一个设备评估指标具体是哪些评估指标本申请实施例不做限定，可以根据实际应用需求和应用场景配置。可选的，上述至少一个设备评估指标可以包括CPU(central processing unit，中央处理器)利用率、负载、物理内存使用率、IO(Input/Output，输入/输出)使用率等多个指标中的至少一个。其中，在实际应用中，上述所列举的各项设备评估指标中的每个指标还可以进一步划分，比如，CPU利用率可以包括CPU最大利用率或CPU平均利用率中的至少一项，IO利用率可以包括IO最大利用率或IO平均利用率中的至少一项。
对应每个设备评估指标，可以按照设定周期对该设备指标的指标值进行获取，获取到的指标值即为上述观测值，比如，可以按照预设的采集频率对每个周期内该设备评估指标的指标值进行采集。上述当前观测值是指获取到的当前周期内的各个指标值中最新的指标值，也就是最新获取到的指标值。在实际应用中，可以按照预配置的异常检测策略对目标设备是否出现异常进行检测，比如，按照一定的时间间隔进行一次异常检测，此时，上述当前观测值可以是进行一次异常检测时，此时采集到的当前周期内的最新指标值。
本申请实施例中，用于评估目标设备是否存在异常的每个设备评估指标的观测数据，除了包括该设备评估指标对应的当前周期的当前观测值，还包括该设备评估指标对应的历史观测序列和周期观测序列。对于一个设备评估指标，历史观测序列是当前周期内在当前观测值之前获取到的第一观测值序列，周期观测序列包括当前周期内在当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中当前观测值对应的历史同期观测值序列。
其中，对于上述第一观测值序列、第二观测值序列和历史同期观测值序列中所包括的观测值的数量是至少一个，各序列中包含的观测值的数量可以相同，也可以不，具体数量本申请实施例不做限定，可以是根据实验值或经验值预先配置的。
本申请实施例中，对于一个设备评估指标而言，一个历史周期中当前观测值对应的历史同期观测值序列，包括该历史周期获取到的该设备评估指标各个观测值中当前观测值的同期观测值以及该同期观测值的至少一个相邻观测值。比如，当前观测值是当前周期内获取到的第15个观测值，一个历史周期内该当前观测值的同期观测值则是该历史周期内获取到的第15个观测值，历史同期观测值序列则包括该历史周期内获取到的第15个观测值以及这个观测值的至少一个相邻的观测值。
其中，历史周期可以是一个，也可以是多个，在历史周期是多个时，可以将每个历史周期对应的历史同期观测值序列分别作为一个序列，也可以是将多个历史周期对应历史同期观测值序列作为一个序列。例如，一个周期是一天，当前周期是第T天，历史周期采用2个历史周期，则历史同期观测值序列包括第T-1天对应的观测值序列和第T-2天对应的历史同期观测值序列，可以将两个序列分别作为当前观测值对应的历史同期观测值序列(也就是分布作为步骤S120中的一个窗口数据)，也可以是将这两个历史同期观测值序列组合作为当前观测值对应的历史同期观测值序列。
作为一可选方案，对于一个历史周期，上述历史同期观测值序列可以包括当前观测值在该历史周期中的同期观测值、以及该历史周期中所该同期观测值的前置观测值序列和后置观测值序列。
其中，前置观测值序列包括该历史周期中获取时间在同期观测值之前的至少一个观测值，后置观测值序列包括该历史周期中获取时间在同期观测值之后的至少一个观测值，前置观测值序列和后置观测值序列所包括的观测值的数量可以相同，也可以不同，本申请实施例不做限定。
可选的，在实施应用，对于上述任一序列(第一观测值序列、第二观测值序列、前置观测值序列或后置观测值序列)，该序列中可以多个(至少两个)观测值，可选的，多个观测值可以是连续采集得到的，即序列中的观测值都是连续的观测值，第一观测值序列和第二观测值序列包括与当前观测值连续的多个观测值，前置观测值序列和后置观测值序列包括与上述同期观测值连续的多个观测值。
作为一个示例，对于一个设备评估指标，假设该指标的当前观测值为当前周期内“t”时刻(相对时间)获取到的第t个观测值，表示为xt，历史观测序列(即第一观测值序列)包括wh个观测值，第二观测值序列和前置观测值序列都包括wpre个观测值，后置观测值序列包括wpost个观测值，一个周期内所采集到的观测值的数量为p个，图2中示出了该设备评估指标的历史观测序列的示意图，图2中示出了该设备评估指标的周期观测序列的示意图。其中，图2中的时间序列窗口和图3中的当前窗口都是对应于当前周期，历史同期窗口对应于历史周期，每个小方格表示对应周期内的一个观测值。
图2中的历史依赖窗口大小就是历史观测序列中观测值的数量，该序列包括当前周期内位于当前观测值之前的与当前观测值连续的wh个观测值。图3中所示的历史周期是当前周期的上一个周期，前置窗口大小为前置观测值序列，后置窗口大小为后置观测值窗口大小，当前周期内当前观测值之前的wpre个观测值为第二观测值序列。
从图2和图3可以看出，该示例中，对于“t”时刻的当前观测值，该观测值对应的历史窗口(历史观测序列)可以使用[t-wh-1,t-1]时间窗口内的观测值，周期窗口(周期观测序列)使用[t-wpre-1,t-1]∪[t-p-wpre-1,t-p-1+wpost]时间窗口内的观测值，[t-wpre-1,t-1]对应上述第二观测值序列的时间窗口，[t-p-wpre-1,t-p-1+wpost]对应历史同期观测值序列的时间窗口。
由于目标设备的各设备评估指标的观测数据是该设备的各个设备评估指标的真实指标值，且历史观测序列可以反映当前周期内当前观测值对于其前序观测值的关联性，即当前周期内观测值的分布特征，周期观测序列则可以反映多个周期(当前周期和至少一个历史周期)中当前观测值所对应的观测值序列的分布特征，因此，可以将这些观测数据作为原始数据用于评估设备是否存在异常的基础数据。其中，上述各个序列的长度(即包括的观测值的数量)可以根据实际应用需求和应用场景进行适配和调整。不同设备评估指标对应的序列的长度可以相同，也可以不同，比如，可以根据应用场景的特点和评估指标的指标值的时序特点进行调整和优化，例如，CPU利用率对应的历史观测序列的长度和IO使用率对应的历史观测序列的长度可以不同。
步骤S120：将历史观测序列和周期观测序列分别作为一个窗口数据，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值。
步骤S130：基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常。
其中，一个设备评估指标对应于一个窗口数据的偏离特征值表征了该设备评估指标的当前观测值相对于该窗口数据的偏离程度。
在目前的相关技术中，对于异常的检测，通过都是直接采用原始观测数据作为输入，然而，在实际应用中，来自不同实体(即设备)的观测数据所遵循的分布通常是不同的，适用于一个实体的异常检测方式通常很难与其他实体共享，现有异常检测方式难以跨实体应用，因此很难在工业场景中广泛推广，不能够满足实际应用需求。尤其是在基于微服务架构的应用场景，由于微服务架构的复杂性，目前传统的运维手段越来越难以发现和定位系统故障。面临复杂的业务场景和海量的观测数据，从观测数据中提取用于判断设备是否异常的时序特征有着更好的要求，但目前相关技术中所采用的特征，多是描述序列表象的特征，并不能很好的对异常进行表征，因此，如何获取对多样化的时间序列都通用且具备可解释性的特征，也是设备异常判断时中需要改进的重要问题之一。
针对目前相关技术中存在的上述问题，本申请实施例提供的方法，在基于目标设备的各设备评估指标的观测数据对目标设备进行异常检测时，通过对目标设备对应的观测数据进行转化处理，以找到不同实体之间的共同性，具体的，将观测数据转化为了可以在各不同实体之间通用的数据特征(即偏离特征值)，从而使得无论目标设备是哪个设备，都可以基于该目标设备对应的转化处理后的数据特征，实现对设备是否异常的准确判断。
具体的，本申请实施例提供的方法，借用异常定义的思想，虽然不同实体的观测数据服从不同的数据分布，但是同一实体在一定的时间窗口内观测数据是服从相同的数据分布的，因此，新的观测值(当前观测值)相对于与该观测值关联的观测值序列(历史观测序列和周期观测序列)的偏离程度在各实体间是共通的。基于此，本申请提供的数据处理方法，对于每个设备评估指标，通过计算目标设备的设备评估指标的观测数据中的当前观测值相对于其关联的观测值序列的偏离程度，并将该偏离程度用作评估目标设备是否存在异常的输入数据，实现目标设备是否存在异常的判断。
本申请实施例提供的数据处理方法，采用各设备评估指标对应的偏差程度作为评估设备是否异常的输入数据，而并非直接采用观测数据本身，可有效避免由于不同设备评估指标的观测数据的分布不同造成的检测结果不准确的问题，从而提高了检测的准确性。进一步的，由于转化后的特征数据(即偏离特征值)，是从异常定义的思想出发对原始的观测数据进行处理得到的，数据的转化处理方式具有很好的通用性，该处理方式在不同的实体设备之间是共通的，因此，本申请实施例提供的方法，能够很好的跨实体共享，可以应用于对任意的电子设备是否异常的检测，可以在工业场景中广泛推广使用，更好的满足了实际应用需求。
本申请的可选实施例中，在得到各设备评估指标对应于各窗口数据的偏离特征值之后，可以通过以下方式确定目标设备是否存在异常：
基于各窗口数据的偏离特征值，通过调用训练好的异常检测模型预测目标设备是否存在异常；
其中，训练好的异常检测模型是基于训练数据集对神经网络模型进行迭代训练得到的，该训练数据集中的每个训练样本包括一个样本设备对应于各所述设备评估指标的偏离特征值和设备状态标签，其中，设备状态标签表征了样本设备存在异常或者不存在异常，一个样本设备对应于各设备评估指标的偏离特征值，是基于该样本设备对应于各设备评估指标的观测数据确定出的。可以理解的是，样本设备对应于各设备评估指标的偏离特征值，可以采用与获取目标设备对应于各设备评估指标的各窗口数据的偏离特征值相同的方式来获取，样本设备的设备状态标签也就是样本设备的真实设备状态。可以基于大量训练样本对神经网络模型进行不断的训练，直至得到满足训练结束条件的神经网络模型，将满足条件的模型作为训练好的异常检测模型，该异常检测模型可以应用于各种场景中设备的异常检测。
本申请实施例中，对于异常检测模型的具体模型结构本申请实施例不做限定，可以根据实际需求选择和配置。比如，异常检测模型可以是分类模型，模型的输出是表征设备是否存在异常的分类结果，在对模型进行训练时，对于每个样本设备，可以将该样本设备对应于各设备评估指标的偏离特征值或者是对这些偏离特征值进行一定预处理后的特征值(如后文中的特征值转换处理，将偏离特征值转换为对应的异常特征值)作为原始特征，将原始特征输入到模型中，通过模型可以得到设备是否存在异常的预测结果，可以根据各训练样本对应的真实设备状态和预测结果之间的差异计算得到模型的训练损失，并基于训练损失对模型的模型参数进行调整，再不断重复上述训练过程，直至满足训练结束调整。
可选的，异常检测模型也可以是特征重构模型，可以将各样本设备的上述原始特征输入到该模型中，通过该模型得到该原始特征对应的重构特征，基于该重构特征，可以基于样本的原始特征和重构特征之间的差异来计算训练损失，通过不断的训练学习，可以使得特征重构模型能够基于原始特征重构出尽量与原始特征接近的重构特征。对于特征重构模型的具体模型结构本申请实施例不做限定，可以是基于现有生成网络的神经网络模型。
在得到满足训练结束条件的特征重构模型之后，对于目标设备，可以将目标设备对于各设备评估指标的偏离特征值作为原始特征，通过特征重构模型预测得到对应的重构特征，并计算目标设备对应的原始特征和重构特征之间的重构误差，将重构误差作为原始特征变异性的度量，重构误差越大表明原始特征出现异变的可能性越大，也就是说各设备评估指标的观测数据中出现异常数据的概率越大，因此，可以基于该重构误差判断出目标设备是否存在异常。
可选的，若目标设备对应的重构误差大于或等于误差阈值(即异常阈值)，确定目标设备存在异常；若目标设备对应的重构误差小于误差阈值，确定目标设备不存在异常。其中，误差阈值可以是根据实验值和/或经验值配置的。
作为另一可选方案，上述基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常，可以包括：
将各设备评估指标对应于各窗口数据的偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到目标设备的异常值；
基于历史异常特征提取观测数据对应的当前异常特征；将当前异常特征和历史异常特征融合，基于融合后的特征预测目标设备的异常值；
根据异常值，确定目标设备是否存在异常。
可选的，若异常值大于或等于异常阈值，确定目标设备存在异常，若异常值小于异常阈值，确定目标设备不存在异常。
该可选方案中，异常检测模型的输入可以包括前文中通过各种不同的方式获取的各个设备评估指标对应的偏离特征值，比如，设备评估指标共M个，基于每个设备评估指标对应的观测数据获取到的偏离特征值为N种，那么模型的输入可以是一个M*N的特征矩阵，矩阵中的元素值为偏离特征值，由于这些偏离特征值是基于当前周期内的当前观测值的前序观测值序列以及历史周期的历史同期观测值序列得到的，对于每个设备评估指标而言，这些偏离特征值中是隐含了该指标的历史观测值的信息的，因此，可将基于观测数据获取到的各偏离特征值作为历史特征(即历史异常特征)，将历史特征输入到训练好的异常检测模型中，由模型基于历史特征提取得到其中的时序信息，预测出对应的当前特征(即当前异常特征)，从而可以基于当前特征和历史特征，预测出更加准确的异常值，提高设备是否异常检测的准确性。
对于该可选方案中的异常检测模型的具体模型结构本申请也不做限定，可选的，可以采用基于循环神经网络的模型，例如，可以采用基于贝叶斯的长短期记忆网络(Bayesian LSTM，Bayesian Long Short-Term Memory)模型，该模型可以包括至少一个LSTM层和至少一个全连接(FC，Fully Connected)层，可以将历史异常特征输入到该模型中，通过至少一个LSTM层对该输入特征中各特征之间的关系进行学习，预测出当前异常特征，再通过将当前异常特征和历史异常特征进行拼接，将拼接后的特征通过FC层得到异常值。
作为一个可选方案，上述FC层可以包括3个，通过至少一个LSTM层对历史异常特征进行进一步的特征提取，将最后一个LSTM层输出的隐层特征经由第一个FC层转换得到当前异常特征，可选的，历史异常特征和当前异常特征的样式(Shape)相同，之后，将历史异常特征和当前异常特征的拼接特征分别输入到另外两个FC层中，通过其中一个FC层得到异常值，通过另一个特征值可以得到一个置信度，该置信度代表了异常值的不确定性，也可以理解为预测出的异常值的可信度或准确性，对于不确定性的解释说明将在后文中结合实施例描述，在此先不展开说明。在通过异常检测模型预测出异常值之后，则可以根据异常值和异常阈值判断出目标设备当前是否存在异常。
本申请的可选实施例中，上述基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常，可以包括：
将每个偏离特征值分别进行特征值转换，得到每个偏离特征值对应的异常特征值；其中，每个偏离特征值对应的异常特征值属于预设取值区间；
基于各设备评估指标对应于各窗口数据的偏离特征值对应的异常特征值，确定目标设备是否存在异常。
在实际应用中的，一个当前观测值相对于其对应的观测值序列(历史观测序列、周期观测序列)的数据分布发生异常的概率通常是小概率事件，在假设检验理论中，显著性水平是在进行假设检验时事先确定一个可允许的作为判断界限的小概率标准，即在一次试验中小概率事件发生的可能性大小。在本申请实施例中，在显著性水平的取值为0.001时，观测值发生的异常概率比显著性水平低时，我们认为它是异常的，那么异常概率取值在区间[0,0.001)内意味着观测值异常，取值在区间(0.001,1]内意味着观测值正常。正常和异常的数据分布是明显有偏，在采用分布有偏的数据进行异常检测时，是有可能会影响检测的准确性的，比如，在基于正常和异常的分布有偏的特征值对异常检测模型进行训练时，会影响模型收敛的速度，且可能会影响训练出的模型的性能。
为了避免上述问题，本申请的该可选实施例中，在得到各个评估指标对应的各个偏离特征值之后，需要对偏离特征值进行转换处理，具体的，将每个偏离特征值转换到取值区间为预设取值区间中的特征值，即将偏离特征值转换为符合预期的异常特征值，该特征值即最终用于评估设备是否异常的异常特征值。
需要说明的是，对于转换处理的方式并不是唯一的，可以根据实际需求和应用场景进行配置，但可以理解的是，本申请实施例提供的转换方案是为了避免数据分布有偏的问题，通过转换来避免出现数据倾斜的问题，以使得数据之间相对更加平稳，但是该转换处理是不会改变数据原始的相对关系的。通过将偏离特征值转换为异常特征值，可以使得异常取值区间和正常取值区间的区间范围大小不会偏离过多。
可选的，上述预设取值区间为取值范围为非负数的取值区间，每个偏离特征值对应的异常特征值可以通过以下方式确定：
对于小于或等于设定阈值的每个偏离特征值，将第一值确定为该偏离特征值对应的异常特征值，第一值为上述预设取值区间的最大值；
对于大于设定阈值的每个偏离特征值，根据该偏离特征值和显著性水平的预设取值，确定该偏离特征值对应的异常特征值，其中，每个偏离特征值对应的异常特征值属于上述预设取值区间，且小于上述预设取值的偏离特征值对应的异常特征值属于第一取值区间，大于或等于上述预设取值的偏离特征值对应的异常特征值属于第二取值区间，第一取值区间和第二取值区间的并集为上述预设取值区间，第一取值区间和第二取值区间的交集为空集。
可选的，第一取值区间的取值范围的大小和第二取值区间的取值范围的大小之间的差异小于设定大小。
对于上述可选方案中，第一取值区间和第二取值区间可以分别理解为异常取值区间和正常取值区间，比如，上述显著性水平的预设取值为0.001，对于大于设定阈值的偏离特征值，可以将这些特征值中小于0.001的偏离特征值转换到异常取值区间，将大于或等于0.001的偏离特征值转换到正常取值区间，由于正常取值区间和异常取值区间的取值范围都在预设取值区间中，因此，不同偏离特征值对应的异常特征值之间不会存在明显的数据倾斜问题，可以有效避免由于数据倾斜问题导致的检测结果不准确的问题。
作为一可选方案，对于每个偏离特征值，可以通过以下表达式确定该偏离特征值对应的异常特征值：
其中，表示第i个偏离特征值，T1表示设定阈值，a表示显著性水平的预设取值，表示对应的异常特征值。a可以是根据实验值或经验值预配置的，可选的，a可以为0.001，T1可以取值为10-6。该方案中，第一值为1。采用上述转换函数进行偏离特征值的转换处理之后，在显著性水平为0.001的假设条件下，正常观测值的特征取值区间即上述第二取值区间为[0,0.5)，异常观测值的特征取值区间即上述第一取值区间为(0.5,1]，且特征值越大，观测值相对越异常。
相对应的，在采用异常检测模型来判断目标设备是否存在异常时，可以将各偏离特征值对应的异常特征值作为异常特征输入到模型中，并基于模型的输出来判断设备是否存在异常。在异常检测模型的训练阶段，可以采用上述同样的方式对样本数据对应的偏离特征值进行转换，基于转换得到的异常特征值对模型进行训练，可以有效提高模型收敛的效率，且能够提高训练好的模型的性能。
本申请的可选实施例中，对于每个设备评估指标，上述分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，可以包括以下至少一项：
对于每个窗口数据，基于该设备评估指标对应的该窗口数据，拟合得到该设备评估指标对应的观测值的第一概率密度分布，确定该设备评估指标的当前观测值对应于第一概率密度分布的第一累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第一累计概率；
对于每个窗口数据，确定该设备评估指标对应的该窗口数据中的极值；基于该窗口数据中的极值，拟合得到该设备评估指标对应的极值的第二概率密度分布；确定该设备评估指标的当前观测值对应于第二概率密度分布的第二累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第二累计概率。
一个窗口数据(历史观测序列或周期观测序列)对应的概率密度分布能够反映该窗口数据中的各观测值的数据分布。通常，一定时间窗口内的数据序列通常都是符合相同的数据分布规律，基于此，本申请的该实施例中，对于每个设备评估指标，可以基于该指标的窗口数据拟合得到该窗口中的观测值对应的第一概率密度分布，由于当前观测值是该观测数据中的相对最新的观测值，因此，可以采用当前观测值相对于该第一概率密度分布的第一累计概率来衡量该观测值相对于该窗口数据的分布的偏离程度。
具体的，可以通过对历史观测序列进行数据拟合，得到历史观测序列对应的第一概率密度分布，计算当前观测值相对于该序列对应的第一概率密度分布的累计概率，得到对应于历史观测序列的偏离特征值。同样的，可以通过周期观测序列进行数据拟合，得到周期观测序列对应的第一概率密度分布，计算当前观测值相对于该序列对应的第一概率密度分布的累计概率，得到对应于周期观测序列的偏离特征值。
对于一个设备评估指标，该设备评估指标对应的第二概率密度分布是该评估指标的窗口数据中的极值数据所对应的数据分布。极值理论认为偏离正常分布的极端值(即极值)也是服务同一分布的，比如，在实际的工业环境中，由于定时调度任务的影响，设备的在线CPU利用率在任务调度时刻会存在突增，而这些突增时刻的CPU利用率也是正常观测值。基于此，本申请提供的可选方案中，还通过拟合窗口数据中的这些极端值的概率密度分布，并以此来衡量新观测值(即当前观测值)的偏离程度。
其中，上述极值可以包括上极值或下极值中的至少一项。作为一可选方案，极值可以包括上极值和下极值，相应的，上述在确定该设备评估指标的窗口数据中的极值之后；可以基于窗口数据中的上极值序列，拟合该设备评估指标对应的上极值的第二概率密度分布，可以基于窗口数据中的下极值序列，拟合该设备评估指标对应的下极值的第二概率密度分布，并可以分别计算当前观测值相对应这两个第二概率密度分布的第二累计概率，将这两个第二累计概率分布作为多给当前观测值的偏离程度的数学表征。也就是，上述第二累计概率可以包括当前观测值相对于上极值的概率密度分布的累计概率或当前观测值相对于下极值的概率密度分布的累计概率中的至少一项。
同样的，在计算上述第二累计概率时，将历史观测序列和周期观测序列分布作为一个窗口数据，需要分别对每个窗口数据中的极值数据进行拟合，得到对应于每个窗口数据的第二概率密度分布，并分别计算得到当前观测值对应于每个窗口数据的第二概率密度分布的第二累计概率。
可选的，对于第一累计概率或第二累计概率中的任一累计概率，该累计概率可以包括对应的概率密度分布中当前观测值对应的右侧的累计概率(概率密度分布中大于或等于当前观测值的取值对应的累计概率)或当前观测值对应的左侧的累计概率(概率密度分布中小于或等于当前观测值的取值对应的累计概率)中的至少一项。
作为一种实际实施方式，上述第一累计概率可以包括第一概率密度分布中当前观测值对应的右侧的累计概率和当前观测值对应的左侧的累计概率，比如可以是两侧的累计概率之和，或者可以分别包括两侧各自对应的累计概率。当前观测值相对于上极值的概率密度分布的累计概率，可以是上极值的概率密度分布中当前观测值对应的右侧的累计概率，第二观测值相对于下极值的概率密度分布的累计概率，可以是下极值的概率密度分布中当前观测值对应的左侧的累计概率。
对于概率密度分布的分布类型，以及基于窗口数据和窗口数据中的极值数据拟合得到对应的概率密度分布(即概率密度函数)的具体方式，本申请实施例不做限定，可选的，概率密度分布可以采用高斯分布，在假设一个设备评估指标对应的窗口数据是符合高斯分布的前提下，通过窗口数据中的观测值或极值数据拟合得到对应的高斯分布，可以采用现有任意的概率密度分布拟合算法实现，比如，可以采用核密度估计(Kernel DensityEstimate，KDE)方式来拟合历史观测序列或极值的概率密度分布。对于获取概率密度分布的具体过程将在后文中结合实施例再进行展开说明。
本申请的可选实施例中，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，可以包括：
对于每个窗口数据，将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定原始时间序列对应的变换时间序列，变换时间序列包括变化特征序列或差值序列中的至少一项，变化特征序列中的各数值为原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在原始时间序列中的异常程度，差值序列中的各数值为所述原始时间序列中各观测值与所述当前观测值的差值；
对于每个窗口数据对应的每个变换时间序列，将该窗口数据对应的该变换时间序列中当前观测值对应的数值作为新的当前观测值，将该变换时间序列中该窗口数据中的各观测值对应的各数值作为新的窗口数据，确定新的当前观测值对应于新的窗口数据的偏离特征值；
一个设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，包括该设备评估指标对应的新的当前观测值相对于该设备评估指标对应的新的窗口数据的偏离特征值。
本申请实施例中，变化特征序列也可以成为残差序列，残差序列是原始时间序列中的每个观测值对应的残差值，一个观测值对应的残差值可以衡量该观测值在原始时间序列的显著程度，也可以称为异常程度，可以理解为，如果将原始时间序列中所有观测值中都包含的基础数值部分去除后，每个观测值的相对异常部分就会更加显著。通过将原始时间序列转换为残差序列，基于该残差序列，可以更好的评估出当前观测值相对于原始时间序列中的窗口数据的偏离程度。对获取设备评估指标的原始时间序列对应的残差序列的具体处理方式，本申请实施例不做限定。比如，可以基于训练好的神经网络模型来实现，如将原始时间序列输入到模型中，基于模型的输出得到残差序列。
差值序列是采用统计学方式，对原始时间序列进行序列变换得到的新的时间序列，通过计算当前观测值与历史观测值(窗口数据中的各个观测值)之间的差值得到，当然，为了使当前观测值能够与差值为同一个层面上的数值，也需要计算当前观测值与其本申请的差值，也就是数值0。差值序列可以看作是将当前观测值作为一个参考观测值，可以通过计算原始时间序列中的每个观测值与该参考观测值的差值，该序列可以看出目标设备的当前指标值相对于历史指标值的变化程度，因此，可以基于该差值序列来评估当前观测值相对于窗口数据的偏离程度。在得到各个转换时间序列，可以通过该序列中的新的当前观测值相对应该序列中除该新的当前观测值之外的各数值构成的时间序列(即转换时间序列中的新的窗口数据)的偏离特征值，可选的，确定新的当前观测值相对于新的窗口数据的方式，可以采用与前文中确定观测数据中的当前观测值相对于窗口数据的偏离特征值相同的方式，例如，对于差值序列，可以通过拟合该序列中最后一个数值(当前观测值对应的数值)之外的各数值，得到概率密度分布，通过计算最后一个数值相对于该概率密度分布的累计概率，得到偏离特征值。
可选的，上述变换时间序列包括变化特征序列，对于每个窗口数据，上述将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定原始时间序列中观测值对应的变化特征序列，包括以下至少一项：
对该设备评估指标对应于该窗口数据的原始时间序列进行显著性检测变换，得到对应的显著性数据，将显著性数据作为变化特征序列；
基于该设备评估指标对应于该窗口数据的原始时间序列进行时序预测，得到原始时间序列对应的预测时间序列，确定原始时间序列和预测时间序列之间的预测误差序列，将预测误差序列作为变化特征序列。
本申请提供的该可选方案中，可以从谱域和时域两个方面分别获取对应的变化特征序列，对于谱域对应的显著性数据以及时域对应的预测时间序列的具体获取方式本申请实施例不做限定，比如，可以通过谱残差算法获取原始时间序列对应的显著图，该显著图即为显著数据，可以通过时序预测算法预测得到预测时间序列，时间预测算法可以根据应用需求配置，如可以包括但不限于霍尔特-温特(Holt-Winters)算法。
对于观测数据中的每个窗口数据对应的原始时间序列(也就是窗口数据和当前观测值组成的时间序列)，通过对该原始时间序列进行显著性检测变换，可以使得该原始时间序列中的突出部分变得更加显著，也就是说，原始时间序列对应的显著性数据可以更好的突显出窗口数据中的可能异常的数据，使得原始时间序列中的潜在异常的观测值的特征变得更加明显。因此，可以通过对设备评估指标的原始时间序列进行显著性检测变换，基于原始时间序列对应的显著性数据来确定当前观测值相对于该原始时间序列对应的该窗口数据的偏离程度。
对于每个设备评估指标，该指标对应于每个窗口数据的变化特征序列(也可以成为残差序列)包括该序列对应的原始时间序列中每个观测值对应的残差值即上述变化特征值，在得到每个窗口数据对应的残差序列之后，对于每个残差序列，可以将该残差序列中当前观测值对应的残差值作为新的当前观测值，将该残差序列中窗口数据中的各个观测值对应的残差值(也就是除当前观测值对应的残差值之外的各残差值)所组成的时间序列作为新的窗口数据，采用前文中提供的可选方案，确定新的观测值相对于新的窗口数据的偏离特征值。
可选的，可以通过拟合新的窗口数据对应的概率密度分布，得到新的当前观测值对应于该概率密度分布的累计概率，通过拟合新的窗口数据中的极值对应的概率密度分布，得到新的当前观测值对应于该概率密度分布的累计概率，将新的当前观测值对应于新的窗口数据的概率密度分布的累计概率或新的当前观测值相对于新的窗口数据的极值序列的概率密度分布的累计概率中的至少一项也作为用于确定的目标设备是否存在异常的偏离特征值。
其中的，对于新的当前观测值对应于新的窗口数据的概率密度分布的累计概率的实现方式，可以参考前文中对于第一累计概率的描述，对于新的当前观测值相对于新的窗口数据的极值序列的概率密度分布的累计概率的实现方式，可以参考前文中对于第二累计概率的描述，原理是相同的，只是对应于新的窗口数据的累计概率是基于残差序列得到的，第一累计概率和第二累计概率是基于窗口数据(原始的序列)得到的。
作为实际实施中的一种可选方案，每个设备评估指标对应于各窗口数据的偏离特征值，可以包括该指标对应于历史观测序列的第一累计概率、对应于历史观测序列的第二累计概率、对应于历史观测序列对应的变换时间序列的累计概率、对应于历史观测序列对应的变换时间序列中的极值序列的累计概率、对应于周期观测序列的第一累计概率、对应于周期观测序列的第二累计概率、对应于周期观测序列对应的变换时间序列的累计概率或对应于周期观测序列对应的变换时间序列中极值序列的累计概率中的至少一项。其中，变换时间序列可以差值序列、显著性数据(谱域的残差序列)或预测误差序列(时域的残差序列)中的至少一项。
可选的，在得到目标设备对应于每个设备评估指标对应于各窗口数据的偏离特征值，可以将各个偏离特征值分别转换为对应的异常特征值，将各个设备评估指标对应的各个异常特征值作为异常特征，将该异常特征作为训练好的异常检测模型的输入数据，基于异常检测模型的输出判断目标设备是否正常。相对应的，在模型的训练阶段，模型的输入数据是样本设备对应于各个设备评估指标的异常特征值。对模型进行训练时，由于是基于不同实体之间都共通的数据特征(异常特征)对模型进行的训练，因此，训练好的异常检测模型可以具有很好可以跨实体共享，且该方法能够实时高效地提取数据特征，且获取到的数据特征是适用于大多数异常检测模型中的，且能够有效降低异常检测模型的样本量的依赖，并提升异常检测模型的扩展性，能够满足各种不同应用场景下的应用需求。
图4示出了本申请实施例提供的另一种数据处理方法的流程示意图，如图4中所示，该方法可以包括步骤S210至步骤S240。
步骤S210：获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前观测值和当前观测值的历史观测序列；
其中，历史观测序列即为前文实施例中的第一观测值序列，也就是在当前观测值之前已经获取到的多个观测值。
步骤S220：对于每个设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值；
其中，第一偏离特征值表征了当前观测值相对于历史观测序列的偏离程度；
步骤S230：将各设备评估指标对应的第一偏离特征值作为历史异常特征，基于历史异常特征，通过调用训练好的异常检测模型得到目标设备的异常值；
步骤S240：根据异常值确定目标设备是否存在异常。
其中，异常检测模型可以通过执行以下操作得到目标设备的异常值：
基于历史异常特征提取观测数据对应的当前异常特征；将当前异常特征和历史异常特征融合(例如拼接)，基于融合后的特征预测得到目标设备的异常值。
本申请的该实施例，提供一种基于偏离特征值确定目标设备是否存在异常的具体实施方案。其中，对于每个设备评估指标，根据该设备评估指标的观测数据，获取该观测数据中当前观测值相对于该观测数据中的历史观测序列的偏离特征值的方式，可以包括但不限于本申请前文实施例中提供的多种获取偏离特征值的方式中的一种或多种。
可选的，每个设备评估指标的观测数据还可以包括该指标的周期观测序列，周期观测序列可以包括当前周期内在当前观测值之前获取到的第二观测值序列以及至少一个历史周期中当前观测值对应的历史同期观测值序列；此时，该方法还可以包括：
对于每个设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的周期观测序列的第二偏离特征值；
相应的，将各设备评估指标对应的第一偏离特征值作为当前异常特征，包括：
将各设备评估指标对应的第一偏离特征值和第二偏离特征值作为历史异常特征。
对于该可选方案，可以基于历史观测序列和历史同期观测序列实现对目标设备异常的判断。同样的，在该方案中，可以将历史观测序列和历史同期观测序列分别作为一个窗口数据，对于每个设备评估指标，可以分别确定该指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，将得到的各设备评估指标相对于各个窗口数据的偏离特征值作为历史异常特征，用于目标设备是否异常的判断。同样的，对于获取每个设备评估指标对应的第二偏离特征值的方式，可以包括但不限于本申请前文实施例中提供的多种获取偏离特征值方式中的一种或多种。
可选的，对于每个设备评估指标，上述确定该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值，可以包括：
将该设备评估指标对应的历史观测序列和当前观测值作为原始时间序列，确定原始时间序列对应的变换时间序列；其中，变换时间序列包括变化特征序列或差值序列中的至少一项，变化特征序列中的各数值为原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在原始时间序列中的异常程度，差值序列中的各数值为原始时间序列中各观测值与当前观测值的差值；
对于每个变换时间序列，确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，其中，当前值是该变换时间序列中当前观测值对应的数值，第一序列为该变换时间序列中除当前值之外的各数值构成的时间序列；
其中，该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值，包括对应于该设备评估指标的各个变换时间序列的第三偏离特征值。
其中，对于获取变化特征序列的方式可以参照本申请前文实施例中提供的方案，在此不再过多重复，变化特征序列可以包括但不限于通过谱残差算法得到谱域的残差序列或通过时间预测算法获取到的时域的残差序列中的至少一项。
可选的，对于每个变换时间序列，确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，包括以下至少一项：
通过对第一序列进行拟合，得到第一序列对应的第三概率密度分布；确定该变换时间序列中的当前值对应于第三概率密度分布的第三累计概率，第三偏离特征值包括第三累计概率；
确定第一序列中的极值，得到极值序列；通过对极值序列进行拟合，得到极值序列对应的第四概率密度分布；确定该变换时间序列中当前值对应于第四概率密度分布的第四累计概率，第三偏离特征值包括第四累计概率。
对于通过对一个时间序列(或者该序列中的极值序列)进行拟合得到对应的概率密度分布，计算当前值对应于该密度分布的累计概率的具体方式，可以参照本申请前文实施例中提供的方案，在此不再过多重复，同样的，对于上述第二偏离特征值的获取，也可以是将设备评估指标对应的周期观测序序列和当前观测值作为一个原始时间序列，确定该原始时间序列对应的变换时间序列，通过拟合变换时间序列中的第一序列得到概率密度分布，再通过计算该变换时间序列中的当前值对应于该概率密度分布的累计概率，得到第二偏离特征值。
需要说明的是，本申请提供的方法在实际实施时，每个设备评估指标对应的第一偏离特征值，可以基于各个变换时间序列得到的累计概率，或基于原始时间序列得到的累计概率中的至少一项。
在得到各设备评估指标对应的偏离特征值之后，可以将这些偏离特征值作为当前异常特征，通过异常检测模型得到目标设备对应的异常值。其中，异常检测模型的输入为当前异常特征，输出包括异常值，该异常值代表了目标设备存在异常的可能性，可选的，异常值越大，目标设备存在异常的可能性越高。在异常值大于或等于异常阈值时，可以认为目标设备当前存在异常。
其中，异常阈值可以是经验值或实验值，还可以是由使用者根据实际需求自定义的阈值。本申请的该方法，在实际实施时，还可以向提供面向用户的服务，使用者可以根据需求进行异常阈值的配置，其中，配置的异常阈值越大，被检测出的存在异常的检测结果越少。
作为一可选方案，本申请还提供了一种异常阈值的自动化确定方式，该方式可以包括：
获取验证数据集，验证数据集中包括多个验证样本，每个验证样本包括一个第一设备对应于各设备评估指标的观测数据以及第一设备的真实设备状态，真实设备状态表征了第一设备存在异常或不存在异常；
基于各验证样本包括的观测数据，确定各验证样本对应的当前异常特征，并通过训练好的异常检测模型得到各验证样本对应的异常值；
基于各验证样本对应的异常值和真实设备状态，确定异常阈值。
其中，对于验证样本的来源及获取方式本申请实施例不做限定。对于每个验证样本，可以采用与获取目标设备对应的当前异常特征相同的方式，得到每个验证样本的当前异常特征，并可以通过异常检测模型预测出每个验证样本的异常值。由于已知每个验证样本对应的真实设备状态，在通过模型得到各个验证样本对应的异常值之后，则可以根据各验证样本对应的异常值和真实设备状态，确定出一个相对最有的异常阈值，该异常阈值可以使得根据各验证样本对应的异常值和该阈值确定出的各验证样本对应的设备状态和真实设备状态尽可能相同，具体的，可以预先配置一准确度评估指标，该评估指标用于评估根据模型输出的异常值对应的设备状态和真实设备状态的接近程度，可以根据基于模型输出的异常值确定的各验证样本对应的设备状态和各验证样本对应的真实设备状态，计算该评估指标的值，根据该评估指标的值确定出最优的异常阈值。可选的，准确度评估指标可以是F1-score(即F1分数)。
可选的，在根据各验证样本对应的异常值和真实设备状态确定异常阈值时，可以采用网格搜索策略确定出最优阈值。为了提高网络搜索的效率，可以先确定一初始阈值，再根据初始阈值设置网格空间，采用网格搜索策略找到具有最优阈值。具体的，可以采用运用极值理论的POT(peaks-over threshold，超越门限模型)对这些验证样本对应的异常值进行分析，自动选择出初始阈值，再基于初始阈值，通过将各验证样本对应的异常值和该初始阈值进行比较，确定各验证样本对应的设备状态，可以基于各样本对应的确定出的设备状态和真实设备状态，计算出该初始阈值对应的F1-score；之后，可选择出各验证样本对应的异常值中与该初始阈值的差值在一定范围内的异常值，再基于选择出的这些异常值采用网格搜索策略确定出新的阈值，通过上述同样的方式计算出该阈值对应的F1-score，通过不断重复上述过程，可以基于多个阈值对应的F1-score，从中选择出最优的阈值，将该阈值作为上述异常阈值。
在实际应用中，如果使用者配置了异常阈值，则在异常判断时，采用使用者配置的异常阈值，如果使用者没有设置异常阈值，可以采用基于本申请提供的上述方式确定出的异常阈值。
可以理解的是，本申请实施例中上述训练好的异常检测模型以是基于训练数据集对神经网络模型进行训练得到的，其中，训练数据集可以包括多个训练样本数据，每个样本数据包括一个样本设备的各设备评估指标中每个指标的观测数据或者历史异常特征，还包括该样本设备的标注标签，标注标签表征了该样本设备的真实状态(即存在异常或不存在异常)，对于每个样本数据，可以采用与确定目标设备对应的历史异常特征相同的方式确定样本设备对应的历史常特征，基于多个样本数据的历史异常特征和标注标签对神经网络模型不断训练，通过不断的训练，可以使得基于模型的输出确定出的样本设备的预测状态与样本设备的真实状态越来越接近，直至满足预设的训练结束条件，将满足条件的神经网络模型作为异常检测模型。
本申请的可选实施例中，还可以通过异常检测模型执行以下操作：
基于融合后的特征，确定观测数据对应的不确定性，该不确定性表征了目标设备是否存在异常的检测结果的不确定性；
该方法还可以包括：若上述不确定性大于或等于设定阈值，将目标设备的各设备评估指标的观测数据作为训练样本数据，用于训练好的异常检测模型的优化训练。
本申请的该方案，提供了一种模型优化方案。在实际的生产环境应用时，随着时间的推移和应用需求的不断更新进步，电子设备上的应用部署、所执行的任务等都有可能存在更新变化。因此，为了进一步更好的满足实际生产环境中的应用需求，需要对异常检测模型进行不断的优化，比如，可以通过重新获取新的训练数据集对模型进行重新训练，但是该训练方式虽然可以实现模型的更新，但是时间和资源消耗成本都较高。为了解决该问题，本申请实施例提供了上述优化方案，在实现对模型的优化的同时，还能够保证优化的效率。
本申请实施例提供的该优化方案引入了主动学习的模型优化方式，该方式可以基于模型来选择用于对模型进行优化训练的样本数据。具体的，异常检测模型除了可以基于融合后的特征预测异常值之外，还可以基于融合的特征预测异常值的不确定性，该不确定性代表了异常值的准确度，也就是基于该异常值确定出的目标设备的异常检测结果的准确度，不确定性越高，说明检测结果越不确定，也就是准确度越低。通过该优化方式，可以将输入到模型中的高度不确定的观测数据作为样本数据，用于模型的优化，以进一步提升模型的性能。
在实际实施该方案时，可以按照一定的周期对模型进行定期更新，采用该方案，对于每个周期，可以从需要判断是否存在异常的设备对应的观测数据中筛选出训练样本数据(可以称为不确定样本)，并可以通过获知设备对应于该观测数据的真实状态(也就是当前观测值的获取时段对应的设备状态)，从而可以基于筛选出的不确定样本(也就是样本对应的历史异常特征)以及样本对应的设备的真实状态用于模型的优化，使得优化后的模型能够更加准确的区分出高度不确定的样本数据对应的设备状态。可选的，在基于不确定样本对应的历史异常特征和真实状态对模型进行优化训练时，可以结合不确定样本和冷启动样本对模型进行优化训练。其中，冷启动样本可以包括正常样本(即对应的设备的真实状态为不存在异常的样本)和异常样本(对应的设备的真实状态为存在异常的样本)。
需要说明的是，本申请提供的数据处理方法的多种可选实施例中，在实施例之间不存在冲突的前提下是可以相互结合和参考使用的。比如，图1中所示的方法及其可选实施例，和图4中所示的方法及其可选实施例之间是可以相互结合的。比如，对于图1中所示的方法及其实施例，在确定出偏离特征值之后，可以采用图4中所示的基于偏离特征值确定目标设备是否存在异常，具体的，可以将各设备评估指标对应于各个窗口数据的异常特征值作为历史异常特征，将历史异常特征输入到异常检测模型中，得到对应的当前异常特征，将历史异常特征和当前异常特征拼接，由模型根据拼接后的特征预测出目标设备对应的异常值。同样的，图4所示方法的可选实施例中提供的确定异常阈值的方案，也是适用于图1中所示的方法的实施例中的，前文中偏离特征值转换为异常特征值的方案也适用于图4中所示的方法的可选实施例，即模型的输入数据(历史异常特征)可以是转换后的异常特征值。
本申请实施例提供的数据处理方法，可以应用于对任何实体设备的智能化检测，比如，可以对云服务业务系统进行全方位智能化地异常检测，可以对微服务架构中的各服务节点(服务节点即为目标设备)进行检测，以准确及时地识别出系统的异常，以确保在线服务质量。本申请实施例提供的该方法，可以适用于所有多元时间序列(即不同实体对应于各个设备评估指标的观测数据)，该方法从异常的本质出发，可以将各种多元的时间序列转化到相同尺度下的特征数据(即观测数据对应的偏离特征值)，进一步的，可以基于这些特征数据，通过训练好的异常检测模型进行设备异常与否的识别。
在工业场景中，本申请提供的数据处理方法能够应用到各种数据平台、检测平台、容量平台、限流平台、网络平台等诸多中台上，提供针对多元时间序列的异常检测能力，比如，可以辅助运维人员在云机房、组件、应用等跨领域跨时序的场景下进行异常判定和定位，以便及时发现诸如云服务器、微服务、容器等实体粒度的异常，以辅助用户及时发现与排查故障。可选的，该方法可应用到运维基础计算平台内所有已集成的异常检测模型中，即可以采用本申请实施例提供的方法来获取训练样本，并基于训练样本对已集成的异常检测模型进行优化训练，基于该方法的特征提取手段能够很好的从多角度表征异常，因此可以极大程度上降低了包含卷积神经网络、图神经网络和变分自编码器等深度学习模型对样本量的依赖，经测试，本申请实施例提供的方法，在单指标(一个设备评估指标)异常检测和多指标异常检测服务中，基于万量级的样本所训练出来的深度学习模型，可有效检测千万量级在线服务的异常情况。
本申请在实际的生产环境中应用时，表现出了极强的扩展能力。比如，在实际生产环境中，针对所有实体的多元时间序列，运维人员可直接在运维基础计算平台接入本申请实施例提供的同一套异常检测模型，它极大降低了模型的交付周期。例如，本申请实施例提供的方法，可以应用于所有游戏业务中，比如，可以应用于云游戏服务器的实体异常检测。本申请的该方法具备很强的迁移灵活性，在应用于相同类型(比如都是提供云游戏服务的服务器)的各实体上进行时，无需为多个实体分别训练多个模型，可以将一个训练好的异常检测模型共享给来自不同游戏业务的所有实体，满足实际业务场景不断变化的需求。
下面结合本申请提供的方法所适用的一种数据处理系统，对本申请提供的该方法的一种可选的具体实施过程进行说明。
图5示出了数据处理系统的原理示意图，如图5中所示，在生产环境中应用的系统架构可包含离线和实时两部分，在实际应用中，本申请实施例提供的异常特征获取方式可以实现为应用程序或插件等，如图4中所示的特征提取模型。其中，离线部分用于基于样本设备对应的观测数据获取训练数据集以及神经网络模型(待训练的异常检测模型)的训练，样本设备对应的异常特征(偏离特征值)的提取以及模型的训练可以由任意的电子设备执行，如可以由图5中的训练服务器10执行。实时部分(即在线部分)则是将本申请实施例提供的特征提取模块和训练好的异常检测模型部署到计算机设备上，该计算机设备可以是任意的电子设备，如该示意图中的异常检测服务器20，该服务器通过特征提取模块对采集的目标设备(可以是该计算机设备，也可以是其它设备)的观测数据进行特征提取，得到对应的异常特征，基于该异常特征通过调用异常检测模型判断目标设备的异常检测结果，即是否存在异常。
其中，异常检测模型的模型架构可以根据实际需求配置。可选的，异常检测模型可以采用Bayesian LSTM模型，图6中示出了本申请实施例中提供的一种基于Bayesian LSTM模型的异常检测方法的流程示意图，如图6所示，该模型包括LSTM层(图中所示的LSTMcell)和3个全连接层(即FC层)，其中，LSTM层采用记忆单元(memory cells)来存储和输出提取的历史特征的时序信息。LSTM层用于对输入到模型的特征(样本设备或当前设备对应的历史异常特征，图6中的ft)进行特征提取，LSTM输出的隐层状态ht-1(隐向量/隐层信息)输入到与LSTM层级联的第一个FC层得到当前异常特征h，将当前异常特征h和历史异常特征ft拼接之后分别输入至其他两个FC层中，这两个FC层中的一个用于预测异常值，一个用于预测不确定性，本申请实施例中，两个FC层的输出可以分别解释为观测数据符合的分布的均值和标准差，均值表示异常值，用于识别异常，标准差标识不确定性，用于筛选用于模型优化训练的样本即不确定样本(图7中的反馈样本)。
如图6中所示，本申请提供的方案还提供了用户自定义服务，在实际应用中，使用者可以根据自己的需求自定义相应的规则，可以将使用者自定义的规则存储到面向用户的规则库，在进行线上异常检测时，可以根据使用者提供相应的服务，比如，使用者可以根据需求自定义在线上异常检测时，如果判断出存在异常是否发出报警提示，是否需要输出检测结果的不确定性，还可以自定义异常报告的格式，如图7中的d部分所示，可以按照使用者定义的报告格式向使用者提供异常报告。
可选的，使用者还可以根据其所提供的产品的特点，使用自定义服务进行更多的个性化设置，比如，使用者的目标设备提供游戏服务的游戏服务器，为防止游戏沉迷，可以允许一些特定对象在特定的时间段内玩游戏，那么游戏服务器的一些指标在该时间段内的观测数据很可能会突然出峰值，异常检测模型基于该时间段内的观测数据很可能会将判断游戏服务器存在异常，针对于类似的情况，在实际实施时，可以通过用户自定义服务让使用者可以针对这些情况进行处理策略的配置，比如，可以为上述会出现峰值的指标涉及降噪处理策略，如可以提供多种复选框，每种选择框可以对一种情况，使用者可以根据需求选择对哪些情况下的异常报警进行过滤。
图7示出了在实际应用中，实施部署本申请实施例提供的方法的原理示意图。下面结合图6和图7对上述离线和在线部分的实施流程进行说明。可以理解的是，离线阶段的异常特征提取方式和在线阶段的特征提取方式是相同的，只是一个针对的是样本设备，一个针对的目标设备。
如图7所示，在实际部署实施时，部署流程可以分为异常检测服务发布、异常检测任务部署和一键式触发检测服务三个部分，下面从这三个部分对部署流程进行说明。
异常检测服务发布(图7的b部分)：该部分可以包括异常检测模型的研发、训练、评估和发布等几个阶段。模型的研发是由算法工程师根据应用需求构建神经网络模型(训练前的异常检测模型)，如图6中所示的Bayesian LSTM模型，之后可以由机器学习平台(即训练服务器)基于训练数据集并按照训练策略对该模型进行训练，并根据模型评估指标对训练后的模型进行性能评估，如果满足要求，则可以发布训练好的模型，即将训练好的异常检测模型部署到实际应用场景中的计算平台(即执行本申请提供的方法的计算设备)，由该平台采用该模型进行设备的异常检测。
本申请实施例还提供了模型的优化训练方案，可以按照设定周期对模型进行更新训练(定时启动对模型的训练)，此时，可以基于冷启动样本和反馈样本(筛选出的不确定样本)对模型进行更新训练，并以更新后的模型替换计算平台上之前部署的模型(自动更新服务)。
对于Bayesian LSTM模型，在训练阶段，可以根据需求配置训练策略，如可以采用端到端的训练方式，也可以采用分阶段训练方式。比如，可以采用两阶段训练方式。训练数据集可以包括多个样本，一个样本可以包括样本设备对应的观测数据(可以在训练前根据观测数据得到样本数据对应的历史异常特征)和真实设备状态，或者是包括样本设备对应的历史异常特征和真实设备状态，训练数据集可以表示为其中，N表示样本的数量，xn和yn分别表示第n个样本对应的历史异常特征和异常标签(真实设备状态)。第一个训练阶段是训练LSTM层以及与其连接的第一个FC层，训练的目的是为了使得LSTM层和第一个FC层能够正确提取出历史特征中的时序信息，能够准确的基于历史特征学习到当前异常特征，时序信息提取的越准确，异常检测的结果越准确。
可选的，样本的异常标签可以是一个异常值标签(即真值，可以是一个二值标签，例如，yn＝1表示存在异常，yn＝0表示不存在异常)，第一个训练阶段的训练损失可以通过计算第一个FC层输出的均值的真值之间的差异得到，也就是说，该阶段中损失函数的值表征的是模型预测出的均值和异常值标签之间的差异大小，该阶段的训练目的就是最小化样本对应的预测均值和真值之间的差异。对于损失函数采用哪种函数可以根据需求选择，如可以选择二值交叉熵作为损失函数。在第一个阶段的训练结果满足设定条件之后，则可以固定LSTM层和第一个FC层的网络参数，并进行第二个阶段的训练。
在第二个训练阶段，训练的目的是在拼接向量(即当前异常特征和历史异常特征的拼接特征)的基础上进行预测分布的学习，该实施例中在假设预测分布是符合高斯分布的前提下进行的，通过训练使得预测出的均值和标准差能够与真值符合的分布尽可能接近，也就是说，该阶段的优化函数的值表征的是预测出的均值和标准差所对应的高斯分布与真值对应的高斯分布之前的接近程度，训练目标是最大化优化函数的值。
作为一可选方案，该阶段的训练损失函数(优化函数)可以采用最大化高斯似然函数，训练的目的是最大化yn的高斯似然(Gaussian Likelihood)，该阶段的优化函数的表达式可以如下：
其中，LG表示优化函数，lG(yn|f(xn；ω))表示第n个样本的高斯似然，f(xn；ω)表示与第一个FC层连接的后面的两个FC层，和分别表示模型输出的均值和标准差，D为训练数据集中样本的数量。
通过上述两个阶段的训练得到满足预设条件的异常检测模型之后，则可以对模型的性能进行评估，如果评估符合要求，可以将模型部署到计算平台。如图7中的(c)部分所示，可以将本申请实施例提供的偏离特征值的提取方式以及将偏离特征值转换为异常特征值的方式部署到计算平台中，对应图7中所示的特征提取部分，在线上进行异常检测时，目标设备对应的观测数据(如图7中的实时指标数据)为该部分的输入数据，通过特征提取得到对应的历史异常特征，可以将训练好的异常检测模型(图7中的异常检测部分)部署到计算平台中，模型的输入数据为特征提取部分的输出，可以预测出输入的历史异常特征对应的均值和标准差。可选的，如果使用者通过用户自定义服务进行了异常检测规则的自定义，计算平台可以基于模型的输出向使用者提供相应的输出，比如，使用者自定义了异常阈值和异常报告的格式(比如定义了报告中包含哪些内容)，那么在通过模型得到均值和标准差之后，可以根据均值和异常阈值确定目标设备是否存在异常，可以根据异常报告的格式将相应的数据存储到结果数据库，使用者可以根据需求去结果数据库中查询对应的数据，结果数据库中可以存储设备评估指标对应的观测数据以及该观测数据对应的检测结果。
为了更好的为用户提供服务，本申请实施例的方法还可以为使用者异常检测配置服务，可以在使用者的客户端为使用者提供检测平台，该平台可以为使用者提供多种产品服务，以可以更加全面、按需的对使用者的在线应用系统进行异常检测。例如，如果使用者想要对其应用系统(目标设备上运行的应用)中的新的设备评估指标进行检测，使用者还需要在检测平台的用户界面上通过点击或其他操作方式增加新的指标即可，之后通过远程过程调用接口(即PRC接口)，计算平台可以创建对应于该指标的异常检测任务(即自动创建检测任务)，在完成配置之后，计算平台可以通过RPC接口获取目标设备对应于该指标的观测数据，可以基于该观测数据对该指标是否存在异常进行检测。在实际线上检测时，如果检测到设备存在异常，可以向使用者提供详细的异常检测报告，还可以发出异常提醒，如果使用者发现是错误的异常检测结果，可以在其检测平台的用户平面进行反馈，计算平台可以将用户反馈的结果和相关的指标数据(即观测数据)进行关联存储，算法工程师可以对这些数据进行检查，根据检测结果可以进一步确定是否需要将检测结果错误的相关数据作为用于模型更新训练的样本数据，以更好的优化异常检测模型。
图8示出了本申请实施例提供的一种异常特征的提取策略的原理示意图，如图8中所示，异常特征的提取可以包括如下的步骤S10至步骤S20。
步骤S10：基于窗口特征提取策略获取窗口数据
该部分适用于离线阶段的样本设备对应的观测数据的获取，也适用于在线阶段的目标设备的观测数据的获取，观测数据包括窗口数据和当前观测值，窗口数据可以包括历史观测序列或周期观测序列中的至少一项。下面以一个设备评估指标为例，对获取观测数据的过程进行说明。
图8中所示的时间序列是各个周期内已经采集到的目标设备的设备评估指标的观测值序列。当前观测值是指该时间序列中在需要对目标设备进行异常检测判断时所对应的最新获取到的观测值。首先，针对当前观测值，通过窗口提取策略提取该观测值之前的窗口数据(即历史观测序列和周期观测序列)，用观测值相对于窗口数据的偏离程度来刻画异常。
窗口提取策略可以采用如图2和图3所示的提取策略，其中，历史窗口为历史观测序列对应的数据窗口，如图2中所示的窗口大小为wh的历史窗口，周期窗口为周期观测序列对应的数据窗口，如图3中所示的大小为[t-wpre-1,t-1]∪[t-p-wpre-1,t-p-1+wpost]的数据窗口。
步骤S20：异常特征提取理论
该步骤用于实现偏离特征值得提取。异常特征提取部分旨在可以对来自不同实体的时间序列进行相同尺度的异常描述。来自不同实体的原始观测数据服从不同的数据分布，即原始观测数据的序列模式因实体而异，基于部分实体训练的异常检测模型很难与其他实体共享。为了解决这个问题，本申请提供的方案借用异常定义的思想，找到了实体之间的共通性，即虽然不同实体的观测值服从不同分布，但同一实体在一定窗口内(即设定时间窗口，也就是窗口数据的长度)内的观测值服从相同分布，因此，当前观测值相对于历史观测序列的偏离程度在各实体间是共通的。本申请中，使用这种偏离程度作为异常检测的输入数据，如此既可在相同尺度下表征异常，还可以让异常检测模型可以在实体间的共享。
可选的，该步骤可以基于概率假设理论、极值理论和残差理论三个角度来分析步骤S10获取到的窗口数据，并可以统一采用核密度估计来拟合窗口数据的分布，通过当前观测值在该概率密度分布中的累计概率得到一组从不同窗口视角出发的、具有理论支撑的、且具有相同刻画尺度与解释性的特征集(也就是各设备评估指标对应的各个偏离特征值)，将该特征集作为初始的异常特征。下面对从上述三个角度对获取初始的异常特征的过程进行说明。
概率假设理论是假定窗口数据内的观测值都服从同一概率分布，当前观测值越偏离该分布，则表现越异常。基于概率假设理论，通过拟合每个窗口数据(历史观测序列和周期观测数据分别是一个窗口数据)内的观测值的概率密度分布，便可提取当前观测值的异常特征。
极值理论是假设偏离正常分布的极端观测值会在分布上收敛。基于极值理论，对于每个窗口数据可以先提取其中的上极值集合和下极值集合，再分布拟合上极值的概率密度分布和下极值的概率密度分布，并提取当前观测值相对于这两个分布的偏离程度作为异常特征。对于提取窗口数据观测序列中的上极值集合和下级值集合的具体方式可以根据实际需求选择，可选的，可以采用多种方式进行极值的提取，比如，可以采用3-σ准则进行极值的提取，还可以基于箱图(Box Plot)进行极值的提取。
需要说明的是，在采用多种不同的方式进行极值提取时，每种提取方式得到的极值集合可以分别进行拟合得到对应的概率密度分布，对于每种概率密度分布，分布计算当前观测值相当于该概率密度分布的累计概率，得到对应的异常特征。对于上极值集合和下极值集合也是分布进行处理，得到上极值对应的概率密度分布和下级值对应的概率密度分布。
本申请实施例提供的方案中，残差理论可以从时域和谱域两个角度对原始时间序列(包括窗口数据和当前观测值的时间序列)进行重构，使用重构后的时间序列与原始时间序列的残差来刻画观测值的异常。
可选的，残差理论在谱域的处理手段可以采用谱残差(Spectral Residual，SR)算法，谱残差可以让原始时间序列中的异常部分变得格外显著，而让其正常部分趋近于0。通过谱残差算法得到原始时间序列对应的显著图(Saliency Map)，也就是前文中的变化特征序列(残差序列)，显著图中包括原始时间序列中各个观测值的显著性特征值，在得到显著图后，将当前观测值对应的显著性特征值作为新的当前观测值，将窗口数据中各观测值对应的显著性特征值对应的序列作为新的窗口数据，再利用概率假设理论、极值理论提取新的观测值相对于新的窗口数据的偏离程度，将该偏离程度也作为异常特征。
可选的，残差理论基于时域的处理手段可以为时序预测算法，通过时间序列预测算法得到的预测时间序列和原始时间序列之间的差异来刻画观测值的异常程度。对于时序预测算法采用哪种算法本申请不做限定，可选的，出于在线实时训练和预测的耗时考虑，可以使用Holt Winters算法来对时间序列进行预测。之后，基于时序预测算法得到时间序列和原始时间序列的预测误差序列(也就是残差序列)，可以同样再利用概率假设理论和极值理论，提取得到当前观测值点的预测误差(即残差序列中当前观测值对应的值)相对于预测时间序列的偏离程度。
可选的，还可以从统计学的角度，计算观测数据对应的差值序列，例如，对于历史观测序列，将当前观测值和历史观测序列作为原始时间序列，计算原始时间序列中的每个观察值和当前观测值之间的差值，得到差值序列，之后，可以基于差值序列中历史观测序列中的各观测值对应的时间序列部分(或者该序列部分对应的极值序列)估计概率密度分布即概率密度函数，通过计算差值序列中当前观测值对应的数值对应于该概率密度分布的累计密度，得到偏离特征值。
如图6中所示的特征提取部分，以一个指标的当前观测值和历史观测序列为例，X表示原始时间序列，X表示一个设备评估指标的当前观测值和该观测值之前的一定数量(图6中为w个)的观测值，其中，xt表示t时刻的观测值(当前观测值)，[xt-1，xt-w]表示xt的历史观测序列，也就是在xt之前采集的w个观测值，可以基于X，确定xt相对于，[xt-1，xt-w]的的偏离程度，得到偏离特征值。
如图6中所示，可选的，可以先对原始时间序列进行序列变换，得到多个变换时间序列，再根据每个变换时间序列，计算变换时间序列中xt对应的数值相对于变换时间序列中[xt-1，xt-w]对应的序列的偏离特征值。图6中所示的变换时间序列的数量为k个，以第一个变换时间序列X(1)为例，为xt在X(1)中对应的数值，X(1)中之前w个数值为第一序列，的对于变换时间序列X(1)，ft (1)表示相对于第一序列的偏离特征值(可以包括多个，比如特征值)。在得到k个变换时间序列对应的偏离特征值之后，可以将偏离特征值ft (1),f2 (1),…,ft (1)(或者是将这些偏离特征值对应的异常特征值)作为历史异常特征ft输入到Bayesian LSTM模型中，预测得到样本设备对应的均值mu(异常值)和标准差std(不确定性)。
对于观测数据、观测数据对应的极值数据、以及观测数据对应的变换时间序列(差值序列、残差序列(显著图和上述预测误差序列))，可以基于核密度估计方式即KDE来对各个序列分布进行拟合，得到每个序列对应的概率密度分布。
KDE是一种非参数的概率密度估计手段，它使用分布在数据空间上的内核来估计其概率密度函数，数据空间中每个位置的概率密度依赖于该内核邻域内的数据点，对于一个数据序列中任意观测值x，该观测值的概率密度计算公式为：
其中，表示序列的标准差，n是序列中位于区间内的观测值的数量，xv表示位于该区间的任一观测值，采用位于该区间的这部分观测值来估计x的概率密度，K(·)是核函数(可选的，可以采用高斯核函数)，h是高斯核函数的带宽参数，其计算公式为：
其中，m是序列中的观测值数量。基于核密度估计得到的概率密度分布，在得到序列中任意观测值x的概率密度后，可以使用新观测值(即当前观测值)的累积概率密度来刻画新观测值相对于该序列的异常程度。累积概率密度越低，说明新观测值为正常的可能性也越低，且面对不同时序下不同出发角度下计算出的概率特征尺度是相近的，即每个提取出来的异常特征都能在相同的尺度下解释异常。
对于历史观测序列、历史观测序列对应的极值序列、历史观测序列对应的变换时间序列、周期观测序列、周期观测序列对应的极值序列以及周期观测序列对应的变换时间序列中的每个序列，可以通过概率密度估计手段得到每个序列各自对应的概率密度分布，并计算当前观测值相对于每个概率密度分布的累计概率密度，得到各个偏离特征值即初始的异常特征。在计算得到上述各个偏离特征值之后，可以通过前文中的特征值转换表达式，对每个偏离特征值进行转换得到对应的异常特征值，将所有异常特征值作为用于评估设备是否异常的异常特征，也就是图8中所示的通用且可解释的特征集，异常特征中的每个特征值都能在相同尺度下从观测值发生概率的角度解释异常。
本申请实施例提供了一种针对时间序列的通用异常特征提取方式，该方法目前至少具有以下有效效果：
1)具备刻画时序观测值异常程度的能力。典型的应用场景包括但不限于运维人员在异常检测和定位过程中的异常判定，该方式可以提取得到一组能够描述异常程度的特征集，可以直接辅助人工判断和定位异常，解决了仅凭经验来判断和定位异常的问题。
2)面对不同时间序列下的观测值，本申请的方案提取的特征具备相同尺度的异常描述能力。典型的应用场景包括但不限于云机房、组件、应用等跨领域跨时序场景的综合异常判定，以云机房为例，基于该方案，可以结合CPU、内存、网卡、IO、线程和负载等多种视角(多个设备评估指标)下的观测数据，来综合判断云机房是否存在异常，基于本申请的方案所提取的特征能够对前述各种不同的指标进行相同尺度的异常描述，用于辅助用户判断云机房的异常。
3)特征提取运行高效，可以在线实时提取时间序列的异常特征。典型的应用各场景包括但不限于智能运维场景下所有依赖时序异常特征的在线服务。为了验证该方案的效果，通过将该方案的特征提取方式应用到云机房十几个指标的实时异常特征提取上进行了测试，十几个指标的特征提取总运行时间在0.5s以内，非常高效，能够满足在线实时计算的要求。
4)由于本申请提供的特征提取手段已经对异常有了很好的表征，因此，基于该方案提取的异常特征，可以有效降低了深度学习模型(如异常检测模型)的样本量依赖，提升深度学习模型的扩展性。
为了验证本申请提供的异常检测方法的有效性，我们在运维基础计算平台上对本申请的该方法进行了测试，该测试平台可以容纳百万量级云服务器的分钟级CPU等数据。采用本申请提供的特征提取方式，我们提取了少量云服务器线上观测数据的异常特征，将做些少量云服务器对应的异常特征作为对深度学习模型进行训练时的输入特征样本，具体的，我们基于万量级的特征样本训练深度学习模型，并将训练好的模型用于检测数百万云服务器的在线异常。我们对其中1000个云服务器近一周内的分钟级检测情况，对每个云服务器采集了7天的观测值，每天共1440个观测值，并对这些数据(1000*7*1440个检测点数量)进行了抽样评估，模型检测的F1-score(F1值，评估模型性能的一种参数)达0.85，可见，本申请的方案具好的异常识别准确性，有效性很高。
基于与本申请实施例图1中所示的方法相同的原理，本申请实施例还提供了一种数据处理装置，如图9中所示，该数据处理装置100可以包括观测数据获取模块110、特征提取模块120和异常判断模块130。
观测数据获取模块110，用于获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，其中，历史观测序列是当前周期内在当前观测值之前获取到的第一观测值序列，周期观测序列包括当前周期内在当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中当前观测值对应的历史同期观测值序列；
特征提取模块120，用于将历史观测序列和周期观测序列分别作为一个窗口数据，对于每个设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，偏离特征值表征了当前观测值相对于窗口数据的偏离程度；
异常判断模块130，用于基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常。
可选的，对于每个设备评估指标，特征提取模块在分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值时，可以通用于：
对于每个窗口数据，将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定原始时间序列对应的变换时间序列，变换时间序列包括变化特征序列或差值序列中的至少一项，变化特征序列中的各数值原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在原始时间序列中的异常程度，差值序列中的各数值为原始时间序列中各观测值与当前观测值的差值；
对于每个窗口数据对应的每个变换时间序列，将该窗口数据对应的该变换时间序列中当前观测值对应的数值作为新的当前观测值，将该变换时间序列中该窗口数据中的各观测值对应的各数值作为新的窗口数据，确定新的当前观测值对应于新的窗口数据的偏离特征值；
一个设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值，包括该设备评估指标对应的新的当前观测值相对于该设备评估指标对应的新的窗口数据的偏离特征值。
可选的，变换时间序列包括变化特征序列，对于每个窗口数据，特征提取模块在确定原始时间序列中观测值对应的变化特征序列时，可以用于执行以下至少一项：
对该设备评估指标对应于该窗口数据的原始时间序列进行显著性检测变换，得到对应的显著性数据，将显著性数据作为变化特征序列；
基于该设备评估指标对应于该窗口数据的原始时间序列进行时序预测，得到原始时间序列对应的预测时间序列，确定原始时间序列和预测时间序列之间的预测误差序列，将预测误差序列作为变化特征序列。
可选的，对于每个设备评估指标，特征提取模块在分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个窗口数据的偏离特征值时，可以用于执行以下至少一项：
对于每个窗口数据，基于该设备评估指标对应的该窗口数据，拟合得到该设备评估指标对应的观测值的第一概率密度分布，确定该设备评估指标的当前观测值对应于第一概率密度分布的第一累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第一累计概率；
对于每个窗口数据，确定该设备评估指标对应的该窗口数据中的极值；基于该窗口数据中的极值，拟合得到该设备评估指标对应的极值的第二概率密度分布；确定该设备评估指标的当前观测值对应于第二概率密度分布的第二累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第二累计概率。
可选的，特征值提取模块还用于：将每个偏离特征值进行特征值转换，得到每个偏离特征值对应的异常特征值；其中，每个偏离特征值对应的异常特征值属于预设取值区间；
相应的，异常判断模块可以用于：基于各设备评估指标对应于各窗口数据的偏离特征值所对应的异常特征值，确定目标设备是否存在异常。
可选的，特征值提取模块可以通过执行以下操作得到每个偏离特征值对应的异常特征值：
对于小于或等于设定阈值的每个偏离特征值，将第一值确定为该偏离特征值对应的异常特征值，第一值为取值范围上述预设取值区间的最大值；
对于大于设定阈值的每个偏离特征值，根据该偏离特征值和显著性水平的预设取值，确定该偏离特征值对应的异常特征值，其中，每个偏离特征值对应的异常特征值属于上述预设取值区间，且小于上述预设取值的偏离特征值对应的异常特征值属于第一取值区间，大于或等于上述预设取值的偏离特征值对应的异常特征值属于第二取值区间，第一取值区间和第二取值区间的并集为上述预设取值区间，第一取值区间和第二取值区间的交集为空集。
可选的，第一取值区间的取值范围的大小和第二取值区间的取值范围的大小之间的差异小于设定大小。
可选的，特征值提取模块可以通过以下表达式确定每个偏离特征值对应的异常特征值：
其中，表示第i个偏离特征值，T1表示设定阈值，a表示显著性水平的预设取值，T1＜a，表示对应的异常特征值。
可选的，对于一个历史周期，上述历史同期观测值序列包括当前观测值在该历史周期中的同期观测值、以及该历史周期中同期观测值的前置观测值序列和后置观测值序列。
可选的，异常判断模块在基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常时，可以用于：
基于各窗口数据的偏离特征值，通过调用训练好的异常检测模型预测目标设备是否存在异常；
其中，训练好的异常检测模型是基于训练数据集对神经网络模型进行迭代训练得到的，训练数据集中的每个训练样本包括一个样本设备对应于各设备评估指标的偏离特征值和设备状态标签，其中，设备状态标签表征了样本设备存在异常或者不存在异常，一个样本设备对应于各设备评估指标的偏离特征值，是基于该样本设备对应于各设备评估指标的观测数据确定出的。
可选的，异常判断模块在基于各设备评估指标对应于各窗口数据的偏离特征值，确定目标设备是否存在异常时，可以用于：
将各设备评估指标对应于各窗口数据的偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到目标设备的异常值，根据异常值，确定目标设备是否存在异常：
基于历史异常特征提取观测数据对应的当前异常特征；将当前异常特征和历史异常特征融合，基于融合后的特征预测目标设备的异常值。
基于与本申请实施例图4中所示的方法相同的原理，本申请实施例还提供了一种数据处理装置，该数据处理装置可以包括观测数据获取模块、特征提取模块和异常判断模块。
观测数据获取模块，用于获取目标设备的至少一个设备评估指标中每个指标的观测数据，观测数据包括当前观测值和历史观测序列，历史观测序列是当前周期内在当前观测值之前获取到的第一观测值序列；
特征提取模块，用于对于每个设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值，第一偏离特征值表征了当前观测值相对于历史观测序列的偏离程度；
异常判断模块，用于将各设备评估指标对应的第一偏离特征值作为历史异常特征，通过调用训练好的异常检测模块执行以下操作，得到目标设备的异常值，根据异常值，确定目标设备是否存在异常：
基于历史异常特征提取观测数据对应的当前异常特征；将当前异常特征和历史异常特征融合，基于融合后的特征预测目标设备的异常值。
可选的，异常判断模块还通过异常检测模型执行以下操作：
基于融合后的特征，确定观测数据对应的不确定性，不确定性表征了目标设备是否存在异常的检测结果的不确定性；
该数据处理装置还包括优化样本选择模块，该模块用于：在上述不确定性大于设定阈值，将目标设备对应的观测数据作为训练样本数据，用于上述训练好的异常检测模型的优化训练。
可选的，异常判断模块在根据异常值确定目标设备是否存在异常时，可以用于：若异常值大于或等于异常阈值，确定目标设备存在异常；其中，上述异常阈值是通过以下方式确定的：
获取验证数据集，验证数据集中包括多个验证样本，每个验证样本包括一个第一设备对应于各设备评估指标的观测数据；基于各验证样本包括的观测数据，确定各验证样本对应的历史异常特征，并通过训练好的异常检测模型得到各验证样本对应的异常值；基于各验证样本对应的异常值，确定异常阈值。
可选的，上述观测数据还包括周期观测序列，周期观测序列包括当前周期内在当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中当前观测值对应的历史同期观测值序列；特征提取模块还用于：
对于每个设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的周期观测序列的第二偏离特征值；
其中，上述历史异常特征包括各设备评估指标对应的第一偏离特征值和第二偏离特征值。
可选的，对于每个设备评估指标，特征提取模块在确定该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值时，可以用于：
将该设备评估指标对应的历史观测序列和当前观测值作为原始时间序列，确定原始时间序列对应的变换时间序列；其中，变换时间序列包括变化特征序列或差值序列中的至少一项，变化特征序列中的各数值为原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在原始时间序列中的异常程度，差值序列中的各数值为原始时间序列中各观测值与当前观测值的差值；
对于每个变换时间序列，确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，其中，当前值是该变换时间序列中当前观测值对应的数值，第一序列为该变换时间序列中除当前值之外的各数值构成的时间序列；
其中，该设备评估指标的当前观测值相对于该设备评估指标的历史观测序列的第一偏离特征值，包括对应于该设备评估指标的各个变换时间序列的第三偏离特征值。
可选的，对于每个变换时间序列，特征提取模块可以通过执行以下至少一项确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值：
通过对第一序列进行拟合，得到第一序列对应的第三概率密度分布；确定该变换时间序列中的当前值对应于第三概率密度分布的第三累计概率，第三偏离特征值包括第三累计概率；
确定第一序列中的极值，得到极值序列；通过对极值序列进行拟合，得到极值序列对应的第四概率密度分布；确定该变换时间序列中当前值对应于第四概率密度分布的第四累计概率，第三偏离特征值包括第四累计概率。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述及有益效果具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现本申请任一可选实施例中提供的方法的步骤。
图10示出了本申请实施例所适用的一种电子设备的结构示意图，如图10所示，该电子设备4000包括处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003中存储有用于实现本申请实施例所提供的方法的计算机程序，并可以由处理器4001来控制执行。处理器4001在执行存储器4003中存储的上述计算机程序时，可以实现本申请前述任一方法实施例所示的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现本申请前述任一方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，该计算机产品中包括计算机程序，计算机程序被处理器执行时可实现本申请前述任一方法实施例的步骤及相应内容。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (15)

1.一种数据处理方法，其特征在于，所述方法包括：
获取目标设备的至少一个设备评估指标中每个指标的观测数据，所述观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，其中，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列，所述周期观测序列包括当前周期内在所述当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中所述当前观测值对应的历史同期观测值序列；
将所述历史观测序列和周期观测序列分别作为一个窗口数据，对于每个所述设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个所述窗口数据的偏离特征值，所述偏离特征值表征了所述当前观测值相对于所述窗口数据的偏离程度；
基于各所述设备评估指标对应于各所述窗口数据的偏离特征值，确定所述目标设备是否存在异常。
2.根据权利要求1所述的方法，其特征在于，对于每个所述设备评估指标，所述分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个所述窗口数据的偏离特征值，包括：
对于每个所述窗口数据，将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定所述原始时间序列对应的变换时间序列，所述变换时间序列包括变化特征序列或差值序列中的至少一项，所述变化特征序列中的各数值为所述原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在所述原始时间序列中的异常程度，所述差值序列中的各数值为所述原始时间序列中各观测值与所述当前观测值的差值；
对于每个所述窗口数据对应的每个变换时间序列，将该窗口数据对应的该变化时间序列中所述当前观测值对应的数值作为新的当前观测值，将该变换时间序列中该窗口数据中的各观测值对应的各数值作为新的窗口数据，确定所述新的当前观测值相对于所述新的窗口数据的偏离特征值；
一个所述设备评估指标的当前观测值相对于该设备评估指标的每个所述窗口数据的偏离特征值，包括该设备评估指标对应的新的当前观测值相对于该设备评估指标对应的新的窗口数据的偏离特征值。
3.根据权利要求2所述的方法，其特征在于，所述变换时间序列包括变化特征序列，对于每个所述窗口数据，所述将该设备评估指标对应的该窗口数据和当前观测值作为原始时间序列，确定所述原始时间序列对应的变换时间序列，包括以下至少一项：
对该设备评估指标对应于该窗口数据的原始时间序列进行显著性检测变换，得到对应的显著性数据，将所述显著性数据作为所述变化特征序列；
基于该设备评估指标对应于该窗口数据的原始时间序列进行时序预测，得到所述原始时间序列对应的预测时间序列，确定所述原始时间序列和所述预测时间序列之间的预测误差序列，将所述预测误差序列作为所述变化特征序列。
4.根据权利要求1至3中任一项所述的方法，其特征在于，对于每个所述设备评估指标，所述分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个所述窗口数据的偏离特征值，包括以下至少一项：
对于每个所述窗口数据，基于该设备评估指标对应的该窗口数据，拟合得到该设备评估指标对应的观测值的第一概率密度分布，确定该设备评估指标的当前观测值对应于所述第一概率密度分布的第一累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第一累计概率；
对于每个所述窗口数据，确定该设备评估指标对应的该窗口数据中的极值；基于该窗口数据中的极值，拟合得到该设备评估指标对应的极值的第二概率密度分布；确定该设备评估指标的当前观测值对应于所述第二概率密度分布的第二累计概率，其中，该设备评估指标对应于该窗口数据的偏离特征值，包括该设备评估指标对应于该窗口数据的第二累计概率。
5.根据权利要求1所述的方法，其特征在于，所述基于各所述设备评估指标对应于各所述窗口数据的偏离特征值，确定所述目标设备是否存在异常，包括：
将每个所述偏离特征值分别进行以下特征值转换处理，得到每个所述偏离特征值对应的异常特征值：
对于小于或等于设定阈值的每个偏离特征值，将第一值确定为该偏离特征值对应的异常特征值，所述第一值为取值范围为非负数的预设取值区间的最大值；
对于大于所述设定阈值的每个偏离特征值，根据该偏离特征值和显著性水平的预设取值，确定该偏离特征值对应的异常特征值，其中，每个所述偏离特征值对应的异常特征值属于所述预设取值区间，且小于所述预设取值的偏离特征值对应的异常特征值属于第一取值区间，大于或等于所述预设取值的偏离特征值对应的异常特征值属于第二取值区间，所述第一取值区间和所述第二取值区间的并集为所述预设取值区间，所述第一取值区间和所述第二取值区间的交集为空集；
基于各所述设备评估指标对应于各所述窗口数据的异常特征值，确定所述目标设备是否存在异常。
6.根据权利要求1至3以及5中任一项所述的方法，其特征在于，所述基于各所述设备评估指标对应于各所述窗口数据的偏离特征值，确定所述目标设备是否存在异常，包括：
将各所述设备评估指标对应于各所述窗口数据的偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到所述目标设备的异常值；
基于所述历史异常特征提取所述观测数据对应的当前异常特征；将所述当前异常特征和所述历史异常特征融合，基于融合后的特征预测所述目标设备的异常值；
根据所述异常值，确定所述目标设备是否存在异常。
7.一种数据处理方法，其特征在于，所述方法包括：
获取目标设备的至少一个设备评估指标中每个指标的观测数据，所述观测数据包括当前观测值和历史观测序列，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列；
对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，所述第一偏离特征值表征了所述当前观测值相对于所述历史观测序列的偏离程度；
将各所述设备评估指标对应的第一偏离特征值作为历史异常特征，通过调用训练好的异常检测模型执行以下操作，得到所述目标设备的异常值；
基于所述历史异常特征提取所述观测数据对应的当前异常特征；将所述当前异常特征和所述历史异常特征融合，基于融合后的特征预测所述目标设备的异常值；
根据所述异常值，确定所述目标设备是否存在异常。
8.根据权利要求7所述的方法，其特征在于，还通过所述异常检测模型还执行以下操作：
基于所述融合后的特征，确定所述观测数据对应的不确定性，所述不确定性表征了所述目标设备是否存在异常的检测结果的不确定性；
所述方法还包括：
若所述不确定性大于或等于设定阈值，将所述观测数据作为训练样本数据，用于所述训练好的异常检测模型的优化训练。
9.根据权利要求7所述的方法，其特征在于，所述根据所述异常值，确定所述目标设备是否存在异常，包括：
若所述异常值大于或等于异常阈值，确定所述目标设备存在异常；
其中，所述异常阈值是通过以下方式确定的：
获取验证数据集，所述验证数据集中包括多个验证样本，每个所述验证样本包括一个第一设备对应于各所述设备评估指标的观测数据以及真实设备状态，所述真实设备状态表征第一设备存在异常或不存在异常；
基于各所述验证样本包括的观测数据，确定各所述验证样本对应的历史异常特征，并通过所述训练好的异常检测模型得到各所述验证样本对应的异常值；
基于各所述验证样本对应的异常值和真实设备状态，确定所述异常阈值。
10.根据权利要求7所述的方法，其特征在于，所述观测数据还包括周期观测序列，所述周期观测序列包括当前周期内在所述当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中所述当前观测值对应的历史同期观测值序列；所述方法还包括：
对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的周期观测序列的第二偏离特征值；
所述将各所述设备评估指标对应的第一偏离特征值作为历史异常特征，包括：
将各所述设备评估指标对应的第一偏离特征值和第二偏离特征值作为历史异常特征。
11.根据权利要求7至10中任一项所述的方法，其特征在于，对于每个所述设备评估指标，所述确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，包括：
将该设备评估指标对应的历史观测序列和当前观测值作为原始时间序列，确定所述原始时间序列对应的变换时间序列；其中，所述变换时间序列包括变化特征序列或差值序列中的至少一项，所述变化特征序列中的各数值为所述原始时间序列中的各观测值对应的变化特征值，一个观测值对应的变化特征值表征了该观测值在所述原始时间序列中的异常程度，所述差值序列中的各数值为所述原始时间序列中各观测值与所述当前观测值的差值；
对于每个所述变换时间序列，确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，其中，所述当前值是该变换时间序列中所述当前观测值对应的数值，所述第一序列为该变换时间序列中除所述当前值之外的各数值构成的时间序列；
其中，该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，包括对应于该设备评估指标的各个变换时间序列的第三偏离特征值。
12.根据权利要11所述的方法，其特征在于，对于每个所述变换时间序列，所述确定该变换时间序列中的当前值相对于第一序列的第三偏离特征值，包括以下至少一项：
通过对所述第一序列进行拟合，得到所述第一序列对应的第三概率密度分布；确定该变换时间序列中的当前值对应于所述第三概率密度分布的第三累计概率，所述第三偏离特征值包括第三累计概率；
确定所述第一序列中的极值，得到极值序列；通过对所述极值序列进行拟合，得到所述极值序列对应的第四概率密度分布；确定该变换时间序列中所述当前值对应于所述第四概率密度分布的第四累计概率，所述第三偏离特征值包括所述第四累计概率。
13.一种数据处理装置，其特征在于，包括：
观测数据获取模块，用于获取目标设备的至少一个设备评估指标中每个指标各自的观测数据，所述观测数据包括当前周期的当前观测值、历史观测序列和周期观测序列，其中，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列，所述周期观测序列包括当前周期内在所述当前观测值之前获取到的第二观测值序列、以及至少一个历史周期中所述当前观测值对应的历史同期观测值序列；
特征提取模块，用于将所述历史观测序列和周期观测序列分别作为窗口数据，对于每个所述设备评估指标，分别确定该设备评估指标的当前观测值相对于该设备评估指标的每个所述窗口数据的偏离特征值，所述偏离特征值表征了所述当前观测值相对于所述窗口数据的偏离程度；
异常判断模块，用于基于各所述设备评估指标对应于各所述窗口数据的偏离特征值，确定所述目标设备是否存在异常。
14.一种数据处理装置，其特征在于，包括：
观测数据获取模块，用于获取目标设备的至少一个设备评估指标中每个指标的观测数据，所述观测数据包括当前观测值和历史观测序列，所述历史观测序列是当前周期内在所述当前观测值之前获取到的第一观测值序列；
特征提取模块，用于对于每个所述设备评估指标，确定该设备评估指标的当前观测值相对于该设备评估指标的所述历史观测序列的第一偏离特征值，所述第一偏离特征值表征了所述当前观测值相对于所述历史观测序列的偏离程度；
异常判断模块，用于将各所述设备评估指标对应的第一偏离特征值作为历史异常特征，通过调用训练好的异常检测模块执行以下操作，得到所述目标设备的异常值，根据所述异常值，确定所述目标设备是否存在异常：
基于所述历史异常特征提取所述观测数据对应的当前异常特征；将所述当前异常特征和所述历史异常特征融合，基于融合后的特征预测所述目标设备的异常值。
15.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求1至6中任一项所述的方法，或者实现权利要求7至12中任一项所述的方法。
CN202210273236.7A 2022-03-18 2022-03-18 数据处理方法、装置、电子设备及可读存储介质 Pending CN116804964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210273236.7A CN116804964A (zh) 2022-03-18 2022-03-18 数据处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273236.7A CN116804964A (zh) 2022-03-18 2022-03-18 数据处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116804964A true CN116804964A (zh) 2023-09-26

Family

ID=88078518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273236.7A Pending CN116804964A (zh) 2022-03-18 2022-03-18 数据处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116804964A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150576A (zh) * 2023-10-30 2023-12-01 易签链(深圳)科技有限公司 一种区块链电子印章的智能验证系统及方法
CN117784656A (zh) * 2023-11-24 2024-03-29 兴容(上海)信息技术股份有限公司 一种基于数据监测的异常数据智能监管系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150576A (zh) * 2023-10-30 2023-12-01 易签链(深圳)科技有限公司 一种区块链电子印章的智能验证系统及方法
CN117150576B (zh) * 2023-10-30 2024-02-09 易签链(深圳)科技有限公司 一种区块链电子印章的智能验证系统及方法
CN117784656A (zh) * 2023-11-24 2024-03-29 兴容(上海)信息技术股份有限公司 一种基于数据监测的异常数据智能监管系统及方法

Similar Documents

Publication Publication Date Title
CN110647900B (zh) 基于深度神经网络的安全态势智能预测方法、装置及系统
CN114297036B (zh) 数据处理方法、装置、电子设备及可读存储介质
Jiang et al. Scenario generation for wind power using improved generative adversarial networks
Zhang et al. Resource requests prediction in the cloud computing environment with a deep belief network
CN110675623A (zh) 基于混合深度学习的短时交通流量预测方法、系统、装置
Rafiei et al. Probabilistic electricity price forecasting by improved clonal selection algorithm and wavelet preprocessing
CN116804964A (zh) 数据处理方法、装置、电子设备及可读存储介质
JP2015166962A (ja) 情報処理装置、学習方法、及び、プログラム
CN112651534B (zh) 一种预测资源供应链需求量的方法、装置及存储介质
CN114169645A (zh) 一种智能电网短期负荷预测方法
Tariq et al. Employing deep learning and time series analysis to tackle the accuracy and robustness of the forecasting problem
CN117110748A (zh) 一种基于融合终端的变电站主设备运行状态异常检测方法
CN117215728B (zh) 一种基于代理模型的仿真模拟方法、装置及电子设备
Nandanoori et al. Graph neural network and Koopman models for learning networked dynamics: A comparative study on power grid transients prediction
US11197175B2 (en) Forcasting time series data
Yu et al. Forecasting a short‐term wind speed using a deep belief network combined with a local predictor
Wang et al. Swarm Intelligence‐Based Hybrid Models for Short‐Term Power Load Prediction
Alippi et al. On-line reconstruction of missing data in sensor/actuator networks by exploiting temporal and spatial redundancy
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
Dong et al. Multi‐task learning method for classification of multiple power quality disturbances
Subbiah Deep learning based load forecasting with decomposition and feature selection techniques
CN115904916A (zh) 一种硬盘故障预测的方法、装置、电子设备以及存储介质
WO2022022059A1 (en) Context aware anomaly detection
Arputhamary et al. Performance Improved Holt-Winter’s (PIHW) Prediction Algorithm for Big Data Environment
Hu et al. Afb: Improving communication load forecasting accuracy with adaptive feature boosting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40094460

Country of ref document: HK