CN115495274A - 基于时序数据的异常处理方法、网络设备和可读存储介质 - Google Patents

Abstract

本申请公开了基于时序数据的异常处理方法、网络设备和可读存储介质，该方法包括：对待监控的指标当前对应的数据进行采集，得到第一时序数据；确定所述指标对应的时序数据是否为周期性数据；在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常；在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常。通过本申请解决了相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题，进而可以有效地覆盖在云网络中各种指标对应的异常，减少了误报告警数，提升运维效率。

Description

基于时序数据的异常处理方法、网络设备和可读存储介质

技术领域

本申请涉及到网络异常处理领域，具体而言，涉及基于时序数据的异常处理方法、网络设备和可读存储介质。

背景技术

对于大规模云网络环境下的时序指标故障监控的场景而言，由于时序指标模型种类众多，难以用固定阈值进行监控，因此，通常依赖人工经验进行规则配置。依赖人工进行规则配置需要消耗大量的人力，而且受制于维护人员的经验，规则配置过程中有可能出现错误配置或者遗漏相关配置，从而导致无法监控到网络所出现的异常。

为了解决人工配置所带来的问题，在相关技术中提出了一种基于时序指标基线和预测值来实现智能告警阈值配置的方法。在该方案中将监控指标对应的时序数据按照周期数据来进行处理，这样就可以根据时序数据的周期性发现异常处理。该方案一定程度上解决了人工配置规则所导致的问题，是一种动态配置监控阈值的处理方案。

发明人发现，相关技术中提出的方案对于某种指标的时序数据中的异常能够进行相对准确的监控，但是，对于某些指标的时序数据进行异常监控时，经常无法监控到异常或者产生大量的误告警。

发明内容

本申请实施例提供了基于时序数据的异常处理方法、网络设备和可读存储介质，以至少解决相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题。

根据本申请的一个方面，提供了一种基于时序数据的异常处理方法，包括：对待监控的指标当前对应的数据进行采集，得到第一时序数据，其中，所述第一时序数据是采集到的所述指标对应的随时间变化的数据；确定所述指标对应的时序数据是否为周期性数据；在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常；在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常；其中，所述第一判断模式和所述第二判断模式不同。

根据本申请的另一个方面，还提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的方法步骤。

根据本申请的另一个方面，还提供了一种可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现上述的方法步骤。

在本申请实施例中，采用了对待监控的指标当前对应的数据进行采集，得到第一时序数据，其中，所述第一时序数据是采集到的所述指标对应的随时间变化的数据；确定所述指标对应的时序数据是否为周期性数据；在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常；在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常；其中，所述第一判断模式和所述第二判断模式不同。通过本申请解决了相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题，进而可以有效地覆盖在云网络中各种指标对应的异常，减少了误报告警数，提升运维效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于时序数据的异常处理的流程图；以及，

图2是根据本申请实施例的时序处理异常发现的整体示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在相关技术中提出了按照周期性进行预测，并根据预测结果来监控指标是否出现异常的处理方案，考虑到云网络环境下的很大一部分时序指标走势不具备周期性，因此，如果将所有指标对应的时序数据均按照周期性时序数据的处理方式来进行处理，则对这些非周期性指标而言将无法避免地产生预测失效以及误告警。因此，相关技术中的方案可以适用于具有季节性和周期性的时序指标，对于不具备周期性的指标则会导致大量误告警。即在相关技术中并没有将待监控的指标对应的时序数据区分成周期性数据和非周期性数据，对于周期性数据和非周期性数据采用各不同的判断模式来进行判断是否出现异常，从而可以解决相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题。

在以下实施方式中，涉及到对监控指标对应的数据进行采集，这里的监控指标可以是各种设备在运行过程中的指标。例如，在云网络中，可以采集服务器、交换机、路由器等各种网络设备的带宽、丢包率等网络指标，也可以采集这些网络设备的内存占用率、存储空间等资源指标，只要采集到的指标对应的数据是随时间变化的时序数据则均可以应用以下的实施方式。

在以下实施方式中会根据采集得到的时序数据来判断是否该时序数据来源的设备是否出现异常，在各种网络设备中，有些网络设备是具有计算能力的，例如，服务器是具有计算能力的，以下实施方式可以直接应用到具有计算能力的网络设备，这些网络设备可以从自身采集指标来判断自己运行是否正常，这些网络设备也可以通过网络连接其他设备，从其他设备采集指标并判断其他设备的运行是否正常。除了具有计算能力的网络设备，还些网络设备的计算能力不足以根据指标来判断是否出现异常，例如，交换机，此时可以有与交换机连接的用于对交换机进行管理和维护的设备来采集交换机的指标，并判断是否出现异常。只要是能够采集自身指标对应的时序数据或者通过网络采集其他设备上指标对应的时序数据的网络设备或用于对网络设备进行维护和管理的设备（该设备也是一种类型的网络设备）均可以应用以下实施方式。

在本实施例中提供了一种基于时序数据的异常处理方法，图1是根据本申请实施例的基于时序数据的异常处理的流程图，下面对图1中示出的流程所包括的步骤进行说明。

步骤S102，对待监控的指标当前对应的数据进行采集，得到第一时序数据，其中，所述第一时序数据是采集到的所述指标对应的随时间变化的数据。在该步骤中由于针对该指标采集到的数据为时序数据，因此该指标也可以被称作时序指标。

在该步骤中，第一时序数据是当前采集到的数据，通过第一时序数据来判断对应的指标是否出现异常。

步骤S104，确定所述指标对应的时序数据是否为周期性数据。

在该步骤中，如果一个指标对应的时序数据为周期性数据，则可以将该指标称为周期性指标；如果一个指标对应的时序数据为非周期性数据，则可以将该指标称为非周期性指标。

步骤S106，在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常。

步骤S108，在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常；其中，所述第一判断模式和所述第二判断模式不同。

通过上述步骤，将指标对应的时序数据是否为周期性数据进行了区分，对于周期性数据和非周期性数据采用不同的判断模式。即上述步骤中并没有对所有的指标均采用相同判断模式来判断时序数据是否出现异常，而是对指标对应的时序数据进行了分类，对于不同分类采用该分类对应的判断模式来进行判断，这样可以使异常判断更加具有针对性，解决了相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题，进而可以有效地覆盖在云网络中各种指标对应的异常，减少了误报告警数，提升运维效率。

在确定了指标对应的时序数据为周期性数据或者非周期性数据的前提下，在实施时可以根据实际的网络情况来选择不同的算法来进行异常判断。无论对于周期性数据以及非周期性数据采用了哪种判断算法，相对于相关技术中对所有指标均采用一种判断模式来判断是否出现异常，在本实施例中只要考虑到周期性数据和非周期性数据的不同特点，将两者的判断算法（即判断模式）进行了区分则均可以解决相关技术中的问题，均可以起到更加全面覆盖各种指标对应的异常的技术效果。

考虑周期性数据具有周期性特点，在一个可选实施方式中，可以基于预测的方式来确定第一时序数据是否出现异常，该预测是基于周期性指标的时序数据的走势进行的。由于该走势是时序数据在未出现异常时的走势，如果实际采集到的真实值与通过该走势预测得到的预测值差距不大，则说明未出现异常，否则出现异常。即上述根据所述第一判断模式判断所述第一时序数据是否出现异常的步骤可以包括：获取所述指标对应的时序数据在周期内的走势，其中，所述周期为所述指标对应的时序数据的周期；根据真实值与预测值的比较结果确定是否出现异常，其中，所述预测值是对预定时刻之前已经采集到的时序数据根据所述走势进行预测得到的预定时刻的值，所述真实值是根据在所述预定时刻真实采集到的时序数据得到的值。

在该可选方式中，利用了时序数据的周期性特点，即时序数据在周期上的变化是相同的，因此，可以找到周期变化的规律（即周期性走势，或者称为周期内的走势），通过该周期性变化的规律就可以根据已经采集到的第一时序数据进行下一时刻的预测，然后根据预测值和下一时刻真实采集到的值进行比较，根据比较结果就可以确定是否出现异常。

对于某个指标的周期性的走势可以根据历史上采集到的该指标的多组时序数据来确定，为了与第一时序数据区分，将历史上采集的时序数据称为第二时序数据。可以获取历史上的多组第二时序数据，这些第二时序数据是没有出现过异常的数据，该判断过程可以由人工来进行判断，即挑选出未出现过异常的多组第二时序数据之后，根据多组第二时序数据就可以得到时序数据周期性走势。该周期性走势有可能是时序数据本身的走势，也有可能是对时序数据进行计算得到的数值的走势，例如，时序数据之间差值的走势等。

对于周期性时序数据而言，其可能是平稳时序数据也可能是不平稳时序数据（或者称为非平稳时序数据），在一个可选实施方式中，还可以对平稳时序数据和非平稳时序数据进行区分，对于这两种数据可以采用不同的走势来作为判断依据。

在该可选实施方式中，如果指标对应的时序数据为平稳时序数据，则可以直接使用时序数据本身来进行预测，由于使用时序数据本身进行预测所得到的就是下一时刻的时序数据本身的值，因此，这种预测方式对时序数据的规律性要求比较高。如果指标对应的时序数据即是周期性数据又是平稳时序数据，则预测得到的值就比较精确。在这种情况下，实际采集得到的实际值跟预测得到的值距离比较大，则可以说明实际采集到的值是异常值，即第一时序数据出现了异常。

在该可选方式中，如果指标对应的时序数据为非平稳时序数据，则使用包络线来进行预测。对于非平稳时序数据来说，其上下波动比较大，如果直接使用时序数据本身来进行预测的话，即使得到的预测值与实际值距离比较到也不能说明实际采集到的值是异常值，因为这种差距还有可能是因为时序数据的不平稳导致的。在这种情况下，使用包络线来进行预测可能提高预测精度，包络线体现了一段时间极值的变化，对于非平稳时序数据的处理是一种比较优的选择。

下面对该可选方式包括的步骤进行说明。在该可选实施方式中，上述获取所述指标对应的时序数据在周期内的走势的步骤可以包括：确定所述指标对应的时序数据是否为平稳时序数据；在所述指标对应的时序数据为平稳时序数据的情况下，获取所述指标对应的时序数据的数据线在所述周期内的走势，其中，所述数据线用于指示所述周期内时序数据本身的走势，所述预测值为预测得到的所述预定时刻的时序数据本身的值，所述真实值是所述预定时刻采集到的时序数据本身的值；在所述指标对应的时序数据为非平稳时序数据的情况下，获取所述指标对应的时序数据的包络线在所述周期内的走势；其中，所述包络线是根据时序数据的极值生成的，所述包络线用于指示所述周期内时序数据的极值的走势；所述预测值是预测得到的所述预定时刻的包络线上的值，所述真实值是根据所述预定时刻采集到的时序数据计算得到的包络线上的值。

通过上述步骤，对于周期性平稳时序数据而言，直接可以根据已经采集的时序数据来预测下一时刻的时序数据本身的预测值，然后在下一时刻到来时通过比较预测值和真实值来确定是否出现异常；对于周期性非平稳时序数据而言，由于其具有周期性特点，即使是非平稳的，其包络线也能体现出周期性非平稳时序数据的走势，此时，预测值是包络线上的值，真实值也是根据下一时刻到来是采集到的真实时序数据计算得到的包络线上的值，这样如果真实值偏离预测用的包络线太远则说明出现第一时序数据出现异常。

根据时序数据的极值生成包络线的方式有很多种，例如，根据时序数据的极值生成所述包络线包括：配置滑动窗口按照预定步长在所述时序数据上进行移动；获取所述滑动窗口每移动一次得到的所述滑动窗口内的极值；根据得到的所有极值生成所述包络线。在该例子中，使用滑动窗口内的极值来生成包络线，这种生成包络线的方式可以提高预测的精确度。在实际应用时，可以根据指标的不同来配置滑动窗口的大小，即不同类型的指标可以对应不同长度的滑动窗口。同理，滑动窗口移动的步长也可以根据实际需要来进行进行设置，不同类型的指标对应的步长也可以不同。

上述实施方式中根据极值来生成包络线，极值可以分为两种：极大值和极小值。可以根据极大值来生成包络线也可以根据极小值来生成包络线。可以根据指标的性质不同来选择根据极大值或者极小值来生成包络线。在一个可选方式中，可以将指标分为正向指标和反向指标，所述正向指标为在异常情况下该指标对应的数据会出现下降的指标，所述反向指标为在异常情况下该指标对应的数据会出现上升的指标。

针对这两种不同的指标可以选择不同的极值来生成包络线。其中，在所述指标为正向指标的情况下，所述包络线是根据滑动窗口内的最小值得到的；在所述指标为反向指标的情况下，所述包络线是根据滑动窗口内的最大值得到的。

在上述实施方式中，对平稳时序数据，根据时序数据本身的数据线在所述周期内的走势来得到预测值；对于非平稳时序数据，根据时序数据对应的包络线在所述周期内的走势来得到预测值。在这种情况下，可以将数据线和包络线上的值直接作为预测值来使用。或者也可以采用季节分解算法来对数据线和包络线进行分量的提取，然后根据提取到的数据线和包络线对应的趋势分量使用预测算法进行趋势预测。下面对此进行说明。

季节分解法是时间序列数据（即时序数据）分析中的一种常见方法。季节分解算法通过拆解时序数据，从中找出时序数据随时间变动规律，并对其未来变动做出预测。对于时序数据进行季节分解处理可以采用多种现有的分解算法（例如可以采用基于移动平均的季节分解算法），经过季节分解算法进行分解之后，可以到多个分量趋势分量T、季节分量S、周期分量C和残差分量I，其中，所述趋势分量用于指示时序数据的长期变化趋势、所述周期分量用于指示时序数据的周期变化趋势、所述季节分量用于指示时序数据季节变化趋势，残差分量用于指示时序数据中的不规则变动。在对数据线和包络线进行分解时，由于数据线和包络线对应的周期性时序数据，因此，能够提取到趋势分量T和周期分量C，而不一定能够提取到季节分量S。

例如，可以对数据线与包络线进行分解，得到趋势分量T和周期分量C，然后根据数据线和包络线的趋势分量和周期分量进行预测，即可以得到预测值。进行预测可以使用现有的预测方法，例如差分整合移动平均自回归模型（ARIMA）算法或者简单指数平滑方法（SES）预测算法。在本实施例中对这些算法并没有进行改动，在此不再一一赘述。

在上述实施方式中，涉及到时序数据是否为平稳时序数据的判断，判断方式可以有很多种，在一种可选的实施方式中，选择使用是否存在单位根的方式来确定是否为平稳时序数据，其中，n次单位根是n次幂为1的复数。即确定所述指标对应的时序数据是否为平稳时序数据包括：获取所述指标对应的时序数据所对应的多项式，其中，所述多项式用于在时间上表示所述所述指标对应的时序数据；根据所述多项式是否存在单位根确定所述时序数据是否为平稳时序数据。

在实际应用中，可以采用多种算法来对单位根进行检验，例如，可以采用ADF检验算法，或者也可以采用DF-GLS检验算法或者也可以采用KPSS检验算法。其中，ADF全称为Augmented Dickey-Fuller Testing是最常用的单位根检验方法之一，通过检验序列是否存在单位根来判断序列是否是平稳的。DF-GLS检验算法是一种单位根检验方法，全称Dickey-Fuller Test with GLS Detredding，即“使用广义最小二乘法去除趋势的检验”，是目前最有功效的单位根检验。KPSS是检验数据平稳性的统计检验方法，其全称为Kwiatkowski–Phillips–Schmidt–Shin。当然也可以采用其他算法来判断时序数据是否平稳，例如，采用统计法、图形分析法等，在此不再一一赘述。

在上述实施方式中，是根据真实值与预测值的比较来确定第一时序数据是否出现异常的，因此，预测值的准确度高低对异常判断的准确性会带来直接的影响。为了提高异常判断的准确度，在一个可选实施方式中，还可以引入一个缩放比例来对预测值进行调整。即根据所述真实值与所述预测值的比较结果确定是否出现异常的步骤可以包括：在所述指标为正向指标的情况下，如果所述真实值小于所述预测值与缩放比例的乘积，则确定出现异常；在所述指标为反向指标的情况下，如果所述真实值大于所述预测值与缩放比例的乘积，则确定出现异常；其中，所述缩放比例是预先确定的。

确定缩放比例的方式可以有很多种，例如可以根据经验值来确定缩放比例。或者也可以根据预测值和真实值之间的关系来确定缩放比例。例如，对正向指标而言，选取合适的缩放比例

，保证所述指标对应的时序数据中

的数据点占总数据点的比例不超过预定百分比0.1%。对反向指标而言，即选取合适的缩放比例

，保证所述指标对应的时序数据中

的数据点占总数据点的比例不超过所述预定百分比，所述预定百分比一个优选值为0.1%。通过这种方式来选择出合适的缩放比例，进一步提高异常判断结果的准确性。

在根据上述实施方式中的方案确定出现异常之后，可以发送告警。在一个可选的方式中，还可以设置不同的告警级别，这样更加有利于维护人员进行及时的应对和处理。告警级别可以根据真实值与预测值之间的偏离程度来决定的。即根据所述真实值与所述预测值和缩放比例的乘积之间的偏离程度，确定发出告警的级别；根据所述级别发送对应的告警。通过该可选方式可以根据发生异常的不同程度触发不同的告警信息，提高了维护的便利性。例如，如果真实值和预测值之间差距在第一百分比范围内（如小于5%），则可以发送第一级别的告警信息，该第一级别的告警信息用于指示当前指标出现了异常，但是该异常不会带来严重后果，暂时不需要维护人员的介入；如果真实值和预测值差距在第二百分比范围内（如大于等于5%小于等于10%），则发送第二级别的告警信息，第二级别的告警信息用于指示当前指标的异常需要进行持续观察，如果连续出现多次第二级别的告警信息，则需要维护人员介入处理；如果真实值和预测值差距在第三百分比范围内（如大于10%），则发送第三级别的告警信息，第三级别的告警信息用于指示当前指标出现异常需要维护人员介入处理，即只要第三级别的告警信息出现一次，就需要维护人员介入处理。通过设置这三类别的告警信息可以明确在什么情况下需要维护人员介入，提高了告警信息的针对性，有利于维护人员的介入维护。

上文中论述了对于周期性数据如何来判断是否是否出现异常。对于非周期性数据，可以通过查找时序数据中出现的突增、突减、突刺和漂移等异常情况来确定第一时序数据中出现了异常。检测这些异常情况可以根据时序数据之间的差值来是否时序数据之间突然发生变化。

在另一可选实施方式中，考虑到如果时序数据中出现突增、突减、突刺和漂移等异常情况时，出现突增、突减、突刺和漂移等异常情况的子序列就会呈现出与该时序数据构成的序列所不同的特征。因此，可以考虑通过检测子序列shapelet的方式来确定时序数据是否出现异常。

shapelet是一段时间序列数据中的某个子序列，这个子序列是这段时间序列数据的最显著的特点，shapelet和趋势分量、周期分量一样，也可以理解为是时序数据本身的一种特别的分量。在引入shapelet之后，根据所述第二判断模式判断所述第一时序数据是否出现异常包括：根据所述第一时序数据得到所述第一时序数据对应的第一子序列shapelet，其中，所述第一shapelet为所述第一时序数据中连续的部分数据构成的子序列，所述第一shapelet用于体现所述第一时序数据的特征；将所述第一shapelet输入到预先训练的分类器中，得到所述第一shapelet对应的类型；其中，所述分类器使用多组训练数据通过机器学习训练得到的，所述多组训练中的每一组训练数据均包括：从第二时序数据中提取到shapelet以及该第二时序数据对应的异常类型；所述第二时序数据均是历史上采集得到的所述指标对应的数据；根据所述第一shapelet对应的类型确定所述第一时序数据是否出现异常。

在该可选方式中，可以根据历史数据中提取到的shapelet与发生的异常类型进行训练得到一个分类器，在对第一时序数据进行检测得到shapelets之后就可以将检测得到的shapelets放入到分类器中从而得到异常类型。这种处理方式对计算资源消耗较少，能够提高检测效率。

在根据第一时序数据检测到发生的异常类型之后，可以根据异常类型确定告警的级别，然后根据告警的级别来发送对应的告警信息。

在上述实施方式中，面对大规模云网络下的各类别时序数据的故障发现场景，提出了通过时序周期性和平稳性分类来区分时序数据类别，分别用不同的方案来进行异常发现。在周期性的时序数据做预测和非周期性的时序数据做异常检测的两种不同的故障发现的方法下，统一输出了告警，并通过故障告警分级实现了告警准确性的提升。在上述实施方式中，需要区分所述指标对应的时序数据是否为周期数据。区分的方式有很多种，在一个可选方式中，确定所述指标对应的时序数据是否为周期性数据可以包括如下步骤：获取所述指标对应的时序数据；将所述指标对应的时序数据分为多个部分，其中，所述多个部分中的每个部分的时序数据均对应一条曲线；在多条曲线之间两两相似度均高于阈值的情况下，确定所述指标对应的时序数据为周期性数据。上述步骤可以使用动态时间规整算法（Dynamic Time Warping，简称为DTW）来实现，在DTW算法中使用了序列间的最小距离来表达曲线之间的相似度。

在上述实施方式中，搭建了从周期性平稳性分类到周期时序预测以及非周期时序异常检测的一整套时序数据异常发现按按，实现了多种类别时序指标异常发现的闭环。相比于相关技术，上述实施方式可以有效地覆盖云网络时序指标故障发现业务中的长尾场景，减少了误报告警，提升运维效率。

下面结合图2对本实施例中的一个例子进行说明。图2是根据本申请实施例的时序处理异常发现的整体示意图，如图2所示，对于时序指标（即指标）对应的时序数据进行周期性检测和平稳性检测，将指标分为周期平稳指标、周期不平稳指标、非周期平稳指标和非周期不平稳指标。对于周期平稳指标对应的时序数据进行时序预测得到预测值，对于周期不平稳指标对应的时序数据进行包络线提取，根据对包络线进行时序预测得到预测值，然后根据预测值和实际值确定是否异常并对出现的异常进行告警。对于非周期平稳指标和非周期不平稳指标通过分类模型进行异常检测，然后根据检测到的异常进行告警。运维人员在接收到告警信息之后可以根据告警信息判断检测到异常是否正确，然后将结果进行反馈，其中，对于周期性指标该反馈结果用于预测参数的优化，对于非周期性指标该反馈结果作为训练数据对分类模型进行训练。下面对图2中涉及到的流程步骤进行说明。

步骤1：对指标的时序数据进行周期性检测。

在该步骤中，为了对时序指标进行针对性的处理，通过周期性检测算法把时间序列数据划分为有周期和无周期两种类别。周期性检测采用了DTW时域检测算法，通过动态规划求解序列间的最小距离，通过最小距离确定是否为周期性时间序列数据。其中，将时间序列数据划分为多个部分，将多个部分中的每个部分看作是一条曲线，然后对于任意两条曲线求解这两条曲线之间的最小距离（即两个部分序列之间的最小距离，该最小距离用于标识两条曲线的相似度），判断求解得到的最小距离是否均在阈值范围之内，如果在，则说明任意两条曲线的相似度均很高，则该时间序列数据为周期性时序数据。

步骤2：对时序数据进行平稳性检测。为了减少指标突刺对预测带来的影响，减少误报，通过平稳性检测算法对时间序列划分为平稳和非平稳两种类别。平稳性检测算法有很多种，例如，平稳性检测可以采用ADF检测或KPSS检验算法。在该步骤中，为了提高算法的效率，可以对时序数据进行降采样（即从时序数据中进行采样，采样得到的数据比原时序数据少），通过降采样后用ADF或KPSS去进行平稳性的判别。当然，也可以直接使用时序数据用ADF或KPSS算法进行平稳性的判别。为了提高平稳性检测的准确率，对时序数据可以分别采用两种算法进行平稳性判别，如果两种算法均认为该时序数据为平稳性数据则确定该时序数据为平稳性数据；如果两种算法中的一种认为该时序数据为非平稳性数据则确定该时序数据为非平稳性数据。

步骤3：对周期不平稳时序数据进行包络提取。在该步骤中，通过包络的方式可以在一定程度上消除时序数据的不平稳所带来的影响。

由于不平稳的时序指标会有不规律的上下抖动，在该步骤中可以采用滑动窗口中的最大值和最小值作为提取的包络的边界，需要说明的是，如果提取到的最大值和最小值数量比较少，可以进行插值操作以增加最大值和最小值的数量，然后根据插值之后的最大值和最小值进行拟合（拟合是根据多个点来生成线的操作，可以采用现有的拟合算法来进行，在此不再赘述）。通过上述插值拟合之后，得到周期不平稳时序数据的上下包络线。

按照时序指标对应的时序数据的业务含义将其区分为正向指标和反向指标，其中正向指标表示通常数值需要大于0才正常的指标，比如网络流量，带宽等；反向指标则表示通常数值需要等于0才正常的指标，比如丢包数等。其中，正向指标，即网络正常运行情况下，该时序指标数据应大于0，异常情况下，会出现时序指标数据下降的情况，例如流量指标、数据包指标等；反向指标，即网络正常运行情况下，该时序指标数据应为0，或者处于较低水平，异常情况下，会出现时序指标数据上升的情况，例如丢包指标、时延指标、计算机内存使用率指标、CPU使用率指标等。

正向指标通过下包络来代表该周期不平稳的时序数据，反向指标通过上包络来代表该周期不平稳的时序数据。

步骤4：对于周期平稳时序指标，直接使用已经采集到的时序数据本身对其未来走势预测以得到预测值，需要说明的是，该预测值是根据正常情况下做出的预测，即该预测值代表在未出现异常的情况下的正常值。对于周期不平稳时序指标，预测其包络线的走势。

在该步骤中，可以对数据线与包络线进行季节分解，得到趋势分量T和周期分量C，然后根据数据线和包络线的趋势分量和周期分量进行预测，即可以得到预测值。进行预测可以使用现有的预测方法进行预测。即在该步骤中可以将包络线通过季节分解（Seasonaldecompose）算法进行季节趋势的粗略抽取，然后通过ARIMA算法进行趋势预测，最后得到预测基线指标（即预测值）。

步骤5：对于周期平稳和周期不平稳时序指标，选取合适的缩放比例a，将其预测值和真实值进行比较。预测值是根据在T时刻之前采集到的数据预测得到的T时刻的值，真实值是在T时刻真实采集到的数据的值。

若时序指标是正向指标，当真实值 < 预测值 * a时，产生指标下跌告警事件。

若时序指标是反向指标，当真实值 * a > 预测值 时，产生指标上涨告警事件，其中，a为缩放比例。

缩放比例可以由真实数据与预测数据之间的关系决定。对正向指标而言，即选取合适的缩放比例，保证时序指标中的数据点占总数据点的比例不超过0.1%；对反向指标而言，即选取合适的缩放比例，保证时序指标中的数据点占总数据点的比例不超过0.1%。

步骤6：对于非周期时序指标（包括平稳和非平稳），主要是检测陡跌、漂移等异常情况，然后对这些异常情况进行告警。为了提高计算效率，可以通过检测时序数据中的时序片段（即shapelet）来检测该时序数据是否出现了陡跌、漂移等异常情况。检测shapelet的方式有很多种，在本步骤中，采用Time2Graph检测方法来提取shapelet，得到每个时序片段shapelet的特征向量后，通过训练的分类器来判断该shapelet所在的时序数据是否出现异常。

Time2Graph是一种将时序转化为图用于可解释可推理的异常检测算法，在该算法中，首先将时序数据分为多个片段，然后从多个片段中选择出候选片段（例如可以通过聚类算法进行根据片段与时序数据的距离进行聚类，选择聚类中心的片段作为候选片段），然后对所有的候选片段进行打分，选择分数高的候选片段作为shapelet。

步骤7：对于步骤5中真实值和预测值的偏离程度，发出对应级别的告警。对于Step6中的异常类型，发出对应的级别的告警。

步骤8：对于通过预测值发出的告警，人工进行标注反馈（即人工可以标注该根据真实值和预测值做出的告警是否正常），用于对步骤5中时序预测的缩放比例a参数进行动态优化。对于通过分类模型发出的告警，人工可以标注出现异常的时序数据所对应的异常类型，然后将标注好的数据作为训练数据对步骤6中的分类器模型进行迭代训练。

通过上述例子，采用时序周期性检测和平稳性检测的方法将时序数据划分成了周期平稳、周期非平稳、非周期平稳和非周期非平稳4个类别，分别采用不同的方法去做时序指标的故障检测和判别，使得整体故障判定的普适性更高，显著减少了误报警的情况。对告警的结果进行人工打标反馈，用于提升预测指标的参数优化以及异常检测算法的模型迭代，使得在实际运行过程中不断迭代优化参数，进一步收敛误告警数。

在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。

上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。

该本实施例中就提供了这样的一种装置。该装置被称为一种基于时序数据的异常处理装置，包括：采集模块，用于对待监控的指标当前对应的数据进行采集，得到第一时序数据，其中，所述第一时序数据是采集到的所述指标对应的随时间变化的数据；确定模块，用于确定所述指标对应的时序数据是否为周期性数据；第一判断模块，用于在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常；第二判断模块，用于在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常；其中，所述第一判断模式和所述第二判断模式不同。

该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。

可选地，所述第一判断模块包括：获取单元，用于获取所述指标对应的时序数据在周期内的走势，其中，所述周期为所述指标对应的时序数据的周期；确定单元，用于根据真实值与预测值的比较结果确定是否出现异常，其中，所述预测值是对预定时刻之前已经采集到的时序数据根据所述走势进行预测得到的预定时刻的值，所述真实值是根据在所述预定时刻真实采集到的时序数据得到的值。

可选地，所述获取单元用于确定所述指标对应的时序数据是否为平稳时序数据；在所述指标对应的时序数据为平稳时序数据的情况下，获取所述指标对应的时序数据的数据线在所述周期内的走势，其中，所述数据线用于指示所述周期内时序数据本身的走势，所述预测值为预测得到的所述预定时刻的时序数据本身的值，所述真实值是所述预定时刻采集到的时序数据本身的值；在所述指标对应的时序数据为非平稳时序数据的情况下，获取所述指标对应的时序数据的包络线在所述周期内的走势；其中，所述包络线是根据时序数据的极值生成的，所述包络线用于指示所述周期内时序数据的极值的走势；所述预测值是预测得到的所述预定时刻的包络线上的值，所述真实值是根据所述预定时刻采集到的时序数据计算得到的包络线上的值。

可选地，根据时序数据的极值生成所述包络线包括：配置滑动窗口按照预定步长在所述时序数据上进行移动；获取所述滑动窗口每移动一次得到的所述滑动窗口内的极值；根据得到的所有极值生成所述包络线。

可选地，在所述指标为正向指标的情况下，所述包络线是根据滑动窗口内的最小值得到的；在所述指标为反向指标的情况下，所述包络线是根据滑动窗口内的最大值得到的；所述正向指标为在异常情况下该指标对应的数据会出现下降的指标，所述反向指标为在异常情况下该指标对应的数据会出现上升的指标。

可选地，所述获取单元用于获取所述指标对应的时序数据所对应的多项式，其中，所述多项式用于在时间上表示所述所述指标对应的时序数据；根据所述多项式是否存在单位根确定所述时序数据是否为平稳时序数据。

可选地，所述确定单元用于在所述指标为正向指标的情况下，如果所述真实值小于所述预测值与缩放比例的乘积，则确定出现异常；在所述指标为反向指标的情况下，如果所述真实值大于所述预测值与缩放比例的乘积，则确定出现异常；其中，所述缩放比例是预先确定的，所述正向指标为在异常情况下该指标对应的数据会出现下降的指标，所述反向指标为在异常情况下该指标对应的数据会出现上升的指标。

可选地，在确定出现所述异常之后，还包括：发送模块，用于根据所述真实值与所述预测值和缩放比例的乘积之间的偏离程度，确定发出告警的级别；根据所述级别发送对应的告警。

可选地，所述第二判断模块用于：根据所述第一时序数据得到所述第一时序数据对应的第一子序列shapelet，其中，所述第一shapelet为所述第一时序数据中连续的部分数据构成的子序列，所述第一shapelet用于体现所述第一时序数据的特征；将所述第一shapelet输入到预先训练的分类器中，得到所述第一shapelet对应的类型；其中，所述分类器使用多组训练数据通过机器学习训练得到的，所述多组训练中的每一组训练数据均包括：从第二时序数据中提取到shapelet以及该第二时序数据对应的异常类型；所述第二时序数据均是历史上采集得到的所述指标对应的数据；根据所述第一shapelet对应的类型确定所述第一时序数据是否出现异常。

可选地，所述确定模块用于获取所述指标对应的时序数据；将所述指标对应的时序数据分为多个部分，其中，所述多个部分中的每个部分的时序数据均对应一条曲线；在多条曲线之间两两相似度均高于阈值的情况下，确定所述指标对应的时序数据为周期性数据。

通过上述实施例解决了相关技术中将所有指标对应的时序数据均按照周期性数据进行异常判断所导致的问题，进而可以有效地覆盖在云网络中各种指标对应的异常，减少了误报告警数，提升运维效率。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于时序数据的异常处理方法，包括：

对待监控的指标当前对应的数据进行采集，得到第一时序数据，其中，所述第一时序数据是采集到的所述指标对应的随时间变化的数据；

确定所述指标对应的时序数据是否为周期性数据；

在所述指标对应的时序数据为周期性数据的情况下，根据第一判断模式判断所述第一时序数据是否出现异常；

在所述指标对应的时序数据为非周期性数据的情况下，根据第二判断模式判断所述第一时序数据是否出现异常；其中，所述第一判断模式和所述第二判断模式不同。

2.根据权利要求1所述的方法，其中，根据所述第一判断模式判断所述第一时序数据是否出现异常包括：

获取所述指标对应的时序数据在周期内的走势，其中，所述周期为所述指标对应的时序数据的周期；

根据真实值与预测值的比较结果确定是否出现异常，其中，所述预测值是对预定时刻之前已经采集到的时序数据根据所述走势进行预测得到的预定时刻的值，所述真实值是根据在所述预定时刻真实采集到的时序数据得到的值。

3.根据权利要求2所述的方法，其中，获取所述指标对应的时序数据在周期内的走势包括：

确定所述指标对应的时序数据是否为平稳时序数据；

在所述指标对应的时序数据为平稳时序数据的情况下，获取所述指标对应的时序数据的数据线在所述周期内的走势，其中，所述数据线用于指示所述周期内时序数据本身的走势，所述预测值为预测得到的所述预定时刻的时序数据本身的值，所述真实值是所述预定时刻采集到的时序数据本身的值；

在所述指标对应的时序数据为非平稳时序数据的情况下，获取所述指标对应的时序数据的包络线在所述周期内的走势；其中，所述包络线是根据时序数据的极值生成的，所述包络线用于指示所述周期内时序数据的极值的走势；所述预测值是预测得到的所述预定时刻的包络线上的值，所述真实值是根据所述预定时刻采集到的时序数据计算得到的包络线上的值。

4.根据权利要求3所述的方法，其中，根据时序数据的极值生成所述包络线包括：

配置滑动窗口按照预定步长在所述时序数据上进行移动；

获取所述滑动窗口每移动一次得到的所述滑动窗口内的极值；

根据得到的所有极值生成所述包络线。

5.根据权利要求4所述的方法，其中，在所述指标为正向指标的情况下，所述包络线是根据滑动窗口内的最小值得到的；在所述指标为反向指标的情况下，所述包络线是根据滑动窗口内的最大值得到的；所述正向指标为在异常情况下该指标对应的数据会出现下降的指标，所述反向指标为在异常情况下该指标对应的数据会出现上升的指标。

6.根据权利要求3至5中任一项所述的方法，其特征在于，确定所述指标对应的时序数据是否为平稳时序数据包括：

获取所述指标对应的时序数据所对应的多项式，其中，所述多项式用于在时间上表示所述所述指标对应的时序数据；

根据所述多项式是否存在单位根确定所述时序数据是否为平稳时序数据。

7.根据权利要求2至5中任一项所述的方法，其中，根据所述真实值与所述预测值的比较结果确定是否出现异常包括：

在所述指标为正向指标的情况下，如果所述真实值小于所述预测值与缩放比例的乘积，则确定出现异常；

在所述指标为反向指标的情况下，如果所述真实值大于所述预测值与缩放比例的乘积，则确定出现异常；其中，所述缩放比例是预先确定的，所述正向指标为在异常情况下该指标对应的数据会出现下降的指标，所述反向指标为在异常情况下该指标对应的数据会出现上升的指标。

8.根据权利要求7所述的方法，其中，在确定出现所述异常之后，所述方法还包括：

根据所述真实值与所述预测值和缩放比例的乘积之间的偏离程度，确定发出告警的级别；

根据所述级别发送对应的告警。

9.根据权利要求1至5中任一项所述的方法，其中，根据所述第二判断模式判断所述第一时序数据是否出现异常包括：

根据所述第一时序数据得到所述第一时序数据对应的第一shapelet，其中，所述第一shapelet为所述第一时序数据中连续的部分数据构成的子序列，所述第一shapelet用于体现所述第一时序数据的特征；

将所述第一shapelet输入到预先训练的分类器中，得到所述第一shapelet对应的类型；其中，所述分类器使用多组训练数据通过机器学习训练得到的，所述多组训练中的每一组训练数据均包括：从第二时序数据中提取到shapelet以及该第二时序数据对应的异常类型；所述第二时序数据均是历史上采集得到的所述指标对应的数据；

根据所述第一shapelet对应的类型确定所述第一时序数据是否出现异常。

10.根据权利要求1至5中任一项所述的方法，其中，确定所述指标对应的时序数据是否为周期性数据包括：

获取所述指标对应的时序数据；

将所述指标对应的时序数据分为多个部分，其中，所述多个部分中的每个部分的时序数据均对应一条曲线；

在多条曲线之间两两相似度均高于阈值的情况下，确定所述指标对应的时序数据为周期性数据。

11.一种网络设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1至10任一项所述的方法步骤。

12.一种可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1至10任一项所述的方法步骤。

Images