CN112565227B - 异常任务的检测方法和装置 - Google Patents

Abstract

本发明提供一种异常任务的检测方法和装置，所述方法包括：根据数据处理系统中的各网络节点所属的层级和各网络节点与入口节点之间的最短路径，确定各网络节点的权重，将各网络节点的权重相加得到入口节点的权重，根据入口节点的权重和入口节点的平均耗时得到入口节点的高耗时指标，根据高耗时指标进行异常任务检测。通过上述方法计算得到的高耗时指标相比于平均耗时能够更加准确的反映异常任务，增加异常的可信度，以高耗时任务指标为参数确定异常任务，提高了异常任务确定的准确性。

Description

异常任务的检测方法和装置

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种异常任务的检测方法和装置。

背景技术

金融交易系统对于网络系统的稳定性和安全性的要求较高，当系统内出现异常交易时可能导致交易失败等其他风险。因此，需要对金融交易系统进行监测。

现有技术中，可以通过获取监测周期内的交易的平均耗时，对交易的平均耗时进行时间序列的建模，形成交易的平均耗时的时间序列曲线，根据该曲线得到当前时间的预测平均耗时，根据当前时间的实际平均耗时和该预测平均耗时，判断当前时间内是否存在异常交易。

但是，交易的平均耗时可能由于交易量的不稳定发生明显波动，且平均算法会产生信息丢失，无法准确定位异常指标，例如，交易的平均耗时可能是由于单笔交易的高耗时造成，也可能是由于大量的普通交易造成，而交易的平均耗时无法反应这一特性，从而导致，基于交易的平均耗时确定的异常交易不准确。

发明内容

本发明提供一种异常任务的检测方法和装置，能够提高异常任务检测的准确性。

本发明第一方面提供一种异常任务的检测方法，应用于数据处理系统，所述数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，所述方法包括：

根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重；

将各所述网络节点的权重相加得到所述入口节点的权重；

根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，所述入口节点的平均耗时是指所述入口节点处理任务的平均耗时；

根据所述高耗时指标进行异常任务检测。

可选的，所述根据所述高耗时指标进行异常任务检测，包括：

根据所述高耗时指标计算高耗时任务的历史异常密度，所述历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值；

确定目标检测周期内的处理耗时大于所述高耗时指标的第一任务的数量；

根据所述历史异常密度、所述第一任务的数量以及所述目标检测周期内任务的总数量，确定所述目标检测周期内发生高耗时任务的累计概率密度；

当所述累计概率密度小于累计概率密度阈值时，确定所述目标检测周期内发生异常任务。

可选的，所述方法还包括：

根据所述高耗时指标，获取第一时长包括的各检测周期内的历史累计概率密度，所述第一时长位于所述目标检测周期之前，所述第一时长内包括多个检测周期；

根据所述第一时长包括的各检测周期内的异常标识，确定所述第一时长内没有发生异常的检测周期，所述异常标识用于标识检测周期内是否发生异常；

从所述没有发生异常的检测周期中确定最小历史累计概率密度，所述最小历史累计概率密度为所述累计概率密度阈值。

可选的，所述根据所述高耗时指标计算历史异常密度，包括：

确定第二时长内处理耗时大于所述高耗时指标的高耗时任务的数量；

计算所述高耗时任务的数量与所述第二时长内的任务总数量的比值，得到所述历史异常密度。

可选的，所述根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点的最短路径，确定各所述网络节点的权重，包括：

根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重。

可选的，所述根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重，包括：

根据如下公式计算所述网络节点的权重：

其中，x_i表示所述网络节点的权重，i表示所述网络节点在所述最短路径中距离所述入口节点的步长，α表示网络节点所属层级的参数，i大于或等于1。

可选的，所述根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，包括：

将所述入口节点的权重和所述入口节点的平均耗时相乘，得到所述入口节点的高耗时指标。

可选的，所述根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重之前，还包括：

将所述数据处理系统中不同层级的节点转换到同一个层级，得到所述数据处理系统对应的拓扑结构图，所述拓扑结构图中的相邻两个节点通过边连接，每条边具有权重，每个节点具有层级标识；

基于所述拓扑结构图，计算各所述网络节点与所述入口节点之间的最短路径。

本发明第二方面提供一种异常任务的检测装置，所述装置用于对数据处理系统中的网络节点进行异常任务检测，所述数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，所述装置包括：

第一确定模块，用于根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重；

第二确定模块，用于将各所述网络节点的权重相加得到所述入口节点的权重；

第三确定模块，用于根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，所述入口节点的平均耗时是指所述入口节点处理任务的平均耗时；

异常检测模块，用于根据所述高耗时指标进行异常任务检测。

可选的，所述异常检测模块具体用于：

根据所述高耗时指标计算高耗时任务的历史异常密度，所述历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值；

确定目标检测周期内的处理耗时大于所述高耗时指标的第一任务的数量；

根据所述历史异常密度、所述第一任务的数量以及所述目标检测周期内任务的总数量，确定所述目标检测周期内发生高耗时任务的累计概率密度；

当所述累计概率密度小于累计概率密度阈值时，确定所述目标检测周期内发生异常任务。

可选的，还包括第四确定模块，用于：

根据所述高耗时指标，获取第一时长包括的各检测周期内的历史累计概率密度，所述第一时长位于所述目标检测周期之前，所述第一时长内包括多个检测周期；

根据所述第一时长包括的各检测周期内的异常标识，确定所述第一时长内没有发生异常的检测周期，所述异常标识用于标识检测周期内是否发生异常；

从所述没有发生异常的检测周期中确定最小历史累计概率密度，所述最小历史累计概率密度为所述累计概率密度阈值。

可选的，所述异常检测模块具体用于：

确定第二时长内处理耗时大于所述高耗时指标的高耗时任务的数量；

计算所述高耗时任务的数量与所述第二时长内的任务总数量的比值，得到所述历史异常密度。

可选的，所述第一确定模块具体用于：

根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重。

可选的，所述根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重，包括：

根据如下公式计算所述网络节点的权重：

其中，x_i表示所述网络节点的权重，i表示所述网络节点在所述最短路径中距离所述入口节点的步长，α表示网络节点所属层级的参数，i大于或等于1。

可选的，所述第三确定模块具体用于：

将所述入口节点的权重和所述入口节点的平均耗时相乘，得到所述入口节点的高耗时指标。

可选的，还包括第五确定模块，用于：

将所述数据处理系统中不同层级的节点转换到同一个层级，得到所述数据处理系统对应的拓扑结构图，所述拓扑结构图中的相邻两个节点通过边连接，每条边具有权重，每个节点具有层级标识；

基于所述拓扑结构图，计算各所述网络节点与所述入口节点之间的最短路径。

本发明第三方面提供一种电子设备，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如本发明第一方面以及任一可选方式所述的方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本发明第一方面以及任一可选方式所述的方法。

本发明第五方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面以及任一可选方式所述的方法。

本发明提供异常任务的检测方法和装置，根据数据处理系统中的各网络节点所属的层级和各网络节点与入口节点之间的最短路径，确定各网络节点的权重，将各网络节点的权重相加得到入口节点的权重，根据入口节点的权重和入口节点的平均耗时得到入口节点的高耗时指标，根据高耗时指标进行异常任务检测。通过上述方法计算得到的高耗时指标相比于平均耗时能够更加准确的反映异常任务，增加异常的可信度。该方法在确定异常任务时，以高耗时任务指标为参数确定异常任务，提高了异常任务确定的准确性，并且计算该高耗时指标时，根据各节点的层级关系以及各节点距离入口节点的步长，得到各节点在整个系统中的权重，根据各个节点的权重确定高耗时任务指标，使得确定的高耗时任务指标更加准确。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为数据处理系统的一种架构示意图；

图2为本发明实施例一提供的一种异常任务的检测方法的流程图；

图3为数据处理系统对应的拓扑结构图的一种示意图；

图4为本申请实施例二提供的一种异常任务的检测方法的流程图；

图5为本申请实施例三提供的累计概率密度阈值的确定方法的流程图；

图6为本发明实施例四提供的异常任务的检测装置的结构示意图；

图7为本申请实施例五提供的电子设备的一种结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

本发明提供一种异常任务的检测方法，可以应用于图1所示的数据处理系统，如图1所示，该数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，可以根据节点在系统中的功能将网络节点分层，图1所示数据处理系统中包括两个三个层级：应用层、系统层和网络层。应用层用于对客户端发起的任务进行处理，系统层用于存储任务的数据，网络层用于应用层和系统层之间的通信，例如，网络层用于应用层的多个节点之间的数据转发，或者，网络层用于应用层的节点和系统层的节点之间的数据转发。

图1所示系统中，应用层包括4个网络节点：应用服务器A、应用服务器B、应用服务器C和应用服务器D，应用服务器A作为该系统的入口节点，能够与客户端直接通信，接收客户端发送的任务处理请求，并将任务处理请求发送给连接的应用服务器B、应用服务器C和应用服务器D。本发明实施例中，将供外部客户端直接调用的网络节点称为入口节点，入口节点能够自动调用后续网络节点，例如，应用服务器A作为入口节点能够调用应用服务器B、应用服务器C和应用服务器D。

可以理解，应用服务器A也可以具有任务处理功能，即应用服务器A也能够对部分任务进行处理。其中，应用服务器B、应用服务器C和应用服务器D可以分别处理不同的任务，也可以处理相同的任务，本实施例不对此进行限制。

系统层包括数据库(Data Base，简称DB)、缓存服务器和文件存储服务器等。

网络层包括网关、路由器和交换机等，网络层在图中以连接线表示，可以理解连接线用于表示网络层的功能。

上述数据处理系统可以是金融交易系统，相应的，任务可以为金融交易，如电子支付、电子转账、证券购买等。当然，数据处理系统可以不限于金融交易系统，还可以是账务管理系统、风险评估系统、数据存储系统等，在不同的系统中，对应不同的任务。

现有技术中，通过计算网络节点上处理的任务的平均耗时，根据任务的平均耗时判断网络节点上是否发生了异常任务。

一方面，在不同时间段网络节点上处理的任务量不同，例如，白天的任务量远大于晚上的任务量，工作日的任务量远大于节假日的任务量，由于不同时间段的任务量的差异较大，导致不同时间段的平均耗时波动较大，采用统一的平均耗时指标，会产生很多误判或者漏掉一些异常任务。

另一方面，在时间粒度较小的场景下，例如，在秒级粒度的场景下，每秒钟的任务量非常少，也会导致任务的平均耗时波动明显。

又一方面，在平均耗时的算法处理中，当异常发生时，无法获取当前异常是由一个超高耗时的异常任务导致，还是由多个较高耗时的异常构成，这种异常细节的丢失，会导致无法准确判断当前的异常状态。

所以，基于任务的平均耗时的异常任务检测方法，检测结果不准确。为了解决现有技术的问题，本发明实施例提供一种异常任务的检测方法，该方法定义了高耗时指标，用于判断某个任务是否为高耗时任务，并且结合高耗时任务占比，将统计变量数据转换成了一个纯粹的泊松分布变量，即将任务的耗时转换为单位时间内发生高耗时任务的概率，根据单位时间内发生高耗时任务的概率确定是否发生高耗时的异常任务，从而能够提高异常任务检测的准确率。

本发明中引入了高耗时指标和任务异常密度。其中，高耗时指标用于判断某个任务是否为高耗时任务的标准。高耗时任务的异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值，高耗时任务的异常密度也称为高耗时任务占比。

本发明中将处理耗时大于该高耗时指标的任务称为高耗时任务，高耗时任务也可以认为是异常任务，所以，高耗时任务占比称为高耗时任务的异常密度。

图1所示数据处理系统的层级关系从低到高依次为：网络层、系统层和应用层。在该系统中，靠近底层的网络节点一旦发生异常，其必然会带来全局的影响，靠近顶层的网络节点发生异常后，影响范围则较窄。另外，距离入口节点越近的网络节点发生异常时影响到的网络节点越少，距离入口节点越远的网络节点发生异常时影响的网络节点会越多。因此，本发明中在计算高耗时指标时考虑了节点的层级关系以及节点距离入口节点的步长。

基于图1所示的数据处理系统，本发明实施例一提供一种异常任务的检测方法，图2为本发明实施例一提供的一种异常任务的检测方法的流程图，如图2所示，本实施例提供的方法可以包括如下步骤。

S101、根据数据处理系统中的各网络节点所属的层级和各网络节点与入口节点之间的最短路径，确定各网络节点的权重。

可选的，在步骤S101之前，需要获取各网络节点与入口节点之间的最短路径以及各网络节点所属的层级。示例性的，将数据处理系统中不同层级的节点转换到同一个层级，得到该数据处理系统对应的拓扑结构图，该拓扑结构图中的相邻两个节点通过边连接，每条边具有权重，每个节点具有层级标识，基于该拓扑结构图，计算各网络节点与入口节点之间的最短路径。通过将网络节点转换以及分层，便于计算各网络节点的最短路径。

示例性的，可以采用Dijkstra算法(迪杰斯特拉算法)计算各网络节点与入口节点之间的最短路径。Dijkstra算法思想：设G＝(V,E)是一个带权有向图，把图中顶点集合V分成两组，第一组为已求出最短路径的顶点集合(用S表示，初始时S中只有一个源点，以后每求得一条最短路径,就将加入到集合S中，直到全部顶点都加入到S中，算法就结束了)，第二组为其余未确定最短路径的顶点集合(用U表示)，按最短路径长度的递增次序依次把第二组的顶点加入S中。在加入的过程中，总保持从源点v到S中各顶点的最短路径长度不大于从源点v到U中任何顶点的最短路径长度。此外，每个顶点对应一个距离，S中的顶点的距离就是从v到此顶点的最短路径长度，U中的顶点的距离，是从v到此顶点只包括S中的顶点为中间顶点的当前最短路径长度，E表示每条表的长度或者称为权重。

图3为数据处理系统对应的拓扑结构图的一种示意图，如图3所示，该拓扑结构图中包括8个节点：节点a、b、c、d、e、f、g、h，节点a为入口节点，每条边的权重如图3所示。

第一步，先将节点a加入集合S，并更新节点a的距离，将集合S和节点的距离(dis)以数组方式存储为D＝(S＝{a},dis[]＝{0，∞，∞，∞，∞，∞，∞，∞)。这里以节点a的距离为0进行说明，可选的，节点a的距离也可以不是0，节点a的值可以预先定义好。

第二步，找出与集合S相邻且距离节点a最近的节点c，将节点c加入集合S，并确定节点b的最短距离为：0+150＝150，更新数据为D＝(S＝{a,c},dis[]＝{0，150，∞，∞，∞，∞，∞，∞)。

第三步，找出与集合S相邻且距离节点a最近的节点e，将节点e加入集合S，并确定节点e的最短距离为：0+150+20＝170，更新数据为D＝(S＝{a,c，e},dis[]＝{0，150，170，∞，∞，∞，∞，∞)。

第四步，找出与集合S相邻且距离节点a最近的节点d，将节点d加入集合S，并确定节点d的最短距离为：0+150+20+30＝200，更新数据为D＝(S＝{a,c，e,d},dis[]＝{0，150，170，200，∞，∞，∞，∞)。

第五步，找出与集合S相邻且距离节点a最近的节点f，将节点f加入集合S，并确定节点f的最短距离为：0+150+20+30+60＝260，更新数据为D＝(S＝{a,c，e,d,f},dis[]＝{0，150，170，200，260，∞，∞，∞)。

第六步，找出与集合S相邻且距离节点a最近的节点h，将节点h加入集合S，并确定节点h的最短距离为：0+150+20+30+60+100＝360，更新数据为D＝(S＝{a,c，e,d,f,h},dis[]＝{0，150，170，200，260，360，∞，∞)。

第七步，找出与集合S相邻且距离节点a最近的节点g，将节点g加入集合S，并确定节点g的最短距离为：0+150+20+30+200＝400，更新数据为D＝(S＝{a,c，e,d,f,h,g},dis[]＝{0，150，170，200，260，360，400，∞)。

第八步，找出与集合S相邻且距离节点a最近的节点b，将节点b加入集合S，并确定节点b的最短距离为：500，更新数据为D＝(S＝{a,c，e,d,f,h,g,b},dis[]＝{0，150，170，200，260，360，400，500)。

通过上述第一步至第八步得到节点b-h的最短路径，其中，节点的最短距离经过的路径即为从入口节点到该节点的最短路径。

以节点d和节点f为例，节点d的最短路径为：节点a→节点c→节点d，节点f的最短路径为：节点a→节点c→节点e→节点f。

本实施例中，还可以将节点所属层级的标识添加在数组中，不同层级的参数不同。

可选的，可以根据网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和当前节点之前的所有节点的权重计算当前节点的权重，直至得到该网络节点的权重。

示例性的，根据如下公式计算所述网络节点的权重：

其中，x_i表示网络节点的权重，i表示该网络节点在该最短路径中距离入口节点的步长，i大于或等于1，网络节点距离入口节点的步长是指该入口节点与网络节点之间的最短路径经过的边的条数，例如，图3所示拓扑结构图中，节点d的最短路径为：节点a→节点c→节点d，则节点d距离入口节点a的步长为2。节点f的最短路径为：节点a→节点c→节点e→节点f，则节点f距离入口节点a的步长为3。

α表示网络节点所属层级的参数，α的取值可以为0和1之间的任意取值，α可以取0和1，随着层级的增大α的取值逐渐递增。在实际生产过程中，α、x0参数需要根据网络形态复杂度等因素赋予一个初始值，α、x0参数在使用过程中可以进行修正。

以节点f为例，节点f的最短路径为：节点a→节点c→节点e→节点f，节点f距离入口节点a的步长为3，先计算节点c的权重，节点c的权重为：x₁＝α(1-α)x₀，其中，x₀为节点a的权重，x₀为预设的初始值，α为节点a所属层级的参数。然后，根据节点a和节点c的权重计算计算节点e的权重，节点e的权重为：x₂＝α(1-α)x₁+α(1-α)²x₀，其中，α(1-α)x₁中α为节点c所属层级的参数，α(1-α)²x₀中α为节点a所属层级的参数。最后，根据节点a、节点c和节点e的权重计算节点f的权重：x₃＝α(1-α)x₂+α(1-α)²x₁+α(1-α)³x₀。

S102、将各网络节点的权重相加得到入口节点的权重。

将数据处理系统中除入口节点外的所有网络节点的权重相加得到入口节点的权重。以图3所示拓扑结构图为例，将节点b、c、d、e、f、g、h的权重相加得到入口节点的权重。

S103、根据入口节点的权重和入口节点的平均耗时得到入口节点的高耗时指标，入口节点的平均耗时是指入口节点处理任务的平均耗时。

示例性的，可以将入口节点的权重和入口节点的平均耗时相乘，得到入口节点的高耗时指标。该入口节点的高耗时指标可用于作为整个系统的高耗时指标，作为判断某个任务是否为高耗时任务的标准。

高耗时指标用于判断某个任务是否为高耗时任务的标准，每个节点的平均耗时可以通过在日志中埋统计点，通过汇总日志时间并求平均得到每个节点的平均耗时，比如：经过某时刻有100笔交易数据通过某网关节点，统计出这些交易共耗时500ms，则平均耗时为5ms。

由于网络中不同位置的节点发生异常时，影响的网络节点是不同，对网络的影响也不同，所以本实施例在计算该高耗时指标时，考虑了各节点的层级关系以及各节点距离入口节点的步长，得到各节点在整个系统中的权重，根据各个节点的权重确定高耗时任务指标，使得确定的高耗时任务指标更加准确。而高耗时指标的准确性，也会进一步影响后续异常任务的检测。

S104、根据高耗时指标进行异常任务检测。

示例性的，根据该高耗时指标可以确定出任意过去时间内高耗时任务的数量，例如，确定出当前时刻之前的一个小时内网络节点a上发生的高耗时任务的数量。

基于该高耗时指标还可以计算出网络节点上的高耗时任务的历史异常密度，该历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值。或者，还可以根据高耗时指标预测当前检测周期内是否发生异常任务等。

本实施例中，根据数据处理系统中的各网络节点所属的层级和各网络节点与入口节点之间的最短路径，确定各网络节点的权重，将各网络节点的权重相加得到入口节点的权重，根据入口节点的权重和入口节点的平均耗时得到入口节点的高耗时指标，根据高耗时指标进行异常任务检测。通过上述方法计算得到的高耗时指标相比于平均耗时能够更加准确的反映异常任务，增加异常的可信度。该方法在确定异常任务时，以高耗时任务指标为参数确定异常任务，提高了异常任务确定的准确性。

图4为本申请实施例二提供的一种异常任务的检测方法的流程图，如图4所示，本实施例的方法包括以下步骤：

S201、根据数据处理系统中的各网络节点所属的层级和各网络节点与入口节点之间的最短路径，确定各网络节点的权重。

S202、将各网络节点的权重相加得到入口节点的权重。

S203、根据入口节点的权重和入口节点的平均耗时得到入口节点的高耗时指标，入口节点的平均耗时是指入口节点处理任务的平均耗时。

步骤S201-S203的具体实现方式参照实施例一中步骤S101-S103的相关描述，这里不再赘述。

S204、根据该高耗时指标计算高耗时任务的历史异常密度，该历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值。

示例性的，确定第二时长内处理耗时大于该高耗时指标的高耗时任务的数量，计算该高耗时任务的数量与第二时长内的任务总数量的比值，得到该历史异常密度。其中，高耗时任务是指处理耗时大于该高耗时指标的任务，第二时长是指当前检测周期之前的任意时间。

S205、确定目标检测周期内的处理耗时大于该高耗时指标的第一任务的数量。

S206、根据该历史异常密度、第一任务的数量以及目标检测周期内任务的总数量，确定目标检测周期内发生高耗时任务的累计概率密度。

目标检测周期可以为当前检测周期，第二时长为目前检测周期之前的任务时间，即第二时长为目标检测周期之前的历史时长，本步骤的目的是根据历史异常任务预测当前或者未来一段时间内发生高耗时任务的累计概率密度，该累计概率密度用于反映目标检测周期内发生异常任务或者高耗时任务的概率大小。

累计概率密度可以用累计概率密度函数标识，累计概率密度函数也称为累计分布函数(Cumulative Distribution Function，检测CDF)，用于描述一个随机变量的概率分布，概率分布用户描述随机变量取值的概率规律，本实施例中，该随机变量是指高耗时任务发生的概率。

累计概率密度CDF的函数公式可以为：

对于离散型随机变量，CDF的函数公式可以表示为：CDF(k，n，p)，其中，k表示目标检测周期(例如为单位时间)内的高耗时任务的总数量，n表示目标检测周期内任务的总数量，p表示历史异常密度。

S207、当目标检测周期内发生高耗时任务的累计概率密度小于累计概率密度阈值时，确定目标检测周期内发生异常任务。

本实施例中，根据高耗时指标计算高耗时任务的历史异常密度，历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值，确定目标检测周期内的处理耗时大于高耗时指标的第一任务的数量，根据历史异常密度、第一任务的数量以及目标检测周期内任务的总数量，确定目标检测周期内发生高耗时任务的累计概率密度，当累计概率密度小于累计概率密度阈值时，确定目标检测周期内发生异常任务。通过将高耗时指标转换为高耗时指标的变量，高耗时指标的变量为一个泊松分布变量，基于该变量进行异常检测，使得异常检测结果更加准确。

在实施例二的基础上，本发明实施例三提供一种累计概率密度阈值的确定方法，图5为本申请实施例三提供的累计概率密度阈值的确定方法的流程图，如图5所示，本实施例提供的方法包括以下步骤：

S301、根据高耗时指标，获取第一时长包括的各检测周期内的历史累计概率密度，该第一时长位于目标检测周期之前，该第一时长内包括多个检测周期。

S302、根据第一时长包括的各检测周期内的异常标识，确定第一时长内没有发生异常的检测周期，该异常标识用于标识检测周期内是否发生异常。

例如，第一时长为过去30天，以每个小时为一个检测周期，共有720个检测周期，根据高耗时指标，分别得到720历史累计概率密度。每个检测周期内会处理多个任务，检测周期内的任务是否为异常任务，可以由运维人员人工进行标注，也可以由机器进行标注，当某个检测周期内发生了至少一个异常任务，则该检测周期的异常标识用于表示发生了异常，如果某个检测周期内没有发生异常任务，则不为该检测周期添加异常标识，或者，该检测周期的异常标识用于表示没有发生异常。

可以理解，在计算累计概率密度阈值过程中检测周期是否为异常周期由运维人员标注，在计算得到累计概率密度阈值后，后续时间段的异常状态可以采用实施例二所述的方法进行识别，这里不再赘述。

S303、从该没有发生异常的检测周期中确定最小历史累计概率密度，该最小历史累计概率密度为累计概率密度阈值。

从第一时长包括的多个检测周期内确定出没有发生异常的检测周期，从没有发生异常的检测周期中确定历史累计概率密度的最小值，将最小历史累计概率密度确定为累计概率密度阈值，该最小历史累计概率密度为没有发生异常任务的检测周期的概率密度，相应的，将该最小历史累计概率密度作为累计概率目的阈值之后，如果某个检测周期内高耗时任务的累计概率密度小于该累计概率密度阈值，则该检测周期内发生异常任务的概率非常小，可以认为不会发生异常任务。

本实施例中，由于累计概率密度阈值取了没有发生异常任务的检测周期的历史累计概率密度的最小值，该最小值是根据真实的历史数据得到，从而能够保证该累计概率密度阈值的真实性和准确性，后续当某个检测周期的累计概率密度小于该累计概率密度阈值时，该检测周期发生异常任务的概率非常小，从而能够避免由于累计概率密度阈值不准确，导致的异常任务误判。

图6为本发明实施例四提供的异常任务的检测装置的结构示意图，所述装置用于对数据处理系统中的网络节点进行异常任务检测，所述数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，如图6所示，所述装置包括：

第一确定模块11，用于根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重；

第二确定模块12，用于将各所述网络节点的权重相加得到所述入口节点的权重；

第三确定模块13，用于根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，所述入口节点的平均耗时是指所述入口节点处理任务的平均耗时；

异常检测模块14，用于根据所述高耗时指标进行异常任务检测。

可选的，所述异常检测模块14具体用于：

根据所述高耗时指标计算高耗时任务的历史异常密度，所述历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值；

确定目标检测周期内的处理耗时大于所述高耗时指标的第一任务的数量；

根据所述历史异常密度、所述第一任务的数量以及所述目标检测周期内任务的总数量，确定所述目标检测周期内发生高耗时任务的累计概率密度；

当所述累计概率密度小于累计概率密度阈值时，确定所述目标检测周期内发生异常任务。

可选的，还包括第四确定模块，用于：

根据所述高耗时指标，获取第一时长包括的各检测周期内的历史累计概率密度，所述第一时长位于所述目标检测周期之前，所述第一时长内包括多个检测周期；

根据所述第一时长包括的各检测周期内的异常标识，确定所述第一时长内没有发生异常的检测周期，所述异常标识用于标识检测周期内是否发生异常；

从所述没有发生异常的检测周期中确定最小历史累计概率密度，所述最小历史累计概率密度为所述累计概率密度阈值。

可选的，所述异常检测模块14具体用于：

确定第二时长内处理耗时大于所述高耗时指标的高耗时任务的数量；

计算所述高耗时任务的数量与所述第二时长内的任务总数量的比值，得到所述历史异常密度。

可选的，所述第一确定模块11具体用于：

根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重。

可选的，所述根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重，包括：

根据如下公式计算所述网络节点的权重：

其中，x_i表示所述网络节点的权重，i表示所述网络节点在所述最短路径中距离所述入口节点的步长，α表示网络节点所属层级的参数，i大于或等于1。

可选的，所述第三确定模块13具体用于：

将所述入口节点的权重和所述入口节点的平均耗时相乘，得到所述入口节点的高耗时指标。

可选的，还包括第五确定模块，用于：

将所述数据处理系统中不同层级的节点转换到同一个层级，得到所述数据处理系统对应的拓扑结构图，所述拓扑结构图中的相邻两个节点通过边连接，每条边具有权重，每个节点具有层级标识；

基于所述拓扑结构图，采用Dijkstra算法计算各所述网络节点与所述入口节点之间的最短路径。

本实施例提供的装置可用于执行实施例一至实施例三中任一实施例所述的方法步骤，具体实现方式和技术效果类似，这里不在赘述。

图7为本申请实施例五提供的电子设备的一种结构示意图，如图7所示，该电子设备200包括：处理器21、存储器22和收发器23，该存储器22用于存储指令，该收发器23用于和其他设备通信，该处理器21用于执行该存储器中存储的指令，以使该电子设备200执行如上述任一方法实施例所述的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明实施例六提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如上述任一方法实施例所述的方法，具体实现方式和技术效果类似，这里不再赘述。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种异常任务的检测方法，其特征在于，应用于数据处理系统，所述数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，所述方法包括：

根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重；

将各所述网络节点的权重相加得到所述入口节点的权重；

根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，所述入口节点的平均耗时是指所述入口节点处理任务的平均耗时；

根据所述高耗时指标进行异常任务检测；

所述根据所述高耗时指标进行异常任务检测，包括：

根据所述高耗时指标计算高耗时任务的历史异常密度，所述历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值；

确定目标检测周期内的处理耗时大于所述高耗时指标的第一任务的数量；

根据所述历史异常密度、所述第一任务的数量以及所述目标检测周期内任务的总数量，确定所述目标检测周期内发生高耗时任务的累计概率密度；

当所述累计概率密度小于累计概率密度阈值时，确定所述目标检测周期内发生异常任务。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据所述高耗时指标，获取第一时长包括的各检测周期内的历史累计概率密度，所述第一时长位于所述目标检测周期之前，所述第一时长内包括多个检测周期；

根据所述第一时长包括的各检测周期内的异常标识，确定所述第一时长内没有发生异常的检测周期，所述异常标识用于标识检测周期内是否发生异常；

从所述没有发生异常的检测周期中确定最小历史累计概率密度，所述最小历史累计概率密度为所述累计概率密度阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述高耗时指标计算历史异常密度，包括：

确定第二时长内处理耗时大于所述高耗时指标的高耗时任务的数量；

计算所述高耗时任务的数量与所述第二时长内的任务总数量的比值，得到所述历史异常密度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点的最短路径，确定各所述网络节点的权重，包括：

根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重。

5.根据权利要求4所述的方法，其特征在于，所述根据所述网络节点与入口节点的最短路径上各节点的顺序，从第一个节点开始依次根据当前节点的所属的层级的参数和所述当前节点之前的所有节点的权重计算所述当前节点的权重，直至得到所述网络节点的权重，包括：

根据如下公式计算所述网络节点的权重：

其中，x_i表示所述网络节点的权重，i表示所述网络节点在所述最短路径中距离所述入口节点的步长，α表示网络节点所属层级的参数，i大于或等于1。

6.根据权利要求5所述的方法，其特征在于，所述根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，包括：

将所述入口节点的权重和所述入口节点的平均耗时相乘，得到所述入口节点的高耗时指标。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重之前，还包括：

将所述数据处理系统中不同层级的节点转换到同一个层级，得到所述数据处理系统对应的拓扑结构图，所述拓扑结构图中的相邻两个节点通过边连接，每条边具有权重，每个节点具有层级标识；

基于所述拓扑结构图，计算各所述网络节点与所述入口节点之间的最短路径。

8.一种异常任务的检测装置，其特征在于，所述装置用于对数据处理系统中的网络节点进行异常任务检测，所述数据处理系统中包括至少一个层级，每个层级包括至少一个网络节点，所述装置包括：

第一确定模块，用于根据所述数据处理系统中的各网络节点所属的层级和各所述网络节点与入口节点之间的最短路径，确定各所述网络节点的权重；

第二确定模块，用于将各所述网络节点的权重相加得到所述入口节点的权重；

第三确定模块，用于根据所述入口节点的权重和所述入口节点的平均耗时得到所述入口节点的高耗时指标，所述入口节点的平均耗时是指所述入口节点处理任务的平均耗时；

异常检测模块，用于根据所述高耗时指标进行异常任务检测；

所述异常检测模块，具体用于根据所述高耗时指标计算高耗时任务的历史异常密度，所述历史异常密度用于表示单位时长内高耗时任务数量与任务总数量的比值；确定目标检测周期内的处理耗时大于所述高耗时指标的第一任务的数量；根据所述历史异常密度、所述第一任务的数量以及所述目标检测周期内任务的总数量，确定所述目标检测周期内发生高耗时任务的累计概率密度；当所述累计概率密度小于累计概率密度阈值时，确定所述目标检测周期内发生异常任务。

9.一种电子设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求1-7任一项所述的方法。

Images