CN114237934A

CN114237934A - 异常作业确定方法、装置、设备及存储介质

Info

Publication number: CN114237934A
Application number: CN202111535252.0A
Authority: CN
Inventors: 钟新斌
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2022-03-25

Abstract

本申请实施例公开了一种异常作业确定方法、装置、设备及存储介质。其中，该方法包括：获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。本申请实施例实现了自动化确定异常作业，提高了异常作业确定准确度和确定效率。

Description

异常作业确定方法、装置、设备及存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种异常作业确定方法、装置、设备及存储介质。

背景技术

随着大数据技术的发展，企业对数据处理时效性要求越来越高，越来越多的场景采用实时流计算处理的方式来提高数据处理时效性，实时流计算处理规模不断壮大，相应的，对实时流作业运行状态的异常判断显得愈发重要。

现有技术中，确定实时流作业运行状态是否异常通常采用以下处理方式：若实时流作业运行过程中出现消息处理失败的情况，则认为实时流作业是异常的，需要人工干预处理；或者，采集实时流作业运行过程中的消息处理失败数量和消息时延等信息，根据预设的经验参数阈值，确定实时流作业运行状态是否异常。然而，实时流作业运行过程具有突发性、多样性等特性，偶发的网络拥堵情况下，消息处理失败可以不必视作异常作业，因为这些消息后续仍可以重传进行二次处理。

因此，现有技术对异常实时流作业的判断准确度较低，且在判断不准确的情况下对实时流作业进行人为干预导致实时流作业运行过程的效率较低，降低异常实时流作业确定过程的自动化程度。

发明内容

本申请实施例提供一种异常作业确定方法、装置、设备及存储介质，以提高异常作业确定准确度和确定效率。

第一方面，本申请实施例提供了一种异常作业确定方法，该方法包括：

获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；

根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；

判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

第二方面，本申请实施例还提供了一种异常作业确定装置，该装置包括：

数据获取模块，用于获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；

异常作业概率确定模块，用于根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；

异常作业确定模块，用于判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如本申请实施例中任一所述的异常作业确定方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本申请实施例中任一所述的异常作业确定方法。

本申请实施例通过获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；根据消息处理失败数和消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率，提高了异常作业确定的准确度和确定效率；判断异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定实时流作业为异常作业。上述方案实现了对异常作业的自动化确定，对于不同类型的实时流作业，都可以基于模糊逻辑推理规则确定异常作业概率，避免了针对不同类型的实时流作业设置不同的经验参数，从而导致异常实时流作业确定过程的自动化程度较低的情况发生，提高了异常作业确定效率和精度。

附图说明

图1是本申请实施例一中的一种异常作业确定方法的流程示意图；

图2是本申请实施例二中的一种异常作业确定方法的流程示意图；

图3是本申请实施例三中的一种异常作业确定方法的流程示意图；

图4是本申请实施例四中的一种异常作业确定装置的结构框图；

图5是本申请实施例五中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本申请实施例一提供的一种异常作业确定方法的流程示意图，本实施例可适用于对实时流作业进行异常监测的情况，该方法可以由异常作业确定装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110、获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延。

实时流作业可以是采用流数据的处理加工方式，对接收到的作业任务进行处理，处理过程中数据不落地，即来即处理，例如，作业任务可以是转账或汇款等。实时流作业运行过程中，通常会产生处理失败的消息，而这些处理失败的消息中有一些是消息本身就存在错误，可以认为是真正的异常消息；还有一些可能是由于某些偶发因素导致的，例如，偶发的网络拥堵等；由偶发因素导致消息处理失败的，不必视作异常作业，因为这些消息后续仍可以重传进行二次处理。

消息处理失败数可以是在预设时间周期内，实时流作业运行过程中，处理失败的消息的数量；其中，处理失败的消息包括由于偶发因素导致处理失败的消息，以及真正的异常消息。其中，预设时间周期可以由相关技术人员根据实际需求进行设定，例如，预设时间周期可以是1分钟。消息处理平均时延可以是预设时间周期内处理的全部消息对应的平均时延，即处理各个消息的时延平均值；例如，若预设时间周期内处理的消息数量为3个，3个消息对应的处理时延分别为100ms、140ms和150ms，则预设时间周期内的消息处理平均时延为130ms。

示例性的，预设时间周期内实时流作业的消息处理失败数和消息处理平均时延的获取方式可以是，基于处理实时流作业所采用的实时流计算框架的接口获取；例如，实时流计算框架可以是Streaming(流式的)框架，也可以是其他实时流计算框架，本实施例对此不进行限制。或者，还可以是采用自定义的方式获取，例如，自定义实时流作业的数据采集接口，具体可以是根据实际需求编写相应的数据采集接口代码。

S120、根据消息处理失败数和消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率。

可以将消息处理失败数和消息处理平均时延作为输入参数，基于预设的模糊逻辑推理规则，输出异常作业概率的概率值。其中，模糊逻辑推理规则可以由相关技术人员预先设定，例如，模糊逻辑推理规则可以是近似推理规则、模糊条件推理规则、多输入模糊推理规则或多输入多规则推理规则等。

示例性的，可以针对消息处理失败数和消息处理平均时延分别设置对应的模糊逻辑推理规则。例如，消息处理失败数对应的模糊逻辑推理规则可以是若消息失败数在0至100范围内，则可以认为异常作业概率为30％；若消息失败数在100至200范围内，则可以认为异常作业概率为70％；若消息失败数在200以上，则可以认为异常作业概率为100％。

消息处理平均时延对应的模糊逻辑推理规则可以是若消息处理平均时延在0至150毫秒范围内，则可以认为异常作业概率为30％；若消息处理平均时延在150至250毫秒范围内，则可以认为异常作业概率为70％；若消息处理平均时延在250毫秒以上，则可以认为异常作业概率为100％。

可选的，还可以根据消息处理失败数和消息处理平均时延分别对应的异常作业概率，进行概率平均加权，得到最终的异常作业概率。

S130、判断异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定实时流作业为异常作业。

判断异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定实时流作业为异常作业；若否，则确定实时流作业为正常作业。其中，异常作业概率阈值可以由相关技术人员预先设定，例如，异常作业概率阈值可以是0.68。

实施例二

图2为本申请实施例二提供的一种异常作业确定方法的流程示意图，本实施例在上述各技术方案的基础上，进行了优化改进。

进一步的，将步骤“根据消息处理失败数和消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率”，细化为“根据消息处理失败数和预设的消息失败概率确定算法，得到预设的消息失败数概率集合中的第一集合元素；根据消息处理平均时延和预设的平均时延高低确定算法，得到预设的平均时延高低概率集合中的第二集合元素；根据第一集合元素和第二集合元素，基于预设的异常概率确定规则，确定异常作业概率。”以完善对异常作业概率的确定方式。

如图2所示，该方法包括以下具体步骤：

S210、获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延。

S220、根据消息处理失败数和预设的消息失败概率确定算法，得到预设的消息失败数概率集合中的第一集合元素。

消息失败概率确定算法和消息失败数概率集合可以由相关技术人员预先设定；第一集合元素可以是消息失败数概率集合中的至少一个集合元素。消息处理失败数可以对应一个模糊语义集合，且模糊语义集合由相关技术人员预先设定；例如，消息处理失败数对应的模糊集合可以是{少失败数，中失败数，多失败数}；模糊语义集合中的少失败数可以理解为预设时间周期内消息失败的数量较少，集合元素中的中失败数可以理解为预设时间周期内消息失败的数量适中，集合元素中的多失败数可以理解为预设时间周期内消息失败的数量较多。根据预设的消息处理失败数对应的模糊语义集合，确定消息失败数概率集合中的第一集合元素。例如，若消息处理失败数对应的模糊集合为{少失败数，中失败数，多失败数}，则消息失败数概率集合中的第一集合元素分别为消息失败数较少时的概率、消息失败数适中时的概率和消息失败数较多时的概率。

需要说明的是，少失败数、中失败数和多失败数仅表示对消息处理失败数量的模糊概念，无需设定具体的失败数阈值表示少失败数、中失败数和多失败数，而是根据后续消息失败数概率集合中的第一集合元素中的概率值表示预设时间周期内消息失败数量较少的发生概率、消息失败数量适中的发生概率和消息失败数量较多的发生概率。

在一个可选实施例中，根据消息处理失败数和预设的消息失败概率确定算法，得到预设的消息失败数概率集合中的第一集合元素，包括：根据如下公式确定消息失败数概率集合中的第一集合元素：

其中，μ_SF(x)、μ_MF(x)和μ_LF(x)表示预设的消息失败数概率集合中的第一集合元素，m表示预设的平均消息处理失败数，x表示预设时间周期内的消息处理失败数，μ₁表示消息失败数概率。

SF、MF和LF可以分别表示消息处理失败数对应的模糊语义集合中的集合元素，其中，SF表示少失败数、MF表示中失败数、LF表示多失败数，消息失败数对应的模糊语义集合为{SF(少失败数)，MF(中失败数)，LF(多失败数)}，相应的，消息失败数概率集合为{μ_SF(x)，μ_MF(x)，μ_LF(x)}。平均消息处理失败数m可以由相关技术人员根据实验值和经验值进行设定，例如，平均消息处理失败数m可以为100个。

示例性的，若m预设为100个，预设时间周期内的消息处理失败数x为60个，则根据消息失败数概率的计算公式μ₁可以确定μ_SF(x)＝2/5，μ_MF(x)＝3/5，μ_LF(x)＝0，则消息失败数概率集合为{2/5，3/5，0}。

本可选实施例通过预设消息失败数概率集合，基于预设的消息失败概率确定算法，实现了预设时间周期内，消息失败数概率集合中第一集合元素的准确确定。

S230、根据消息处理平均时延和预设的平均时延高低确定算法，得到预设的平均时延高低概率集合中的第二集合元素。

平均时延高低确定算法和平均时延高低概率集合可以由相关技术人员预先设定；第二集合元素可以是平均时延高低概率集合中的至少一个集合元素。消息处理平均时延可以对应一个模糊语义集合，且模糊语义集合由相关技术人预先设定；例如，消息处理平均时延对应的模糊语义集合可以是{低时延，中时延，高时延}；模糊语义集合中的低时延可以理解为预设时间周期内消息平均处理时延较低，集合元素中的中失败数可以理解为预设时间周期内消息平均处理时延适中，集合元素中的多失败数可以理解为预设时间周期内消息平均处理时延较高。根据预设的消息处理平均时延对应的模糊语义集合，确定平均时延高低概率集合中的第二集合元素。例如，若消息处理平均时延对应的模糊语义集合为{低时延，中时延，高时延}，则平均时延高低概率集合中的第二集合元素分别为平均时延较低时的概率、平均时延适中时的概率和平均时延较高时的概率。

需要说明的是，低时延、中时延和高时延仅表示对消息处理平均时延的模糊概念，无需设定具体的平均时延阈值表示低时延、中时延和高时延，而是根据后续平均时延高低概率集合中的第二集合元素中的概率值表示预设时间周期内消息处理平均时延较低的发生概率、消息处理平均时延适中的发生概率和消息处理平均时延较高的发生概率。

在一个可选实施例中，根据所述消息处理平均时延和预设的平均时延高低确定算法，得到预设的平均时延高低概率集合中的第二集合元素，包括：根据如下公式确定平均时延高低概率集合中的第二集合元素：

其中，μ_SD(y)、μ_MD(y)和μ_HF(y)表示预设的平均时延高低概率集合中的第二集合元素，e表示预设的平均消息处理时延，y表示预设时间周期内的消息处理平均时延，μ₂表示平均时延高低概率。

其中，LD、MD和HD可以分别表示消息处理平均时延对应的模糊语义集合中的集合元素，其中，LD表示低时延，MD表示中时延，HD表示高时延，平均时延高低概率集合对应的模糊语义集合为{LD(低时延)，MD(中时延)，HD(高时延)}，相应的，平均时延高低概率集合为{μ_SD(y)、μ_MD(y)和μ_HF(y)}。平均消息处理时延e可以由相关技术人员根据实验值和经验值进行设定，例如，平均消息处理时延e可以为150ms。

示例性的，若e预设为150ms，预设时间周期内的消息处理平均时延y为200ms，则根据平均时延高低概率的计算公式μ₂可以确定μ_SD(x)＝0，μ_MD(x)＝2/3，μ_HD(x)＝1/3，则消息失败数概率集合为{0，2/3，1/3}。

本可选实施例通过预设平均时延高低概率集合，基于预设的平均时延高低确定算法，实现了预设时间周期内，平均时延高低概率集合中第二集合元素的准确确定。

S240、根据第一集合元素和第二集合元素，基于预设的异常概率确定规则，确定异常作业概率。

异常概率确定规则可以由相关技术人员进行预先设定。例如，可以预先设定异常作业模糊概率集合，确定异常作业模糊概率集合中的集合元素；根据异常作业模糊概率集合中的集合元素，确定异常作业概率。

在一个可选实施例中，根据第一集合元素和第二集合元素，基于预设的异常概率确定规则，确定异常作业概率，包括：根据第一集合元素和第二集合元素，基于预设的异常作业模糊概率确定算法，确定预设的异常作业模糊概率集合中的第三集合元素；根据第三集合元素，基于预设的异常作业概率确定算法，确定实时流作业的异常作业概率。

异常作业模糊概率确定算法和异常作业模糊概率集合可以由相关技术人员预先设定。第三集合元素可以是异常作业模糊概率集合中的至少一个集合元素。异常作业概率可以对应的一个模糊语义集合，且模糊语义集合由相关技术人预先设定；例如，异常作业概率对应的模糊语义集合可以是{概率很小，概率较小，概率适中，概率较大，概率很大}。根据预设的异常作业概率对应的模糊语义集合，确定异常作业模糊概率集合中的第三集合元素。例如，若异常作业概率对应的模糊语义集合{概率很小，概率适中，概率很大}，则异常作业模糊概率集合中的第三集合元素分别为异常作业概率很小、异常作业概率适中和异常作业概率很大。

需要说明的是，概率很小、概率适中和概率很大仅表示对异常作业概率的模糊概念，无需设定具体的异常作业概率阈值表示概率很小、概率适中和概率很大，而是根据后续异常作业模糊概率集合中的第三集合元素中的概率值表示实时流作业为异常作业的可能性很小的概率、实时流作业为异常作业的可能性适中的概率和实时流作业为异常作业的可能性很大的概率。

异常作业模糊概率确定算法用于确定异常作业模糊概率集合中第三集合元素的数值，具体可以是采用第一集合元素的数值与第二集合元素的数值进行数值比较的方式进行确定。

在一个可选实施例中，根据第一集合元素和第二集合元素，基于预设的异常作业模糊概率确定算法，确定预设的异常作业模糊概率集合中的第三集合元素，包括：将第一集合元素的数量与第二集合元素的数量相乘，得到第三集合元素的数量；将任一第一集合元素与任一第二集合元素的数值进行大小比较，确定符合预设大小比较规则的目标数值，将目标数值确定为第三集合元素的数值。

第三集合元素的数量与第一集合元素和第二集合元素的数量有关，具体可以是将第一集合元素的数量与第二集合元素的数量相乘，得到第三集合元素的数量。例如，第一集合元素数量为3个，第二集合元素数量为3个，则第三元素集合数量为9个。消息失败数概率、平均时延高低概率与异常作业概率之间的关联关系可以由相关技术人员预先确定。

示例性的，消息失败数概率、平均时延高低概率和异常作业概率之间的关联关系如表2-1所示，其中，消息处理失败数对应的模糊语义集合为{SF(少失败数)，MF(中失败数)，LF(多失败数)}；消息处理平均时延对应的模糊语义集合为{LD(低时延)，MD(中时延)，HD(高时延)}，异常作业概率对应的模糊集合为{VS(概率很小)，S(概率较小)，M(概率适中)，L(概率较大)，VL(概率很大)}。

表2-1

若消息失败数概率集合对应的第一集合元素为{0，3/5，2/5}，平均时延高低概率集合对应的第二集合元素为{0，1/3，2/3}，则将任一第一集合元素与任一第二集合元素的数值进行大小比较，确定符合预设大小比较规则的目标数值，将目标数值确定为第三集合元素的数值。其中，预设大小比较规则可以是任一第一集合元素与任一第二集合元素的数值进行大小比较后的最小值作为目标数值。根据预设大小比较规则，确定消息失败数概率、平均时延高低概率和异常作业概率之间的关联关系如表2-2所示。

表2-2

根据表2-2所示的消息失败数概率、平均时延高低概率和异常作业概率之间的关联关系可以确定第三集合元素{μ_M(z)＝1/3，μ_L(z)＝3/5，μ_VL(z)＝1/3，μ_VL(z)＝3/5}。其中，若平均时延高低概率和消息失败数概率中存在至少一个概率值为0时，则异常作业概率为0，无需参与后续确定中间参数z和Z₀的运算。

示例性的，可以根据第三集合元素，确定异常作业概率，例如，可以是选择第三集合元素中数值最大的作为异常作业概率。需要说明的是，为提高异常作业概率确定的准确度，还可以基于预设的异常作业概率确定算法，确定实时流作业的异常作业概率。

在一个可选实施例中，根据第三集合元素，基于预设的异常作业概率确定算法，确定实时流作业的异常作业概率，包括：根据如下公式确定所述实时流作业的异常作业概率：

其中，μ_VS(z)、μ_s(z)、μ_M(z)、μ_L(z)和μ_VL(z)表示预设的异常作业模糊概率集合中的第三集合元素，z表示中间参数，μ₃表示异常作业概率，Z₀表示异常作业概率清晰值。

示例性的，可以将得到的异常作业概率的概率值带入实时流作业的异常作业概率确定算法中，得到中间参数z；根据中间参数z和异常作业概率μ₃，确定异常作业概率清晰值Z₀。采用异常作业概率的清晰值Z₀评价该作业是否为异常作业，能够提高异常作业确定的准确度。可以预先设定异常作业概率清晰值的清晰度阈值，例如，清晰度阈值可以是0.5。判断异常作业概率清晰值是否大于或等于预设的清晰度阈值，若是，则可以认为该实时流作业为异常作业；若否，则可以认为该实时流作业为正常作业。

示例性的，若第三集合元素{μ_M(z)＝1/3，μ_L(z)＝3/5，μ_VL(z)＝1/3，μ_VL(z)＝3/5}。则分别将μ_M(z)＝1/3，μ_L(z)＝3/5，μ_VL(z)＝1/3，μ_VL(z)＝3/5带入异常作业概率确定算法中，分别计算μ_M(z)＝1/3，μ_L(z)＝3/5，μ_VL(z)＝1/3，μ_VL(z)＝3/5时z的值。例如，μ_M(z)＝1/3时对应的z的值为z1，μ_L(z)＝3/5时对应的z的值为z2，μ_VL(z)＝1/3时对应的z的值为z3，μ_VL(z)＝3/5时z的值为Z4。分别将z1和z1对应的μ_M(z)、z2和z2对应的μ_L(z)、z3和z3对应的μ_VL(z)，以及z4和z4对应的μ_VL(z)带入Z₀中，将计算得到的Z₀作为异常作业概率清晰值。根据异常作业概率清晰值和清晰值阈值，确定该实时流作业是否为异常作业。

本可选实施例通过基于预设的异常作业概率确定算法，确定实时流作业的异常作业概率，提高了异常作业概率确定的准确度，从而提高了异常作业确定的准确度。

S250、判断异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定实时流作业为异常作业。

本实施例方案通过根据消息处理失败数和预设的消息失败概率确定算法，得到预设的消息失败数概率集合中的第一集合元素，实现了对第一集合元素的确定，通过预设的消息失败概率确定算法确定第一集合元素，实现了第一集合元素的数值确定的准确度。根据消息处理平均时延和预设的平均时延高低确定算法，得到预设的平均时延高低概率集合中的第二集合元素；实现了对第二集合元素的确定，通过预设的平均时延高低确定算法确定第二集合元素，实现了第二集合元素的数值确定的准确度。根据第一集合元素和所述第二集合元素，基于预设的异常概率确定规则，确定异常作业概率，提高了对异常作业概率确定的准确度，从而提高了异常作业确定的准确度。本实施例方案实现了对异常作业的自动化确定，对于不同类型的实时流作业，都可以基于模糊逻辑推理规则确定异常作业概率，避免了针对不同类型的作业设置不同的经验参数，从而导致异常实时流作业确定过程的自动化程度较低的情况发生，提高了异常作业确定效率和精度。

实施例三

图3是本申请实施例三提供的一种异常作业确定方法的检测过程示意图，本申请实施例在上述各实施例的技术方案的基础上，提供了一种优选实施方式。

本实施例采用模糊逻辑推理来避免对大规模线上实时流作业参数的直接评判，从而实现更为通用的异常作业确定方法。通过分析异常实时流作业，可以发现：1、某一时刻开始消息异常处理的量逐渐扩大；2、消息平均处理时延不断增加。本实施例采用消息失败数多少和消息平均处理时延高低构建模糊系统，进而推理出当前实时流作业异常的可能性。本实施例按如下流程构建模糊系统：

S310、确定输入量和输出量。

把最近t时间实时流作业消息处理失败数x定义为输入量，其模糊语义集合表示为：消息失败数＝{SF(少失败数)，MF(中失败数)，LF(多失败数)}；同时，也将该实时流作业最近t时间消息处理平均时延y定义为输入量，其模糊语义集合表示为：消息平均处理时延＝{LD(低时延)，MD(中时延)，HD(高时延)}；相应地，把该实时流作业是异常作业的概率作为输出量，其模糊语义集合表示为：异常概率＝{VS(很小)，S(小)，M(中)，L(大)，很大(VL)}。

S320、选取隶属度函数。

根据异常实时流作业平均消息失败数m(如：100个)、平均处理时延d(如：150毫秒)，本实施例选用如下隶属度函数：

1、消息失败数隶属度函数：

2、消息平均处理时延隶属度函数：

3、异常概率隶属度函数：

S330、制定模糊推理规则库。

本实施例制定的模糊推理规则库如表2-1所示。

根据消息平均处理失败数对应的任一第一集合元素的数值与消息平均时延对应的任一第二集合元素的数值进行大小比较后，将比较得到的最小值作为异常作业概率。

S340、解模糊化。

通过确定μ₃的数值可以确定对应的z值。本实施例采用重心法进行推理的解模糊化，所有触发的推理规则的μ₃加权平均值，即为z的清晰值，即：

通过Z₀与预设的异常作业阈值θ(如设置为：0.68)进行比较，从而确定实时流作业是否为异常作业。

实施例四

图4为本申请实施例四提供的一种异常作业确定装置的结构示意图。本申请实施例所提供的一种异常作业确定装置，该装置可适用于对实时流作业进行异常监测的情况，该装置可采用软件和/或硬件的方式实现。如图4所示，该装置具体包括：数据获取模块401、异常作业概率确定模块402和异常作业确定模块403。其中，

数据获取模块401，用于获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；

异常作业概率确定模块402，用于根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；

异常作业确定模块403，用于判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

可选的，所述异常作业概率确定模块402，包括：

第一集合元素确定单元，用于根据所述消息处理失败数和预设的消息失败概率确定算法，得到预设的消息失败数概率集合中的第一集合元素；

第二集合元素确定单元，用于根据所述消息处理平均时延和预设的平均时延高低确定算法，得到预设的平均时延高低概率集合中的第二集合元素；

异常作业概率确定单元，用于根据所述第一集合元素和所述第二集合元素，基于预设的异常概率确定规则，确定异常作业概率。

可选的，所述第一集合元素确定单元，包括：

第一集合元素确定子单元，用于根据如下公式确定所述消息失败数概率集合中的第一集合元素：

可选的，所述第二集合元素确定单元，包括：

第二集合元素确定子单元，根据如下公式确定所述平均时延高低概率集合中的第二集合元素：

可选的，所述异常作业概率确定单元，包括：

第三集合元素确定子单元，用于根据所述第一集合元素和所述第二集合元素，基于预设的异常作业模糊概率确定算法，确定预设的异常作业模糊概率集合中的第三集合元素；

异常作业概率确定子单元，用于根据所述第三集合元素，基于预设的异常作业概率确定算法，确定所述实时流作业的异常作业概率。

可选的，所述第三集合元素确定子单元，具体用于：

将所述第一集合元素的数量与所述第二集合元素的数量相乘，得到所述第三集合元素的数量；

将任一第一集合元素与任一第二集合元素的数值进行大小比较，确定符合预设大小比较规则的目标数值，将所述目标数值确定为第三集合元素的数值。

可选的，所述第三集合元素确定子单元，具体用于：

根据如下公式确定所述实时流作业的异常作业概率：

上述异常作业确定装置可执行本申请任意实施例所提供的异常作业确定方法，具备执行各异常作业确定方法相应的功能模块和有益效果。

实施例五

图5是本申请实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本申请实施方式的示例性电子设备500的框图。图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本申请所描述的实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，电子设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与电子设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种异常作业确定的方法。

实施例六

本申请实施例六还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所提供的异常作业确定方法，包括：获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。