CN115883346B

CN115883346B - 一种基于fdep日志的异常检测方法、装置及存储介质

Info

Publication number: CN115883346B
Application number: CN202310152731.7A
Authority: CN
Inventors: 王贝宁; 赖晓锋; 孟汉
Original assignee: Jiajia Technology Co ltd
Current assignee: Jiajia Technology Co ltd
Priority date: 2023-02-23
Filing date: 2023-02-23
Publication date: 2023-05-23
Anticipated expiration: 2043-02-23
Also published as: CN115883346A

Abstract

本发明公开了一种基于FDEP日志的异常检测方法、装置及存储介质，通过获取FDEP日志，对所述FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数，获取预设时间长度内历史的传输标识，根据历史的传输标识计算潜在异常的传输标识对应的标准差，根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数，根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果，能够自动分析FDEP日志内容，并且基于潜在异常的传输标识出现的第一次数以及预测潜在异常的传输标识出现的第二次数确定异常检测结果，能够及时检测出异常，有利于提高运维人员的异常处理效率。

Description

一种基于FDEP日志的异常检测方法、装置及存储介质

技术领域

本发明涉及计算机领域，特别是涉及一种基于FDEP日志的异常检测方法、装置及存储介质。

背景技术

FDEP（金融数据交换平台，Financial DataExchange Platform）平台通过各种接入方式，把银行、证券公司、基金公司、期货公司、交易所、登记结算公司、监督机构等连接到一起。FDEP平台包括消息传输系统和文件传输系统，以文件传输为例，源服务器(发送端)建立文件交换系统，发送端将文件传到中枢服务器，目标服务器(接收端)从中枢服务器中下载文件。而在实际使用过程中，可能因为文件大小和线路带宽不足等原因，会出现文件的传输堵塞等异常情况，而对于异常情况用户人员很难判断到底是卡住还是发送超时以致失败，因此需要在出现异常状况时及时提醒相关人员以查看问题原因，解决异常以恢复文件发送。

发明内容

基于此，本发明的目的在于解决上述问题中的至少之一，提供一种基于FDEP日志的异常检测方法、装置及存储介质，及时发现异常。

本发明实施例提供了一种基于FDEP日志的异常检测方法，包括：

获取FDEP日志；

对所述FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数；所述传输标识用于表征发送端与中枢服务器之间的传输状态、中枢服务器与接收端之间的传输状态以及发送端与接收端之间的传输状态中的至少之一；

获取预设时间长度内历史的传输标识，根据历史的传输标识计算潜在异常的传输标识对应的标准差，根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数；

根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果。

进一步，所述获取FDEP日志，包括：

通过定时任务模块设定预设时间周期；

根据所述预设时间周期调用软件开发工具包，通过所述软件开发工具包从elasticsearch数据库中获取FDEP日志。

进一步，所述对所述FDEP日志进行日志预处理，提取传输标识，包括：

从所述FDEP日志中提取检验标识、状态标识以及所述检验标识的检验数值。

进一步，所述统计潜在异常的传输标识出现的第一次数，包括：

统计所述检验标识的检验数值为第一数值的第一出现次数；

统计所述状态标识表征发送端与接收端之间的传输时间过长，且所述检验标识的检验数值为第二数值的第二出现次数；

其中，所述第一次数包括所述第一出现次数以及所述第二出现次数中的至少之一，所述第一数值以及所述第二数值表征传输过程中的不同阶段。

进一步，所述算法模型包括至少一种预设算法，所述根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数，包括：

分别通过预设算法对所述历史的传输标识进行处理，预测潜在异常的传输标识出现的至少一第二次数；

其中，所述第二次数包括第三出现次数以及第四出现次数中的至少之一，所述第三出现次数为预测所述检验标识的检验数值为第一数值的次数，所述第四出现次数为预测所述状态标识表征发送端与接收端之间的传输时间过长，且所述检验标识的检验数值为第二数值的次数。

进一步，所述历史的传输标识包括多个历史窗口，每一所述历史窗口包含聚合数据，所述聚合数据包括窗口时间、检验标识、状态标识以及所述检验标识的历史检验数值；

所述根据历史的传输标识计算潜在异常的传输标识对应的标准差的步骤之前，还包括以下的至少之一：

对所述聚合数据中的空缺数据进行填充处理；

将所述检验标识、所述状态标识以及所述检验标识的历史检验数值按照所述窗口时间的时间先后进行排序；

统计所述检验标识的历史检验数值为第一数值的第一历史次数，以及所述状态标识表征发送端与接收端之间的传输时间过长，且所述检验标识的历史检验数值为第二数值的第二历史次数，将所述第一历史次数以及所述第二历史次数中的异常次数去除；

对所述聚合数据进行去重处理。

进一步，所述根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果，包括：

计算所述第二次数与所述第一次数的差值，以及计算所述标准差与预设倍数的乘积；

计算所述差值与所述乘积的比值；

当所述比值大于异常阈值，确定异常检测结果表征异常。

本发明实施例还提供一种基于FDEP日志的异常检测装置，包括：

获取模块，用于获取FDEP日志；

提取模块，用于对所述FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数；所述传输标识用于表征发送端与中枢服务器之间的传输状态、中枢服务器与接收端之间的传输状态以及发送端与接收端之间的传输状态中的至少之一；

预测模块，用于获取预设时间长度内历史的传输标识，根据历史的传输标识计算潜在异常的传输标识对应的标准差，根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数；

确定模块，用于根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果。

本发明实施例还提供一种基于FDEP日志的异常检测装置，所述基于FDEP日志的异常检测装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。

本发明的有益效果是：

通过获取FDEP日志，对所述FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数，获取预设时间长度内历史的传输标识，根据历史的传输标识计算潜在异常的传输标识对应的标准差，根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数，根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果，能够自动分析FDEP日志内容，并且基于潜在异常的传输标识出现的第一次数以及预测潜在异常的传输标识出现的第二次数确定异常检测结果，能够及时检测出异常，有利于提高运维人员的异常处理效率。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明基于FDEP日志的异常检测方法的步骤流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，本发明实施例提供一种基于FDEP日志的异常检测方法，包括步骤S100-S400：

S100、获取FDEP日志。

可选地，本发明实施例中，S100包括步骤S110-S120：

S110、通过定时任务模块设定预设时间周期。

本发明实施例中，定时任务模块可以根据实际需要设定预设时间周期，例如2分钟、5分钟、10分钟等，以下步骤说明的过程中以预设时间周期为5分钟为例。可选地，定时任务模块可以为celery模块。

S120、根据预设时间周期调用软件开发工具包，通过软件开发工具包从elasticsearch数据库中获取FDEP日志。

本发明实施例中，在设定预设时间周期为5分钟后，每间隔5分钟调用elasticsearch数据库中的软件开发工具包sdk，从而通过软件开发工具包从elasticsearch数据库中获取FDEP日志。

S200、对FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数。

本发明实施例中，传输标识用于表征发送端与中枢服务器之间的传输状态、中枢服务器与接收端之间的传输状态以及发送端与接收端之间的传输状态中的至少之一。

可选地，步骤S200中对FDEP日志进行日志预处理，提取传输标识，具体为步骤S210：

S210、从FDEP日志中提取检验标识、状态标识以及检验标识的检验数值。

可选地，传输标识包括但不限于时间值datetime、检验标识SEND、状态标识st、检验标识SEND的检验数值、用户标识su。例如，提取的传输标识的形式可以为：{‘su’:‘k0206’,‘action’:‘SEND’, ‘actionNum’:4,‘st’:2,‘datetime’:‘2022-12-1308:25:35’}，其中actionNum即检验标识SEND的检验数值。

可选地，步骤S200中统计潜在异常的传输标识出现的第一次数，包括步骤S220、S230，其中步骤S220、S230执行顺序任意：

S220、统计检验标识的检验数值为第一数值的第一出现次数。

S230、统计状态标识表征发送端与接收端之间的传输时间过长，且检验标识的检验数值为第二数值的第二出现次数。

本发明实施例中，第一数值为4，第二数值为5，即统计SEND4的总次数即为第一出现次数，当状态标识为2时即st2，表征发送端与接收端之间的传输时间过长，统计SEND5且st2的总次数即为第二出现次数。

需要说明的是，第一次数包括第一出现次数以及第二出现次数，其他实施例中可以包括第一出现次数和第二出现次数的其中之一。其中，第一数值以及第二数值表征传输过程中的不同阶段，传输过程指的是文件传输的过程或者消息传输的过程。本发明实施例以文件传输为例，示例性地：SEND1表征发送端开始，SEND=5为文件到中枢服务器，SEND2、SEND3、SEND4为检验传输等机制表征传输过程中的不同阶段，SEND4为SEND=5的前一阶段；st=0为发送端，st=1为发送端到中枢服务器或者是接收端到中枢服务器的状态，st=2为发送端与接收端之间的传输时间过长(发送端到接收端的时间过长或者是接收端到发送端的时间过长)，st>2就是表明这个文件传输异常。需要说明的是，在出现st>2之前进行事先预测是否异常，将SEND4、SEND5且st2作为潜在异常的情况考虑，例如用户5分钟内出现SEND4的第一出现次数较高，则说明可能出现了潜在的异常情况1：发送端一直在累加发送，中枢服务器文件数量没有增加，出现阻塞情况；用户5分钟内出现SEND5且st2的第二出现次数较高，则说明可能出现了潜在的异常情况2：发送端到中枢服务器正常，中枢服务器到接收端出现阻塞情况，有利于及时预判和发现文件传输异常，使运维人员进行及时、快速地应对。

S300、获取预设时间长度内历史的传输标识，根据历史的传输标识计算潜在异常的传输标识对应的标准差，根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数。

可选地，在每间隔5分钟获取到FDEP日志后，提取到每一FDEP日志的时间值datetime、检验标识SEND、状态标识st、检验标识SEND的检验数值、用户标识su等内容后，将上述内容结合第一次数SUM作为一个数据组合存储至存储数据库中。其中，存储数据库包括但不限于mysql。因此，除了最新获取的FDEP日志以外，存储数据库中的数据组合构成了历史的传输标识。

本发明实施例中，预设时间长度可以根据实际需要设定，以下以预设时间长度为2周为例进行说明，不构成具体限定，从存储数据库中获取历史的传输标识，历史的传输标识包括多个历史窗口，每个历史窗口的间隔时间为预设时间周期(5分钟)，因此2周*7天/周*1440分钟/天/ 5分钟=4032，即该处获取的是4032个历史窗口。而每一历史窗口包含聚合数据，聚合数据中的内容即为数据组合的内容，聚合数据但不限于包括窗口时间(datetime)、检验标识SEND、状态标识st、检验标识的历史检验数值、第一次数SUM。

可选地，步骤S300中根据历史的传输标识计算潜在异常的传输标识对应的标准差之前还包括对历史的传输标识的预处理步骤，该预处理可以包括S301、S302、S303、S304中的至少之一：

S301、对聚合数据中的空缺数据进行填充处理。

可选地，聚合数据可能会由于网络或业务波动数据存在空值，当聚合数据中的窗口时间(datetime)、检验标识SEND、状态标识st、检验标识的历史检验数值、第一次数SUM中的至少之一出现缺失时，进行填充。例如包括但不限于利用相邻的历史窗口的数据进行填充，或者利用相邻的历史窗口的数据计算平均值进行填充等。另外，在历史窗口中缺失的数据过多或者过多的历史窗口(大于窗口阈值)时，不进行后续计算。

S302、将检验标识、状态标识以及检验标识的历史检验数值按照窗口时间的时间先后进行排序。

可选地，当窗口时间不统一时可以进行格式规整操作，而窗口时间统一时，将检验标识、状态标识以及检验标识的历史检验数值按照窗口时间的时间先后进行排序，有利于后续计算。

S303、统计检验标识的历史检验数值为第一数值的第一历史次数，以及状态标识表征发送端与接收端之间的传输时间过长，且检验标识的历史检验数值为第二数值的第二历史次数，将第一历史次数以及第二历史次数中的异常次数去除。

可选地，统计检验标识的历史检验数值为第一数值的第一历史次数(即SEND4的次数)，以及状态标识表征发送端与接收端之间的传输时间过长，且检验标识的历史检验数值为第二数值的第二历史次数(即SEND5且st2的次数)。

本发明实施例中，将第一历史次数进行排序后进行分位数的划分，比如第一异常次数为1,10,12,13,11,14,15,19,58,60，第一阈值为分位数5，第二阈值为分位数95，将分位数5和95分位数之外的次数作为异常次数去除，即将1、58、60去除。可以理解的是，第二历史次数的异常次数去除同理。

在其他的一些实施例中，还可以采用另一种去除方法，例如：将最大的次数、最小的次数、小于第三阈值(最大的次数与第一百分比的乘积)，以及大于第四阈值(最大的次数与第二百分比的乘积)的次数作为异常次数去除。例如，以第一百分比为5%，第二百分比为95%，第一历史次数为1,4,10,12,13,11,14,15,19,58,98,100，此时第三阈值为5，第四阈值为95，则1、4、98、100为异常次数需要进行去除。

S304、对聚合数据进行去重处理。

具体地，例如具有重复的窗口时间，将其中一个重复的窗口时间对应的历史窗口删除。

可选地，步骤S300中根据历史的传输标识计算潜在异常的传输标识对应的标准差。

需要说明的是，当具有历史的传输标识的预处理步骤时，计算标准差利用的是预处理后的数据，当不具有预处理步骤时，计算标准差利用的是原始的历史的传输标识。本发明实施例中，当具有第一历史次数时，标准差为根据第一历史次数计算得到的标准差(记为第一历史标准差)；当具有第二历史次数时，标准差为根据第二历史次数计算得到的标准差(记为第二历史标准差)；而当第一历史次数、第二历史次数时均具有时，标准差可以包括第一历史标准差以及第二历史标准差。

可选地，步骤S300中根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数，具体包括步骤S310：

S310、分别通过预设算法对历史的传输标识进行处理，预测潜在异常的传输标识出现的至少一第二次数。

同样地，当具有历史的传输标识的预处理步骤时，S310利用的是预处理后的数据，当不具有预处理步骤时，利用的是原始的历史的传输标识。

本发明实施例中，为了提供多样性的预测结果，提高异常判断的准确性，算法模型包括三种预设算法，分别为prophet、LSTM（长短期记忆网络）以及holt-winters（三指数平滑），每一种预测算法根据历史的传输标识得到一个预测结果即第二次数，因此一共预测得到三个第二次数；其他实施例中可以采用至少一种预设算法。需要说明的是，一般情况下FDEP平台的用户发送文件的时间点较为固定，从长期来看，交易日的每个固定时间点都是存在文件发送周期的(例如每个交易日的固定几个时间段），因此基于此行为产生的日志的数量也具有周期性，周期为1天，因此可以认为FDEP的日志是平稳性的时序数据，利用预设算法进行预测可以得到较好的预测结果。

其中，每一第二次数可以包括第三出现次数以及第四出现次数，其他实施例中可以包括第三出现次数以及第四出现次数中的其中之一。第三出现次数为预测检验标识的检验数值为第一数值的次数，即预测SEND4的次数，第四出现次数为预测状态标识表征发送端与接收端之间的传输时间过长，且检验标识的检验数值为第二数值的次数，即预测SEND5且st2的次数。

S400、根据第一次数、第二次数以及标准差，确定异常检测结果。

可选地，步骤S400具体为：计算第二次数与第一次数的差值，以及计算标准差与预设倍数的乘积；计算差值与乘积的比值；当比值大于异常阈值，确定异常检测结果表征异常。可选地，预设倍数以及异常阈值可以根据实际需要设定，示例性地以预设倍数为3、异常阈值为1进行说明，不构成具体限定。

具体的，计算结果is_anomaly 的计算公式为：

is_anomaly = (第二次数-第一次数)/(标准差×3)

本发明实施例中，当计算结果is_anomaly＞1时，得到表征异常的异常检测结果，而当计算结果is_anomaly≤1时，得到表征正常的异常检测结果。

需要说明的是，当第一次数包括第一出现次数以及第二出现次数，第二次数包括第三出现次数以及第四出现次数，在计算计算结果is_anomaly时，利用第一出现次数、第三出现次数、第一历史标准差进行计算得到计算结果记为第一计算结果is_anomaly₁；利用第二出现次数、第四出现次数、第二历史标准差进行计算得到计算结果记为第二计算结果is_anomaly₂。当第一计算结果is_anomaly₁以及第二计算结果is_anomaly₂中的其中之一＞1时，得到表征异常的异常检测结果。

而具有三个第二次数时，利用第一出现次数、prophet预测的第三出现次数、第一历史标准差计算得到的计算结果记为第一模型计算结果is_anomaly₁₁，利用第一出现次数、LSTM预测的第三出现次数、第一历史标准差计算得到的计算结果记为第二模型计算结果is_anomaly₁₂，利用第一出现次数、holt-winters预测的第三出现次数、第一历史标准差计算得到的计算结果记为第三模型计算结果is_anomaly₁₃；利用第二出现次数、prophet预测的第四出现次数、第二历史标准差计算得到的计算结果记为第一模型子计算结果is_anomaly₂₁；利用第二出现次数、LSTM预测的第四出现次数、第二历史标准差计算得到的计算结果记为第二模型子计算结果is_anomaly₂₂；利用第二出现次数、holt-winters预测的第四出现次数、第二历史标准差计算得到的计算结果记为第三模型子计算结果is_anomaly₂₃。

具体地，当is_anomaly₁₁、is_anomaly₁₂、is_anomaly₁₃、is_anomaly₂₁、is_anomaly₂₂、is_anomaly₂₃中的其中之一＞1时，得到表征异常的异常检测结果。需要说明的是，本发明实施例为了使得异常不被漏判，只有一个计算结果＞1即认为异常检测结果表征异常。

可选地，本发明实施例基于FDEP日志的异常检测方法还可以包括步骤S500：

S500、当异常检测结果表征异常时，发送异常信息至目标对象。

具体地，当异常检测结果表征异常时，可以发送异常信息至告警平台供运维人员查看或者直接发送给运维人员。例如，可以通过发送API请求的方式将异常信息发送至告警平台，或者以短信、邮件等方式通知运维人员，具体不作限定，使得运维人员能够及时发现传输异常，采取措施。

相对于现有技术，本发明实施例的基于FDEP日志的异常检测方法，能够应用于FDEP系统上，自动获取FDEP日志并进行异常检测，帮助运维人员快速发现用户传输阻塞信息或文件等异常情况，及时处理，避免造成业务损失。同时，集成了数据输入到输出的端到端的需求，无需干涉原本的FDEP系统，只涉及读取数据库的日志库中的FDEP日志的操作，实施时便于隔离，不影响主业务的运行。再者，考虑到业务允许误报而不允许漏报的特性，创新的使用了多种预设算法，并集成计算结果作为最终输出结果用于异常判断，避免单一算法的漏报情况。最后，采用prophet、LSTM（长短期记忆网络）以及holt-winters（三指数平滑）等预设算法，而不是采用常规的基于离群或者聚类的异常检测算法，充分考虑到数据的强周期性，更加准确和合理，提高了异常检测的准确性。

获取模块，用于获取FDEP日志；

提取模块，用于对FDEP日志进行日志预处理，提取传输标识并统计潜在异常的传输标识出现的第一次数；传输标识用于表征发送端与中枢服务器之间的传输状态、中枢服务器与接收端之间的传输状态以及发送端与接收端之间的传输状态中的至少之一；

确定模块，用于根据第一次数、第二次数以及标准差，确定异常检测结果。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同，不再赘述。

本发明实施例还提供了另一种基于FDEP日志的异常检测装置，该基于FDEP日志的异常检测装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于FDEP日志的异常检测方法。可选地，该基于FDEP日志的异常检测装置包括但不限于手机、平板电脑、电脑及车载电脑等。

本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于FDEP日志的异常检测方法。

本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的基于FDEP日志的异常检测方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种基于FDEP日志的异常检测方法，其特征在于，包括：

获取FDEP日志；FDEP为金融数据交换平台；

2.根据权利要求1所述基于FDEP日志的异常检测方法，其特征在于：所述获取FDEP日志，包括：

通过定时任务模块设定预设时间周期；

3.根据权利要求1所述基于FDEP日志的异常检测方法，其特征在于：所述对所述FDEP日志进行日志预处理，提取传输标识，包括：

4.根据权利要求3所述基于FDEP日志的异常检测方法，其特征在于：所述统计潜在异常的传输标识出现的第一次数，包括：

统计所述检验标识的检验数值为第一数值的第一出现次数；

5.根据权利要求4所述基于FDEP日志的异常检测方法，其特征在于：所述算法模型包括至少一种预设算法，所述根据历史的传输标识以及算法模型，预测潜在异常的传输标识出现的第二次数，包括：

6.根据权利要求4所述基于FDEP日志的异常检测方法，其特征在于：所述历史的传输标识包括多个历史窗口，每一所述历史窗口包含聚合数据，所述聚合数据包括窗口时间、检验标识、状态标识以及所述检验标识的历史检验数值；

对所述聚合数据中的空缺数据进行填充处理；

对所述聚合数据进行去重处理。

7.根据权利要求1-6任一项所述基于FDEP日志的异常检测方法，其特征在于：所述根据所述第一次数、所述第二次数以及所述标准差，确定异常检测结果，包括：

计算所述差值与所述乘积的比值；

当所述比值大于异常阈值，确定异常检测结果表征异常。

8.一种基于FDEP日志的异常检测装置，其特征在于，包括：

获取模块，用于获取FDEP日志；FDEP为金融数据交换平台；

9.一种基于FDEP日志的异常检测装置，其特征在于：所述基于FDEP日志的异常检测装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述方法；FDEP为金融数据交换平台。

10.一种计算机可读存储介质，其特征在于：所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7中任一项所述方法。