CN111984455A - 超时数据的检测方法、装置、服务器和计算机存储介质 - Google Patents
超时数据的检测方法、装置、服务器和计算机存储介质 Download PDFInfo
- Publication number
- CN111984455A CN111984455A CN202010933714.3A CN202010933714A CN111984455A CN 111984455 A CN111984455 A CN 111984455A CN 202010933714 A CN202010933714 A CN 202010933714A CN 111984455 A CN111984455 A CN 111984455A
- Authority
- CN
- China
- Prior art keywords
- detection
- detection period
- period
- data file
- periods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 374
- 230000005540 biological transmission Effects 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种超时数据的检测方法、装置、服务器和计算机存储介质,该方法包括,获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值;根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值;根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。本方案能够根据数据文件的实际传输情况灵活的制定超时阈值,从而确保后续对超时数据的检测结果的准确性。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种超时数据的检测方法、装置、服务器和计算机存储介质。
背景技术
大数据平台是目前银行常用的一种数据处理系统,大数据平台可以通过网络和银行的多个业务系统连接,每个业务系统均可以作为数据生产者,将运行时产生的数据文件发送至大数据平台,由大数据平台对数据文件进行分析和处理,得到相应的处理结果。
为了保障处理结果的时效性,大数据平台一般需要按一定的超时阈值对收到的数据文件进行检测,若收到的数据文件的传输时长(指代从数据文件产生的时刻到收到数据文件的时刻这段时长)大于超时阈值,则将其确定为超时数据文件并删除该数据文件。
目前,超时阈值一般是由相关人员人为指定,超时阈值并不能和业务数据的实际传输情况相匹配,检测结果的准确度较低,容易出现超时阈值过小,以至于保留的可处理的数据文件过少的,或者超时阈值过大,以至于处理结果时效性较差等问题。
发明内容
基于上述现有技术的缺点,本申请提供一种超时数据的检测方法、装置、服务器和计算机存储介质,以提供一种更准确的超时数据检测方案。
本申请第一方面提供一种超时数据的检测方法,包括:
获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;
根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;
根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值;其中,所述超时阈值作为检测所述目标业务系统发送的数据文件是否超时的依据。
可选的,所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值之前,还包括:
针对所述N个检测周期中的每一个检测周期,在所述检测周期内的所有传输时长中检测出每一个异常传输时长;
所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值,包括:
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到所述检测周期对应的检测周期均值。
可选的,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值,包括:
若预设的参考超时阈值位于所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算所述考核周期均值、所述N个检测周期中最晚的检测周期的检测周期均值和所述参考超时阈值的加权平均值,得到所述目标业务系统对应的超时阈值。
可选的,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值之后,还包括:
针对所述目标业务系统发送的每一个数据文件,计算接收所述数据文件的时间和所述目标业务系统产生所述数据文件的时间的差值,得到所述数据文件的传输时长;
若所述数据文件的传输时长大于所述目标业务系统对应的超时阈值,确定所述数据文件为超时数据文件。
本申请第二方面提供一种超时数据的检测装置,包括:
获取单元,用于获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;
第一计算单元,用于针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;
第二计算单元,用于根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;
确定单元,用于根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值;其中,所述超时阈值作为检测所述目标业务系统发送的数据文件是否超时的依据。
可选的,所述检测装置还包括:
异常检测单元,用于针对所述N个检测周期中的每一个检测周期,在所述检测周期内的所有传输时长中检测出每一个异常传输时长;
所述第一计算单元针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值时,具体用于:
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到所述检测周期对应的检测周期均值。
可选的,所述确定单元根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值时,具体用于:
若预设的参考超时阈值位于所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算所述考核周期均值、所述N个检测周期中最晚的检测周期的检测周期均值和所述参考超时阈值的加权平均值,得到所述目标业务系统对应的超时阈值。
可选的,所述检测装置还包括:
超时检测单元,用于针对所述目标业务系统发送的每一个数据文件,计算接收所述数据文件的时间和所述目标业务系统产生所述数据文件的时间的差值,得到所述数据文件的传输时长;
若所述数据文件的传输时长大于所述目标业务系统对应的超时阈值,确定所述数据文件为超时数据文件。
本申请第三方面还提供一种服务器,包括存储器和处理器;
其中,所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序,具体用于实现本申请第一方面任意一项所提供的超时数据的检测方法。
本申请第四方面还提供一种计算机存储介质,用于存储计算机程序,所述计算机程序被执行时,具体用于实现本申请第一方面任意一项所提供的超时数据的检测方法。
本申请提供一种超时数据的检测方法、装置、服务器和计算机存储介质,该方法包括,获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值;根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值;根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。本方案能够根据数据文件的实际传输情况灵活的制定超时阈值,从而确保后续对超时数据的检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种超时数据的检测方法的流程图;
图2为本申请另一实施例提供的一种超时数据的检测方法的流程图;
图3为本申请实施例提供的一种超时数据的检测装置的结构示意图;
图4为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供超时数据的检测方法,根据最近多个检测周期内由目标业务系统发送的数据文件的传输时长确定出和实际的传输情况相匹配的超时阈值,以使得后续对超时数据的检测结果的准确度更高。
在银行系统中,大数据可以认为是由银行的各个业务系统在日常工作过程中产生的大量的业务数据,而基于分布式的实时或离线计算框架构建的,部署于多个服务器组成的计算集群上用于处理大数据的大型计算系统,则可以称为大数据平台。
由于大数据的数据量较多,对大数据的处理往往依赖于大数据平台上的批量程序,批量程序可以对大量的业务按一定的处理规则按批次进行统一处理,极大的提高的大数据的处理速度,一个批量程序可以认为由多个批量作业模块,每一个批量作业模块用于执行特定批量程序中特定的数据处理任务。而一个批量作业模块可以由多个批量结点组成,批量结点相当于批量作业模块中执行特定步骤的一段程序,一个批量结点用于具体去执行某支程序或交易,批量结点是批量程序中最小粒度的功能单元。
请参考图1,本申请实施例提供的超时数据的检测方法,可以包括以下步骤:
S101、获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长。
其中,N个检测周期中最晚的检测周期的结束时刻为当前时刻;N为预设的正整数。
一般的,检测周期可以和对应的银行的业务系统的升级变更周期一致,例如,若银行的业务系统的升级变更周期为2周,那么对应的步骤S101所述的检测周期也可以定义为2周,对应的,步骤S101就是指,从当前时刻开始获取过去的2N周内目标业务系统发送的每一个数据文件的传输时长,从而得到多个传输时长,其中,从当前时刻开始往前计时,每两周记为一个检测周期。也就是说,最近2周为一个检测周期,最近4周到最近2周之间的两周为第二个检测周期,最近6周到最近4周之间的两周为第三个检测周期,以此类推。
一个数据文件的传输时长T(传输),可以定义为:
T(传输)=T(到达)-T(数据)
其中,T(到达)表示大数据平台接收到数据文件的时刻,T(数据)表示数据文件中记录的,该数据文件生成的时刻。
例如,假设包含2019年9月15日产生的数据的文件,到达大数据平台的时间为2019年9月16日上午9点30分,那么其传输时长(也可以称为超时时间)即为到位时间,即T(到达),和数据时间,即T(数据),之差的分钟数。
目标业务系统可以是预先指定的任意一个业务系统。换言之,本申请提供的方法可以用于针对银行的每一个业务系统,确定一个和该业务系统到大数据平台的实际数据传输情况相匹配的超时阈值,从而确保针对每一个业务系统的超时数据检测的结果具有较高的准确度。
S102、针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值。
也就是说,对于步骤S201中每一个检测周期,可以将该检测周期内收到的目标业务系统的数据文件的所有传输时长求和,然后用得到的传输时长综合除以该检测周期内记录的传输时长的数量,得到的结果就是这个检测周期的检测周期均值。
步骤S102执行结束后,可以将其中最近的一个检测周期,也就是最近2周这一检测周期对应的检测周期均值确定为检测周期阈值,这种确定阈值的方法称为MA(MovingAverage,移动平均线)算法。
S103、根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值。
考核周期就是前述N个检测周期所对应的时长,也就是说,若前述检测周期为2周,N的取值设定为6,那么上述考核周期是最近12周,相当于最近一个季度。
需要说明的是,上述N的取值其实是根据检测周期的长短和考核周期的长短确定的,而考核周期的长短可以根据实际情况人为设定,在确定了考核周期和检测周期的长短后,一个考核周期内包括的检测周期的数量,就是前述N的取值。
在步骤S103中,检测周期对应的加权系数与检测周期的结束时刻距离当前时刻的时长负相关,也就是说,对于考核周期内N个检测周期中的每一个检测周期,这个检测周期距离当前时刻越久,或者说这个检测周期越早,则该计算时为该检测周期对应的检测周期均值分配的加权系统就越小。
加权系数可以按下述方法确定:
首先将迭代次数M初始化为1,然后按下述均值计算公式计算第M次迭代的考核周期均值X(M):
X(M)=A(M)×Y(M)+(1-A(M))×X(M-1)
其中,M等于1时,右侧的X(M-1)为X(0),X(0)的取值可以设定为0。
A(M)是一个和迭代次数M相关的系数,其计算公式为:
A(M)=2÷(M+1)
可以看出,M等于1时,A(1)等于1。
Y(M)表示前述N个检测周期中的第M个检测周期对应的检测周期均值,其中,时间最早的那个检测周期,或者说距离当前时刻的时长最长的那个检测周期为第1个检测周期,相对于,最接近当前时刻的检测周期为最后一个检测周期,即第N个检测周期。
计算出第一次迭代的考核周期均值X(1)之后,由于此时M小于检测周期的数量N,因此,将迭代次数递增1,也就是将M的取值更新为2,然后进入下一次迭代,重复前述第M次迭代的考核周期均值X(M)的计算公式,得到第2次迭代的考核周期均值X(2),以此类推,直至最终计算得到M的取值为N时的考核周期均值为止,此时计算得到的考核周期均值,就是步骤S103中所述的N个检测周期的检测周期均值的加权平均值。例如,若N等于6,那么就要重复执行第M次迭代的考核周期均值X(M)的计算公式6次,直至计算得到X(6)。
具体的,当N等于6时,将6次迭代中执行的均值计算公式,就可以得到下述表达式:
可以看出,对应的检测周期越早,检测周期均值的加权系数越小。
计算得到的考核周期均值,也可以理解为考核周期阈值。上述计算考核周期均值的方法,称为EMA(Exponential Moving Average,指数移动平均值)算法。
S104、根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。
如前文所述,N个检测周期中最晚的检测周期的检测周期均值,相当于检测周期阈值,而步骤S104中计算得到的考核周期均值,相当于考核周期阈值,在执行步骤S104时,可以首先获取一个预设的人工阈值。
然后判断人工阈值是否位于检测周期阈值和考核周期阈值所确定的区间内,若人工阈值位于上述区间外,说明人工阈值设定的要么过早,数据文件不可能在这么早的时间点到达大数据平台,要么过晚,失去了设置的意义。这种情况下,需要通知相关人员重新设置人工阈值,直至人工阈值位于上述区间内为止。
在检测到人工阈值位于上述区间之内后,确定人工阈值有效,然后根据检测周期阈值,考核周期阈值和人工阈值计算得到最终的超时阈值。具体计算时可以采用如下公式:
X(超时)=B×Z(检测)+C×Z(考核)+D×Z(人工)
其中,B+C+D=1,且B,C,D均为正数。
Z(检测),Z(考核)和Z(人工)依次表示前述检测周期阈值,考核周期阈值和人工阈值,X(超时)表示最终确定的超时阈值。
获得超时阈值之后,根据超时阈值对数据文件是否超时的检测方法可以是:
针对目标业务系统发送的每一个数据文件,计算接收数据文件的时间和目标业务系统产生数据文件的时间的差值,得到数据文件的传输时长;
若数据文件的传输时长大于目标业务系统对应的超时阈值,确定数据文件为超时数据文件。
本申请提供一种超时数据的检测方法,该方法包括,获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值;根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值;根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。本方案能够根据数据文件的实际传输情况灵活的制定超时阈值,从而确保后续对超时数据的检测结果的准确性。
另外,本申请提供的方法可以针对银行的多种业务系统分别确定对应的超时阈值,并根据业务系统对应的超时阈值对该业务系统发送的数据文件进行超时检测,因而检测结果更接近于每个业务系统真实的数据传输情况。
本申请第二个实施例还提供一种超时数据的检测方法,请参考图2,该方法可以包括以下步骤:
S201、获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长。
S202、针对N个检测周期中的每一个检测周期,在检测周期内的所有传输时长中检测出每一个异常传输时长,并删除每一个异常传输时长。
检测异常传输时长的原因在于:
银行系统的存在某些预期的特殊业务(一般是在月末,年末等特殊事件)会影响数据文件的传输,然而这种预期的干扰并不属于超时检测所需要检测的范畴,因而需要在确定超时阈值时排出这些特殊业务对超时阈值的影响,以获得更准确检测结果。
对于任意一个特定的检测周期,检测异常传输时长的方法可以是:
首先计算该检测周期内所有传输时长的算术平均值,记为第一均值,然后,针对检测周期内每一个传输时长,计算这个传输时长和第一均值的差值的平均值,将计算结果记为这个传输时长对应的距离平方。
具体的,将第一均值记为H1,将检测周期内的任意一个传输时长记为Ki,对应的距离平方记为Di,则计算公式如下:
Di=(Ki-H1)2
再对检测周期内的所有传输时长的距离平方求平均,得到平方均值Da:
其中,L表示特定的检测周期内的记录的传输时长的个数。
最后,对于这一特定的检测周期内的每一个传输时长,若该传输时长和前述第一均值的距离(也就是两者的差值的绝对值)大于上述平方均值,则确定该传输时长为异常传输时长,并将这个异常传输时长删除。
S203、针对N个检测周期中的每一个检测周期,计算检测周期内删除异常传输时长后剩余的所有传输时长的平均值,得到检测周期对应的检测周期均值。
S204、根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值。
S205、根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。
本实施例提供的方法能够从每一个检测周期中删除由银行的特殊业务引起的异常传输时长,使得确定的超时阈值可以反映正常状态下业务系统的数据的传输情况,进一步提高对超时数据的检测结果的准确度。
银行的特殊业务可以包括,月末的对账、计提等,在年末的年终结算等,季度末的活期存款结息等。
结合本申请任一实施例所提供的超时数据的检测方法,本申请实施例还提供一种超时数据的检测装置,请参考图3,该装置可以包括以下单元:
获取单元301,用于获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长。
其中,N个检测周期中最晚的检测周期的结束时刻为当前时刻;N为预设的正整数。
第一计算单元302,用于针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值。
第二计算单元303,用于根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值。
其中,检测周期对应的加权系数与检测周期的结束时刻距离当前时刻的时长负相关。
确定单元304,用于根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。
其中,超时阈值作为检测目标业务系统发送的数据文件是否超时的依据。
可选的,本申请提供检测装置还包括:
异常检测单元305,用于针对N个检测周期中的每一个检测周期,在检测周期内的所有传输时长中检测出每一个异常传输时长。
第一计算单元302针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值时,具体用于:
针对N个检测周期中的每一个检测周期,计算检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到检测周期对应的检测周期均值。
可选的,确定单元304根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值时,具体用于:
若预设的参考超时阈值位于考核周期均值和N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算考核周期均值、N个检测周期中最晚的检测周期的检测周期均值和参考超时阈值的加权平均值,得到目标业务系统对应的超时阈值。
可选的,检测装置还包括:
超时检测单元306,用于针对目标业务系统发送的每一个数据文件,计算接收数据文件的时间和目标业务系统产生数据文件的时间的差值,得到数据文件的传输时长;
若数据文件的传输时长大于目标业务系统对应的超时阈值,确定数据文件为超时数据文件。
本申请实施例所提供的超时数据的检测装置,其具体工作原理可以参考本申请任一实施例所提供的超时数据的检测方法,此处不再详述。
本申请提供一种超时数据的检测装置,获取单元301获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;第一计算单元302针对N个检测周期中的每一个检测周期,计算检测周期内的所有传输时长的平均值,得到检测周期对应的检测周期均值;第二计算单元303根据每一个检测周期的检测周期均值和对应的加权系数,计算得到N个检测周期对应的考核周期均值;确定单元304根据考核周期均值和N个检测周期中最晚的检测周期的检测周期均值确定目标业务系统对应的超时阈值。本方案能够根据数据文件的实际传输情况灵活的制定超时阈值,从而确保后续对超时数据的检测结果的准确性。
本申请实施例还提供一种服务器,如图4所示,包括存储器401和处理器402。
其中,存储器401用于存储计算机程序;
处理器402用于执行计算机程序,具体用于实现本申请任一实施例所提供的超时数据的检测方法。
本申请实施例还提供一种计算机存储介质,用于存储计算机程序,存储的计算机程序被执行时,具体用于实现本申请任一实施例所提供的超时数据的检测方法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种超时数据的检测方法,其特征在于,包括:
获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;
根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;
根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值;其中,所述超时阈值作为检测所述目标业务系统发送的数据文件是否超时的依据。
2.根据权利要求1所述的检测方法,其特征在于,所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值之前,还包括:
针对所述N个检测周期中的每一个检测周期,在所述检测周期内的所有传输时长中检测出每一个异常传输时长;
所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值,包括:
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到所述检测周期对应的检测周期均值。
3.根据权利要求1所述的检测方法,其特征在于,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值,包括:
若预设的参考超时阈值位于所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算所述考核周期均值、所述N个检测周期中最晚的检测周期的检测周期均值和所述参考超时阈值的加权平均值,得到所述目标业务系统对应的超时阈值。
4.根据权利要求1所述的检测方法,其特征在于,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值之后,还包括:
针对所述目标业务系统发送的每一个数据文件,计算接收所述数据文件的时间和所述目标业务系统产生所述数据文件的时间的差值,得到所述数据文件的传输时长;
若所述数据文件的传输时长大于所述目标业务系统对应的超时阈值,确定所述数据文件为超时数据文件。
5.一种超时数据的检测装置,其特征在于,包括:
获取单元,用于获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;
第一计算单元,用于针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;
第二计算单元,用于根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;
确定单元,用于根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值;其中,所述超时阈值作为检测所述目标业务系统发送的数据文件是否超时的依据。
6.根据权利要求5所述的检测装置,其特征在于,所述检测装置还包括:
异常检测单元,用于针对所述N个检测周期中的每一个检测周期,在所述检测周期内的所有传输时长中检测出每一个异常传输时长;
所述第一计算单元针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值时,具体用于:
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到所述检测周期对应的检测周期均值。
7.根据权利要求5所述的检测装置,其特征在于,所述确定单元根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值时,具体用于:
若预设的参考超时阈值位于所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算所述考核周期均值、所述N个检测周期中最晚的检测周期的检测周期均值和所述参考超时阈值的加权平均值,得到所述目标业务系统对应的超时阈值。
8.根据权利要求5所述的检测装置,其特征在于,所述检测装置还包括:
超时检测单元,用于针对所述目标业务系统发送的每一个数据文件,计算接收所述数据文件的时间和所述目标业务系统产生所述数据文件的时间的差值,得到所述数据文件的传输时长;
若所述数据文件的传输时长大于所述目标业务系统对应的超时阈值,确定所述数据文件为超时数据文件。
9.一种服务器,其特征在于,包括存储器和处理器;
其中,所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序,具体用于实现如权利要求1至4任意一项所述的超时数据的检测方法。
10.一种计算机存储介质,其特征在于,用于存储计算机程序,所述计算机程序被执行时,具体用于实现如权利要求1至4任意一项所述的超时数据的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933714.3A CN111984455B (zh) | 2020-09-08 | 2020-09-08 | 超时数据的检测方法、装置、服务器和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933714.3A CN111984455B (zh) | 2020-09-08 | 2020-09-08 | 超时数据的检测方法、装置、服务器和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111984455A true CN111984455A (zh) | 2020-11-24 |
CN111984455B CN111984455B (zh) | 2024-09-27 |
Family
ID=73448520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010933714.3A Active CN111984455B (zh) | 2020-09-08 | 2020-09-08 | 超时数据的检测方法、装置、服务器和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111984455B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760509A (zh) * | 2021-08-25 | 2021-12-07 | 北京百度网讯科技有限公司 | 一种超时管理方法、装置及电子设备 |
CN114661510A (zh) * | 2022-03-25 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种请求超时检测方法、装置、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014000289A1 (zh) * | 2012-06-29 | 2014-01-03 | 华为技术有限公司 | 一种会话处理方法和装置 |
CN108509979A (zh) * | 2018-02-28 | 2018-09-07 | 努比亚技术有限公司 | 一种异常检测方法、服务器及计算机可读存储介质 |
CN109583222A (zh) * | 2018-12-07 | 2019-04-05 | 浪潮(北京)电子信息产业有限公司 | 分布式文件系统元数据服务器回收客户端权限方法及装置 |
CN110012093A (zh) * | 2019-04-02 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 一种调整连接超时时间的方法及装置 |
-
2020
- 2020-09-08 CN CN202010933714.3A patent/CN111984455B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014000289A1 (zh) * | 2012-06-29 | 2014-01-03 | 华为技术有限公司 | 一种会话处理方法和装置 |
CN108509979A (zh) * | 2018-02-28 | 2018-09-07 | 努比亚技术有限公司 | 一种异常检测方法、服务器及计算机可读存储介质 |
CN109583222A (zh) * | 2018-12-07 | 2019-04-05 | 浪潮(北京)电子信息产业有限公司 | 分布式文件系统元数据服务器回收客户端权限方法及装置 |
CN110012093A (zh) * | 2019-04-02 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 一种调整连接超时时间的方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760509A (zh) * | 2021-08-25 | 2021-12-07 | 北京百度网讯科技有限公司 | 一种超时管理方法、装置及电子设备 |
CN113760509B (zh) * | 2021-08-25 | 2023-11-10 | 北京百度网讯科技有限公司 | 一种超时管理方法、装置及电子设备 |
CN114661510A (zh) * | 2022-03-25 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种请求超时检测方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111984455B (zh) | 2024-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109587001B (zh) | 一种性能指标异常检测方法及装置 | |
CN109190808B (zh) | 用户行为预测方法、装置、设备及介质 | |
CN111984455B (zh) | 超时数据的检测方法、装置、服务器和计算机存储介质 | |
CN109634819B (zh) | 告警根因定位方法和装置、电子设备 | |
US8468161B2 (en) | Determining a seasonal effect in temporal data | |
US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
CN113312578B (zh) | 一种数据指标的波动归因方法、装置、设备、及介质 | |
CN107026892B (zh) | 消息推荐方法和装置 | |
CN107463904A (zh) | 一种确定事件周期值的方法及装置 | |
CN111045894A (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
US11570078B2 (en) | Collecting route-based traffic metrics in a service-oriented system | |
CN111506625A (zh) | 一种告警阈值确定方法及装置 | |
CN109783385B (zh) | 一种产品测试方法和装置 | |
CN106598822A (zh) | 一种用于容量评估的异常数据检测方法及装置 | |
CN108932241B (zh) | 日志数据统计方法、装置及节点 | |
CN115437965B (zh) | 适用于测试管理平台的数据处理方法 | |
CN112380073A (zh) | 一种故障位置的检测方法、装置及可读存储介质 | |
CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
CN111880942A (zh) | 一种网络威胁处理方法及装置 | |
US20080126029A1 (en) | Run-Time Characterization of On-Demand Analytical Model Accuracy | |
CN108664550B (zh) | 一种对用户行为数据进行漏斗分析方法及装置 | |
CN113836204A (zh) | 接口异常检测方法、装置、电子设备和存储介质 | |
CN115987594A (zh) | 一种网络安全日志的异常检测方法、装置及设备 | |
CN107995014B (zh) | 基于告警信息发现功能拓扑的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |