CN109325052B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN109325052B
CN109325052B CN201811144670.5A CN201811144670A CN109325052B CN 109325052 B CN109325052 B CN 109325052B CN 201811144670 A CN201811144670 A CN 201811144670A CN 109325052 B CN109325052 B CN 109325052B
Authority
CN
China
Prior art keywords
parameter
parameters
output
processed
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811144670.5A
Other languages
English (en)
Other versions
CN109325052A (zh
Inventor
周扬
于君泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201811144670.5A priority Critical patent/CN109325052B/zh
Publication of CN109325052A publication Critical patent/CN109325052A/zh
Application granted granted Critical
Publication of CN109325052B publication Critical patent/CN109325052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本申请提供一种数据处理方法及装置,所述方法包括:检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T‑1个时刻内的衰减权重;根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据处理方法及装置。
背景技术
伴随着系统业务的迅猛发展,系统越来越庞大,在底层起支撑作用的系统平台数量就达数百个。这些平台每周的代码、数据库和配置变更等已达数千,任何一个环节的疏忽、错误,都可能导致系统风险,从而带来巨大损失。
在实际使用时,往往由于一次错误的代码变更、配置变更等导致系统出现故障。在出现故障之后,需要在最短时间内恢复系统的正常运行状态。出现问题后,应急人员在定位问题时还是采用最原始的线上机器查询日志的方式,由于此种方式效率低下,导致系统恢复正常的时间较长。
发明内容
有鉴于此,本说明书一个或多个实施例提供了一种数据处理方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。
本说明书一个或多个实施例提供了一种数据处理方法,所述方法包括:
检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重;
根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
本说明书一个或多个实施例提供了一种数据处理装置,所述装置包括:
获取模块,被配置为检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
过滤模块,被配置为将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
第一衰减权重计算模块,被配置为计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重;
第一异动程度计算模块,被配置为根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
第一输出模块,被配置为输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
本说明书一个或多个实施例提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如上所述数据处理方法的步骤。
本说明书一个或多个实施例提供了一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现如上所述数据处理方法的步骤。
本说明书一个或多个实施例提供的数据处理方法及装置,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数和/或输出参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
另外,本说明书一个或多个实施例中,在得到引发异动程度大于等于第二阈值的输入参数和/或输出参数后,将此输入参数和/或输出参数中的任意N个进行组合得到参数组,进一步计算参数组的引发异动程度,最后输出引发异动程度大于等于第二阈值的参数组,从而提升参数的查询效率的同时,还可以提高参数的查询精度。
附图说明
图1是本说明书一个或多个实施例的计算设备的结构示意图;
图2是本说明书一个实施例的数据处理方法的流程示意图;
图3是本说明书一个实施例的一维待处理特征集的生成图;
图4是本说明书另一个实施例的数据处理方法的流程示意图;
图5是本说明书一个实施例的数据处理方法的具体应用示意图;
图6是本说明书一个实施例的出入参变化的示意图;
图7是本说明书一个实施例的挖掘结果的输出过程示意图;
图8是本说明书一个或多个实施例的数据处理装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书一个或多个实施例。但是本说明书一个或多个实施例能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书一个或多个实施例内涵的情况下做类似推广,因此本说明书一个或多个实施例不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书一个或多个实施例中,提供了一种数据处理方法及装置、计算设备和计算机可读存储介质,在下面的实施例中逐一进行详细说明。
首先,对本说明书一个或多个实施例中涉及的术语进行说明。
特征:要完成一次业务请求,后台系统需进行多次函数调用,每次函数调用都是给定几个输入参数,函数返回一个输出参数。输入参数和输出参数合在一起简称为出入参。
异动:系统发生了不符合历史规律的变化。注意异动和异常的区别,异常一定是出了问题(是由人工分析确认的),而异动仅仅是发生了不符合历史规律的变化。异常一定是异动,而异动不一定是异常。例如:新业务上线,是异动但是不是异常。
(参数级别)根因:发生异动的本质原因,参数级别根因指找出是哪个参数发生变化引起的本次异动报警。
共性根因:很多函数调用都是由同一个根因引起的,该根因称为共性根因。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据,网络160用于接收数据库150存储的数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以包括任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以包括移动式或静止式的服务器。
其中,处理器120可以执行图2所示方法中的步骤。图2是示出了根据本说明书一个或多个实施例的数据处理方法的示意性流程图,包括步骤202至步骤210:
202、检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数。
需要说明的是,本实施例中所述的发生异动前T个时刻,包括发生异动的时刻,也即,第T个时刻为发生异动的时刻。
其中,T的数目可以根据实际需求来确定,例如取T为3。那么,T个时刻包括:时刻T、时刻T-1、时刻T-2。
以异动时刻为2017年9月12日22点35分00秒为例,那么本步骤中,T-1时刻为2017年9月12日22点34分00秒,T-2时刻为2017年9月12日22点33分00秒。
本实施例中,业务请求可以包括多种,例如可以为线下扫码支付、手机淘宝支付等。
204、将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集。
需要说明的是,重复率大于等于第一阈值的输入参数或输出参数,为本说明书一个或多个实施例中提及的共性根因。对于非共性根因,本实施例中需要过滤掉,生成一维待处理特征集。
参见图3,图3为本实施例中一维待处理特征集的生成图。由图中可见,一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次。
206、计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
其中,本步骤206包括:获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
本步骤中,可以根据每个时刻出现的输入参数和输出参数,进而统计得到每个所述输入参数或输出参数出现的时刻个数。注意:每个输入参数或输出参数出现的时刻个数小于等于T。
例如,第1个时刻的输入参数为(a,b,c),输出参数为(d),第2个时刻的输入参数为(a,b,e),输出参数为(d)。如果参数为a,那么该参数出现的时刻个数为2;如果参数为c,,那么该参数出现的时刻个数为1。
具体地,所述衰减权重通过以下公式(1)计算:
Figure BDA0001816527890000071
其中,Y1代表所述一维待处理特征集内的输入参数或输出参数的衰减权重;
T代表发生异动前的时刻个数;
t1代表所述一维待处理特征集内的每个时刻;
ft1代表所述一维待处理特征集内的输入参数或输出参数;
count(ft1)代表在所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数。
208、根据每个输入参数或输出参数的衰减权重得到对应的引发异动程度。
其中,本步骤208包括:获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
需要说明的是,频次即业务请求次数,频次和时刻个数不同,每个时刻的特征出现的频次大于等于1,也即,在一个时刻内的业务请求次数大于等于1。
具体地,所述引发异动程度通过以下公式(2)计算:
C1=Y1*(f1/F) (2)
其中,C1代表每个所述输入参数或输出参数的引发异动程度;
Y1代表每个所述输入参数或输出参数的衰减权重;
f1代表每个所述输入参数或输出参数的在在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
210、输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
其中,步骤210包括:根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
第二阈值可以自行设置,例如设置第二阈值为0.1。
本实施例中,以插件的形式提供排序函数,从而可以动态调整输出结果。
本说明书提供的数据处理方法,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数或输出参数,从而提升查询效率,缩短系统恢复正常的时间。
本说明书一个实施例中公开了一种数据处理方法,参见图4,包括下述步骤402~418。
其中,步骤402~410与上述实施例的步骤202~210一致,在此便不再赘述。除去步骤402~410,本实施例的数据处理方法还包括:
412、将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数。
以N=2为例,那么二维待处理特征集包括至少一个参数组,每个参数组包括两个输入参数和/或输出参数。
414、计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重。
本步骤414中,具体包括:获取所述M维待处理特征集内的每个参数组在所述一维待处理特征集内的所述T-1个时刻内出现的时刻个数,进而计算每个所述参数组在所述T-1个时刻内的衰减权重。
需要注意的是,每个参数组需要在一个时刻内均出现,才可以将该时刻作为参数组出现的时刻。例如,第1个时刻的输入参数为(a,b,c),输出参数为(d),第2个时刻的输入参数为(a,b,e),输出参数为(d)。如果参数组为(a,b),那么该参数组出现的时刻个数为2;如果参数组为(c,e),由于该两个参数并未出现在同一时刻,那么该参数组出现的时刻个数为0。
由于一维待处理特征集对应的时刻个数为T,那么每个参数组出现的时刻个数小于等于T。
具体地,每个参数组的衰减权重通过以下公式(4)计算:
Figure BDA0001816527890000101
其中,Y2代表所述M维待处理特征集内的参数组的衰减权重;
T代表发生异动前的时刻个数;
t2代表所述M维待处理特征集内的每个时刻;
ft2代表所述M维待处理特征集内的参数组;
count(ft2)代表在所述M维待处理特征集内的每个所述参数组在所述一维待处理特征集内的T-1个时刻内出现的时刻个数。
416、根据每个所述参数组的衰减权重得到对应的引发异动程度。
步骤416中,根据每个所述参数组的衰减权重得到对应的引发异动程度,包括:获取每个所述参数组在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述参数组的衰减权重,计算得到对应的引发异动程度。
所述引发异动程度通过以下公式(4)计算:
C2=Y2*(f2/F) (4)
其中,C2代表每个所述参数组的引发异动程度;
Y2代表每个所述参数组的衰减权重;
f2代表每个所述参数组在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
418、输出引发异动程度大于等于第二阈值的所述参数组。
其中,参数组的输出为根据预设的排序函数输出引发异动程度大于等于第二阈值的所述参数组。
第二阈值可以自行设置,例如设置第二阈值为0.1。
本说明书一实施例提供的数据处理方法,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数和/或输出参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
另外,本说明书一实施例中,在得到引发异动程度大于等于第二阈值的输入参数和/或输出参数后,将此输入参数和/或输出参数中的任意N个进行组合得到参数组,进一步计算参数组的引发异动程度,最后输出引发异动程度大于等于第二阈值的参数组,从而提升参数的查询效率的同时,还可以提高参数的查询精度。
参见图5,图5为本说明书一实施例的数据处理方法的具体应用示意图,具体包括:
b)在检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的出入参数502;
d)根据线上算法参数504,将前T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
本实施例中,线上算法参数504包括第一阈值,通过该线上算法参数进行过滤,得到过滤后的一维待处理特征集。
f)将一维待处理特征集输入至异动共性根因挖掘引擎506,异动共性根因挖掘引擎506对一维待处理特征集进行衰减权重的计算。
本实施例中,异动共性根因挖掘引擎506可以将一维待处理特征集传输至ODPS离线计算平台508进行衰减权重的计算。
其中,衰减权重的计算可以通过上述公式(1)求得。
h)异动共性根因挖掘引擎506根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度。
其中,引发异动程度可以通过上述公式(2)求得。
j)将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数。
l)异动共性根因挖掘引擎506计算所述M维待处理特征集内的每个所述参数组的衰减权重。
本实施例中,异动共性根因挖掘引擎506可以将M维待处理特征集传输至ODPS离线计算平台508进行衰减权重的计算。
其中,衰减权重的计算可以通过上述公式(3)求得。
n)异动共性根因挖掘引擎506根据每个所述参数组的衰减权重得到对应的引发异动程度。
其中,引发异动程度可以通过上述公式(4)求得。
p)异动共性根因挖掘引擎506输出挖掘结果510。
所述挖掘结果510为引发异动程度大于等于第二阈值的输入参数和/或输出参数、以及参数组。
异动共性根因挖掘引擎506根据预设的排序函数512输出挖掘结果510。
参见图6,图6为本说明书一实施例的出入参变化的示意图。其中,外面的圆圈、节点之间的边表示圆圈内的出入参属于一类业务。N表示出入参对应的频次。
需要注意的是,时刻具有等间隔的时间点。如果以分钟为单元,T-2时刻是2018年2月22日21点20分00秒,那么T-1时刻则是2018年2月22日21点21分00秒,T时刻则是2018年2月22日21点22分00秒。
由图中可见,白色表示参数发生了变化。在T时刻,参数a变为a’,参数c变为c’。
特征a的衰减权重计算:
1)count(ft=a)=3,在T-2时刻、T-1时刻均出现过。
2)T表示时刻个数,为3。
3)根据上述公式(2),计算a的衰减权重=1–(2/2)=0,也就是说不管a频次有多高,由于其周期性正常,a的衰减权重为0。
特征a’的衰减计算:
1)count(ft=a’)=0,在T-2时刻、T-1时刻均未出现过。
2)T表示时刻个数,为3。
3)a’的衰减权重=1–(0/2)=1,也就是a’不会衰减。
a和a’是两种极端的状态,其余情况均位于这两者之间,而任何特征的衰减权重均位于0到1之间。
参见图7,图7为挖掘结果的输出过程图。图7以一维待处理特征集和二维待处理特征集为例进行示例性的说明。具体的数据处理方法参见前述实施例,在此便不再赘述。
由图7中可见,最终输出的挖掘结果包括a’、c’、(a’,c’),以及各个参数或参数组的引发异动程度和引发异动概率。通过此种方式,在发生异动时,可以快速查找到引起异动的参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
本说明书一实施例还提供一种数据处理装置,参见图8,所述装置包括:
获取模块802,被配置为检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
过滤模块804,被配置为将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
第一衰减权重计算模块806,被配置为计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重;
第一异动程度计算模块808,被配置为根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
第一输出模块810,被配置为输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
可选地,所述第一衰减权重计算模块806被配置为获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
可选地,所述一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次;所述第一异动程度计算模块808被配置为获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
可选地,所述第一输出模块810被配置为根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
可选地,本实施例的数据处理装置还包括:
组合模块812,被配置为将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数;
第二衰减权重计算模块814,被配置为计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重;
第二异动程度计算模块816,被配置为根据每个所述参数组的衰减权重得到对应的引发异动程度;
第二输出模块818,被配置为输出引发异动程度大于等于第二阈值的所述参数组。
可选地,所述第二衰减权重计算模块814被配置为获取所述M维待处理特征集内的每个参数组在所述一维待处理特征集内的所述T-1个时刻内出现的时刻个数,进而计算每个所述参数组在所述T-1个时刻内的衰减权重。
可选地,所述第二异动程度计算模块816被配置为获取每个所述参数组在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述参数组的衰减权重,计算得到对应的引发异动程度。
可选地,所述第二输出模块818被配置为根据预设的排序函数输出引发异动程度大于等于第二阈值的参数组。
本说明书一实施例提供的数据处理装置,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数和/或输出参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
另外,本说明书一实施例提供的数据处理装置在得到引发异动程度大于等于第二阈值的输入参数和/或输出参数后,将此输入参数和/或输出参数中的任意N个进行组合得到参数组,进一步计算参数组的引发异动程度,最后输出引发异动程度大于等于第二阈值的参数组,从而提升参数的查询效率的同时,还可以提高参数的查询精度。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (19)

1.一种数据处理方法,其特征在于,所述方法包括:
检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
计算所述一维待处理特征集内的每个所述输入参数或输出参数在T-1个时刻内的衰减权重;
根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
2.如权利要求1所述的数据处理方法,其特征在于,所述计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重,包括:
获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
3.如权利要求2所述的数据处理方法,其特征在于,所述衰减权重通过以下公式计算:
Figure FDA0003031119640000011
其中,Y1代表所述一维待处理特征集内的输入参数或输出参数的衰减权重;
T代表发生异动前的时刻个数;
t1代表所述一维待处理特征集内的每个时刻;
ft1代表所述一维待处理特征集内的输入参数或输出参数;
count(ft1)代表在所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数。
4.如权利要求1所述的数据处理方法,其特征在于,所述一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次;
根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度,包括:
获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
5.如权利要求4所述的数据处理方法,其特征在于,所述引发异动程度通过以下公式计算:
C1=Y1*(f1/F)
其中,C1代表每个所述输入参数或输出参数的引发异动程度;
Y1代表每个所述输入参数或输出参数的衰减权重;
f1代表每个所述输入参数或输出参数的在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
6.如权利要求1所述的数据处理方法,其特征在于,输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数,包括:
根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
7.如权利要求1所述的数据处理方法,其特征在于,还包括:
将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数;
计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重;
根据每个所述参数组的衰减权重得到对应的引发异动程度;
输出引发异动程度大于等于第二阈值的所述参数组。
8.如权利要求7所述的数据处理方法,其特征在于,计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重,包括:
获取所述M维待处理特征集内的每个参数组在所述一维待处理特征集内的所述T-1个时刻内出现的时刻个数,进而计算每个所述参数组在所述T-1个时刻内的衰减权重。
9.如权利要求8所述的数据处理方法,其特征在于,所述衰减权重通过以下公式计算:
Figure FDA0003031119640000031
其中,Y2代表所述M维待处理特征集内的参数组的衰减权重;
T代表发生异动前的时刻个数;
t2代表所述M维待处理特征集内的每个时刻;
ft2代表所述M维待处理特征集内的参数组;
count(ft2)代表在所述M维待处理特征集内的每个所述参数组在所述一维待处理特征集内的T-1个时刻内出现的时刻个数。
10.如权利要求7所述的数据处理方法,其特征在于,所述一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次;
根据每个所述参数组的衰减权重得到对应的引发异动程度,包括:
获取每个所述参数组在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述参数组的衰减权重,计算得到对应的引发异动程度。
11.如权利要求10所述的数据处理方法,其特征在于,所述引发异动程度通过以下公式计算:
C2=Y2*(f2/F)
其中,C2代表每个所述参数组的引发异动程度;
Y2代表每个所述参数组的衰减权重;
f2代表每个所述参数组在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
12.如权利要求7所述的数据处理方法,其特征在于,输出引发异动程度大于等于第二阈值的所述参数组,包括:
根据预设的排序函数输出引发异动程度大于等于第二阈值的所述参数组。
13.一种数据处理装置,其特征在于,所述装置包括:
获取模块,被配置为检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
过滤模块,被配置为将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
第一衰减权重计算模块,被配置为计算所述一维待处理特征集内的每个所述输入参数或输出参数在T-1个时刻内的衰减权重;
第一异动程度计算模块,被配置为根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
第一输出模块,被配置为输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
14.如权利要求13所述的数据处理装置,其特征在于,所述第一衰减权重计算模块被配置为获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
15.如权利要求13所述的数据处理装置,其特征在于,所述一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次;
所述第一异动程度计算模块被配置为获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
16.如权利要求13所述的数据处理装置,其特征在于,所述第一输出模块被配置为根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
17.如权利要求13所述的数据处理装置,其特征在于,还包括:
组合模块,被配置为将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数;
第二衰减权重计算模块,被配置为计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重;
第二异动程度计算模块,被配置为根据每个所述参数组的衰减权重得到对应的引发异动程度;
第二输出模块,被配置为输出引发异动程度大于等于第二阈值的所述参数组。
18.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1-12任意一项所述数据处理方法的步骤。
19.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-12任意一项所述数据处理方法的步骤。
CN201811144670.5A 2018-09-29 2018-09-29 一种数据处理方法及装置 Active CN109325052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811144670.5A CN109325052B (zh) 2018-09-29 2018-09-29 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811144670.5A CN109325052B (zh) 2018-09-29 2018-09-29 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN109325052A CN109325052A (zh) 2019-02-12
CN109325052B true CN109325052B (zh) 2021-06-04

Family

ID=65266179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811144670.5A Active CN109325052B (zh) 2018-09-29 2018-09-29 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN109325052B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387123A (zh) * 2001-05-17 2002-12-25 明碁电通股份有限公司 交互式参数数据更新方法
CN1787452A (zh) * 2004-12-06 2006-06-14 华为技术有限公司 一种网元管理系统之间传递网管配置信息的方法
CN103793601A (zh) * 2014-01-20 2014-05-14 广东电网公司电力科学研究院 基于异常搜索和组合预测的汽轮机组在线故障预警方法
CN105210387A (zh) * 2012-12-20 2015-12-30 施特鲁布韦克斯有限责任公司 用于提供三维增强音频的系统和方法
CN106575312A (zh) * 2014-07-25 2017-04-19 苏伊士集团 用于检测配送网络特别是水配送网络中的异常的方法
CN106874180A (zh) * 2015-12-11 2017-06-20 财团法人资讯工业策进会 检测系统及其方法
CN207732725U (zh) * 2018-01-24 2018-08-14 国家电网公司 一种基于ZigBee的光伏电池板的异动在线监测装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793004B2 (en) * 2011-06-15 2014-07-29 Caterpillar Inc. Virtual sensor system and method for generating output parameters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387123A (zh) * 2001-05-17 2002-12-25 明碁电通股份有限公司 交互式参数数据更新方法
CN1787452A (zh) * 2004-12-06 2006-06-14 华为技术有限公司 一种网元管理系统之间传递网管配置信息的方法
CN105210387A (zh) * 2012-12-20 2015-12-30 施特鲁布韦克斯有限责任公司 用于提供三维增强音频的系统和方法
CN103793601A (zh) * 2014-01-20 2014-05-14 广东电网公司电力科学研究院 基于异常搜索和组合预测的汽轮机组在线故障预警方法
CN106575312A (zh) * 2014-07-25 2017-04-19 苏伊士集团 用于检测配送网络特别是水配送网络中的异常的方法
CN106874180A (zh) * 2015-12-11 2017-06-20 财团法人资讯工业策进会 检测系统及其方法
CN207732725U (zh) * 2018-01-24 2018-08-14 国家电网公司 一种基于ZigBee的光伏电池板的异动在线监测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"皮纳卫星遥测数据异常检测聚类分析方法";王婵 等;《哈尔滨工业大学学报》;20180430;第50卷(第4期);第110-116页 *
"输配电地理信息系统平台图形浏览服务的实现";李飞 等;《电力系统自动化》;20170610;第41卷(第11期);第99-104页 *

Also Published As

Publication number Publication date
CN109325052A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN111026570B (zh) 用于确定业务系统异常原因的方法和装置
CN111401788B (zh) 业务时序指标的归因方法以及装置
US10599952B1 (en) Computer-based systems and methods for recognizing and correcting distorted text in facsimile documents
CN107770783B (zh) 一种基站扩容改造方案设计方法及相关设备
US20180278716A1 (en) User data sharing method and device
CN110798365A (zh) 基于神经网络的流量预测方法及装置
CN110362999A (zh) 用于检测账户使用异常的方法及装置
CN115185760A (zh) 异常检测方法以及装置
CN111276247B (zh) 一种基于大数据处理的飞参数据健康评估方法及设备
CN111327466A (zh) 一种告警分析方法、系统、设备以及介质
CN109325052B (zh) 一种数据处理方法及装置
CN112015870B (zh) 数据上传方法及装置
Kim et al. A novel MobileNet with selective depth multiplier to compromise complexity and accuracy
CN110008077A (zh) 一种异常报警监控方法及装置、一种计算设备及存储介质
CN117035374A (zh) 一种应对突发事件的兵力协同调度方法、系统及介质
CN113296991A (zh) 异常检测方法以及装置
CN110113708B (zh) 基于Wi-Fi位置指纹的定位方法和装置
CN109598364B (zh) 一种预测方法及装置
CN110489568B (zh) 生成事件图的方法、装置、存储介质和电子设备
CN114611149A (zh) 数据处理方法及装置
CN116416764A (zh) 报警阈值的生成方法和装置、电子设备和存储介质
CN110046975B (zh) 一种记账方法及装置、计算设备和计算机存储介质
CN110765303A (zh) 一种更新数据库的方法及系统
CN111047016A (zh) 一种模型训练的方法和装置
CN115145982B (zh) 数据处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant