CN110321240B - 一种基于时序预测的业务影响评估方法和装置 - Google Patents

一种基于时序预测的业务影响评估方法和装置 Download PDF

Info

Publication number
CN110321240B
CN110321240B CN201910574237.3A CN201910574237A CN110321240B CN 110321240 B CN110321240 B CN 110321240B CN 201910574237 A CN201910574237 A CN 201910574237A CN 110321240 B CN110321240 B CN 110321240B
Authority
CN
China
Prior art keywords
link
time
traffic
call
call data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910574237.3A
Other languages
English (en)
Other versions
CN110321240A (zh
Inventor
马聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910574237.3A priority Critical patent/CN110321240B/zh
Publication of CN110321240A publication Critical patent/CN110321240A/zh
Application granted granted Critical
Publication of CN110321240B publication Critical patent/CN110321240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/008Reliability or availability analysis

Abstract

本公开的一方面涉及一种基于时序预测的业务影响评估方法,包括分析调用关系日志以确定特定业务链路的资源调用关系;对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据;对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列;基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化;以及根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度。本公开的其他方面还涉及相应的装置、设备和计算机可读介质。

Description

一种基于时序预测的业务影响评估方法和装置
技术领域
本公开涉及风险预测,尤其涉及基于时序预测的业务影响评估。
背景技术
对于为大量用户提供大量业务的平台而言,需要有高等级的容灾/容量方案和风险预估、巡检。容灾和容量可包括为计算机信息系统提供的能应对各种灾难和突发状况的环境。例如当计算机系统在遭受不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、数据库瘫痪、硬件/软件错误、人为操作错误等人为灾难、或突发访问量巨增导致超出容限时,容灾/容量系统将保证用户数据的安全性,甚至还能提供不间断的应用服务。
在对类似容灾/容量等应用系统高可用问题进行分析的过程中,通常需要对系统或数据库的稳定性的重要程度进行分析,以发现其对整体架构和高可用性设计的影响。例如,需要分析一个重要的系统是否存在对一些不具备容灾能力的数据库的依赖,这些依赖是否会影响到关键业务,以及这种影响会达到什么样的程度等。
在传统软件开发中,类似的问题通常只能通过系统属主的经验来解答。一些相对成熟的软件体系可能会使用具备全局标记能力的业务标识来对业务进行区分。
本领域中因此需要改进的技术来实现完备分析和精准防控。
发明内容
本公开的一方面涉及一种基于时序预测的业务影响评估方法,包括分析调用关系日志以确定特定业务链路的资源调用关系;对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据;对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列;基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化;以及根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度。
根据一示例性实施例,所述特定资源包括多个系统和多个数据库中的一者。
根据一示例性实施例,所述调用数据包括调用占比或调用量。
根据一示例性实施例,所述调用数据时间序列包括具有趋势性和周期性的序列。
根据进一步的示例性实施例,基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化包括使用Holt-winters三次指数平滑算法来预测所述调用数据时间序列在所述未来时间段上的变化。
根据一示例性实施例,对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据进一步包括基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析。
根据进一步的示例性实施例,基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析进一步包括基于所述特定业务链路的全局唯一性链路业务标识对所述业务数据进行聚簇;以及对基于所述特定业务链路的全局唯一性链路业务标识来聚簇的业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据。
根据一示例性实施例,基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化包括使用机器学习来进行所述预测。
根据一示例性实施例,该方法进一步包括基于所确定的所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度,来进行以下至少一者:容灾保障、知识破障以及架构引导。
本公开的其他方面还涉及相应的基于时序预测的业务影响评估装置、设备和计算机可读介质。
附图说明
图1示出了根据本公开一示例性方面的平台的全链路调用关系的示图。
图2示出了根据本公开一示例性方面的系统调用关系日志的示图。
图3示出了根据本公开一示例性方面的数据库调用关系日志的示图。
图4示出了根据一示例性而非限定性实施例的系统和数据库调用关系的示图。
图5示出了特定关键链路在数个采样时间对各系统和数据库的调用占比的示例。
图6示出了根据本公开一示例的业务链路在一段时间上对特定系统/数据库的调用关系的时间序列。
图7示出了根据一示例性实施例的特定业务链路在一段时间上对特定系统或DB的预测依赖百分比与实际依赖百分比的对比。
图8示出了根据一示例性实施例的基于时序预测的业务影响评估系统架构的数据流图。
图9示出了根据本公开一示例性方面的基于时序预测的业务影响评估方法的框图。
图10示出了根据本公开一示例性方面的基于时序预测的业务影响评估装置的框图。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图对本申请的实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例的罗列。基于本公开中描述的实施例,本领域普通技术人员在没有付出创造习惯劳动的情况下所获得的所有其他变化例都属于本申请的保护范围。
图1示出了根据本公开一示例性方面的平台100的全链路调用关系的示图。如所可见,该平台100可包括链路1、链路2、……链路N。这些链路分别调用相应的资源,例如各个系统A到系统M中的一个或多个系统。尽管图中仅示出一层系统调用,但是本公开并不被限定于此,而是可以包括任何一层或多层的系统调用。各系统可进一步分别调用数据库DB1、DB2……、DB K中的一个或多个数据库。
在平台100的链路A–N中,可能包括一个或多个关键链路。关键链路中断将可能对网络业务造成严重干扰,因此容灾/容量方案或系统必须首先保证关键链路的正常工作。
根据一示例,在图1的示例中,链路1例如可以是关键链路。例如,在时间t,链路1可调用系统A、B和M,而系统A调用DB1、DB2和DB3,系统B调用DB1和DB3,系统M调用DB2、DB3和DBK,等等。
通过对不同业务资金安全、受众范围、舆情风险等的标定,可以区分出不同业务的重要程度。对系统功能、资金风险和/或用户体验有较大影响的业务,需要进行更加重点的高可用性保障。
为了保障业务的高可用性,需要分析该业务链路所会调用的资源(例如,各个系统和数据库)的容量是否达标,该业务链路的各个部分是否都具备了无损容灾/容量能力,该业务链路是否存在对某个(些)非高可用性保障系统/数据库的直接依赖等。
现有技术中,针对业务影响的分析更多是基于经验的。例如,经验模式的业务高可用性分析大多是从某个已经定位的关键链路出发,通过分析链路调用关系,来确保链路中的每个系统和数据库都已具备高可用性。
然而,基于经验的业务影响评估方法具有一定的局限性。例如,基于经验的推断,无法保障分析的完备性。所有的经验均是基于过去的。因此,对于某些可能出现的业务陡增或是业务周期性变化等,基于经验的推断是无法提供风险预测防控能力的。
为了达到完备分析、精准防控的目的,本公开创新地通过调用占比量化来评估不同系统和数据库对关键链路的影响程度,然后通过时序预测算法预估业务在未来时间的变化趋势。
根据一示例性实施例,链路对系统以及系统对数据库的调用可被录入日志。例如,图2示出了根据本公开一示例性方面的系统调用关系日志SYS_LOG 200的示图。
系统调用关系日志SYS_LOG 200可包括各种字段,诸如日期201、时间202、日志级别203、代码位置204、日志内容205、错误码206等或其任何组合。例如,日志内容205可记录该系统被链路或其他系统调用的情况。
根据一示例,系统调用关系日志SYS_LOG 200可记录系统A的调用关系。例如,日期201为2019年3月1日、时间202为20点48分00秒的日志内容205可记录系统A被链路1调用。又如,日期201为2019年3月1日、时间202为20点48分15秒的日志内容205可记录系统A被链路2调用。如所可知,这仅是系统A的调用关系的两个示例。
图3示出了根据本公开一示例性方面的DB调用关系日志DB_LOG300的示图。DB调用关系日志DB_LOG 300可包括各种字段,诸如日期301、时间302、日志级别303、代码位置304、日志内容305、错误码306等或其任何组合。例如,日志内容305可记录该DB被系统调用的情况。
根据一示例,DB调用关系日志DB_LOG 300可记录DB1的调用关系。例如,根据一示例性而非限定性实施例,日期301为2019年3月1日、时间302为20点48分00秒的日志内容305可记录DB1被系统A调用。又如,日期301为2019年3月1日、时间302为20点48分15秒的日志内容305可记录DB1被系统A调用。如所可知,这仅是DB调用的两个示例。
根据一示例性而非限定性实施例,系统调用关系日志SYS_LOG 200和DB调用关系日志DB_LOG 300可以是相同的格式,并且可被合并为一个日志。根据其他示例性而非限定性实施例,系统调用关系日志SYS_LOG200和DB调用关系日志DB_LOG 300可以是不同的格式,例如可包括不同的字段。如所可知,系统调用关系日志SYS_LOG 200和DB调用关系日志DB_LOG 300的字段并不限于以上所列举的字段,而是可以包括一个或多个其他字段或者移除其中一个或多个字段。
例如,根据一示例性而非限定性实施例,尽管在图2和图3中未示出,但系统调用关系日志SYS_LOG 200和DB调用关系日志DB_LOG 300还可以包括全局唯一性链路业务标识以用于在全链路各个系统和/或数据库之间区分业务。该全局唯一性链路业务标识可标识相应的系统和/或DB调用属于哪个业务。
每个系统的系统调用关系日志SYS_LOG 200和每个数据库的DB调用关系日志DB_LOG 300可被分开保存或作为统一的日志保存。当作为统一的日志保存时,日志中分别还需要相应的全局唯一性系统标识符和全局唯一性DB标识符等(图中未示出)。
如所可知,尽管本公开中以表的形式示出了系统调用关系日志SYS_LOG 200和DB调用关系日志DB_LOG 300,但是本公开并不被限定于此。例如,系统调用关系日志SYS_LOG200和/或DB调用关系日志DB_LOG 300也可以是其他形式/格式,例如链表、树结构等等。
根据一示例性而非限定性实施例,通过分析系统调用关系日志(例如,图2的200)和DB调用关系日志(例如,图3的300),可以得到每个业务链路中系统和数据库的调用关系。例如,通过分析系统调用关系日志和DB调用关系日志,可以确定链路1的系统和数据库调用关系。
图4示出了根据一示例性而非限定性实施例的系统和数据库调用关系400的示图。例如,利用全局唯一性链路业务标识,可以检索到任何特定时间窗口(例如,1分钟、10分钟、30分钟、1小时、1日、7日、1月、1年等)中特定链路的系统和数据库调用关系。
例如,图4中示出了例如2019年3月1日20点期间,特定链路(例如,链路1)的系统和数据库调用关系400。如所可知,尽管本公开中以表的形式示出了特定链路的系统和数据库调用关系,但是本公开并不被限定于此。例如,特定链路的系统和数据库调用关系也可以是其他形式/格式,例如链表、树结构等等。
通过利用各关键链路的全局唯一性链路业务标识,可对系统和数据库调用关系进行全局采样,得到过去某个时间点上,这些关键链路中的每一者对每一个系统或数据库的调用占比。
例如,在一示例性情形中,对于与第一特定业务相关联的关键链路1,在特定时间,有60%的业务会经过系统A,50%的业务会经过系统B。由此,可以量化定义,对于该第一特定业务而言,系统A的重要程度大于系统B。例如,如果系统A在该特定时间出现高可用性问题(例如,崩溃),则至多会影响到该链路1的60%。
类似地,在又一示例性情形中,对于与第一特定业务相关联的关键链路1,在特定时间,有40%的业务会经过DB1,70%的业务会经过DB2。由此,可以量化定义,对于该第一特定业务而言,DB2的重要程度大于DB1。例如,如果DB2在该特定时间出现高可用性问题(例如,崩溃),则至多会影响到该链路1的70%。
在另一示例性情形中,对于与第二特定业务相关联的关键链路2,在特定时间,有30%的业务会经过系统A,30%的业务会经过系统B,55%的业务会经过系统C。由此,可以量化定义,对于该第二特定业务而言,系统C的重要程度大于系统A和系统B。例如,如果系统C在该特定时间出现高可用性问题(例如,崩溃),则至多会影响到该链路2的55%。
类似地,在又一示例性情形中,对于与第二特定业务相关联的关键链路2,在特定时间,有65%的业务会经过DB1,30%的业务会经过DB2,55%的业务会经过DB3。由此,可以量化定义,对于该第二特定业务而言,DB1的重要程度大于DB2和DB3。例如,如果DB1在该特定时间出现高可用性问题(例如,崩溃),则至多会影响到该链路2的65%。
通过对系统和数据库调用关系进行的全局采样,得到过去某个时间,关键链路对每一个系统或数据库的调用占比。图5示出了一个示例性情形中,特定关键链路在数个采样时间对各系统和数据库的调用占比500的示例。
如所可见,在图5的示例中,在采样时间T,该关键链路对系统A的调用占比为30%,对系统B的调用占比为40%,……,对系统M的调用占比为0%;另一方面,该关键链路对DB1的调用占比为50%,对DB2的调用占比为60%,……,对DB K的调用占比为0%。该示例中还依次示出了在采样时间T+t0、T+2t0、T+3t0、……时,该关键链路对各系统A–M以及各数据库DB1–DB K的调用占比。
关键链路(或其他链路)对各系统以及各数据库的调用占比、与该关键链路在某个时间段的业务总量以及该关键链路调用某个特定系统或特定DB的业务量之间可以相互转换。例如,关键链路调用某个特定系统或特定DB的业务量可以基于该关键链路在某个时间段的业务总量与其对该特定系统或特定DB的调用占比来确定,反之亦然。
根据一示例性实施例,可对多个时间段的采样数据进行时序排列,即可得到该业务链路在与该多个时间段相对应的一段时间上对某个特定系统或特定数据库的调用关系的时间序列。
图6示出了根据本公开一示例的业务链路在一段时间上对特定系统/数据库的调用关系的时间序列600。例如,根据一示例,该时间序列600可反映某线上购票业务对一特定系统的调用关系的历史变化曲线。
如所可见,该曲线的横轴表示时间,图上示出某年8月2日至8月6日之间的时间。该曲线的纵轴表示业务调用笔数。可以看到,随着用户作息及使用习惯影响,用户的购票消费行为会导致对相应系统或DB的调用在每天中午12点和傍晚18点达到峰值,产生以日为单位的周期性变化。日均业务增长趋势整体平缓。但是由于大量用户有周末出行的习惯,周五(例如,8月2日)购票量会达到每周的峰值,从而产生以星期为单位的周期性变化。
如所可见,该曲线体现出两个维度的周期性变化,一个维度以天为单位,另一个维度以周为单位。图6的曲线的纵轴表示业务调用笔数。业务调用笔数能够与占比进行相互转化,如前所述。
一般化地,业务变化通常可能呈现出以下特性中的零种、一种或两种:(i)趋势性;以及(ii)季节性。趋势性是指在一个业务产品或活动的生命周期内,通常会呈现出线性或指数型的业务增长或消亡趋势。另一方面,季节性是指受业务特点及用户支付行为影响,业务量级会随日、周、月、年等产生某些周期性变化。如所可见,本文中的“季节”一词不限于一年四季的范畴,而是可以指任何周期性变化,例如小时、天、周、月等等。当一个序列在每个固定的时间间隔中出现某种重复的模式,就可称之为具有季节性特征,而这样的一个时间间隔即可称为一个季节。一个季节的长度k可为它所包含的序列点的总数。
为了预测业务变化,可以采用各种指数平滑法。指数平滑法的思想是离预测点越近的点作用越大,而越久远的数据权重将越接近于0。换言之,即将权重按照指数级进行衰减。取决于该业务变化是否呈现出趋势性和季节性,可以采用几种不同的指数平滑法。一次指数平滑法一般针对既没有趋势性也没有季节性的序列,二次指数平滑法一般针对有趋势性但是没有季节性的序列,三次指数平滑法针对既有趋势性也有季节性的序列。
根据本公开一示例性实施例,可采用Holt-Winters三次指数平滑算法来预测包含季节性的时间序列。例如,可按照业务趋势,对时间周期k=1日/1周/1月/1年等周期进行分别预测。
Holt-Winters三次指数平滑算法的公式如下:
si=α*(xi-pi-k)+(1-α)*(si-1+ti-1)
ti=β*(si-si-k)+(1-β)*ti-1
pi=γ*(xi-si)+(1-γ)*pi-k
xi+h=si+h*ti+pi-k+h
其中,α、β和γ是平滑参数或称阻尼因子,其取值在[0,1],si是在时间i的经平滑程度或称截距,ti是在时间i的趋势变化,pi是在时间i的季节性平滑或称季节因子,k是季节长度即时间周期,xi是在时间i的预测值,其可包括业务量、业务占比等统计量。
根据一示例,α、β和γ的值可通过试验来达到最佳效果,也可通过各种寻优方法来确定,例如贝叶斯调参、网格调参等。
根据一示例,Holt-Winters算法中,si、ti和pi的初始值可如下计算:
Figure BDA0002111648280000101
Figure BDA0002111648280000102
Figure BDA0002111648280000103
根据另一示例,也可简单地取初始值为:
s0=x0
t0=x1-x0
p0=0。
如所可知,本公开的方案并不被限定于Holt-Winters三次指数平滑算法,而是可以采用其他各种预测算法,包括简易平均法,如几何平均法、算术平均法及加权平均法;移动平均法,如简单移动平均法和加权移动平均法;其他指数平滑法,如一次指数平滑法和二次指数平滑法;线性回归法,如一元线性回归和二元线性回归等等。
根据预测结果,即可得到某一个业务链路在未来时间对每一个系统、DB的依赖百分比。图7示出了根据一示例性实施例的特定业务链路在一段时间上对特定系统或DB的预测依赖百分比与实际依赖百分比的对比。图中横轴代表时间,而纵轴代表依赖百分比。如所可见,虚线代表预测依赖百分比,而实线代表实际依赖百分比。
通过对总体结果进行反查,即可评估若特定系统或DB出现高可用性问题,会对哪些关键链路产生多大的影响。
例如,如从图7中所可见,水平线可代表不同级别的风险预警。例如,水平虚线可代表警戒水平,水平实线可代表高风险水平。在本例中,警戒水平可为例如50%,而高风险水平可为65%。当该业务链路对该特定系统或DB的依赖百分比超过警戒水平时,若该特定系统或DB出现高可用性问题,则该业务链路(例如,关键业务链路)可能会受到影响。当该业务链路对该特定系统或DB的依赖百分比超过高风险水平时,若该特定系统或DB出现高可用性问题,则该业务链路(例如,关键业务链路)可能会受到严重影响。如所可知,本例中的风险水平级别的具体数值仅为示例。在不同场景中,可根据具体需要、经验或其他因素来决定风险水平级别的具体阈值。
尽管在本例中仅示出了两级风险预警,但是本公开并不被限定于此,而是可以包括更多或更少的风险预警级别。
图8示出了根据一示例性实施例的基于时序预测的业务影响评估系统架构800的数据流图。如所可见,该系统架构可包括线上业务数据库802、采样数据库804、全局唯一性链路业务标识数据库806以及全局运行故障数据库808。采样数据库804中的数据可以通过对线上业务数据库802进行采样来获得。例如,根据一示例性而非限定性实施例,可对线上业务数据库802进行例如1:100的正则采样。采样数据库804中的数据可以例如包括但不限于以上结合图2和图3描述的系统日志200和/或数据库日志300等的形式。例如,系统日志和/或数据库日志可包括全局唯一性链路业务标识等。
系统可从采样数据库804获取业务维度采样数据810。业务维度采样数据810可表示按业务维度来组织的采样数据。业务维度采样数据810可按时间排列,从而得到业务采样时间序列814。
另一方面,通过采用全局唯一性链路业务标识数据库806中的全局唯一性链路业务标识,可以进行业务数据聚簇。通过这种方式,可以得到某个时间段采样数据中特定关键链路的业务总量及在这些采样业务中调用到某个系统或DB的业务总量。对多个时间段的采样数据进行时序排列,即得到了该业务链路对于某个系统或DB在过去一段时间调用关系的时间序列,例如聚合粒度采样时间序列816。
业务采样时间序列814和聚合粒度采样时间序列816可被输入到机器学习模型818中。例如,机器学习模型818可包括深度学习网络等。根据一示例性而非限定性实施例,机器学习模型818可以预测链路在未来时间对系统和/或数据库的依赖程度(例如,百分比)。
根据一示例,系统从全局运行故障数据库808获取核心链路的信息。结合核心链路的信息并基于机器学习模型818的预测结果,系统可以评估聚焦后的关键链路单库/单机宕机影响,进行业务趋势分析与预测,和/或链路稳定性与合理性分析等等。
聚焦后的关键链路单库/单机宕机影响涉及特定关键链路对单个数据库/系统的依赖程度。根据示例,当特定关键链路对特定数据库/系统的依赖程度超过例如警戒水平时,和/或当特定关键链路对特定数据库/系统的依赖程度超过高风险水平时,系统可以采取相应的容灾保障措施,例如实现实时备份、增加备份数量等等。
业务趋势分析与预测可涉及小时、日、周、月、季度、年等各种时间尺度以用于例如知识破障。在一场景中,可以预测未来一周的线上购票业务趋势。例如,可能预测到在即将到来的周五,线上购票业务对相应业务数据库的依赖可能会突破高风险水平。相应地,可以预先做好数据库扩容和/或备份等准备。
链路稳定性与合理性分析涉及基于机器学习模型818的预测结果对特定链路在高压力情况下的稳定性进行分析。例如,若有多个业务链路依赖于一特定系统,则即便每个业务链路对该特定系统的依赖程度不高,其集总效应也可能导致该特定系统超负荷。此类分析可以用于进行架构引导,以便于构建更稳定安全抗压的系统架构。
图9示出了根据本公开一示例性方面的基于时序预测的业务影响评估方法900的框图。在框902,方法900可以分析系统和/或DB调用关系日志,以得到每个业务链路中系统和/或数据库的调用关系。例如,系统调用关系日志和数据库调用关系日志可以包括但不限于例如以上结合图2和图3描述的调用关系日志,其可包括全局唯一性链路业务标识以用于在全链路各个系统和/或数据库之间区分业务。该全局唯一性链路业务标识可标识相应的系统和/或DB调用属于哪个业务。
在框904,方法900可以对业务数据进行全局采样分析,以得到过去一段时间里的各个时间点上,每一条关键链路对每一个系统和/或DB的调用占比。例如,可以通过利用各关键链路的全局唯一性链路业务标识,对系统和数据库调用关系进行全局采样,得到过去各个时间点上,这些关键链路中的每一者对每一个系统或数据库的调用占比。采样频率可以根据业务场景和具体需要等来决定。特定关键链路在数个采样时间对各系统和数据库的调用占比可如例如图5所示。
在框906,方法900可对多个时间段的采样数据进行时序排列,以得到各个业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列。例如,特定业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列可以如图6中所示。
在框908,方法900可基于特定业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列,来预测该序列在未来一段时间上的变化。例如,特定业务链路在一段时间上对特定系统或DB的预测依赖百分比与实际依赖百分比的对比可如图7中所示。特定业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列的预测可以基于各种算法,例如Holt-Winters三次指数平滑算法等。
在框910,方法900可以根据预测结果来确定特定业务链路在未来时间对特定系统和/或数据库的依赖程度。例如,如图7中所示,可预先为特定业务链路对特定系统和/或数据库的依赖程度设定一个或多个阈值,以判断在特定系统和/或数据库在未来出现高可用性问题的情况下,特定业务链路在未来时间对该特定系统和/或数据库的依赖程度对关键链路将导致多大的影响。相应地,可以采取各种容灾保障措施,还可实现知识破障、架构引导等来增强整个架构的稳定性。
图10示出了根据本公开一示例性方面的基于时序预测的业务影响评估装置1000的框图。装置1000可以包括用于分析系统和/或DB调用关系日志,以得到每个业务链路中系统和/或数据库的调用关系的模块1002。模块1002可以执行以上结合图9描述的方法900的框902等的功能。
装置1000可进一步包括用于进行全局采样分析,以得到过去各个时间点上,每一条关键链路对每一个系统和/或DB的调用占比的模块1004。模块1004可以执行以上结合图9描述的方法900的框904等的功能。
装置1000可进一步包括用于对多个时间段的采样数据进行时序排列,以得到各个业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列的模块1006。模块1006可以执行以上结合图9描述的方法900的框906等的功能。
装置1000可进一步包括用于基于特定业务链路在过去一段时间上对于特定系统或DB的调用关系时间序列,来预测该序列在未来一段时间上的变化的模块1008。模块1008可以执行以上结合图9描述的方法900的框908等的功能。
装置1000可进一步包括用于根据预测结果来确定特定业务链路在未来时间对特定系统和/或数据库的依赖程度的模块1010。模块1010可以执行以上结合图9描述的方法900的框910等的功能。
装置1000的各个模块可以用各种方式来实现。例如,上述模块可以被配置成软件。根据一示例性而非限定性实施例,上述模块可以按处理器可读指令的形式被存储在存储器中,并在由处理器执行时实现相应的功能。根据另一示例性而非限定性实施例,上述模块可被实现在存储处理器可读指令的计算机可读介质上。
在其他方面,装置1000的各个模块也可被实现为硬件。例如,装置1000的各个模块可被实现为逻辑块、电路模块、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、门或晶体管逻辑、硬件组件等或其任何组合。
在进一步的方面,装置1000的各个模块也可被实现为硬件与软件的组合(诸如,固件)。本公开在此方面并不受限定。
本领域普通技术人员应理解,本发明的有益效果并非由任何单个实施例来全部实现。各种组合、修改和替换均为本领域普通技术人员在本发明的基础上所易于明了。
此外,除非特别指出,否则术语“或”旨在表示包含性“或”而非排他性“或”。即,除非另外指明或从上下文能清楚地看出,否则短语“X采用A或B”或类似短语旨在表示任何自然的可兼排列。即,短语“X采用A或B”藉由以下实例中的任何实例得到满足:X采用A;X采用B;X采用A和B两者。术语“连接”与“耦合”可表示相同含义,即两组件之间直接的或经由一个或多个居间组件的间接耦合。另外,本申请和所附权利要求书中所用的冠词“一”和“某”一般应当被理解为表示“一个或多个”,除非另外特别声明或从上下文中可以清楚地看出是指单数形式。
各个方面或特征以可包括数个设备、组件、模块及类似物等的系统的形式来呈现。应理解的是,各种系统可以包括附加的设备、组件、模块及类似物等,和/或可以并不包括所讨论的实施例中的设备、组件、模块及类似物的全体。
结合本文中所公开的实施例描述的各种说明性逻辑、逻辑块、模块和电路可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、门或晶体管逻辑、硬件组件。但在替换方案中,处理器可以是任何常规的处理器、控制器、微控制器或状态机。以上结合方法描述的实施例可以通过处理器和与之耦合的存储器来实现,其中处理器可被配置成执行前述任何方法的任何步骤或其组合。
结合本文中的实施例描述的方法或算法的步骤和/或动作可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。例如,以上结合各个方法描述的实施例可以通过存储有计算机程序代码的计算机可读介质来实现,其中该计算机程序代码在由处理器/计算机执行时执行前述任何方法的任何步骤或其任何组合。
本公开中通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上等效的方案均被本公开所覆盖。此外,本文中任何内容无论是否在权利要求书中被述及,均并非旨在贡献给公众。

Claims (20)

1.一种基于时序预测的业务影响评估方法,其特征在于,包括:
分析调用关系日志以确定特定业务链路的资源调用关系,所述特定业务链路是中断后能对网络业务造成严重干扰的关键链路;
对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据,所述特定资源是所述特定链路所会调用的资源;
对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列;
基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化;以及
根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度。
2.如权利要求1所述的方法,其特征在于,所述特定资源包括多个系统和多个数据库中的一者。
3.如权利要求1所述的方法,其特征在于,所述调用数据包括调用占比或调用量。
4.如权利要求1所述的方法,其特征在于,所述调用数据时间序列包括具有趋势性和周期性的序列。
5.如权利要求4所述的方法,其特征在于,基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化包括:
使用Holt-winters三次指数平滑算法来预测所述调用数据时间序列在所述未来时间段上的变化。
6.如权利要求1所述的方法,其特征在于,对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据进一步包括:
基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析。
7.如权利要求6所述的方法,其特征在于,基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析进一步包括:
基于所述特定业务链路的全局唯一性链路业务标识对所述业务数据进行聚簇;以及
对基于所述特定业务链路的全局唯一性链路业务标识来聚簇的业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据。
8.如权利要求1所述的方法,其特征在于,基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化包括使用机器学习来进行所述预测。
9.如权利要求1所述的方法,其特征在于,进一步包括:基于所确定的所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度,来进行以下至少一者:容灾保障、知识破障以及架构引导。
10.一种基于时序预测的业务影响评估装置,其特征在于,包括:
用于分析调用关系日志以确定特定业务链路的资源调用关系的模块,所述特定业务链路是中断后能对网络业务造成严重干扰的关键链路;
用于对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据的模块,所述特定资源是所述特定链路所会调用的资源;
用于对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列的模块;
用于基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化的模块;以及
用于根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度的模块。
11.如权利要求10所述的装置,其特征在于,所述特定资源包括多个系统和多个数据库中的一者。
12.如权利要求10所述的装置,其特征在于,所述调用数据包括调用占比或调用量。
13.如权利要求10所述的装置,其特征在于,所述调用数据时间序列包括具有趋势性和周期性的序列。
14.如权利要求13所述的装置,其特征在于,用于基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化的模块包括:
使用Holt-winters三次指数平滑算法来预测所述调用数据时间序列在所述未来时间段上的变化的模块。
15.如权利要求10所述的装置,其特征在于,用于对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据的模块进一步包括:
用于基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析的模块。
16.如权利要求15所述的装置,其特征在于,用于基于所述特定业务链路的全局唯一性链路业务标识对业务数据进行采样分析的模块进一步包括:
用于基于所述特定业务链路的全局唯一性链路业务标识对所述业务数据进行聚簇的模块;以及
用于对基于所述特定业务链路的全局唯一性链路业务标识来聚簇的业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据的模块。
17.如权利要求10所述的装置,其特征在于,用于基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化的模块包括用于使用机器学习来进行所述预测的模块。
18.如权利要求10所述的装置,其特征在于,进一步包括:用于基于所确定的所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度,来进行以下至少一者的模块:容灾保障、知识破障以及架构引导。
19.一种基于时序预测的业务影响评估设备,其特征在于,包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器配置成:
分析调用关系日志以确定特定业务链路的资源调用关系,所述特定业务链路是中断后能对网络业务造成严重干扰的关键链路;
对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据,所述特定资源是所述特定链路所会调用的资源;
对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列;
基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化;以及
根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度。
20.一种存储有处理器可执行指令的计算机可读介质,所述处理器可执行指令用于基于时序预测进行业务影响评估,其特征在于,所述处理器可执行指令在由处理器执行时使所述处理器:
分析调用关系日志以确定特定业务链路的资源调用关系,所述特定业务链路是中断后能对网络业务造成严重干扰的关键链路;
对业务数据进行采样分析,以确定所述特定业务链路在过去时间段的多个时间点对特定资源的调用数据,所述特定资源是所述特定链路所会调用的资源;
对在所述多个时间点采样到的调用数据进行时序排序,以确定所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列;
基于所述特定业务链路在所述过去时间段上对于所述特定资源的调用数据时间序列,来预测所述调用数据时间序列在未来时间段上的变化;以及
根据所述预测,确定所述特定业务链路在所述未来时间段上对所述特定资源的依赖程度。
CN201910574237.3A 2019-06-28 2019-06-28 一种基于时序预测的业务影响评估方法和装置 Active CN110321240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910574237.3A CN110321240B (zh) 2019-06-28 2019-06-28 一种基于时序预测的业务影响评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574237.3A CN110321240B (zh) 2019-06-28 2019-06-28 一种基于时序预测的业务影响评估方法和装置

Publications (2)

Publication Number Publication Date
CN110321240A CN110321240A (zh) 2019-10-11
CN110321240B true CN110321240B (zh) 2023-06-09

Family

ID=68120548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574237.3A Active CN110321240B (zh) 2019-06-28 2019-06-28 一种基于时序预测的业务影响评估方法和装置

Country Status (1)

Country Link
CN (1) CN110321240B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339156B (zh) * 2020-02-07 2023-09-26 京东城市(北京)数字科技有限公司 业务数据的长期确定方法、装置和计算机可读存储介质
CN111654405B (zh) * 2020-06-29 2024-04-02 平安银行股份有限公司 通信链路的故障节点方法、装置、设备及存储介质
CN113609192B (zh) * 2021-08-10 2024-03-22 中国工商银行股份有限公司 业务数据的处理方法、装置和服务器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778474A (zh) * 2012-10-18 2014-05-07 华为技术有限公司 资源负载量预测方法、分析预测系统及业务运营监控系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2715904B2 (ja) * 1994-04-21 1998-02-18 日本電気株式会社 計算機システム性能評価装置
JP4756675B2 (ja) * 2004-07-08 2011-08-24 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ資源のキャパシティを予測するためのシステム、方法およびプログラム
US20140365269A1 (en) * 2013-06-10 2014-12-11 Internationl Business Machines Corporation Failure prediction based preventative maintenance planning on asset network system
CN103996077B (zh) * 2014-05-22 2018-01-05 中国南方电网有限责任公司电网技术研究中心 一种基于多维时间序列的电气设备故障预测方法
CN105340311B (zh) * 2014-06-05 2019-06-28 华为技术有限公司 网络设备、网络业务预测装置和方法
CN105120487A (zh) * 2015-09-02 2015-12-02 中国联合网络通信集团有限公司 一种业务数据预测方法及装置
CN106549772B (zh) * 2015-09-16 2019-11-19 华为技术有限公司 资源预测方法、系统和容量管理装置
CN109409561B (zh) * 2018-08-22 2022-04-19 国网天津市电力公司 多时间尺度时间序列协同预测模型的构建方法
CN109766234A (zh) * 2018-12-11 2019-05-17 国网甘肃省电力公司信息通信公司 基于时间序列模型的磁盘存储容量预测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778474A (zh) * 2012-10-18 2014-05-07 华为技术有限公司 资源负载量预测方法、分析预测系统及业务运营监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Felix Willnecker等.Model-based prediction of automatic memory management and garbage collection behavior.《Simulation Modelling Practice and Theory》.2018,164-191. *

Also Published As

Publication number Publication date
CN110321240A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110321240B (zh) 一种基于时序预测的业务影响评估方法和装置
US20200192741A1 (en) Automatic model-based computing environment performance monitoring
CN110865929B (zh) 异常检测预警方法及系统
US20220030087A1 (en) Method and apparatus for predicting experience degradation events in microservice-based applications
US10467533B2 (en) System and method for predicting response time of an enterprise system
US20190222503A1 (en) System Event Analyzer and Outlier Visualization
US9794158B2 (en) System event analyzer and outlier visualization
Muller Fuzzy architecture assessment for critical infrastructure resilience
US10558545B2 (en) Multiple modeling paradigm for predictive analytics
US11558272B2 (en) Methods and systems for predicting time of server failure using server logs and time-series data
US20230115255A1 (en) Systems and methods for predictive assurance
CN109120463B (zh) 流量预测方法及装置
US11593100B2 (en) Autonomous release management in distributed computing systems
US9373078B1 (en) Methods and systems for predictive alerting
US20180039895A1 (en) Data predicting method and apparatus
CN114430826A (zh) 用于预测计算工作负载的时间序列分析
Yang et al. A revised range of variability approach considering the periodicity of hydrological indicators
JPWO2012029500A1 (ja) 運用管理装置、運用管理方法、及びプログラム
CN109783310A (zh) It设备的多维动态安全监控方法及其监控装置
CN116010897A (zh) 数据异常检测的方法、装置、电子设备及存储介质
US20210216927A1 (en) Systems And Methods For Identifying An Officer At Risk Of An Adverse Event
EP2597601A1 (en) Method and system for functional monitoring in multi-server reservation system
JP2013182471A (ja) プラントオペレーションの負荷評価装置
Andrade et al. Dependability analysis of a cyber‐physical system for smart environments
Mendoza et al. Machine learning for anomaly detection on VM and host performance metrics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant