CN110502431B - 系统服务评测方法、装置及电子设备 - Google Patents
系统服务评测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110502431B CN110502431B CN201910642738.0A CN201910642738A CN110502431B CN 110502431 B CN110502431 B CN 110502431B CN 201910642738 A CN201910642738 A CN 201910642738A CN 110502431 B CN110502431 B CN 110502431B
- Authority
- CN
- China
- Prior art keywords
- system service
- evaluation
- data
- target system
- submodel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 328
- 238000013461 design Methods 0.000 claims abstract description 139
- 238000005553 drilling Methods 0.000 claims abstract description 125
- 238000012360 testing method Methods 0.000 claims abstract description 90
- 230000003068 static effect Effects 0.000 claims abstract description 49
- 238000013210 evaluation model Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 24
- 230000001419 dependent effect Effects 0.000 claims description 17
- 238000009530 blood pressure measurement Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000004140 cleaning Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000002955 isolation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005406 washing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例提供了一种系统服务评测方法、装置及电子设备，利用目标系统服务的静态数据和动态数据作为评测使用数据，基于设计原则评测子模型、演练评测子模型、运行评测子模型共同确定出目标系统服务的可用性评测结果。从而基于客观的系统服务评测模型从设计原则、测试演练、实际运行三方面对系统服务进行智能化评测，以此代替了人工评估，从而实现了全面、精确和自动化评估测系统服务的可用性。
Description
技术领域
本说明书实施例涉及计算机领域，尤其涉及一种系统服务评测方法、装置及电子设备。
背景技术
系统服务(system services)是执行指定系统功能的程序、例程或进程，系统服务在后台运行，以便支持其他程序。比如，系统服务通过系统服务支持用户运行的程序。系统服务可以在本地、或者通过网络为用户提供一些功能，例如客户端/服务器应用程序、Web服务器、数据库服务器以及其他基于服务器的应用程序。高可用性(High Availability)，是指通过尽量缩短因日常维护操作和突发的系统服务崩溃所导致的停机时间，以提高系统服务的可用性。目前，系统服务是否具备高可用性，大部分是凭借专家经验或者人工来判断，或者系统服务经过一段时间运行后，根据可使用性确定系统具备的高可用性。
发明内容
本说明书实施例提供及一种系统服务评测方法、装置及电子设备，以更准确提高评测系统服务的可用性。
第一方面，本说明书实施例提供一种系统服务评测方法，包括：获取目标系统服务的静态数据和动态数据；将所述静态数据和所述动态数据输入至系统服务评测模型，得到所述目标系统服务的系统服务评测结果，其中，所述系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型，所述服务评测结果包括基于所述设计原则评测子模型得到的设计原则评测结果，基于所述演练评测子模型得到的测试演练评测结果，以及基于所述运行评测子模型得到的运行评测结果；根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果。
第二方面，本说明书实施例提供一种系统服务评测装置，包括：数据获取单元，用于获取目标系统服务的静态数据和动态数据；分别评测单元，用于将所述静态数据和所述动态数据输入至系统服务评测模型，得到所述目标系统服务的系统服务评测结果，其中，所述系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型，所述服务评测结果包括基于所述设计原则评测子模型得到的设计原则评测结果，基于所述演练评测子模型得到的测试演练评测结果，以及基于所述运行评测子模型得到的运行评测结果；总评测单元，用于根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果。
第三方面，本说明书实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述系统服务评测方法。
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述系统服务评测方法。
本说明书实施例有益效果如下：
本说明书实施例是目标系统服务的静态数据和动态数据作为评测使用数据输入至系统服务评测模型，得到系统服务评测结果，而系统服务评测结果中包括基于设计原则评测子模型得到的设计原则评测结果，基于演练评测子模型得到的测试演练评测结果，基于运行评测子模型得到的运行评测结果；根据系统服务评测结果确定出目标系统服务的可用性评测结果。由此，能够基于客观的系统服务评测模型从设计原则、测试演练、实际运行三方面对系统服务进行智能化评测，以此代替了人工评估，从而实现了全面、精确和自动化评估测系统服务的可用性。
附图说明
图1为本说明书实施例提供的系统服务评测方法的流程图；
图2为本说明书实施例提供的系统服务评测装置的结构示意图；
图3为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面，本说明书实施例提供一种系统服务评测方法，用于对系统服务的可用性进行评估。需要说明的是，本说明实施例中系统服务评测方法针对不同操作系统的系统服务，参考图1所示，系统服务评测方法包括如下步骤：
S101、获取目标系统服务的静态数据和目标系统服务的动态数据。
在S101中，获取目标系统服务的静态数据和目标系统服务的动态数据，具体包括：获取所述目标系统服务的底层依赖数据，从底层依赖数据中清洗出静态数据和动态数据。其中，从目标系统服务的存储位置读取目标系统服务的底层依赖数据。
具体的，从底层依赖数据中清洗出如下一种或者多种静态数据：
1、目标系统服务的实现代码；
2、目标系统服务的重要级别；比如，配置有多种系统服务的重要级别，举例来讲，如果重要级别配置有0-7级，目标系统服务的重要级别处于0-7级中某一级别。
3、目标系统服务的依赖服务；目标系统服务的依赖服务具体包括：目标系统服务所依赖的其他系统服务、目标系统服务所依赖的数据库。
4、目标系统服务所依赖的每个系统服务的重要级别；
5、目标系统服务的调用关系；调用关系具体的包括：目标系统服务所在的调用链路和/或目标系统服务在调用链路中的位置。
6、目标系统服务的核心配置数据；核心配置数据具体包括：是或否依赖缓存、是或否缓存热点、是或否具备限流功能，是或否具备降级开关。
7、目标系统服务所依赖的存储、缓存以及中间件；
8、目标系统服务的复杂度。
具体的，从底层依赖数据中清洗出如下一种或者多种目标系统服务的动态数据：
1、目标系统服务的测试测试演练数据，比如，测试测试演练数据可以包括：执行目标系统服务的耗时数据。需要说明的是，系统服务的类型、所在的操作系统不同等等因素，测试演练数据有所不同，本说明书实施例不进行穷举。
2、目标系统服务的运行数据，比如：运行目标系统服务出现的异常数据；异常指的是在程序运行过程中发生的异常事件，具体包括：异常数据、错误数据。
3、目标系统服务的压测数据；压测数据具体包括容量压测数据和性能压测数据；容量压测是在是目标系统服务已经加载非常大量的数据后，处理很少量或很大量数据任务时的运行情况。性能压测是通过确定一个目标系统服务的瓶颈或者不能接受的性能点，来获得目标系统服务能提供的最大服务级别的测试。
4、目标系统服务的调用数据。具体的，目标系统服务的调用数据可以包括如下一种或者多种：目标系统服务调用其他程序的TPS(Transactions Per Second，每秒处理事务数)和/或QPS(Queries Per Second，每秒查询率)、目标系统服务被其他程序调用的TPS和/或QPS数据。
在一可选的实施方式中，步骤S101可以有用户触发执行，在另一可选的实施方式下：可以通过调度引擎，基于根据预设调度周期，持续获取目标系统服务的静态数据和动态数据。在具体实施过程中，预设调度周期可以为： T+1，或者T+h，或者实时。基于预设调度周期为T+1，则一天执行一次获取目标系统服务的静态数据和动态数据的步骤。基于预设调度周期为T+h，比如预设调度周期为T+1小时，则每小时执行一次获取目标系统服务的静态数据和动态数据的步骤；比如预设调度周期为T+2小时，则两小时执行一次获取目标系统服务的静态数据和动态数据的步骤。每执行一次获取目标系统服务的静态数据和动态数据的步骤，就会触发执行一次步骤S102～S103，从而实现动态、持续对目标系统服务的可用性进行评测。
S102、将静态数据和动态数据输入至系统服务评测模型，得到目标系统服务的系统服务评测结果。
本说明书实施例中所应用的系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型。针对系统服务评测模型中每个子模型配置有权重。服务评测结果包括基于设计原则评测子模型得到的设计原则评测结果，基于演练评测子模型得到的测试演练评测结果，以及基于运行评测子模型得到的运行评测结果。
针对系统服务评测模型中包括多个子模型，针对每个字模型配置有权重。具体的，针对设计原则评测子模型、演练评测子模型和运行评测子模型分别配置有权重，从而控制设计原则、实际运行、测试演练这三方面的评测数据对最终的可用性评测结果的影响程度。举例来讲，针对设计原则评测子模型配置第一权重为30％、针对演练评测子模型配置第二权重为50％、针对运行评测子模型配置第三权重为20％。
具体的，设计原则评测子模型中配置有多个设计实现规则，针对每个设计实现规则配置有扣减分值。设计原则评测子模型中所有设计实现规则的可分配总分配置为第一分配总分。
在具体实施过程中，在设计具备高可用能力的系统服务时，遵从以下全部或者部分设计原则：
减少单点：去单点首先要识别整个系统服务所有主链路的单点，如机房 (同城异地双机房)，应用服务器，DNS服务器，SFTP服务器，LBS，缓存服务器，数据库，消息服务器，代理服务器和专线等；
减少依赖：减少DNS依赖，减少远程服务依赖及调用；
限制循环：避免无限死循环，导致CPU利用率百分百；
控制流量：避免异常流量对系统服务产生影响，可以对指定服务设置流量限制，如QPS，TPS，QPH和QPD等；
监控预警：对CPU使用率，load，内存，带宽，系统服务调用量，应用错误量，PV，UV和业务量进行监控及预警，实时发现异常情况；
无状态：系统服务尽量不保存用户状态数据；
容量规划：定期对系统服务容量进行评估，如大促前进行压测和容量预估，根据需要进行扩容，保证容量充足；
功能开关：在系统服务上可配置功能切换能力，比如消息量过大，系统服务处理不了，把开关打开后直接丢弃消息不处理。上线新功能增加开关，如果有问题关闭新功能等；
设置超时：系统服务尽量设置连接超时和运行超时设置，不应该太大，尽量保证对大部分请求可用；
重试策略：当调用外部服务异常时可以设置重试策略，每次重试时间递增，但是需要设置最大重试次数和重试开关，避免对下游的系统服务产生影响；
服务隔离：应用隔离，模块隔离，机房隔离和线程池隔离，尽量使服务具备不受其他功能异常的影响；
异步调用：同步调用改成异步调用，解决远程调用故障或调用超时对系统服务的影响；
热点缓存：对热点数据进行缓存，降低RPC调用；
缓存容灾：当数据库不可用时可以使用缓存的数据，并设置分级缓存，如优先读本地缓存，其次读分布式缓存；
服务分级：对服务进行重要性分级，如ABC三个等级，高级别系统服务不依赖于低级别系统服务，并且高级别系统服务比底级别系统服务高可用率要高。
服务降级：如果系统服务出现响应缓慢等状况，可以关闭部分功能，从而释放系统资源，保证核心服务的正常运行；
流量蓄洪：当流量陡增时，可以将请求进行蓄洪，如把请求保存在数据库中，再按照指定的QPS进行泄洪，有效的保护下游系统，也保证了服务的可用性；
服务权重：在集群环境中，可自动识别高性能服务，拒绝调用性能低的服务；
依赖简化：减少系统服务之间的依赖，比如使用消息驱动，A和B系统服务通过消息服务器传递数据，中间使用数据库进行读写分离，
弹性扩容：根据资源的使用率自动或手动进行扩容，如带宽不够用时，快速增加带宽；
灰度和回滚：发布新功能只让部分服务器生效，且观察几天逐渐切流，如果出现问题只影响部分客户，出现问题能快速回滚，或者直接下线灰度的机器；
减少远程调用：优先调用本地JVM内服务，其次是同机房服务，然后是同城服务，最后是跨城服务；
熔断机制：增加熔断机制，当监控出线上数据出现大幅跌涨时，及时中断，避免对业务产生更大影响；
线上压测：系统服务的对外服务需要进行压测，知道该系统服务能承受的QPS和TPS，从而做出相对准确的限流。
具体的，演练评测子模型中配置有多个测试演练规则，针对演练评测子模型中每个测试演练规则配置有扣减分值。演练评测子模型中所有测试演练规则的可分配总分配置为第二分配总分。
具体的，运行评测子模型中配置有多个运行情况规则，针对运行评测子模型中每个运行情况规则配置有扣减分值。运行评测子模型中所有运行情况规则的可分配总分配置为第三分配总分。
具体来讲，第一分配总分、第二分配总分和第三分配总分可以是相同数值；比如，第一分配总分、第二分配总分和第三分配总分均设置为100分，或者均设置为10分。当然，第一分配总分、第二分配总分和第三分配总分也可以不同。具体来讲，可以是根据系统服务评测模型中每个子模型的规则数量对应配置该子模型的分配总分。即：根据设计原则评测子模型中设计实现规则的数量进行配置第一分配总分；根据演练评测子模型中测试演练规则的数量进行配置第二分配总分；根据运行评测子模型中运行情况规则量的数量配置第三分配总分。需要说明的是，属于同一子模型的规则越多，针对该子模型的分配总值越大。
在一可选的实施方式下，针对每个设计实现规则、每个测试演练规则、每个运行情况规则分别配置有单级扣减分值。并且，针对每个设计实现规则、每个测试演练规则、每个运行情况规则配置的扣减分值可以相同或者不同。以相同为例，针对每个设计实现规则、每个测试演练规则、每个运行情况规则配置的分别配置扣减分值为“5”。以不同为例，可以根据各个规则的重要程度配置不同的扣减分值。
为了更准确衡量目标系统服务的可用性(可用能力)的高低，在另一可选的实施方式下，针对每个设计实现规则、每个测试演练规则、每个运行情况规则分别配置多级扣减分值。
针对每个设计实现规则、每个测试演练规则、每个运行情况规则各自配置多个扣分等级，每个扣分等级对应一个扣减分值，比如，每个规则配置有“严重”、“高”、“中”、“低”共四个扣分等级，“严重”配置扣减分值为“5分”，“高”配置扣减分值为“3分”,“中”配置扣减分值为“2 分”，“低”配置扣减分值为“1分”。
具体的，在目标系统服务的静态数据和动态数据中，包括如下三类数据：对应设计原则评测子模型的设计类数据、对应演练评测子模型的测试演练数据、对应运行评测子模型的运行情况数据。基于此，在S102中，具体包括独立执行或者顺序执行的如下步骤S1021～S1023：
步骤S1021、将目标系统服务的设计类数据输入至设计原则评测子模型，其中，目标系统服务的设计类数据包括：目标系统服务所依赖的其他系统服务、所依赖的数据库、是或否依赖缓存、是或否缓存热点、是或否具备限流功能、是或否具备降级开关中的一种或者多种数据。
步骤S1022、将目标系统服务的测试演练数据输入至演练评测子模型，其中，目标系统服务的运行情况数据包括：性能压测数据、容量压测数据、执行目标系统服务的耗时数据。
步骤S1023、将目标系统服务的运行情况数据输入至运行评测子模型，其中，目标系统服务的运行情况数据，包括：运行目标系统服务时出现的异常数据、错误数据，目标系统服务调用其他程序的TPS(Transactions Per Second，每秒处理事务数)和/或QPS(Queries Per Second，每秒查询率)、目标系统服务被其他程序调用的TPS和/或QPS数据。
步骤S1021，具体包括：从目标系统服务的动态数据和静态数据中确定出设计类数据；将设计类数据输入设计原则评测子模型，与设计原则评测子模型中每个设计实现规则进行匹配，确定出目标系统服务不满足的设计实现规则；基于第一分配总分和目标系统服务每个不满足的设计实现规则的扣减分值，得到设计原则评测结果。
步骤S1022，具体包括：根据目标系统服务的动态数据和静态数据，确定出测试演练数据；将测试演练数据输入至演练评测子模型，与演练评测子模型中每个测试演练规则进行匹配，确定出目标系统服务不满足的测试演练规则；基于第二分配总分和目标系统服务每个不满足的测试演练规则的扣减分值，得到测试演练评测结果。
步骤S1023，具体包括：根据目标系统服务的动态数据和静态数据，确定出运行情况数据；将运行情况数据输入至运行评测子模型，与演练评测子模型中每个运行情况规则进行匹配，确定出目标系统服务不满足的运行情况规则；基于第三分配总分和目标系统服务每个不满足的运行情况规则的扣减分值，得到运行评测结果。
需要说明的是，步骤S1021～S1023没有严格的执行顺序，可以任意顺序执行，或者独立同时执行。
具体的，设计原则评测结果中包含：设计原则评测总得分、测试演练评测总得分、运行表现总得分。在具体实施过程中，基于第一分配总分和目标系统服务每个不满足的设计实现规则的扣减分值，得到设计原则评测结果。通过执行引擎执行如下三方面：
针对目标系统服务执行每个设计实现规则，得到每个设计实现规则的执行结果分值；对每个设计实现规则的执行结果分值进行离散化处理，得到每个设计实现规则的评测结果分值；基于全部设计实现规则的评测结果分值之和，得到设计原则评测总得分。
同理的，针对目标系统服务执行每个测试演练规则，得到每个测试演练规则的执行结果分值，对每个测试演练规则的执行结果分值进行离散化处理，得到每个测试演练规则的评测结果分值；基于全部测试演练规则的评测结果分值之和得到目标系统服务的测试演练评测总得分。
同理的，针对目标系统服务执行每个运行情况规则，得到每个运行情况规则的执行结果分值，对每个运行情况规则的执行结果分值进行离散化处理，得到每个运行情况规则的评测结果分值，基于全部运行情况规则的评测结果分值之和，得到目标系统服务的运行表现总得分。
进一步的，在本说明书实施例中，可以定期根据历史评测数据对系统服务评测模型进行优化训练，定期对子模型中相应的设计实现规则、测试演练规则、运行情况规则进行更新，具体包括加入新的评测规则和删除失效的规则。评测规则及评测模型不断的更新及完善，到达智能化评测的有效性。
S103、根据服务评测结果，确定出目标系统服务的可用性评测结果。
具体的，可用性评测结果中包含高可用性总得分，在步骤S103中，根据服务评测结果中每个子模型的总得分与对应的权重，确定出目标系统服务的可用性评测结果。具体的，设计原则评测总得分与第一权重的乘积、测试演练评测总得分与第二权重的乘积、运行表现总得分与第三权重的乘积，三个乘积结果之和作为目标系统服务的高可用性总得分。
进一步的，在执行步骤S103之后，本说明实施例还提供如下步骤：根据可用性评测结果判断目标系统服务是否具备高可用性。具体可以通过如下步骤实现：判断目标系统服务的高可用性总得分是否大于预设评分阈值，如果是，则确定目标系统服务具备高可用性，否则，确定目标系统服务不具备高可用性。
在本说明实施例中，通过打分计算引擎进行计算，得到设计原则评测总得分、测试演练评测总得分以及运行表现总得分，并且，通过打分计算引擎计算三者之和，以此作为对目标系统服务的高可用性总得分。
在一可选的实施方式下，高可用性总得分可以通过如下公式计算得到：
在另一可选的实施方式下，可以通过如下公式计算得到高可用性总得分：
当然，也可以不针对每个子模型配置权重，则
E表示系统服务评测模型中全部规则的数量，Rf表示为第f个规则配置的扣减分值。
当然，在具体实施过程中，系统服务评测结果还可以包括其他评测结果，比如，还可以包括：基于代码逻辑评测子模型，基于代码逻辑评测子模型得到系统代码逻辑评价结果。
需要说明的是，在实际应用过程中，可以根据实际情况不断丰富每个子模型下的评测规则，其每个评测规则配置的扣减分值及扣减比例也可以动态调整。应用上述任一种实施方式，任一个接入的系统服务都会被系统服务评测模型进行动态评分，持续对系统服务进行评估，不满足某一规则，会扣减相应的扣减分值，分值越低，其高可用能力越低。
以目标系统服务为交易核心系统A为例：
举例来讲，配置的某一设计原则规则为:服务接口可降级规则，如果交易核心系统A中的某一核心服务接口K调用了另一系统服务B中的一个非核心接口，但是在交易核心系统A的开发设计中，并未做交易核心系统A的接口的降级开关，当系统服务B的接口不可用时，会导致交易核心系统A的此核心服务接口K也不可用，最终引起雪崩效应，整个核心链路不可用(如交易的核心链路)，这种情况，表征该交易核心系统A不满足服务接口可降级规则，扣减相应的扣减分值。
举例来讲，配置的某一演练评测规则为：双11大促演练规则，如果在双11来临之前，交易核心系统A进行模拟演练，如对交易核心系统A做交易下单演练，模拟6W的qps/tps,校验交易核心系统A的服务容量及性能，如果演练结果低于预期值，表征交易核心系统A在当前状态下不具备负载双11 的能力，扣减相应的扣减分值。
举例来讲，配置的某一运行评测规则为：服务超时次数规则，对交易核心系统A的超时或者预设时长内的调用耗时或进行评测，假设交易核心系统A的接口的调用耗时超过预期时长阈值，或者在预设时长内发生调用超时次数超过预设次数阈值，则表征交易核心系统A不满足服务超时次数规则，扣减相应的扣减分值。
规则很多，本说明书实施例不进行穷举。
在具体实施过程中，各方面的评测规则很多，本说明书实施例不进行穷举。
进一步的，为了便于对目标系统服务的问题追踪，设计原则评测结果中还包含每个子模型的评测执行记录，具体的，包含：基于设计原则评测子模型得到的设计原则评测执行记录、基于演练评测子模型得到的测试演练评测执行记录，以及基于运行评测子模型得到的运行评测执行记录；基于设计原则评测执行记录、测试演练评测执行记录和运行评测执行记录对目标系统服务进行问题追踪。具体来讲：对设计原则评测执行记录、测试演练评测执行记录以及运行评测执行记录进行分析，得到目标系统服务的得分分布信息；根据得分分布信息进行问题跟踪，确定出目标系统服务的问题项；对目标系统服务的问题项进行优化处理。
举例来讲，若根据得分分布信息确定出目标系统服务不满足的规则集中在设计原则上，则表征目标系统服务不具备高可用能力的原因在设计原则上，则对目标系统服务的设计原则进行优化。同理的，若根据得分分布信息确定出目标系统服务不满足的规则集中在演练测试上，则对目标系统服务在性能、容量角度进行优化，比如，对目标系统服务依赖的核心配置数据进行优化。在达到预设调度周期的下一次评测时间点时，对经过本次优化后的目标系统服务进行评测。具体评测过程参考前述步骤S101～S103的详细描述，为了说明书的简洁，在此不再赘述。根据上述闭环(评测-问题追踪-优化处理 -评测)，可以实时监控目标系统服务的高可用评分的情况，并对得分结果进行实时分析及跟踪，充分保障目标系统服务在不断的迭代、演进过程中，持续保持高可用能力及稳定性。
经过调度引擎、规则执行引擎、打分引擎，可以动态、实时获取服务高可用得分结果及得分分布情况，并且进一步根据规则得分情况进行问题跟踪及还原。智能化评估替代人工评估；持续性评估确保系统服务具备的高可用能力不会随着系统的迭代而丧失。
进一步，还可以根据目标系统服务的得分分布信息，生成得分雷达图和/ 或评测明细，以使用户直观了解问题分布。
现有技术中大部分系统服务是否具备高可用能力，都是凭借专家经验或者人工来判断，或者系统服务经过一段时间运行后，根据系统服务的可使用性(当系统服务可使用率值达到一定阈值后，即可称为其具备高可用能力) 和可靠性度量系统服务是否具备高可用能力。可靠性定义：系统服务在规定的条件下和规定的时间内完成规定功能的能力，当系统服务的可靠性越高，其可以无故障工作的时间就越长，从而保证系统服务的可使用性。并且，现有技术中对大部分系统服务的高可用能力评估都是零散的，不具备全面性和精确性和自动化评估能力；相比之下，本说明书实施例通过多维度的评测规则(设计实现规则、测试演练规则、运行情况规则)及客观的系统服务评测模型，保证了评测系统服务的可用性的全面性、精确性、自动化。
并且，现有技术对系统服务具备的高可用能力评估不具备连续性、持续性、及时性；随着需求的变化及系统的升级，系统服务具备的高可用能力可能丧失或者变化。而本说明书实施例通过动态执行和智能调度，对系统服务的高可用能力进行持续评估；评测规则及评估模型会不断的更新及完善，确保系统服务具备的高可用能力不会随着系统的迭代而丧失，到达智能化评估的有效性；根据评估结果及评分执行记录，可跟踪问题所在，并及时进行优化及调整。
第二方面，基于与系统服务评测方法同样的发明构思，本说明书实施例提供一种系统服务评测装置，参考图2所示，包括：
数据获取单元201，用于获取目标系统服务的静态数据和动态数据；
分别评测单元202，用于将所述静态数据和所述动态数据输入至系统服务评测模型，得到所述目标系统服务的系统服务评测结果，其中，所述系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型，所述服务评测结果包括基于所述设计原则评测子模型得到的设计原则评测结果，基于所述演练评测子模型得到的测试演练评测结果，以及基于所述运行评测子模型得到的运行评测结果；
总评测单元203，用于根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果。
在一可选的实现方式下，数据获取单元201，包括：
动态调度单元2011，用于根据预设调度周期进行动态调度，基于动态调度持续获取目标系统服务的静态数据和动态数据。
在一可选的实现方式下，数据获取单元201，包括：
底层数据获取单元2012，用于获取目标系统服务的底层依赖数据；
静态数据清洗单元2013，用于从底层依赖数据中清洗出静态数据；
动态数据清洗单元2014，用于从底层依赖数据中清洗出动态数据。
在一可选的实现方式下，静态数据清洗单元2013，具体用于从底层依赖数据中清洗出如下一种或者多种静态数据：
目标系统服务的实现代码、目标系统服务的重要级别、目标系统服务的依赖服务、目标系统服务依赖的每个系统服务的重要级别、目标系统服务的调用关系、目标系统服务的核心配置数据、目标系统服务所依赖的存储、缓存和中间件、目标系统服务的复杂度。
在一可选的实现方式下，动态数据清洗单元2014，具体用于从底层依赖数据中清洗出如下一种或者多种动态数据：
执行目标系统服务的耗时数据、运行目标系统服务过程中出现的异常数据、目标系统服务的容量压测数据、目标系统服务的性能压测数据、目标系统服务的调用数据。
在一可选的实现方式下，设计原则评测子模型中配置有多个设计实现规则，每个设计实现规则配置有扣减分值，分别评测单元202，具体包括：
设计数据提取子单元，用于从动态数据和静态数据中确定出设计类数据；
第一匹配子单元，用于将设计类数据输入设计原则评测子模型，与设计原则评测子模型中每个设计实现规则进行匹配，确定出目标系统服务不满足的设计实现规则；
设计原则评测子单元，用于基于第一分配总分和每个不满足的设计实现规则的扣减分值，得到设计原则评测结果。
在一可选的实现方式下，演练评测子模型中配置有多个测试演练规则，每个测试演练规则配置有扣减分值，分别评测单元202，包括：
测试演练数据提取子单元，用于根据动态数据和静态数据，确定出测试演练数据；
第二匹配子单元，用于将测试演练数据输入至演练评测子模型，与演练评测子模型中每个测试演练规则进行匹配，确定出目标系统服务不满足的测试演练规则；
演练评测子单元，用于基于第二分配总分和每个不满足的测试演练规则的扣减分值，得到测试演练评测结果。
在一可选的实现方式下，运行评测子模型中配置有多个运行情况规则，每个运行情况规则配置有扣减分值，分别评测单元202，包括：
运行数据提取子单元，用于根据动态数据和静态数据，确定出运行情况数据；
第三匹配子单元，用于将运行情况数据输入至运行评测子模型，与运行评测子模型中每个运行情况规则进行匹配，确定出目标系统服务不满足的运行情况规则；
运行评测子单元，用于基于第三分配总分和每个不满足的运行情况规则的扣减分值，得到运行评测结果。
在一可选的实现方式下，装置还包括：
高可用性判断单元204，用于根据可用性评测结果判断目标系统服务是否具备高可用性，和/或
优化处理单元205，用于根据可用性评测结果对目标系统服务进行优化处理。
在一可选的实现方式下，优化处理单元205，具体用于：
从可用性评测结果中确定出基于设计原则评测子模型得到的设计原则评测执行记录、基于演练评测子模型得到的测试演练评测执行记录，以及基于运行评测子模型得到的运行评测执行记录；
根据设计原则评测执行记录、测试演练评测执行记录以及运行评测执行记录，得到目标系统服务的得分分布信息；
根据得分分布信息进行问题跟踪，确定出目标系统服务的问题项；
对目标系统服务的问题项进行优化处理。
在一可选的实现方式下，可用性评测结果包括可用性评测总分；总评测单元203，具体用于：
根据设计原则评测结果及针对设计原则评测子模型配置的第一权重、测试演练评测结果以及针对演练评测子模型配置的第二权重、运行评测结果以及针对运行评测子模型配置的第三权重，共同确定出目标系统服务的高可用性总得分。
第三方面，基于与前述系统服务评测方法实施例同样的发明构思，本发明还提供一种电子设备，如图3所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，处理器302执行程序时实现前文所述系统服务评测方法实施例的步骤。
其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301 和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
第四方面，基于与前述系统服务评测方法实施例的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述系统服务评测方法实施例的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。
Claims (22)
1.一种系统服务评测方法，包括：
获取目标系统服务的静态数据和动态数据；
将所述静态数据和所述动态数据输入至系统服务评测模型，得到所述目标系统服务的系统服务评测结果，其中，所述系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型，所述服务评测结果包括基于所述设计原则评测子模型得到的设计原则评测结果，基于所述演练评测子模型得到的测试演练评测结果，以及基于所述运行评测子模型得到的运行评测结果；
根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果；
所述可用性评测结果包括：基于所述设计原则评测子模型得到的设计原则评测执行记录、基于所述演练评测子模型得到的测试演练评测执行记录，以及基于所述运行评测子模型得到的运行评测执行记录；根据所述设计原则评测执行记录、所述测试演练评测执行记录以及所述运行评测执行记录，得到所述目标系统服务的得分分布信息；根据所述得分分布信息进行问题跟踪，确定出所述目标系统服务的问题项；对所述目标系统服务的问题项进行优化处理。
2.如权利要求1所述的系统服务评测方法，所述获取目标系统服务的静态数据和动态数据，包括：
根据预设调度周期进行动态调度，基于所述动态调度持续获取目标系统服务的静态数据和动态数据。
3.如权利要求1或2所述的系统服务评测方法，所述获取目标系统服务的静态数据和动态数据，包括：
获取所述目标系统服务的底层依赖数据；
从所述底层依赖数据中清洗出所述静态数据；
从所述底层依赖数据中清洗出所述动态数据。
4.如权利要求3所述的系统服务评测方法，从所述底层依赖数据中清洗出所述静态数据，包括：从所述底层依赖数据中清洗出如下一种或者多种静态数据：
所述目标系统服务的实现代码、所述目标系统服务的重要级别、所述目标系统服务的依赖服务、所述目标系统服务依赖的每个系统服务的重要级别、所述目标系统服务的调用关系、所述目标系统服务的核心配置数据、所述目标系统服务所依赖的存储、缓存和中间件、所述目标系统服务的复杂度。
5.如权利要求3所述的系统服务评测方法，从所述底层依赖数据中清洗出所述动态数据，包括：从所述底层依赖数据中清洗出如下一种或者多种动态数据：
执行所述目标系统服务的耗时数据、运行所述目标系统服务过程中出现的异常数据、所述目标系统服务的容量压测数据、所述目标系统服务的性能压测数据、所述目标系统服务的调用数据。
6.如权利要求1所述的系统服务评测方法，所述设计原则评测子模型中配置有多个设计实现规则，每个设计实现规则配置有扣减分值；
得到所述设计原则评测结果的步骤，包括：
从所述动态数据和所述静态数据中确定出设计类数据；
将所述设计类数据输入所述设计原则评测子模型，与所述设计原则评测子模型中每个设计实现规则进行匹配，确定出所述目标系统服务不满足的设计实现规则；
基于第一分配总分和所述每个不满足的设计实现规则的扣减分值，得到所述设计原则评测结果。
7.如权利要求1所述的系统服务评测方法，所述演练评测子模型中配置有多个测试演练规则，每个测试演练规则配置有扣减分值；
得到所述测试演练评测结果的步骤，包括：
根据所述动态数据和所述静态数据，确定出测试演练数据；
将所述测试演练数据输入至所述演练评测子模型，与所述演练评测子模型中每个测试演练规则进行匹配，确定出所述目标系统服务不满足的测试演练规则；
基于第二分配总分和所述每个不满足的测试演练规则的扣减分值，得到所述测试演练评测结果。
8.如权利要求1所述的系统服务评测方法，所述运行评测子模型中配置有多个运行情况规则，每个运行情况规则配置有扣减分值；
得到所述运行评测结果的步骤，包括：
根据所述动态数据和所述静态数据，确定出运行情况数据；
将运行情况数据输入至所述运行评测子模型，与所述运行评测子模型中每个运行情况规则进行匹配，确定出所述目标系统服务不满足的运行情况规则；
基于第三分配总分和所述每个不满足的运行情况规则的扣减分值，得到所述运行评测结果。
9.如权利要求1所述的系统服务评测方法，在根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果之后，还包括：
根据所述可用性评测结果判断所述目标系统服务是否具备高可用性，和/或
根据所述可用性评测结果对所述目标系统服务进行优化处理。
10.如权利要求1所述的系统服务评测方法，所述可用性评测结果包括可用性评测总分；
所述根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果，包括：
根据所述设计原则评测结果及针对所述设计原则评测子模型配置的第一权重、所述测试演练评测结果以及针对所述演练评测子模型配置的第二权重、所述运行评测结果以及针对所述运行评测子模型配置的第三权重，确定出所述目标系统服务的高可用性总得分。
11.一种系统服务评测装置，包括：
数据获取单元，用于获取目标系统服务的静态数据和动态数据；
分别评测单元，用于将所述静态数据和所述动态数据输入至系统服务评测模型，得到所述目标系统服务的系统服务评测结果，其中，所述系统服务评测模型包括设计原则评测子模型、演练评测子模型和运行评测子模型，所述服务评测结果包括基于所述设计原则评测子模型得到的设计原则评测结果，基于所述演练评测子模型得到的测试演练评测结果，以及基于所述运行评测子模型得到的运行评测结果；
总评测单元，用于根据所述服务评测结果，确定出所述目标系统服务的可用性评测结果；
优化处理单元，具体用于：从所述可用性评测结果中确定出基于所述设计原则评测子模型得到的设计原则评测执行记录、基于所述演练评测子模型得到的测试演练评测执行记录，以及基于所述运行评测子模型得到的运行评测执行记录；根据所述设计原则评测执行记录、所述测试演练评测执行记录以及所述运行评测执行记录，得到所述目标系统服务的得分分布信息；根据所述得分分布信息进行问题跟踪，确定出所述目标系统服务的问题项；对所述目标系统服务的问题项进行优化处理。
12.如权利要求11所述的系统服务评测装置，所述数据获取单元，具体包括：
动态调度单元，用于根据预设调度周期进行动态调度，基于所述动态调度持续获取目标系统服务的静态数据和动态数据。
13.如权利要求11或12所述的系统服务评测装置，所述数据获取单元，包括：
底层数据获取单元，用于获取所述目标系统服务的底层依赖数据；
静态数据清洗单元，用于从所述底层依赖数据中清洗出所述静态数据；
动态数据清洗单元，用于从所述底层依赖数据中清洗出所述动态数据。
14.如权利要求13所述的系统服务评测装置，所述静态数据清洗单元，具体用于从所述底层依赖数据中清洗出如下一种或者多种静态数据：
所述目标系统服务的实现代码、所述目标系统服务的重要级别、所述目标系统服务的依赖服务、所述目标系统服务依赖的每个系统服务的重要级别、所述目标系统服务的调用关系、所述目标系统服务的核心配置数据、所述目标系统服务所依赖的存储、缓存和中间件、所述目标系统服务的复杂度。
15.如权利要求13所述的系统服务评测装置，所述动态数据清洗单元，具体用于从所述底层依赖数据中清洗出如下一种或者多种动态数据：
执行所述目标系统服务的耗时数据、运行所述目标系统服务过程中出现的异常数据、所述目标系统服务的容量压测数据、所述目标系统服务的性能压测数据、所述目标系统服务的调用数据。
16.如权利要求11所述的系统服务评测装置，所述设计原则评测子模型中配置有多个设计实现规则，每个设计实现规则配置有扣减分值，所述分别评测单元，具体包括：
设计数据提取子单元，用于从所述动态数据和所述静态数据中确定出设计类数据；
第一匹配子单元，用于将所述设计类数据输入所述设计原则评测子模型，与所述设计原则评测子模型中每个设计实现规则进行匹配，确定出所述目标系统服务不满足的设计实现规则；
设计原则评测子单元，用于基于第一分配总分和所述每个不满足的设计实现规则的扣减分值，得到所述设计原则评测结果。
17.如权利要求11所述的系统服务评测装置，所述演练评测子模型中配置有多个测试演练规则，每个测试演练规则配置有扣减分值，所述分别评测单元，包括：
测试演练数据提取子单元，用于根据所述动态数据和所述静态数据，确定出测试演练数据；
第二匹配子单元，用于将所述测试演练数据输入至所述演练评测子模型，与所述演练评测子模型中每个测试演练规则进行匹配，确定出所述目标系统服务不满足的测试演练规则；
演练评测子单元，用于基于第二分配总分和所述每个不满足的测试演练规则的扣减分值，得到所述测试演练评测结果。
18.如权利要求11所述的系统服务评测装置，所述运行评测子模型中配置有多个运行情况规则，每个运行情况规则配置有扣减分值，所述分别评测单元，包括：
运行数据提取子单元，用于根据所述动态数据和所述静态数据，确定出运行情况数据；
第三匹配子单元，用于将运行情况数据输入至所述运行评测子模型，与所述运行评测子模型中每个运行情况规则进行匹配，确定出所述目标系统服务不满足的运行情况规则；
运行评测子单元，用于基于第三分配总分和所述每个不满足的运行情况规则的扣减分值，得到所述运行评测结果。
19.如权利要求11所述的系统服务评测装置，所述装置还包括：
高可用性判断单元，用于根据所述可用性评测结果判断所述目标系统服务是否具备高可用性，和/或
优化处理单元，用于根据所述可用性评测结果对所述目标系统服务进行优化处理。
20.如权利要求11所述的系统服务评测装置，所述可用性评测结果包括可用性评测总分；所述总评测单元，具体用于：
根据所述设计原则评测结果及针对所述设计原则评测子模型配置的第一权重、所述测试演练评测结果以及针对所述演练评测子模型配置的第二权重、所述运行评测结果以及针对所述运行评测子模型配置的第三权重，共同确定出所述目标系统服务的高可用性总得分。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-10中任一所述方法。
22.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910642738.0A CN110502431B (zh) | 2019-07-16 | 2019-07-16 | 系统服务评测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910642738.0A CN110502431B (zh) | 2019-07-16 | 2019-07-16 | 系统服务评测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110502431A CN110502431A (zh) | 2019-11-26 |
| CN110502431B true CN110502431B (zh) | 2023-01-17 |
Family
ID=68586106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910642738.0A Active CN110502431B (zh) | 2019-07-16 | 2019-07-16 | 系统服务评测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502431B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889117B (zh) * | 2019-11-28 | 2022-04-19 | 支付宝(杭州)信息技术有限公司 | 一种模型攻击的防御方法及装置 |
| CN111324533B (zh) * | 2020-02-17 | 2022-10-18 | 支付宝(杭州)信息技术有限公司 | A/b测试方法、装置及电子设备 |
| CN111447113B (zh) * | 2020-03-25 | 2021-08-27 | 中国建设银行股份有限公司 | 一种系统监控方法和装置 |
| CN113114490B (zh) * | 2021-03-30 | 2023-10-27 | 海信集团控股股份有限公司 | 一种api调用异常告警方法、装置、设备及介质 |
| CN114386743A (zh) * | 2021-11-18 | 2022-04-22 | 盾山科技(北京)有限公司 | 一种resar性能工程的性能分析方法及系统 |
| CN114745277B (zh) * | 2022-03-30 | 2024-05-28 | 杭州博盾习言科技有限公司 | 公有云跨域专线的弹性伸缩方法、装置、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446207A (zh) * | 2017-02-16 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 计算机系统容灾能力评估方法、装置及系统 |
| CN108769179A (zh) * | 2018-05-23 | 2018-11-06 | 北京顺丰同城科技有限公司 | 一种服务健康状态评估方法及装置 |
| CN109933501A (zh) * | 2017-12-15 | 2019-06-25 | 中国移动通信集团浙江有限公司 | 一种应用系统的容量评估方法及装置 |
-
2019
- 2019-07-16 CN CN201910642738.0A patent/CN110502431B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446207A (zh) * | 2017-02-16 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 计算机系统容灾能力评估方法、装置及系统 |
| CN109933501A (zh) * | 2017-12-15 | 2019-06-25 | 中国移动通信集团浙江有限公司 | 一种应用系统的容量评估方法及装置 |
| CN108769179A (zh) * | 2018-05-23 | 2018-11-06 | 北京顺丰同城科技有限公司 | 一种服务健康状态评估方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110502431A (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502431B (zh) | 系统服务评测方法、装置及电子设备 | |
| EP3847549B1 (en) | Minimizing impact of migrating virtual services | |
| US7945909B2 (en) | Initiating recovery of an executing task using historical information and task information | |
| CA3090095C (en) | Methods and systems to determine and optimize reservoir simulator performance in a cloud computing environment | |
| US8875142B2 (en) | Job scheduling on a multiprocessing system based on reliability and performance rankings of processors and weighted effect of detected errors | |
| US20070022142A1 (en) | System and method to generate domain knowledge for automated system management by combining designer specifications with data mining activity | |
| Rosa et al. | Predicting and mitigating jobs failures in big data clusters | |
| CN106776288A (zh) | 一种基于Hadoop的分布式系统的健康度量方法 | |
| Liu et al. | CORP: Cooperative opportunistic resource provisioning for short-lived jobs in cloud systems | |
| GB2368425A (en) | On-line or real-time adaptive prediction | |
| CN110401695A (zh) | 云资源动态调度方法、装置和设备 | |
| CN110109733A (zh) | 面向不同老化场景的虚拟机工作队列和冗余队列更新方法 | |
| CN111752706A (zh) | 资源配置方法、装置及存储介质 | |
| WO2020206699A1 (en) | Predicting virtual machine allocation failures on server node clusters | |
| CN109992408B (zh) | 一种资源分配方法、装置、电子设备和存储介质 | |
| CN113220466A (zh) | 一种基于长短期记忆模型的云服务负载通用预测方法 | |
| CN110413482B (zh) | 检测方法和装置 | |
| Kousiouris | A self-adaptive batch request aggregation pattern for improving resource management, response time and costs in microservice and serverless environments | |
| KR20160044623A (ko) | 리눅스 가상 서버의 로드 밸런싱 방법 | |
| CN112685390B (zh) | 数据库实例管理方法及装置、计算设备 | |
| Yang et al. | Software rejuvenation in cluster computing systems with dependency between nodes | |
| KR100547625B1 (ko) | 그리드 정보서비스를 위한 지능형 모니터링 시스템 및 방법 | |
| Jia et al. | Using neural networks to forecast available system resources: an approach and empirical investigation | |
| CN112395167A (zh) | 一种作业故障预测方法、装置及电子设备 | |
| Moradi et al. | DiHi: distributed and hierarchical performance modeling of multi-VM cloud running applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201010 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20201010 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240207 Address after: Guohao Times City # 20-01, 128 Meizhi Road, Singapore Patentee after: Advanced Nova Technology (Singapore) Holdings Ltd. Country or region after: Singapore Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee before: Innovative advanced technology Co.,Ltd. Country or region before: United Kingdom |
|
| TR01 | Transfer of patent right |