CN105912454A - 一种系统健康评测方法及装置 - Google Patents
一种系统健康评测方法及装置 Download PDFInfo
- Publication number
- CN105912454A CN105912454A CN201610260874.XA CN201610260874A CN105912454A CN 105912454 A CN105912454 A CN 105912454A CN 201610260874 A CN201610260874 A CN 201610260874A CN 105912454 A CN105912454 A CN 105912454A
- Authority
- CN
- China
- Prior art keywords
- operational factor
- health
- current sample
- sample time
- score assigning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/885—Monitoring specific for caches
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种系统健康评测方法,包括如下步骤:监测位于待评测系统内的至少一个服务器的运行参数,并获取每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定;根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分;对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。本发明还提供一种系统健康评测装置,由于可根据具有运行的业务服务来获得健康评分,因而可以更灵活、直观及有针对性的获得系统的健康状态。
Description
技术领域
本发明涉及系统测评领域,尤其涉及一种系统健康评测方法及装置。
背景技术
对于大型的Web系统来说,业务流程的复杂化、多样化和访问量的持续增加,使得Web服务的反应越来越慢,对系统资源的不合理应用也使得系统在某些时间点出现“抖动”,严重影响系统的稳定性和用户的使用体验。因此,如何度量复杂多样化的Web系统的稳定性,快速的定位其在压力持续期的不稳定因素,是提高Web系统健壮性和优化用户访问体验的前提。同时,准确的对Web系统的服务进行评估也有助于找出Web系统的性能瓶颈,提高Web服务的响应速度。
在现有技术中,用户总希望有一种简单、高效的度量标准,来量化评价服务器系统,以便作为选型的依据。但实际上,服务器的系统性能很难用一两种指标来衡量,包括事务处理性能委员会(Transaction Processing Performance Council,TPC)、系统性能评估测试(Standard Performance Evaluation Corporation,SPEC)、标准应用基准测试(Standard Application Benchmark,SAP)销售与分销模块(Sales&Distribution Module,SD)、线性系统软件包(Linear system package,Linpack)和高性能计算与通信(HighPerformance Computing and Communications,HPCC)在内的众多服务器评测体系,从处理器性能、服务器系统性能、商业应用性能直到高性能计算机的性能,都给出了一个量化的评价指标。
典型如TPC服务器评测体系的评判方法如下所示:
TPC标准一般是在一个服务器上安装一个数据库,然后在数据库模拟一些标准化操作,最后会得到tpm(transaction per minute,数据库每分钟处理事务数)或tps(transaction per second,数据库每秒钟处理事务数)这两种统计结果。TPC标准就是用这两种统计结果来评价服务器的性能好坏。
典型如SPEC服务器评测体系的评判方法如下所示:
SPEC服务器应用性能测试是一个全面衡量Web应用中java企业应用服务器性能的基础测试。在这个基准测试中,系统模拟一个现代化企业的电子化业务工作,如客户定购查询、产品生产制造管理、供应商和服务器提供商管理等,给系统以巨大的负载,以全面测试运行典型java业务应用的服务器性能水平。
典型如Linpack服务器评测体系的评判方法如下所示:
Linpack是业界应用最广的的用于测试高性能计算机系统浮点性能的标准,在目标集群中运行Linpack测试程序,测试结果以浮点运算每秒(Flops)给出。其中:
MFlops=每秒一百万次(10^6)浮点运算
GFlops=每秒十亿次(10^9)浮点运算
TFlops=每秒一万亿次(10^12)浮点运算
PFlops=每秒一千万亿次(10^15)浮点运算
发明内容
从上述可知,目前评测体系主要核心在于标准化的估测服务器的性能,其根本目的是对各类不同的服务器硬件性能给出一个归一化的一致描述,本质是各类服务器提供商为其提供的服务器做一个综合性的可相互对比的参考分数,方便服务器采购人员作为其采购服务器的定量参考。而且各类评测标准都是采样了统一上层服务假设,如每秒数据库可执行事务数,每秒服务器浮点运算数量等。简而言之,现有的服务器评测标准,并不针对具体的业务服务给出评分标准。从另一个方面说,就是现有的评分标准,只适合服务器的采购人员对服务器的性能进行评估,而不适用于系统的运营人员在服务器上具体运营的业务进行评分,从而在运行具体业务服务时,运营人员无法灵活、直观、准确的得知当前系统服务器的健康状态。
针对上述问题,本发明的目的在于提供一种系统健康评测方法,包括如下步骤:
对位于待评测系统内的至少一个服务器的运行参数进行监测,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定;
根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分;
对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
上述技术方案中,通过在待评测系统运行具体的业务时,监测所需的运行参数,计算每个所述运行参数当前采样时刻的评价分,对所有运行参数的评价分进行连乘运算,生成所述待评测系统当前采样时刻的健康评分,因此,可以对当前待评测系统上运营的业务进行评分,获得有针对性的健康评分,从而更灵活及直观的获得待评测系统当前的健康状况。此外,在计算时,利用连乘运算来获得最终的健康评分,通过由各运行参数的乘积表现为整个待评测系统的综合水平,保证了被评价的各个运行参数的价值一致性,进而保证了健康评分的客观和全面。
优选地,所述待评测系统为web系统,所述web系统的服务器包括Web前端服务器、数据库服务器及数据缓存服务器;其中,所述Web前端服务器的运行参数包括服务平均响应时间及异常HTTP服务器状态码及其数量;所述数据库服务器的运行参数包括平均连接数及执行缓慢的数据库操作平均执行时间;所述数据缓存服务器的运行参数包括写操作的平均响应时间及读操作的平均响应时间。
优选地,所述运行参数Xk的评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
本优选方案中,Nk表示为所述运行参数Xk预先设定的标准值,例如,假设运行参数为缓存响应延迟,其合理范围为600ms至800ms,则可取Nk=700ms,当取Ak=1/800时,Bk=1/8。其中,若为了提高监测的敏感度,可增大Ak的取值,假设Ak变为1/700,则应调整Bk=0。
优选地,所述根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分,具体为:
将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk在当前采样时刻的评价分。
由上一个优选方案可知,所述运行参数Xk当前采样时刻的评价分在1附近波动。
优选地,在所述将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式计算得到所述运行参数Xk在当前采样时刻的评价分之后,还包括:
根据为每个所述运行参数Xk配置的权重参数Ck,计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
在本优选方案中,用户可根据不同的运行参数的重要性分配不同的权重参数,如果认为某个运行参数比较重要,则可分配一个大于1的权重参数,如果认为某个运行参数比较不重要,则可分配一个小于1的权重参数。则此时,可通过获取用户为每个所述运行参数Xk分配的权重参数Ck,计算所述运行参数Xk当前采样时刻的评价分的Ck次幂,以对所述运行参数Xk当前采样时刻的评价分进行加权修正。
优选地,在所述对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分之后,还包括:
将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
在本优选方案中,可将健康评分乘以一个基准值,例如,假设基准值设置为8,则所述健康评分将大致以十分制的形式呈现,假设基准值设置为80,则所述健康评分将大致以百分制的形式呈现,如此比较直观的根据健康评分获得所述待评测系统的健康状态。
优选地,在所述将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准之后,还包括:
根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
在上一个优选方案,通过基准值的校准可控制健康评分的分制,但是,最终显示出来的健康评分的波动范围仍然比较大,比如,假设基准值设置为80,则所述健康评分有可能远超过100,也可能远低于60,这样,用户无法根据健康评分直观获得所述待评测系统的健康状态。本优选方案中,通过设置一个小于1波动控制参数来控制所述健康评分的波动范围,可使得最终呈现出来的健康评分大致在60~100之间波动(针对基准值为80的情况),这样,用户可以根据健康评分非常直观地获得所述待评测系统的健康状态。
优选地,在所述对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分之后,还包括:
获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先配置的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
本优选方案中,在对待评测系统的健康状态进行评估,将不仅仅依赖于当前采样时刻的健康评分,还和过去采样时刻的健康评分相关,通过加权平均对时间做了一个平滑滤波,不仅能避免某一采样时刻由于单一计算数据极端异常导致的统计误差,还能反应出该待评测系统的健康评分在时间维度上的波动情况。
优选地,还包括:
根据所述健康评分生成所述待评测系统在当前采样时刻的健康状态,并显示所述健康评分及健康状态。
本发明还提供一种系统健康评测装置,包括:
监测单元,用于监测位于待评测系统内的至少一个服务器的运行参数,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定;
评价分计算单元,用于根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分;
健康评分计算单元,用于对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
优选地,所述待评测系统为web系统,所述web系统的服务器包括Web前端服务器、数据库服务器及数据缓存服务器;其中,所述Web前端服务器的运行参数包括服务平均响应时间及异常HTTP服务器状态码及其数量;所述数据库服务器的运行参数包括平均连接数及执行缓慢的数据库操作平均执行时间;所述数据缓存服务器的运行参数包括写操作的平均响应时间及读操作的平均响应时间。
优选地,所述评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
优选地,所述评价分计算单元具体用于,将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk在当前采样时刻的评价分。
优选地,所述系统健康评测装置还包括:
加权修正单元,用于根据为每个所述运行参数Xk分配的权重参数Ck,并计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
优选地,所述系统健康评测装置还包括:
校准单元,用于将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
优选地,所述系统健康评测装置还包括:
波动控制单元,用于根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
优选地,所述系统健康评测装置还包括:
加权平均单元,用于获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先分配的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
优选地,所述系统健康评测装置还包括:
健康状态显示单元,用于根据所述健康评分生成所述待评测系统在当前采样时刻的健康状态,并显示所述健康评分及所述健康状态。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的系统健康评测方法的流程示意图。
图2是系统健康评测监测web系统的示意图。
图3是计算得到的健康评分随时间变化的曲线示意图。
图4是本发明实施例提供的系统健康评测装置的结构示意图。
图5是本发明实施例提供的系统健康评测装置的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供了一种系统健康评测方法,其可由系统健康评测装置来执行,并包括如下步骤:
S101,监测位于待评测系统内的至少一个服务器的运行参数,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定。
在本发明实施例中,所述待评测系统可为一个web系统,而对于一个web系统,其至少包括一个Web前端服务器,此外,还可根据实际的需要选择性的加入数据库服务器及数据缓存服务器。如图2所示,本发明实施例以一个典型的同时包括Web前端服务器、数据库服务器及数据缓存服务器的web系统为例进行说明,其中:
对于Web前端服务器而言,典型的运行参数有如下几种:
●服务平均响应时间
典型的可以通过Web服务器,如apache,nginx等返回的acess log,记录每条请求的响应时间,服务器的平均响应时间=单位时间总响应时间/单位时间的总请求数。
●异常HTTP服务器状态码及其数量
典型的HTTP异常响应状态码如499,500,502等。异常状态码与用户端访问异常密切相关,某HTTP异常状态码=单位时间Web服务器返回该异常码的请求数。
对于数据库服务器而言,典型的运行参数有如下几种:
●数据库服务器的平均连接数
数据库平均连接数=采样期间总的数据库连接数/单位时间的采样数
●执行缓慢的数据库操作数量
典型的如mysql可以设置慢数据库操作的时长,不同的Web应用可根据自身服务的需求设置,如可以规定访问数据库超过2秒以上的均定义为一次慢操作。执行缓慢的数据库操作数量=单位时间数据库服务器记录的慢操作数量。
●执行缓慢的数据库操作平均执行时间
执行缓慢的数据库操作平均执行时间=单位时间内记录的所有数据库慢操作的操作时间总和/执行缓慢的数据库操作数量。
对于数据缓存数据服务器而言,典型的运行参数有如下几种:
●写操作的平均响应时间
典型的数据缓存数据服务器写操作平均响应时间=采样期间总的写操作响应时间/单位时间的采样数
●读操作的平均响应时间
典型的缓存数据服务器读操作平均响应时间=采样期间总的读操作响应时间/单位时间的采样数。
在本发明实施例中,可根据实际运行的业务或服务对上述的运行参数进行监测,监测的运行参数可以为一个或多个。此外,可根据实际的需要监测一台服务器的运行参数或同时多台服务器的运行参数,本发明均不做具体限定。
当然,本发明实施例的使用必然不限定于上述提及的web系统,例如,还可以应用于办公自动化(Office Automation,OA)系统或者企业管理解决方案(systemsapplications and products,SAP)系统,这些系统都要通过服务器(如数据库服务器)进行数据业务的存储、读取以及处理等,因而只要通过服务器来进行业务或数据处理的系统都在本发明的保护范围之内。
需要说明的是,在本发明实施例中,所述待评测系统的服务器除了上述提及的服务器外,还可包括文件服务器,应用程序服务器等,本发明不做具体限定。
在本发明实施例中,所述系统健康评测装置通过定时采样的方式进行运行参数的采集,例如,可设置每五分钟为一个采样时刻,即每五分钟监测一次各个运行参数的测量值Mk。
S102,根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分。
具体地,对于一个运行参数Xk,其评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
则此时,可通过将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk当前采样时刻的评价分。
在本发明实施例中,由于运行参数Xk的测量值Mk为正数,所以敏感参数Ak越大,就会偏移1越大,导致计算结果异常,因此控制Ak大小,便能控制住某一运行参数Xk的波动敏感程度。Bk作为运行参数Xk的补偿参数,其目的在于选中一个具体的Ak后,通过补偿使得能趋近于1。
例如,假设运行参数Xk代表服务平均响应时间,其合理范围为600至800ms,此时,可取标准值Nk=700,则当Ak=1/800时,Bk=1/8,这样就能保证的值在1附近波动,并且当Mk=700时,当要提高监测的敏感程度,可增大Ak的值。假设Ak变为1/700,此时发现当Mk=700时,已经偏离1,故应调整Bk=0,保证Mk=700时,仍然成立。从以上例子不难发现:补偿参数Bk本质是为了确保在Ak变化后,在标准值Nk不变的情况下,结果始终为1,从而确保所述待评测系统的运行参数的评价分在合理范围内波动。
S103,对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
在本发明实施例中,通过步骤S102即可依次计算得到每个运行参数在当前采样时刻的评价分,此后,对所有运行参数的评价分进行连乘运算,生成所述待评测系统当前采样时刻的健康评分。如公式(1)所示,此时,所述待评测系统当前采样时刻的健康评分Y可表示为:
从统计学上看,公式(1)本质上是属于多指标综合评价中的乘法合成的一种变形,乘法合成适用于各个评价指标有强烈关联的情景,由各评价指标的乘积表现为整个系统的综合水平。乘法合成有一个最重要的特点就是被评价的对象的各个指标价值的一致性,也就是说,它和加法合成之外的合成评价方法不同,它要求被评价对象的各个指标的彼此间差异性较小,任何一个指标也不能偏废。从这个角度出发,可以清晰的看出,乘法合成方法很适合Web系统健康评价。因为,Web系统若某一个运行参数出现瓶颈,将会直接导致整个系统的性能急剧下降。因此,公式(1)选用了乘法合成作为原型来对Web系统健康分数进行计算,可保证被评价的各个运行参数的价值一致性,从而保证计算得到的健康评分的客观与全面。
在本发明实施例中,在计算获得所述健康评分后,所述系统健康评测装置可根据所述健康评分获得所述待评测系统的健康状态,从上述描述可知,所述健康评分接近1或大于1时,所述待评测系统具有较好的健康状态,而当所述健康评分远小于1时,则所述待评测系统的健康状态可能比较不佳,即可能无法及时响应或无法及时进行数据的存储读取等,此时应做适当维护或故障排除。
综上,本发明实施例提供的系统健康评测方法,通过在待评测系统运行具体的业务时,监测所需的运行参数,计算每个所述运行参数当前采样时刻的评价分,对所有运行参数的评价分进行连乘运算,生成所述待评测系统当前采样时刻的健康评分,因此,可以对当前待评测系统上运营的业务进行评分,获得有针对性的健康评分,从而更灵活及直观的获得待评测系统当前的健康状况。此外,在计算时,利用连乘运算来获得最终的健康评分,通过由各运行参数的乘积表现为整个待评测系统的综合水平,保证了被评价的各个运行参数的价值一致性,进而保证了评测的客观和全面。
为了便于对本发明的理解,下面将对本发明的一些优选实施例做进一步描述。
第一个优选实施例:
在所述待评测系统运行业务或服务时,有些运行参数比较重要,有些运行参数则相对不那么重要,为了区分不同运行参数的重要程度,并在最终的健康评分显示出这种区分,所述系统健康评测方法在步骤S102之后,还包括:
S1021,根据为每个所述运行参数Xk配置的权重参数Ck,计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
在本优选实施例中,用户可根据不同的运行参数Xk的重要性分配不同的权重参数Ck,如果用户认为某个运行参数对整个待评测系统的整体健康状态比较重要,则可对这个运行参数分配一个大于1的权重参数,如果用户认为某个运行参数对整个待评测系统的整体健康状态不那么重要,则可对这个运行参数分配一个小于1的权重参数。则此时,所述系统健康评测装置可通过获取用户为每个所述运行参数Xk分配的权重参数Ck,计算所述运行参数Xk在当前采样时刻的评价分的Ck次幂,以对所述运行参数Xk当前采样时刻的评价分进行加权修正。
其中,优选地,所述权重参数Ck的取值范围在0~2之间。
其中,此时运行参数Xk在当前采样时刻的评价分可表示为:
第二个优选实施例:
优选地,在步骤S103之后,还包括:
S104,将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
在本优选实施例中,可将健康评分乘以一个基准值H,例如,假设基准值H设置为8,则最终计算得到的所述健康评分将大致以十分制的形式呈现,假设基准值H设置为80,则最终计算得到的所述健康评分将大致以百分制的形式呈现,如此可以比较直观的根据健康评分获得所述待评测系统的健康状态。其中,健康评分的数值越大,说明所述待评测系统的健康状态越好。
其中,此时,所述健康评分可由如下公式(2)计算得到:
第三个优选实施例:
针对第二个优选实施例,优选地,在步骤S104之后,还包括:
S105,根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
在第二个优选实施例中,通过基准值H的校准可控制健康评分的分制,但是,最终显示出来的健康评分的波动范围仍然比较大,比如,假设基准值H设置为80,则所述健康评分有可能远超过100,也可能远低于60,这样,用户无法根据健康评分直观获得所述待评测系统的健康状态。
本优选实施例中,可通过设置一个小于1波动控制参数Ω来控制所述健康评分在所述基准值的预定范围内波动。具体地,通过计算获得所述健康评分的Ω次幂,可使得最终呈现出来的健康评分大致在60~100之间波动(对应H=80),这样,用户可以根据健康评分非常直观地获得所述待评测系统的健康状态。
其中,优选地,所述波动控制参数Ω为经验值,如可设置为0.8。
第四个优选实施例:
优选地,在步骤S103之后,还包括:
S106,获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先配置的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
具体地,考虑到上述所有优选实施例,则此时,当前采样时刻的加权后的健康评分Sn可如公式(3)所示:
其中,Yn是当前采样时刻的健康评分,可由公式(2)计算得到,则相应的Yn-1是上一个采样时刻的健康评分,Yn-2是上两个采样时刻的健康评分,以此类推。Dk代表为每个采样时刻的权重值,其中,Yn的权重值是D0,Yn-1的权重值是D1,以此类推。显然,当前采样时刻的健康评分的权重值最大,而越靠前的采样时刻的权重值越小。
通过公式(3)可知,本优选实施例中,在对待评测系统的健康状态进行评估,将不仅仅依赖于当前采样时刻的健康评分,还和过去采样时刻的健康评分相关。Sn为对所述待评测系统的连续n个采样时刻的健康评分做了一个加权平均(本质是对时间做了一个平滑过滤)。如此,不仅能避免由于某一采样时刻计算数据极端异常导致的统计误差,还能反应出该待评测系统在时间维度上的波动情况。
如图3所示,图3即为利用本发明实施例的系统健康评测方法计算生成的健康评分随时间的变化曲线,其中H取80,所述健康评分大致在60~100之间波动。
请参阅图4,图4是本发明实施例提供的系统健康测评装置,所述系统健康测评装置100包括:
监测单元10,用于监测位于待评测系统内的至少一个服务器的运行参数,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定。
在本发明实施例中,所述待评测系统可为一个web系统,而对于一个web系统,其至少包括一个Web前端服务器,此外,还可根据实际的需要选择性的加入数据库服务器及数据缓存服务器。其中,所述Web前端服务器的运行参数包括服务平均响应时间及异常HTTP服务器状态码及其数量;所述数据库服务器的运行参数包括平均连接数及执行缓慢的数据库操作平均执行时间;所述数据缓存服务器的运行参数包括写操作的平均响应时间及读操作的平均响应时间。
在本发明实施例中,所述监测单元10可根据实际运行的业务或服务对上述的运行参数进行监测,监测的运行参数可以包含以上一种或多种。
此外,所述监测单元10可根据实际的需要监测一台服务器或多台服务器,本发明均不做具体限定。
在本发明实施例中,所述监测单元10通过定时采样的方式进行运行参数的采集,例如,可设置每五分钟为一个采样时刻,即每五分钟监测一次各个运行参数的测量值Mk。
评价分计算单元20,用于根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分。
具体地,所述评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
则此时,所述评价分计算单元20可通过将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk当前采样时刻的评价分。
健康评分计算单元30,用于对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
在本发明实施例中,所述健康评分计算单元30对所述评价分计算单元20计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统当前采样时刻的健康评分,具体计算过程可参考公式(2)。
综上,本发明实施例提供的系统健康评测装置100,通过在待评测系统运行具体的业务时,由所述监测单元10监测所需的运行参数,由评价分计算单元20计算每个所述运行参数当前采样时刻的评价分,由健康评分计算单元对所有运行参数的评价分进行连乘运算,生成所述待评测系统当前采样时刻的健康评分,因此,可以对当前待评测系统上运营的业务进行评分,获得有针对性的健康评分,从而更灵活及直观的获得待评测系统当前的健康状况。此外,在计算时,利用连乘运算来获得最终的健康评分,通过由各运行参数的乘积表现为整个待评测系统的综合水平,保证了被评价的各个运行参数的价值一致性,进而保证了健康评分的客观和全面。
为了便于对本发明的理解,下面将对本发明的一些优选实施例做进一步描述。
第一个优选实施例:
在所述待评测系统运行业务或服务时,有些运行参数比较重要,有些运行参数则相对不那么重要,为了区分不同运行参数的重要程度,并在最终的健康评分显示出这种区分。则此时,所述系统健康评测装置100还包括:
加权修正单元40,用于根据为每个所述运行参数Xk配置的权重参数Ck,计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
在本优选实施例中,用户可根据不同的运行参数Xk的重要性分配不同的权重参数Ck,如果用户认为某个运行参数对整个待评测系统的整体健康状态比较重要,则可对这个运行参数分配一个大于1的权重参数,如果用户认为某个运行参数对整个待评测系统的整体健康状态不那么重要,则可对这个运行参数分配一个小于1的权重参数。则此时,所述加权修正单元40可通过获取用户为每个所述运行参数Xk分配的权重参数Ck,计算所述运行参数Xk在当前采样时刻的评价分的Ck次幂,以对所述运行参数Xk当前采样时刻的评价分进行加权修正。
其中,优选地,所述权重参数Ck的取值范围在0~2之间。
第二个优选实施例:
优选地,所述系统健康测评装置100还包括:
校准单元50,用于将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
在本优选实施例中,所述校准单元50可将健康评分乘以一个基准值H,例如,假设基准值H设置为8,则最终计算得到的所述健康评分将大致以十分制的形式呈现,假设基准值H设置为80,则最终计算得到的所述健康评分将大致以百分制的形式呈现,如此可以比较直观的根据健康评分获得所述待评测系统的健康状态。其中,健康评分是数值越大,说明所述待评测系统的健康状态越好。
第三个优选实施例:
针对第二个优选实施例,优选地,所述系统健康测评装置100还包括:
波动控制单元60,用于根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
在第二个优选实施例中,通过基准值H的校准可控制健康评分的分制,但是,最终显示出来的健康评分的波动范围仍然比较大,比如,假设基准值H设置为80,则所述健康评分有可能远超过100,也可能远低于60,这样,用户无法根据健康评分直观获得所述待评测系统的健康状态。
本优选实施例中,所述波动控制单元60可通过设置一个小于1波动控制参数Ω来控制所述健康评分在所述基准值的预定范围内波动。具体地,所述波动控制单元60通过计算获得所述健康评分的Ω次幂,可使得最终呈现出来的健康评分大致在60~100之间波动(对应H=80),这样,用户可以根据健康评分非常直观地获得所述待评测系统的健康状态。
其中,优选地,所述波动控制参数Ω为小于1的经验值,如可设置为0.8。
第四个优选实施例:
优选地,所述系统健康评测装置100还包括:
加权平均单元70,用于获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先配置的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
具体地,可参考公式(3),通过公式(3)可知,本优选实施例中,在对待评测系统的健康状态进行评估,将不仅仅依赖于当前采样时刻的健康评分,还和过去采样时刻的健康评分相关。Sn为对所述待评测系统的连续n个采样时刻的健康评分做了一个加权平均(本质是对时间做了一个平滑过滤)。如此,不仅能避免由于某一采样时刻计算数据极端异常导致的统计误差,还能反应出所述待评测系统在时间维度上的波动情况。
第五个优选实施例:
优选地,所述系统健康评测装置100还包括:
健康状态显示单元80,用于根据所述健康评分生成所述待评测系统在当前采样时刻的健康状态,并显示所述健康评分及所述健康状态。
在本发明实施例中,在计算获得所述健康评分后,所述健康状态显示单元80可根据所述健康评分获得所述待评测系统的健康状态,从而根据实时的健康状态做适当维护或故障排除。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
Claims (18)
1.一种系统健康评测方法,其特征在于,包括如下步骤:
监测位于待评测系统内的至少一个服务器的运行参数,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定;
根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分;
对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
2.根据权利要求1所述的系统健康评测方法,其特征在于,所述待评测系统为web系统,所述web系统的服务器包括Web前端服务器、数据库服务器及数据缓存服务器;其中,所述Web前端服务器的运行参数包括服务平均响应时间及异常HTTP服务器状态码及其数量;所述数据库服务器的运行参数包括平均连接数及执行缓慢的数据库操作平均执行时间;所述数据缓存服务器的运行参数包括写操作的平均响应时间及读操作的平均响应时间。
3.根据权利要求1所述的系统健康评测方法,其特征在于,所述运行参数Xk的评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
4.根据权利要求3所述的系统健康评测方法,其特征在于,所述根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分,具体为:
将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk在当前采样时刻的评价分。
5.根据权利要求1所述的系统健康评测方法,其特征在于,
在根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分之后,还包括:
根据为每个所述运行参数Xk配置的权重参数Ck,计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
6.根据权利要求1所述的系统健康评测方法,其特征在于,在所述对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分之后,还包括:
将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
7.根据权利要求6所述的系统健康评测方法,其特征在于,在所述将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准之后,还包括:
根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
8.根据权利要求1至7任意一项所述的系统健康评测方法,其特征在于,在所述对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分之后,还包括:
获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先配置的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
9.根据权利要求1所述的系统健康评测方法,其特征在于,还包括:
根据所述健康评分生成所述待评测系统在当前采样时刻的健康状态,并显示所述健康评分及健康状态。
10.一种系统健康评测装置,其特征在于,包括:
监测单元,用于监测位于待评测系统内的至少一个服务器的运行参数,并获取被监测的每个所述运行参数在当前采样时刻的测量值;其中,所述运行参数根据所述待评测系统运行的业务决定;
评价分计算单元,用于根据每个所述运行参数在当前采样时刻的测量值、为每个所述运行参数预先配置的评价公式及评价参数,计算每个所述运行参数在当前采样时刻的评价分;
健康评分计算单元,用于对在当前采样时刻计算得到的所有运行参数的评价分进行连乘运算,生成所述待评测系统在当前采样时刻的健康评分。
11.根据权利要求10所述的系统健康评测装置,其特征在于,所述待评测系统为web系统,所述web系统的服务器包括Web前端服务器、数据库服务器及数据缓存服务器;其中,所述Web前端服务器的运行参数包括服务平均响应时间及异常HTTP服务器状态码及其数量;所述数据库服务器的运行参数包括平均连接数及执行缓慢的数据库操作平均执行时间;所述数据缓存服务器的运行参数包括写操作的平均响应时间及读操作的平均响应时间。
12.根据权利要求10所述的系统健康评测装置,其特征在于,所述运行参数Xk的评价参数包括敏感参数Ak及补偿参数Bk,且满足其中,Nk表示为所述运行参数Xk预先设定的标准值。
13.根据权利要求12所述的系统健康评测装置,其特征在于,所述评价分计算单元具体用于,将所述当前采样时刻的测量值Mk、敏感参数Ak及补偿参数Bk代入预先配置的评价公式中,计算得到所述运行参数Xk在当前采样时刻的评价分。
14.根据权利要求10所述的系统健康评测装置,其特征在于,所述系统健康评测装置还包括:
加权修正单元,用于根据为每个所述运行参数Xk分配的权重参数Ck,并计算所述运行参数Xk的评价分的Ck次幂,以对所述运行参数Xk的评价分进行加权修正。
15.根据权利要求10所述的系统健康评测装置,其特征在于,所述系统健康评测装置还包括:
校准单元,用于将所述当前采样时刻的健康评分乘以预置的基准值,以对所述健康评分进行校准。
16.根据权利要求15所述的系统健康评测装置,其特征在于,所述系统健康评测装置还包括:
波动控制单元,用于根据预置的波动控制参数Ω,控制所述健康评分在所述基准值的预定范围内波动;其中,Ω为小于1的正数。
17.根据权利要求10至16任意一项所述的系统健康评测装置,其特征在于,所述系统健康评测装置还包括:
加权平均单元,用于获取所述待评测系统在当前采样时刻及位于当前采样时刻的前n-1个采样时刻的健康评分及为这n个采样时刻预先分配的权重值,并基于所述n个权重值及n个采样时刻的健康评分进行加权平均后,生成加权后的健康评分。
18.根据权利要求10所述的系统健康评测装置,其特征在于,所述系统健康评测装置还包括:
健康状态显示单元,用于根据所述健康评分生成所述待评测系统在当前采样时刻的健康状态,并显示所述健康评分及所述健康状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610260874.XA CN105912454B (zh) | 2016-04-25 | 2016-04-25 | 一种系统健康评测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610260874.XA CN105912454B (zh) | 2016-04-25 | 2016-04-25 | 一种系统健康评测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105912454A true CN105912454A (zh) | 2016-08-31 |
CN105912454B CN105912454B (zh) | 2018-09-11 |
Family
ID=56752721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610260874.XA Active CN105912454B (zh) | 2016-04-25 | 2016-04-25 | 一种系统健康评测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105912454B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951984A (zh) * | 2017-02-28 | 2017-07-14 | 深圳市华傲数据技术有限公司 | 一种系统健康度动态分析预测方法及装置 |
CN108877308A (zh) * | 2018-07-14 | 2018-11-23 | 汤凯 | 一种vr安全教育评测方法 |
CN109062768A (zh) * | 2018-08-09 | 2018-12-21 | 网宿科技股份有限公司 | 缓存服务器的io性能评估方法和装置 |
CN110796361A (zh) * | 2019-10-24 | 2020-02-14 | 吉林吉大通信设计院股份有限公司 | 一种基于人工智能的idc设备故障风险评估方法 |
CN112131071A (zh) * | 2017-09-18 | 2020-12-25 | 华为技术有限公司 | 一种内存评估的方法及装置 |
CN112666200A (zh) * | 2020-12-15 | 2021-04-16 | 内蒙古综合交通科学研究院有限责任公司 | 一种混凝土抗冻性能评价方法 |
CN113218037A (zh) * | 2020-01-21 | 2021-08-06 | 东元电机股份有限公司 | 冰水主机保养预估系统及其方法 |
CN113905091A (zh) * | 2021-09-15 | 2022-01-07 | 盐城金堤科技有限公司 | 用于对访问请求进行处理的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231368A (ja) * | 2009-03-26 | 2010-10-14 | Fujitsu Ltd | 監視方法及び監視プログラム |
CN102447570A (zh) * | 2010-09-30 | 2012-05-09 | 中国移动通信集团福建有限公司 | 一种基于健康度分析的监控装置及方法 |
CN103139007A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 应用服务器性能检测方法及系统 |
CN105335452A (zh) * | 2014-08-15 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 一种外部系统稳定性检测方法及设备 |
-
2016
- 2016-04-25 CN CN201610260874.XA patent/CN105912454B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231368A (ja) * | 2009-03-26 | 2010-10-14 | Fujitsu Ltd | 監視方法及び監視プログラム |
CN102447570A (zh) * | 2010-09-30 | 2012-05-09 | 中国移动通信集团福建有限公司 | 一种基于健康度分析的监控装置及方法 |
CN103139007A (zh) * | 2011-12-05 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 应用服务器性能检测方法及系统 |
CN105335452A (zh) * | 2014-08-15 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 一种外部系统稳定性检测方法及设备 |
Non-Patent Citations (1)
Title |
---|
肖海浪 等: ""基于用户体验的移动终端整机性能评测研究"", 《移动通信》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951984A (zh) * | 2017-02-28 | 2017-07-14 | 深圳市华傲数据技术有限公司 | 一种系统健康度动态分析预测方法及装置 |
CN112131071A (zh) * | 2017-09-18 | 2020-12-25 | 华为技术有限公司 | 一种内存评估的方法及装置 |
CN112131071B (zh) * | 2017-09-18 | 2024-05-17 | 华为技术有限公司 | 一种内存评估的方法及装置 |
CN108877308A (zh) * | 2018-07-14 | 2018-11-23 | 汤凯 | 一种vr安全教育评测方法 |
US11106561B2 (en) | 2018-08-09 | 2021-08-31 | Wangsu Science & Technology Co., Ltd. | Method and device for evaluating IO performance of cache servers |
CN109062768B (zh) * | 2018-08-09 | 2020-09-18 | 网宿科技股份有限公司 | 缓存服务器的io性能评估方法和装置 |
EP3640802A4 (en) * | 2018-08-09 | 2021-01-27 | Wangsu Science & Technology Co., Ltd. | ES PERFORMANCE EVALUATION PROCESS AND DEVICE FOR CACHE SERVER |
CN109062768A (zh) * | 2018-08-09 | 2018-12-21 | 网宿科技股份有限公司 | 缓存服务器的io性能评估方法和装置 |
CN110796361A (zh) * | 2019-10-24 | 2020-02-14 | 吉林吉大通信设计院股份有限公司 | 一种基于人工智能的idc设备故障风险评估方法 |
CN113218037A (zh) * | 2020-01-21 | 2021-08-06 | 东元电机股份有限公司 | 冰水主机保养预估系统及其方法 |
CN112666200A (zh) * | 2020-12-15 | 2021-04-16 | 内蒙古综合交通科学研究院有限责任公司 | 一种混凝土抗冻性能评价方法 |
CN112666200B (zh) * | 2020-12-15 | 2023-09-01 | 内蒙古综合交通科学研究院有限责任公司 | 一种混凝土抗冻性能评价方法 |
CN113905091A (zh) * | 2021-09-15 | 2022-01-07 | 盐城金堤科技有限公司 | 用于对访问请求进行处理的方法及装置 |
CN113905091B (zh) * | 2021-09-15 | 2023-09-01 | 盐城天眼察微科技有限公司 | 用于对访问请求进行处理的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105912454B (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105912454A (zh) | 一种系统健康评测方法及装置 | |
CN106991145B (zh) | 一种监测数据的方法及装置 | |
CN103901835B (zh) | 监测和控制稳定厂环境中循环过程单元的设备和方法 | |
CN108765149B (zh) | 一种基于集群的量化策略回测系统及其回测方法 | |
CN101185097A (zh) | 高级抵押借款诊断分析的方法和设备 | |
CN109408359A (zh) | 一种软件测试过程质量度量方法和系统 | |
Collard-Wexler et al. | Productivity volatility and the misallocation of resources in developing economies | |
CN106951984A (zh) | 一种系统健康度动态分析预测方法及装置 | |
CN108376299A (zh) | 一种设备运行趋势的预测方法及装置 | |
WO2008134143A1 (en) | Resource model training | |
KR20060061759A (ko) | 트랜잭션 기반 성능 모델을 자동 검증 및 캘리브레이션하기위한 컴퓨터 구현 방법 | |
CN109118012B (zh) | 一种工业动态多维度能耗成本预测方法、系统、存储介质和终端 | |
CN102117469A (zh) | 一种对信用风险进行评估的系统和方法 | |
CN113962468A (zh) | 基于用能监控统计能源消耗碳排放管理方法及系统 | |
CN107957988A (zh) | 用于确定数据异常原因的方法、装置及电子设备 | |
CN112819178A (zh) | 数据预测模型训练方法、设备及存储介质 | |
Ghodsi et al. | Robotisation, employment and industrial growth intertwined across global value chains | |
CN101561904A (zh) | 一种基于过程数据的软件项目成本测定方法及系统 | |
US8065256B2 (en) | System and method for detecting system relationships by correlating system workload activity levels | |
Lanza et al. | Valuation of increased production system performance by integrated production systems | |
CN111367255A (zh) | 一种多变量控制系统性能评价测试系统及方法 | |
CN104978604B (zh) | 一种基于业务能力模型的模拟仿真方法和装置 | |
Chatterjee et al. | Transfer function modelling in software reliability | |
CN111882438A (zh) | 一种智能算法交易方法 | |
Müller et al. | Capacity management as a service for enterprise standard software |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |