CN110998539A - 系统更新的性能影响分析 - Google Patents
系统更新的性能影响分析 Download PDFInfo
- Publication number
- CN110998539A CN110998539A CN201780091959.2A CN201780091959A CN110998539A CN 110998539 A CN110998539 A CN 110998539A CN 201780091959 A CN201780091959 A CN 201780091959A CN 110998539 A CN110998539 A CN 110998539A
- Authority
- CN
- China
- Prior art keywords
- cost
- measurement
- domain
- performance
- system performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 122
- 238000005259 measurement Methods 0.000 claims description 226
- 238000000034 method Methods 0.000 claims description 60
- 238000007405 data analysis Methods 0.000 claims description 38
- 238000000611 regression analysis Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 3
- 238000010205 computational analysis Methods 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 abstract description 14
- 238000010835 comparative analysis Methods 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013479 data entry Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
具有内置性能影响评估机制的计算系统。在原始系统配置的情况下获取基线系统性能和成本数据；在更新的系统配置的情况下获取比较系统性能和成本数据；使用相同的分析方案来分别对基线数据和比较数据进行分析，以获得基线分析结果和比较分析结果，将基线分析结果和比较分析结果一起进行分析以确定更新后的系统配置对性能的影响。
Description
背景技术
由于软件/硬件版本不同而导致的性能变化会影响在诸如数据中心之类的复杂应用中启动服务的机器的容量规划。此外，由于添加了性能工具而导致软件应用的性能变化也会影响容量规划。需要解决方案来确定此类场景中的实际性能影响，以管理诸如主要云服务和数据中心运营商中的容量规划，从而高效且令人满意地为用户提供服务。
附图说明
参考附图对具体实施方式进行说明。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的项或特征。
图1示出了用于分析附加元件的系统影响的示例系统。
图2示出了图1的系统的示例操作环境。
图3示出了图1的系统的示例操作过程。
图4示出了图1的系统的另一示例操作过程。
图5示出了图1的系统的另一示例操作过程。
具体实施方式
本公开提供了一种用于分析计算系统更新的性能影响的解决方案。在下面的详细描述中，参考形成本文一部分的附图，并且在附图中通过图示的方式示出了特定的配置或示例，其中，相同的标号表示贯穿于若干附图中的相同的元件。
1.概述
在评估软件应用发行版时，确定新版本带来的性能更改非常重要。在评估数据中心中部署的性能工具的开销时，还需要确定所产生的性能影响。在本公开中，从多个角度描述了确定这种性能影响的技术。
为了促进对本公开的理解，可以使用两个示例场景来说明解决方案的实现。
在第一个示例场景中，软件开发人员发布软件应用的新版本。当操作旧版本时，可以获得例如每秒1000个事务的吞吐量。对于新版本，获得每秒1050个事务的吞吐量。假设新版本由于更高的吞吐量而更好，软件开发人员会发布新版本，然后观察到新版本实际上比旧版本慢。
在第二示例场景中，软件开发人员向现有系统添加性能监视能力，例如性能监视元件。当在没有性能监视元件的情况下操作软件应用时，获得例如每秒1000个事务的吞吐量。当同一软件应用与性能监视元件一起操作时，将获得每秒1000个事务的相同吞吐量。假设性能监视元件不引入性能开销，性能监视单元被部署在数据中心。稍后，可能发现性能监视元件对软件应用产生了不利的性能影响。
对这两个示例方案的观察示出了吞吐量测量本身可能无法可靠地指示系统更新对性能的影响。除其他方面以外，本文公开的技术解决了这些缺点。
计算机科学中的性能开销通常被认为是达到特定性能目标所需的任何单独的和/或额外的或间接的计算时间、内存使用率、带宽或其他资源的组合。性能开销包括各种域，例如计算时间和内存使用率。性能目标可能位于不同的域，例如系统吞吐量和响应速度。性能目标可能特定于软件应用，但通常涉及整个系统的性能。很多时候，性能目标和性能开销的域可能重叠和/或可能是相互关联的。例如，在一些情况下，系统负载(域)可能被评估为性能目标，而在其他情况下，系统负载(域)可能被评估为系统开销。
在本发明中，系统性能域是指在特定影响评估场景中被评估为计算系统的性能目标的域，而系统成本域是指可以用系统性能域评估但不作为性能目标的域。一个分析场景中的系统成本域可能是另一个分析场景中的系统性能域，反之亦然。目标系统成本域是在确定系统更新的系统影响中被选择与系统性能域一起评估的系统成本域，例如，配置为与计算系统一起操作的附加元件(以下称为目标元件)。目标元件可以包括软件元件、硬件元件和/或硬件和软件元件的组合。
对于说明性示例，假设软件应用输出关键性能目标测量(“P”)，例如吞吐量。P可用作软件应用的系统性能域。在分析目标元件对软件应用的吞吐量P的影响时，可能会涉及多个性能开销，例如中央处理器(CPU)使用率(“U”)、内存分配(“V”)、网络带宽(“W”)、输入/输出(I/O)负载(“X”)。取决于特定的分析场景，U、V、W、X中的一个或更多个可用作目标系统成本域。示例目标元件可能是软件应用的监视插件。
在性能影响分析的操作中，首先在没有目标元件的情况下启动软件应用。系统成本域中的系统操作数据(CPU U、内存V、网络带宽W和输入输出(IO)X操作)以及系统性能域中的相应数据(吞吐量“P”)可以进行测量并记录为数据集。出于描述目的，将在没有目标元件的情况下操作计算系统所获得的测量数据称为基准数据。
软件应用也可以在例如其他因素都相同的受控环境下与目标元件(此处为监视插件应用)一起启动。系统成本域中的系统操作数据(中央处理器U’、内存V’、网络带宽W’和输入输出X’操作)以及系统性能域中的相应数据(吞吐量P’)可以作为数据集进行测量和记录，这里称为比较数据。
可以使用数据分析方案来分析基线数据和比较数据，以分别获得基线分析结果和比较分析结果。数据分析方案将系统性能域的测量值与目标系统成本域中的相应测量值一起/相关分析。可以使用各种数据分析方案，并且各种数据分析方案都包括在本公开中。
在示例中，数据分析方案可以基于目标系统成本域中的每单位测量值来分析系统性能域中的测量值。对于说明性示例，数据分析方案可以与CPU使用率数据U(U′)有关地分析系统性能吞吐量数据P(P′)。由单位系统成本产生的系统性能值可以被确定为：
P/U(基线)
P′/U′(比较)
在使用分析方案来生成/获得基线分析结果和比较分析结果之后，可以与基线分析结果有关地分析比较分析结果，以评估利用包括软件应用的计算系统操作目标元件的系统影响。
可以使用与基线分析结果有关地分析比较分析结果的任何方法，并且所有方法都包括在本公开中。在一个示例中，在使用P/U(P′/U′)生成分析结果的情况下，可以使用(P/U)/(P′/U′)确定目标元件对计算机系统的性能的影响。例如，如果(P/U)/(P′/U′)＞1，则可以确定目标元件对系统性能具有负面影响，因为每单位目标系统成本生成的系统性能指标较少。如果(P/U)/(P′/U′)＜1，则可以确定目标元件对系统性能有积极影响，因为每单位目标系统成本会生成更多系统性能指标。
应当理解，可以在分析之前对系统性能域和/或系统成本域的测量值进行预处理。例如，在使用P/U(P′/U′)生成分析结果的情况下，可以对P的测量值和U的测量值进行预处理，以获取对于P/U(P′/U′)分析的平均P测量值和平均U测量值。此外，可以在U和/或P测量的多个间隔和/或范围内进行P/U(P′/U′)分析以完善分析。
在另一示例中，数据分析方案可以包括系统性能域上的系统性能测量值与一个或更多个系统成本域上的系统成本测量值之间的回归分析。回归分析可以在单个系统成本域和系统性能域之间。作为示例，回归方程式可以是：
P＝a*U+b，其中a、b是常数，或
P＝a*U2产+b*U+c，其中a、b和c是常数。
还可以在多个系统成本域和系统性能域之间进行回归分析。作为示例，回归方程式可以是：
P＝a*U+b*W+c*X+d，其中a、b、c、d为常数。
应当理解，以上示例回归方程式仅出于说明性目的而提供，并不限制本公开的范围。任何回归方案都是可能的，并且所有回归方案都包括在本公开中。仅出于说明性目的，系统性能测量吞吐量P和CPU使用率U之间的回归分析方案，P＝a*U+b，用作说明性示例，以在此处描述回归分析。
可以使用基线数据来生成基线回归方程式P＝a*U+b。可以使用比较数据来生成比较回归方程式P′＝a′*U′+b′。可以将U(或P)中的相同测试值应用于基线回归方程式和比较回归方程式，以获得P(或U)中的结果值Pr和P′(或U′)中的结果值P′r。结果值可以分别用作基线分析结果和比较分析结果。
在示例中，可以将系统性能域(P或P′)测量值或系统成本域(U或U′)测量值中至少一个的最高可能值用作测试值。
可以与基线分析结果Pr有关地分析比较分析结果P′r，以确定目标元件对包括软件应用的计算系统的性能的影响。
例如，可以评估P′r/Pr。如果P′r/Pr＞1，则可以确定目标元件对计算系统具有积极影响，因为当计算系统与目标元件一起操作时，与没有目标元件相比，生成更多的系统性能测量，例如吞吐量P。
类似于每单位系统成本测量(P/U)分析方案，回归分析方案也可以在多个不同值范围内分别用于系统性能测量和系统成本测量。
还可以包括选择目标系统成本域以与系统性能域进行分析的技术。在示例中，可以基于系统性能度量是否受系统成本域限制/限制来选择目标系统成本域。可以选择限制成本域，即限制/约束系统性能度量的成本域作为目标系统成本域。确定极限成本域的任何方法都是可能的，并且所有方法都包括在本公开中。
在示例中，可以利用例如基线数据(和/或比较数据)的系统性能域P中的测量来获得多个系统成本域(例如，U，V，W)上的测量。
每个系统成本域都有一个不能超过的最大利用率。例如，中央处理器利用率可能不超过100％，网络带宽可能不超过10Mbps，等等。
可以使用每个系统成本域U、V、W中的系统成本测量和系统性能域P中的系统性能测量来生成三个单独的回归方程式。
对于每个资源U、V和W，使用相应的回归方程式(例如，通过将系统成本域的最高可能值(即，最高利用率)应用于相应的回归方程式)获得相应的最大(最高可能)性能指标P。与最低的最大度量P关联的系统成本域被确定为限制成本域。
例如，假设U和P的回归分析产生的最大吞吐量P为1000，V和P的回归分析产生的最大吞吐量P为900，W和P的回归分析产生的最大吞吐量P为950。当V和P的回归分析产生最低的最大吞吐量P时，V的相应系统成本域可以被确定为限制成本域。因此，在确定目标元件的影响时，可以将系统成本域V用作要与系统性能域P进行分析的目标系统成本域。
应当理解，对目标元件的系统性能影响的评估可以包括多个系统性能域和多个系统成本域。可以用多个系统性能域来分析系统成本域，和/或系统性能域的分析可以包括多个系统成本域。
2.示例设备
参照图1，示出了用于分析系统更新的性能影响的示例系统10。如图1所示，系统10可以包括一个或更多个存储器100，其用于存储计算机可执行指令，所述计算机可执行指令在由一个或更多个处理单元执行时配置处理单元和相关的计算设备，以实施系统识别单元110、数据接收单元120、分析单元130和控制单元140。
数据接收单元120可以进一步包括原始系统数据接收单元122和更新系统数据接收单元124。分析单元130可以进一步包括原始系统分析单元132、更新系统分析单元134、比较单元136和目标系统成本域确定单元138。
系统10还可以包括一个或更多个处理单元(PU)150、接口单元160、通信单元170和/或其他组件180。
应当理解，尽管系统10及其单元(例如，系统识别单元110、数据接收单元120、分析单元130和控制单元140)被示为单个系统，但并不一定意指系统10的所有组件在物理上或功能上位于单个计算系统内。图1的系统10中所示的所有单元可以位于在分布式计算环境中一起通信和工作的不同计算系统上。
图2示出了系统10的示例操作环境200。注意，图2示出了分布式计算方案中的操作环境200，这对于实现不是必需的。图2所示的一些或全部通信可以通过单个计算系统内的数据总线(即本地通信)来实现。例如，系统10可以作为内置分析单元被包括在计算系统240之一中。
如图2所示，系统10的一个或更多个单元可以通过网络220与数据源230(230-1至230-N)和/或计算系统240(240-1至240-M)通信。每个数据源230可以在一个或更多个系统性能域和一个或更多个系统成本域中获取/收集一个或更多个计算系统240的性能数据/测量值。系统10可以从数据源230接收系统性能数据和/或系统成本数据，或者可以直接通过计算系统240获取/收集这样的数据。系统性能数据/测量值和/或系统成本数据/测量值可以使用任何方法被获取/收集，并且所有方法都包括在本公开中。
应当理解，不同的数据源230可以采用不同的机制来获取数据和/或可以不同地处理获取的计算系统240的数据，使得不同的数据源230的数据可以包括不同的格式。数据源230的采样频率也可以变化，这可以反映在系统10生成和接收的数据集的数据入口点中。系统10可以采用技术来解决这种数据格式不一致的问题。
目标元件250可以包括软件元件、硬件元件和/或硬件元件/软件元件的组合。目标元件250可以被配置为与计算系统240和/或其单元一起操作。数据源230和/或系统10可以被配置为获取/收集系统性能域和/或系统成本域中的测量值，以用于在有相关目标元件250和没有相关目标元件250的情况下操作的计算系统240。
在一个示例中，如图2所示，在分布式计算方案中，所获取的数据可以在不同的数据源230中进行初始本地处理。例如，数据源230可以最初处理所获取的系统性能数据和系统成本数据以生成具有彼此关联的系统性能数据条目和对应的系统成本数据条目的数据集，以方便进一步的分析。数据源230可以进一步处理所生成的数据集以改善数据质量，例如通过消除异常数据条目。系统10可以经由网络220的数据通信来接收经本地和初始处理的系统性能数据和/或系统成本数据，以进行进一步处理。在分布式计算环境中对所获取的系统性能/成本数据的这种分层处理可以节省通信带宽，改善容量分配并实现架构灵活性和适应性，这都是技术优势。
在操作中，系统识别单元110可被配置成识别计算系统240和被配置成与计算系统240一起操作的相应目标元件250。可以通过用户输入、与数据源230的通信和/或其他方法来实现识别。
数据接收单元120通常可被配置成接收系统性能数据/测量值和/或所识别的与/不与目标元件250一起操作的计算系统240的系统成本数据/测量值。可以从数据源230或其他内部/外部信道获取和/或接收测量数据。
数据接收单元120还可被配置为使用相同的时间尺度将系统性能域中的测量值和系统成本域中的测量值合并到数据集中。在一些场景中，数据接收单元120和/或数据源230可以在系统成本域中单独地获取测量值，而不是在系统性能域中获取测量值。这种单独获取的系统成本数据和系统性能数据可能需要合并并且关联在一起，以进行进一步的分析。例如，可能需要例如在采样点上将系统成本测量值链接到要一起分析的系统性测量值。在其他情况下，数据接收单元120可以从具有不同格式和时间尺度的多个数据源接收系统性能测量值和系统成本测量值。来自不同数据源的此类数据需要进行处理并合并到数据集中以进行进一步分析。
具体地，原始系统数据接收单元122可以被配置成接收系统性能域中计算系统240的基线系统性能测量值和包括目标系统成本域的系统成本域中计算系统240的基线系统成本测量值。如本文所述，可以针对在没有对应的目标元件250的情况下操作的计算系统240获得/获取基线系统性能测量值和基线系统成本测量值。
更新系统数据接收单元124可以被配置成接收相同系统性能域中计算系统240的比较系统性能测量值和包括目标系统成本域的相同系统成本域中计算系统240的比较系统成本测量值。如本文所述，可以针对与相应的目标元件250一起操作的计算系统240获得/获取比较系统性能测量值和比较系统成本测量值。
在示例中，基线数据和比较数据的获取是在良好控制的环境下进行的，使得除了包含/排除目标元件250之外，计算系统240的其余部分及其操作被控制为相同的。
分析单元130通常可以被配置为分析接收到的基线数据(基线系统性能和基线系统成本数据)和比较数据(比较系统性能数据和比较系统成本数据)，以评估与所识别的计算系统240一起操作所识别的目标元件250对系统的影响。具体地，原始系统分析单元132可以被配置为在数据分析方案下使用基线系统性能测量值和基线系统成本测量值来生成第一分析结果。可以使用将系统性能测量值与系统成本测量值一起分析的任何数据分析方案，并且所有这些都包括在本公开中。
例如，数据分析方案可以包括基于每单位(基线)系统成本测量(例如，如本文所描述的作为示例的P/U)来分析(基线)系统性能测量。例如，数据分析方案可以包括(基线)系统性能测量和(基线)系统成本测量之间的回归分析。
更新系统分析单元134可以被配置成在与原始系统分析单元134所使用的相同的数据分析方案下使用比较系统性能测量值和比较系统成本测量值来生成第二分析结果。
比较单元136可被配置成与第一分析结果有关地分析第二分析结果，以评估与计算系统240一起操作目标元件250的系统影响。可以使用任何分析方法，并且所有方法都包含在本公开中。例如，在使用回归分析方案来获得第一分析结果和第二分析结果的情况下，P′r/Pr可用于评估目标元件250对计算系统240的系统影响。如果P′r/Pr＞1，则可以确定目标元件250对计算系统240的性能具有积极影响，因为与没有目标元件250相比，当计算系统240与目标元件250一起操作时，产生了更多的系统性能度量，例如吞吐量P。
目标系统成本域确定单元138可以被配置为在多个系统成本域当中选择系统成本域作为要与系统性能域进行分析的目标系统成本域。在示例中，目标系统成本域确定单元138可以将多个系统成本域当中的限制成本域确定为目标系统成本域。
控制单元140可以被配置成基于由分析单元130生成的分析结果来控制计算系统240的配置和/或操作。例如，控制单元140可以控制所识别的计算系统240是否与所识别的目标元件250一起操作。控制单元140还可以控制计算系统240在系统成本度量和/或系统性能度量的确定范围内与目标元件250一起操作，例如，在对系统成本测量/系统性能测量的多个范围进行系统影响分析的情况下。
3.示例过程
参照图3，示出了图1的系统10的示例性操作过程300。在示例操作310中，系统识别单元110可以将计算系统240和配置为与计算系统240一起操作的相应目标元件250识别为分析对象。
在示例性操作320中，原始系统数据接收单元122可以接收系统性能域中识别的计算系统240的基线系统性能测量值和包括目标系统成本域的系统成本域中识别的计算系统240的基线系统成本测量值。基线系统性能测量值和基线系统成本测量值可以在识别的计算系统240在没有相应(识别的)目标元件250的情况下操作时获得/获取。
在示例操作330中，更新系统数据接收单元124可以接收相同系统性能域中识别的计算系统240的比较系统性能测量值以及包括相同目标系统成本域的相同系统成本域中识别的计算系统240的比较系统成本测量值。如本文所述，可使用所识别的与相应的识别目标元件250一起操作的计算系统240获得/获取比较系统性能测量值和比较系统成本测量值。
在示例操作340中，原始系统分析单元132可以在数据分析方案下使用所识别的计算系统240的基线系统性能测量值和基线系统成本测量值来生成第一分析结果。可以使用将系统性能测量值与系统成本测量值一起分析的任何数据分析方案，并且所有这些都包括在本公开中。
例如，数据分析方案可以包括基于每单位(基线)系统成本测量(例如，本文中作为说明性示例所描述的P/U)来分析(基线)系统性能测量。对于另一个示例，数据分析方案可以包括在(基线)系统性能测量和(基线)系统成本测量之间的回归分析。
在示例操作350中，更新系统分析单元134可以在与示例中原始系统分析单元134所使用的数据分析方案相同的数据分析方案下使用所识别的计算系统240的比较系统性能测量值和比较系统成本测量值来生成第二分析结果。例如，在原始系统分析单元134使用每单位系统成本的系统性能度量的方案(例如P/U)的情况下，更新系统分析单元134使用相同的方案并获得P′/U′。
类似地，在示例操作340中使用回归分析的情况下，在示例操作350中使用相同的回归分析。
图4示出了在获得第一分析结果和第二分析结果中的回归分析的示例操作流程。在示例操作410中，使用基线系统性能测量值和基线系统成本测量值来生成基线回归方程式。例如，基线回归方程式可以是：
P＝1000*U+100
在示例操作420中，可以将系统性能域或系统成本域中的一个的测试值应用于基线回归方程式，以获得系统性能域或系统成本域中的另一个的第一结果值作为第一分析结果。对于说明性示例，将50％的CPU使用率(U)应用于基线方程式，并获得所得的吞吐量值(Pr)600作为第一分析结果。
在示例操作430中，可以使用比较系统性能测量值和比较系统成本测量值来生成比较回归方程式。作为示例，比较回归方程式可以是：
P′＝800*U′+150
在示例操作440中，将相同的测试值(与示例操作420中一样)应用于比较回归方程式，以获得的第二结果值作为第二分析值。遵循说明性示例，将相同的50％的CPU使用率(U′)应用于比较回归方程式，并获得所得的吞吐量测量(Pr′)550作为第二分析结果。
再次参照图3，在示例操作360中，比较单元136可以与第一分析结果有关地分析第二分析结果，以评估系统更新的性能影响，即，将识别出的目标元件250与识别出的计算系统240一起操作。可以使用任何分析方法，并且所有方法都包括在本公开中。例如，在使用回归分析方案来获得第一分析结果和第二分析结果的情况下，P′r/Pr可用于评估目标元件250对计算系统240的性能影响。这里遵循上述说明性示例，Pr′＝550且Pr＝600，Pr′/Pr＜1。可以确定目标元件250对计算系统240具有负面影响，因为与没有目标元件250的情况相比，240计算系统在有目标元件250的情况下工作时产生了较少的系统性能测量值，例如吞吐量P。
在示例操作370中，控制单元140可以基于分析单元130生成的分析结果来控制计算系统240的系统配置和/或操作。例如，控制单元140可以控制所识别的计算系统240是否与所识别的目标元件250一起操作。控制单元140还可以控制所识别的计算系统240与所识别的目标元件250在系统成本度量和/或系统性能度量的指定的范围内一起操作。
图5示出了用于确定要与系统性能域一起分析的目标系统成本域的示例处理流程。目标成本域的选择可以基于基线数据(系统性能测量值和系统成本测量值)和/或可以基于比较数据(系统性能测量值和系统成本测量值)。在本文的描述中，基线数据被用于目标系统成本域的选择中作为说明性示例。
在示例操作510中，使用多个系统成本域(例如，U、V、W)中的每一个中的基线系统成本测量值和同一系统性能域(例如，P)中的基线系统性能测量值来生成多个回归方程式。
在示例操作520中，通过多个回归方程式(例如，对于U、V、W中的每一个)获得最高可能的系统性能值(P)。可以基于相应系统成本值的范围(例如，CPU使用率U不能高于100％)获得最高系统性能值。例如，如果回归方程式不是线性的，则还可以基于特定的回归方程式获得最高的系统性能值。
在示例操作530中，识别通过多个回归方程式获得的多个最高可能的系统性能值中的最低系统性能值。对于说明性示例，如果通过用于系统成本域U、V、W的回归方程式获得的最高系统性能值分别是Pu、Pv、Pw，则可以识别出Pu、Pv、Pw中的最低系统值，例如Pu。
在示例操作540中，可以将通过多个回归方程式得到的多个最高可能的系统性能值中的最低系统性能值对应的系统成本域识别为目标系统成本域。遵循上面的说明性示例，CPU使用率(U)可以被识别为目标系统成本域，因为Pu是通过系统成本域U、V、W中的一个和系统性能域P之间的各个回归方程式得到的Pu、Pv、Pw当中最低的一个。
所识别的目标系统成本域可以与系统性能域一起用于以分析所识别的目标元件250对所识别的计算系统240的性能影响。应当理解，可以针对具有系统性能域的多个系统成本域来分别地或组合地进行系统影响的分析。还可以针对与相同的多个系统成本域和/或不同的系统成本域有关的多个系统性能域来进行系统影响分析。本公开中提供的示例仅用于说明目的，并不限制本公开的范围。
上面结合图3至图5描述的处理可以以硬件、软件或其组合来实现。在软件的上下文中，所述操作表示存储在一个或更多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或更多个处理器执行时执行所述的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在其他实施例中，硬件元件执行一个或更多个操作。这样的硬件组件可以包括或并入到处理器、专用集成电路(ASIC)、诸如现场可编程门阵列(FPGA)的可编程电路中或以其他方式并入其中。这里描述的操作的顺序并不旨在被理解为限制，而是可以以任何顺序和/或并行地组合任意数量的所描述的操作以实现所述处理。
存储器可包括计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)或闪存RAM)等。存储器是计算机可读介质的示例。
计算机可读介质包括非易失性、易失性、移动和非移动介质，并且可以通过任何方法或技术来实现信息存储。该信息可以是计算机可读指令、数据结构、程序模块或其他数据。计算机的存储介质的示例包括但不限于相变RAM(PRAM)、静态RAM(SRAM)、动态RAM(DRAM)、其他类型的RAM、ROM、电可擦可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储器、盒带、盒带和磁盘存储器或其他磁存储设备或任何其他非传输介质，并且能够被用于存储计算设备可访问的信息。根据本文的限定，计算机可读介质不包括诸如调制数据信号和载波之类的瞬态介质。
应进一步注意，术语“包括”、“包含”或其任何变体旨在涵盖非排他性包含，使得包括一系列要素的过程、方法、产品或装置不仅包括此类要素，还包括未明确规定的其他要素，或可进一步包括过程、方法、产品或装置的固有要素。在没有更多限制的情况下，由“包括一/一个…”限制的要素不排除在包含要素的过程、方法、产品或设备中存在的其他相同要素。
以上仅是本申请的示例，并不用于限制本申请。对于本领域技术人员而言，本申请可以具有各种变更和变化。在本申请的精神和原理之内所作的任何修改、等同替换、改进等应包括在本申请的权利要求的范围之内。
本公开可以通过以下条款来理解：
条款1：一种计算系统，包括：处理单元；包含计算机可执行指令的存储器，所述计算机可执行指令在由所述处理单元执行时将所述处理单元进行配置以实现系统配置控制器，该系统配置控制器能够进行操作以：识别能够在计算系统中操作的应用以及配置为与所述应用一起操作的目标元件；在系统性能域中获取计算系统的第一系统性能测量值，并在目标系统成本域中获取计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在计算系统中没有与目标元件一起操作应用的情况下获得的；在系统性能域中获取计算系统的第二系统性能测量值，并在目标系统成本域中获取计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是通过在计算系统中与目标元件一起操作应用的情况下获得的；在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及与第一分析结果有关地分析第二分析结果，以评估在计算系统中与应用一起操作目标元件的影响。
条款2：根据条款1所述的计算系统，其中，所述数据分析方案包括：基于每单位系统成本测量值来分析系统性能测量值。
条款3：根据条款1的计算系统，其中，所述数据分析方案包括系统性能测量值和系统成本测量值之间的回归分析。
条款4：根据条款3的计算系统，其中，生成第一分析结果包括：使用第一系统性能测量值和第一系统成本测量值来生成第一回归方程式，以及将系统性能域或系统成本域中的一个的测试值应用于所述第一回归方程式中，以获取作为所述第一分析结果的所述系统性能域或所述系统成本域中的另一个的第一结果值，并且生成第二分析结果包括：使用第二系统性能测量值和第二系统成本测量值来生成第二回归方程式，以及将所述测试值应用到所述第二回归方程式中，以获得作为第二分析结果的第二结果值。
条款5：根据条款1所述的计算系统，其中，使用第一系统成本测量或第二系统成本测量中的至少一个中的最高可能的值来生成第一分析结果和第二分析结果。
条款6：根据条款1所述的计算系统，其中，系统配置控制器还能够进行操作以使用相同的时间尺度来将系统性能域中的测量值和系统成本域中的测量值合并到数据集中。
条款7：根据条款1所述的计算系统，其中，系统配置控制器还能够进行操作以控制所述应用相对于目标元件的配置或操作中的至少一个。
条款8：一种方法，包括：识别计算系统和配置为与该计算系统一起操作的目标元件；接收系统性能域中计算系统的第一系统性能测量值和目标系统成本域中计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在没有与目标元件一起操作计算系统的情况下获得的；接收系统性能域中计算系统的第二系统性能测量值和目标系统成本域中计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是在与目标元件一起操作计算系统的情况下获得的；在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及与第一分析结果有关地分析第二分析结果，以评估与计算系统一起操作目标元件的影响。
条款9：根据条款8的方法，其中，数据分析方案包括基于每单位系统成本测量值来分析系统性能测量值。
条款10：根据条款9的方法，其中，系统性能测量值的平均值和系统成本测量值的平均值用于计算分析。
条款11：根据条款8的方法，其中，数据分析方案包括系统性能测量值和系统成本测量值之间的回归分析。
条款12：根据条款11的方法，其中，生成第一分析结果包括：使用第一系统性能测量值和第一系统成本测量值来生成第一回归方程式，以及将系统性能域或系统成本域中的一个的测试值应用于第一回归方程式中，以获取作为所述第一分析结果的所述系统性能域或所述系统成本域中的另一个的第一结果值，并且生成第二分析结果包括：使用第二系统性能测量值和第二系统成本测量值来生成第二回归方程式，以及将所述测试值应用于所述第二回归方程式，以获得作为第二分析结果的第二结果值。
条款13：根据条款12的方法，其中，生成第一回归方程式包括：生成多个回归方程式，每个回归方程式是通过使用在多个系统成本域中的一个中的第一系统成本测量值和第一系统性能测量值来生成的，通过分析通过所述多个回归方程式中的每一个获得的最大系统性能值，在所述多个系统成本域当中确定限制成本域，以及使用所述限制成本域作为目标系统成本域。
条款14：根据条款8的方法，其中，使用系统性能域或目标系统成本域中的至少一个中的最高可能的值来生成第一分析结果和第二分析结果。
条款15：条款8的方法，还包括：使用相同的时间尺度来将系统性能域中的测量值和系统成本域中的测量值合并到数据集中。
条款16：一种方法，包括：接收系统性能域中计算系统的系统性能测量值和多个系统成本域中的系统成本测量值；生成多个系统成本域中的一个和系统性能域之间的各个回归方程式，并且在所述多个系统成本域中的一个中使用系统性能测量值和系统成本测量值；针对多个回归方程式中的每一个确定最高可能的系统性能值，以获得最高可能的系统性能值的集合；识别该集合中的最低的系统性能值；以及将与该集合中的最低的系统性能值关联的系统成本域识别为目标系统成本域；以及将目标系统成本域中的系统成本测量值与系统性能测量值一起进行分析，以确定计算系统的性能。
条款17：根据条款16的方法，其中，分析包括基于目标系统成本域中的每单位系统成本测量值来分析系统性能测量值。
条款18：根据条款16的方法，其中，分析包括生成第一分析结果，包括：接收系统性能域中计算系统的第一系统性能测量值和目标系统成本域中计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在计算系统在原始配置下操作的情况下获得的；接收系统性能域中计算系统的第二系统性能测量值和接收目标系统成本域中计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是在计算系统在更新配置下操作的情况下获得的；在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及与第一分析结果有关地分析第二分析结果，以评估更新配置对计算系统的系统影响。
条款19：根据条款18的方法，还包括：基于所评估的更新系统的系统影响来控制计算系统的配置。
条款20：根据条款18的方法，还包括：控制计算系统在所述更新配置下的操作。
Claims (21)
1.一种计算系统，包括：
处理单元；
包含计算机可执行指令的存储器，所述计算机可执行指令在由所述处理单元执行时将所述处理单元进行配置以实现系统配置控制器，该系统配置控制器能够进行操作以：
识别能够在计算系统中操作的应用以及配置为与所述应用一起操作的目标元件；
在系统性能域中获取计算系统的第一系统性能测量值，并在目标系统成本域中获取计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在计算系统中没有与目标元件一起操作应用的情况下获得的；
在系统性能域中获取计算系统的第二系统性能测量值，并在目标系统成本域中获取计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是通过在计算系统中与目标元件一起操作应用的情况下获得的；
在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；
在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及
与第一分析结果有关地分析第二分析结果，以评估在计算系统中与应用一起操作目标元件的影响。
2.根据权利要求1所述的计算系统，其中，所述数据分析方案包括：基于每单位系统成本测量值来分析系统性能测量值。
3.根据权利要求1所述的计算系统，其中，所述数据分析方案包括系统性能测量值和系统成本测量值之间的回归分析。
4.根据权利要求3所述的计算系统，其中，生成第一分析结果包括：
使用第一系统性能测量值和第一系统成本测量值来生成第一回归方程式，以及
将系统性能域或系统成本域中的一个的测试值应用于所述第一回归方程式中，以获取作为所述第一分析结果的所述系统性能域或所述系统成本域中的另一个的第一结果值，并且
生成第二分析结果包括：
使用第二系统性能测量值和第二系统成本测量值来生成第二回归方程式，以及
将所述测试值应用到所述第二回归方程式中，以获得作为第二分析结果的第二结果值。
5.根据权利要求1所述的计算系统，其中，使用第一系统成本测量或第二系统成本测量中的至少一个中的最高可能的值来生成第一分析结果和第二分析结果。
6.根据权利要求1所述的计算系统，其中，系统配置控制器还能够进行操作以使用相同的时间尺度来将系统性能域中的测量值和系统成本域中的测量值合并到数据集中。
7.根据权利要求1所述的计算系统，其中，系统配置控制器还能够进行操作以控制所述应用相对于目标元件的配置或操作中的至少一个。
8.一种方法，包括：
识别计算系统和配置为与该计算系统一起操作的目标元件；
接收系统性能域中计算系统的第一系统性能测量值和目标系统成本域中计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在没有与目标元件一起操作计算系统的情况下获得的；
接收系统性能域中计算系统的第二系统性能测量值和目标系统成本域中计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是在与目标元件一起操作计算系统的情况下获得的；
在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；
在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及
与第一分析结果有关地分析第二分析结果，以评估与计算系统一起操作目标元件的影响。
9.根据权利要求8所述的方法，其中，数据分析方案包括基于每单位系统成本测量值来分析系统性能测量值。
10.根据权利要求9所述的方法，其中，系统性能测量值的平均值和系统成本测量值的平均值用于计算分析。
11.根据权利要求8所述的方法，其中，数据分析方案包括系统性能测量值和系统成本测量值之间的回归分析。
12.根据权利要求11所述的方法，其中，生成第一分析结果包括：
使用第一系统性能测量值和第一系统成本测量值来生成第一回归方程式，以及
将系统性能域或系统成本域中的一个的测试值应用于第一回归方程式中，以获取作为所述第一分析结果的所述系统性能域或所述系统成本域中的另一个的第一结果值，并且
生成第二分析结果包括：
使用第二系统性能测量值和第二系统成本测量值来生成第二回归方程式，以及
将所述测试值应用于所述第二回归方程式，以获得作为第二分析结果的第二结果值。
13.根据权利要求12所述的方法，其中，
生成第一回归方程式包括：生成多个回归方程式，每个回归方程式是通过使用在多个系统成本域中的一个中的第一系统成本测量值和第一系统性能测量值来生成的，
通过分析通过所述多个回归方程式中的每一个获得的最大系统性能值，在所述多个系统成本域当中确定限制成本域，以及
使用所述限制成本域作为目标系统成本域。
14.根据权利要求8所述的方法，其中，使用系统性能域或目标系统成本域中的至少一个中的最高可能的值来生成第一分析结果和第二分析结果。
15.根据权利要求8所述的方法，还包括：使用相同的时间尺度来将系统性能域中的测量值和系统成本域中的测量值合并到数据集中。
16.一种方法，包括：
接收系统性能域中计算系统的系统性能测量值和多个系统成本域中的系统成本测量值；
生成多个系统成本域中的一个和系统性能域之间的各个回归方程式，并且在所述多个系统成本域中的一个中使用系统性能测量值和系统成本测量值；
针对多个回归方程式中的每一个确定最高可能的系统性能值，以获得最高可能的系统性能值的集合；
识别该集合中的最低的系统性能值；以及
将与该集合中的最低的系统性能值关联的系统成本域识别为目标系统成本域；以及
将目标系统成本域中的系统成本测量值与系统性能测量值一起进行分析，以确定计算系统的性能。
17.根据权利要求16所述的方法，其中，分析包括基于目标系统成本域中的每单位系统成本测量值来分析系统性能测量值。
18.根据权利要求16所述的方法，其中，分析包括生成第一分析结果，包括：
接收系统性能域中计算系统的第一系统性能测量值和目标系统成本域中计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在计算系统在原始配置下操作的情况下获得的；
接收系统性能域中计算系统的第二系统性能测量值和接收目标系统成本域中计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是在计算系统在更新配置下操作的情况下获得的；
在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；
在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及
与第一分析结果有关地分析第二分析结果，以评估更新配置对计算系统的系统影响。
19.根据权利要求18所述的方法，还包括：基于所评估的更新系统的系统影响来控制计算系统的配置。
20.根据权利要求18所述的方法，还包括：控制计算系统在所述更新配置下的操作。
21.一种方法，包括：
识别计算系统和配置为与该计算系统一起操作的目标元件；
接收系统性能域中计算系统的第一系统性能测量值和系统成本域中计算系统的第一系统成本测量值，所述第一系统性能测量值和所述第一系统成本测量值是在没有与目标元件一起操作计算系统的情况下获得的；
接收系统性能域中计算系统的第二系统性能测量值和系统成本域中计算系统的第二系统成本测量值，所述第二系统性能测量值和所述第二系统成本测量值是在与目标元件一起操作计算系统的情况下获得的；
在数据分析方案下，使用第一系统性能测量值和第一系统成本测量值来生成第一分析结果；
在相同的数据分析方案下，使用第二系统性能测量值和第二系统成本测量值来生成第二分析结果；以及
与第一分析结果有关地分析第二分析结果，以评估与计算系统一起操作目标元件的影响。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/088617 WO2018227548A1 (en) | 2017-06-16 | 2017-06-16 | Analyzing performance impact of system update |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110998539A true CN110998539A (zh) | 2020-04-10 |
| CN110998539B CN110998539B (zh) | 2023-06-13 |
Family
ID=64659476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780091959.2A Active CN110998539B (zh) | 2017-06-16 | 2017-06-16 | 系统更新的性能影响分析 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110998539B (zh) |
| WO (1) | WO2018227548A1 (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060184838A1 (en) * | 2005-02-15 | 2006-08-17 | Ebay Inc. | Parallel software testing based on a normalized configuration |
| CN102025548A (zh) * | 2010-12-20 | 2011-04-20 | 中兴通讯股份有限公司 | 一种用户自定义的性能指标多版本平滑升级的方法及装置 |
| US20140282422A1 (en) * | 2013-03-12 | 2014-09-18 | Netflix, Inc. | Using canary instances for software analysis |
| CN104102668A (zh) * | 2013-04-12 | 2014-10-15 | 袁晓东 | 数据库性能自动分析和预警系统 |
| CN104182333A (zh) * | 2013-05-23 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种性能测试方法和设备 |
| US20140379901A1 (en) * | 2013-06-25 | 2014-12-25 | Netflix, Inc. | Progressive deployment and termination of canary instances for software analysis |
| US20150254161A1 (en) * | 2014-03-05 | 2015-09-10 | Concurix Corporation | Regression Evaluation Using Behavior Models of Software Applications |
| US9268663B1 (en) * | 2012-04-12 | 2016-02-23 | Amazon Technologies, Inc. | Software testing analysis and control |
| US20160274893A1 (en) * | 2015-03-16 | 2016-09-22 | Microsoft Technology Licensing, Llc | Adaptive upgrade to computing systems |
| CN106453549A (zh) * | 2016-10-08 | 2017-02-22 | 中国工商银行股份有限公司 | 一种分布式软件版本发布方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105468510A (zh) * | 2014-09-05 | 2016-04-06 | 北京畅游天下网络技术有限公司 | 对软件质量进行评估与追踪的方法和系统 |
| CN105653303B (zh) * | 2014-11-10 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 应用的安装控制方法及装置 |
| US20160224453A1 (en) * | 2015-01-30 | 2016-08-04 | Lindedln Corporation | Monitoring the quality of software systems |
-
2017
- 2017-06-16 CN CN201780091959.2A patent/CN110998539B/zh active Active
- 2017-06-16 WO PCT/CN2017/088617 patent/WO2018227548A1/en active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060184838A1 (en) * | 2005-02-15 | 2006-08-17 | Ebay Inc. | Parallel software testing based on a normalized configuration |
| CN102025548A (zh) * | 2010-12-20 | 2011-04-20 | 中兴通讯股份有限公司 | 一种用户自定义的性能指标多版本平滑升级的方法及装置 |
| US9268663B1 (en) * | 2012-04-12 | 2016-02-23 | Amazon Technologies, Inc. | Software testing analysis and control |
| US20140282422A1 (en) * | 2013-03-12 | 2014-09-18 | Netflix, Inc. | Using canary instances for software analysis |
| CN104102668A (zh) * | 2013-04-12 | 2014-10-15 | 袁晓东 | 数据库性能自动分析和预警系统 |
| CN104182333A (zh) * | 2013-05-23 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种性能测试方法和设备 |
| US20140379901A1 (en) * | 2013-06-25 | 2014-12-25 | Netflix, Inc. | Progressive deployment and termination of canary instances for software analysis |
| US20150254161A1 (en) * | 2014-03-05 | 2015-09-10 | Concurix Corporation | Regression Evaluation Using Behavior Models of Software Applications |
| US20160274893A1 (en) * | 2015-03-16 | 2016-09-22 | Microsoft Technology Licensing, Llc | Adaptive upgrade to computing systems |
| CN106453549A (zh) * | 2016-10-08 | 2017-02-22 | 中国工商银行股份有限公司 | 一种分布式软件版本发布方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110998539B (zh) | 2023-06-13 |
| WO2018227548A1 (en) | 2018-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8738563B2 (en) | Comparing data series associated with two systems to identify hidden similarities between them | |
| US20160328719A1 (en) | DATA NORMALIZATION FOR INTERNET OF THINGS (IoT) DEVICES | |
| WO2018157752A1 (en) | Approximate random number generator by empirical cumulative distribution function | |
| Singhal et al. | Performance assurance model for applications on SPARK platform | |
| CN109871308B (zh) | 自动化测试方法及装置、终端设备及计算机可读存储介质 | |
| US10223397B1 (en) | Social graph based co-location of network users | |
| WO2015154478A1 (zh) | 创建性能测量任务、性能测量结果的处理方法及装置 | |
| CN107220121B (zh) | 一种numa架构下沙箱环境测试方法及其系统 | |
| CN110134583B (zh) | 软件测试及数据处理方法及装置 | |
| US20210049482A1 (en) | State dependent calibration of qubit measurements | |
| GB2591973A (en) | Method and apparatus for mapping network slices onto network infrastructures with SLA guarantee | |
| Reisert et al. | Following the blind seer–creating better performance models using less information | |
| Hunold et al. | Automatic verification of self-consistent MPI performance guidelines | |
| Luckow et al. | Performance characterization and modeling of serverless and hpc streaming applications | |
| Mu et al. | On the empirical scaling of running time for finding optimal solutions to the TSP | |
| Salinas et al. | Optimizing hyperparameters with conformal quantile regression | |
| WO2018177293A1 (en) | Sample-based multidimensional data cloning | |
| CN110998539B (zh) | 系统更新的性能影响分析 | |
| US20190340366A1 (en) | Cybersecurity by i/o inferred from execution traces | |
| CN109376081A (zh) | 测试策略的生成方法和装置 | |
| Carling et al. | Confidence in heuristic solutions? | |
| US11425717B2 (en) | Configuring an HVAC wireless communication device | |
| WO2021155576A1 (en) | Automatic parameter tuning for anomaly detection system | |
| WO2019028648A1 (en) | PROCESSING PERFORMANCE DATA FOR MACHINE LEARNING | |
| López et al. | Quality estimation of virtual machine placement in cloud infrastructures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province Patentee after: Aliyun Computing Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |