CN113452562A - 一种配置参数校准方法及装置 - Google Patents

一种配置参数校准方法及装置 Download PDF

Info

Publication number
CN113452562A
CN113452562A CN202110717859.4A CN202110717859A CN113452562A CN 113452562 A CN113452562 A CN 113452562A CN 202110717859 A CN202110717859 A CN 202110717859A CN 113452562 A CN113452562 A CN 113452562A
Authority
CN
China
Prior art keywords
configuration
order
configuration parameter
system environment
baseline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110717859.4A
Other languages
English (en)
Other versions
CN113452562B (zh
Inventor
万玉子
刘爱辉
李淑凤
郑明潇
李雨芯
沈奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110717859.4A priority Critical patent/CN113452562B/zh
Publication of CN113452562A publication Critical patent/CN113452562A/zh
Application granted granted Critical
Publication of CN113452562B publication Critical patent/CN113452562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请提供一种配置参数校准方法及装置,获取待处理设备的特征数据,特征数据是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值;根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与系统特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,以提高校准的准确度,从而降低生产故障的发生几率。

Description

一种配置参数校准方法及装置
技术领域
本申请属于数据处理技术领域,尤其涉及一种配置参数校准方法及装置。
背景技术
业务系统的稳定运行直接影响对应业务的正常展开,在业务系统上线前 需要经过充分测试以确保上线后业务系统的稳定运行,在测试环境中对业务 系统进行测试时,配置参数是否正确直接决定测试的有效性,因此配置参数 校准显得尤为关键。
目前配置参数校准是通过获取生产环境的配置文件和测试环境的配置文 件,将两个环境中的配置文件进行比对以得到两个配置文件中的差异参数, 差异参数是两个配置文件中不一致的配置参数,如取值不同、配置参数名称 不同等。然后由开发人员、测试人员以及运维人员对差异参数进行分析,确 定差异参数是否会影响测试的有效性,如果影响测试的有效性,则将测试环 境中的配置参数校准至与生产环境中的配置参数一致。
对于业务系统来说,无论是比对得到差异参数、差异参数分析和配置参 数调整都是由开发人员、测试人员以及运维人员来确定。并且在基于两个配 置文件进行比对时是以每个配置参数为单位进行比对,这些配置参数之间是 否存在关联关系,例如,配置文件X中的配置参数A与配置文件Y中的配置 参数B有依赖关系,目前配置参数校准方法会分别对配置参数A和配置参数 B进行比对,发现配置参数A不一致需要校准,配置参数B一致不需要校准, 结果因校准时没有考虑配置参数之间的关联关系导致了生产故障并浪费了人 力物力。
发明内容
有鉴于此,本申请的目的在于提供一种配置参数校准方法及装置。
一方面,本申请提供一种配置参数校准方法,所述方法包括:
获取待处理设备的特征数据,所述特征数据是所述待处理设备处于目标 环境中时影响所述待处理设备的配置参数的取值的数值;
根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述 待处理设备处于所述目标环境中时的待校准配置参数;
向所述待处理设备发送校准指令,所述校准指令用于指示所述待处理设 备对所述待校准配置参数进行校准;
其中,所述预设构建的配置基线模型包括一阶配置基线模型和二阶配置 基线模型,所述一阶配置基线模型用于指示所述配置参数与系统特征的可量 化关系,所述二阶配置基线模型用于指示有关联关系的配置参数之间的可量 化关系,在确定所述待校准配置参数时利用所述一阶配置基线模型和/或二阶 配置基线模型。
可选的,所述配置基线模型的构建过程包括:
获取第一系统环境的配置参数集合及所述第一系统环境的第一系统特征 集合,所述第一系统环境为生产环境,所述配置参数集合包括配置参数的历 史取值,所述第一系统特征集合包括所述系统特征的历史取值;
对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理, 得到所述第一系统环境的一阶配置参数集合和所述第一系统环境的二阶配置 参数集合;
利用所述一阶配置参数集合中配置参数的历史取值和所述第一系统特征 集合中系统特征的历史取值,得到所述一阶配置基线模型;
利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参 数集合中各配置参数的历史取值,得到所述二阶配置基线模型。
可选的,所述方法还包括:
利用所述一阶配置基线模型和所述二阶配置基线模型,对所述第一系统 环境的配置参数集合进行调整,得到所述第一系统环境的配置基线,所述第 一系统环境的配置基线中存储有第一配置项和所述第一配置项的基线值,所 述第一配置项为对第一系统环境进行校准时参照的配置参数;
获取第二系统环境的第二系统特征集合,所述第二系统环境为测试环境, 所述第二系统特征集合包括系统特征的历史取值;
利用所述第二系统特征集合中系统特征的历史取值、所述一阶配置基线 模型和所述二阶配置基线模型,得到所述第二系统环境的配置基线,所述第 二系统环境的配置基线中存储有第二配置项和所述第二配置项的基线值,所 述第二配置项为对第二系统环境进行校准时参照的配置参数。
可选的,所述对所述配置参数集合中的配置参数进行标准化和消除多重 共线性处理,得到所述第一系统环境的一阶配置参数集合和所述第一系统环 境的二阶配置参数集合包括:
将所述配置参数集合中类型为字符型的配置参数的字符值转换为数值;
获得所述配置参数集合中每个配置参数与所述配置参数集合中其他配置 参数的线性回归模型;
根据所述每个配置参数的线性回归模型,得到所述每个配置参数的判决 系数;
根据所述每个配置参数的判决系数,得到每个配置参数的方差膨胀因子;
根据所述每个配置参数的方差膨胀因子和预设阈值,确定所述配置参数 所属集合,所述配置参数所属集合为所述第一系统环境的一阶配置参数集合 或所述第一系统环境的二阶配置参数集合。
可选的,所述利用所述一阶配置参数集合中配置参数的历史取值和所述 第一系统特征集合中系统特征的历史取值,得到所述一阶配置基线模型包括:
以所述第一系统特征集合中系统特征的历史取值为自变量,以所述一阶 配置参数集合中的配置参数为因变量,得到所述一阶配置参数集合中每个配 置参数与第一系统特征集合中各系统特征的模型系数及每个配置参数的置信 区间;
根据所述每个配置参数的置信区间,确定所述一阶配置参数集合中对测 试结果有影响的配置参数;
根据所述对测试结果有影响的配置参数的模型系数,得到所述一阶配置 基线模型,所述一阶配置基线模型中包含所述对测试结果有影响的配置参数 与第一系统特征集合中各系统特征的可量化关系;
所述利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配 置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型包括:
以所述一阶配置基线模型中各配置参数的历史取值为自变量,以所述二 阶配置参数集合中的配置参数为因变量,得到所述二阶配置参数集合中每个 配置参数与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置 信区间;
根据所述二阶配置参数集合中每个配置参数的置信区间,确定所述二阶 配置参数集合中对测试结果有影响的配置参数;
根据所述二阶配置参数集合中对测试结果有影响的配置参数的模型系数, 得到所述二阶配置基线模型,所述二阶配置基线模型中包含所述二阶配置参 数集合中对测试结果有影响的配置参数与一阶配置基线模型中各配置参数的 可量化关系。
可选的,所述获取待处理设备的特征数据包括:针对第二系统环境的一 阶配置基线中配置参数,获取所述第二系统环境的相关配置参数的真实值, 所述第二系统环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定 所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置参数的真实值与所述将第二系统环境的一阶配置基线中配置 参数的基线值进行比对,得到所述一阶配置基线的差异项;
根据所述一阶配置基线的差异项和所述二阶配置基线模型,得到二阶配 置基线的差异项,所述一阶配置基线的差异项和所述二阶配置基线的差异项 为所述待校准配置参数,所述校准指令用于指示将所述第二系统环境的相关 配置参数的取值修正为基线值。
可选的,所述获取待处理设备的特征数据包括:根据第二系统环境的测 试需求,得到所述第二系统环境的系统特征的预测值,所述第二系统环境为 测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定 所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参 数,并将所述第二系统环境的系统特征的预测值输入至所述配置基线模型, 得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第二系统 环境中的待校准配置参数的取值修正为所述预测值。
可选的,所述获取待处理设备的特征数据包括:获取第一系统环境的历 史特征数据,根据历史特征数据得到所述第一系统环境的系统特征的预测值, 所述第一系统环境为生产环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定 所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参 数,并将所述第一系统环境的系统特征的预测值输入至所述配置基线模型, 得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第一系统 环境中的待校准配置参数的取值修正为所述预测值。
可选的,所述获取待处理设备的特征数据包括:
向所述待处理设备的代理端发送数据获取指令,并接收所述代理端发送 的数据;所述数据获取指令用于指示所述代理端从所述待处理设备处采集数 据,所述代理端可从处于同一组的待处理设备中采集数据;
所述向所述待处理设备发送校准指令包括:向所述待处理设备的代理端 发送所述校准指令,所述代理端向处于同一组的待处理设备发送所述校准指 令。
可选的,所述方法还包括:
获取第一系统环境和/第二系统环境的事件信息,并从事件信息中筛选出 因配置参数的取值错误导致的事件信息;
将筛选出的事件信息对应的取值错误的配置参数作为一个优化参数集合, 得到优化参数集合的配置参数相关的系统特征,根据优化参数集合和优化参 数集合的配置参数相关的系统特征,对所述配置基线模型进行自学习优化。
另一方面,本申请提供一种配置参数校准装置,所述装置包括:服务端 单元、第一系统环境代理端单元和第二系统环境代理端单元;
所述第一系统环境代理端单元,用于采集待处理设备处于第一系统环境 中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述第二系统环境代理端单元,用于采集待处理设备处于第二系统环境 中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述服务端单元,用于执行上述配置参数校准方法,向所述第一系统环 境代理端单元和所述第二系统环境代理端单元中的一个发送校准指令,以利 用所述第一系统环境代理端单元和所述第二系统环境代理端单元根据所述校 准指令对待处理设备中的待校准配置参数进行校准。
再一方面,本申请提供一种设备,所述设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述配置参数校准方 法。
再一方面,本申请提供一种计算机可读存储介质,当所述计算机可读存 储介质中的指令由处理器执行时能够实现上述配置参数校准方法。
上述配置参数校准方法及装置,获取待处理设备的特征数据,特征数据 是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值; 根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处 于目标环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令 用于指示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基 线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于 指示配置参数与系统特征的可量化关系,二阶配置基线模型用于指示有关联 关系的配置参数之间的可量化关系,在确定待校准配置参数时利用一阶配置 基线模型和/或二阶配置基线模型,实现利用预先构建的配置基线模型完成对 待处理设备的配置参数进行自动校准,并且预先配置的配置基线模型中的二 阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,能够利 用二阶配置基线模型得到有关联关系的各配置参数,在对关联关系的一个配 置参数进行校准时可同时对关联关系的另一个配置参数进行校准,提高校准 的准确度,从而降低生产故障的发生几率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有配置参数校准的示意图;
图2是本申请实施例提供的配置参数校准方法中一种构建配置基线模型 的流程图;
图3是本申请实施例提供的配置参数校准方法中另一种构建配置基线模 型的流程图;
图4是本申请实施例提供的一种配置参数校准方法的流程图;
图5是本申请实施例提供的另一种配置参数校准方法的流程图;
图6是本申请实施例提供的再一种配置参数校准方法的流程图;
图7是本申请实施例提供的再一种配置参数校准方法的流程图;
图8是本申请实施例提供的一种配置参数校准装置的结构示意图;
图9是图8所示配置参数校准装置中各单元的工作流程图;
图10是图8所示配置参数校准装置批量处理采集脚本的流程图;
图11是图8所示配置参数校准装置批量比对配置参数的流程图;
图12是图8所示配置参数校准装置批量校准配置参数的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申 请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例,都属于本申请保护的范围。
目前配置参数校准是通过获取生产环境的配置文件和测试环境的配置文 件,将两个环境中的配置文件进行比对以得到两个配置文件中的差异参数, 差异参数是两个配置文件中不一致的配置参数,如取值不同、配置参数名称 不同等。然后由开发人员、测试人员以及运维人员对差异参数进行分析,确 定差异参数是否会影响测试的有效性,如果影响测试的有效性,则将测试环 境中的配置参数校准至与生产环境中的配置参数一致。其中配置参数校准方 法主要针对的是测试环境中的各设备,对测试环境中的各设备执行配置参数 校准,其过程如图1所示:测试环境中各设备例如A、B、C依次顺序执行步 骤(1)至(4),A执行完(1)-(4)后,B执行(1)至(4)……以此类推, 直至所有需比对的设备执行完毕。其中步骤(1)至(4)可由开发人员、测 试人员及运维人员中的至少一种类型人员手动执行,步骤(1)至(4)的说 明如下:
(1)配置文件获取:配置文件的收集需要每一台设备逐台登录、依次手 动执行下列操作:上传采集脚本、部署、执行、收集执行结果文件、下载执 行结果文件。由于测试环境中涉及的配置参数种类繁多,如测试环境中涉及 的配置参数包含底层硬件、操作系统、数据库、中间件、应用等几十种产品 的配置参数,每种产品都有独立的采集脚本,每个脚本均需将上述操作执行 一遍以获取测试环境中涉及的配置参数。
(2)配置文件比对,获取并输出比对结果:逐一查找出测试环境与生产 环境的对应设备,对一台设备的几十个配置文件中的上万个配置参数一一定 位比对,确定不一致的配置参数,不一致的配置参数汇总至文件中。
(3)配置参数比对结果分析:开发人员、测试人员及运维人员对文件中 不一致的配置参数逐一分析,明确该配置参数不一致是否会影响测试结果, 将会影响测试结果的配置参数汇总形成需要校准的参数集合。
(4)配置参数调整:根据需要校准的参数集合,登录到对应设备对参数 集合中的配置参数逐一校准,使测试环境的配置参数与生产环境保持一致。
从上述图1所示配置参数校准方法可知,目前配置参数校准方法是先比 对再分析,一个产品的配置文件动辄几十个,一个配置文件中包含的配置参 数动辄上千个,那么在比对分析过程中需要对众多配置参数进行处理,其中 包含大量对测试无影响的配置参数,效率低下。无论是比对得到差异参数、 差异参数分析和配置参数调整都是由开发人员、测试人员以及运维人员来确 定,人工依赖程度高,效率低下,实施风险较高,处理规模较小。并且在基 于两个配置文件进行比对时是以每个配置参数为单位进行比对,这些配置参数之间是否存在关联关系,例如,配置文件X中的配置参数A与配置文件Y 中的配置参数B有依赖关系,目前配置参数校准方法会分别对配置参数A和 配置参数B进行比对,发现配置参数A不一致需要校准,配置参数B一致不 需要校准,结果因校准时没有考虑配置参数之间的关联关系导致了生产故障 并浪费了人力物力。
为了解决上述技术方案,本申请提供的配置参数校准方法及装置能够利 用预先构建的配置基线模型进行校准,其中预先构建的配置基线模型包括一 阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数 与系统特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参 数之间的可量化关系,通过配置基线模型精炼了需要比对和校准的配置参数 集合,降低了无意义比对,效率提升。并且能够利用预先构建的配置基线模 型完成对待处理设备的配置参数进行自动校准,降低人工依赖程度,从而可 提升效率,实施风险降低,处理规模可提升。预先配置的配置基线模型中的 二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,能够 利用二阶配置基线模型得到有关联关系的各配置参数,在对关联关系的一个 配置参数进行校准时可同时对关联关系的另一个配置参数进行校准,提高校 准的准确度,从而降低生产故障的发生几率。
下面对本申请提供的配置参数校准方法进行说明,首先对本申请提供的 配置参数校准方法涉及的术语进行说明:
系统特征是指业务系统的基本属性,如设备的硬件资源大小,用户数量, 交易量等信息。
配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基 线模型用于指示配置参数与系统特征的可量化关系;二阶配置基线模型用于 指示有关联关系的配置参数之间的可量化关系。
第一系统环境的配置基线是指处于稳定运行的生产环境中的各设备经过 配置基线模型筛选后的第一配置项及第一配置项的基线值的并集,第一配置 项为生产环境中需要校准的配置参数,生产环境为第一系统环境,也就是说 第一系统环境的配置基线中存储有第一配置项和第一配置项的基线值;例如 {{PK1,PV1},{PK2,PV2}…},PK1为第一配置项的名称,PV1为第一配置项PK1的 基线值。
第一系统环境的配置基线的预测值是指根据生产环境中各设备的系统特 征的预测值,通过一阶配置基线模型与二阶配置基线模型分别得出的位于生 产环境中各设备的第一配置项的预测值的并集。例如 {{{PK1,PVY1},{PK2,PVY2}…},{{QK1,QVY1},{QK2,QVY2}…},},PK1为一阶配置 基线中第一配置项的名称,PVY1为PK1的预测值。QK1为二阶配置基线中第一 配置项的名称,QVY1为QK1的预测值。
第二系统环境的配置基线是指根据测试环境的系统特征,通过一阶配置 基线模型与二阶配置基线模型分别得出位于测试环境中的各设备的第二配置 项和第二配置项的基线值的并集,第二配置项为测试环境中需要校准的配置 参数,生产环境为第二系统环境,也就是说第二系统环境的配置基线中存储 有第二配置项和第二配置项的基线值;例如{{{TK1,TV1},{TK2,TV2}…},{{SK1,SV1},{SK2,SV2}…}},TK1为一阶配置基线中 第二配置项的名称,TV1为TK1的基线值,SK1为二阶配置基线中第二配置项的 名称,SV1为SK1的基线值。
第二系统环境的配置基线的预测值是指根据测试环境的测试需求,通过 一阶配置基线模型与二阶配置基线模型分别得出的位于测试环境中的各设备 的配置基线中第二配置项的预测值的并集。例如 {{{TK1,TVY1},{TK2,TVY2}…},{{SK1,SVY1},{SK2,SVY2}…}},TK1为一阶配置 基线中第二配置项的名称,TVY1为TK1的预测值。SK1为二阶配置基线中第二配置项的名称,SVY1为配置项SK1的预测值。
事件是指第一系统环境及第二系统环境发生的影响业务系统正常运行的 系统故障信息。
本实施例提供的配置参数校准方法,在实施过程中需要使用预先构建的 配置参数模型,该配置参数模型的构建过程如图2所示,可以包括以下步骤:
101:获取第一系统环境的配置参数集合及第一系统环境的第一系统特征 集合,第一系统环境为生产环境,配置参数集合包括配置参数的历史取值, 第一系统特征集合包括系统特征的历史取值。
系统特征包括硬件资源、用户数量和交易量等,硬件资源包括中央处理 器(Central Processing Unit,CPU)核数、内存大小,用户数量用于指示同时 在使用一个业务系统的用户的数量,交易量用于指示单位时间内业务系统完 成的交易的数量,这些系统特征会导致第一系统环境和第二系统环境的配置 参数的不一致,因此本实施例采用这些系统特征,第二系统环境为测试环境。
在配置参数集合中可记录配置参数和配置参数的历史取值,如配置参数 集合中以{y1,y2,y3,y4,y5,y6,y7…}形式记录配置参数,每个配置参数的历 史取值为{y11,y12,…y1n};同样的在第一系统特征集合中记录有系统特征和系 统特征的历史取值,如第一系统特征集合以{x1,x2,x3…}形式记录系统特征, 每个系统特征的历史取值为{x11,x12,…x1n},n的取值本实施例不进行限定。
102:对配置参数集合中的配置参数进行标准化和消除多重共线性处理, 得到第一系统环境的一阶配置参数集合和第一系统环境的二阶配置参数集合。
其中对配置参数集合中的配置参数的标准化主要是针对配置参数集合中 的类型为字符型的配置参数,将字符型的配置参数的字符值转换为数值。在 本实施例中可设置字符值和数值的对应关系,根据字符值和数值的对应关系 完成字符值的转换。如表1所示,示出了对配置参数的标准化转换,标准化 转换可以是对配置参数的一个历史取值的标准化转换。
表1配置参数的标准化转换
配置参数名称 字符值 数值
y<sub>31</sub> aaa 1
y<sub>32</sub> bbb 2
y<sub>33</sub> ccc 3
在完成对配置参数集合中的配置参数的标准化处理后,需要进一步消除 配置参数之间的多重共线性,其中消除配置参数之间的多重共线性的方式可 以是:使用方差膨胀因子VIF对各配置参数进行多重共线性分析,筛选出有 关联关系的配置参数,以消除配置参数之间的多重共线性,具体步骤如下:
1)获得配置参数集合中每个配置参数与配置参数集合中其他配置参数的 线性回归模型;以配置参数集合中的配置参数y1为例,其线性回归模型是一 个表示其与其他配置参数的映射关系的计算公式,如配置参数y1的线性回归 模型可以是y1=c2y2+c3y3+…+cpyp+c0+ε,参照配置参数y1的线性回归模型, 得到其他配置参数的线性回归模型,这些配置参数的线性回归模型是一个配 置参数为因变量,其他配置参数为自变量,构建出通过自变量得到因变量的 计算公式。
2)根据每个配置参数的线性回归模型,得到每个配置参数的判决系数; 在线性回归模型中,判决系数是回归平方和与总离差平方和之比值,其数值 等于相关系数的平方,对于判决系数的计算过程本实施例不再阐述。
3)根据每个配置参数的判决系数,得到每个配置参数的方差膨胀因子; 例如每个配置参数的方差膨胀因子为
Figure BDA0003135652470000111
VIFi为配置参数集合中的第i 个配置参数,R为第i个配置参数的判决系数。
4)根据每个配置参数的方差膨胀因子和预设阈值,确定配置参数所属集 合,配置参数所属集合为第一系统环境的一阶配置参数集合或第一系统环境 的二阶配置参数集合;预设阈值的作用是对配置参数进行分类,该分类用于 将配置参数划分至一阶配置参数集合或二阶配置参数集合中。
如果配置参数的方差膨胀因子大于预设阈值,将该配置参数划分至二阶 配置参数集合,如果配置参数的方差膨胀因子小于或等于预设阈值,将该配 置参数划分至一阶配置参数集合。例如预设阈值为10,如果方差膨胀因子大 于10,将该配置参数划分至二阶配置参数集合,如果方差膨胀因子小于或等 于10,将该配置参数划分至一阶配置参数集合。例如基于预设阈值10,得到 一阶配置参数集合为{y1,y3,y4,y5,y7…},二阶配置参数集合为{y2,y6, y8…}。
103:利用一阶配置参数集合中配置参数的历史取值和第一系统特征集合 中系统特征的历史取值,得到一阶配置基线模型。一阶配置基线模型用于指 示配置参数与系统特征的可量化关系,其过程如下:
11)以第一系统特征集合中系统特征的历史取值为自变量,以一阶配置 参数集合中的配置参数为因变量,得到一阶配置参数集合中每个配置参数与 第一系统特征集合中各系统特征的模型系数及每个配置参数的置信区间。
以第一系统特征集合中系统特征的历史取值为自变量,以一阶配置参数 集合中的配置参数为因变量,建立线性回归模型,如
Figure BDA0003135652470000121
Figure DA00031356524752794477
Figure BDA0003135652470000123
其中y为配置参数,xi为第i个系统特征。利用线性回归模型得到模型 系数和配置区间,如表2所示:
表2一阶配置参数集合中的配置参数的模型系数和配置区间
配置参数名称 a<sub>1</sub> b<sub>1</sub> a<sub>2</sub> b<sub>2</sub> a<sub>p</sub> b<sub>p</sub> 置信区间
y<sub>1</sub> 0.02 1 0 0 0.03 1 99%
y<sub>3</sub> 0.001 1 0 0 0 0 75%
y<sub>4</sub> 0 0 0.5 1 0.03 0.5 95%
y<sub>5</sub> 0 0 0.05 1 0 1 60%
y<sub>7</sub> 0.025 1 0 1 0.019 1 55%
12)根据每个配置参数的置信区间,确定一阶配置参数集合中对测试结 果有影响的配置参数;根据每个配置参数的置信区间,可得到每个配置参数 的可信度的高低,对于可信度高的配置参数,确定为是对测试结果有影响的 配置参数。
例如,根据置信区间的取值,得知y3,y5,y7配置参数的可信度较低。经分 析,配置参数y3的取值对测试结果有影响,标记为强一致。配置参数y5,y7的 取值对测试结果无影响,将该配置参数剔除,从而确定配置参数y1,y3,y4是一 阶配置参数集合中对测试结果有影响的配置参数。
13)根据对测试结果有影响的配置参数的模型系数,得到一阶配置基线 模型,一阶配置基线模型中包含对测试结果有影响的配置参数与第一系统特 征集合中各系统特征的可量化关系。
根据上述模型系数,可得到一阶配置基线模型如下:
y1=0.02x1+0.03xp+0.3;
Figure BDA0003135652470000131
y3为强一致。
通过分析对测试结果有影响的配置参数的模型系数,可确定配置参数y3与系统特征没有强相关,因此在一阶配置基线模型中没有给出可量化关系, 配置参数y3代表一类参数例如版本信息,比如数据库版本,这类信息与系统 特征没有强相关,但是生产环境和测试环境要求必须一致。
104:利用一阶配置基线模型中各配置参数的历史取值和二阶配置参数集 合中各配置参数的历史取值,得到二阶配置基线模型。二阶配置基线模型用 于指示有关联关系的配置参数之间的可量化关系,其过程如下:
21)以一阶配置基线模型中各配置参数的历史取值为自变量,以二阶配 置参数集合中的配置参数为因变量,得到二阶配置参数集合中每个配置参数 与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置信区间。
如以一阶配置基线模型中各配置参数的历史取值为自变量,以二阶配置 参数集合中的配置参数为因变量,建立线性回归模型,利用线性回归模型得 到模型系数及置信区间。
例如,建立{y2,y6,y8}与{y1,y4}的线性回归模型
y2=c2y1+c3y4+c0+ε;
y6=c2y1+c3y4+c0+ε;
y8=c2y1+c3y4+c0+ε;
Figure BDA0003135652470000141
通过配置参数的历史取值,可得到各配置参数的模型系数及置信区间。 如表3所示。
表3二阶配置参数集合中的配置参数的模型系数和配置区间
配置项名称 c<sub>2</sub> c<sub>3</sub> c<sub>0</sub> 置信区间
y<sub>2</sub> 0 0.02 1.1 98%
y<sub>6</sub> 0.04 0.07 0 99%
y<sub>8</sub> 0.001 0.031 0.5 61%
22)根据二阶配置参数集合中每个配置参数的置信区间,确定二阶配置 参数集合中对测试结果有影响的配置参数。根据每个配置参数的置信区间, 可得到每个配置参数的可信度的高低,对于可信度高的配置参数,确定为是 对测试结果有影响的配置参数。例如上述配置参数y8的置信区间较小,说明 其可信度低,从而确定其对测试结果没有影响,其他配置参数y2和y6是对测 试结果有影响的配置参数。
23)根据二阶配置参数集合中对测试结果有影响的配置参数的模型系数, 得到二阶配置基线模型,二阶配置基线模型中包含二阶配置参数集合中对测 试结果有影响的配置参数与一阶配置基线模型中各配置参数的可量化关系。
根据二阶配置参数集合中对测试结果有影响的配置参数的模型系数,构 建其与一阶配置基线模型中各配置参数的可量化关系,例如根据上述表3所 示,得到配置参数y2和y6的二阶配置基线模型,如:
y2=0.02y4+1.1;
y6=0.04y1+0.07y4
在得到一阶配置基线模型和二阶配置基线模型后,还可以利用一阶配置 基线模型和二阶配置基线模型来得到第一系统环境的配置基线和第二系统环 境的配置基线,其过程如图3所示,在图2基础上还可以包括以下步骤:
105:利用一阶配置基线模型和二阶配置基线模型,对第一系统环境的配 置参数集合进行调整,得到第一系统环境的配置基线,第一系统环境的配置 基线中存储有第一配置项和第一配置项的基线值,第一配置项为对第一系统 环境进行校准时参照的配置参数,例如参照第一配置项的基线值,在对第一 系统环境的配置参数进行校准时可以是对第一系统环境的配置基线中的各第 一配置项确定出当前需要校准的配置参数,在确定过程中可参照第一配置项 的基线值。
利用一阶配置基线模型和二阶配置基线模型中的因变量,对第一系统环 境的配置参数集合进行筛选,从第一系统环境的配置参数集合中筛选出对测 试结果有影响的配置参数,如从第一系统环境的配置参数集合中筛选出作为 一阶配置基线模型和二阶配置基线模型中的因变量的配置参数,其中作为一 阶配置基线模型和二阶配置基线模型中的因变量的配置参数是对测试结果有 影响的配置参数,这些配置参数是需要校准的配置参数,得到第一系统环境 的配置参数的参数范围。第一系统环境的配置参数的取值可以从历史取值中 选取,选取的取值能够使待处理设备在生产环境下稳定运行业务系统。
例如,剔除配置参数y5及y7,得到第一系统环境的配置基线为 {{y1,y11},{y2,y21},{y3,aaa},{y4,y41},{y6,y61}…}。第一系统环境的配置基线包 括一阶配置基线和二阶配置基线,一阶配置基线包括作为一阶配置基线模型 的因变量的配置参数(即第一配置项)和这些配置参数的基线值(是从历史 取值中选取出的一个值),二阶配置基线包括作为二阶配置基线模型的因变量 的配置参数和这些配置参数的基线值。
106:获取第二系统环境的第二系统特征集合,第二系统环境为测试环境, 第二系统特征集合包括系统特征的历史取值。
第二系统特征集合中的系统特征包括硬件资源、用户数量和交易量等, 硬件资源包括中央处理器(Central Processing Unit,CPU)核数、内存大小, 用户数量用于指示同时在使用一个业务系统的用户的数量,交易量用于指示 单位时间内业务系统完成的交易的数量,这些系统特征的历史取值可以是实 时采集得到的。
107:利用第二系统特征集合中系统特征的历史取值、一阶配置基线模型 和二阶配置基线模型,得到第二系统环境的配置基线,第二系统环境的配置 基线中存储有第二配置项和第二配置项的基线值,第二配置项为对第二系统 环境进行校准时参照的配置参数。在对第二系统环境的配置参数进行校准时 可以是对第二系统环境的配置基线中的各第二配置项确定出当前需要校准的 配置参数,在确定过程中可参照第二配置项的基线值。
如将第二系统环境的系统特征{k1,k2,k3}的历史取值分别输入至一阶配 置基线模型,得到第二系统环境的一阶配置基线{{y1,z1},{y3,aaa},{y4,z4}…}, 将y1,y4的值输入二阶配置基线模型,得到第二系统环境的二阶配置基线 {{y2,z2},{y6,z6}…}。一阶配置基线和二阶配置基线的并集为第二系统环境的 配置基线{{{y1,z1},{y3,aaa},{y4,z4}…},{{y2,z2},{y6,z6}…}}。
下面介绍利用一阶配置基线模型和二阶配置基线模型,对配置参数进行 校准的过程,如图4所示,其示出了本申请实施例提供的一种配置参数校准 方法的流程图,可以包括以下步骤:
201:获取待处理设备的特征数据,特征数据是待处理设备处于目标环境 中时影响待处理设备的配置参数的取值的数值。如特征数据可以是实时采集 到的配置参数的取值,如实时采集到的配置参数的实际值;或者是在采集到 数据之后对数据进行处理得到的特征数据,例如是根据目标环境为第二系统 环境(测试环境)时的测试需求得到的特征数据,其中测试需求是采集到的 数据。
在本实施例中,获取待处理设备的特征数据的一种方式是:向待处理设 备的代理端发送数据获取指令,并接收代理端发送的数据;数据获取指令用 于指示代理端从待处理设备处采集数据,代理端可从处于同一组的待处理设 备中采集数据,从而能够批量地从同一组的待处理设备采集数据,如果特征 数据是实时采集到的配置参数的取值,则将从代理端接收到的配置参数的取 值作为特征数据;如果特征数据需要对代理端采集到的数据进行处理,则在 接收到代理端采集到的数据后对数据进行处理得到特征数据。在不同场景下对数据进行处理的过程不同,下面会结合场景进行说明。
202:根据待处理设备的特征数据和预设构建的配置基线模型,确定待处 理设备处于目标环境中时的待校准配置参数。
其中,预设构建的配置基线模型包括一阶配置基线模型和二阶配置基线 模型,一阶配置基线模型用于指示配置参数与系统特征的可量化关系,二阶 配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定待 校准配置参数时利用一阶配置基线模型和/或二阶配置基线模型。
在利用一阶配置基线模型和/或二阶配置基线模型确定待校准配置参数时, 除了能够确定出当前对待处理设备进行校准的配置参数之外,还能够确定出 配置参数的取值。在对待处理设备进行校准时还参照确定出的配置参数的取 值进行校准,如将配置参数的取值与其预测值进行比对,参照比对结果进行 校准,具体校准过程也会根据场景不同而不同,并且利用一阶配置基线模型 和二阶配置基线模型时也会根据场景不同而采用不同的配置基线模型。
203:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校 准配置参数进行校准。如向待处理设备的代理端发送校准指令,代理端向处 于同一组的待处理设备发送校准指令,以批量对处于同一组的待处理设备进 行配置参数的校准。
下面结合场景对本实施例提供的配置参数校准方法进行说明。如场景一: 针对测试前的环境准备的参数校准场景,根据第二系统环境的配置基线(如 第二系统环境的一阶配置基线和二阶配置基线),对第二系统环境的配置参数 进行校准,在校准过程中使用二阶配置基线模型,其过程如图5所示,可以 包括以下步骤:
301:针对第二系统环境的一阶配置基线中配置参数,获取第二系统环境 的相关配置参数的真实值,第二系统环境为测试环境。
如针对第二系统环境的一阶配置基线中的配置参数的参数范围,获取第 二系统环境的相关配置参数的真实值,例如根据第二系统环境的一阶配置基 线{{y1,z1},{y3,aaa},{y4,z4}…},得到参数范围{y1,y3,y4},参数范围指向了本实 施例要采集的配置参数,然后实时采集到这些配置参数的真实值,如采集到 {y1,y3,y4}在第二系统环境中的真实值{y1,m1},{y3,bbb},{y4,z4}。
302:将配置参数的真实值与将第二系统环境的一阶配置基线中配置参数 的基线值进行比对,得到一阶配置基线的差异项。
如第二系统环境的一阶配置基线{{y1,z1},{y3,aaa},{y4,z4}…},将配置参数 的真实值与对应的配置参数的基线值进行比对,得到真实值与基线值不同的 配置参数,真实值与基线值不同的配置参数为一阶配置基线的差异项,例如 差异项为{y1,y3}。
303:根据一阶配置基线的差异项和二阶配置基线模型,得到二阶配置基 线的差异项,一阶配置基线的差异项和二阶配置基线的差异项为待校准配置 参数,校准指令用于指示将第二系统环境的相关配置参数的取值修正为基线 值。
在得到二阶配置基线的差异项时,从二阶配置基线模型中查找使用一阶 配置基线的差异项,在二阶配置基线模型中使用一阶配置基线的差异项的配 置参数为二阶配置基线的差异项。如二阶配置基线模型为:
y2=0.02y4
y6=0.04y1+0.07y4
配置参数y6的二阶配置基线模型使用一阶配置基线的差异项y1,则配置 参数y6为二阶配置基线的差异项,至此得到待校准配置参数,即对那些配置 参数进行校准。
304:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校 准配置参数进行校准,具体的是校准指令用于指示将第二系统环境的相关配 置参数的取值修正为基线值,例如对于一阶配置基线的差异项{y1,y3}及二阶 配置基线的差异项y6,将这些配置参数在第二系统环境中的取值修改为基线值, 如修改为{y1,z1},{y3,aaa},{y6,z6}。
场景二:随着业务推广,业务系统进入快速成长期,用户数及交易量显 著增加,业务系统承受的压力逐渐增大。针对部分测试场景如性能测试场景 等,需要主动根据测试需求提前对第二系统环境的配置参数进行预校准,在 预校准过程中使用一阶配置基线模型和二阶配置基线模型,其过程如图6所 示,可以包括以下步骤:
401:根据第二系统环境的测试需求,得到第二系统环境的系统特征的预 测值,第二系统环境为测试环境。例如,为保障业务系统稳定运行,在测试 环境进行性能测试。根据测试场景得到系统特征的预测值,如用户数为s,交 易量为t。
在本实施例中,测试需求中会提供第二系统环境的系统特征的预测值, 如测试需求要测试1000用户并发下的联机交易的稳定性,这个1000就是用 户数这个系统特征在测试环境中的预测值。
402:将配置基线模型中作为因变量的配置参数确定为待校准配置参数, 并将第二系统环境的系统特征的预测值输入至配置基线模型,得到待校准配 置参数的预测值。
如将第二系统环境的系统特征的预测值分别输入至一阶配置基线模型和 二阶配置基线模型,得到第二系统环境的配置基线的预测值,配置基线中的 各配置参数为待校准配置参数,且配置基线中的各配置参数是配置基线模型 中作为因变量的配置参数,由此能够将配置基线模型中作为因变量的配置参 数作为待校准配置参数,然后利用第二系统环境的系统特征的预测值得到各 待校准配置参数的预测值。
例如:将用户数s和交易量t代入一阶配置基线模型和二阶配置基线模型, 得到第二系统环境的配置基线的预测值: {{{y1,zy1},{y3,aaa},{y4,zy4}},{{y2,zy2},{y6,zy6}}…}。
403:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校 准配置参数进行校准,具体的,校准指令用于指示将第二系统环境中的待校 准配置参数的取值修正为预测值。
例如,根据第二系统环境的配置基线的预测值,将第二系统环境的配置 参数y1的值改为zy1,y3的值改为aaa…以此类推对每个待校准配置参数的取值 进行校准。之所以这样修改是因为预测值是根据系统特征的预测值算出来的, 是与系统特征适应的,所以可以规避由配置参数配置错误导致的测试环境的 事故。
场景三:随着业务系统生命周期的变化,系统特征随之改变,生产环境 也存在主动提前调整配置参数的场景,以防范生产环境配置参数取值错误导 致的故障风险,实现基于系统特征的预测值对第一系统环境的配置参数进行 预校准,其过程如图7所示,可以包括以下步骤:
501:获取第一系统环境的历史特征数据,根据历史特征数据得到第一系 统环境的系统特征的预测值,第一系统环境为生产环境。其中根据历史特征 数据得到第一系统环境的系统特征的预测值的过程如下:
以时间为自变量,系统特征为因变量,建立线性回归模型,利用系统特 征的历史取值得到每个系统特征的预测模型的模型系数及置信区间。以系统 特征x1为例,t1为时间,
Figure BDA0003135652470000191
Figure BDA0003135652470000201
得到的模型系数如下表所示:
系统特征名称 f<sub>1</sub> d<sub>1</sub> c<sub>0</sub> 置信区间
x<sub>1</sub> 0.04 1.3 0.9 99%
相对应的利用模型系数得到的线性回归模型如下:
Figure BDA0003135652470000202
输入t1为2022年,得到x1的预测值为794。置信区间用于指示是否得到 系统特征的预测值,如果置信区间指示没有对生产环境有影响,则不再得到 置信区间对应的系统特征的预测值,否则根据系统特征的线性回归模型得到 其预测值。
502:将配置基线模型中作为因变量的配置参数确定为待校准配置参数, 并将第一系统环境的系统特征的预测值输入至配置基线模型,得到待校准配 置参数的预测值。
如将第一系统环境的系统特征的预测值分别输入至一阶配置基线模型和 二阶配置基线模型,得到第一系统环境的配置基线的预测值,配置基线中的 各配置参数为待校准配置参数,且配置基线中的各配置参数是配置基线模型 中作为因变量的配置参数,由此能够将配置基线模型中作为因变量的配置参 数作为待校准配置参数,然后利用第一系统环境的系统特征的预测值得到各 待校准配置参数的预测值。
例如:将用户数和交易量的预测值m和n输入至一阶配置基线模型和二 阶配置基线模型,得到第一系统环境的配置基线的预测值: {{y1,yy11},{y2,yy21},{y3,aaa},{y4,yy41},{y6,yy61}…}。
503:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校 准配置参数进行校准,具体的,校准指令用于指示将第一系统环境中的待校 准配置参数的取值修正为预测值。
在向待处理设备发送校准指令时,将第一系统环境的配置基线的预测值 与第一系统环境的配置基线中的基线值进行比对,以确定第一系统环境的配 置基线的预测值是否为加大系统处理能力。以第一系统环境的配置基线中的 任一配置参数为单位,如果该配置参数的预测值大于其基线值,确定为加大 系统处理能力,如果该配置参数的预测值小于或等于基线值,确定不会加大 系统处理能力。
如果确定第一系统环境的配置基线的预测值加大系统处理能力,向待处 理设备发送校准指令,校准指令用于指示将配置参数的取值修正为预测值; 如果确定第一系统环境的配置基线的预测值不会加大系统处理能力,禁止对 配置参数的取值进行修正。
例如:第一系统环境的配置基线的基线值为 {{y1,y11},{y2,y21},{y3,aaa},{y4,y41},{y6,y61}…},将配置参数y1的预测值yy11与基线值y11进行比较,发现预测值加大了系统处理能力,则将第一系统环境 的配置参数y1的值修改为预测值yy11。将配置参数y3的预测值aaa与基线值 aaa进行比较,发现预测值没有加大了系统处理能力,则禁止对配置参数y3的 取值进行修正。
上述配置参数校准方法,获取待处理设备的特征数据,特征数据是待处 理设备处于目标环境中时影响待处理设备的配置参数的取值的数值;根据待 处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标 环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令用于指 示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基线模型 包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配 置参数与系统特征的可量化关系,二阶配置基线模型用于指示有关联关系的 配置参数之间的可量化关系,在确定待校准配置参数时利用一阶配置基线模 型和/或二阶配置基线模型,实现利用预先构建的配置基线模型完成对待处理 设备的配置参数进行自动校准,并且预先配置的配置基线模型中的二阶配置 基线模型用于指示有关联关系的配置参数之间的可量化关系,能够利用二阶 配置基线模型得到有关联关系的各配置参数,在对关联关系的一个配置参数 进行校准时可同时对关联关系的另一个配置参数进行校准,提高校准的准确 度,从而降低生产故障的发生几率。
此外对于上述配置参数校准方法,本实施例还可以对配置基线模型进行 自学习优化,如获取第一系统环境和/第二系统环境的事件信息,从事件信息 中筛选出因配置参数的取值错误导致的事件信息,筛选出的事件信息对应的 取值错误的配置参数作为一个优化参数集合,得到优化参数集合的配置参数 相关的系统特征,根据优化参数集合和优化参数集合的配置参数相关的系统 特征,对配置基线模型进行自学习优化,如根据优化参数集合和优化参数集 合的配置参数相关的系统特征,执行步骤102至步骤107。
从事件信息中筛选出因配置参数的取值错误导致的事件信息可根据事件 信息中的事件原因进行筛选,事件原因记录了发生事件的故障因素,如硬件 故障导致还是因配置参数的取值错误导致,根据事件原因筛选出因配置参数 的取值错误导致的事件信息。如事件A,发现导致该事件的配置参数为B,如 数据库连接池大小,与数据库连接池大小相关的系统特征是用户数,用户数 越多,连接数越多,从而得到优化参数集合和优化参数集合的配置参数相关 的系统特征。
在对配置基线模型进行自学习优化时,还可以进一步删除故障时段下的 取值,减少优化的数据量。本实施例可对配置基线模型和配置基线进行持续 动态优化,提高精准度,从而提高校准的准确度。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动 作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的 限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次, 本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例, 所涉及的动作和模块并不一定是本申请所必须的。
与上述方法实施例相对应,本申请还提供一种配置参数校准装置,其可 选结构如图8所示,可以包括:服务端单元10、第一系统环境代理端单元20 和第二系统环境代理端单元30。
第一系统环境代理端单元20,用于采集待处理设备处于第一系统环境中 时配置参数的取值,并将采集到的数据发送给服务端单元10。
第二系统环境代理端单元30,用于采集待处理设备处于第二系统环境中 时配置参数的取值,并将采集到的数据发送给服务端单元10。
服务端单元10,用于执行上述配置参数校准方法,向第一系统环境代理 端单元20和第二系统环境代理端单元30中的一个发送校准指令,以利用第 一系统环境代理端单元20和第二系统环境代理端单元30根据校准指令对待 处理设备中的待校准配置参数进行校准。
图8所示配置参数校准装置中,服务端单元10可以包括控制器子单元、 分析器子单元和配置基线优化器子单元。控制器子单元,具备向多个第一系 统环境代理端单元和多个第二系统环境代理端单元同时自动化批量传送、部 署、执行脚本,这些脚本用于指示第一系统环境代理端单元和第二系统环境 代理端单元实时采集处于第一系统环境和第二系统环境中的任一设备的配置 参数和系统特征,控制器子单元还具备发送校准指令的功能,校准指令可以 对设备的配置参数进行调整或预调整。
分析器子单元,具备生成配置基线模型、第一系统环境的配置基线、第 一系统环境的配置基线的预测值、第二系统环境的配置基线、第二系统环境 的配置基线的预测值、将基线值与真实值进行比对、将基线值与预测值进行 比对等功能。配置基线优化器子单元,具备对配置基线模型进行自学习优化 的功能。
第一系统环境代理端单元和第二系统环境代理端单元中的每个代理端单 元包括:采集器子单元、调整器子单元和探测器子单元。采集器子单元可以 实时接收、部署及执行控制器子单元发送的采集脚本,发送采集结果如配置 参数及系统特征等数据至分析器子单元。调整器子单元可以实时接收控制器 子单元发送的校准指令并执行。探测器子单元实时监控设备的日志及状态, 当发现Error等事件时将相关信息发送给配置基线优化器子单元,使得配置基 线优化器子单元能够对配置基线模型进行自学习优化。
其中服务端单元10、第一系统环境代理端单元20和第二系统环境代理端 单元30中各子单元之间的工作流程如图9所示,具体过程如下:
配置基线模型、配置基线自动化形成流程如步骤601-602:
601、控制器子单元向第一系统环境代理端单元中的采集器子单元传送、 部署及执行采集脚本,采集脚本用于指示对配置参数及系统特征进行采集。
602、第一系统环境代理端单元中的采集器子单元执行完毕采集脚本后, 向分析器子单元自动发送配置参数及系统特征相关的数据。分析器子单元接 收数据后,自动生成一阶配置基线模型、二阶配置基线模型、第一系统环境 的配置基线和第二系统环境的配置基线。
配置基线模型自动化优化流程为步骤603-607:
603、第一系统环境代理端单元的探测器子单元探测到事件后,自动向配 置基线优化器子单元发送事件数据。
604、第一系统环境代理端单元的采集器子单元自动向配置基线优化器子 单元发送导致事件的配置参数及系统特征的相关数据(剔除故障时段)。
605、第二系统环境代理端单元的探测器子单元探测到事件后,自动向配 置基线优化器子单元发送事件数据。
606、第二系统环境代理端单元的采集器子单元自动向配置基线优化器子 单元发送导致事件的配置参数集及系统特征的相关数据(剔除故障时段)。
607、配置基线优化器子单元接收到导致事件的配置参数及系统特征的相 关数据后,自动触发配置基线模型优化流程,并将优化后的配置基线模型发 送至分析器子单元。
第二系统环境配置参数自动化校准流程为步骤608-611:
608:控制器子单元向第二系统环境代理端单元的采集器子单元自动传送、 部署及执行一阶配置基线中配置参数采集脚本。
609:第二系统环境代理端单元的采集器子单元执行完毕采集脚本后,向 分析器子单元自动发送第二系统环境中相关配置参数的真实值。
610:分析器子单元根据第二系统环境的配置基线(一阶配置基线和二阶 配置基线)以及接收到的第二系统环境的相关配置参数的真实值,得到一阶 配置基线的差异项和二阶配置基线的差异项,并自动发送给控制器子单元。
611、控制器子单元根据差异项,自动向第二系统环境代理端单元的调整 器子单元发送校准指令(如调整命令),将第二系统环境的配置参数自动修改 为对应的配置基线的基线值。
第二系统环境配置参数自动化预校准流程为步骤612-613:
612、分析器子单元根据第二系统环境测试需求及配置基线模型,自动得 到第二系统环境中配置基线的预测值,并自动发送给控制器子单元。
613、控制器子单元自动向第二系统环境的调整器子单元发送校准指令 (如预调整命令),将第二系统环境的配置参数自动修改为对应的预测值。
第一系统环境配置参数自动化预校准流程为步骤614-615:
614、分析器子单元根据第一系统环境系统的历史特征数据及配置基线模 型,得到第一系统环境的配置基线的预测值,并自动发送给控制器子单元。
615、针对加大系统处理能力的配置参数,控制器子单元自动向第一系统 环境的调整器子单元发送校准指令(如调整命令),将第一系统环境的配置参 数自动修改为对应的配置基线的预测值。
第一系统环境代理端单元和第二系统环境代理端单元批量传送、部署、 执行配置参数及系统特征的采集脚本流程如图10中的步骤701-703所示:
服务端单元的控制器子单元批量传送、部署及执行配置参数及系统特征 的采集脚本均采用集装箱方式,即将所有设备分组,一个组为一个集装箱, 一个集装箱中有n台设备。控制器子单元同时向一个集装箱内的所有设备传 送采集脚本,依次向不同的集装箱传送脚本,传送完毕后立即部署、执行, 直至所有设备执行完毕。
第二系统环境中配置参数批量比对流程如图11中的步骤801-803所示:
801:将第二系统环境中配置参数的真实值批量存入分析器子单元,包括 设备名称、配置参数名称以及相应参数值,并按照设备名称进行分组。
802:将第二系统环境的一阶配置基线中配置参数的基线值批量存入分析 器子单元,包括设备名称、配置参数名称以及相应参数值,并按照设备名称 进行分组。
803:分析器子单元将分组相同的设备的配置参数的参数值进行批量比对。 例如,将真实值分组一中的设备的参数与基线值分组一中的设备的参数进行 比对(参数名称相同才进行参数值比对),同时,真实值分组二中的设备的参 数与基线值分组二中的设备的参数进行比对,以此类推,实现批量比对,最 终生成第二系统环境中不一致配置参数的数据表。
第二系统环境配置参数批量校准流程如图12中的步骤901-902所示:
901:分析器子单元将第二系统环境中不一致配置参数的数据表批量发送 至控制器子单元。
902:根据第二系统环境中不一致配置参数的数据表,控制器子单元同时 向第二系统环境各设备批量发送调整命令,将第二系统环境配置参数的真实 值改为基线值。
第一或第二系统环境中配置参数批量预校准流程如步骤1001-1002所示:
1001:分析器子单元将第一或第二系统环境中配置参数的预测值批量发 送至控制器子单元。
1002:根据第一系统环境中配置参数的预测值,控制器子单元同时向第 一系统环境各设备批量发送调整命令,将第一系统环境中配置参数的真实值 改为预测值。根据第二系统环境中配置参数的预测值,控制器子单元同时向 第二系统环境各设备批量发送调整命令,将真实值改为预测值。
通过以上流程,根据得到的配置基线模型、配置基线和配置基线的预测 值,得出第一系统环境与第二系统环境配置参数的校准关系如表1所示(部 分配置参数举例),实现对第一系统环境和第二系统环境中配置参数的校准:
表1校准关系表
配置参数类型 参数名称 校准关系
操作系统 initdefault 强一致
操作系统 version 强一致
数据库 version 强一致
数据库 cursor_sharing 强一致
数据库 db_block_size 强一致
中间件 HealthCheckIntervalSeconds 强一致
中间件 server 强一致
操作系统 data 根据系统特征值按照配置模型缩放
操作系统 fsize 根据系统特征值按照配置模型缩放
操作系统 memlock 根据系统特征值按照配置模型缩放
数据库 max_connections 根据系统特征值按照配置模型缩放
数据库 table_open_cache 根据系统特征值按照配置模型缩放
数据库 table_open_cache_instances 根据系统特征值按照配置模型缩放
数据库 innodb_buffer_pool_size 根据系统特征值按照配置模型缩放
数据库 innodb_buffer_pool_instances 根据系统特征值按照配置模型缩放
中间件 threadpool.MinPoolSize 根据系统特征值按照配置模型缩放
中间件 threadpool.MaxPoolSize 根据系统特征值按照配置模型缩放
中间件 Xms 根据系统特征值按照配置模型缩放
中间件 Xmx 根据系统特征值按照配置模型缩放
本申请实施例还提供一种设备,设备包括:处理器和用于存储处理器可 执行指令的存储器;其中,处理器被配置为执行指令,以实现上述配置参数 校准方法。
本申请实施例还提供一种计算机可读存储介质,当计算机可读存储介质 中的指令由处理器执行时能够实现上述配置参数校准方法。
需要说明的是,本说明书中的各个实施例可以采用递进的方式描述、本 说明书中各实施例中记载的特征可以相互替换或者组合,每个实施例重点说 明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参 见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述 的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包 括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括 没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素, 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同 要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申 请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文 中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实 施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要 符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普 通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润 饰,这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种配置参数校准方法,其特征在于,所述方法包括:
获取待处理设备的特征数据,所述特征数据是所述待处理设备处于目标环境中时影响所述待处理设备的配置参数的取值的数值;
根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数;
向所述待处理设备发送校准指令,所述校准指令用于指示所述待处理设备对所述待校准配置参数进行校准;
其中,所述预设构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,所述一阶配置基线模型用于指示所述配置参数与系统特征的可量化关系,所述二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定所述待校准配置参数时利用所述一阶配置基线模型和/或二阶配置基线模型。
2.根据权利要求1所述的方法,其特征在于,所述配置基线模型的构建过程包括:
获取第一系统环境的配置参数集合及所述第一系统环境的第一系统特征集合,所述第一系统环境为生产环境,所述配置参数集合包括配置参数的历史取值,所述第一系统特征集合包括所述系统特征的历史取值;
对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一系统环境的一阶配置参数集合和所述第一系统环境的二阶配置参数集合;
利用所述一阶配置参数集合中配置参数的历史取值和所述第一系统特征集合中系统特征的历史取值,得到所述一阶配置基线模型;
利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
利用所述一阶配置基线模型和所述二阶配置基线模型,对所述第一系统环境的配置参数集合进行调整,得到所述第一系统环境的配置基线,所述第一系统环境的配置基线中存储有第一配置项和所述第一配置项的基线值,所述第一配置项为对第一系统环境进行校准时参照的配置参数;
获取第二系统环境的第二系统特征集合,所述第二系统环境为测试环境,所述第二系统特征集合包括系统特征的历史取值;
利用所述第二系统特征集合中系统特征的历史取值、所述一阶配置基线模型和所述二阶配置基线模型,得到所述第二系统环境的配置基线,所述第二系统环境的配置基线中存储有第二配置项和所述第二配置项的基线值,所述第二配置项为对第二系统环境进行校准时参照的配置参数。
4.根据权利要求2所述的方法,其特征在于,所述对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一系统环境的一阶配置参数集合和所述第一系统环境的二阶配置参数集合包括:
将所述配置参数集合中类型为字符型的配置参数的字符值转换为数值;
获得所述配置参数集合中每个配置参数与所述配置参数集合中其他配置参数的线性回归模型;
根据所述每个配置参数的线性回归模型,得到所述每个配置参数的判决系数;
根据所述每个配置参数的判决系数,得到每个配置参数的方差膨胀因子;
根据所述每个配置参数的方差膨胀因子和预设阈值,确定所述配置参数所属集合,所述配置参数所属集合为所述第一系统环境的一阶配置参数集合或所述第一系统环境的二阶配置参数集合。
5.根据权利要求2所述的方法,其特征在于,所述利用所述一阶配置参数集合中配置参数的历史取值和所述第一系统特征集合中系统特征的历史取值,得到所述一阶配置基线模型包括:
以所述第一系统特征集合中系统特征的历史取值为自变量,以所述一阶配置参数集合中的配置参数为因变量,得到所述一阶配置参数集合中每个配置参数与第一系统特征集合中各系统特征的模型系数及每个配置参数的置信区间;
根据所述每个配置参数的置信区间,确定所述一阶配置参数集合中对测试结果有影响的配置参数;
根据所述对测试结果有影响的配置参数的模型系数,得到所述一阶配置基线模型,所述一阶配置基线模型中包含所述对测试结果有影响的配置参数与第一系统特征集合中各系统特征的可量化关系;
所述利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型包括:
以所述一阶配置基线模型中各配置参数的历史取值为自变量,以所述二阶配置参数集合中的配置参数为因变量,得到所述二阶配置参数集合中每个配置参数与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置信区间;
根据所述二阶配置参数集合中每个配置参数的置信区间,确定所述二阶配置参数集合中对测试结果有影响的配置参数;
根据所述二阶配置参数集合中对测试结果有影响的配置参数的模型系数,得到所述二阶配置基线模型,所述二阶配置基线模型中包含所述二阶配置参数集合中对测试结果有影响的配置参数与一阶配置基线模型中各配置参数的可量化关系。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:针对第二系统环境的一阶配置基线中配置参数,获取所述第二系统环境的相关配置参数的真实值,所述第二系统环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置参数的真实值与所述将第二系统环境的一阶配置基线中配置参数的基线值进行比对,得到所述一阶配置基线的差异项;
根据所述一阶配置基线的差异项和所述二阶配置基线模型,得到二阶配置基线的差异项,所述一阶配置基线的差异项和所述二阶配置基线的差异项为所述待校准配置参数,所述校准指令用于指示将所述第二系统环境的相关配置参数的取值修正为基线值。
7.根据权利要求1至5中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:根据第二系统环境的测试需求,得到所述第二系统环境的系统特征的预测值,所述第二系统环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第二系统环境的系统特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第二系统环境中的待校准配置参数的取值修正为所述预测值。
8.根据权利要求1至5中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:获取第一系统环境的历史特征数据,根据历史特征数据得到所述第一系统环境的系统特征的预测值,所述第一系统环境为生产环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第一系统环境的系统特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第一系统环境中的待校准配置参数的取值修正为所述预测值。
9.根据权利要求1至5中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:
向所述待处理设备的代理端发送数据获取指令,并接收所述代理端发送的数据;所述数据获取指令用于指示所述代理端从所述待处理设备处采集数据,所述代理端可从处于同一组的待处理设备中采集数据;
所述向所述待处理设备发送校准指令包括:向所述待处理设备的代理端发送所述校准指令,所述代理端向处于同一组的待处理设备发送所述校准指令。
10.根据权利要求1至5中任意一项所述的方法,其特征在于,所述方法还包括:
获取第一系统环境和/第二系统环境的事件信息,并从事件信息中筛选出因配置参数的取值错误导致的事件信息;
将筛选出的事件信息对应的取值错误的配置参数作为一个优化参数集合,得到优化参数集合的配置参数相关的系统特征,根据优化参数集合和优化参数集合的配置参数相关的系统特征,对所述配置基线模型进行自学习优化。
11.一种配置参数校准装置,其特征在于,所述装置包括:服务端单元、第一系统环境代理端单元和第二系统环境代理端单元;
所述第一系统环境代理端单元,用于采集待处理设备处于第一系统环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述第二系统环境代理端单元,用于采集待处理设备处于第二系统环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述服务端单元,用于执行如权利要求1至10中任意一项所述的配置参数校准方法,向所述第一系统环境代理端单元和所述第二系统环境代理端单元中的一个发送校准指令,以利用所述第一系统环境代理端单元和所述第二系统环境代理端单元根据所述校准指令对待处理设备中的待校准配置参数进行校准。
12.一种设备,其特征在于,所述设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至10中任一项所述的配置参数校准方法。
13.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由处理器执行时能够实现如权利要求1至10中任一项所述的配置参数校准方法。
CN202110717859.4A 2021-06-28 2021-06-28 一种配置参数校准方法及装置 Active CN113452562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110717859.4A CN113452562B (zh) 2021-06-28 2021-06-28 一种配置参数校准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717859.4A CN113452562B (zh) 2021-06-28 2021-06-28 一种配置参数校准方法及装置

Publications (2)

Publication Number Publication Date
CN113452562A true CN113452562A (zh) 2021-09-28
CN113452562B CN113452562B (zh) 2022-07-12

Family

ID=77813183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717859.4A Active CN113452562B (zh) 2021-06-28 2021-06-28 一种配置参数校准方法及装置

Country Status (1)

Country Link
CN (1) CN113452562B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026204A (zh) * 2010-07-22 2013-04-03 克拉-坦科股份有限公司 用于自动确定最优参数化的散射测量模型的方法
US20180075482A1 (en) * 2016-09-12 2018-03-15 Karl Gierach Non-converting publisher attribution weighting and analytics server and method
WO2018098670A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 一种进行数据处理的方法和装置
CN110825420A (zh) * 2019-11-26 2020-02-21 中国银行股份有限公司 分布式集群的配置参数更新方法、装置、设备及存储介质
CN111917568A (zh) * 2020-05-19 2020-11-10 宁波大学 一种移动互联网网元设备误配置检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026204A (zh) * 2010-07-22 2013-04-03 克拉-坦科股份有限公司 用于自动确定最优参数化的散射测量模型的方法
US20180075482A1 (en) * 2016-09-12 2018-03-15 Karl Gierach Non-converting publisher attribution weighting and analytics server and method
WO2018098670A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 一种进行数据处理的方法和装置
CN110825420A (zh) * 2019-11-26 2020-02-21 中国银行股份有限公司 分布式集群的配置参数更新方法、装置、设备及存储介质
CN111917568A (zh) * 2020-05-19 2020-11-10 宁波大学 一种移动互联网网元设备误配置检测方法

Also Published As

Publication number Publication date
CN113452562B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US11354219B2 (en) Machine defect prediction based on a signature
US20190197174A1 (en) Method and system for replicating data to heterogeneous database and detecting synchronization error of heterogeneous database through sql packet analysis
CN110362473B (zh) 测试环境的优化方法及装置、存储介质、终端
US20070219741A1 (en) Methods and apparatus for hybrid outlier detection
Sandhu et al. A model for early prediction of faults in software systems
JP5907649B2 (ja) データ解析のための方法および装置
KR101998972B1 (ko) 변수 구간별 불량 발생 지수를 도출하여 공정 불량 원인을 파악하고 시각화하는 방법
CN115204536A (zh) 楼宇设备故障预测方法、装置、设备及存储介质
CN112153378A (zh) 一种视频审核能力的测试方法及其系统
US11677613B2 (en) Root-cause analysis and automated remediation for Wi-Fi authentication failures
CN113452562B (zh) 一种配置参数校准方法及装置
Kaur et al. Early software fault prediction using real time defect data
CN111709484A (zh) 新能源场站并网验收方法、装置、计算机设备和存储介质
CN115952098A (zh) 一种性能测试调优方案推荐方法及系统
CN116187754A (zh) 生产线故障定位方法、设备及可读存储介质
CN111209180A (zh) 一种基于模糊匹配的回归测试方法和装置
CN115859065A (zh) 模型评测方法、装置、设备及存储介质
KR101039874B1 (ko) 정보통신 통합플랫폼 테스트 시스템
CN114138659A (zh) 一种测试案例处理方法及系统
CN116028883A (zh) 分析发动机测试故障的方法、分析系统及计算机存储介质
CN107506824B (zh) 一种配电网的不良观测数据检测方法及装置
CN113434408B (zh) 一种基于测试预言的单元测试用例排序方法
CN109815134A (zh) 结合数据库自动分析软件测试结果的方法、装置和系统
CN113570333B (zh) 一种适用于集成的流程设计方法
CN111639024B (zh) 基于特征频度数据挖掘的软件质量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant