CN110825629A - 参数调优方法及相关装置 - Google Patents
参数调优方法及相关装置 Download PDFInfo
- Publication number
- CN110825629A CN110825629A CN201911050906.3A CN201911050906A CN110825629A CN 110825629 A CN110825629 A CN 110825629A CN 201911050906 A CN201911050906 A CN 201911050906A CN 110825629 A CN110825629 A CN 110825629A
- Authority
- CN
- China
- Prior art keywords
- parameter set
- software component
- target software
- initial
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000010801 machine learning Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种参数调优方法及相关装置，方法包括：获取目标软件组件的初始参数集合；根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数集合；根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合，其中，目标软件组件根据最终参数集合运行时的性能优于根据初始参数集合运行时的性能。采用本申请实施例有助于实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
Description
技术领域
本申请涉及软件技术领域，具体涉及一种参数调优方法及相关装置。
背景技术
目前，通过自动机器学习(Automated Machine Learning，AutoML)仅能够对模型进行训练，得到训练好的模型，无法对软件组件的参数集合进行调优。通常采用人工方式对软件组件的参数集合进行调优，这种方式导致无法得到该软件组件的最优参数集合。
发明内容
本申请实施例提供一种参数调优方法及相关装置，用于实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
第一方面，本申请实施例提供一种参数调优方法，包括：
获取目标软件组件的初始参数集合；
根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
第二方面，本申请实施例提供一种参数调优装置，包括：
获取单元，用于获取目标软件组件的初始参数集合；
封装单元，用于根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
训练单元，用于根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面的方法中的部分或全部步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，上述计算机可读存储介质用于存储计算机程序，上述计算机程序被处理器执行，以实现如本申请实施例第一方面的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，相较于采用人工方式对软件组件的参数集合进行调优，在本申请实施例中，参数调优装置根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数，以及根据中间参数进行机器学习，得到目标软件组件的最终参数集合，目标软件组件根据最终参数集合运行时的性能优于根据初始参数集合运行时的性能，这样能够实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1A是本申请实施例提供的一种参数调优方法的流程示意图；
图1B是本申请实施例提供的一种根据初始参数集合控制目标软件组件运行的示意图；
图1C是本申请实施例提供的一种根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合的示意图；
图1D是本申请实施例提供的另一种根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合的示意图；
图2是本申请实施例提供的另一种参数调优方法的流程示意图；
图3是本申请实施例提供的一种参数调优装置的功能单元组成框图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实现方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面对本申请实施例进行详细介绍。
请参见图1A，图1A是本申请实施例提供的一种参数调优方法的流程示意图，该参数调优方法包括步骤101-103，具体如下：
101：参数调优装置获取目标软件组件的初始参数集合。
软件组件包括存储组件、网络组件等，存储组件包括关系型数据库管理系统(mySQL)、远程字典服务系统(Redis)等，网络组件包括汤姆猫(Apache Tomcat)、Nginx等。
在一些可能的实施例中，参数调优装置获取目标软件组件的初始参数集合，包括：
参数调优装置获取目标软件组件的多个目标配置项；
参数调优装置根据预先存储的软件组件、配置项与软件组件参数的映射关系，确定所述多个目标配置项中的每个目标配置项对应的至少一个目标软件组件参数；
参数调优装置将所述多个目标配置项对应的所有目标软件组件参数确定为所述目标软件组件的初始参数集合。
参数调优装置可以根据预先存储的软件组件与配置项的映射关系确定目标软件组件对应的多个目标配置项。
软件组件与配置项的映射关系预先存储于参数调优装置中，软件组件与配置项的映射关系如下表1所示：
表1
| 软件组件 | 配置项 |
| 第一软件组件 | 配置项11、配置项12、… |
| 第二软件组件 | 配置项21、配置项22、… |
| 第三软件组件 | 配置项31、配置项32、… |
| …… | …… |
软件组件、配置项与软件组件参数的映射关系预先存储于参数调优装置中，软件组件、配置项与软件组件参数的映射关系如下表2所示：
表2
在一些可能的实施例中，参数调优装置获取目标软件组件的初始参数集合，包括：
参数调优装置运行参数生成函数获取目标软件组件的多个目标软件组件特征，参数生成函数预先存储于参数调优装置中；
参数调优装置根据预先存储的软件组件、软件组件特征与软件组件参数的映射关系，确定多个目标软件组件特征中的每个目标软件组件特征对应的目标软件组件参数；
参数调优装置将多个目标软件组件特征对应的所有目标软件组件参数确定为目标软件组件的初始参数集合。
参数调优装置首先运行参数生成函数获取软件组件与软件组件特征的映射关系，然后根据软件组件与软件组件特征的映射关系确定目标软件组件对应的多个目标软件组件特征。
软件组件与软件组件特征的映射关系预先存储于参数调优装置中，软件组件与软件组件特征的映射关系如下表3所示：
表3
软件组件、软件组件特征与软件组件参数的映射关系预先存储于参数调优装置中，软件组件、软件组件特征与软件组件参数的映射关系如下表4所示：
表4
102：参数调优装置根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合。
参数调优装置根据初始参数集合控制目标软件组件运行包括激活、测试和输出，激活、测试和输出的顺序可以为：激活→测试→输出，以上仅为对激活、测试和输出的顺序的示例性说明，不应理解为对激活、测试和输出的顺序的限定。
如果参数调优装置没有根据初始参数集合控制目标软件运行，那么无法通过机器学习对软件组件的参数集合进行调优，导致无法得到该软件组件的最优参数集合；如果参数调优装置根据初始参数集合控制目标软件组件运行，那么可以通过机器学习对软件组件的参数集合进行调优，进而得到该软件组件的最优参数集合。
在一些可能的实施例中，参数调优装置根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合，包括：
参数调优装置对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
参数调优装置获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到预测结果和真实结果；
参数调优装置对所述激活后的所述初始参数集合、所述预测结果和所述真实结果进行输出，得到所述目标软件组件的中间参数集合。
参数调优装置可以通过软件组件重启方式对初始参数集合进行激活，得到激活后的初始参数集合；或者，参数调优装置可以通过软件组件重载方式对初始参数集合进行激活，得到激活后的初始参数集合；以上仅为示例性说明，不应理解为对“参数调优装置对初始参数集合进行激活，得到激活后的初始参数集合”的限定。
参数调优装置根据预先存储的软件组件与测试用例的映射关系确定目标软件组件对应的目标测试用例；其中，软件组件与测试用例的映射关系预先存储于参数调优装置中，软件组件与测试用例的映射关系如下表5所示：
表5
| 软件组件 | 测试用例 |
| 第一软件组件 | 第一测试用例 |
| 第二软件组件 | 第二测试用例 |
| 第三软件组件 | 第三测试用例 |
| …… | …… |
如果目标软件组件为存储组件，那么预测结果和真实结果均为读写效率；如果目标软件组件为网络组件，那么预测结果和真实结果均为网络并发量。
举例来说，如图1B所示，图1B是本申请实施例提供的一种根据初始参数集合控制目标软件组件运行的示意图，参数调优装置首先对参数集合1进行激活，得到参数集合2，然后获取对参数集合2进行测试所需的测试用例1，以及根据测试用例1对参数集合2进行测试，得到预测结果1和真实结果1，最后对参数集合2、预测结果1和真实结果1进行输出，得到参数集合3。
103：参数调优装置根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
可以看出，相较于采用人工方式对软件组件的参数集合进行调优，在本申请实施例中，参数调优装置根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数，以及根据中间参数进行机器学习，得到目标软件组件的最终参数集合，目标软件组件根据最终参数集合运行时的性能优于根据初始参数集合运行时的性能，这样能够实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
在一些可能的实施例中，参数调优装置根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，包括：
参数调优装置将所述激活后的所述初始参数集合、所述预测结果和所述真实结果输入调优网络；
参数调优装置根据所述预测结果、所述真实结果和所述调优网络的损失函数确定初始损失值；
参数调优装置根据所述初始损失值对所述激活后的所述初始参数集合进行更新，得到第一初始参数集合；
参数调优装置根据所述第一初始参数集合和所述损失函数确定最终损失值，所述最终损失值小于预设损失值；
参数调优装置将所述最终损失值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
Z＝L(Y，f(x))，Z为初始损失值，L(Y，f(x))为损失函数，Y为真实结果，f(x)为预测结果。以上仅为示例性说明，不应理解为对“参数调优装置根据预测结果、真实结果和调优网络中预先存储的损失函数确定初始损失值”的限定。
参数调优装置使用预先存储的梯度下降算法根据初始损失值对激活后的初始参数集合进行更新，得到第一初始参数集合；其中，梯度下降算法预先存储于参数调优装置中。
预设损失值可以是参数调优装置配置的。
在一些可能的实施例中，参数调优装置根据所述第一初始参数集合和所述损失函数确定最终损失值，包括：
参数调优装置根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、第一预测结果和第一真实结果；
参数调优装置将所述第一初始参数集合、所述第一预测结果和所述第一真实结果输入所述调优网络；
参数调优装置根据所述第一预测结果、所述第一真实结果和所述损失函数确定中间损失值；
若所述中间损失值大于等于预设损失值，则参数调优装置根据所述中间损失值对所述激活后的所述第一初始参数集合进行更新，得到第二初始参数集合，使用所述第二初始参数集合代替所述第一初始参数集合。
参数调优装置根据第一初始参数集合控制目标软件组件运行，得到目标软件组件的第一中间参数集合参见上述参数调优装置根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数集合。
参数调优装置根据第一预测结果、第一真实结果和损失函数确定中间损失值参见上述参数调优装置根据预测结果、真实结果和损失函数确定初始损失值。
参数调优装置根据中间损失值对激活后的第一初始参数集合进行更新，得到第二初始参数集合参见上述参数调优装置根据初始损失值对激活后的初始参数集合进行更新，得到第一初始参数集合。
预先存储的多个测试用例与预先存储的多个损失函数一一对应。
举例来说，参见图1C，图1C是本申请实施例提供的一种根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合的示意图，中间参数集合包括初始参数集合、预测结果和真实结果，参数调优装置根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合包括步骤A1-A8，具体如下：
A1：参数调优装置将初始参数集合、预测结果和真实结果输入调优网络；
A2：参数调优装置根据预测结果、真实结果和调优网络的损失函数确定损失值；
A3：参数调优装置根据损失值对初始参数集合进行更新，得到最新的初始参数集合；
A4：参数调优装置根据最新的初始参数集合控制目标软件组件运行，得到目标软件组件的最新的中间参数集合，最新的中间参数集合包括最新的初始参数集合、最新的预测结果和最新的真实结果；
A5：参数调优装置将最新的初始参数集合、最新的预测结果和最新的真实结果输入调优网络；
A6：参数调优装置根据最新的预测结果、最新的真实结果和损失函数确定最新的损失值；
A7：参数调优装置判断最新的损失值是否小于预设损失值；
若是，则执行步骤A8。
若否，则执行步骤A3。
A8：输出最新的初始参数集合，以及将最新的初始参数集合确定为目标软件组件的最终参数集合。
在一些可能的实施例中，参数调优装置根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合，包括：
参数调优装置对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
参数调优装置获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到目标初始参数集合、第一性能值、第二性能值和第一参数调整信息；
参数调优装置对所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息进行输出，得到所述目标软件组件的中间参数集合。
参数调优装置根据激活后的初始参数集合控制目标软件组件按照目标测试用例进行初次运行，得到第一性能值，根据第一参数调整信息对激活后的初始参数集合进行更新，得到目标初始参数集合，对目标初始参数集合进行激活，得到激活后的目标初始参数集合，根据激活后的目标初始参数集合控制目标软件组件按照目标测试用例进行再次运行，得到第二性能值。
如果目标软件组件为存储组件，那么第一性能值和第二性能值均为读写效率；如果目标软件组件为网络组件，那么第一性能值和第二性能值均为网络并发量。
第一参数调整信息预先存储于参数调优装置中，第一参数调整信息包括多个第一参数调整方向和多个第一参数调整大小，多个第一参数调整大小与多个第一参数调整方向一一对应。
在一些可能的实施例中，参数调优装置根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，包括：
参数调优装置将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值；
参数调优装置将所述目标性能值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
预设性能值预先存储于调优网络中。
在一些可能的实施例中，参数调优装置将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值，包括：
参数调优装置将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络；
参数调优装置根据所述第一性能值、所述第二性能值和所述第一参数调整信息确定第二参数调整信息，输出所述第二参数调整信息；
参数调优装置根据所述第二参数调整信息对所述目标初始参数集合进行更新，得到第一初始参数集合；
参数调优装置根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息；
参数调优装置将所述激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息输入所述调优网络；
若所述中间性能值小于所述调优网络的预设性能值，则参数调优装置使用所述第二性能值代替所述第一性能值，使用所述中间性能值代替所述第二性能值，使用所述第二参数调整信息代替所述第一参数调整信息。
如果第一性能值小于第二性能值，那么第二参数调整信息包括的多个第二参数调整方向与多个第一参数调整方向均相同，且多个第二参数调整大小与多个第一参数调整大小均相同；如果第一性能值大于第二性能值，那么第二参数调整信息包括的多个第二参数调整方向与多个第一参数调整方向均相反，且多个第二参数调整大小与多个第一参数调整大小均相同；其中，多个第二参数调整方向与多个第一参数调整方向一一对应，多个第二参数调整大小与多个第一参数调整大小一一对应。
举例来说，参见图1D，图1D是本申请实施例提供的另一种根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合的示意图，中间参数集合包括目标初始参数集合、第一性能值、第二性能值和第一参数调整信息，参数调优装置根据中间参数集合进行机器学习，得到目标软件组件的最终参数集合包括步骤B1-B7，具体如下：
B1：参数调优装置将目标初始参数集合、第一性能值、第二性能值和第一参数调整信息输入调优网络；
B2：参数调优装置根据第一性能值、第二性能值和第一参数调整信息确定第二参数调整信息，输出第二参数调整信息；
B3：参数调优装置根据第二参数调整信息对目标初始参数集合进行更新，得到最新的初始参数集合；
B4：参数调优装置根据最新的初始参数集合控制目标软件组件运行，得到目标软件组件的最新的中间参数集合，最新的中间参数集合包括最新的初始参数集合、最新的第一性能值、最新的第二性能值和最新的参数调整信息；
B5：参数调优装置将最新的初始参数集合、最新的第一性能值、最新的第二性能值和最新的参数调整信息输入调优网络；
B6：参数调优装置判断最新的第二性能值是否大于等于调优网路的预设性能值；
若是，则执行步骤B7。
若否，则执行步骤B2。
B7：参数调优装置将目标性能值对应的初始参数集合确定为目标软件组件的最终参数集合，目标性能值大于等于预设性能值。
与上述图1A所述的实施例一致的，请参见图2，图2是本申请实施例提供的一种参数调优方法的流程示意图，该参数调优方法包括步骤201-210，具体如下：
201：参数调优装置获取目标软件组件的初始参数集合。
202：参数调优装置对所述初始参数集合进行激活，得到激活后的所述初始参数集合。
203：参数调优装置获取目标测试用例。
204：参数调优装置根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到预测结果和真实结果。
205：参数调优装置对所述激活后的所述初始参数集合、所述预测结果和所述真实结果进行输出，得到所述目标软件组件的中间参数集合。
206：参数调优装置将所述激活后的所述初始参数集合、所述预测结果和所述真实结果输入调优网络。
207：参数调优装置根据所述预测结果、所述真实结果和所述调优网络的损失函数确定初始损失值。
208：参数调优装置根据所述初始损失值对所述激活后的所述初始参数集合进行更新，得到第一初始参数集合。
209：参数调优装置根据所述第一初始参数集合和所述损失函数确定最终损失值，所述最终损失值小于预设损失值。
210：参数调优装置将所述最终损失值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
需要说明的是，图2所示的方法的各个步骤的具体实现过程可参见上述方法的具体实现过程，在此不再叙述。
请参见图3，图3是本申请实施例提供的一种参数调优装置的功能单元组成框图，该参数调优装置300包括：
获取单元301，用于获取目标软件组件的初始参数集合；
封装单元302，用于根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
训练单元303，用于根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
可以看出，相较于采用人工方式对软件组件的参数集合进行调优，在本申请实施例中，参数调优装置根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数，以及根据中间参数进行机器学习，得到目标软件组件的最终参数集合，目标软件组件根据最终参数集合运行时的性能优于根据初始参数集合运行时的性能，这样能够实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
在一些可能的实施例中，在获取目标软件组件的初始参数集合方面，上述获取单元301具体用于：
获取目标软件组件的多个目标配置项；
根据预先存储的软件组件、配置项与软件组件参数的映射关系，确定所述多个目标配置项中的每个目标配置项对应的至少一个目标软件组件参数；
将所述多个目标配置项对应的所有目标软件组件参数确定为所述目标软件组件的初始参数集合。
在一些可能实施例中，在根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合方面，上述封装单元302具体用于：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到预测结果和真实结果；
对所述激活后的所述初始参数集合、所述预测结果和所述真实结果进行输出，得到所述目标软件组件的中间参数集合。
在一些可能的实施例中，在根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合方面，上述训练单元303具体用于：
将所述激活后的所述初始参数集合、所述预测结果和所述真实结果输入调优网络；
根据所述预测结果、所述真实结果和所述调优网络的损失函数确定初始损失值；
根据所述初始损失值对所述激活后的所述初始参数集合进行更新，得到第一初始参数集合；
根据所述第一初始参数集合和所述损失函数确定最终损失值，所述最终损失值小于预设损失值；
将所述最终损失值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
在一些可能的实施例中，在根据所述第一初始参数集合和所述损失函数确定最终损失值方面，上述训练单元303具体用于：
根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、第一预测结果和第一真实结果；
将所述第一初始参数集合、所述第一预测结果和所述第一真实结果输入所述调优网络；
根据所述第一预测结果、所述第一真实结果和所述损失函数确定中间损失值；
若所述中间损失值大于等于预设损失值，则根据所述中间损失值对所述激活后的所述第一初始参数集合进行更新，得到第二初始参数集合，使用所述第二初始参数集合代替所述第一初始参数集合。
在一些可能的实施例中，预先存储的多个软件组件与预先存储的多个测试用例一一对应，所述多个测试用例与预先存储的多个损失函数一一对应。
在一些可能的实施例中，在根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合方面，上述封装单元302具体用于：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到目标初始参数集合、第一性能值、第二性能值和第一参数调整信息；
对所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息进行输出，得到所述目标软件组件的中间参数集合。
在一些可能的实施例中，在根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合方面，上述训练单元303具体用于：
将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值；
将所述目标性能值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
在一些可能的实施例中，在将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值方面，上述训练单元303具体用于：
将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络；
根据所述第一性能值、所述第二性能值和所述第一参数调整信息确定第二参数调整信息，输出所述第二参数调整信息；
根据所述第二参数调整信息对所述目标初始参数集合进行更新，得到第一初始参数集合；
根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息；
将所述激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息输入所述调优网络；
若所述中间性能值小于所述调优网络的预设性能值，则使用所述第二性能值代替所述第一性能值，使用所述中间性能值代替所述第二性能值，使用所述第二参数调整信息代替所述第一参数调整信息。
与上述图1A和图2所示的实施例一致的，请参见图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备400包括处理器、存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取目标软件组件的初始参数集合；
根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
可以看出，相较于采用人工方式对软件组件的参数集合进行调优，在本申请实施例中，电子设备根据初始参数集合控制目标软件组件运行，得到目标软件组件的中间参数，以及根据中间参数进行机器学习，得到目标软件组件的最终参数集合，目标软件组件根据最终参数集合运行时的性能优于根据初始参数集合运行时的性能，这样能够实现通过机器学习对软件组件的参数集合进行调优，得到该软件组件的最优参数集合。
在一些可能实施例中，在获取目标软件组件的初始参数集合方面，上述程序包括具体用于执行以下步骤的指令：
获取目标软件组件的多个目标配置项；
根据预先存储的软件组件、配置项与软件组件参数的映射关系，确定所述多个目标配置项中的每个目标配置项对应的至少一个目标软件组件参数；
将所述多个目标配置项对应的所有目标软件组件参数确定为所述目标软件组件初始参数集合。
在一些可能的实施例中，在根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合方面，上述程序包括具体用于执行以下步骤的指令：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到预测结果和真实结果；
对所述激活后的所述初始参数集合、所述预测结果和所述真实结果进行输出，得到所述目标软件组件的中间参数集合。
在一些可能的实施例中，在根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合方面，上述程序包括具体用于执行以下步骤的指令：
将所述激活后的所述初始参数集合、所述预测结果和所述真实结果输入调优网络；
根据所述预测结果、所述真实结果和所述调优网络的损失函数确定初始损失值；
根据所述初始损失值对所述激活后的所述初始参数集合进行更新，得到第一初始参数集合；
根据所述第一初始参数集合和所述损失函数确定最终损失值，所述最终损失值小于预设损失值；
将所述最终损失值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
在一些可能的实施例中，在根据所述第一初始参数集合和所述损失函数确定最终损失值方面，上述程序包括具体用于执行以下步骤的指令：
根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、第一预测结果和第一真实结果；
将所述第一初始参数集合、所述第一预测结果和所述第一真实结果输入所述调优网络；
根据所述第一预测结果、所述第一真实结果和所述损失函数确定中间损失值；
若所述中间损失值大于等于预设损失值，则根据所述中间损失值对所述激活后的所述第一初始参数集合进行更新，得到第二初始参数集合，使用所述第二初始参数集合代替所述第一初始参数集合。
在一些可能的实施例中，预先存储的多个软件组件与预先存储的多个测试用例一一对应，所述多个测试用例与预先存储的多个损失函数一一对应。
在一些可能的实施例中，在根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合方面，上述程序包括具体用于执行以下步骤的指令：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到目标初始参数集合、第一性能值、第二性能值和第一参数调整信息；
对所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息进行输出，得到所述目标软件组件的中间参数集合。
在一些可能的实施例中，在根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合方面，上述程序包括具体用于执行以下步骤的指令：
将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值；
将所述目标性能值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
在一些可能的实施例中，在将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络，得到所述调优网络输出的目标性能值方面，上述程序包括具体用于执行以下步骤的指令：
将所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息输入调优网络；
根据所述第一性能值、所述第二性能值和所述第一参数调整信息确定第二参数调整信息，输出所述第二参数调整信息；
根据所述第二参数调整信息对所述目标初始参数集合进行更新，得到第一初始参数集合；
根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息；
将所述激活后的所述第一初始参数集合、所述第二性能值、中间性能值和所述第二参数调整信息输入所述调优网络；
若所述中间性能值小于所述调优网络的预设性能值，则使用所述第二性能值代替所述第一性能值，使用所述中间性能值代替所述第二性能值，使用所述第二参数调整信息代替所述第一参数调整信息。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，上述计算机程序被处理器执行，以实现如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实现方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种参数调优方法，其特征在于，包括：
获取目标软件组件的初始参数集合；
根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
2.根据权利要求1所述的方法，其特征在于，所述获取目标软件组件的初始参数集合，包括：
获取目标软件组件的多个目标配置项；
根据预先存储的软件组件、配置项与软件组件参数的映射关系，确定所述多个目标配置项中的每个目标配置项对应的至少一个目标软件组件参数；
将所述多个目标配置项对应的所有目标软件组件参数确定为所述目标软件组件的初始参数集合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合，包括：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到预测结果和真实结果；
对所述激活后的所述初始参数集合、所述预测结果和所述真实结果进行输出，得到所述目标软件组件的中间参数集合。
4.根据权利要求3所述的方法，其特征在于，所述根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，包括：
将所述激活后的所述初始参数集合、所述预测结果和所述真实结果输入调优网络；
根据所述预测结果、所述真实结果和所述调优网络的损失函数确定初始损失值；
根据所述初始损失值对所述激活后的所述初始参数集合进行更新，得到第一初始参数集合；
根据所述第一初始参数集合和所述损失函数确定最终损失值，所述最终损失值小于预设损失值；
将所述最终损失值对应的初始参数集合确定为所述目标软件组件的最终参数集合。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一初始参数集合和所述损失函数确定最终损失值，包括：
根据所述第一初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的第一中间参数集合，所述第一中间参数集合包括激活后的所述第一初始参数集合、第一预测结果和第一真实结果；
将所述第一初始参数集合、所述第一预测结果和所述第一真实结果输入所述调优网络；
根据所述第一预测结果、所述第一真实结果和所述损失函数确定中间损失值；
若所述中间损失值大于等于预设损失值，则根据所述中间损失值对所述激活后的所述第一初始参数集合进行更新，得到第二初始参数集合，使用所述第二初始参数集合代替所述第一初始参数集合。
6.根据权利要求5所述的方法，其特征在于，预先存储的多个软件组件与预先存储的多个测试用例一一对应，所述多个测试用例与预先存储的多个损失函数一一对应。
7.根据权利要求2所述的方法，其特征在于，所述根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合，包括：
对所述初始参数集合进行激活，得到激活后的所述初始参数集合；
获取目标测试用例，根据所述激活后的所述初始参数集合控制所述目标软件组件按照所述目标测试用例进行运行，得到目标初始参数集合、第一性能值、第二性能值和第一参数调整信息；
对所述目标初始参数集合、所述第一性能值、所述第二性能值和所述第一参数调整信息进行输出，得到所述目标软件组件的中间参数集合。
8.一种参数调优装置，其特征在于，包括：
获取单元，用于获取目标软件组件的初始参数集合；
封装单元，用于根据所述初始参数集合控制所述目标软件组件运行，得到所述目标软件组件的中间参数集合；
训练单元，用于根据所述中间参数集合进行机器学习，得到所述目标软件组件的最终参数集合，其中，所述目标软件组件根据所述最终参数集合运行时的性能优于根据所述初始参数集合运行时的性能。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的部分或全部步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行，以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050906.3A CN110825629A (zh) | 2019-10-31 | 2019-10-31 | 参数调优方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050906.3A CN110825629A (zh) | 2019-10-31 | 2019-10-31 | 参数调优方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110825629A true CN110825629A (zh) | 2020-02-21 |
Family
ID=69551766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911050906.3A Pending CN110825629A (zh) | 2019-10-31 | 2019-10-31 | 参数调优方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825629A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488271A (zh) * | 2020-03-10 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| CN114168216A (zh) * | 2021-11-24 | 2022-03-11 | 阿里巴巴（中国）有限公司 | 一种参数调优方法、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853786A (zh) * | 2012-12-06 | 2014-06-11 | 中国电信股份有限公司 | 数据库参数的优化方法与系统 |
| CN104834479A (zh) * | 2015-04-24 | 2015-08-12 | 清华大学 | 面向云平台的自动优化存储系统配置的方法及系统 |
| CN106815129A (zh) * | 2016-12-23 | 2017-06-09 | 长沙学院 | 云环境下软件过程的敏捷性度量方法 |
| CN109376068A (zh) * | 2018-09-03 | 2019-02-22 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 软件可靠性预测方法、装置、计算机设备和存储介质 |
| CN109388565A (zh) * | 2018-09-27 | 2019-02-26 | 西安电子科技大学 | 基于生成式对抗网络的软件系统性能优化方法 |
| US10257275B1 (en) * | 2015-10-26 | 2019-04-09 | Amazon Technologies, Inc. | Tuning software execution environments using Bayesian models |
| CN109634924A (zh) * | 2018-11-02 | 2019-04-16 | 华南师范大学 | 基于机器学习的文件系统参数自动调优方法及系统 |
| CN110134697A (zh) * | 2019-05-22 | 2019-08-16 | 南京大学 | 一种面向键值对存储引擎的参数自动调优方法、装置、系统 |
-
2019
- 2019-10-31 CN CN201911050906.3A patent/CN110825629A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103853786A (zh) * | 2012-12-06 | 2014-06-11 | 中国电信股份有限公司 | 数据库参数的优化方法与系统 |
| CN104834479A (zh) * | 2015-04-24 | 2015-08-12 | 清华大学 | 面向云平台的自动优化存储系统配置的方法及系统 |
| US10257275B1 (en) * | 2015-10-26 | 2019-04-09 | Amazon Technologies, Inc. | Tuning software execution environments using Bayesian models |
| CN106815129A (zh) * | 2016-12-23 | 2017-06-09 | 长沙学院 | 云环境下软件过程的敏捷性度量方法 |
| CN109376068A (zh) * | 2018-09-03 | 2019-02-22 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 软件可靠性预测方法、装置、计算机设备和存储介质 |
| CN109388565A (zh) * | 2018-09-27 | 2019-02-26 | 西安电子科技大学 | 基于生成式对抗网络的软件系统性能优化方法 |
| CN109634924A (zh) * | 2018-11-02 | 2019-04-16 | 华南师范大学 | 基于机器学习的文件系统参数自动调优方法及系统 |
| CN110134697A (zh) * | 2019-05-22 | 2019-08-16 | 南京大学 | 一种面向键值对存储引擎的参数自动调优方法、装置、系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488271A (zh) * | 2020-03-10 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| CN111488271B (zh) * | 2020-03-10 | 2023-10-27 | 中移（杭州）信息技术有限公司 | 消息中间件的调优方法、系统、电子设备及存储介质 |
| CN114168216A (zh) * | 2021-11-24 | 2022-03-11 | 阿里巴巴（中国）有限公司 | 一种参数调优方法、设备及存储介质 |
| CN114168216B (zh) * | 2021-11-24 | 2024-04-26 | 阿里巴巴（中国）有限公司 | 一种参数调优方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379737B2 (en) | Method and apparatus for correcting missing value in data | |
| CN108305641B (zh) | 情感信息的确定方法和装置 | |
| AU2016304571B2 (en) | Model integration tool | |
| CN111445007B (zh) | 对抗生成神经网络的训练方法及系统 | |
| CN108091329A (zh) | 基于语音识别控制汽车的方法、装置及计算设备 | |
| CN110825629A (zh) | 参数调优方法及相关装置 | |
| CN109117172B (zh) | 一种目标终端的终端版本号识别的方法及装置 | |
| TW201426389A (zh) | 網路驗證資訊的方法和裝置 | |
| CN109885828A (zh) | 基于语言模型的词语纠错方法、装置、计算机设备及介质 | |
| CN112732571B (zh) | 一种测试数据生成方法及装置 | |
| CN110955593B (zh) | 客户端测试方法、装置、电子设备及可读存储介质 | |
| CN108776631B (zh) | 服务器、获取兼容性测试设备的方法及存储介质 | |
| CN111198815B (zh) | 用户界面的兼容性测试方法及装置 | |
| CN109710510B (zh) | 代码提交方法、装置、设备及可读存储介质 | |
| CN109783769B (zh) | 一种基于用户项目评分的矩阵分解方法和装置 | |
| CN103941868B (zh) | 语音控制准确率调整方法和系统 | |
| CN107992318A (zh) | 应用程序升级方法、装置、存储介质和处理器 | |
| CN112433935A (zh) | 测试方法、装置、电子设备及存储介质 | |
| CN112801302A (zh) | 一种基于接口的机器学习模型发布方法和系统 | |
| CN107729043A (zh) | 增量升级包的校验方法、装置和计算机可读存储介质 | |
| CN112765981A (zh) | 一种文本信息的生成方法和装置 | |
| CN109871448B (zh) | 一种短文本分类的方法及系统 | |
| CN109684205B (zh) | 系统测试方法、装置、电子设备及存储介质 | |
| CN106599637A (zh) | 一种在验证界面输入验证码的方法和装置 | |
| CN108958823B (zh) | 修改基本输入输出系统设定值的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |