CN111178535A - 实现自动机器学习的方法和装置 - Google Patents
实现自动机器学习的方法和装置 Download PDFInfo
- Publication number
- CN111178535A CN111178535A CN201910618238.3A CN201910618238A CN111178535A CN 111178535 A CN111178535 A CN 111178535A CN 201910618238 A CN201910618238 A CN 201910618238A CN 111178535 A CN111178535 A CN 111178535A
- Authority
- CN
- China
- Prior art keywords
- candidate model
- evaluation value
- model configuration
- evaluation
- fidelity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims abstract description 726
- 238000012549 training Methods 0.000 claims description 113
- 238000012937 correction Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 description 22
- 238000005457 optimization Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 18
- 238000012795 verification Methods 0.000 description 12
- 238000012417 linear regression Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000035 biogenic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004900 laundering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
公开了一种实现自动机器学习的方法和装置，所述方法包括：获取针对目标数据集进行自动机器学习时采样的候选模型配置；对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；基于各候选模型配置对应的评价值，为目标数据集选择一个候选模型配置。
Description
技术领域
本申请要求申请号为201811339342.0，申请日为2018年11月12日，名称为“实现自动机器学习的方法和装置”的中国专利申请的优先权。本申请总体说来涉及人工智能领域，更具体地讲，涉及一种实现自动机器学习的方法和装置。
背景技术
随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。通常，机器学习过程中所涉及的许多工作(例如，模型算法选择、超参数调整等)往往既需要具备计算机(特别是机器学习)专业知识，也需要具备与预测场景相关的具体业务经验，因此，需要耗费大量的人力成本。为了提高机器学习效率，近年来提出了自动机器学习技术，其可在没有人力参与的情况下，针对具体机器学习问题，自动进行模型算法选择和超参数优化，得到最优的模型配置，因此，大大降低了机器学习门槛并且降低了用于机器学习的人力成本。其中，基于自动机器学习技术所产生的模型可被应用于图像处理场景、语音识别场景、自然语言处理场景、自动控制场景、智能问答场景、业务决策场景、推荐业务场景、搜索场景或异常行为检测场景。
然而，要得到最优的模型，自动机器学习过程中需要不断对采样的模型配置进行优化，为此，需要对采样的模型配置进行评价。通常，最简单的评价方式有以下两种形式：一种是高保真度评价，此种评价精准(即，保真度高)，但是获得此种评价的代价(例如，计算量)很大；另一种是低保真度评价，此种评价和准确评价之间存在误差(即，保真度低)，但是评价代价小。
虽然目前存在基于树结构搜索算法的多保真度评价优化方法，但是这样的方法始终基于随着优化的进程保真度越来越高的假设(然而，实际优化过程中并不必然满足这种假设，例如，某些非迭代式优化机器学习模型的过程便不满足这种假设)，并且往往利用优化方法的结构预先对低保真度评价的误差做出假设(然而，不同采样样本之间常存在差异，故这种固定假设会导致评价值修正不够准确)。此外，这样的方法强依赖于优化算法本身，并且随着树结构的深度增大，评价代价越来越高，而并没能很好的解决自动机器学习中评价开销大的问题。
鉴于此，需要既可以提高评价值修正的准确性又可以降低自动机器学习过程中的评价代价以提高优化效率的自动机器学习技术。
发明内容
根据本申请示例性实施例，提供了一种实现自动机器学习的方法，所述方法可包括：获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
可选地，所述方法在利用评价值残差预测器进行预测之前还包括初始化所述评价值残差预测器的步骤，该步骤包括：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
可选地，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值可包括：每当采样到一个候选模型配置，利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值；至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
可选地，所述方法可进一步包括：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值，将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本；至少基于构建的新训练样本训练所述评价值残差预测器，得到更新后的评价值残差预测器；利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值；
当所述评价值残差预测器被更新第二预设值次数后，停止采样新的候选模型配置。
可选地，所述从该第一预设值个数的候选模型配置中选择一个候选模型配置可包括：从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置。可选地，所述基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置可包括：从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
可选地，所述方法还可包括：在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器，其中，所述评价值残差预测器包括多个子预测器，其中，初始化所述评价值残差预测器步骤可包括：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值；针对每个子预测器，通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器，其中，与每个子预测器对应的第三保真度评价方法的保真度各不相同，并且其保真度均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；对所述多个子预测器的各自的权重进行设置。
可选地，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值可包括：每当采样到一个候选模型配置，通过以下方式获得与该当前候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值；利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，其中，第三评价值指利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值；至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
可选地，所述方法还可包括：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型配置的第二评价值，将由各个子预测器预测出的差值组成的特征向量作为样本数据，并将该候选模型配置的第二评价值与第一评价值作为该样本数据的标记，构建一条用于训练线性回归模型的训练样本；至少基于构建的训练样本训练所述线性回归模型来得到更新后的各个子预测器的权重，进而更新所述评价值残差预测器；利用各个子预测器分别对后续采样的候选模型配置执行预测，并用将各子预测器的预测结果与各个子预测器的更新后的权重相乘并求和所获得的结果来修正第一评价值，进而得到相应的修正后的评价值；当所述评价值残差预测器被更新第二预设值次数后，停止采样新的候选模型配置。
根据本申请另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的实现自动机器学习的方法。
根据本申请另一示例性实施例，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的实现自动机器学习的方法。
根据本申请另一示例性实施例，提供了一种实现自动机器学习的装置，所述装置可包括：候选模型配置获取单元，被配置为获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；评价值修正单元，被配置为对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；选择单元，被配置为基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
可选地，所述装置还可包括在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器的初始化单元，其中，初始化单元可被配置为：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
可选地，每当候选模型配置获取单元采样到一个候选模型配置，评价值修正单元利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。可选地，候选模型配置获取单元可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
可选地，所述装置还可包括：更新单元，被配置为：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值，将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本；至少基于构建的新训练样本训练所述评价值残差预测器，得到更新后的评价值残差预测器；其中，评价值修正单元可利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值，当所述评价值残差预测器被更新第二预设值次数后，候选模型配置获取单元可停止采样新的候选模型配置。
可选地，更新单元可从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置。此外，可选地，选择单元可从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
可选地，所述装置还可包括在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器的初始化单元，其中，所述评价值残差预测器可包括多个子预测器，其中，初始化单元可被配置为：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值；针对每个子预测器，通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器，其中，与每个子预测器对应的第三保真度评价方法的保真度各不相同，并且其保真度均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；对所述多个子预测器的各自的权重进行设置。
可选地，每当候选模型配置获取单元采样到一个候选模型配置，评价值修正单元可通过以下方式获得与该当前候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值；利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，其中，第三评价值指利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值。可选地，候选模型配置获取单元可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
可选地，所述装置还可包括：更新单元，被配置为：每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型配置的第二评价值，将由各个子预测器预测出的差值组成的特征向量作为样本数据，并将该候选模型配置的第二评价值与第一评价值作为该样本数据的标记，构建一条用于训练线性回归模型的训练样本；至少基于构建的训练样本训练所述线性回归模型来得到更新后的各个子预测器的权重，进而更新所述评价值残差预测器。此外，评价值修正单元可利用各个子预测器分别对后续采样的候选模型配置执行预测，并用将各子预测器的预测结果与各个子预测器的更新后的权重相乘并求和所获得的结果来修正第一评价值，进而得到相应的修正后的评价值；当所述评价值残差预测器被更新第二预设值次数后，候选模型配置获取单元可停止采样新的候选模型配置。
根据本公开示例性实施例的实现自动机器学习的方法和装置可利用保真度较低(评价代价小)的第一保真度评价方法获得评价值，然后利用通过机器学习得到的评价值残差预测器来对评价值进行修正，并进而基于修正后的评价值来为目标数据集选择候选模型配置，因此可有效地降低自动机器学习过程中的评价代价，提高优化效率。此外，通过在此基础上进一步利用保真度较高的第二保真度评价方法对少量候选模型配置进行评价并利用评价结果对评价值残差预测器进行更新，可进一步提高评价值残差预测器的预测效果，从而进一步提高了优化效果。
附图说明
从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和优点将变得更加清楚且更容易理解，其中：
图1是示出根据本申请示例性实施例的实现自动机器学习的装置的框图；
图2是示出根据本申请另一示例性实施例的实现自动机器学习的装置的框图；
图3是示出利用包括多个子预测器的评价值残差预测器来预测评价值残差的示意图。
图4是示出根据本申请示例性实施例的实现自动机器学习的方法的流程图；
图5是示出根据本申请另一示例性实施例的实现自动机器学习的方法的示意性流程图。
具体实施方式
为了使本领域技术人员更好地理解本申请，下面结合附图和具体实施方式对本申请的示例性实施例作进一步详细说明。
图1是示出根据本申请示例性实施例的实现自动机器学习的装置(在下文中，为描述方便，将其简称为“自动机器学习装置100”)的框图。自动机器学习装置100可包括候选模型配置获取单元110、评价值修正单元120和选择单元130。
具体说来，候选模型配置获取单元110可获取针对目标数据集进行自动机器学习时采样的候选模型配置。这里，一个候选模型配置可包括确定的机器学习算法和一组超参数。这里的机器学习算法可以是任何类型的机器学习算法，例如，逻辑回归(LR)算法、支持向量机(SVM)、决策树或深度神经网络等，但不限于此。超参数可以是例如学习率、正则项、深度神经网络隐藏层数等，但不限于此，而是可以是影响机器学习模型的学习的任何一种超参数。在自动机器学习时会不断地在目前已知的候选模型配置集中采样候选模型配置，例如，可通过非梯度优化算法进行采样以从已知的候选模型配置集中选择确定的机器学习算法和一组超参数。根据示例性实施例，候选模型配置获取单元110可本身执行候选模型配置的采样，或者可从外部装置或自动机器学习装置本身包括的其他单元(未示出)获取采样的候选模型配置。为方便描述，这里，假设在自动机器学习时候选模型配置获取单元110本身执行对候选模型配置的采样。另外，需要说明的是，这里的目标数据集可根据不同的机器学习问题或机器学习目标而不同，并且其可来源于各种数据源。目标数据集可包括多条数据记录和数据记录对应的标记，每条数据记录可包括多个数据属性字段。例如，目标数据集可以是图像数据、语音数据、用于描述工程控制对象的数据、用于描述用户(或其行为)的数据、用于描述行政、商业、医疗、监管、金融等各个领域内的对象和/或事件的数据等。本申请对目标数据集的类型、数据形式、获取方式、来源等均无任何限制，只要其是可以用于针对特定机器学习问题或机器学习目标进行机器学习的数据即可。
在本发明的实施例中，目标数据集可以是来自如下实体中的任一个或多个的数据：
来自银行的数据：如用户的登记信息、银行交易流水信息、存款信息、金融产品购买信息、票据信息(图像)等；
来自保险机构的数据：如投保人信息、保单信息、赔付保险的信息等；
来自医疗机构的数据：如病历信息、确诊信息、治疗信息等；
来自证券公司等其他金融机构的数据；如用户登记信息、金融产品交易信息、金融产品价格浮动信息等；
来自学校的数据：如生源信息、升学率、就业率、教学信息、教师信息等；
来自政府部门的数据：如社保信息、人力资源信息、市政资源信息、市政项目相关信息、财政相关信息、教育相关信息等；
来自互联网实体的数据：如用来自电商平台或app运营实体的用户登记信息、用户网络行为(搜索、浏览、收藏、购买、点击、支付等)信息，或来自搜索引擎的网络视频、音频、图片、文本等相关的数据等；
来自电信运营商的数据：如移动用户通信数据、固定网络或移动网络流量相关数据等；
来自传统工业企业的数据：工业控制数据如电网相关操作数据、风力发电机组操控数据、空调系统操控数据、矿井组操控数据等等。
从类型上，在本发明的实施例中的源数据可以是视频数据、图像数据、语音数据、文本数据、格式化的表单数据等。
对于候选模型配置获取单元110获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，评价值修正单元120可通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值。这里，第二评价值可指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第二保真度评价方法的保真度可比第一保真度评价方法的保真度高。
具体地，根据示例性实施例，第一保真度评价方法可对应于保真度相对较低的低保真度评价方法，而低保真度评价方法是一种不完全评价验证方式。具体地，可首先将以上提及的目标数据集进行分组(一部分作为训练集，一部分作为验证集)，然后在获取的候选模型配置下(即，在候选模型配置中包括的一组超参数的设置下，利用候选模型配置中包括的机器学习算法)基于训练集对模型(这里的模型可以是针对各种机器学习问题的任何模型，例如，用于内容推荐的模型、用于欺诈预测的模型等，但不限于此)进行训练，之后利用验证集对训练出的该模型的模型效果进行验证以获得该候选模型配置的第一评价值。例如，可将目标数据集划分为十组数据，将第一组至第九组中的一组数据作为训练集，而剩余的一组数据(第十组)作为验证集，在利用训练集进行模型训练之后，仅利用验证集进行模型效果的验证来获得相应的评价值。由于并未完整地在整个数据集上进行交叉验证，因此，这样的评价方法具有评价代价小的特点，但是利用这种评价方法获得的评价值与真实评价值之间往往存在误差。另外，需要说明的是，第一保真度评价方法并不仅限于以上所描述的仅使用目标数据集中的一组数据进行模型训练并利用另一组数据对模型进行验证的方式，而是可以是例如利用第一组至第九组中的两组数据进行训练，并利用第十组数据进行验证。也就是说，第一保真度评价方法尽管是一种不完全验证方式(即，不是目标数据集中的所有数据都会被用于验证)，但是仍可根据不完全验证的程度(即，控制目标数据集中被选取用于进行模型训练和验证的子集的数量)来控制第一保真度评价方法的保真度。
第二保真度评价方法可对应于保真度较高的高保真度评价方法，而高保真度评价方法可以是在以上提及的目标数据集上完整的做一遍交叉验证来获得候选模型配置的第二评价值。具体地，可将目标数据集划分为N组，每次选择N-1组作为训练集来对模型进行训练，剩下的1组作为验证集来对训练出的模型进行验证，当这一轮完成后，重新选择N-1组来进行模型训练并用剩下的1组进行模型验证，直至N组中的每一组都被执行过验证。由于这样的评价方法经过完整的交叉验证，所以利用该评价方法获得的评价值的保真度较高，但是会导致机器学习的计算量或评价代价较高。
如上所述，由于第二保真度评价方法的评价代价过高，本申请在利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值之后，采用评价值残差预测器来预测第二评价值与第一评价值之间的差值，而不是直接利用第二保真度评价方法对该候选模型配置进行评价，故可有效地降低评价代价，提高优化效率。这里，评价值残差预测器可以是预先通过机器学习训练出的机器学习模型，并且其可被训练为针对候选模型配置提供关于第一评价值与第二评价值之间的差值的预测结果。稍后，将参照图2对评价值残差预测器的训练和更新进行详细描述，这里暂不描述。
根据示例性实施例，以上提及的第一评价值和第二评价值可以是能够反映被训练的模型的效果的任何评价指标，例如，可以是AUC、准确率、错误率等，但不限于此。此外，这里的评价值残差预测器可以是决策树、随机森林等，但不限于此。
在利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值之后，评价值修正单元120可用该差值修正第一评价值来得到与该候选模型配置对应的修正后的评价值。这里，修正第一评价值可以是将第一评价值与评价值残差预测器预测出的差值相加来获得修正后的评价值。
作为示例，每当候选模型配置获取单元110采样到一个候选模型配置，评价值修正单元120就可利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，然后用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。然后，候选模型配置获取单元110可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。例如，候选模型配置获取单元110可仅基于当前候选模型配置对应的修正后的评价值采样新的候选模型配置，或者可综合当前候选模型配置对应的修正后的评价值以及先前获得的候选模型配置的对应的修正值中的全部或部分，采样新的候选模型配置。也就是说，自动机器学习装置100可利用已经获得的候选模型配置的对应的修正值来采样下一候选模型配置的，而这进一步降低了自动机器学习中模型优化的计算量，从而进一步提高了优化效率。
在不断采样新的候选模型配置并获得其相应的修正后的评价值之后，选择单元130可基于各候选模型配置(被评价过的候选模型)对应的评价值，为所述目标数据集选择一个候选模型配置。作为示例，选择单元130可选择对应的评价值最高/最低的候选模型配置作为针对所述目标数据集的模型配置。例如，当评价值是准确率时，可选择准确率最高的候选模型配置作为针对所述目标数据集的模型配置。而当评价值是错误率时，可选择错误率最低的候选模型配置作为针对所述目标数据集的模型配置。但是，本领域技术人员清楚的是，根据评价值为目标数据集选择候选模型配置的规则不仅限于上述示例，而是可以是用户根据评价值所反映的指标而设置的任何合适的规则。
如上所述，根据本公开示例性实施例的自动机器学习装置由于仅利用保真度较低(评价代价小)的第一保真度评价方法获得第一评价值，然后利用训练的评价值残差预测器预测第二评价值和第一评价值的差值来对第一评价值进行修正，并进而基于修正后的评价值来为目标数据集选择候选模型配置，因此可有效地降低自动机器学习过程中的评价代价，提高了优化效果。
在本发明的实施例中，根据最终选择的候选模型配置针对目标数据集进行自动机器学习所得到的机器学习模型，可被应用于如下场景中的任一场景：
图像处理场景，包括：光学字符识别OCR、人脸识别、物体识别和图片分类；更具体地举例来说，OCR可应用于票据(如发票)识别、手写字识别等，人脸识别可应用安防等领域，物体识别可应用于自动驾驶场景中的交通标志识别，图片分类可应用于电商平台的“拍照购”、“找同款”等。
语音识别场景，包括可通过语音进行人机交互的产品，如手机的语音助手(如苹果手机的Siri)、智能音箱等；
自然语言处理场景，包括：审查文本(如合同、法律文书和客服记录等)、垃圾内容识别(如垃圾短信识别)和文本分类(情感、意图和主题等)；
自动控制场景，包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；具体的对于矿井组可预测开采率高的一组调节操作，对于风力发电机组可预测发电效率高的一组调节操作，对于空调系统，可以预测满足需求的同时节省能耗的一组调节操作；
智能问答场景，包括：聊天机器人和智能客服；
业务决策场景，包括：金融科技领域、医疗领域和市政领域的场景，其中：
金融科技领域包括：营销(如优惠券使用预测、广告点击行为预测、用户画像挖掘等)与获客、反欺诈、反洗钱、承保和信用评分、商品价格预测；
医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断；
市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障、智慧城市(公交、网约车、共享单车等各类城市资源的调配和管理)；
推荐业务场景，包括：新闻、广告、音乐、咨询、视频和金融产品(如理财、保险等)的推荐；
搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索等；
异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测、操作日志中的异常行为检测等。
图2是示出根据本申请另一示例性实施例的实现自动机器学习的装置(在下文中，为描述方便，将其简称为“自动机器学习装置200”)的框图。
参照图2，与图1的自动机器学习装置100相比，图2的自动机器学习装置200除了包括候选模型配置获取单元210、评价值修正单元220和选择单元230之外，还包括初始化单元240和更新单元250。图2的候选模型配置获取单元210、评价值修正单元220和选择单元230可分别相应于图1的候选模型配置获取单元110、评价值修正单元120和选择单元130，因此，参照图1关于候选模型配置获取单元110、评价值修正单元120和选择单元130的描述同样适应于图2的相应单元，这里不再赘述。
如以上参照图1所述，评价值残差预测器是预先训练的机器学习模型(不管其训练效果具体如何)，故自动机器学习装置200可包括在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器的初始化单元240。这里，初始化单元240可用于对评价值残差预测器进行训练。需要说明的是，尽管在图2中示出自动机器学习装置200包括初始化单元240，但是也可以由其他装置执行评价值残差预测器的初始化，然后，自动机器学习装置200可从其他装置获取初始化后的评价值残差预测器，本申请对此并无限制。为描述方便，这里假设自动机器学习装置200本身通过初始化单元240对评价值残差预测器进行初始化。
具体地，初始化单元240可通过以下操作来训练评价值残差预测器：获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
这里，本申请对用于评价值残差预测器的训练的至少一个候选模型配置的选取方式和数量并于任何限制，为了减少计算量，可仅采样非常少量的候选模型配置进行评价值残差预测器的训练，后续可再对其进行不断更新来提高评价值残差预测器的预测效果。为此，可选地，自动机器学习装置200可包括用于对评价值残差预测器进行更新的更新单元250。
由于以上已经参照图1对如何利用第一保真度评价方法和第二保真度评价方法对候选模型配置进行评价以获得相应评价值的方式进行了描述，因此，这里不再对初始化单元240在初始化过程中获得第一评价值和第二评价值的过程进行赘述。下面，将重点对更新单元250进行描述。
如以上参照图1所述，每当候选模型配置获取单元210采样到一个候选模型配置，评价值修正单元220可利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。然后，候选模型配置获取单元210可至少基于该当前候选模型配置对应的修正后的评价值，继续采样新的候选模型配置。
为了提高评价值残差预测器的预测效果，每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，更新单元250可从该第一预设值个数的候选模型配置中选择一个候选模型配置，利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值，将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本，然后，至少基于构建的新训练样本训练所述评价值残差预测器，得到更新后的评价值残差预测器。
具体地，更新单元250可根据该第一预设值个数的候选模型配置的对应的修正后的评价值，按照预定规则选择其中的一个候选模型配置。例如，更新单元250可从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置。需要说明是，根据评价值所反映的模型效果的指标的不同，这里从该第一预设值个数的候选模型配置中选择一个候选模型效果的规则可以相应地变化。例如，如果第一评价值是准确率，则更新单元250可从中选择评价值最高的一个候选模型，而如果评价值是错误率，则更新单元250可从中选择评价值最低的一个候选模型。此外，尽管这里以从该第一预设值个数的候选模型配置中选择一个候选模型配置为例，但是，本领域技术人员清楚的是，更新单元250也可从该第一预设值个数的候选模型配置中选择多个候选模型配置(例如，可选择评价值最高/最低的两个候选模型配置等)，并利用这些候选模型配置构建训练样本来更新评价值残差预测器。也就是说，虽然优选地，选择一个候选模型配置进行第二保真度评价可有效地减少自动机器学习优化过程中的计算量，但是更新单元250在更新时并不限于仅构建一个训练样本来进行价值残差预测器的更新，而是可以通过从第一预设值个数的候选模型配置中选择多个候选模型配置来构建多个训练样本，本申请对此并无限制。为描述方便，这里，假设仅选择一个候选模型配置。此外，第一预设值可根据实际需要由用户预先设置或调整，本申请对其具体数值并无限制。
在选择了一个候选模型配置之后，更新单元250在选择的候选模型配置下，利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值。具体地，更新单元250可在选择的该候选模型配置下，采用以上参照图1提及的在目标数据集上完整的做一遍交叉验证的方式来获得第二评价值。假设选择的该候选模型配置被表示为x，选择的该候选模型配置的第二评价值为FH，先前已经获得的该候选模型配置的第一评价值为FL，则用于更新评价值残差预测器的训练样本可被表示为(x，FH-FL)，FH-FL为该训练样本的标记。
随后，更新单元250可至少基于构建的训练样本(x，FH-FL)来训练评价值残差预测器。具体地，更新单元250可将新训练样本添加到先前用于训练评价值残差预测其的原训练样本集来更新训练样本集，并用更新后的训练样本集来训练评价值残差预测器，进而得到更新后的评价值残差预测器。或者，更新单元250也可仅利用新构建的训练样本以及原训练样本集中的部分训练样本(例如，在获得新训练样本之前的预定时间段内按照以上方式构建的一些训练样本)，甚至可仅利用新构建的训练样本来训练评价值残差预测器。
在得到更新后的评价值残差预测器之后，候选模型配置获取单元210可继续根据各候选模型配置的评价值进行后续采样。然后，评价值修正单元220可利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值。当评价值残差预测器被更新第二预设值次数之后，候选模型配置获取单元210可停止采样新的候选模型配置。这里，第二预设值可由用户根据实际需要进行设置，本申请对其具体数值大小并于任何限制。
在评价值残差预测器被更新第二预设值次数之后，选择单元230可根据预定规则从获得相应评价值的各候选模型配置中选择一个候选模型配置，作为针对目标数据集的模型配置。优选地，选择单元230可从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
参照图2所述的自动机器学习装置200由于可在利用评价值残差预测器来修正保真度较低的第一评价值的基础上，进一步利用保真度较高的评价方法对一些候选模型配置进行评价，并借此对评价值残差预测器进行更新，因此，可进一步提高评价值残差预测器的预测效果，从而可在降低评价开销的情况下进一步提高自动机器学习过程中的优化效果。
图3示出利用包括多个子预测器的评价值残差预测器预测评价值残差的示意图。
根据本申请示例性实施例，评价值残差预测器可包括多个子预测器(“子预测器”也可称为“基预测器”)，并可综合多个子预测器的预测结果，得到关于评价值残差的预测值(即，以上所描述的第一评价值与第二评价值之间的差值)。以下，将对评价值残差预测器包括多个子预测器的情况进行介绍。
在评价值残差预测器包括多个子预测器的情况下，初始化单元240对评价值残差预测器进行初始化的过程可与以上参照图2描述的初始化过程有所不同。具体地，初始化单元240可首先获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置，并利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值。然后，针对每个子预测器，初始化单元240可通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器。这里，与每个子预测器对应的第三保真度评价方法的保真度各不相同，并且其保真度均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间。这里，第三保真度评价方法可以以是中保真度评价方法，例如，其可以是一种不完全验证方式，并且不完全验证的程度比第一保真度评价方法的不完全验证的程度高(如在图1的描述中所提及的，这可通过控制目标数据集中被选取用于进行模型训练和验证的子集的数量来控制)，但是比完整的交叉验证的完整性低，因此，第三保真度评价方法的保真度可介于第一保真度评价方法的保真度与第二保真度评价方法的保真度之间，故其对应的评价代价也介于第一保真度评价方法和第二保真度评价方法的评价代价之间。此外，假设与基预测器1对应的第三保真度评价方法的保真度是M1，与基预测器2对应的第三保真度评价方法的保真度为M2...与基预测器k对应的第三保真度评价方法的保真度为Mk，且利用对应于各基预测器的第三保真度评价方法分别对候选模型配置x进行第三保真度评价所获得的对应的第三评价值为FM1、FM2...FMk，则构建的用于训练各基预测器的第一训练样本可以分别是(x，FM1-FL)，(x，FM2-FL)和(x，FMK-FL)，其中，FL是x的第一评价值，而FMk-FL是用于训练基预测器k的第一训练样本的标记。
最后，初始化单元240可对所述多个子预测器的各自的权重进行设置。例如，初始化单元240可直接将各子预测器的权重设置为0，或者也可根据子预测器的数量n将它们各自的权重设置为1/n，或者也可通过训练线性回归模型的方式得到各预测器的初始权重，本申请对此并不于限制，原因在于，更新单元250可后续对各个子预测器的权重进行更新，从而确保评价值预测器的预测效果。
在评价值残差预测器包括多个子预测器的情况下，评价值修正单元220获得对应的修正后的评价值的方式也与以上参照图2描述的方式不同。具体地，在这种情况下，每当候选模型配置获取单元采样到一个候选模型配置，评价值修正单元220可首先利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，然后利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，最后用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值。如图3所示，与当前候选模型配置对应的样本被输入到每个基预测器执行预测，而基预测器1的预测结果*基预测器1的权重w1+基预测器2的预测结果*基预测器2的权重w2+基预测器3的预测结果*基预测器3的权重w3...+基预测器k的预测结果*基预测器k的权重w2＝评价值残差预测器的预测值(即，第一评价值与第二评价值之间的差值)。
这里，第三评价值可以是利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度可介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间。此外，与第一评价值和第二评价值一样，第三评价值也可以是能够反映被训练的模型的效果的任何评价指标，例如，可以是AUC、准确率、错误率等，但不限于此。此外，这里的每个子预测器也均可以是决策树、随机森林等，但不限于此。
在获得与当前候选模型配置对应的修正后的评价值之后，候选模型配置获取单元210可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。以上已经参照图1对该过程进行过描述，这里不再赘述。
在评价值残差预测器包括多个子预测器的情况下，更新单元250更新评价值残差预测器的操作也与以上参照图2描述的更新操作有所不同。在这种情况下，更新单元250需要更新各子预测器的权重。
具体地，每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，更新单元250首先从该第一预设值个数的候选模型配置中选择一个候选模型配置，并且利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型配置的第二评价值。以上选择一个候选模型配置的操作以及得到该候选模型配置的第二评价值的操作与参照图2所描述的更新单元250的对应操作相同，这里不再赘述。与评价值残差预测器是单个预测器的情况的不同之处在于，更新单元250构建用于更新评价值残差预测器的训练样本的方式是：将由各个子预测器预测出的差值组成的特征向量作为样本数据，并将该候选模型配置的第二评价值与第一评价值作为该样本数据的标记，构建一条用于训练线性回归模型的训练样本。例如，假设基预测器1、基预测器2...基预测器k针对选择的候选模型配置x预测出的差值(第三评价值与第一评价值之间的差值)分别为y1、y2、....yK，则用于更新包括多个基预测器的评价值残差预测器的训练样本的样本数据可被表示为向量(y1,y2,....yK)，而该样本数据对应的标记为与x对应的第二评价值FH和第一评价值FL之间的差FH-FL。然后，至少基于构建的训练样本训练所述线性回归模型来得到更新后的各个子预测器的权重，进而更新所述评价值残差预测器。这里，线性回归模型可被表示为y＝w1y1+w2y2+...wkyk，利用按照以上方式构建的训练样本来训练线性回归模型所获得的模型参数w1、w2...wk便为基预测器1、基预测器2、....基预测器k的权重。
在评价值残差预测器被更新之后，评价值修正单元220可利用各个子预测器分别对后续采样的候选模型配置执行预测，并用将各子预测器的预测结果与各个子预测器的更新后的权重相乘并求和所获得的结果来修正第一评价值，进而得到相应的修正后的评价值。此外，当所述评价值残差预测器被更新第二预设值次数后，候选模型配置获取单元210可停止采样新的候选模型配置。同样地，在停止采样后，选择单元可基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置，例如，从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
根据以上示例性实施例，通过预先训练多个子预测器，然后线型组合子预测器得到集成的评价值残差预测器，不仅降低了训练预测器的难度，而且由于中保真度评价方法的评价代价远低于高保真度评价方法的评价代价，因此也降低了评价代价，进而提高了优化效率。
以上，已经参照图1至图3对根据本申请示例性实施例的自动机器学习装置进行了描述，需要说明的是，尽管以上在描述自动机器学习装置时，为描述方便，将它们划分为用于分别执行相应处理的单元，然而，本领域技术人员清楚的是，上述各单元执行的处理也可在自动机器学习装置在不进行任何具体的单元划分、或者各单元之间并无明确划界的情况下执行。此外，以上参照图1和图2描述自动机器学习装置并不限于包括以上描述的单元，而是可根据需要增加或删除一些单元，并且以上单元也可被组合。例如，自动机器学习装置还可包括数据处理单元、存储单元等。例如，存储单元可存储以上提及的采样的当前候选模型配置及其第一评价值、对应的修正后的评价值以及利用第二保真度评价方法获得的第二评价值等。
此外，以上描述的自动机器学习装置既可以由需要获得特定机器学习模型的实体自己构建，也可由专门的提供机器学习服务的实体来提供。相应地，自动机器学习装置既可设置在本地，也可设置在云端(如公有云、私有云等)。
接下来，将参照图4和图5简要描述根据示例性实施例的实现自动机器学习的方法。
图4是示出根据本申请示例性实施例的实现自动机器学习的方法的流程图。
这里，作为示例，图4所示的实现自动机器学习的方法可由图1所示的自动机器学习装置100来执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图4所示的方法由图1所示的自动机器学习装置100来执行，并假设自动机器学习装置100可具有图1所示的配置。
参照图4，在步骤S410，候选模型配置获取单元110可获取针对目标数据集进行自动机器学习时采样的候选模型配置。这里，一个候选模型配置包括确定的机器学习算法和一组超参数。以上参照图1在描述候选模型配置获取单元110时所提及的内容均适用于这里，因此不再赘述。
在步骤S420，对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，评价值修正单元120可通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值。这里，第二评价值可指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高。
具体地，每当在步骤S410采样到一个候选模型配置，在步骤S420评价值修正单元220可利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。然后，至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。随后，在步骤S430，基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
关于这里提及的第一保真度评价方法、第二保真度评价方法、第一评价值和第二评价值、如何采样新的候选模型配置等的相关描述可参照以上图1的描述，这里不再赘述。
根据图4所示的实现自动机器学习的方法，可利用训练的评价值残差预测器预测第二评价值和第一评价值的差值来对利用保真度较低的第一保真度评价方法获得的第一评价值进行修正，并进而基于修正后的评价值来为目标数据集选择候选模型配置，因此可有效地降低自动机器学习过程中的评价代价，提高优化效果。
图5是示出根据本申请另一示例性实施例的实现自动机器学习的方法的示意性流程图。
这里，作为示例，图5所示的实现自动机器学习的方法可由图2所示的自动机器学习装置200来执行，也可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行。为了描述方便，假设图5的实现自动机器学习的方法由图2所示的自动机器学习装置100来执行，并假设自动机器学习装置200可具有图2所示的配置。
参照图5，在步骤S510，初始化单元240可初始化评价值残差预测器。具体地，在步骤S510，初始化单元240可首先获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；然后，分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；最后，将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
随后，可在步骤S520和步骤S530将tH和tL初始化为0，这里，tL对应于第一保真度评价方法被执行的次数，tH对应于第二保真度评价方法被执行的次数(也是评价值残差预测器被更新的次数)。
随后，每当候选模型配置获取单元210采样到一个候选模型配置，评价值修正单元220可利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。随后，候选模型配置获取单元210可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。具体地，在步骤S540，可首先采样一个候选模型配置，然后利用第一保真度评价方法对采样的当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。每当获得一个修正后的评价值，在步骤S550，可令tL＝tL+1，随后在步骤S560可判断当前的tL是否小于第一预设值TL，这里的TL可由用户预先设置，并且可根据实际需要进行调整。如果在步骤S560确定tL＜TL，则返回执行步骤S540，具体地，在步骤S540，候选模型配置获取单元210可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置，然后对当前候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，并用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值。如果在步骤S560判断tL不小于TL，则可进行步骤S570。也就是说，每当获取到第一预设值个数的候选模型配置以及它们对应的修正后的评价值之后，执行步骤S570。具体地，在步骤S570，更新单元250可从该第一预设值个数的候选模型配置中选择一个候选模型配置，并利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值。优选地，更新单元250可从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置。
接下来，在步骤S580，更新单元25可将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本。随后，在步骤S590，更新单元250至少基于构建的新训练样本训练评价值残差预测器，得到更新后的评价值残差预测器。每当评价值残差预测器被更新一次，tH加1，即在步骤S600令tH＝tH+1。随后，在步骤S610，判断当前的tH是否小于第二预设值TH，这里的TH也可预先由用户设置，并且可根据实际需要进行调整。如果在步骤S610确定tH＜TH，则返回执行步骤S530，也就是说，继续利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值。否则，如果在步骤S610确定不满足tH＜TH，则执行步骤S620。也就是说，当所述评价值残差预测器被更新第二预设值次数之后，停止采样新的候选模型配置。在步骤S620，选择单元230可基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。优选地，在步骤S620，选择单元230可从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
需要说明的是，在评价值残差预测器包括多个子预测器的情况下，除了以上提及的步骤S510、步骤S540、步骤S580和步骤S590与以上描述的操作有所不同之外，其他操作与以上描述的评价值残差预测器为单个预测器的操作相同。
下面，将重点对在评价值残差预测器包括多个子预测器的情况下步骤S510、步骤S540、步骤S580和步骤S590所涉及的操作进行描述。
具体地，在评价值残差预测器包括多个子预测器的情况下，在步骤S510，初始化单元240可首先获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；然后，可分别利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值；接下来，针对每个子预测器，可通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器。这里，与每个子预测器对应的第三保真度评价方法的保真度可各不相同，并且其保真度可均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间。最后，在步骤S510，初始化单元240可对所述多个子预测器的各自的权重进行设置。
在评价值残差预测器包括多个子预测器的情况下，在步骤S540，每当采样到一个候选模型配置，评价值修正单元220可通过以下方式获得与该当前候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值；利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，其中，第三评价值指利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值。然后，候选模型配置获取单元210可至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
相应地，在步骤S580，更新单元250可将由各个子预测器预测出的差值组成的特征向量作为样本数据，并将该候选模型配置的第二评价值与第一评价值作为该样本数据的标记，构建一条用于训练线性回归模型的训练样本。随后，在步骤S590，更新单元250可至少基于构建的训练样本训练所述线性回归模型来得到更新后的各个子预测器的权重，进而更新评价值残差预测器。此外，在步骤S540，评价值修正单元220可利用各个子预测器分别对后续采样的候选模型配置执行预测，并用将各子预测器的预测结果与各个子预测器的更新后的权重相乘并求和所获得的结果来修正第一评价值，进而得到相应的修正后的评价值。同样，当所述评价值残差预测器被更新第二预设值次数后，候选模型配置获取单元210可停止采样新的候选模型配置。
关于在评价值残差预测器包括多个子预测器的情况下步骤S510、步骤S540、步骤S580和步骤S590的操作中涉及的一些具体细节内容可参照图3进行的描述，这里不再赘述。
根据图5所示的实现自动机器学习的方法在利用评价值残差预测器来修正保真度较低的第一评价值的基础上，进一步利用保真度较高的第二保真度评价方法对根据修正后的评价值选择的候选模型配置进行评价，并利用评价结果对评价值残差预测器进行更新，因此，可进一步提高评价值残差预测器的预测效果，从而可在降低评价代价的同时进一步提高自动机器学习过程中的优化效果。
根据本发明的示例性实施例，所述目标数据可以是图像数据、语音数据、用于描述工程控制对象的数据、用于描述用户(或其行为)的数据、用于描述行政、商业、医疗、监管、金融等各个领域内的对象和/或事件的数据等，相应地，基于自动机器学习得到的模型旨在针对与上述对象或事件有关的问题进行预测。例如，所述模型可用于预测图像类别、文本类别、语音情感、欺诈交易、广告点击率等，使得预测结果可直接作为决策依据或进一步结合其他规则而成为决策依据。本发明的示例性实施例并不限制模型的预测目的所涉及的具体技术领域，但原因在于所述模型完全可适用于任何能够提供相应训练数据或预测数据的具体领域或场景，而绝不意味着所述模型无法适用于相关的技术领域。
更进一步来说，基于本申请中的实现自动机器学习的方法和装置所得到的模型可应用于的场景包括但不限于以下场景：图像处理场景、语音识别场景、自然语言处理场景、自动控制场景、智能问答场景、业务决策场景、推荐业务场景、搜索场景和异常行为检测场景。上述各类场景下的更具体应用场景详见前面的描述。因此，本申请的实现自动机器学习的方法和装置，也可以应用于上述的任一场景，并且本申请的实现自动机器学习的方法和装置，在应用于不同的场景时，总体执行方案并无差别，只是在不同场景下针对的数据不同，因此本领域的技术人员基于前述的方案公开可以毫无障碍地将本申请的方案应用于不同的场景，因此不需要对每个场景一一进行说明。
以上已参照图1至图5描述了根据本申请示例性实施例的实现自动机器学习的装置和方法。然而，应理解的是：图1和图2所示出的装置和单元可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置或单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置或单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本公开的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；以及基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图4和图5进行自动机器学习方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。
应注意，根据本公开示例性实施例的自动机器学习装置可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个单元在计算机程序的功能架构中与各步骤相应，使得整个系装置通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
另一方面，当图1和图2所示的装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如，根据本公开示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；以及基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
具体说来，上述系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述系统还可包括显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述系统的所有组件可经由总线和/或网络而彼此连接。
这里，所述系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
在所述系统中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。
存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。
以上描述了本公开的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下，对于本领域中的普通技术人员来说许多修改和变更都是显而易见的。因此，本公开的保护范围应该以权利要求的范围为准。
Claims (10)
1.一种实现自动机器学习的方法，包括：
获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；
对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；
基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
2.如权利要求1所述的方法，其中，该方法在利用评价值残差预测器进行预测之前还包括初始化所述评价值残差预测器的步骤，该步骤包括：
获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；
分别利用第一保真度评价方法和第二保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值和第二评价值；
将所述至少一个候选模型配置中的每个候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建用于训练所述评价值残差预测器的训练样本，并基于构建的训练样本来训练所述评价值残差预测器。
3.如权利要求1所述的方法，其中，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值包括：
每当采样到一个候选模型配置，利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值，并利用评价值残差预测器预测出该当前候选模型配置的第一评价值与第二评价值之间的差值，用该差值修正第一评价值来得到与该当前候选模型配置对应的修正后的评价值；
至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
4.如权利要求3所述的方法，其中，该方法进一步包括：
每当获取到第一预设值个数的候选模型配置以及各自对应的修正后的评价值后，从该第一预设值个数的候选模型配置中选择一个候选模型配置；
利用第二保真度评价方法对所选择的该候选模型配置进行评价得到该候选模型的第二评价值，将该候选模型配置作为样本数据并将该候选模型配置的第二评价值和第一评价值的差值作为该样本数据的标记，构建一条用于训练所述评价值残差预测器的新训练样本；
至少基于构建的新训练样本训练所述评价值残差预测器，得到更新后的评价值残差预测器；
利用更新后的评价值残差预测器预测后续采样到的候选模型配置对应的第二评价值与第一评价值之间的差值，进而得到相应的修正后的评价值；
当所述评价值残差预测器被更新第二预设值次数后，停止采样新的候选模型配置。
5.如权利要求4所述的方法，其中，
所述从该第一预设值个数的候选模型配置中选择一个候选模型配置包括：从该第一预设值个数的候选模型配置中选择对应的修正后的评价值最高/最低的一个候选模型配置；
所述基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置包括：从利用第二保真度评价方法进行评价并得到相应第二评价值的各候选模型配置中选择第二评价值最高/最低的候选模型配置。
6.如权利要求1所述的方法，其中，所述方法还包括：在利用评价值残差预测器进行预测之前初始化所述评价值残差预测器，其中，所述评价值残差预测器包括多个子预测器，
其中，初始化所述评价值残差预测器步骤包括：
获取针对目标数据集进行自动机器学习时随机采样的至少一个候选模型配置；
利用第一保真度评价方法对所述至少一个候选模型配置中的每个候选模型配置进行评价，以获得与每个候选模型配置对应的第一评价值；
针对每个子预测器，通过以下方式对其进行训练：将所述至少一个候选模型配置中的每个候选模型配置作为样本数据，并将利用与该子预测器对应的第三保真度评价方法对该候选模型配置进行评价所获得的该候选模型配置的第三评价值与该候选模型配置的第一评价值之间的差值作为该样本数据的标记，构建用于训练该子预测器的第一训练样本，并且基于构建的第一训练样本训练该子预测器，其中，与每个子预测器对应的第三保真度评价方法的保真度各不相同，并且其保真度均介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；
对所述多个子预测器的各自的权重进行设置。
7.如权利要求6所述的方法，其中，获取针对目标数据集进行自动机器学习时采样的候选模型配置，以及对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，得到与该候选模型配置对应的修正后的评价值包括：
每当采样到一个候选模型配置，通过以下方式获得与该当前候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该当前候选模型配置进行评价得到第一评价值；利用所述多个子预测器中的每个子预测器预测出该当前候选模型配置的第一评价值与第三评价值之间的差值，其中，第三评价值指利用与每个子预测器对应的第三保真度评价方法对该候选模型配置进行评价时应得的评价值，并且第三保真度评价方法的保真度介于第一保真度评价方法的保真度和第二保真度评价方法的保真度之间；用通过将各个子预测器预测出的差值和各子预测器的权重相乘并求和所获得的结果来修正第一评价值，以得到与该当前候选模型配置对应的修正后的评价值；
至少基于该当前候选模型配置对应的修正后的评价值，采样新的候选模型配置。
8.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的实现自动机器学习的方法。
9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的实现自动机器学习的方法。
10.一种实现自动机器学习的装置，包括：
候选模型配置获取单元，被配置为获取针对目标数据集进行自动机器学习时采样的候选模型配置，其中，一个候选模型配置包括确定的机器学习算法和一组超参数；
评价值修正单元，被配置为对于获取到的候选模型配置中的至少部分候选模型配置中的每一个候选模型配置，通过以下方式得到与该候选模型配置对应的修正后的评价值：利用第一保真度评价方法对该候选模型配置进行评价得到第一评价值，利用评价值残差预测器预测出该候选模型配置的所述第一评价值与第二评价值之间的差值，并用该差值修正所述第一评价值来得到与该候选模型配置对应的修正后的评价值，其中，所述第二评价值指利用第二保真度评价方法对该候选模型配置进行评价时应得的评价值，第二保真度评价方法的保真度比第一保真度评价方法的保真度高；
选择单元，被配置为基于各候选模型配置对应的评价值，为所述目标数据集选择一个候选模型配置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018113393420 | 2018-11-12 | ||
| CN201811339342 | 2018-11-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178535A true CN111178535A (zh) | 2020-05-19 |
| CN111178535B CN111178535B (zh) | 2024-05-07 |
Family
ID=70657018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910618238.3A Active CN111178535B (zh) | 2018-11-12 | 2019-07-10 | 实现自动机器学习的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178535B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024104485A1 (zh) * | 2022-11-18 | 2024-05-23 | 中广核研究院有限公司 | 用于核反应堆仿真测试的多保真度网络构建方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0318794D0 (en) * | 2003-08-09 | 2003-09-10 | Alstom Switzerland Ltd | Adaptive sensor model |
| US20140236965A1 (en) * | 2013-02-21 | 2014-08-21 | Oracle International Corporation | Feature generation and model selection for generalized linear models |
| US20140344193A1 (en) * | 2013-05-15 | 2014-11-20 | Microsoft Corporation | Tuning hyper-parameters of a computer-executable learning algorithm |
| US20150088606A1 (en) * | 2013-09-20 | 2015-03-26 | Tata Consultancy Services Ltd. | Computer Implemented Tool and Method for Automating the Forecasting Process |
| US20150379429A1 (en) * | 2014-06-30 | 2015-12-31 | Amazon Technologies, Inc. | Interactive interfaces for machine learning model evaluations |
| CN105956722A (zh) * | 2016-06-22 | 2016-09-21 | 广东工业大学 | 一种短期风电功率的预测方法及装置 |
| US20170109649A1 (en) * | 2015-10-19 | 2017-04-20 | International Business Machines Corporation | Machine learning of predictive models using partial regression trends |
| CN107844837A (zh) * | 2017-10-31 | 2018-03-27 | 第四范式（北京）技术有限公司 | 针对机器学习算法进行算法参数调优的方法及系统 |
-
2019
- 2019-07-10 CN CN201910618238.3A patent/CN111178535B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0318794D0 (en) * | 2003-08-09 | 2003-09-10 | Alstom Switzerland Ltd | Adaptive sensor model |
| US20140236965A1 (en) * | 2013-02-21 | 2014-08-21 | Oracle International Corporation | Feature generation and model selection for generalized linear models |
| US20140344193A1 (en) * | 2013-05-15 | 2014-11-20 | Microsoft Corporation | Tuning hyper-parameters of a computer-executable learning algorithm |
| US20150088606A1 (en) * | 2013-09-20 | 2015-03-26 | Tata Consultancy Services Ltd. | Computer Implemented Tool and Method for Automating the Forecasting Process |
| US20150379429A1 (en) * | 2014-06-30 | 2015-12-31 | Amazon Technologies, Inc. | Interactive interfaces for machine learning model evaluations |
| US20170109649A1 (en) * | 2015-10-19 | 2017-04-20 | International Business Machines Corporation | Machine learning of predictive models using partial regression trends |
| CN105956722A (zh) * | 2016-06-22 | 2016-09-21 | 广东工业大学 | 一种短期风电功率的预测方法及装置 |
| CN107844837A (zh) * | 2017-10-31 | 2018-03-27 | 第四范式（北京）技术有限公司 | 针对机器学习算法进行算法参数调优的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王改堂;王红辉;赵金磊;白艳放;: "基于残差预测修正的可调激活函数极限学习机", 弹箭与制导学报, no. 06 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024104485A1 (zh) * | 2022-11-18 | 2024-05-23 | 中广核研究院有限公司 | 用于核反应堆仿真测试的多保真度网络构建方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178535B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751261B (zh) | 神经网络模型的训练方法和系统以及预测方法和系统 | |
| CN110751286B (zh) | 神经网络模型的训练方法和训练系统 | |
| WO2020020088A1 (zh) | 神经网络模型的训练方法和系统以及预测方法和系统 | |
| WO2020253775A1 (zh) | 机器学习建模过程的实现方法和系统 | |
| EP3985578A1 (en) | Method and system for automatically training machine learning model | |
| US11501304B2 (en) | Systems and methods for classifying imbalanced data | |
| US20210374749A1 (en) | User profiling based on transaction data associated with a user | |
| CN110705719A (zh) | 执行自动机器学习的方法和装置 | |
| CN110751285B (zh) | 神经网络模型的训练方法和系统以及预测方法和系统 | |
| CN110751287B (zh) | 神经网络模型的训练方法及系统以及预测方法及系统 | |
| CN111523677B (zh) | 实现对机器学习模型的预测结果进行解释的方法及装置 | |
| WO2020035075A1 (zh) | 在数据隐私保护下执行机器学习的方法和系统 | |
| US11334941B2 (en) | Systems and computer-implemented processes for model-based underwriting | |
| CN110858253A (zh) | 在数据隐私保护下执行机器学习的方法和系统 | |
| CN110717597A (zh) | 利用机器学习模型获取时序特征的方法和装置 | |
| CN111583018A (zh) | 一种基于用户金融表现分析的授信策略管理方法、装置和电子设备 | |
| US20220083571A1 (en) | Systems and methods for classifying imbalanced data | |
| US20230043882A1 (en) | Method for assisting launch of machine learning model | |
| CN110858326B (zh) | 模型训练及获取附加特征数据的方法、装置、设备及介质 | |
| US11501214B2 (en) | Systems and methods for managing, distributing and deploying a recursive decisioning system based on continuously updating machine learning models | |
| CN111178535B (zh) | 实现自动机器学习的方法和装置 | |
| US11561963B1 (en) | Method and system for using time-location transaction signatures to enrich user profiles | |
| CN111625572B (zh) | 在数据隐私保护下执行机器学习的方法和系统 | |
| Sabharwal et al. | Extending application of explainable artificial intelligence for managers in financial organizations | |
| US12039424B2 (en) | Systems and methods for managing, distributing and deploying a recursive decisioning system based on continuously updating machine learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |