CN110796270A - 一种机器学习模型选择方法 - Google Patents

Abstract

本发明公开一种机器学习模型选择方法，主要包括模型设置、训练测试、模型评估、模型选择、预测推理、模型监控，通过模型选择策略和模型评估结果选出采用的算法模型，模型选择过程分解为资源消耗、性能、业务风险等多个方面，更广泛的覆盖了机器学习模型选择所涉及的必要和关键过程，可以适用于各种类型机器学习算法模型的选择，通用性高。同时采用资源消耗、性能、业务风险等多个维度来作为模型选择的依据，除了使用常规的模型性能，还将工程代价和业务风险引入到模型选择过程，有效保证了算法模型的高工程可用性和低应用风险，实用价值高。

Description

一种机器学习模型选择方法

技术领域

本发明涉及计算机技术领域，特别涉及一种机器学习模型选择方法。

背景技术

机器学习是一项影响广泛的技术，它利用智能算法和计算机系统自动提取数据中的价值信息，显著提升系统的决策效率、准确率、实时性等性能。目前机器学习技术广泛应用于社会生产生活的多个方面，例如监控安防、语音助手、医疗诊断、产品质量检测等，带来生产、生活方式的变革。

机器学习包括数据、算法和算力三个要素，机器学习拥有丰富的算法模型，比如逻辑回归模型(Logistics Regression)、支持向量机模型(SVM)、神经网络模型(NeuralNetwork)、决策树(Decision Tree)等，这些算法本质是将数据模型化，并利用训练数据来寻找最优的模型参数，以便准确的表达数据和处理数据。在实际应用中需要选择合适的算法模型，然而，由于不同的机器学习模型可能存在相似的功能或性能，为机器学习的算法模型选择与应用带来了一定的困难。

模型选择通常建立在算法本身性能基础上，比如召回率(Recall)、准确率(Precision)等，但是，这种方式可能忽略了工程和业务等对模型的约束因素，比如计算和存储资源代价、业务风险代价等，可能导致选出的模型存在应用缺陷。

发明内容

本发明提出一种机器学习模型选择方法，旨在实现从算法、工程和业务多维度选择机器学习模型的方法，使其适用于多种目标任务的机器学习算法模型选择。

为实现上述目的，本发明提出的机器学习模型选择方法，包括如下步骤：

步骤S1：模型设置，根据目标任务确定多个候选算法模型的类型，每种类型可包含多个子模型。算法模型记为h_k(x)，设置各算法模型的功能参数，并初始化待训练算法模型h_k(x)的性能参数记为θ_k；K为候选算法模型h_k(x)的总个数；

步骤S2：训练测试，包括模型训练和模型测试，利用训练数据集训练算法模型h_k(x)找出影响算法性能的最优性能参数，得出模型训练性能和训练资源消耗数据序列，训练数据集样本总个数记为M；再利用测试数据集评估该算法模型h_k(x)的泛化能力，得到的模型泛化能力性能指标分别记为：p_k ¹，p_k ²，…，并得出模型测试的资源消耗数据序列，测试数据集样本总个数记为N；

步骤S3：模型评估，包括资源评估、性能评估、业务评估，根据模型训练和模型测试的资源消耗数据序列，得到资源评估结果，根据模型测试的若干性能指标，得到综合性能评估结果，根据算法模型h_k(x)的测试集预测推理结果和业务风险函数评估算法模型h_k(x)，得到总体业务风险；

步骤S4：模型选择，预先定义模型选择决策，根据模型选择策略和模型评估结果选出采用的算法模型h_k(x)；

步骤S5：预测推理，将选出的算法模型h_k(x)用于实际业务数据的预测推理，并将预测推理结果送入模型监控；

步骤S6：模型监控，通过模型监控实时分析预测结果，并监控异常结果，以便算法模型h_k(x)迭代优化。

优选地，所述步骤S2中模型训练包括如下步骤：

a.将训练数据集记为：

d_train＝﹛(x⁽¹⁾，y⁽¹⁾)，x⁽²⁾，y⁽²⁾)，…(x^(M)，y^(M))﹜

其中，

x^(m)为第m个训练样本的输入数据；

y^(m)为第m个训练样本的目标输出数据；

m＝1，2，…M；M为训练数据集样本总个数。

b.对于每个候选算法模型h_k(x)，先计算算法模型h_k(x)的最优性能参数，定义算法模型h_k(x)目标函数为：

Objective_k＝Cost(d_train，h_k(x))

通过迭代优化算法求出使Objective_k最小化的参数θ_k，即为最优性能参数；

c.通过d_train、h_k(x)、最优性能参数计算出表征训练质量好坏的性能指标；

d.统计训练过程中的计算资源消耗、存储资源消耗等信息：

﹛c_train，k，m_train，k﹜

可以采用周期采样的方式统计计算资源、存储资源，得出模型训练的资源消耗数据序列；

所述步骤S2中模型测试包括如下步骤：

a.将测试数据集记为：

d_test＝﹛(x_test ⁽¹⁾，y_test ⁽¹⁾)，x_test ⁽²⁾，y_test ⁽²⁾)，…(x_test ^(N)，y_test ^(N))﹜

其中：

x_test ⁽ⁿ⁾为第n个测试样本的输入数据；

y_test ⁽ⁿ⁾为第n个测试样本的目标输出数据；

n＝1,2,…N，N为测试数据集样本总个数。

b.对于每个候选算法模型h_k(x)，先计算预测推理结果，并得到模型测试的性能：

﹛p_k ¹，p_k ²，…，tr_k﹜

其中：

p_k ¹，p_k ²，…为模型测试的性能指标，与目标任务类型关联；

tr_k表示候选算法模型h_k(x)对测试样本的预测推理结果序列，用于业务风险评估；

c.统计记录预测推理的资源消耗，包括统计模型推理时长、计算资源消耗、存储资源消耗：

﹛t_infer，k，c_infer，k，m_infer，k﹜

可采用周期采样的方式统计推理时长、计算资源、存储资源，得出模型测试的资源消耗数据序列。

优选地，所述步骤S3中模型评估包括资源评估、性能评估、业务评估；

a.资源评估

包括对模型训练和模型测试资源消耗的数据统计，统计内容如下：

由模型训练的资源消耗数据序列得到计算资源、存储资源的统计信息：

﹛c_{trainr，k，stat}，m_{trainr，k，stat}﹜

c_{trainr，k，stat}或m_{trainr，k，stat}可以是均值、峰值、方差等统计特征的序列；

由模型测试的资源消耗数据序列得到推理时长、计算资源、存储资源的统计信息：

﹛t_{infer，k，stat}，c_{infer，k，stat}，m_{infer，k，stat}﹜

t_{infer，k，stat}或c_{infer，k，stat}或m_{infer，k，stat}可以是均值、峰值、方差等统计特征的序列。

b.性能评估

由所述步骤S2中模型测试的性能指标p_k ¹，p_k ²，…，计算模型测试的综合性能，记为testPerf_k：

testPerf_k＝f(p_k ¹，p_k ²，…)

综合性能用于判断测试性能的好坏。

c.业务评估

先定义单个测试样本的业务风险函数，得出业务风险值r_k ⁽ⁿ⁾：

r_k ⁽ⁿ⁾＝g(y_test ⁽ⁿ⁾，tr_k ⁽ⁿ⁾)

其中：

tr_k ⁽ⁿ⁾为算法模型h_k(x)对第n个测试样本输入数据x_test ⁽ⁿ⁾的预测推理结果，其目标结果为y_test ⁽ⁿ⁾；

再定义业务风险计算函数，得出总体业务风险，记为Risk_k，

Risk_k＝π(﹛r_k ⁽ⁿ⁾，n＝1，2，…，N﹜)

业务风险计算函数π需根据实际业务需求来定义。

优选地，所述步骤S4中模型选择决策包括资源消耗、性能和业务风险三个方面的子策略，

其中：

资源消耗子策略记为ResRule；

性能子策略记为Perf Rule；

业务风险子策略RiskRule；

模型选择策略SelectionRule；

则SelectionRule为：﹛ResRule，PerfRule，RiskRule﹜

根据SelectionRule挑出满足所有策略条件的算法模型子集，子集中可能包含零个、一个或多个算法模型。

若模型子集只有一个算法模型，选择该算法模型；

若模型子集有两个或两个以上的算法模型，则采用资源优先、性能优先、风险优先或综合评分的原则，选出最优算法模型。

优选地，所述资源优先为：选择计算资源或存储资源消耗最小的模型，对于选择资计算资源最小还是存储资源最小，需要根据实际系统设计需求确定。

所述风险优先为：选择业务风险最低的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更低的业务风险。

所述性能优先为：选择性能最优的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更好的性能。

所述综合评分为：将资源消耗、性能、业务风险进行评分并加权，得到综合评分，综合评分越高，选择优先级越高。

优选地，所述步骤S5中，将选定的算法模型h_k(x)应用于实际业务，实际业务的输入数据记为x_in，得到预测推理结果，记为y_predict，

y_predict＝h_k(x_in)

并将预测数据(x_in，y_predict)送入模型监控。

优选地，所述步骤S6中所述模型监控为：

先定义异常或关注场景；

再统计预测推理结果的概率特征；

根据异常或关注场景要求，判断是否出现异常或关注场景，如果出现则及时反馈给模型设置单元，作为模型迭代优化的依据。

与现有技术相比，本发明的有益效果是：将模型选择的过程分解为资源消耗、性能、业务风险代价等多个方面，更广泛的覆盖了机器学习模型选择所涉及的必要和关键过程，可以适用于各种类型机器学习算法模型的选择，通用性高。

同时采用资源消耗、性能、业务代价等多个维度来作为模型选择的依据，除了使用常规的模型性能，还将工程代价和业务风险引入到模型选择过程，有效保证了算法模型的高工程可用性和低应用风险，实用价值高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明机器学习模型选择方法流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明提出一种机器学习模型选择方法，包括如下步骤：

步骤S1：模型设置，根据目标任务确定多个候选算法模型的类型，每种类型可包含多个子模型，算法模型记为h_k(x)，设置各算法模型的功能参数，并初始化待训练算法模型h_k(x)的性能参数记为θ_k；K为候选算法模型h_k(x)的总个数；

步骤S2：训练测试，包括模型训练和模型测试，利用训练数据集训练算法模型h_k(x)找出影响算法性能的最优性能参数，得出模型训练性能和训练资源消耗数据序列，训练数据集样本总个数记为M；再利用测试数据集评估该算法模型h_k(x)的泛化能力，得到的模型泛化能力性能指标分别记为：p_k ¹，p_k ²，…，并得出模型测试的资源消耗数据序列，测试数据集样本总个数记为N；

步骤S3：模型评估，包括资源评估、性能评估、业务评估，根据模型训练和模型测试的资源消耗数据序列，得到资源评估结果，根据模型测试的若干性能指标，得到综合性能评估结果，根据算法模型h_k(x)的测试集预测推理结果和业务风险函数评估算法模型h_k(x)，得到总体业务风险；

步骤S4：模型选择，预先定义模型选择决策，根据模型选择策略和模型评估结果选出采用的算法模型h_k(x)；

步骤S5：预测推理，将选出的算法模型h_k(x)用于实际业务数据的预测推理，并将预测推理结果送入模型监控；

步骤S6：模型监控，通过模型监控实时分析预测结果，并监控异常结果，以便算法模型h_k(x)迭代优化。

本发明将模型选择的过程分解为资源消耗、性能、业务风险等多个方面，更广泛的覆盖了机器学习模型选择所涉及的必要和关键过程，可以适用于各种类型机器学习算法模型的选择，通用性高。同时采用资源消耗、性能、业务风险等多个维度来作为模型选择的依据，除了使用常规的模型性能，还将工程代价和业务风险引入到模型选择过程，有效保证了算法模型的高工程可用性和低应用风险，实用价值高。

本实施例中，假设机器学习模型的任务类型为目标识别，待识别的目标包含3种类型，分别记为C₁，C₂，C₃，训练数据集的样本个数M为600000，测试数据集的样本个数N为400000；

模型训练中训练数据集为：

d_train＝﹛(x⁽¹⁾，y⁽¹⁾)，x⁽²⁾，y⁽²⁾)，…(x^(600000)，y^(600000))﹜

其中：

x^(m)为第m个训练样本的输入数据；

y^(m)为第m个训练样本的目标输出数据；

m＝1,2,3,…600000。

模型测试中测试数据集为：

d_test＝﹛(x_test ⁽¹⁾，y_test ⁽¹⁾)，x_test ⁽²⁾，y_test ⁽²⁾)，…(x_test ^(400000)，y_test ^(400000))﹜

其中：

x_test ⁽ⁿ⁾为第n个测试样本的输入数据；

y_test ⁽ⁿ⁾为第n个测试样本的目标输出数据；

n＝1,2,3,…400000。

所述步骤S1中，若涉及分类问题，可以选用逻辑回归、支持向量机、深度学习模型3种类型作为候选模型类型，并设置候选算法模型的功能参数：

(1)逻辑回归模型h₁(x)的功能参数包括：特征、阶数等；

(2)支持向量机模型h₂(x)的功能参数包括：线性核、特征等；

(3)第一深度神经网络h₃(x)的功能参数包括：网络层数、每层神经元个数、激活函数类型等；

(4)第二深度神经网络h₄(x)的功能参数包括：网络层数、每层神经元个数、激活函数类型等；

其中：第一深度神经网络h₃(x)和第二深度神经网络h₄(x)采用不同的层数和神经元数；

初始化每个机器学习算法模型待训练的性能参数为：θ₁，θ₂，θ₃，θ₄。

所述步骤S2中，对于4个候选算法模型h_k(x)，分别执行如下步骤进行模型训练：

先计算算法模型h_k(x)的最优性能参数，定义算法模型h_k(x)的目标函数为：

Objective_k＝Cost(d_train，h_k(x))

通过迭代优化算法求出使Objective_k最小化的性能参数θ_k，即为最优性能参数；

通过d_train、h_k(x)、最优性能参数计算出表征训练质量好坏的性能指标，如训练误差等；

利用计算机软件统计出训练过程中的计算资源消耗、存储资源消耗等信息：

﹛c_train，k，m_train，k﹜

可以采用周期采样的方式统计计算资源、存储资源，得出模型训练的资源消耗数据序列。本实施例中，按照固定的时间间隔统计计算资源消耗和存储资源消耗，这里固定的时间间隔设置为0.1秒，计算资源消耗为CPU负载率，存储资源消耗为内存占用大小，即统计出每0.1秒的CPU负载、内存占用大小，得出训练资源消耗的统计数据序列。

对于4个候选算法模型h_k(x)，分别执行如下步骤进行模型测试：

先计算预测推理结果，并得到模型测试的性能：

﹛p_k ¹，p_k ²，…，tr_k﹜

其中：

p_k ¹，p_k ²，…为模型测试的性能指标，与目标任务类型关联，例如分类问题，p_k ¹，p_k ²，…可分别为召回率、准确率等；

tr_k表示候选算法模型h_k(x)对测试样本的预测推理结果序列，用于业务风险评估。本实施例以分类模型为例，分别进行预测推理测试，并保存每个测试结果的信息：

tr_k(n)＝y_k,test ⁽ⁿ⁾＝h_k(x_test ⁽ⁿ⁾)

其中：n＝1，2，…，400000

再在完成模型测试后，计算测试性能：

根据测试数据集d_test和算法模型h_k(x)，计算召回率和准确率指标：

召回率：

准确率：

其中：

TP(k)表示算法模型h_k(x)分类结果为True Positive的总数；

FN(k)表示算法模型h_k(x)分类结果为False Negative的总数；

FP(k)表示算法模型h_k(x)分类结果为False Positive的总数。

最后统计记录预测推理的资源消耗：

利用计算机软件统计模型的推理时长、计算资源消耗、存储资源消耗：

﹛t_infer，k，c_infer，k，m_infer，k﹜

采用周期采样的方式统计计算资源消耗和存储资源消耗，对每个测试数据来统计预测时长，不同的样本之间可能存在差异。具体地，按照固定的时间间隔统计计算资源消耗和存储资源消耗，这里固定的时间间隔设置为0.1秒，即统计出每0.1秒的CPU负载、内存占用大小，得出模型测试的资源消耗数据序列。

所述步骤S3中模型评估包括资源评估、性能评估、业务评估；

a.资源评估

包括对模型训练和模型测试资源消耗的数据统计，统计内容如下：

由模型训练的资源消耗数据序列得到计算资源、存储资源的统计信息：

﹛c_{trainr，k，stat}，m_{trainr，k，stat}﹜

c_{trainr，k，stat}或m_{trainr，k，stat}可以是均值、峰值、方差等统计特征的序列。

由模型测试的资源消耗数据序列得到推理时长、计算资源、存储资源的统计信息：

﹛t_{infer，k，stat}，c_{infer，k，stat}，m_{infer，k，stat}﹜

t_{infer，k，stat}或c_{infer，k，stat}或m_{infer，k，stat}可以是均值、峰值、方差等统计特征序列。本实施例中，根据测试资源消耗序列，得到预测推理的最大时长、CPU最高负载和存储最大占用：

﹛t_{infer，k，MAX}，c_{infer，k，MAX}，m_{infer，k，MAX}﹜

b.性能评估

由所述步骤S2中模型测试的性能指标p_k ¹，p_k ²，…，计算模型测试的综合性能，记为testPerf_k：

testPerf_k＝f(p_k ¹，p_k ²，…)

综合性能用于判断测试性能的好坏。

本实施例，根据模型测试性能p_k ¹，p_k ²计算得到模型综合性能：

假设四个算法模型的综合性能计算结果为：{testPerf₁，testPerf₂，testPerf₃，testPerf₄}＝﹛0.5，0.8，0.95，0.93﹜。

c.业务评估

先定义单个测试样本的业务风险函数，得出业务风险值r_k ⁽ⁿ⁾：

r_k ⁽ⁿ⁾＝g(y_test ⁽ⁿ⁾，tr_k ⁽ⁿ)

其中：

tr_k ⁽ⁿ⁾为算法模型h_k(x)对第n个测试样本输入数据x_test ⁽ⁿ⁾的预测推理结果，其目标结果为y_test ⁽ⁿ⁾；

再定义业务风险计算函数，得出总体业务风险，记为Risk_k，

Risk_k＝π(﹛r_k ⁽ⁿ⁾，n＝1，2，…，400000﹜)

业务风险计算函数π需根据实际业务需求来定义。

具体地，本实施例中，定义业务风险函数为离散的业务风险函数g，业务风险函数g变量如表1所示：

表1

真实类型/推理类型	C<sub>1</sub>	C<sub>2</sub>	C<sub>3</sub>
				C1	0	0.12	0.90
C2	0.18	0	0.80
				C3	0.21	0.35	0

可以通过查找表1计算出每个测试结果的风险，即业务代价r_k ⁽ⁿ⁾，

r_k ⁽ⁿ⁾＝g(C_true ⁽ⁿ⁾，C_infer ⁽ⁿ⁾)

例如，在某测试样本的真实类型为C₁的情况下，当预测推理结果分别识别为C₁，C₂，C₃时，该测试样本的业务风险值r_k ⁽ⁿ⁾分别为0、0.12、0.90。

再统计出算法模型的总体业务风险。本实施例采用r_k ⁽ⁿ⁾的一阶期望来衡量算法模型h_k(x)的总体业务风险：

其中，P_i,j为测试样本实际为第i类目标，但被模型预测推理识别为第j类的概率。此处假设四个算法模型总体业务风险{Risk₁，Risk₂，Risk₃，Risk₄}的计算结果为：﹛0.5，0.7，0.2，0.4﹜。

所述步骤S4中模型选择决策包括资源消耗、性能和业务风险三个方面的子策略，

其中：

资源消耗子策略记为ResRule，记为策略1：Null；

性能子策略记为PerfRule，记为策略2：testPerf＞0.9；

业务风险子策略RiskRule，记为策略3：Risk＜0.3；

模型选择策略SelectionRule；

则SelectionRule为：﹛ResRule，Perf Rule，RiskRule﹜。

根据SelectionRule挑出满足所有策略条件的算法模型子集，子集中可能包含零个、一个或多个算法模型。

若模型子集只有一个算法模型，选择该算法模型；

若模型子集有两个或两个以上的算法模型，则采用资源优先、性能优先、风险优先或综合评分的原则，选出最优算法模型。

所述资源优先为：选择计算资源或存储资源消耗最小的模型，对于选择资计算资源最小还是存储资源最小，需要根据实际系统设计需求确定。

所述风险优先为：选择业务风险最低的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更低的业务风险。

所述性能优先为：选择性能最优的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更好的性能。

所述综合评分为：将资源消耗、性能、业务风险进行评分并加权，得到综合评分，综合评分越高，选择优先级越高。

本实施例选择风险优先作为评选依据。

由于四个算法模型的综合性能{testPerf₁，testPerf₂，testPerf₃，testPerf₄}计算结果为：﹛0.5，0.8，0.95，0.93﹜，四个算法模型总体业务风险{Risk₁，Risk₂，Risk₃，Risk₄}计算结果为：﹛0.5，0.7，0.2，0.4﹜，其中只有算法模型h₃(x)满足：testPerf＞0.9、Risk＜0.3，因此选择算法模型h₃(x)用于实际业务预测推理。

所述步骤S5中，将选定的算法模型h_k(x)应用于实际业务，实际业务的输入数据记为x_in，得到预测推理结果，记为y_predict，

y_predict＝h_k(x_in)

并将预测数据(x_in，y_predict)送入模型监控。

所述步骤S6中所述模型监控为：

先定义异常或关注场景，包括预测推理结果的概率分布与期望分布有差异、预测推理结果出现的小概率发生的事件次数高于特定限值、预测推理的下游模块出现功能异常等，可以根据业务特点定义更多的异常或关注场景。再统计预测推理结果的概率特征。本实施例根据业务特点估计识别目标C₃的出现概率应低于3％，将关注场景定义为：当前时刻之前的100次预测推理中出现3次及以上的C₃类型结果。根据异常或关注场景要求，判断是否出现异常或关注场景，如果出现则及时反馈给模型设置单元，作为模型迭代优化的依据。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种机器学习模型选择方法，其特征在于，包括如下步骤：

步骤S1：模型设置，根据目标任务确定多个候选算法模型的类型，每种类型可包含多个子模型。算法模型记为h_k(x)，设置各算法模型的功能参数，并初始化待训练算法模型h_k(x)的性能参数记为θ_k；K为候选算法模型h_k(x)的总个数；

步骤S2：训练测试，包括模型训练和模型测试，利用训练数据集训练算法模型h_k(x)找出影响算法性能的最优性能参数，得出模型训练性能和训练资源消耗数据序列，训练数据集样本总个数记为M；再利用测试数据集评估该算法模型h_k(x)的泛化能力，得到的模型泛化能力性能指标分别记为：p_k ¹，p_k ²，…，并得出模型测试的资源消耗数据序列，测试数据集样本总个数记为N；

步骤S3：模型评估，包括资源评估、性能评估、业务评估，根据模型训练和模型测试的资源消耗数据序列，得到资源评估结果，根据模型测试的若干性能指标，得到综合性能评估结果，根据算法模型h_k(x)的测试集预测推理结果和业务风险函数评估算法模型h_k(x)，得到总体业务风险；

步骤S4：模型选择，预先定义模型选择决策，根据模型选择策略和模型评估结果选出采用的算法模型h_k(x)；

步骤S5：预测推理，将选出的算法模型h_k(x)用于实际业务数据的预测推理，并将预测推理结果送入模型监控；

步骤S6：模型监控，通过模型监控实时分析预测结果，并监控异常结果，以便算法模型h_k(x)迭代优化。

2.如权利要求1所述的机器学习模型选择方法，其特征在于，所述步骤S2中模型训练包括如下步骤：

a.将训练数据集记为：

d_train＝﹛(x⁽¹⁾，y⁽¹⁾)，x⁽²⁾，y⁽²⁾)，…(x^(M)，y^(M))﹜

其中，

x^(m)为第m个训练样本的输入数据；

y^(m)为第m个训练样本的目标输出数据；

m＝1，2，….M；M为训练数据集样本总个数。

b.对于每个候选算法模型h_k(x)，先计算算法模型h_k(x)的最优性能参数，定义算法模型h_k(x)目标函数为：

Objective_k＝Cost(d_train，h_k(x))

通过迭代优化算法求出使Objective_k最小化的参数θ_k，即为最优性能参数；

c.通过d_train、h_k(x)、最优性能参数计算出表征训练质量好坏的性能指标；

d.统计训练过程中的计算资源消耗、存储资源消耗等信息：

﹛c_train，k，m_train，k﹜

可以采用周期采样的方式统计计算资源、存储资源，得出模型训练的资源消耗数据序列；

所述步骤S2中模型测试包括如下步骤：

a.将测试数据集记为：

d_test＝﹛(x_test ⁽¹⁾，y_test ⁽¹⁾)，x_test ⁽²⁾，y_test ⁽²⁾)，…(x_test ^(N)，y_test ^(N))﹜

其中：

x_test ⁽ⁿ⁾为第n个测试样本的输入数据；

y_test ⁽ⁿ⁾为第n个测试样本的目标输出数据；

n＝1，2，…N；N为测试数据集样本总个数。

b.对于每个候选算法模型h_k(x)，先计算预测推理结果，并得到模型测试的性能：

﹛p_k ¹，p_k ²，…，tr_k﹜

其中：

p_k ¹，p_k ²，…为模型测试的性能指标，与目标任务类型关联；

tr_k表示候选算法模型h_k(x)对测试样本的预测推理结果序列，用于业务风险评估；

c.统计记录预测推理的资源消耗，包括统计模型推理时长、计算资源消耗、存储资源消耗：

﹛t_infer，k，c_infer，k，m_infer，k﹜

可采用周期采样的方式统计推理时长、计算资源、存储资源，得出模型测试的资源消耗数据序列。

3.如权利要求1所述的机器学习模型选择方法，其特征在于，所述步骤S3中模型评估包括资源评估、性能评估、业务评估；

a.资源评估

包括对模型训练和模型测试资源消耗的数据统计，统计内容如下：

由模型训练的资源消耗数据序列得到计算资源、存储资源的统计信息：

﹛c_{trainr，k，stat}，m_{trainr，k，stat}﹜

c_{trainr，k，stat}或m_{trainr，k，stat}可以是均值、峰值、方差等统计特征的序列；

由模型测试的资源消耗数据序列得到推理时长、计算资源、存储资源的统计信息：

﹛t_{infer，k，stat}，c_{infer，k，stat}，m_{infer，k，stat}﹜

t_{infer，k，stat}或c_{infer，k，stat}或m_{infer，k，stat}可以是均值、峰值、方差等统计特征的序列。

b.性能评估

由所述步骤S2中模型测试的性能指标p_k ¹，p_k ²，…，计算模型测试的综合性能，记为testPerf_k：

testPerf_k＝f(p_k ¹，p_k ²，…)

综合性能用于判断测试性能的好坏。

c.业务评估

先定义单个测试样本的业务风险函数，得出业务风险值r_k ⁽ⁿ⁾：

r_k ⁽ⁿ⁾＝g(y_test ⁽ⁿ⁾，tr_k ⁽ⁿ⁾)

其中：

tr_k ⁽ⁿ⁾为算法模型h_k(x)对第n个测试样本输入数据x_test ⁽ⁿ⁾的预测推理结果，其目标结果为y_test ⁽ⁿ⁾；

再定义业务风险计算函数，得出总体业务风险，记为Risk_k，

Risk_k＝π(﹛r_k ⁽ⁿ⁾，n＝1，2，…，N﹜)

业务风险计算函数π需根据实际业务需求来定义。

4.如权利要求1所述的机器学习模型选择方法，其特征在于，所述步骤S4中模型选择决策包括资源消耗、性能和业务风险三个方面的子策略，

其中：

资源消耗子策略记为ResRule；

性能子策略记为Perf Rule；

业务风险子策略RiskRule；

模型选择策略SelectionRule；

则SelectionRule为：﹛ResRule，PerfRule，RiskRule﹜

根据SelectionRule挑出满足所有策略条件的算法模型子集，子集中可能包含零个、一个或多个算法模型。

若模型子集只有一个算法模型，选择该算法模型；

若模型子集有两个或两个以上的算法模型，则采用资源优先、性能优先、风险优先或综合评分的原则，选出最优算法模型。

5.如权利要求4所述的机器学习模型选择方法，其特征在于，

所述资源优先为：选择计算资源或存储资源消耗最小的模型，对于选择资计算资源最小还是存储资源最小，需要根据实际系统设计需求确定。

所述风险优先为：选择业务风险最低的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更低的业务风险。

所述性能优先为：选择性能最优的模型；或者，在计算资源允许的情况下，可以分析多模型联合能否获得更好的性能。

所述综合评分为：将资源消耗、性能、业务风险进行评分并加权，得到综合评分，综合评分越高，选择优先级越高。

6.如权利要求1所述的机器学习模型选择方法，其特征在于，所述步骤S5中，将选定的算法模型h_k(x)应用于实际业务，实际业务的输入数据记为x_in，得到预测推理结果，记为y_predict，

y_predict＝h_k(x_in)

并将预测数据(x_in，y_predict)送入模型监控。

7.如权利要求1所述的机器学习模型选择方法，其特征在于，所述步骤S6中所述模型监控为：

先定义异常或关注场景；

再统计预测推理结果的概率特征；

根据异常或关注场景要求，判断是否出现异常或关注场景，如果出现则及时反馈给模型设置单元，作为模型迭代优化的依据。

Images