CN117575004A - 基于双层决策树的核函数确定方法、计算设备和介质 - Google Patents

Abstract

本公开提供了一种基于双层决策树的核函数确定方法、计算设备和计算机可读存储介质。该方法包括：接收针对特定人工智能应用场景的一组输入参数；通过所述双层决策树的第一层决策树，为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树；以及通过所述核函数决策树确定该组输入参数对应的最佳核函数。

Description

基于双层决策树的核函数确定方法、计算设备和介质

技术领域

本公开概括而言涉及处理器领域，更具体地，涉及一种基于双层决策树的核函数确定方法、计算设备和计算机可读存储介质。

背景技术

在人工智能应用中，输入参数的张量（输入张量）经由人工智能模型处理，产生对应的输出结果（输出张量），这种运算的实际载体可以被表示为核函数（Kernel），也称为算子。人工智能当前已经应用于各种复杂的应用场景，如图像处理、语音识别、广告推荐等。在不同的应用场景中，对于同样类型的问题，也可能需要不同的最优核函数才能达到整体最优性能。例如，对于矩阵乘法运算（例如矩阵A乘以矩阵B得到矩阵C，即C= A*B）来说，在不同应用场景下，参数不同，因此所使用的最优核函数也不同。

针对这种情况，对于每个类型的问题（如矩阵乘法、卷积运算等），通常开发者会预先针对用户的各种不同应用场景开发很多不同的核函数来分别适配各种应用场景，并且针对每个具体人工智能应用，手动为其寻找适合于该具体应用的最优核函数。然而，由于实际输入参数的千差万别，通过手动找到的核函数可能不是最优核函数。尤其是，随着应用场景的增多以及所开发的核函数的数量增多，手动确定最优核函数将变得更加困难。如果所使用的核函数不是最优核函数，则整体性能将显著下降，在人工智能训练中，这意味着时间成本和芯片成本都大大增加。

发明内容

针对上述问题，本公开提供了一种通过构建双层决策树来自动确定用于某个人工智能应用场景的最优核函数的方法。

根据本公开的一个方面，提供了一种基于双层决策树的核函数确定方法。该方法包括：接收针对特定人工智能应用场景的一组输入参数；通过所述双层决策树的第一层决策树，为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树；以及通过所述核函数决策树确定该组输入参数对应的最优核函数。

在一些实现中，为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树包括：通过所述双层决策树的第一层决策树，确定所述双层决策树的第二层决策树的多个核函数决策树中的每个核函数决策树被选中的概率；以及选择概率最高的核函数决策树作为所述核函数决策树。

在一些实现中，为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树包括：通过所述双层决策树的第一层决策树，确定所述双层决策树的第二层决策树的多个核函数决策树中的每个核函数决策树被选中的概率；基于该组输入参数的特性为所述多个核函数决策树分配对应的权重；将每个核函数决策树被选中的概率与对应的权重相乘以获得加权概率；以及选择加权概率最高的核函数决策树作为所述核函数决策树。

在一些实现中，该方法还包括构造所述双层决策树，其中构造所述双层决策树包括：获取分别用于多种人工智能应用场景的多组输入参数样本，其中每组输入参数样本包括多个输入参数；基于所述多组输入参数样本中针对特定人工智能应用场景的输入参数样本构建所述双层决策树的第二层决策树中、用于所述特定人工智能应用场景的核函数决策树；以及基于所述多种人工智能应用场景的多组输入参数样本和对应的核函数决策树构建所述双层决策树的第一层决策树。

在一些实现中，构建所述双层决策树的第二层决策树中、用于所述特定人工智能应用场景的核函数决策树包括：确定包括针对所述特定人工智能应用场景的多个候选核函数的核函数集合；确定用于所述特定人工智能应用场景的输入参数样本；将每组输入参数样本遍历所述核函数集合以确定每个候选核函数的性能；基于每个候选核函数的性能确定该组输入参数样本的输出核函数；以及基于用于所述特定人工智能应用场景的输入参数样本和每组输入参数样本的输出核函数构建用于所述特定人工智能应用场景的核函数决策树。

在一些实现中，构建所述双层决策树的第一层决策树包括：确定包括多个候选核函数决策树的决策树集合；获取用于多种人工智能应用场景的多组输入参数样本，其中每组输入参数样本包括多个输入参数；将每组输入参数样本遍历所述决策树集合以确定每个候选核函数决策树的性能；基于每个候选核函数决策树的性能确定该组输入参数样本的输出核函数决策树；以及基于所述多组输入参数样本和每组输入参数样本的输出核函数决策树构建所述第一层决策树。

在一些实现中，基于所述多组输入参数样本和每组输入参数样本的输出核函数决策树构建所述第一层决策树包括：基于每组输入参数样本和输出核函数决策树构建用于所述第一层决策树的训练样本集合；计算所述训练样本集合在每个输入参数下的信息增益；从所有输入参数的信息增益中确定信息增益最大的输入参数；以及基于所述信息增益最大的输入参数与预定阈值的关系，构建所述第一层决策树。

在一些实现中，该方法还包括：对所述输入参数、所述候选核函数和核函数决策树进行数值编码。

根据本公开的另一个方面，提供了一种计算设备，包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令，所述指令当由所述至少一个处理器执行时，使得所述计算设备执行如上所述的方法的步骤。

根据本公开的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如上所述的方法。

附图说明

通过参考下列附图所给出的本公开的具体实施方式的描述，将更好地理解本公开，并且本公开的其他目的、细节、特点和优点将变得更加显而易见。

图1示出了现有技术中用于确定人工智能应用的最优核函数的路径的示意图。

图2示出了根据本发明实施例的计算环境的示意图。

图3示出了根据本发明实施例的基于双层决策树的核函数确定方法的示意性流程图。

图4示出了根据本发明实施例的双层决策树的示例性示意图。

图5A和图5B示出了确定核函数决策树的过程的不同实施方式的示例性流程图。

图6示出了根据本发明实施例的构建第二层决策树的过程的示例性流程图。

图7示出了根据本发明实施例的用于构建核函数决策树的过程的进一步详细流程图。

图8示出了根据本发明实施例的构建第一层决策树的过程的示例性流程图。

图9示出了根据本发明实施例的用于构建第一层决策树的过程的进一步详细流程图。

图10示出了适合实现本发明的实施例的计算设备的结构方框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一些实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。

图1示出了现有技术中用于确定人工智能应用的最优核函数的路径的示意图。如图1中所示，假设该人工智能应用的输入参数为m、n和k，在该树结构中表示为根节点110。输入参数m、n和k可以表示输入的数据矩阵的维度大小。例如在图像处理应用中，输入参数m、n和k可以分别表示输入图像的长、宽和高。根据输入参数的数值大小（即分支规则），根节点110去向不同的中间节点，直至最终达到所选择的最优核函数。核函数在该树结构中表示为叶节点130（如叶节点130-1、叶节点130-2、叶节点130-3、……）。从根节点110到叶节点130的路径可能经过一个或多个中间节点120（如中间节点120-1、中间节点120-2、中间节点120-3、中间节点120-4、中间节点120-5、……）。

在现有技术中，为了为每种人工智能应用的输入参数找到最优核函数，开发者需要提前构建核函数集合（即叶节点130的集合）并编写软件代码以实现上述分支规则，直至寻找到对于该人工智能应用的输入参数的最优核函数。

这样的伪代码例如如下所示：

void find_best_solution (int m, int n, int k) //寻找输入参数为整数m、n、k情况下的最优核函数

{

if (m<1024 && n < 96 && k < 48){

kernel_1(m, n, k);

}else if (m > 1024 && n > 96 && k < 48){

kernel_2(m, n, k);

}

else if (m >1024 && n > 1024 && k > 48){

kernel_3(m, n, k);

}

else if {

…

}

…

}

可以看出，上面的每个if else语句是一个分支，从根节点（如图1中所示的根节点110）的路径需要开发者手动选择分支规则进行分叉，以经由中间节点120到达每个叶节点130。从根节点110到中间节点120再到叶节点130的每个路径是一个具体问题寻找最优解的完整的解决方案或者叫根节点-叶节点映射关系。

在图1中，在m<1024并且n < 96并且k < 48的情况下，到达的叶节点为叶节点130-1，最优解为核函数Kernel_1；在m > 1024并且n > 96并且k < 48的情况下，到达的叶节点为叶节点130-2，最优解为核函数Kernel_2；在m >1024并且n > 1024并且k > 48的情况下，到达的叶节点为叶节点130-3，最优解为核函数Kernel_3。此外，输入参数m、n、k可以有更多种其他组合，对每种其他组合得到的最优解可以是其他核函数（图中为简洁起见未示出）。

也就是说，为每个人工智能应用确定最优核函数的方法是根据开发者的个人经验来手动固定地为该应用场景或参数组合写分支，分支的判断规则靠开发者个人经验和手动试错来判断。

图1和上述伪代码给出了三个输入参数m、n、k时确定最优核函数的示例。然而，根节点110处的输入参数的类型和数量可能会更多，并且输入参数的组合也是千变万化的。在每次出现不同的参数组合时，开发者都需要为该参数组合进行适配，建立相应的候选核函数集合，开发各种分支规则下的叶节点作为相应参数组合下的最优解。这个候选核函数集合可能非常大，并且随着集合中核函数数量增多，开发者手动设计分支规则和中间节点来一一添加路径将变得更加困难。此外，对于不同场景的输入参数组合，最优核函数可能会存在回环和重叠。例如，如图1中所示，在一些情况下，从中间节点120-3到叶节点130-2也可能存在分支，而人类思维的判断往往是无回环和单向的，这使得仅凭开发者的个人抽象思维来表达分支规则将会极大受限，上述伪代码中简单的手动if else语句也已经无法覆盖这些千变万化的场景。也就是说，根据开发者个人经验的模式来决定路径分支不仅容易出错，而且缺少灵活性，并且通常个人经验并不可靠，设计的路径也很难是最佳的。

针对上述问题，当前已经提出了基于决策树的核函数确定方法，其中通过利用包括所有候选核函数的决策树来自动确定人工智能应用的最优核函数。随着人工智能应用场景的增加以及伴随而来的候选核函数的大量增加，需要更加快速有效的方法来确定针对各种不同的人工智能应用场景的输入参数的最佳核函数。

鉴于此，本公开提供了一种基于双层决策树来自动确定某个人工智能应用场景的最优核函数的方法。在该方法中，可以先通过双层决策树的第一层（即，决策树的决策树）来为针对特定人工智能应用场景的输入参数确定一个核函数决策树，然后通过双层决策树的第二层（即，核函数决策树）来为该输入参数确定最优核函数，从而无需遍历所有可能的核函数即可确定最优核函数，能够大大减少在确定最优核函数过程中的计算量。相应地，本文还公开了该双层决策树的构建过程（训练过程）作为本发明的一部分。

图2示出了根据本发明实施例的计算环境200的示意图。如图2中所示，计算环境200可以包括第一计算设备210和第二计算设备220。第一计算设备210可以是用于执行人工智能应用的硬件设备，如图像处理设备、语音识别设备等，或者是专用或通用的用于执行人工智能应用的器件，如芯片、板卡等。在本发明的方案中，第一计算设备210可以用来利用所构建的双层决策树为特定人工智能应用场景确定最优核函数。第二计算设备220例如可以是双层决策树的开发者所使用的计算设备，其中，开发者可以针对要在第一计算设备210中运行的每种人工智能应用场景，利用第二计算设备220构建用于进行核函数选择的双层决策树。这里，将第一计算设备210和第二计算设备220描述为独立的设备，以分别实现双层决策树的使用和构建。然而，本领域技术人员可以理解，本发明并不局限于此，第一计算设备210和第二计算设备220也可以是单个集成的计算设备，其被用来构建该双层决策树并利用所构建的双层决策树进行最优核函数的确定。

第一计算设备210可以包括至少一个处理器212和与该至少一个处理器耦合的至少一个存储器214，该存储器214中存储有可由该至少一个处理器212执行的指令216，该指令216在被该至少一个处理器212执行时执行如下所述的方法的至少一部分。第一计算设备210的具体结构例如可以如下结合图10进行描述。此外，第二计算设备220可以具有和第一计算设备210类似的结构。

图3示出了根据本发明实施例的基于双层决策树的核函数确定方法300的示意性流程图。方法300可以由第一计算设备210执行或者在第一计算设备210中执行。

如图3中所示，在方框310，第一计算设备210可以接收针对特定人工智能应用场景的一组输入参数。

如上参考图1所述，对于不同人工智能应用场景，输入参数的类型和数量可能各不相同。例如，在图像或视频处理的场景中，输入参数可以是输入的数据块的长、宽和高，因此，对于这样的人工智能应用场景，一组输入参数可以包括四个输入参数，即数据块的长、宽、高和批数。在另一些实施例中，内存访问方式或者输入数据的类型也可以作为输入参数，在这种情况下，一组输入参数还可以包括另外两个输入参数，即内存访问方式和输入数据的类型。下表1示出了4组输入参数的实例。

如表1所示，每组输入参数包括6个输入参数，其中参数1指示内存访问方式，UMA表示一致内存访问，其中数据结构均匀地分布在内存的所有内存块中，NUMA表示非一致内存访问，其中每个数据结构都放置在彼此靠近的单个或少数几个内存块中；参数2指示输入数据的类型，FP16表示16位浮点数，FP32表示32位浮点数；参数3指示批数（Batch）；参数4-6分别指示输入的数据块的长、宽和高。其中，每组输入参数的每个参数可以具有各自的取值范围，一些参数可以仅具有两个或几个取值。例如，参数1指示内存访问方式，在第一计算设备210是人工智能芯片的情况下，内存访问方式只有两个取值UMA和NUMA。又例如，参数2指示输入数据的类型，其通常也仅具有几个取值，例如除了如上所示的FP16和FP32之外，通常还有其他浮点数或者定点数。与之不同，另一些参数可以具有更多种取值可能性，例如上述参数3-6可以在很大的正整数取值范围内取值。

在方框320，第一计算设备210可以通过双层决策树的第一层决策树，为方框310接收的该组输入参数确定该双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树。

图4示出了根据本发明实施例的双层决策树400的示例性示意图。如图4中所示，根据本发明的双层决策树400可以包括第一层决策树410和第二层决策树420。其中，第二层决策树420包括多个核函数决策树422（例如图4中示出了核函数决策树422-1、核函数决策树422-2和核函数决策树422-3），每个核函数决策树422可以由一个或多个核函数（即图1中所示的叶节点130）构成，用于从该一个或多个核函数中选择一个核函数。第一层决策树410用于从第二层决策树420的多个核函数决策树422中，为接收的该组输入参数选择一个核函数决策树422。即，第一层决策树410用于为输入参数选择一个适当的核函数决策树422，第二层决策树420用于从所选择的核函数决策树422中为该输入参数确定适当的核函数。因此，第一层决策树410也可以称为决策树的决策树。

决策树（Decision Tree）是机器学习中的一种预测模型，其通过对给定的一组训练样本进行学习以得到一组分类或回归的规则，该规则进一步用于对新出现的对象进行正确分类。常见的决策树类型包括ID3、C4.5和CART（Classification And Regression Tree，分类与回归树）等。

本文中，第一层决策树410和第二层决策树420可以采用相同类型或者不同类型的决策树。例如，以下的描述中，可以以CART为例来对第二层决策树420中的每个核函数决策树422的构建进行描述，其中输出的核函数（标签）为离散值，以基尼（Gini）指数来选择最优特征并决定该特征的最优二值切分点；以ID3（Iterative Dichotomiser 3，迭代二叉树3代）为例来对第一层决策树410的构建进行描述，其中使用信息熵和信息增益来确定决策树的分支规则，并且沿着信息增益最小的方向训练直至收敛。然而，本领域技术人员可以理解，本发明并不局限于此，而是可以使用各种已知的或者未来开发的决策树类型。

这里，方框320中所使用的双层决策树400是经过训练的决策树，其中第一层决策树410和第二层决策树420可以独立训练或者可以一次性训练，训练过程例如如下结合图6至图9所述。

在方框320，第一计算设备210可以将接收的该组输入参数输入双层决策树400的第一层决策树410，并且由第一层决策树410为该组输入参数选择适合于该组输入参数的一个核函数决策树422。

根据各个核函数决策树422的特性（例如训练时间特性）和应用场景之间的关系，方框320具有不同的实施方式。图5A和图5B示出了确定核函数决策树422的过程（方框320）的不同实施方式的示例性流程图。

在图5A所示的实施方式中，在方框322，第一计算设备210可以通过双层决策树400的第一层决策树410，确定第二层决策树420的多个核函数决策树422中的每个核函数决策树422被选中的概率。

例如，以如下所述的ID3算法构建的第二层决策树420为例，可以通过每个核函数决策树422与父节点（即该组输入参数）之间的信息熵的下降（即信息增益），并且根据各个核函数决策树422的信息增益来确定每个核函数决策树422被选中的概率。

然后，在方框328，第一计算设备210可以选择概率最高的核函数决策树422作为方框320中所确定的核函数决策树。

例如，假设对于三组输入参数，在方框322确定的核函数决策树422-1、422-2和422-3被选中的概率分别如下表2中所示，则在方框328中，确定的决策结果分别为概率最高的核函数决策树422-3、422-2和422-3。

在图5B所示的实施方式中，在方框322’，第一计算设备210可以通过双层决策树400的第一层决策树410，确定第二层决策树420的多个核函数决策树422中的每个核函数决策树422被选中的概率。

在方框324’，第一计算设备210可以基于该组输入参数的特性为多个核函数决策树422分配对应的权重。

在方框326’，第一计算设备210可以将每个核函数决策树422被选中的概率与对应的权重相乘以获得加权概率，并且在方框328’，第一计算设备210可以选择加权概率最高的核函数决策树作为方框320所确定的核函数决策树。

可以看出，与图5A的实施方式相比，图5B所示的实施方式中，对于每个核函数决策树422施加了不同的权重。权重的设置可以基于各个核函数决策树422的特性（例如训练时间特性，即训练时间与当前时间之差）与应用场景之间的关系。例如，假设当前的输入参数是某个新的应用场景的参数，其更适合于某个核函数决策树422（如核函数决策树422-1），则即使当前最新的核函数决策树422（如核函数决策树422-3）的数据容量更大，也可以通过为核函数决策树422-1分配更大的权重来使得核函数决策树422-1被选中作为适合该组输入参数的核函数决策树。

仍然以上述表2为例，假设针对不同应用场景为表2中的各个核函数决策树422分配了各自的权重，则最终的决策结果可能不同。例如，如下表3所示，

可以看出，对于上述第一组输入参数（序号1），由于核函数决策树422-1的权重配置得远远高于核函数决策树422-2和422-3，使得最终确定的决策结果从核函数决策树422-3变为核函数决策树422-1，而对于上述第二组输入参数（序号2），即使核函数决策树422-1的权重配置得远远高于核函数决策树422-2和422-3，最终确定的决策结果也仍然是核函数决策树422-2。

通过根据各个核函数决策树422的特性与当前的输入参数的应用场景之间的关系为各个核函数决策树422分配不同的权重，可以使得最终的决策结果更加匹配当前的应用场景。这里，权重的配置可以根据经验预先设置在第一计算设备210或第二计算设备220中，并且在接收到不同应用场景的输入参数时被触发。

继续图3，接下来，在方框330，第一计算设备210可以通过方框320确定的核函数决策树422来确定该组输入参数对应的最佳核函数。

这里，方框330中确定最佳核函数的过程类似于上述结合图5A所述的确定核函数决策树的过程，不同之处在于其利用的分别是第一层决策树410和第二层决策树420中的核函数决策树422。

作为方法300的一部分或者独立于方法300，本发明还可以包括构造双层决策树400的过程，其中，构造双层决策树400具体包括：获取分别用于多种人工智能应用场景的多组输入参数样本，并且基于所述多组输入参数样本中针对特定人工智能应用场景的输入参数样本构建第二层决策树420中、用于该特定人工智能应用场景的核函数决策树422（如以下结合图6和图7详细所述）以及基于多种人工智能应用场景的多组输入参数样本和对应的核函数决策树422构建第一层决策树410（如以下结合图8和图9详细所述）。

图6示出了根据本发明实施例的构建第二层决策树420的过程600的示例性流程图。如前所述，双层决策树400，包括第一层决策树410和第二层决策树420，的训练可以在不同于第一计算设备210的另一计算设备，如第二计算设备220中执行，也可以在第一计算设备210中执行。这里，以过程600在第二计算设备220中执行为例来进行描述。更具体地，图6所示的流程可以用于对第二层决策树420中的每个核函数决策树422进行训练，不同核函数决策树422可以使用针对不同应用场景的训练样本来进行训练。

如图6中所示，在方框610，第二计算设备220可以确定包括针对特定人工智能应用场景的多个候选核函数的核函数集合。核函数是对于每个人工智能应用的具体场景问题在人工智能芯片上存在的解，即图1所示的叶节点130。候选核函数可以通过采集各个人工智能应用的各种场景问题来获取，这些场景问题可以包括已知的具体应用，也可以针对当前还未出现但是为了增强泛化能力或者设计者认为未来可能出现的应用场景。

核函数集合可以动态更新。例如，在出现了新的场景问题，或者对于已有的场景问题出现了新的解的情况下，可以将该新的场景问题的解或者该新的解作为候选核函数加入该核函数集合。

在方框620，第二计算设备220可以确定用于该人工智能应用场景的输入参数样本。

如上参考图1所述，对于每种人工智能应用场景，输入参数的类型和数量可能各不相同。例如，在图像或视频处理的场景中，输入参数可以是输入的数据块的长、宽和高，因此，这样构建的每组输入参数样本将包括四个输入参数，即数据块的长、宽、高和批数。在另一些实施例中，内存访问方式或者输入数据的类型也可以作为输入参数，在这种情况下，每组输入参数样本还可以包括另外两个输入参数，即内存访问方式和输入数据的类型。这种输入参数样本的实例例如如上表1所示。

在方框630，可以将每组输入参数样本遍历该核函数集合以确定每个候选核函数的性能。

因为事前无法得知哪个核函数是哪一种场景的最优解，因此开发者只能通过强行运行所有可能的核函数来确定在每个核函数下的性能，即，对于每组输入参数样本，直接将每种候选核函数作为该场景的解进行运行以获得运行性能。

下表4示出了表1所示的输入参数样本遍历每个候选核函数时的性能。

如表4中所示，假设候选核函数为核函数0、核函数1、核函数2和核函数3，表1所示的4组输入参数样本分别代入上述候选核函数运行得到上表4所示的性能结果，单位为Tflops（每秒浮点运算次数），其中-1表示无效解，即参数不匹配或者该核函数无法解决该组输入参数样本的问题。例如，针对内存访问方式为NUMA的核函数肯定无法解决内存访问方式为UMA的场景问题，针对数据类型FP16开发的核函数也无法解决数据类型FP32的场景问题。在一些实施例中，如果第二计算设备220配置有防呆检查机制，则可以更早检查到这种参数不匹配，以降低遍历核函数的时间。

在参数更多、输入参数样本更多和/或候选核函数更多时，表4将产生海量数据。

在方框640，可以基于如上述表4所示的每个候选核函数的性能确定该组输入参数样本的输出核函数。例如，可以将性能最高的候选核函数作为该组输入参数样本的输出核函数。在这种情况下，对于如上表1和表4所示的实例，可以获得如下的表5来指示每个输入参数样本对应的输出核函数。

这样，可以将输入参数样本和输出核函数作为一组训练样本来对决策树进行训练，这个过程也可以称为对每个输入参数样本进行打标，即使用核函数1-3中的一个进行打标。

此外，在上述表4所示的实例中，对于每组输入参数样本，除了最优解之外，还可以包括次优解。次优解定义为可以正确解决问题但是解决时间比较长、性能较差的解。在本文的方案中，仅选择最优解（即最优核函数）作为输出核函数。

此外，如果有的场景中，所有核函数都是无效解（-1），这表示当前核函数集合中的候选核函数不足以解决当前输入参数样本的问题，即当前场景未被核函数集合的解空间所覆盖。在这种情况下，可以删除该输入参数样本不作为第二层决策树420的训练样本。这种情况可以反馈给开发者以通过其他方式为该场景开发相应的核函数。

在方框650，可以基于上述多组输入参数样本和每组输入参数样本的输出核函数构建用于该人工智能应用场景的核函数决策树422。

在方框640中，将每组输入参数样本和对应的输出核函数构建为一组训练样本，从而在方框650，可以利用多组训练样本的样本集合来构建该核函数决策树。

图7示出了根据本发明实施例的用于构建核函数决策树422的过程（方框650）的进一步详细流程图。

如图7中所示，在方框652，可以基于每组输入参数样本和方框640得到的输出核函数构建用于第二层决策树420的一个核函数决策树422的训练样本集合D。其中，训练样本集合D中的每组训练样本d包括一组输入参数样本x和与该组输入参数样本对应的输出核函数y，即d={x, y}。例如，如表5中所示，该训练样本集合D包括四组训练样本d。

在方框654，对于训练样本集合D中的每个训练样本d，计算每组输入参数样本的每个可能取值下该训练样本集合D的基尼指数。

例如，对于表5的第一组训练样本d1{(UMA, FP16, 24, 512, 80, 57), 核函数1}，确定参数1的每个可能取值UMA和NUMA下该训练样本集合D的基尼指数。

更具体地，对于每组训练样本d，分别确定其属于该核函数集合中的每个候选核函数的概率以得到该训练样本集合的概率分布的基尼指数。

例如，假设核函数集合中的候选核函数的数量为K（即可以分为K类），每组训练样本属于第k（k=1, 2, ……K）类的概率为p _k ，则该训练样本集合D的概率分布的基尼指数定义为：

/>

然后，基于该训练样本集合D的概率分布的基尼指数确定训练样本集合D的基尼指数/>；

这里，C _k 表示训练样本集合D中属于第k类的样本子集。

通过这种方式，在方框654可以确定每组输入参数样本的每个可能取值下的训练样本集合D的基尼指数。

在方框656，基于方框654确定的基尼指数，从每组输入参数样本的每个可能取值中，选择基尼指数最小的输入参数及其取值。

然后，在方框658，基于该基尼指数最小的输入参数及其取值将训练样本集合D划分为第一子训练样本集合D1和第二子训练样本集合D2。

进一步地，在得到第一子训练样本集合D1和第二子训练样本集合D2之后，可以确定是否满足停止条件。

如果确定满足停止条件，则可以基于此时的基尼指数最小的输入参数及其取值来构建该核函数决策树422。

如果确定不满足停止条件，可以对第一子训练样本集合D1和第二子训练样本集合D2重复上述方框654至658中针对训练样本集合D的操作，直至满足停止条件。

这里，满足停止条件可以包括计算得到的基尼指数小于预定阈值（此时认为样本基本属于同一类，无需继续划分）和/或所有输入参数都被遍历。

通过这种方式，可以针对某种特定人工智能应用场景，确定适合于该应用场景的核函数决策树，如图4中所示的核函数决策树422-1。以类似的方式，还可以确定针对其他人工智能应用场景的核函数决策树，如核函数决策树422-2、核函数决策树422-3等。

通过这种方式，可以根据初步的应用场景划分，分别构建起第二层决策树422的多个核函数决策树422。

图8示出了根据本发明实施例的构建第一层决策树410的过程800的示例性流程图。这里，仍然以过程800在第二计算设备220中执行为例来进行描述。在第二层决策树420所包含的核函数决策树422的数量较少的情况下，可以基于ID3算法来实现第一层决策树410。

如图8中所示，在方框810，第二计算设备220可以确定包括多个候选核函数决策树422的决策树集合，例如由如图4所示的核函数决策树422-1、422-2和422-3构成的集合。这里的每个核函数决策树422可以是通过如图6和图7所描述的方法构建的。

在方框820，第二计算设备220可以获取用于多种人工智能应用场景的多组输入参数样本，其中每组输入参数样本包括多个输入参数。

这里，每组输入参数样本仍然可以是如上结合表1所述的输入参数样本。

在方框830，第二计算设备220可以将每组输入参数样本遍历方框810的决策树集合以确定每个候选核函数决策树的性能。

下表6示出了表1所示的输入参数样本遍历每个候选核函数决策树422时的性能。

这里，每个核函数决策树422的性能是指该组输入参数样本在该核函数决策树422得到的最佳性能，该最佳性能可以通过遍历该核函数决策树422的每个核函数来得到。

在参数更多、输入参数样本更多和/或候选核函数更多时，表2将产生海量数据。

在方框840，可以基于如上述表6所示的每个候选核函数决策树422的性能确定该组输入参数样本的输出核函数决策树。例如，可以将性能最高的候选核函数决策树422作为该组输入参数样本的输出核函数决策树。在这种情况下，对于如上表1和表6所示的实例，可以获得如下的表7来指示每组输入参数样本对应的核函数决策树422。

这样，可以将输入参数样本和输出核函数决策树作为一组训练样本来对第一层决策树410进行训练，这个过程也可以称为对每组输入参数样本进行打标，即使用多个核函数决策树422中的一个进行打标。

类似地，在上述表7所示的实例中，对于每组输入参数样本，除了最优核函数决策树之外，还可以包括次优的核函数决策树。在本文的方案中，仅选择最优核函数决策树作为输出核函数决策树。

在方框850，可以基于上述多组输入参数样本和每组输入参数样本的输出核函数决策树422构建第一层决策树410。

图9示出了根据本发明实施例的用于构建第一层决策树410的过程（方框850）的进一步详细流程图。

如图9中所示，在方框852，基于每组输入参数样本和方框840得到的输出核函数决策树构建用于第一层决策树410的训练样本集合E。其中，训练样本集合E中的每组训练样本e包括一组输入参数样本x和与该输入参数样本对应的输出核函数决策树b，即e={x, b}。例如，如表7中所示，该训练样本集合E包括四组训练样本e。

在方框854，计算训练样本集合E在每个输入参数下的信息增益。

更具体地，假设核函数决策树集合中的候选核函数决策树422的数量为L（即可以分为L类），|E _l |表示第l个核函数决策树422的训练样本个数（l=1, 2, ……L），|E|表示训练样本的总数，则训练样本集合E的信息熵H(E)可以表示为：

另一方面，训练样本集合E中的每个输入参数A _i ，可以将该训练样本集合划分为多个子集Ei（i=1, 2, ……n），则划分之后的信息熵H(E|A _i )可以表示为：

其中，表示子集Ei中对应于第l个核函数决策树422的训练样本个数。

从而输入参数A _i 的信息增益g(E, A _i )可以表示为：

接下来，在方框856，从所有输入参数A _i 的信息增益g(E, A _i )中确定信息增益最大的输入参数A _i ，这里也将其称为A _g 。

然后，在方框858，可以基于信息增益最大的输入参数A _i 与预定阈值的关系，构建第一层决策树410。

例如，如果信息增益最大的输入参数A _g 小于该预定阈值，则根据A _g 将集合E划分为两个子节点。相反，如果信息增益最大的输入参数A _g 大于或等于该预定阈值，则根据A _g 中的每个可能取值对集合E进一步划分并重复上述方框854至858的操作。

进一步地，上述过程600和/或800还可以包括对输入参数和候选核函数以及核函数决策树422进行数值编码。

由于决策树只能识别数字，因此在对决策树进行训练之前，需要先将输入参数和标签（候选核函数/核函数决策树）分别编码为唯一的数值变量。此外，决策树输出也是数值变量，因此输出的数值变量被进一步解码为对应的核函数的字符串名字。为此，第二计算设备220需要维护输入参数和核函数以及输入参数和核函数决策树422的编码列表，其中每个输入参数和核函数以及核函数决策树422都被唯一编码。本文中，可以使用各种类型的数值编码，如onehot编码、自然编码等。

利用本发明的方案，通过构建双层决策树并利用该双层决策树为某个人工智能应用场景确定最优核函数，能够自动确定最优核函数，从而避免了繁琐的人工调优，并且无需遍历所有候选核函数即可确定最优核函数，从而能够更加快速准确并且灵活地确定最优解，达到进一步提升性能的目的。

图10示出了适合实现本发明的实施例的计算设备1000的结构方框图。计算设备1000例如可以是如上所述的用于执行方法300、过程600或过程800的第一计算设备210或第二计算设备220。

如图10中所示，计算设备1000可以包括一个或多个中央处理单元（CPU）1010（图中仅示意性地示出了一个），其可以根据存储在只读存储器（ROM）1020中的计算机程序指令或者从存储单元1080加载到随机访问存储器（RAM）1030中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1030中，还可存储计算设备1000操作所需的各种程序和数据。CPU1010、ROM 1020以及RAM 1030通过总线1040彼此相连。输入/输出（I/O）接口1050也连接至总线1040。

计算设备1000中的多个部件连接至I/O接口1050，包括：输入单元1060，例如键盘、鼠标等；输出单元1070，例如各种类型的显示器、扬声器等；存储单元1080，例如磁盘、光盘等；以及通信单元1090，例如网卡、调制解调器、无线通信收发机等。通信单元1090允许计算设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的方法或过程例如可由计算设备1000的CPU 1010执行。例如，在一些实施例中，上述方法或过程可被实现为计算机软件程序，其被有形地包括于机器可读介质，例如存储单元1080。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1020和/或通信单元1090而被载入和/或安装到计算设备1000上。当计算机程序被加载到RAM 1030并由CPU 1010执行时，可以执行上文描述的方法或过程的一个或多个操作。此外，通信单元1090可以支持有线或无线通信功能。

本领域技术人员可以理解，图10所示的计算设备1000仅是示意性的。在一些实施例中，计算设备1000可以包含更多或更少的部件。

以上结合附图对根据本发明的基于双层决策树确定核函数的方法和过程以及可用作第一计算设备210或第二计算设备220的计算设备1000进行了描述。然而本领域技术人员可以理解，上述方法和过程的步骤及其子步骤的执行并不局限于图中所示和以上所述的顺序，而是可以以任何其他合理的顺序来执行。此外，计算设备1000也不必须包括图10中所示的所有组件，其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件，并且这些组件的连接方式也不局限于图中所示的形式。

本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

在一个或多个示例性设计中，可以用硬件、软件、固件或它们的任意组合来实现本发明所述的功能。例如，如果用软件来实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上，或者作为计算机可读介质上的一个或多个指令或代码来传输。

本文公开的装置的各个单元可以使用分立硬件组件来实现，也可以集成地实现在一个硬件组件，如处理器上。例如，可以用通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。

本领域普通技术人员还应当理解，结合本发明的实施例描述的各种示例性的逻辑块、模块、电路和算法步骤可以实现成电子硬件、计算机软件或二者的组合。

本公开的以上描述用于使本领域的任何普通技术人员能够实现或使用本公开。对于本领域普通技术人员来说，本公开的各种修改都是显而易见的，并且本文定义的一般性原理也可以在不脱离本公开的精神和保护范围的情况下应用于其它变形。因此，本公开并不限于本文所述的实例和设计，而是与本文公开的原理和新颖性特性的最广范围相一致。

Claims (10)

1.一种基于双层决策树的核函数确定方法，包括：

接收针对特定人工智能应用场景的一组输入参数；

通过所述双层决策树的第一层决策树，为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树；以及

通过所述核函数决策树确定该组输入参数对应的最优核函数。

2.如权利要求1所述的方法，其中为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树包括：

通过所述双层决策树的第一层决策树，确定所述双层决策树的第二层决策树的多个核函数决策树中的每个核函数决策树被选中的概率；以及

选择概率最高的核函数决策树作为所述核函数决策树。

3.如权利要求1所述的方法，其中为该组输入参数确定所述双层决策树的第二层决策树的多个核函数决策树中的一个核函数决策树包括：

通过所述双层决策树的第一层决策树，确定所述双层决策树的第二层决策树的多个核函数决策树中的每个核函数决策树被选中的概率；

基于该组输入参数的特性为所述多个核函数决策树分配对应的权重；

将每个核函数决策树被选中的概率与对应的权重相乘以获得加权概率；以及

选择加权概率最高的核函数决策树作为所述核函数决策树。

4.如权利要求1所述的方法，还包括构造所述双层决策树，其中构造所述双层决策树包括：

获取分别用于多种人工智能应用场景的多组输入参数样本，其中每组输入参数样本包括多个输入参数；

基于所述多组输入参数样本中针对特定人工智能应用场景的输入参数样本构建所述双层决策树的第二层决策树中、用于所述特定人工智能应用场景的核函数决策树；以及

基于所述多种人工智能应用场景的多组输入参数样本和对应的核函数决策树构建所述双层决策树的第一层决策树。

5.如权利要求4所述的方法，其中构建所述双层决策树的第二层决策树中、用于所述特定人工智能应用场景的核函数决策树包括：

确定包括针对所述特定人工智能应用场景的多个候选核函数的核函数集合；

确定用于所述特定人工智能应用场景的输入参数样本；

将每组输入参数样本遍历所述核函数集合以确定每个候选核函数的性能；

基于每个候选核函数的性能确定该组输入参数样本的输出核函数；以及

基于用于所述特定人工智能应用场景的输入参数样本和每组输入参数样本的输出核函数构建用于所述特定人工智能应用场景的核函数决策树。

6.如权利要求4所述的方法，其中构建所述双层决策树的第一层决策树包括：

确定包括多个候选核函数决策树的决策树集合；

获取用于多种人工智能应用场景的多组输入参数样本，其中每组输入参数样本包括多个输入参数；

将每组输入参数样本遍历所述决策树集合以确定每个候选核函数决策树的性能；

基于每个候选核函数决策树的性能确定该组输入参数样本的输出核函数决策树；以及

基于所述多组输入参数样本和每组输入参数样本的输出核函数决策树构建所述第一层决策树。

7.如权利要求6所述的方法，其中基于所述多组输入参数样本和每组输入参数样本的输出核函数决策树构建所述第一层决策树包括：

基于每组输入参数样本和输出核函数决策树构建用于所述第一层决策树的训练样本集合；

计算所述训练样本集合在每个输入参数下的信息增益；

从所有输入参数的信息增益中确定信息增益最大的输入参数；以及

基于所述信息增益最大的输入参数与预定阈值的关系，构建所述第一层决策树。

8.如权利要求5所述的方法，还包括：

对所述输入参数、所述候选核函数和核函数决策树进行数值编码。

9. 一种计算设备，包括：

至少一个处理器；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令，所述指令当由所述至少一个处理器执行时，使得所述计算设备执行根据权利要求1至8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如权利要求1至8中任一项所述的方法。