CN115705500A - 用于创建机器学习系统的方法和设备 - Google Patents

Abstract

用于创建机器学习系统的方法和设备，所述方法包括以下步骤：提供具有输入节点和输出节点的有向图，其中向每条边分配概率，该概率表征以什么样的概率绘制边。在随机绘制架构之前，根据对有向图架构的探索程度来操纵所述概率。

Description

用于创建机器学习系统的方法和设备

技术领域

本发明涉及一种使用描述机器学习系统的多个可能架构的图来创建机器学习系统的方法、计算机程序和机器可读存储介质。

背景技术

架构搜索的目标，特别是神经网络的架构搜索的目标是完全自动地在预给定数据集的性能指标/度量的意义上找到尽可能好的网络架构。

为了使自动架构搜索在计算上高效，搜索空间中的不同架构可以共享其运算的权重，例如在one-shot NAS模型中，由Pham, H.、Guan, M.Y.、Zoph, B.、Le, Q.V.和Dean, J.(2018)：Efficient neural architecture search via parameter sharing（通过参数共享进行高效的神经架构搜索），arXiv预印本arXiv:1802.03268展示的。

在此，一次性（one-shot）模型典型地构建为有向图，其中节点表示数据，边表示运算，这些运算表示将输入节点的数据转换为输出节点的数据的计算规则。搜索空间在此由一次性模型中的子图（例如路径）组成。由于一次性模型可能非常大，因此可以从一次性模型中提取各个架构以用于训练，例如由Cai, H.、Zhu, L.和Han, S.(2018)在ProxylessNAS：Direct neural architecture search on target task and hardware（针对目标任务和硬件的直接神经架构搜索），arXiv预印本arXiv:1812.00332中展示的。这典型地通过绘制从网络的设定输入节点到输出节点的单个路径来实现，例如由Guo, Z.、Zhang, X.、Mu, H.、Heng, W.、Liu, Z.、Wei, Y.和Sun, J.(2019)：Single path one-shotneural architecture search with uniform sampling（具有均匀采样的单路径一次性神经架构搜索），arXiv预印本arXiv:1904.00420展示的。

作者Cai等人在他们的出版物ProxylessNAS: Direct Neural ArchitectureSearch on Target Task and Hardware，可在线获取：https://arxiv.org/abs/1812.00332中公开了一种将硬件特性考虑在内的架构搜索。

为了从一次性模型中选择各个路径，特别是这些路径的对应架构，引入了概率分布，基于所述概率分布来绘制路径。这使得可以从一次性模型中提取各个架构。在架构搜索期间优化该分布的参数。通常，概率分布是在节点的输出边上引入的。这些概率分布典型地是由实参数向量（所谓的logit（多元逻辑））参数化的多项分布，所述实参数向量通常使用softmax函数标准化为概率向量，即向量和的条目累积为值1。然后，超模型的每个节点的所有概率分布的logit形成架构参数集，可以在架构搜索期间对该架构参数集进行优化。然而，logit的优化会导致架构空间中的过早收敛，这不会容许在搜索过程的后期阶段探索新型架构。

发明内容

因此，建议最初在架构搜索期间促进根据收敛进度对架构的探索。这样做的优点是由此可以找到更好的架构。

在第一方面，本发明涉及一种用于创建机器学习系统的计算机实现的方法，所述机器学习系统优选地用于图像处理。

该方法至少包括以下步骤：提供具有通过多个边和节点连接的一个或多个输入节点和输出节点的有向图。所述图，特别是一次性（one-shot）模型，描述了包括所述机器学习系统的多个可能架构的超模型。向多个边分别分配变量(α)，该变量表征了可以以什么样的概率绘制相应边。替代地，可以将概率分配给节点。变量(α)可以是logit或已经是概率。可以借助于softmax函数将logit映射到0和1之间的值范围，然后将logit的这些映射解释为概率，或者这些映射描述了多项概率分布。

相应边的概率涉及决策点处的可能决策，特别是作为在该决策点处的可能决策可用的所有边。也就是说，相应决策点处的边概率之和累加起来应当为值1。

然后是通过有向图根据变量（α）随机绘制多个子图，特别是从通过将softmax函数的输出应用于logit而定义的概率分布中。然而，对于该绘制，根据图中变量（α）的值的分布来改变变量（α）。换句话说，可以说变量(α) 、特别是logit的分布描述了搜索空间中架构的分布。因此，变量(α)表征了搜索空间中架构的集中度量或频率分布。因为已经证明，架构的这种集中度量以有说服力的方式描述了有向图的探索程度。如上所述，变量(α)描述了搜索空间中架构的分布。在训练期间，对该分布有效地优化，使得在成本函数的意义上的良好架构获得更高的概率，该成本函数表征机器学习系统用于架构搜索的目标任务。根据该分布有多均匀或有多集中，在绘制时探索更多或更少的架构。因此，建议根据该度量来调节收敛性。通过操纵变量（α），可以使得架构搜索的收敛性在对应地改变变量（α）时缓慢进展，由此有效地实现了对搜索空间的改进探索。也就是说，根据探索来控制收敛性。因此，变量(α)的改变也可以称为松弛，其在绘制边时严格根据实际分配的概率软化决策并导致收敛性（特别是找到最佳架构）优选最初以较小的收敛速度进展。

需要注意的是，子图的绘制可以迭代地进行。因此，通过连续绘制边来逐步创建子图，其中在所述子图的每个被到达的节点处后续边是从与该节点连接的可能后续边中根据分配给它们的概率随机选择的。此外需要注意的是，路径可以理解为有向图的子图，该子图包括有向图的边和节点的子集，以及其中该子图将有向图的输入节点与输出节点连接。

接下来教导与绘制的子图相对应的机器学习系统。在教导过程中适配所述机器学习系统的参数和所述变量(α)，使得成本函数得到优化。

接下来根据经过适配的概率最后一次绘制子图，并创建与该子图对应的机器学习系统。在最后步骤中最后一次绘制子图可以随机进行，或者有针对性地绘制具有最高概率的边。

建议当变量(α)的值的分布的度量相对于预给定目标分布的度量更大时，改变变量(α)，使得以基本相等的概率来绘制边。这样做的优点是即使架构搜索开始收敛，仍然实现对图的探索。

此外，建议根据有向图中架构的概率分布的熵并且特别是根据已经执行的教导步骤的数量来改变变量(α)。

熵可以理解为图中架构无序程度的度量，或者熵可以理解为在通过图来定义的搜索空间中架构分布的度量。对于大图，可以通过随机样本来估计熵。可以通过有向图中路径/子图的分布的对数的期望值来确定所估计的熵。对于大图，可以借助于蒙特卡罗方法估计熵，即添加随机样本。

此外建议，当图中的熵小于预给定的目标熵(S_target)时按照以下方式改变用于改变变量(α)的参数(T,ϵ)，即该参数影响变量(α)的改变，使得绘制的概率转变为边的基本相同概率的绘制。优选地，当所确定的熵(S_new)大于预给定的目标熵(S_target)时按照以下方式改变所述参数(T,ϵ)，即引起变量(α)的改变，使得提高绘制相应边的概率，或将所述变量改变为使得变量之间的关系得到加强。

这样做的优点是，通过绘制过程中概率的这些改变，可以以特别简单的方式以调节的方式干预探索进度，使得熵S_target控制探索，由此避免仓促地固定于图中的架构子集。

还建议，所述成本函数具有第一函数，所述第一函数评估所述机器学习系统的性能，例如分割的准确性、对象识别等，并且所述成本函数可选地具有第二函数，所述第二函数根据子图的长度或子图的拓扑或结构以及边的运算来估计所述机器学习系统的等待时间。替代地或附加地，所述第二函数还可以估计所述机器学习系统的计算机资源消耗。

优选地，所创建的机器学习系统是人工神经网络，所述人工神经网络可以被设置用于图像中的分割和对象检测。

此外建议，根据所述机器学习系统的输出来控制技术系统。所述技术系统的示例在以下的附图描述中示出。

在另外的方面中，本发明涉及一种计算机程序，其被设置为执行上述方法，并且本发明还涉及一种机器可读存储介质，其上存储有所述计算机程序。

附图说明

下面参照附图更详细地解释本发明的实施方式。在附图中：

图1示出了本发明的实施方式的流程图的示意图；

图2示出了致动器控制系统的示意图；

图3示出了用于控制至少部分自主的机器人的实施例；

图4示意性地示出了用于控制制造系统的实施例；

图5示意性地示出了用于控制访问系统的实施例；

图6示意性地示出了用于控制监视系统的实施例；

图7示意性地示出了用于控制个人助理的实施例；

图8示意性地示出了用于控制医学成像系统的实施例；

图9示出了训练设备的可能结构。

具体实施方式

为了为预给定的数据集找到好的深度神经网络架构，可以应用自动的架构搜索方法，即所谓的神经架构搜索（NAS）方法。为此，显式或隐式地定义神经网络可能架构的搜索空间。

下面为了描述搜索空间应当定义计算图（所谓的一次性（one-shot）模型），所述计算图包含搜索空间中多个可能架构作为子图。由于一次性模型可能非常大，因此可以从一次性模型中提取各个架构以进行训练。这例如在从网络的设定的输入节点到设定的输出节点的单个路径中绘制来实现。

在最简单的情况下，当计算图由一个简单的节点链组成，每个节点可以通过不同的运算连接时，为每两个连续节点绘制将这两个连续节点连接的运算就足够了。

如果一次性模型更一般地是任意有向图，则例如可以迭代地绘制一条路径，在该路径中从输入（输入节点）开始，然后绘制下一个节点和连接边，其中这个过程迭代地持续到目标节点。

然后可以教导由此通过绘制获得的路径，该路径可以对应于有向图的子图，其方式是为每个小批量训练数据绘制架构并借助于标准梯度步长方法适配所绘制的架构中运算的权重。寻找最佳架构可以在权重的训练之后作为单独的步骤进行，或者可以与权重的训练交替进行。

为了从一次性模型中提取架构，可以在绘制路径/子图（即机器学习系统的架构）时给出不同离散选择可能性的多项分布，每个离散选择可能性都可以通过实值向量（称为logit）参数化，可以通过应用softmax函数所述实值向量标准化为概率向量。对于离散选择定义logit向量α=(α₁,…,α_N)，其中α_i∈R是实数值，N对应于可能决策的数量。对于NAS，决策例如是关于接下来为路径绘制哪些边或节点的决策。

为了绘制，使用softmax函数σ对logit向量进行标准化，其中计算第i个分量：

，由此给出了概率向量p=σ(α)。

该概率向量p用于从多项分布中提取决策。决策例如可能是在图中节点的输出边之间进行选择。绘制完整的路径可能需要多个决策。

在NAS过程期间优化logit可能会导致草率地固定于较小的搜索空间，由此可能无法进一步探索该搜索空间之外的更好架构。

在用于克服NAS的草率固定的第一实施方式中，建议所谓的epsilon-greedy探索。也就是说，以ϵ∈[0,1]的概率，不是根据对应的logit做出决策，而是从均匀分布中提取决策。因此，例如可以在网络中的多个点处以相同概率，而不是基于从对应的logit向量中导出的概率值从所有选项中选择决策。概率ϵ在下文中称为探索概率。

在第二实施方式中，建议对logit进行温度相关的缩放。为此引入正实参数T，以下称为（探索）温度。然后根据该温度对logit进行缩放，之后通过softmax函数对logit进行标准化，即标准化采用形式：

。

对于较大的T值，logit向量的所有分量都接近于零，因此分布基本上是均匀分布。对于T=1，logit值不变，并且根据logit从通过logit向量定义的分布中进行绘制。对于T→0，随机样本接近对logit向量的argmax计算。

在架构搜索期间，探索概率或探索温度被冷却，即架构搜索缓慢地从架构搜索开始时对搜索空间的广泛探索转变为对有前景的架构的集中搜索。

探索概率或探索温度的简单下降是可直接实现的，但需要设定探索概率/温度的初始值以及设定时间表，该时间表设定所述下降应当有多剧烈。然而，大多情况下并不清楚应当如何例如选择初始起始值以及该起始值应当以多快的速度冷却，因为这些值大多是特定于应用的。

因此，建议引入一种辅助措施来对通过搜索空间中的logit的架构分布分布得有多集中进行近似。然后基于该辅助措施，可以估计探索概率和温度的初始起始值。此外，该辅助措施使得可以控制所述下降应当进行得有多明显。已经发现基于熵的辅助措施会导致最好的结果。为此优选使用搜索空间的熵。

间接规划探索概率或温度的目标走廊或目标值，其方式是确定熵的目标走廊或目标值，然后借助于该目标熵（S_target）对应地调节探索概率或温度。

但是，准确确定大型搜索空间的熵可能会很费事，因此可以通过随机样本来估计熵。此外，典型地也不可能直接计算所需要的探索概率或探索温度以实现预给定的熵。

因此，为了设置探索概率或温度，建议采用以下过程，直到达到期望的熵为止：

令S_target为搜索空间应当具有的目标熵，d∈[0,1]为衰减因子，λ∈[0,1)为平滑因子，s_max∈N为步骤的最大数量，κ为小常数（例如κ=10^-5）以及stepcount=0。例如可以选择初始T=1并估计搜索空间的平均熵S_avg，例如基于少量随机样本（例如25个随机样本）。也可以想到T具有更大的初始值。

然后迭代地执行以下步骤，使得基于搜索空间的熵确定logit的松弛：

1. 基于预给定数量的随机样本（可能只通过唯一的随机样本）确定搜索空间的熵的新估计值S_new；

2. 根据熵的新估计S_new更新熵的总估计，例如通过滑动的平均：S_avg←exp(λlog(S_avg)+(1-λ)log(S_new+κ)))；

3. 适配下降常数γ=1+d^stepcount；

4. 如果S_target>S_avg，则根据下降常数γ适配温度：T←T*γ，否则：T←T/γ；

5. 将计数器stepcount增加值1。如果stepcount≥s_max则结束该方法，否则从步骤1开始下一次迭代。

需要注意的是，在步骤2中也可以使用其他滑动平均，例如指数滑动平均或简单滑动平均。还应当注意的是，其他自适应调节回路也可以在步骤4中使用，以基于当前熵估计来适配温度。还应注意的是，也可以使用更复杂的方法来确定导致期望熵的探索概率/探索温度。对此的一个示例是噪声二进制搜索算法（https://en.wikipedia.org/wiki/Binary_search_algorithm#Noisy_binary_search或https://www.cs.cornell.edu/~rdk/papers/karpr2.pdf）。

刚刚解释的步骤1到4也可以直接用于对应地适配探索概率ϵ。即简单地将上述算法中的温度T替换为探索概率ϵ并可选地引入确保ϵ∈[0,1]的额外步骤。优选地，探索概率ϵ初始被设置为较大的值，例如0.9或1。如果图被初始化为使得在开始时以相同的概率绘制子图，则可以将探索概率ϵ初始设置为值0。

然后，勘探概率或温度的时间表如下工作。架构分布的初始熵是在NAS运行之前基于例如1000个随机样本估计的并且选择分解计划（例如指数分解）。每次调用规划器（英语：scheduler）时，都会基于初始熵计算新的目标熵S_target，然后所述规划器如上所述确定所需要的探索概率或温度。

图1示意性地示出了用于使用一次性模型进行架构搜索的改进方法的流程图（20）。

自动架构搜索可以如下执行。自动架构搜索首先需要提供搜索空间（S21），该搜索空间这里可以以一次性模型的形式给出，其中向边分配logits（α）。

在随后的步骤S22中，基于例如从一次性模型中随机提取的架构中的1000个随机样本估计应用NAS方法之前的初始熵，并为规划器选择分解规划（英语：decay schedule）（例如指数分解）。然后，所述分解规划根据初始熵确定第一目标熵S_target。

在步骤S22结束后，继续步骤S23。在该步骤中，根据上述步骤1到5适配温度或探索概率ϵ。

在随后的步骤S24中，使用从步骤S23确定的参数化执行NAS遍历，即使用概率分布p的松弛根据所确定的参数T或ϵ以及对与子图对应的机器学习系统的教导等来绘制子图。应当注意的是，参数和概率在教导期间不仅可以在准确性方面进行优化，而且可以针对专用硬件（例如硬件加速器）进行优化。其方式是例如在训练期间成本函数包含另外的项，所述另外的项表征用于在硬件上运行机器学习系统及其配置的成本。

在步骤S24结束后，可以连续多次重复步骤S23以及随后的步骤S24。在重复步骤S23和S24时，可以预先调用规划器以基于初始熵和分解规划来确定新的目标熵S_target。然后，如上所述使用S23来适配T，ϵ，然后重新执行S24。

例如当计数器stepcount已达到最大步骤的值时，可以中止步骤S23和S24的重复。即在S23内使用计数器stepcount。每次重复S23时，初始都再次将计数器stepcount设置回0。

随后，在步骤S25中可以基于图来绘制最终的子图，并且可以根据该子图初始化对应的机器学习系统。

优选地，在步骤S25之后所创建的机器学习系统是人工神经网络60（如图2所示）并且如下所述使用。

图2示出了在其环境中与控制系统40交互的致动器10。以优选规则的时间间隔在传感器30中，特别是在诸如视频传感器的成像传感器中检测环境20，传感器30也可以通过多个传感器给定，例如立体摄像机。还可以想到其他成像传感器，例如雷达、超声或激光雷达。也可以想到热成像相机。将传感器30的传感器信号S——或者在多个传感器的情况下每个传感器信号S——传送到控制系统40。控制系统40因此接收传感器信号S的序列。控制系统40从中确定操控信号A，该操控信号A被传输到致动器10。

控制系统40在可选的接收单元50中接收传感器30的传感器信号S的序列，该接收单元将传感器信号S的序列转换为输入图像x的序列（替代地，也可以分别将传感器信号S直接作为输入图像x）。例如，输入图像x可以是传感器信号S的片段或进一步处理。输入图像x包括视频记录的各个帧。换句话说，根据传感器信号S来确定输入图像x。将输入图像x序列输送给机器学习系统，在本实施例中是人工神经网络60。

人工神经网络60优选地通过参数来予以参数化，所述参数存储在参数存储器P中并且由该参数存储器提供。

人工神经网络60从输入图像x中确定输出变量y。这些输出变量y可以特别是包括输入图像x的分类和语义分割。将输出变量y输送给可选的整形单元80，该整形单元从中确定将输送给致动器10以对应地操控致动器10的操控信号A。输出变量y包括关于传感器30已检测到的对象的信息。

致动器10接收操控信号A，被对应地操控并执行对应的动作。致动器10在此可以包括（不一定在结构上集成的）操控逻辑，所述操控逻辑从操控信号A中确定第二操控信号，然后用该第二操控信号操控致动器10。

在另外的实施方式中，控制系统40包括传感器30。在其他实施方式中，控制系统40替代地或附加地还包括致动器10。

在另外的优选实施方式中，控制系统40包括一个或多个处理器45和至少一个机器可读存储介质46，在所述机器可读存储介质上存储有指令，当指令在处理器45上执行时，所述指令促使控制系统40执行根据本发明的方法。

在替代实施方式中，替代或附加于致动器10地设置显示单元10a。

图3示出了控制系统40可以如何用于控制至少部分自主的机器人，这里是至少部分自主的机动车辆100。

传感器30可以是例如优选地布置在机动车辆100中的视频传感器。

人工神经网络60被设置为从输入图像x中可靠地标识对象。

优选地布置在机动车辆100中的致动器10可以是例如机动车辆100的制动器、驱动器或转向系统。于是操控信号A可以被确定为，使得以这样的方式操控一个或多个致动器10，即，机动车辆100例如防止与由人工神经网络60可靠标识的对象碰撞，特别是当所述对象是特定类别的对象，例如行人时。

替代地，至少部分自主的机器人还可以是其他移动机器人（未示出），例如是通过飞行、游泳、潜水或步行来移动的机器人。所述移动机器人还可以是例如至少部分自主的割草机或至少部分自主的清洁机器人。在这些情况下，操控信号A也可以被确定为，使得以这样的方式操控移动机器人的驱动器和/或转向系统，即，至少部分自主的机器人例如防止与由人工神经网络60标识的对象碰撞。

替代地或附加地，可以用操控信号A来操控所述显示单元10a并且例如可以显示所确定的安全区域。例如，在机动车辆100具有非自动转向系统的情况下，也可以用操控信号A操控显示单元10a，使得如果确定机动车辆100即将与可靠标识的对象之一碰撞，则显示单元10a输出光学或声学的警告信号。

图4示出了一种实施例，其中控制系统40用于操控制造系统200的制造机器11，其方式是操控控制该制造机器11的致动器10。制造机器11可以是例如用于冲压、锯切、钻孔和/或切割的机器。

于是传感器30可以是例如光学传感器，其例如检测制造产品12a、12b的特性。可能的是，这些制造产品12a、12b是可移动的。可以根据所检测的制造产品12a、12b的分配来操控控制制造机器11的致动器10，从而制造机器11对应地执行制造产品12a、12b中的正确制造产品的后续加工步骤。还可能的是，通过标识制造产品12a、12b中相同制造产品的正确特性（即，没有错配），制造机器11对应地适配相同的制造步骤以加工后续的制造产品。

图5示出了一种实施例，其中控制系统40用于控制访问系统300。访问系统300可以包括物理访问控制，例如门401。视频传感器30被设置为检测人员。可以借助于对象标识系统60来解释所检测的图像。如果同时检测多个人员，则可以通过将这些人员（即对象）彼此关联来例如特别可靠地确定人员的身份，例如通过分析人员的运动。致动器10可以是锁，其根据操控信号A来解除访问控制或不解除访问控制，例如打开门401或不打开门401。为此，可以根据对象标识系统60的解释来选择操控信号A，例如根据所确定的人员身份。代替物理访问控制，也可以设置逻辑访问控制。

图6示出了一种实施例，其中控制系统40用于控制监视系统400。该实施例与图5所示的实施例的不同之处在于，代替致动器10设置了由控制系统40操控的显示单元10a。例如，人工神经网络60可以可靠地确定由视频传感器30记录的对象的身份以根据该身份例如推断哪些对象是可疑的，然后可以选择操控信号A，使得该对象由显示单元10a彩色地突出显示。

图7示出了一种实施例，其中控制系统40用于控制个人助理250。传感器30优选地是接收用户249的手势图像的光学传感器。

根据传感器30的信号，控制系统40确定个人助理250的操控信号A，其方式是例如由神经网络执行手势识别。然后将所确定的操控信号A传送到个人助理250并且因此对应地操控该个人助理。所确定的操控信号A可以特别是被选择为，使得它对应于由用户249进行的猜测的期望操控。可以根据由人工神经网络60识别的手势来确定所述猜测的期望操控。控制系统40然后可以根据所述猜测的期望操控来选择操控信号A以传送到个人助理250，和/或与所述猜测的期望操控对应地选择操控信号A以传送到个人助理250。

对应的操控例如可以包括：个人助理250从数据库中检索信息并以用户249可以阅读的方式再现所述信息。

代替个人助理250，也可以设置家用电器（未示出），特别是洗衣机、电炉、烤箱、微波炉或洗碗机，以对应地加以操控。

图8示出了一种实施例，其中控制系统40用于控制医学成像系统500，例如MRT设备、X射线设备或超声设备。传感器30可以例如由成像传感器给定，由控制系统40来操控显示单元10a。例如，神经网络60可以确定由所述成像传感器记录的区域是否显眼，然后可以选择操控信号A，使得该区域由显示单元10a彩色地突出显示。图9示出了用于从图中训练所绘制的机器学习系统之一，特别是神经网络60的示例性训练设备140。训练设备140包括提供器71，其提供诸如输入图像的输入变量x和诸如额定分类的额定输出变量ys。输入变量x被输送给待训练的人工神经网络60，人工神经网络60从中确定输出变量y。输出变量y和额定输出变量ys被输送给比较器75，该比较器根据相应的输出变量y和额定输出变量ys的一致性从中确定新的参数

，新的参数被传送给参数存储器P并且在那里代替参数

。

由训练系统140执行的方法可以实现为计算机程序地存储在机器可读存储介质147上并由处理器148执行。

当然，不必对整个图像进行分类。可以使用检测算法例如将图像片段分类为对象，然后切割出这些图像片段，必要时产生新的图像片段并插入相关联图像中以代替切割出的图像片段。

术语“计算机”包括用于处理可预给定计算规则的任何设备。这些计算规则能够以软件形式或硬件形式或软件和硬件的混合形式存在。

Claims (10)

1.一种用于创建机器学习系统的计算机实现的方法（20），所述方法包括以下步骤：

提供（S21）具有通过多个边和节点连接的一个或多个输入节点和输出节点的有向图，

其中向每个边分配变量(α)，所述变量表征了以什么样的概率绘制相应边；

通过所述有向图根据所述变量（α）随机绘制（S22）多个子图，

其中根据所述图中所述变量（α）的值的分布来改变所述变量（α）；

教导（S23）与绘制的子图相对应的机器学习系统，

其中在教导过程中适配所述机器学习系统的参数和所述变量(α)，使得成本函数得到优化；以及

根据经过适配的概率绘制（S24）子图，并且创建与该子图对应的机器学习系统。

2.根据权利要求1所述的方法，其中当所述变量(α)的值的分布的度量相对于目标分布的预给定目标度量更大时，改变所述变量(α)，使得以基本相等的概率来绘制边的分布。

3.根据权利要求1或2中任一项所述的方法，其中根据所述有向图的熵并且特别是根据已经执行的教导步骤的数量来改变所述变量(α)。

4.根据权利要求3所述的方法，其中当所述熵(S_new)大于预给定的目标熵(S_target)时按照以下方式改变用于改变所述变量(α)的参数(T,ϵ)，即改变所述变量(α)的值，使得表征所述变量（α）的概率分布与均匀分布的相似性较低，并且特别是当所确定的熵(S_new)小于所述预给定的目标熵(S_target)时按照以下方式改变所述参数(T,ϵ)，即改变所述变量(α)的值，使得表征所述变量（α）的概率分布基本上表征均匀分布。

5.根据前述权利要求中任一项所述的方法，其中，根据探索概率（ϵ）来改变所述变量（α），其中所述探索概率表征以什么样的概率根据分配给所述边的变量（α）来绘制所述边或者以基本上相等的概率来绘制所述边。

6.根据权利要求1至4中任一项所述的方法，其中，借助于温度缩放（英语：temperaturescaling）来改变所述变量（α）。

7.根据权利要求6所述的方法，其中，在所述温度缩放时根据温度（T）来缩放所述变量（α），所述温度（T）根据所述变量（α）的分布而改变。

8.一种包括指令的计算机程序，所述指令被设置为当在计算机上执行时促使所述计算机执行根据前述权利要求中任一项所述的方法。

9.一种机器可读存储元件，其上存储有根据权利要求8所述的计算机程序。

10.一种设备，其被设置为执行根据权利要求1至7中任一项所述的方法。

Images