CN117480510A - 生成用于机器学习模型预测的置信度分数 - Google Patents

Abstract

公开了用于生成用于机器学习预测的置信度分数的技术。与目标数据点对应的预测标签的置信度分数至少部分地基于机器学习模型对于与目标数据点相似的其它数据点有多好地预测标签。系统使用具有已知标签的最接近目标数据点的k个数据点来计算目标数据点的预测标签的置信度分数。k个数据点中的每一个数据点的预测的准确度以及与目标数据点的距离被用于计算为目标数据点预测的标签的置信度分数。

Description

生成用于机器学习模型预测的置信度分数

相关申请；通过引用并入

本申请与2021年5月3日提交的美国临时专利申请No.63/201,521；2021年9月15日提交的美国非临时专利申请No.17/475,557相关，所有这些申请均通过引用并入本文。

本申请人特此撤销(一个或多个)母申请或其审查历史中的权利要求范围的任何免责声明(disclaimer)，并告知USPTO，本申请中的权利要求可能比该(一个或多个)母申请中的任何权利要求更广泛。

技术领域

本公开涉及生成用于机器学习模型预测的置信度分数。具体地，本公开涉及训练置信度分数模型以为机器学习模型所做出的预测生成置信度分数。

背景技术

机器学习模型被广泛用于各种应用——包括数据、语音和图像识别、系统监视和失败检测，以及用户界面自动化等——以使用计算机执行复杂的分析和识别任务。最近，在识别机器学习模型的准确度方面取得了进展。然而，在一些领域，做出一个错误的预测可能会产生重大后果。因此，对模型准确度的全局估计对于一些应用可能是不足的。例如，任何机器学习模型都会受到两种类型的不确定性的不利影响：偶然不确定性(aleatoricuncertainty)和认知不确定性(epistemic uncertainty)。偶然不确定性是由用于训练该模型的数据集内的噪声或随机性引起的。由于用于训练模型的数据的噪声或随机性，经训练的机器学习模型做出的预测可能不准确。认知不确定性是由于缺乏数据引起的。给定数据点作为输入，机器学习模型都将生成预测，而不管该模型是否基于相似的数据点被训练过。由于任何机器学习模型中固有的偶然不确定性和认知不确定性导致的预测变化，依赖于来自机器学习模型的预测的用户可能无法确定特定预测是否可靠。

本部分中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有说明，否则不应假定本部分中描述的任何方法仅仅由于它们包含在本部分中而被认为是现有技术。

附图说明

在附图的各图中，通过示例而非限制的方式图示了实施例。应当注意的是，在本公开中对“实施例”或“一个实施例”的引用不一定是指同一个实施例，并且它们意味着至少一个实施例。在附图中：

图1图示了根据一个或多个实施例的系统；

图2图示了根据一个或多个实施例的用于生成机器学习预测的置信度分数的示例操作集合；

图3图示了根据一个或多个实施例的用于使用机器学习模型预测的置信度分数的示例操作集合；

图4图示了根据一个或多个实施例的用于使用置信度分数来触发机器学习模型的重新训练的示例操作集合；

图5图示了根据一个或多个实施例的在多维空间中识别最近邻居(closestneighbors)的示例；

图6图示了根据一个或多个实施例的在多维空间中识别目标数据点与最近邻居之间的距离的示例集合；

图7示出了图示根据一个或多个实施例的计算机系统的框图。

具体实施方式

在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供透彻的理解。可以在没有这些具体细节的情况下实践一个或多个实施例。一个实施例中描述的特征可以与另一个实施例中描述的特征组合。在一些示例中，参考框图形式描述了众所周知的结构和设备，以避免不必要地混淆本发明。

1.总体概述

2.系统体系架构

3.训练置信度分数模型以生成机器学习模型预测的置信度分数

3.1使用所生成的置信度值修改系统操作

3.2使用所生成的置信度值触发模型的重新训练

4.计算机网络和云网络

5.其它事项；扩展

6.硬件概述

1.总体概述

机器学习模型被训练以预测输入数据点的标签。例如，一种机器学习模型可以接收图像作为输入，并生成将图像中的对象识别为“人”的标签。另一个机器学习模型可以接收系统传感器数据作为输入，并基于系统传感器数据而预测标签“成功”或标签“失败”。

对于机器学习模型所生成的预测，一个或多个实施例生成置信度分数以量化该预测准确的可能性。该机器学习模型被应用于目标数据点以生成目标数据点的分类(以标签形式)。与目标数据点对应的预测标签的置信度分数至少部分地基于机器学习模型对于与目标数据点相似的其它数据点多好地预测标签。多维空间中的这些相似数据点可以被识别为到目标数据点的欧几里德距离的函数。作为示例，系统使用距目标数据点最近的k个具有已知标签的数据点来计算目标数据点的预测标签的置信度分数。具体而言，将机器学习模型为该k个数据点预测的标签与该k个数据点的已知标签进行比较，以确定机器学习模型是正确还是错误地预测了该k个数据点的标签。这些预测的准确度以及该k个数据点中的每一个数据点与目标数据点的距离被用于计算为目标数据点预测的标签的置信度分数。

在一个实施例中，系统基于从数据点到k个最近邻居的距离，对该数据点的k个最近邻居的准确度度量应用权重，其中k是预定义的数量。在另一个实施例中，系统通过对距该数据点在阈值距离内的k个最近邻居中的每一个邻居应用权重来计算置信度分数。换句话说，最近邻居的数量k可以根据距正在计算其置信度分数的数据点在阈值距离内的数据点的数量而变化。

在一个实施例中，数据点到其k个最近邻居的距离是基于该数据点与k个最近邻居中每一个之间的欧几里德距离计算的。可替代地，系统基于k个最近邻居当中的经缩减的值/维度集合来计算欧几里德距离。作为示例，系统可以基于数据点及其k个最近邻居的10个维度中的6个维度来确定置信度分数。基于该确定，系统可以仅基于该6个维度而不基于剩余的4个维度来计算置信度分数，以用于计算欧几里德距离。

在实施例中，系统将权重分配给数据点及其k个最近邻居的值/维度。在一个示例中，系统可以审查针对一千个数据点生成的置信度分数以确定哪些维度与准确的置信度分数预测最为相关。在计算数据点与k个最近邻居之间的欧几里德距离时，系统将权重应用于与准确置信度分数有较大关系的那些维度。

在一个实施例中，系统训练置信度分数模型以生成用于特定机器学习模型的预测的置信度分数。系统可以生成特定预测标签的预测置信度分数。系统将预测置信度分数与已知的准确度值进行比较。系统调整置信度分数模型的参数以微调(tune)置信度分数模型。对于数据点集合中每个数据点，系统重复预测置信度分数并微调参数的过程。

置信度分数可以被用于确定是否对特定预测标签采取动作。例如，如果机器学习模型生成将系统状态识别为“失败”的预测标签，但置信度分数仅为10％，那么系统可以被配置为忽略该预测标签。然而，如果置信度分数为80％，那么系统可以被配置为采取纠正动作以避免系统失败。

置信度分数集合可以被用于确定是否重新训练机器学习模型。例如，如果系统确定最后一百个预测标签中80％预测标签的置信度分数不满足阈值置信度分数，那么系统可以触发对机器学习模型的重新训练，以基于更新近地接收到的数据来更新该模型。

在一个实施例中，机器学习模型生成标签，该标签将目标数据点分类为具有分类值集合当中的特定分类值。为该特定分类生成置信度分数，从而指示目标数据点的该特定分类正确的置信度水平。

一个或多个实施例包括模型不可知(model agnostic)置信度估计器(MACE)/系统/方法/算法，其为任何机器学习模型提供准确且可靠的置信度估计。该算法生成明确考虑偶然和认知不确定性的置信度估计值，而不是通过点预测模型学习的全局模型作为起点。

在一个或多个实施例中，给定的数据集被分成四个不同的集合：(1)标准的经标记的训练集合，用于点预测模型；(2)经标记的数据集合，置信度估计器从该集合中寻找任何给定点的最近邻居；(3)经标记的数据集合，用于通过最小化预期校准误差来优化置信度估计器的参数；(4)未见保留数据，用于测试该模型。在一个实施例中，系统对置信度估计模型和点预测模型两者使用相同的测试数据。

在一个或多个实施例中，预测标签的置信度分数不仅仅基于是否存在与数据点(机器学习模型为该数据点生成了预测标签)相似的数据点。而是，置信度分数考虑(1)机器学习模型训练数据集中最近邻居的数量，(2)最近邻居的准确度，以及(3)到最近邻居的距离。

在一个或多个实施例中，系统不仅仅基于模型的训练数据集中的偶然不确定性和认知不确定性来生成机器学习模型的置信度分数。而是，系统训练置信度模型来为机器学习模型生成的特定预测生成置信度值。该置信度值通过将以下因素纳入置信度值来考虑偶然不确定性和认知不确定性：(1)机器学习模型训练数据集中最近邻居的数量，(2)最近邻居的准确度，以及(3)到最近邻居的距离。

本说明书中描述的和/或权利要求中记载的一个或多个实施例可能没有包括在本总体概述部分中。

2.系统体系架构

图1图示了根据一个或多个实施例的系统100。如图1中所示，系统100包括数据分析平台120、数据储存库130和数据应用层140。

数据分析平台110包括机器学习引擎111，该引擎基于机器学习模型训练数据子集122来训练机器学习模型112。机器学习模型112被训练为接收包括值集合的数据点作为输入并生成该数据点的标签。该标签可以被称为预测。例如，如果该值集合包括系统中的传感器状态，那么由机器学习模型112生成的标签可以是系统是运行还是处于失败状态的预测。标签可以是二元标签，诸如成功/失败。可替代地，标签可以是数据点的任意数量的分类集合中的一个分类。例如，模型可以将数据点分类为对应于从“类型A”到“类型Z”的任何类型。在数据点表示传感器数据的实施例中，例如，标签可以包括系统的一系列状态，包括：“最佳”、“次佳”、“警告”和“失败”。

置信度值生成器113训练置信度值生成模型114以生成用于机器学习模型112做出的预测的置信度值。置信度值生成器113训练置信度值模型114以对机器学习模型112为其预测了标签的各个数据点进行分析。机器学习模型112生成对数据集121的图空间数据子集123和参数微调数据子集124中的数据点的预测。置信度值生成器113通过将机器学习模型112应用于新的数据点集合并识别新的数据点集合与图空间数据子集123中的数据点之间的关系来训练置信度值模型114。对于该新的数据点集合中的每个数据点，置信度值生成器113(a)在图空间数据子集123中识别该数据点的k个最近邻居，(b)测量从该数据点到数据的图空间数据子集123中的k个最近邻居的距离，以及(c)确定机器学习模型112是否准确地预测了该k个最近邻居的标签。另外，置信度值生成器113通过将使用图空间数据子集123生成的置信度值与参数微调数据子集124中的实际值进行比较来微调置信度值模型114的参数以提高置信度值的准确度。例如，如果参数微调数据子集124指示对新数据点集合中的特定数据点的特定预测在70％的时间是准确的，那么置信度值生成器113通过调整模型114的参数值来微调模型114，使得由模型114针对该特定数据点生成的置信度值接近70％。由模型114生成的置信度值越接近70％，置信度值模型114被校准得越好。

在训练机器学习模型112和置信度值模型114后，数据分析平台110可以使用测试数据子集125来测试模型112和114的准确度。

数据应用层130包括系统属性131和系统数据132。系统属性131可以包括例如一个或多个处理器、数据存储设备、网络接口、操作系统和应用的属性。一些属性可以对应于固定值，诸如处理器的数量和类型、存储设备的数量和类型或者应用的数量和类型。其它属性随着系统运行而变化，包括带宽可用性、处理能力、存储容量和生成的热量。在一个实施例中，在预定时间段内监视系统属性131以生成用于训练机器学习模型112和置信度值模型114的数据集121。在模型112和114已经被训练后，一个或多个系统属性131可以实时地或者作为先前存储的数据被提供给数据分析平台110。数据分析平台110可以将接收到的系统属性131转换成数据点以提供给经训练的机器学习模型112来生成预测。置信度值模型114然后可以为该预测生成置信度值。基于该预测和该置信度值，数据应用层130确定是否对该预测采取动作。

数据应用层130包括至少一个控制器133和一个或多个应用134以及系统操作135。应用134和操作135生成并使用系统数据132来操作。在一个实施例中，如果某一预测的置信度值指示可能发生特定事件(诸如操作失败)，那么控制器133可以改变一个或多个应用134或操作135的执行以防止所预测的操作失败。可替代地，如果该预测的置信度值不满足阈值，那么控制器133可以避免基于该预测改变一个或多个应用134的操作或系统操作135。在另一个实施例中，数据应用层130可以在用户界面136的图形用户界面(GUI)上显示预测和置信度值。用户界面136可以包括用户交互元素以允许用户指示是基于该预测采取动作还是避免采取动作。

在一个或多个实施例中，界面136是指被配置为促进用户与数据应用层130之间的通信的硬件和/或软件。界面136渲染用户界面元素并经由用户界面元素接收输入。界面的示例包括GUI、命令行界面(CLI)、触觉界面和语音命令界面。用户界面元素的示例包括复选框、单选按钮、下拉列表、列表框、按钮、切换开关、文本字段、日期和时间选择器、命令行、滑块、页面和表单。

在实施例中，界面136的不同组件是用不同的语言指定的。用户界面元素的行为是用动态编程语言(诸如JavaScript)指定的。用户界面元素的内容是用标记语言指定的，诸如超文本标记语言(HTML)或XML用户界面语言(XUL)。用户界面元素的布局是用样式表语言指定的，诸如层叠样式表(CSS)。可替代地，界面136是用一种或多种其它语言指定的，诸如Java、C或C++。

在一个或多个实施例中，数据储存库120是用于存储数据的任何类型的存储单元和/或设备(例如，文件系统、数据库、表的集合或任何其它存储机制)。此外，数据储存库120可以包括多个不同的存储单元和/或设备。多个不同的存储单元和/或设备可以是或可以不是相同类型或位于相同物理站点。此外，数据储存库120可以在与数据分析平台110或数据应用层130相同的计算系统上实现或执行。替代地或附加地，数据储存库104可以在与数据分析平台110或数据应用层130分离的计算系统上实现或执行。数据储存库104可以经由直接连接或经由网络通信地耦合到数据分析平台110或数据应用层130。

描述数据集121的信息可以跨系统100内的任何组件来实现。然而，为了清楚和解释的目的，该信息被示为在数据储存库120内。

在一个或多个实施例中，系统100可以包括比图1中所示的组件更多或更少的组件。图1中所示的组件可以位于彼此本地或彼此远离。图1中所示的组件可以用软件和/或硬件来实现。每个组件可以分布在多个应用和/或机器上。多个组件可以组合成一个应用和/或机器。相对于一个组件描述的操作可以替代地由另一个组件执行。

与计算机网络相关的附加实施例和/或示例下面在标题为“计算机网络和云网络”的第4部分中被描述。

在一个或多个实施例中，数据分析平台110或数据应用层130是指被配置为执行本文描述的操作的硬件和/或软件，这些操作用于分析数据集、生成机器学习模型112、生成置信度值模型114、以及基于机器学习模型112生成的预测和与该预测相关联的置信度值来执行一个或多个操作。用于生成机器学习模型112和生成置信度值模型114的操作的示例下面参考图2被描述。

在实施例中，数据分析平台110和数据应用层130在一个或多个数字设备上实现。术语“数字设备”通常指包括处理器的任何硬件设备。数字设备可以指执行应用的物理设备或虚拟机。数字设备的示例包括计算机、平板电脑、膝上型计算机、台式机、上网本、服务器、web服务器、网络策略服务器、代理服务器、通用机器、特定于功能的硬件设备、硬件路由器、硬件交换机、硬件防火墙、硬件防火墙、硬件网络地址转换器(NAT)、硬件负载平衡器、大型机、电视、内容接收器、机顶盒、打印机、电话、智能电话、个人数字助理(“PDA”)、无线接收器和/或发送器、基站、通信管理设备、路由器、交换机、控制器、接入点和/或客户端设备。

3.训练置信度分数模型以生成机器学习模型预测的置信度分数

图2图示了根据一个或多个实施例的用于训练置信度分数模型以为机器学习模型所做出的预测生成置信度分数的示例操作集合。图2中所示的一个或多个操作可以一起被修改、重新布置或省略。因此，图2中所示的特定操作顺序不应被解释为限制一个或多个实施例的范围。

系统获得数据集并使用来自该数据集的第一数据子集来训练机器学习模型(操作202)。该系统训练机器学习模型以生成与特定输入数据点相关联的作为特定标签的特定预测。第一数据子集包括输入到模型以训练该模型的多个数据点。该系统通过以下方式来训练机器学习模型：一次一个地向模型提供多个数据点、确定模型输出的预测标签、将预测标签与特定数据点所关联的实际标签进行比较、以及根据预测是否准确来调整模型的参数。

在训练机器学习模型后，系统训练置信度分数模型以为机器学习模型所做出的预测生成置信度分数(操作204)。置信度分数模型考虑偶然不确定性和认知不确定性来生成置信度分数。置信度分数模型生成特定个体数据点(机器学习模型为这些特定个体数据点生成预测标签)的置信度分数。

系统获得新的数据点集合用于训练置信度分数模型(操作206)。该新的数据点集合可以从自其获得第一数据子集的同一数据集中的第二数据子集获得。

系统将经训练的机器学习模型应用于该新的数据点集合中的每个数据点以生成这些数据点的预测标签(操作208)。例如，在机器学习模型被训练为生成预测系统状态的标签的实施例中，机器学习模型可以生成“成功”或“失败”的预测标签。在机器学习模型被训练为对图像中的对象进行分类的另一个实施例中，机器学习模型可以生成“人”、“动物”或“汽车”的预测标签。在机器学习模型被训练为识别特定词语的另一个实施例中，机器学习模型可以生成包括人类可读词语的预测标签。

系统从该新的数据点集合中选择目标数据点(操作210)。系统预测机器学习引擎预测标签的置信度分数(操作212)。在一个实施例中，系统使用具有在置信度分数模型的训练期间被微调的可变参数的置信度分数模型来预测置信度分数。

系统在第二数据子集中识别k个数据点，该k个数据点是机器学习模型为其生成了预测的目标数据点的最近邻居(操作214)。在一个实施例中，识别目标数据点的k个最近邻居包括识别距目标数据点具有最短欧几里德距离的k个数据点。在替代实施例中，可以使用主成分分析(PCA)、word2vec建模或测量两个数据点之间的距离的任何其它方法来识别k个最近邻居。另外，置信度值生成器113可以使用近似最近邻居(ANN)算法来识别k个最近邻居。

图5图示了在多维空间中识别k个最近邻居的示例。参考图5，目标数据点501是机器学习模型为其生成了预测标签并且置信度分数模型正在为其生成预测正确的置信度分数的数据点。数据点502、503、504、505和506被识别为目标数据点501的k个最近邻居。圆圈510表示在多维空间内所有数据点502-506位于其内的值范围。

图6图示了在多维空间中识别从目标点到其k个最近邻居的距离的示例。具体地，距离d1-d5表示目标数据点501与k个最近相邻数据点502-506之间的欧几里德距离。

在一个实施例中，系统通过识别k个邻居并且一旦识别出k个最近邻居就停止识别来识别k个最近邻居。例如，可以微调置信度估计器模型以定位特定输入数据点的十个最近邻居(例如，k＝10)。置信度估计器模型可以将该十个最近邻居中的每一个包括在置信度估计模型中，而不管这十个最近邻居距该特定输入数据点的距离。

在替代实施例中，系统通过将某一区域内的所有数据点定义为最近邻居来识别k个最近邻居。例如，参考图6，系统可以将距目标数据点501在预定义距离d6内的所有数据点识别为最近邻居。例如，对于数据集中的一个输入数据点，在距该输入数据点的距离d6内可能存在十二个数据点。对于此输入数据点，k＝12。对于数据集中的另一个输入数据点，距该数据点的距离d6内可能存在七个数据点。对于此输入数据点，k＝7。

针对k个最近邻居中的每一个，系统识别与k个最近邻居相关联的机器学习预测的准确度(操作216)。例如，在机器学习模型被训练为生成预测系统状态的标签的实施例中，系统可以用“0”表示系统状态的错误预测，并用“1”表示系统状态的正确预测。在机器学习模型输出1与10之间的值的另一个实施例中，系统可以将机器学习引擎的预测与实际值进行比较，并且可以将准确度表示为差值。在这样的实施例中，预测的准确度可以被表示为1到10之间的数字(即，“机器学习模型生成的预测值”减去“数据集中的实际值”)。

系统为与目标数据点相关联的预测生成预测置信度分数(操作218)。预测置信度分数表示特定数据点的预测标签准确的置信度水平。系统基于以下各项生成预测置信度分数：(a)从目标数据点到第二数据集中的k个最近邻居的距离，以及(b)与该k个最近邻居相关联的机器学习预测的准确度。

在一个实施例中，基于机器学习模型为其生成了错误预测的k个最近邻居的数量来计算加权误差值。表示该错误预测数量的值根据特定点到k个最近邻居的距离进行加权。生成置信度分数还包括基于从该特定点到k个最近邻居的距离来计算加权距离值。加权距离值根据与k个最近邻居的接近度的排名次序进行加权。

在一个实施例中，置信度值模型包括特定算法。该算法可以包括，例如：

其中σ_*是与特定数据点相关联的置信度分数，x_*表示正为其生成置信度分数的特定数据点，∈(x_k)表示机器学习模型预测的准确度，表示到一组k个最近邻居的平均距离，并且α和β是系统在训练置信度分数模型期间微调的可变参数。

项和∈(x*,x_k)还可以被定义如下：

系统将与目标数据点相关联的预测标签的预测置信度分数与基于第二数据集中的数据点的实际置信度分数进行比较(操作220)。例如，如果预测置信度分数为“70％”，那么系统基于第二数据子集中的数据确定机器学习模型所生成的预测标签是否在70％的时间准确。在一个实施例中，确定机器学习模型所生成的预测标签是否在70％的时间准确包括迭代地将机器学习模型应用于包括目标数据点的数据集并计算由机器学习模型生成的所得预测的平均值。

基于该比较，系统调整置信度分数模型的参数k、α和β(操作222)。系统可以使用数据集的第三子集来微调置信度值模型114的参数k、α和β。例如，系统可以基于以下各项微调特定数据点的参数k、α和β：(a)识别对置信度值模型的准确度具有最大影响的最近邻居的特定数量k，以及(b)基于确定从特定数据点到k个最近邻居的距离比最近邻居k的预测准确度对置信度值模型生成的置信度值具有更大的影响，相对于参数α给予参数β更大的相对权重。换句话说，置信度值生成器根据数据集是由偶然不确定性还是认知不确定性更多地表征，来相对彼此调整参数k、α和β。

例如，机器学习引擎可能确定如果参数k小于“5”，那么与对应的输入数据点相关联的置信度分数将太低。机器学习模型还可能确定，如果参数k大于“20”，那么用于计算跨目标数据集的数据点的置信度分数的计算时间高于指定的计算时间。因此，机器学习引擎可以将参数k(该参数与为其识别误差值的最近邻居的数量相关联)微调到从“6”到“19”的范围内。

在一个实施例中，机器学习引擎通过将置信度分数模型迭代地应用于数据集的第三子集来微调置信度分数模型。机器学习引擎可以初始地将参数α和β设置为默认值。在将置信度分数模型应用于数据集的第三子集的每次迭代后，机器学习引擎可以调整参数α和β中的一个或两个以对以下项给予更大的权重：(a)从特定数据点到k个最近邻居的距离，或(b)最近邻居k的预测的准确度。机器学习引擎根据前次迭代中的值是产生更准确的置信度分数值还是更不准确的置信度分数值来分别调整参数α和β。

3.1.使用所生成的置信度值来修改系统操作

图3图示了根据一个或多个实施例的用于训练置信度分数模型以为机器学习模型所做出的预测生成置信度分数的示例操作集合。图3中所示的一个或多个操作可以一起被修改、重新布置或省略。因此，图3中所示的特定操作顺序不应被解释为限制一个或多个实施例的范围。

系统获得新的数据点(操作302)。例如，在系统使用机器学习模型来识别图像中的对象的实施例中，该新的数据点可以包括图像中要识别的对象。

系统应用机器学习模型来生成该新的数据点的预测标签(操作304)。例如，机器学习模型可以接收图像作为输入，并输出将图像中的对象识别为汽车的预测标签。

系统将置信度分数模型应用于该预测标签以生成与该预测相关联的置信度分数(操作306)。例如，置信度分数模型可以指示该预测具有特定百分比的可能性是准确的。

系统确定置信度分数是否满足特定阈值水平(操作308)。该阈值水平对于每个应用可以是唯一的。例如，在基于预测采取动作几乎没有风险的系统中，系统可以被配置为当置信度分数大于50％时采取动作。可替代地，在不正确地采取动作被确定为比不采取动作具有更大风险的环境中，系统可以被配置为仅当置信度分数大于90％时才采取动作。

当系统确定置信度分数满足阈值时，系统基于与数据点相关联的该预测标签来执行特定操作(操作310)。例如，如果机器学习模型预测特定应用的失败，并且该预测的置信度分数大于70％从而满足针对该应用的阈值，那么系统可以保存应用数据、为该应用分配附加的资源、或者识别可能导致该应用失败的其它操作或应用。可替代地，系统可以生成包括预测和与该预测相关联的置信度分数的用户提示。该用户提示可以包括一个或多个推荐的动作方案。

当系统确定置信度分数不满足阈值时，系统可以避免基于与数据点相关联的预测标签来执行系统操作(操作312)。例如，如果机器学习模型预测特定应用失败，并且该预测的置信度分数低于70％从而未能满足针对该应用的阈值，那么系统可以避免以下操作：自动地保存应用数据、为该应用分配附加的资源、或者识别可能导致应用失败的其它操作或应用。可替代地，系统可以避免执行用于调整当前运行的应用的自动操作，但是系统可以生成包括预测和与该预测相关联的置信度分数的用户提示。该用户提示可以包括一个或多个推荐的动作方案。

在一个或多个实施例中，特定预测和满足阈值的特定置信度分数可以导致系统在没有用户输入的情况下自动执行一个或多个操作。与不满足用户阈值的置信度分数相关联的相同预测可以导致系统避免自动执行这些操作。替代地，系统可以向用户显示预测和置信度值，并为用户给出执行动作的选项。

在一个或多个实施例中，系统可以按照系统的侵入性或成本——诸如处理资源、数据存储资源和对其它运行进程的中断——的次序对对预测的响应进行排名。系统可以基于与特定预测相关联的置信度分数来确定从最低系统成本到最高系统成本执行哪些操作。

在一个或多个实施例中，系统采取的动作可以取决于以下项的组合：(a)预测标签，和(b)与预测标签相关联的置信度分数。例如，如果机器学习模型基于输入数据集合中的数据点预测系统失败，但如果系统对该预测具有低水平的置信度(诸如低于50％)，那么系统可以采取获取更多数据以提高置信度分数的动作。例如，系统可以识别一个或多个附加传感器或数据源，其可以与先前获得的输入数据组合以产生具有70％或更高的置信度分数的预测。

可替代地，如果机器学习模型基于输入数据集合中的数据点生成特定组件将经历延迟的预测，并且如果与该组件相关联的置信度分数低于50％，那么系统可以确定该预测不值得采取补救动作或获得附加的输入数据。例如，系统可以具有预定义的规则集合，其定义(a)与组件相关联的预测，(b)与预测相关联的置信度分数，以及(c)针对预测、组件和置信度分数的不同组合要采取的动作。

3.2.使用所生成的置信度值来触发对模型的重新训练

图4图示了根据一个或多个实施例的用于基于机器学习模型的预测的置信度分数来触发对机器学习模型的重新训练的示例操作集合。图4中所示的一个或多个操作可以一起被修改、重新布置或省略。因此，图4中所示的特定操作顺序不应被解释为限制一个或多个实施例的范围。

系统为机器学习模型所做出的对应于多个数据点的多个预测生成置信度分数(操作402)。例如，系统可以监视传感器数据达给定时间段——诸如一周——并在该一周时期内定期生成与组合传感器数据对应的数据点。将机器学习模型应用于这些数据点，以为每个数据点生成预测标签。系统为每个特定标签生成置信度分数，从而指示该预测标签准确的置信度水平。

系统识别多个数据点中相关联的预测标签的置信度分数满足阈值置信度值的数量n(操作404)。例如，系统可以将阈值置信度值设置为70％。系统可以从该多个数据点当中确定有多少数据点与具有至少70％的置信度分数的预测相关联。在一个实施例中，数量n与百分比相关联。例如，系统可以应用指定n＝80％的规则。对于包含1,000个数据点的数据集，系统将确定是否该1,000个数据点中的80％(或者说800个)数据点具有高于70％的置信度分数。

系统确定计算出的具有高于预定义值的置信度分数的数据点的百分比是否超过阈值百分比(操作406)。例如，系统可以确定，如果由机器学习模型做出的预测中少于50％被确定为具有满足阈值置信度值的置信度分数，那么应当用新数据重新训练该机器学习模型。替代地，在需要高精确度的系统中，系统可以确定该阈值百分比为90％。因此，如果系统确定机器学习模型做出的预测中少于90％满足阈值置信度水平，那么系统可以采取纠正动作。

如果系统确定计算出的数据点的百分比满足阈值百分比，那么系统避免重新训练机器学习模型(操作408)。在一个或多个实施例中，系统可以执行附加动作，诸如当百分比接近阈值百分比时显示计算出的百分比和推荐的动作。

如果系统确定计算出的数据点的百分比不满足阈值百分比，那么系统可以触发用新数据集重新训练机器学习模型以提高机器学习模型做出的预测的准确度(操作410)。在一个实施例中，系统可以基于用于生成置信度分数的参数来识别应该被提供以提高机器学习模型的准确度的特定类型的数据。例如，系统可以将特定数据的缺乏识别为导致了特定预测的低置信度分数。系统可以显示用于新训练数据集的推荐数据类型。

4.计算机网络和云网络

在一个或多个实施例中，计算机网络提供节点集合之间的连接。节点可以在彼此本地和/或远离。节点通过一组链路连接。链路的示例包括同轴电缆、非屏蔽绞合电缆、铜缆、光纤和虚拟链路。

节点子集实现计算机网络。这样的节点的示例包括交换机、路由器、防火墙和网络地址转换器(NAT)。另一个节点子集使用计算机网络。这样的节点(也称为“主机”)可以执行客户端进程和/或服务器进程。客户端进程做出对计算服务(诸如，特定应用的执行和/或特定量的数据的存储)的请求。服务器进程通过执行所请求的服务和/或返回对应的数据来响应。

计算机网络可以是物理网络，包括通过物理链路连接的物理节点。物理节点是任何数字设备。物理节点可以是特定于功能的硬件设备，诸如硬件交换机、硬件路由器、硬件防火墙和硬件NAT。附加地或替代地，物理节点可以是被配置为执行各种虚拟机和/或执行相应功能的应用的通用机器。物理链路是连接两个或更多个物理节点的物理介质。链路的示例包括同轴电缆、非屏蔽绞合电缆、铜缆和光纤。

计算机网络可以是覆盖网络。覆盖网络是在另一个网络(诸如，物理网络)之上实现的逻辑网络。覆盖网络中的每个节点对应于底层网络中的相应节点。因此，覆盖网络中的每个节点与覆盖地址(寻址到覆盖节点)和底层地址(寻址实现覆盖节点的底层节点)两者相关联。覆盖节点可以是数字设备和/或软件进程(诸如虚拟机、应用实例或线程)。连接覆盖节点的链路被实现为通过底层网络的隧道。隧道任一端处的覆盖节点将它们之间的底层多跳路径视为单个逻辑链路。隧道处理(tunneling)通过封装和解封装来执行。

在实施例中，客户端可以位于计算机网络的本地和/或远离计算机网络。客户端可以通过其它计算机网络(诸如专用网络或互联网)访问计算机网络。客户端可以使用通信协议(诸如超文本传输协议(HTTP))将请求传送到计算机网络。通过诸如客户端接口(诸如web浏览器)、程序接口或应用编程接口(API)之类的接口来传送请求。

在实施例中，计算机网络提供客户端和网络资源之间的连接。网络资源包括被配置为执行服务器进程的硬件和/或软件。网络资源的示例包括处理器、数据存储装置、虚拟机、容器和/或软件应用。网络资源在多个客户端之间共享。客户端彼此独立地从计算机网络请求计算服务。网络资源按需动态分配给请求和/或客户端。分配给每个请求和/或客户端的网络资源可以基于例如(a)由特定客户端请求的计算服务，(b)由特定租户请求的聚合计算服务和/或(c)计算机网络的所请求的聚合计算服务来扩大或缩小。这种计算机网络可以被称为“云网络”。

在实施例中，服务提供商向一个或多个最终用户提供云网络。云网络可以实现各种服务模型，包括但不限于软件即服务(SaaS)、平台即服务(PaaS)和基础设施即服务(IaaS)。在SaaS中，服务提供商向最终用户提供使用服务提供商的正在网络资源上执行的应用的能力。在PaaS中，服务提供商向最终用户提供将定制应用部署到网络资源上的能力。可以使用由服务提供商支持的编程语言、库、服务和工具来创建定制应用。在IaaS中，服务提供商向最终用户提供供应由网络资源提供的处理、存储、网络和其它基本计算资源的能力。可以在网络资源上部署任何任意应用，包括操作系统。

在实施例中，计算机网络可以实现各种部署模型，包括但不限于私有云、公共云和混合云。在私有云中，网络资源被供应给一个或多个实体的特定组独占使用(如本文所使用的术语“实体”是指企业、组织、个人或其它实体)。网络资源可以在特定实体组的处所本地和/或远离特定实体组的处所。在公共云中，云资源被供应给彼此独立的多个实体(也称为“租户”或“客户”)。计算机网络及其网络资源由与不同租户对应的客户端访问。这样的计算机网络可以被称为“多租户计算机网络”。几个租户可以在不同时间和/或相同时间使用相同的特定网络资源。网络资源可以在租户的处所本地和/或远离租户的处所。在混合云中，计算机网络包括私有云和公共云。私有云和公共云之间的接口允许数据和应用的可移植性。存储在私有云处的数据和存储在公共云处的数据可以通过接口交换。在私有云处实现的应用和在公共云处实现的应用可能具有彼此依赖性。可以通过接口执行从私有云处的应用到公共云处的应用(反之亦然)的调用。

在实施例中，多租户计算机网络的租户彼此独立。例如，一个租户的业务或操作可以与另一个租户的业务或操作分离。不同的租户可能对计算机网络具有不同的网络要求。网络要求的示例包括处理速度、数据存储量、安全要求、性能要求、吞吐量要求、时延要求、弹性要求、服务质量(QoS)要求、租户隔离和/或一致性。相同计算机网络可能需要实现由不同租户所要求的不同网络要求。

在一个或多个实施例中，在多租户计算机网络中，实现租户隔离以确保不同租户的应用和/或数据彼此不共享。可以使用各种租户隔离方法。

在实施例中，每个租户与租户ID相关联。多租户计算机网络的每个网络资源用租户ID标记。仅当租户和特定网络资源与相同租户ID相关联时，才允许该租户访问特定网络资源。

在实施例中，每个租户与租户ID相关联。由计算机网络实现的每个应用用租户ID标记。附加地或替代地，由计算机网络存储的每个数据结构和/或数据集用租户ID标记。仅当租户和特定应用、数据结构和/或数据集与相同租户ID相关联时，才允许租户访问特定应用、数据结构和/或数据集。

作为示例，由多租户计算机网络实现的每个数据库可以用租户ID标记。只有与对应租户ID相关联的租户才可以访问特定数据库的数据。作为另一个示例，由多租户计算机网络实现的数据库中的每个条目可以用租户ID标记。只有与对应租户ID相关联的租户才可以访问特定条目的数据。但是，数据库可以由多个租户共享。

在实施例中，订阅列表指示哪些租户有权访问哪些应用。对于每个应用，存储被授权访问该应用的租户的租户ID列表。仅当租户的租户ID被包含在与特定应用对应的订阅列表中时，才允许该租户访问特定应用。

在实施例中，与不同租户对应的网络资源(诸如数字设备、虚拟机、应用实例和线程)被隔离到由多租户计算机网络维护的特定于租户的覆盖网络。作为示例，来自租户覆盖网络中的任何源设备的数据包可以仅被发送到相同租户覆盖网络内的其它设备。封装隧道用于禁止从租户覆盖网络上的源设备到其它租户覆盖网络中的设备的任何传输。具体而言，从源设备接收的数据包被封装在外部数据包内。外部数据包从第一封装隧道端点(与租户覆盖网络中的源设备通信)发送到第二封装隧道端点(与租户覆盖网络中的目的地设备通信)。第二封装隧道端点对外部数据包进行解封装，以获得由源设备发送的原始数据包。原始数据包从第二封装隧道端点发送到相同特定覆盖网络中的目的地设备。

5.其它事项；扩展

实施例针对具有一个或多个设备的系统，一个或多个设备包括硬件处理器并且被配置为执行本文描述的和/或以下权利要求中任一项所述的任何操作。

在实施例中，非暂态计算机可读存储介质包括指令，当由一个或多个硬件处理器执行时，所述指令使得执行本文描述的和/或权利要求中任一项所述的任何操作。

根据一个或多个实施例，可以使用本文描述的特征和功能的任何组合。在前面的说明书中，已经参考因实现而异的许多具体细节描述了实施例。因此，说明书和附图应当被认为是说明性的而不是限制性的。本发明的范围的唯一且排他的指标以及申请人预期作为本发明的范围的内容是从本申请中发出的权利要求集合的字面和等同范围，以这种权利要求发出的具体形式，包括任何后续的更正。

6.硬件概述

根据一个实施例，本文所描述的技术由一个或多个专用计算设备来实现。专用计算设备可以是硬连线的以执行技术，或者可以包括诸如被永久性地编程以执行技术的一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)或网络处理单元(NPU)的数字电子设备，或者可以包括编程为根据固件、存储器、其它存储装置或组合中的程序指令执行技术的一个或多个通用硬件处理器。这些专用计算设备还可以将自定义的硬接线逻辑、ASIC、FPGA或NPU与自定义的编程组合来实现技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备或结合硬连线和/或程序逻辑来实现技术的任何其它设备。

例如，图7是示出可以在其上实现本发明的实施例的计算机系统700的框图。计算机系统700包括总线702或用于传送信息的其它通信机制，以及与总线702耦合用于处理信息的硬件处理器704。硬件处理器704可以是例如通用微处理器。

计算机系统700还包括耦合到总线702用于存储信息和要由处理器704执行的指令的主存储器706，诸如随机存取存储器(RAM)或其它动态存储设备。主存储器706也可以用于在要由处理器704执行的指令执行期间存储临时变量或其它中间信息。当这些指令被存储在处理器704可访问的非暂态存储介质中时，它们使计算机系统700成为被定制以执行指令中指定的操作的专用机器。

计算机系统700还包括耦合到总线702用于存储静态信息和用于处理器704的指令的只读存储器(ROM)708或其它静态存储设备。提供了诸如磁盘或光盘的存储设备710，并且存储设备710被耦合到总线702，用于存储信息和指令。

计算机系统700可以经由总线702耦合到显示器712，诸如阴极射线管(CRT)，用于向计算机用户显示信息。输入设备714(其包括字母数字和其它键)被耦合到总线702，用于将信息和命令选择传送到处理器704。另一种类型的用户输入设备是光标控件716，诸如鼠标、轨迹球、或光标方向键，用于向处理器704传送方向信息和命令选择并且用于控制光标在显示器712上的移动。这种输入设备通常具有在两个轴(第一轴(例如，x)和第二轴(例如，y))中的两个自由度，这允许设备在平面中指定位置。

计算机系统700可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文描述的技术，这些定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统结合使计算机系统700成为或将计算机系统700编程为专用机器。根据一个实施例，本文的技术由计算机系统700响应于处理器704执行主存储器706中包含的一条或多条指令的一个或多个序列而执行。这些指令可以从另一个存储介质(诸如存储设备710)读取到主存储器706中。包含在主存储器706中的指令序列的执行使处理器704执行本文描述的处理步骤。在替代实施例中，可以使用硬连线电路系统代替软件指令或与软件指令组合使用。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非瞬态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备710。易失性介质包括动态存储器，诸如主存储器706。存储介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔模式的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒带、内容可寻址存储器(CAM)和三元内容可寻址存储器(TCAM)。

存储介质与传输介质不同但可以与传输介质结合使用。传输介质参与在存储介质之间传输信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线702的电线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外线数据通信期间生成的那些波。

各种形式的介质可以涉及将一条或多条指令的一个或多个序列携带到处理器704以供执行。例如，指令最初可以被携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并且使用调制解调器经电话线发送指令。计算机系统700本地的调制解调器可以接收电话线上的数据，并且使用红外线发射器将数据转换为红外线信号。红外线探测器可以接收在红外线信号中携带的数据，并且适当的电路系统可以将数据放在总线702上。总线702将数据携带到主存储器706，处理器704从该主存储器706检索并执行指令。由主存储器706接收到的指令可以可选地在被处理器704执行之前或执行之后存储在存储设备710上。

计算机系统700还包括耦合到总线702的通信接口718。通信接口718提供耦合到网络链路720的双向数据通信，其中网络链路720连接到本地网络722。例如，通信接口718可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或向对应类型的电话线提供数据通信连接的调制解调器。作为另一个示例，通信接口718可以是提供到兼容的局域网(LAN)的数据通信连接的LAN卡。也可以实现无线链路。在任何这种实现中，通信接口718都发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路720通常通过一个或多个网络向其它数据设备提供数据通信。例如，网络链路720可以通过本地网络722提供到主计算机724或到由互联网服务提供商(ISP)726操作的数据设备的连接。ISP 726又通过现在通常称为“互联网”728的世界范围的分组数据通信网络提供数据通信服务。本地网络722和互联网728二者都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及在网络链路720上并且通过通信接口718的信号是传输介质的示例形式，其中信息将数字数据携带到计算机系统700或者携带来自计算机系统700的数字数据。

计算机系统700可以通过(一个或多个)网络、网络链路720和通信接口718发送消息和接收数据，包括程序代码。在互联网示例中，服务器730可以通过互联网728、ISP 726、本地网络722和通信接口718传送对应用程序的请求代码。

接收到的代码可以在其被接收到时由处理器704执行，和/或存储在存储设备710或其它非易失性存储器中以供以后执行。

在前面的说明书中，已经参考因实现而异的许多具体细节描述了实施例。因此，说明书和附图应当被认为是说明性的而不是限制性的。本发明的范围的唯一且排他的指示以及申请人预期作为本发明的范围的内容是从本申请中发出的权利要求集合的字面和等同范围，以这种权利要求发出的具体形式，包括任何后续的更正。

Claims (11)

1.一种非暂态计算机可读介质，包括指令，所述指令在由一个或多个硬件处理器执行时使得执行操作，所述操作包括：

获得数据集，所述数据集包括(a)多维空间中的多个数据点和(b)分别对应于所述多个数据点的多个标签；

使用所述数据集的第一子集训练机器学习模型来预测所述多维空间中的数据点的标签；

将所述机器学习模型应用于所述多维空间中的目标数据点，以生成所述目标数据点的预测标签；

至少通过以下方式确定所述预测标签的置信度分数：

识别所述多维空间中与所述数据集的第二子集对应的所述多个数据点的子集；

从所述多个数据点的所述子集中识别最接近所述目标数据点的k个数据点；

将所述机器学习模型应用于所述k个数据点中的每个数据点以预测k个标签；

基于以下来确定所述机器学习模型的邻居准确度值：

(a)k个预测标签中的每一个是正确预测还是错误预测，其是通过将所述k个预测标签与所述数据集的第二子集中的所述k个数据点的已知标签进行比较而得到的；

(b)所述k个数据点中的每个数据点到所述多维空间中的所述目标数据点的距离；以及

至少基于所述邻居准确度值，计算所述预测标签的所述置信度分数。

2.如权利要求1所述的非暂态计算机可读介质，其中，确定邻居准确度值包括基于所述k个数据点中的每个数据点到所述目标数据点的距离来计算平均距离，

其中，所述置信度分数是基于所述平均距离而计算的。

3.如权利要求2所述的非暂态计算机可读介质，还包括：

训练置信度分数模型以为所述机器学习模型所生成的预测标签生成置信度分数，其中训练所述置信度分数模型包括：

将所述预测标签的所述置信度分数与根据所述数据集的第三子集计算的实际分数进行比较；以及

调整一个或多个参数以增加所述置信度分数的准确度，所述一个或多个参数包括：(a)第一参数k，表示最接近所述目标数据点的数据点的数量；(b)第二参数，表示被应用于所述k个数据点中的每个数据点到所述目标数据点的距离的第一权重；

以及(c)第三参数，表示被应用于指示所述k个预测标签中的每一个是正确预测还是错误预测的值的第二权重。

4.如权利要求1所述的非暂态计算机可读介质，其中，所述置信度分数是基于k个预测标签中的每一个的准确度分数的加权平均值来计算的，其中每个特定预测标签的准确度分数的权重基于对应数据点距所述目标数据点的距离。

5.如权利要求1所述的非暂态计算机可读介质，其中，所述数据集包括描述系统的数据，

其中所述操作还包括：

确定所述置信度分数是否满足阈值；

基于所述置信度分数满足所述阈值：使用所述预测标签来修改所述系统的一个或多个属性；以及

基于所述置信度分数不满足所述阈值：避免使用所述预测标签来修改所述系统的所述一个或多个属性。

6.如权利要求1所述的非暂态计算机可读介质，其中，所述数据集包括描述系统的数据，

其中所述操作还包括：

计算与多个目标数据点相关联的多个置信度分数；

计算所述多个置信度分数中包括至少阈值置信度分数值的百分比；

基于确定所述多个置信度分数中包括至少所述阈值置信度分数值的所述百分比不满足阈值百分比：识别描述所述系统的附加数据；

生成包括描述所述系统的所述附加数据的新的数据集；以及

使用所述附加数据重新训练所述机器学习模型。

7.一种非暂态计算机可读介质，包括指令，所述指令在由一个或多个硬件处理器执行时使得执行操作，所述操作包括：

获得数据集，所述数据集包括(a)多维空间中的多个数据点和(b)分别对应于所述多个数据点的多个标签；

使用所述数据集的第一子集训练机器学习模型来预测所述多维空间中的数据点的标签；

训练置信度分数模型以为所述机器学习模型所预测的标签预测置信度分数，包括：

获得所述数据集的第二子集；

将所述机器学习模型应用于所述数据的第二子集，以生成与第二子集的数据点对应的多个预测标签；

在所述多个预测标签中识别目标预测标签；

至少通过以下方式确定与目标数据点相关联的所述目标预测标签的置信度分数：

识别所述多维空间中与所述数据集的第二子集对应的所述多个数据点的子集；

从所述多个数据点的所述子集中识别最接近所述目标数据点的k个数据点；

基于以下来确定所述机器学习模型的邻居准确度值：

(a)k个预测标签中的每一个是正确预测还是错误预测，其是通过将所述数据集的第二子集中的所述k个数据点的所述k个预测标签与已知标签进行比较而得到的；

(b)所述k个数据点中的每个数据点到所述多维空间中的所述目标数据点的距离；

至少基于所述邻居准确度值，计算所述目标预测标签的预测置信度分数；以及

基于将所述目标预测标签的所述预测置信度分数与从所述数据集的第三子集获得的实际分数进行比较，微调所述置信度分数模型的至少一个参数。

8.如权利要求7所述的介质，其中，所述操作还包括：

将第一权重应用于第一参数a，该第一参数a与确定所述k个预测标签中的每一个是否是正确预测相关联；

将第二权重应用于第二参数b，该第二参数b与确定所述k个数据点中的每个数据点到所述目标数据点的距离相关联；以及

其中，微调所述置信度分数模型的所述至少一个参数包括修改k、a和b中的至少一个的值。

9.一种方法，包括如权利要求1-8中的任一项所述的操作。

10.一种包括硬件处理器的系统，被配置为执行如权利要求1-8中的任一项所述的操作。

11.一种包括用于执行如权利要求1-8中的任一项所述的操作的部件的系统。