CN106663086A - 用于核回归模型的集体的设备和方法 - Google Patents

Abstract

感测表示与实体或过程相关联的物理参数的信息。感测的信息被收集到当前模式或当前模式序列中。将当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体。基于最佳匹配的总体创建多个核回归模型。使用多个核回归模型生成用于感兴趣的传感器的估计值的至少一个分布。分析针对感兴趣的传感器的估计值的至少一个分布，以获得至少一个估计分布的中心的测量和至少一个估计分布的宽度的测量。

Description

用于核回归模型的集体的设备和方法

相关申请的交叉引用

本申请要求35 U.S.C.§119（e）下的对2014年9月12日提交的题为APPARATUS ANDMETHOD FOR ENSEMBLES OF KERNEL REGRESSION MODELS的美国临时申请号62/049558的权益，其内容通过引用整体结合在本文中。

背景技术技术领域

本申请涉及建模，并且更具体地，涉及基于建模获得参数的行为的估计。

背景技术

核回归是用于确定数据集中的值之间的非线性函数或关系的建模形式，并且用于监测机器或系统以确定机器或系统的情况（condition）。对于基于序列相似性建模（SSM），多个传感器信号测量机器、系统或被监测的其它对象的物理相关参数以提供传感器数据。参数数据可以包括来自信号或不管是否基于传感器信号的其他计算数据的实际值或当前值。然后，参数数据由经验模型处理以提供那些值的估计。然后将估计与实际值或当前值进行比较，以确定在被监测的系统中是否存在故障。

更具体地，该模型使用表示已知操作状态的传感器值的选择的历史模式的参考库来生成估计。这些模式也被称为向量、快照或观察，并且包括来自多个传感器的值或指示在时间瞬间被监测的机器的情况的其他输入数据。在来自参考库的参考向量的情况下，向量通常指示被监测的机器的正常操作。模型将来自当前时间的向量与来自参考库的已知状态的多个选择的学习向量进行比较，以估计系统的当前状态。一般来说，将当前向量与由来自参考库的选择的向量组成的矩阵进行比较以形成权重向量。在进一步步骤中，将权重向量乘以矩阵以计算估计值的向量。然后将估计向量与当前向量进行比较。如果向量中的估计值和实际值不足够相似，则这可以指示在被监测的对象中存在故障。

核回归建模的另一种形式是基于变量相似性建模（VBM）。在VBM中，首先从表示机器、过程或系统的测量或传感器获取参考数据观察。然后，从表示性数据与来自相同传感器或测量的当前观察的组合计算模型。该模型采用建模的系统的每个新观察重新计算。模型的输出是表征建模的系统的状态的至少一个传感器、测量或其他分类或资格参数的估计。

虽然上面提到的方法可以被利用来获得估计，但是以这种方式获得估计存在一些限制。在一些工业中存在问题，在所述工业中使用回归模型来估计未对重要时间段测量或者根本不能测量（因为正在估计未来响应）的关键传感器或操作参数的响应。置信界限的精确计算对于这些问题是特别有益的，因为估计和相关联的置信界限会是可用于关键参数的仅有数据。

上面提到的工业问题的一个示例涉及泵辅助的油和气提取。井中和电潜泵上的井下（down hole）传感器提供诸如储层温度、储层压力和泵速度的参数的连续测量，但是没有用于确定提取的油和气的体积的关键井性能参数。在井测试期间以不规则的间隔测量关键性能参数，例如体积流率和含水率（即，与从油井产生的总液体的体积相比所产生的水的比率）。因此，当前方法在获得这些类型的估计方面没有做出足够或可接受的工作。

这些问题已经造成了对先前方法的一些普遍的用户不满意。

发明内容

本方法创建用于从被监测的对象或过程接收的传感器数据的每个观察向量的核回归模型的集体（ensemble）（族）。集体中的模型从与当前情况相似但是彼此独立的数据而创建。每个模型生成用于每个模型变量的估计向量。统计量从生成的用于每个变量的估计的分布计算。在一个方面，计算估计分布的平均值，并且这提供了比由任何单个模型产生的当前情况的估计更鲁棒的估计。在另一方面，计算分布的中值。由于独立模型的总体（population）与传感器和过程误差相关，所以估计分布的宽度的测量（例如，标准偏差）提供了对于当前观察向量的模型估计的不确定性的指示。

在这些实施例的许多实施例中，感测表示与实体或过程相关联的物理参数的信息。感测的信息被收集到当前模式或当前模式序列中。将当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体。基于最佳匹配的总体创建多个核回归模型。使用多个核回归模型生成用于至少一个感兴趣的传感器的估计值的至少一个分布。分析针对感兴趣的一个或多个传感器的估计值的分布以获得针对感兴趣的传感器的每个的估计分布的中心的测量和估计分布的宽度的测量。

在一些方面，创建包括在单个和当前时间点创建多个核回归模型。在其他方面，创建包括创建用于以单个和当前时间点结束的相关时间点的时间序列的多个核回归模型。

在一些示例中，估计分布的中心的测量包括平均值。在其他示例中，估计分布的中心的测量包括中值。在其他方面，估计分布宽度的测量包括标准偏差。在一些其他示例中，基于预定准则来选择地除去多个模型中的至少一个。

在这些实施例的其他实施例中，用于获得估计的设备包括接口和处理器。接口包括输入和输出，并且输入配置成接收表示与实体或过程相关联的物理参数的感测的信息。感测的信息被收集到当前模式或当前模式序列中。

处理器耦合到接口。处理器配置成将当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体。处理器配置成基于最佳匹配的总体创建多个核回归模型并且使用多个核回归模型生成感兴趣的传感器的估计值的至少一个分布。所述处理器还被配置成分析感兴趣的传感器的估计值的至少一个分布，以获得至少一个估计分布的中心的测量和至少一个估计分布的估计分布宽度的测量。处理器在输出呈现至少一个估计分布的中心的测量和至少一个估计分布的估计分布宽度的测量。

附图说明

为了更完整地理解本公开，应对以下详细描述和附图进行参考，其中：

图1包括根据本发明的各种实施例的用于获得估计的系统的框图;

图2包括示出根据本发明的各种实施例的估计的值的不同统计方面的图;

图3包括根据本发明的各种实施例的用于获得估计的方法的流程图;

图4包括根据本发明的各种实施例的用于获得估计的设备的框图。

本领域技术人员将意识到，为了简单和清楚起见，示出图中的元件。将进一步意识到，可以以具体的发生的顺序描述或描绘某些动作和/或步骤，而本领域技术人员将理解，相对于序列的此类特性实际上不是要求的。还将理解，本文使用的术语和表达具有如与相对于其对应的调查和研究的相应的领域的此类术语和表达相一致的普通含义（除非在本文中以其它方式阐述特定含义的地方）。

具体实施方式

本方法利用作为随机建模方法（如随机森林和梯度提升模型）的区别特性的集体学习和随机化特征选择属性。但是，与利用诸如决策树的弱学习器的这些传统集体学习算法不同，本方法利用局部（localized）核回归模型的比较强的学习算法。

两种形式的核回归建模算法利用局部学习算法，并且可以根据本方法使用这两种建模技术。这些建模算法的第一形式的示例，也称为基于变量相似性建模（VBM），在美国专利号7,403,869中描述，其通过引用整体结合在本文中。第二形式的核回归算法的示例，也称为基于序列相似性建模（SSM），在美国专利号8,602,853中描述并且这也通过引用整体结合在本文中。

在本方法所利用的局部学习算法中，将被监测系统的当前状态与学习状态的大得多的参考阵列中的状态进行比较。应用相似性算子或其他模式匹配函数以提供当前状态和参考阵列中的每个状态之间的模式重叠的数值分数。将具有最高分数的参考状态的小集合（例如10个）收集在训练矩阵中以创建模型。该模型用于生成当前状态的估计。

在VBM算法的上下文中，状态是观察向量，而在SSM的上下文中，状态是时间上相关的观察向量的序列。在本公开的许多中，许多讨论涉及利用VBM算法的本方法的应用。但是在不失一般性的情况下，应当理解，本方法同样适用于并且可以利用SSM算法。

因为参考阵列中的向量的数量趋向于大于系统的唯一操作状态的数量，所以仅选择与当前观察向量良好匹配的参考向量的小部分。此外，产生最高模式匹配的参考向量趋向于具有与观察向量的随机波动一致的随机波动的那些参考向量。复合信号中随机元素的这个对准增加了模型过拟合数据的噪声分量的趋势。

本文描述的基于集体核回归模型的方法抵消局部学习算法创建通过从与观察向量良好匹配的较大的参考向量总体中随机选择训练向量来过拟合的模型的趋势。多次执行用于创建回归模型的参考向量的随机选择，例如，50次。

每个回归模型生成估计向量。对由核回归模型的集体生成的估计向量的集合进行平均，以产生估计向量（其比任何组成向量更少由噪声上色(colored)）。模型的集体的精确度通过估计向量分布的变化的测量来提供，例如标准偏差或分布的第5百分位和第95百分位之间的差。对于模型中的每个变量计算这些统计量。

因为训练向量是随机选择的，所以有可能集体模型将不良地执行。在一些方面，利用修剪算法来除去任何不良执行集体模型。在一个示例中，修剪算法利用统计量（该统计量被称为全局相似性并且在美国专利号6,859,739中描述，其通过引用整体结合在本文中）。存在其他类型的修剪算法。一般来说，这些算法提供模型质量或拟合优度的统计测量。此类统计测量包括作为根均方误差和确定系数（也称为R平方统计量）的测量。修剪算法将模型质量测量应用于每个集体模型的输出（即，估计向量），并且除去任何集体模型（其质量小于某个预定义阈值）。

由于模型估计从一系列相关模型的平均响应导出，因此集体核回归模型提供了比创建观察向量的单个估计的标准核回归模型更加鲁棒的系统响应的估计，因为影响单个模型的传感器噪声和过程通过跨集体求平均而减少。但是更有益的是，跨集体的模型输出的变化是总的模型响应的置信的直接测量。不仅集体核回归模型可以提供所有模型变量的响应的估计，而且它们可以对独立估计提供上置信界限和下置信界限。

参照图1，估计系统100（其可以是结合时域信息的VBM系统或SSM系统）可以以一个或多个模块的形式体现在计算机程序中，并且在一个或多个计算机上和/或通过一个或多个处理器执行。

计算机或处理器可以具有一个或多个存储器存储装置（无论是内部还是外部）以永久​​地或临时地保持传感器数据和/或计算机程序。在一种形式中，独立计算机运行专用于从仪表化（instrumented）机器、过程或包括生物、测量参数（温度，压力等）的其它对象上的传感器接收传感器数据的程序。被监测的对象虽然没有具体限制，但可以是风力农场中的一个或多个风力涡轮机、与海底油井相关的装备、工业工厂中的一个或多个机器、一个或多个车辆或车辆上的具体机器（例如举一些示例，喷气发动机）。传感器数据可以通过有线或无线地通过计算机网络或因特网传送到例如执行数据收集的计算机或数据库。具有一个或多个处理器的一个计算机或处理器可以执行所有模块的所有监测任务，或者每个任务或模块可以具有执行该模块的其自己的计算机或处理器。因此，将理解，处理可以在单个位置发生，或者处理可以在全部通过有线或无线网络连接的许多不同位置发生。

系统100从如上所描述的被监测的对象106上的传感器102接收数据或信号。该数据布置到一个或多个输入向量132中以供系统100使用。本文中，术语输入、实际和当前可互换使用，并且术语向量、快照和观察可互换使用。输入向量（或例如实际快照）表示在单个时刻被监测的机器的操作状态。在一个示例中，接收一个输入向量（VBM）。在另一示例中，接收时间上相关向量序列（SSM）。在一个示例中，非常频繁地获得若干传感器值，而不频繁地获得其他传感器值。换句话说，对于当前时间点，一些传感器值是明确已知的，而其他传感器值是未知的。

用户期望在当前时间点从一个或多个感兴趣的传感器获得不频繁（未知）传感器值的估计。还可能期望在未来的时间点从一个或多个感兴趣的传感器获得不频繁（未知）传感器值的估计。对于这两个结果，期望知道估计的值的统计不确定性。使用本文描述的方法，可以在输出接口116确定和呈现此信息给用户。

输入向量132可以包括可以或可以不基于传感器数据（或原始数据）计算的计算的数据。这可以包括例如平均压力或压力、温度、风速、流速和任何其它类型的计算的参数的改变。输入向量132还可以具有表示未由对象106上的传感器表示的其他变量的值。这可以是例如接收传感器数据的一年中的一天的平均环境温度等。

该系统包括历史数据存储110、估计模块112、告警模块114和输出接口116。估计模块112包括比较模块122、模型创建模块124、分布模块126和分析模块128。将意识到，可以使用硬件和/或计算机软件的任何组合来实现任何组件。例如，可以使用在处理装置上执行的计算机指令来实现任何组件。

在操作中，数据由估计模块112接收。估计模块提供估计和估计的精确度范围。估计和精确度范围可以是针对当前时间点（如果使用VBM方法），或针对一个或多个未来时间点（如果使用SSM方法）。当满足某个预定准则时，告警模块114可以向用户发送告警。可以在输出接口116显示告警，连同估计（以及估计的分布/不确定性）。输出接口116可以是任何类型的装置（例如计算机、平板、蜂窝电话、显示器）上的任何类型的接口（例如，显示屏，触摸屏）。

现在转向估计模块112的特定操作和结构（如所提到的），并且在一个方面，利用四个模块122、124、126和128来执行其功能性。将意识到，模块122、124、126和128可以通过硬件和软件的任何组合来实现。在一个示例中，使用在诸如微处理器的处理装置上执行的计算机指令来实现模块122、124、126和128。

比较模块122将当前模式或当前模式序列（从接收的输入向量获得的）与来自历史数据存储的历史数据进行比较，以获得最佳匹配的总体。最佳匹配可以是满足预定标准的那些匹配。例如，可以选择具有高于某个数值阈值的相似性值的向量。

模型创建模块124基于最佳匹配的总体创建多个核回归模型。以下等式和讨论用于基于相似性模型（SBM）。SBM是核回归建模的一种形式。将意识到，也可以利用其他形式的核回归模型。

本文提到的模型指的是可以被实现或存储为数据结构的数学关系。根据以下等式，从这些模型做出估计，并且独立于数据的原点做出估计，其中通过除以从相似性算子创建的“权重”的和来对估计进行归一化：

（1）

在基于相似性建模的推理（inferential）形式中，从根据下式的输入和学习的观察来估计推理的参数向量：

（2）

其中Din具有与xin中的实际传感器值（或参数）相同数量的行，并且Dout具有与包括所推理的参数或传感器的参数的总数相同数量的行。

在一种形式中，学习模范（examplar）Da的矩阵可以被理解为包含映射到输入向量xin中的传感器值的行和映射到各种传感器的行的聚合矩阵：

（3）

如之前一样使用权重的和进行归一化：

（4）

应当注意，通过用学习模范Da的完整矩阵替换Dout，基于相似性的建模可以同时计算输入传感器（自动相关联形式）和推理的传感器（推理形式）的估计：

（5）

将意识到，当使用VBM方法时，Xin是单个向量并且Da是二维阵列。对于SSM方法，Xin是时间序列向量阵列，并且Da是时间排序的阵列的集合。这样创建的模型用于生成估计值。例如，可以针对当前时间点（当使用VBM方法时）或针对未来时间点（当使用SSM方法时）获得所请求的传感器的估计。

模型创建模块124还可以利用修剪算法来除去任何不良执行集体模型。修剪算法在一个方面利用称为全局相似性的统计量，其在已通过引用整体结合在本文中的美国专利号6,859,739中描述。

分布创建模块126使用多个核回归模型生成所请求的传感器值的至少一个分布。现在简要地转到图2，描述了由本方法利用的统计信息的示例。 x轴具有表示感兴趣的传感器的估计值的各种点。每个点是来自单独的集体模型的单独估计。 y轴表示给定间隔（在x轴上）上的点的数量。可以看出，获得给定x轴间隔中的点的数量或频率的曲线202，并且在一个方面中是类高斯分布。曲线202具有中值206和标准偏差204。两个标准偏差表示例如所有估计的90％。因此，在一个示例中，中值估计近似为3.8 +/- 1。

分析模块128分析所请求的传感器值的分布，以获得至少一个分布的中心的测量和至少一个分布的宽度的测量。如所提到的，分布创建模块126使用由模型创建模块124获得的模型来计算估计点的分布，以获得点。在一个示例中，并且利用VBM方法，利用各种模型来实现估计点。每个估计点可以表示用户期望的传感器值的估计。分析模块128可以计算平均值（即，所有估计的和除以估计的数量）、中值和标准偏差（举几个示例）。该信息可以经由输出接口116提供给用户。

现在参考图3，描述了一种用于获得估计的方法。在步骤302，感测表示与实体或过程相关联的物理参数的信息。

在步骤304，将感测的信息收集到当前模式或当前模式序列中。在步骤306，将当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体。

在步骤308，基于最佳匹配的总体创建多个核回归模型。在步骤310，使用多个核回归模型生成用于感兴趣的传感器的估计值的至少一个分布。在步骤312，分析针对感兴趣的传感器的估计值的至少一个分布，以获得至少一个估计分布的中心的测量和至少一个估计分布的估计分布宽度的测量。

参考图4，用于获得估计的设备400包括接口402和处理器404。接口402包括输入406和输出408，并且输入406配置成接收表示与实体或过程相关联的物理参数的感测的信息。感测的信息被收集到当前模式或当前模式序列410中，

处理器404耦合到接口402。处理器404配置成将当前模式或当前模式序列410与存储器414中的历史数据412进行比较，以便获得最佳匹配的总体。通过“最佳”匹配并且如本文所使用的，意味着满足或超过给定准则、标准、期望或指南（guideline）的匹配。可以调整准确的准则、标准、期望或指南以适合具体用户或系统的需要。

处理器404配置成基于最佳匹配的总体创建多个核回归模型，并使用多个核回归模型生成感兴趣的传感器的估计值的至少一个分布。

处理器404还配置成分析感兴趣的传感器的估计值的至少一个分布，以获得至少一个估计分布的中心的测量以及至少一个估计分布的估计分布宽度的测量。处理器404在输出408呈现至少一个估计分布的中心的测量和至少一个估计分布的估计分布宽度的测量。

提供优于现有方法的商业优点的本方法的应用的一个示例涉及泵辅助的油和气提取。油井和气井中的以及电潜泵上的井下传感器提供对诸如储层温度、储层压力和泵速度的参数的连续测量，但不提供用于确定提取的油和气的体积的关键井性能参数。在井测试期间以不规则的间隔（最好）测量关键性能参数，例如体积流率和水分（即，与从油井产生的总液体的体积相比所产生的水的比率）。通过创建连续传感器信号和间歇性关键性能信号的集体核回归模型，当没有执行井测试时（对于当前时间），可以采用相关联的置信带估计体积流率和含水率参数。

将意识到，本方法随机化模型训练向量的选择。也就是说，对于给定的模型传感器集合，获得包含传感器值的各种观察向量。然而，在其他示例中，可随机化所使用的特征（例如，所使用的传感器）。也就是说，随机选择作为具体集体模型中的变量而包括的传感器。例如，一个集体模型可以利用来自第一和第二传感器的数据。在第二集体模型中，可以使用来自另一传感器群组（第三和第四传感器）的数据。在第三集体模型中，可以使用来自第三传感器群组的数据（例如，第一传感器和第三传感器）。

如所提到的，本方法使用VBM方法推理当前缺失的测量。在本示例中，这可以是具有+/-范围的当前值体积流量。在其他方法中，可以根据SSM模型获得未来测量。例如，将来在两天和三天的体积流量可以采用+/-范围估计。

在另一应用中，本方法可以应用于在风力农场中组织的风力涡轮机，以获得由风力农场中的独立涡轮机和/或整个风力农场提供的输出功率的预测。在这些方面，来自农场中的各种涡轮机的历史风力数据可被存储并用于创建本文所描述的模型。根据本方法并且在给定的一天，可以在某些时间从风力农场中的某些涡轮机或点（例如，在上午9:00和上午10:00从所有传感器）取得风速或其他传感器读数。使用采用本方法的SSM建模，生成多个模型，并且这些模型被用于生成具体涡轮机的功率输出的估计和/或可以对于未来的给定时间获得具有统计公差的整个风力农场的功率输出（例如，同一天的11:00风力农场将产生99MW +/- 9MW的功率）或对于未来一天获得连同统计公差的整个风力农场的功率输出（例如，明天上午11:00风力农场将产生101MW +/- 10MW的功率）。

将意识到，这些仅是应用（其中可以采用和利用本方法）的两个示例。其他示例是可能的。

本文描述了本发明的优选实施例，包括对发明人已知的用于实施本发明的最佳模式。应当理解，所示的实施例仅仅是示范性的，并且不应当被视为限制本发明的范围。

Claims (14)

1.一种估计实体或过程的当前或未来行为的方法，所述方法包括：

感测表示与所述实体或过程相关联的物理参数的信息;

将所述感测的信息收集到当前模式或当前模式序列中;

将所述当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体;

基于所述最佳匹配总体创建多个核回归模型;

使用所述多个核回归模型生成感兴趣的传感器的估计值的至少一个分布;

分析感兴趣的传感器的所述估计值的所述至少一个分布，以获得所述至少一个估计分布的中心的测量和所述至少一个估计分布的估计分布宽度的测量。

2.根据权利要求1所述的方法，其中所述创建包括在单个和当前时间点创建所述多个核回归模型。

3.根据权利要求1所述的方法，其中所述创建包括创建用于以所述单个和当前时间点结束的相关时间点的时间序列的所述多个核回归模型。

4.根据权利要求1所述的方法，其中所述至少一个估计分布的所述中心的所述测量包括平均值。

5.根据权利要求1所述的方法，其中所述至少一个估计分布的所述中心的所述测量包括中值。

6.根据权利要求1所述的方法，其中所述估计分布宽度的所述测量包括标准偏差。

7.根据权利要求1所述的方法，还包括基于预定标准选择性地除去所述多个模型中的至少一个。

8.一种用于获得估计的设备，所述设备包括：

具有输入和输出的接口，所述输入被配置成接收表示与所述实体或过程相关联的物理参数的感测的信息，所述感测的信息被收集到当前模式或当前模式序列中，

耦合到所述接口的处理器，所述处理器配置成将所述当前模式或当前模式序列与历史数据进行比较，以便获得最佳匹配的总体，所述处理器配置成基于最佳匹配的所述总体创建多个核回归模型并且使用所述多个核回归模型来生成感兴趣的传感器的估计值的至少一个分布，所述处理器还配置成分析感兴趣的传感器的所述估计值的所述至少一个分布，以获得所述至少一个估计分布的所述中心的测量以及所述至少一个估计分布的估计分布宽度的测量，并且在所述输出呈现所述至少一个估计分布的所述中心的测量和所述至少一个估计分布的估计分布宽度的所述测量。

9.根据权利要求8所述的设备，其中，在单个和当前时间点创建所述多个核回归模型。

10.根据权利要求8所述的设备，其中，创建以所述单个和当前时间点结束的相关时间点的时间序列的所述多个核回归模型。

11.根据权利要求8所述的设备，其中，所述至少一个估计分布的所述中心的所述测量包括平均值。

12.根据权利要求8所述的设备，其中，所述至少一个估计分布的所述中心的所述测量包括中值。

13.根据权利要求8所述的设备，其中，所述估计分布宽度的所述测量包括标准偏差。

14.根据权利要求8所述的设备，其中，所述处理器配置成基于预定准则选择性地除去所述多个模型中的至少一个。