CN112136143A

CN112136143A - 使用神经网络的时间序列数据依赖的动态发现

Info

Publication number: CN112136143A
Application number: CN201980032034.XA
Authority: CN
Inventors: S.Y.沙; X-H.邓; P.泽尔福斯
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2018-05-17
Filing date: 2019-05-16
Publication date: 2020-12-25
Anticipated expiration: 2039-05-16
Also published as: US20190354836A1; CN112136143B; WO2019219799A1; EP3794510A1; JP7307089B2; JP2021531529A

Abstract

提供了用于确定多变量时间序列数据中的时间依赖性和时间序列间依赖性的技术。例如，本文所述的实施例可包括系统，该系统可包括可存储计算机可执行组件的存储器。该系统还可以包括处理器，该处理器可以执行存储在存储器中的计算机可执行组件。计算机可执行组件可包括：计算组件，该计算组件利用时间序列数据对递归神经网络(RNN)进行编码并且基于时间上下文向量来确定经解码的RNN，以确定时间序列数据中的时间依赖性；组合组件，组合解码的RNN并确定时间序列间依赖上下文向量和RNN依赖解码器；以及分析组件，所述分析组件基于所述时间序列间依赖性上下文向量和所述RNN依赖性解码器来确定所述时间序列数据中的时间序列间依赖性以及所述时间序列数据的预测值。

Description

使用神经网络的时间序列数据依赖的动态发现

技术领域

一个或多个实施例涉及神经网络，并且更具体地涉及使用人工智能技术利用深度神经网络动态发现多变量时间序列数据(multivariate time series data)之间的依赖性。

背景技术

多变量时间序列建模和预测可以指机器学习的一个方面。在一些方面中，时间序列建模可以涉及确定适当的模型，然后基于历史数据的集合来训练模型，使得模型能够确定时间序列的结构。

进一步，模型的选择和训练可以通过测量模型针对从时间序列观察到的未来值的预测准确度来验证。在一些方面，通过理解过去的数据来预测未来值的任务可被称为时间序列预测。

在动态(例如，时变)环境中建模和预测多变量时间序列可能比静态环境更具挑战性，在静态环境中可以容易地做出关于时间序列之间的关系的假设，并且这样的假设在时间序列的整个寿命期间可以是稳定的和持久的。在更复杂的动态系统中，时间序列的相互依赖性可以在时间上变化。在这样的领域中，实体不仅可以对具有高预测准确度的模型感兴趣，而且可能想要获得对在给定时间点处的各个时间序列数据集之间的相互影响的更深入的洞察。替代或传统方法可能缺乏捕获时间序列之间的相互交互中的动态变化的能力。

因此，本领域需要解决上述问题。

发明内容

从第一方面来看，本发明提供了一种用于使用神经网络来确定时间序列数据中的时间依赖性的系统，该系统包括：存储器，该存储器存储计算机可执行组件；处理器，可操作地耦合到所述存储器，并且执行存储在所述存储器中的所述计算机可执行组件，其中，所述计算机可执行组件包括：计算组件，所述计算组件用于利用相应的时间序列数据对至少两个递归神经网络(RNN)进行编码并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，确定至少两个时间序列数据中的时间依赖性；组合组件，所述组合组件组合所述至少两个经编码的RNN并确定时间序列间依赖上下文向量和RNN依赖解码器；以及分析组件，所述分析组件基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定一个或多个时间序列数据的预测值。

从另一方面来看，本发明提供一种系统，包括：存储器，存储计算机可执行组件；处理器，可操作地耦合到所述存储器，并且执行存储在所述存储器中的所述计算机可执行组件，其中，所述计算机可执行组件包括：计算组件，所述计算组件利用相应的时间序列数据对至少两个递归神经网络(RNN)进行编码并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，确定至少两个时间序列数据中的时间依赖性；组合组件，所述组合组件组合所述至少两个解码的RNN并且确定时间序列间依赖上下文向量和RNN依赖解码器；以及分析组件，所述分析组件基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定所述至少两个时间序列数据中的时间序列间依赖性以及一个或多个时间序列数据的预测值。

从另一方面来看，本发明提供了一种用于使用神经网络来确定时间序列数据中的时间依赖性的计算机实现的方法，所述方法包括：由可操作地耦合到处理器的计算部件利用相应的时间序列数据来对至少两个递归神经网络(RNN)进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，确定至少两个时间序列数据中的时间依赖性；由操作地耦合到所述处理器的组合组件确定时间序列间依赖性上下文向量和RNN依赖性解码器；以及由可操作地耦合到所述处理器的分析组件基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定一个或多个时间序列数据的预测值。

从另一方面来看，本发明提供了一种计算机实现的方法，包括：由计算部件操作性地耦合到处理器编码具有相应时间序列数据的至少两个递归神经网络(RNN)，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，确定所述至少两个时间序列数据中的时间依赖性；由操作地耦合到所述处理器的组合组件组合所述至少两个经解码的RNN，并且由所述组合组件确定时间序列间依赖上下文向量和RNN依赖解码器；以及由可操作地耦合到所述处理器的分析组件基于RNN编码器和所述RNN依赖解码器利用基于关注机制的神经网络来确定所述至少两个时间序列数据中的时间序列间依赖性以及一个或多个时间序列数据的预测值。

从另一方面来看，本发明提供了一种用于使用神经网络来确定时间序列数据中的时间依赖性的计算机程序产品，该计算机程序产品包括计算机可读存储媒质，该计算机可读存储媒质可由处理电路读取并且存储用于由处理电路执行以便执行用于执行本发明的步骤的方法的指令。

从另一方面来看，本发明提供了一种存储在计算机可读媒质上并且可加载到数字计算机的内部存储器中的计算机程序，所述计算机程序包括软件代码部分，当所述程序在计算机上运行时，所述软件代码部分用于执行本发明的步骤。

下面给出概述以提供对本公开的一个或多个实施例的基本理解。本概述不旨在标识关键或重要元素，或旨在描绘具体实施例的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所描述的一个或多个实施例中，描述了可以使用基于神经网络的人工智能技术来自主地确定多变量时间序列数据中的关系的系统、计算机实现的方法、装置和/或计算机程序产品。

根据一个实施例，提供了一种系统。该系统可以包括存储计算机可执行组件的存储器。该系统还可以包括处理器，其可操作地耦合到存储器，并且可以执行存储在存储器中的计算机可执行组件。计算机可执行组件可包括：计算组件，其利用相应的时间序列数据对至少两个递归神经网络(RNN)进行编码并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列数据中的时间依赖性；组合组件，所述组合组件组合所述至少两个解码的RNN并且确定时间序列间依赖上下文向量和RNN依赖解码器；以及分析组件，所述分析组件基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定所述至少两个时间序列数据中的时间序列间依赖性以及一个或多个时间序列数据的预测值。

根据一个或多个举例实施例，提供了一种计算机实现的方法。该计算机实现的方法包括：由可操作地耦合到处理器的计算组件利用相应的时间序列数据来对至少两个RNN进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列中的时间依赖性；由操作地耦合到所述处理器的组合组件组合所述至少两个解码的RNN，并确定时间序列间依赖上下文向量和RNN依赖解码器；以及由可操作地耦合到所述处理器的分析组件利用基于关注机制的神经网络基于RNN编码器和所述RNN依赖解码器来确定一个或多个时间序列数据的预测值。

根据又一或多个举例实施例，提供一种计算机程序产品。该计算机程序产品可以包括计算机可读存储媒质，该计算机可读存储媒质具有随其体现的程序指令。程序指令可由处理器执行以使处理器：由操作地耦合到处理器的计算组件利用相应的时间序列数据来对至少两个RNN进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列中的时间依赖性；由操作地耦合到所述处理器的组合组件组合所述至少两个解码的RNN，并确定时间序列间依赖上下文向量和RNN依赖解码器；以及由可操作地耦合到所述处理器的分析组件基于RNN编码器和所述RNN依赖解码器利用基于关注机制的神经网络来确定所述至少两个时间序列数据中的时间序列间依赖性以及一个或多个时间序列数据的预测值。

附图说明

现在将参考附图仅通过举例来描述本发明的实施例，在附图中：

图1示出根据本文描述的一个或多个实施例的用于采用神经网络的多变量时间序列数据之间的依赖性的动态发现的示例非限制性系统的框图。

图2示出了根据本文描述的一个或多个实施例的示例制造环境的示意图，其中，所公开的模型的各方面可被用于基于神经网络的对多变量时间序列数据之中的依赖性的发现。

图3示出了根据本文描述的一个或多个实施例的示例联网环境的示图，其中，所公开的模型的各方面可被用于基于神经网络的多变量时间序列数据之间的依赖性的发现。

图4示出了根据本文描述的一个或多个实施例的可由所公开的模型的计算组件和分析组件采用的示例神经网络架构的图。

图5示出了根据本文描述的一个或多个实施例的能够由计算组件、组合组件和分析组件使用以在多变量时间序列数据之间动态发现时间和相互依赖性的模型的示例图。

图6A和图6B示出了根据本文描述的一个或多个实施例的用于基于神经网络的发现多变量时间序列数据之间的时间依赖性和相互依赖性的的模型的其他示例图。

图7示出了根据本文描述的一个或多个实施例的由模型的分析组件从制造设备处的传感器获得的多变量数据确定的变量的相互依赖性的示例图。

图8示出了根据本文描述的一个或多个实施例的由模型的分析部件从由制造设备处的传感器获得的多变量数据生成的传感器交互图的示例图。

图9示出根据本文描述的一个或多个实施例的由模型的分析部件从由制造设备处的传感器获得的多变量数据生成的预测的传感器值的示例图。

图10示出了根据本文描述的一个或多个实施例的由模型从基于规则的合成数据集中生成的预测值的示例图。

图11示出了根据本文描述的一个或多个实施例的由模型确定的基于规则的合成数据集中的分析组件生成的时间和相互依赖性的示例图。

图12示出了根据本文描述的一个或多个实施例的所公开的AI系统和算法的操作方面的示例流程图的示图。

图13示出了其中可以促进本文描述的一个或多个实施例的示例非限制性操作环境的框图。

图14描绘了根据本文描述的一个或多个实施例的云计算环境。

图15描绘了根据本文描述的一个或多个实施例的抽象模型层。

具体实施方式

以下详细描述仅是说明性的并且不旨在限制实施例和/或实施例的应用或用途。此外，没有意图被在前面的背景技术或概述部分中或在具体实施方式部分中呈现的任何表达或暗示的信息所约束。

现在参考附图来描述一个或多个实施例，其中，贯穿全文，相同的附图标记用于指代相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施例的更透彻的理解。然而，显而易见的是，在不同情况下，可以在没有这些具体细节的情况下实践一个或多个实施例。

应当理解，尽管本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。相反，本公开的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。

如以下将进一步详细描述的，在一些实施例中，所公开的实施例可包括可接收多变量时间序列数据(例如，多个向量，每个向量包括给定时间序列数据)的两层模型。时间序列数据可以对应于从任何适当的源接收的数据，诸如来自一个或多个网络和相关联的设备的制造设备传感器数据或网络服务数据。在第一层中，该模型可以利用相应的时间序列数据对递归神经网络(RNN)进行编码。进一步，模型的计算组件可允许RNN运行，直到模型生成收敛的RNN。然后，该模型可以基于会聚的RNN来确定时间序列数据的时间上下文向量。上下文向量可以用于模型中的一个或多个计算，下面将结合图5和图6进行描述。进一步，可以使用本文中的等式中所示的α和β尺度并结合本文中所公开的模型和相应架构来实现和/或提取关注机制。因而，模型可以提取时间序列数据中的时间依赖性。在第二层中，模型可以组合和转置时间序列的解码的会聚RNN。该模型可以进一步确定时间序列间依赖上下文向量并且确定RNN依赖的解码器。使用该确定的时间序列间依赖性上下文向量和RNN依赖性解码器，该模型可以提取数据中的时间序列间依赖性和时间序列数据的预测值。

在一些方面，本公开的实施例可允许在未来时间确定和预测时间序列数据之中的相互依赖性和每个时间序列数据内的时间滞后依赖性两者，或者在一些实施例中，一个或多个时间序列数据内的时间滞后依赖性。这样的模式的确定在时间序列数据之间的影响是动态的且本质上随时间变化的环境中可以是有用的。本发明的实施例可以帮助实体(例如，硬件/软件机器和/或域专家，其可能具有很少或没有机器学习专业知识)验证和改进它们关于时间序列的理解。

进一步，本公开的实施例可使实体能够通过调查生成适当时间序列和在相应的时间时间点的设备或服务来做出实时决策(例如，修复设备或服务的预测性维护决策)。进一步，本公开的实施例可以使实体能够识别系统、服务或过程的早期性能指示符，用于资源管理和资源分配的目的，或用于输入/现有投资位置(例如，使用关于公司销售或情感极性的时间序列来预测其股价)。如在此使用的，在各种不同的实施例中，术语“实体”可以意指或包括硬件或软件装置或部件和/或人类。本公开的实施例可以使得能够在生成多变量时间序列的给定动态系统中所涉及的时间序列之间发现随时间变化的相互依赖性。具体而言，本公开的实施例可采用深度学习架构；进一步，深度学习架构可在多层定制的递归神经网络上构建或与多层定制的递归神经网络集成。深度学习架构可以用于从给定的多变量时间序列发现随时间变化的相互依赖性和时间依赖性。通过变化的相互依赖性的方式，所公开的模型可以发现未来预测时间点的时间序列之间的相互影响。这种相互关系可随着多变量序列的演变而随时间变化。除了发现变化的时间依赖性之外，所公开的模型还可发现每个单独的时间序列内的时间滞后依赖性。共同地，所发现的信息的这两个源可由模型用于预测时间序列的未来值，并且可提供可用于提供关于动态时间序列的解释机制的洞察。在一些实施例中，可预测一个或多个时间序列和/或可预测一个或多个时间序列的一个或多个未来值。

图1示出根据本文描述的一个或多个实施例的用于提供多变量时间序列数据分析(例如，发现数据中的时间和时间滞后的依赖性)的示例非限制性系统100的框图。

系统100可以可选地包括服务器设备、一个或多个网络和一个或多个设备(未示出)。系统100还可以包括至少一个处理器102或以其他方式与至少一个处理器102相关联，该处理器102执行存储在存储器104中的计算机可执行组件。系统100还可包括系统总线106，该系统总线106可耦合不同组件，包括但不限于可操作地彼此耦合的计算组件110、组合组件114和分析组件116。

本公开中所解释的系统(例如，系统100等)、装置或过程的各方面可构成体现在(一个或多个)机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读介质(或介质)中)的(一个或多个)机器可执行组件。当由一个或多个机器(例如，(多个)计算机、(多个)计算设备、(多个)虚拟机等)执行时，(多个)此类组件可以致使(多个)机器执行所描述的操作。为了简洁起见，省略对在本文中所描述的一个或多个实施例中采用的类似元件的重复描述。

系统100可以是可以可通信地耦合到设备的任何合适的计算设备或计算设备集，其非限制性示例可以包括但不限于服务器计算机，计算机、移动计算机、大型计算机、自动化测试系统、网络存储设备，通信设备、web服务器设备、网络交换设备、网络路由设备，网关设备、网络集线器设备、网桥设备、控制系统或任何其他合适的计算设备。设备可以是能够与系统100传送信息的任何设备和/或能够采用由系统100提供的信息的任何其他合适的设备。应当理解，系统100、组件、模型或设备可配备有通信组件118，该通信组件118使得能够通过一个或多个网络(例如，通过云计算环境)在系统、组件、模型、设备等之间进行通信。

如所指出的，在一些实施例中，系统100可以实现能够接收多变量时间序列数据(例如，多个向量，每个向量包括给定的时间序列数据，例如，依赖于时间的数字的顺序序列)的模型。在一些实施例中，可以从数据收集组件(未示出)接收多变量时间序列数据。在一些方面，由数据收集组件接收的数据可被预先存储在存储器组件104中。

在一些方面，计算组件110可用相应的时间序列数据来编码RNN。RNN的编码可涉及将数据输入到RNN的输入状态并设置与RNN相关联的任何相关参数(例如，迭代次数、错误技术等)，这些参数可根据经验确定。

进一步，计算组件110可允许RNN执行直到模型生成会聚的RNN。这可以通过确定与RNN相关联的度量(例如，均方根误差(RMS)等)何时下降到低于预定阈值来执行。

然后，计算组件110可以基于会聚的RNN来确定时间序列数据的时间上下文向量。在等式7中计算上下文向量，并且在等式6中计算时间关注α。

进一步，计算组件110可以基于时间上下文向量来确定解码的会聚RNN，以确定时间序列中的时间和滞后的依赖性。在等式7中计算上下文向量，并且在等式6中计算时间关注α。编码器和解码器RNN被同时和联合地训练，所以一旦它们被训练，就可以提取依赖关系。

因此，计算组件110可提取时间序列数据中的时间依赖性。使用等式7中所示的α来提取时间依赖性(一旦RNN收敛)。该α可以用于绘制依赖关系图(例如，下面结合图8示出和描述的传感器交互图)。当新的输入到来时，可以在运行时提取α，从而给出动态改变的依赖关系信息。

在一些方面，组合组件114可组合和转置时间序列的经解码的收敛的RNN。分析组件116可以进一步确定时间序列间依赖性上下文向量并且确定RNN依赖性解码器。在等式11中计算上下文向量，并且在等式10中计算时间序列间关注beta。

使用该确定的时间序列间依赖性上下文向量和RNN依赖性解码器，分析组件116可以提取数据中的时间序列间依赖性和时间序列数据的预测值。使用等式11中所示的beta来提取时间序列间依赖性(一旦RNN收敛)。此beta可用于绘制相依性图。当新的输入到来时，可以在运行时提取beta，从而给出动态改变的依赖关系信息。

在一些实施例中，计算部件110可以使用递归神经网络(RNN)中的门控递归单元(GRU)来捕获顺序数据(例如，多变量时间序列数据)中的长期依赖性(例如，在实体确定的时间窗口上的股市时间序列数据中的长期趋势)。这种GRU可能对数据中噪声的存在不太敏感，并且可以用于对时间序列中的线性和非线性关系两者进行学习和训练。在一个方面，系统100不将时间序列输入到单个回归模型(例如，递归神经网络)中。相反，所公开的实施例可包括可例如经由计算部件110通过独立GRU网络对每个时间序列进行编码的模型。进一步，组合组件114与分析组件116组合可以输入和解码时间序列以发现每个时间序列内的时间上滞后的依赖性。这些解码序列可随后由计算组件110用作RNN中的下一隐藏层的编码向量，其可由系统100用来发现众多时间序列之间的相互依赖性。在这种方法中，本公开的实施例不一定具有学习黑匣子模型中的数据的时间滞后关系和相互依赖性的复杂性的负担；相反，该模型可以依次学习依赖性(例如，该模型可以首先学习数据中的时间上滞后的关系，并且然后之后学习数据的相互依赖性)。在一些实施例中，依赖性的这种顺序学习可反映人类注意力的分层性质的各方面。即，顺序学习可包括首先理解在高层次(at a highlevel)的时间序列之间的交互，并且此后确定第二、较低层次的每个时间序列内的一个或多个时间滞后。模型的性能可以在受控的合成数据和真实世界多变量时间序列两者上证明，例如，来自在其分别生成的数据集中表现出动态和易失性特征的制造系统。

在一些实施例中，通信组件118可以从一个或多个网络(例如，云)获得时间序列数据。例如，通信组件118可以从在云环境中至少部分地连接的制造设备中的一个或多个设备获得时间序列数据。在另一方面，通信组件118可从在云环境中至少部分地连接的计算网络上的一个或多个设备(例如，移动设备、集线器、数据库等)获得时间序列数据。

系统100的不同组件(例如，计算组件110、组合组件114、分析组件116和/或其他组件)可以直接或经由一个或多个网络(例如，通过通信组件118)连接。这样的网络可以包括有线和无线网络，包括但不限于蜂窝网络，广域网(WAN)(例如，互联网)或局域网(LAN)，其非限制性示例包括蜂窝、WAN、无线网络(Wi-Fi)、Wi-Max、WLAN，无线电通信、微波通信、卫星通信、光学通信、声波通信或任何其他合适的通信技术。此外，上述系统和/或设备已经关于若干组件之间的交互进行了描述。应当理解，这样的系统和组件可以包括其中指定的那些组件或子组件、指定组件或子组件中的一些、和/或附加组件。子组件还可被实现为通信地耦合到其他组件而非包括在父组件内的组件。再进一步，一个或多个组件和/或子组件可被组合成提供聚集功能的单个组件。这些组件还可以与一个或多个为了简洁起见未在此具体描述但本领域技术人员已知的其他组件进行交互。

进一步，所执行的处理中的一些可由专用计算机来执行，该专用计算机用于在其特定上下文中执行与不同类型的神经网络相关的已定义任务。本主题计算机处理系统、方法装置和/或计算机程序产品可以用于解决通过技术、计算机网络、互联网等的进步而出现的新问题。

在此描述的装置的实施例可以采用人工智能(AI)来促进使在此描述的一个或多个特征自动化。这些部件可以采用不同基于AI的方案来实施在此披露的不同实施例/实例。为了提供或帮助在此描述的众多确定(例如，确定、查明、推断、计算、预测、预测、估计、导出、预测、检测、计算)，本文描述的组件可以检查其被授权访问的数据的全部或子集，并且可以提供关于或确定系统、环境等的状态的推理，该环境来自经由事件和/或数据捕捉的一组观察。例如，可以采用确定来标识特定上下文或动作，或者可以生成状态上的概率分布。这些确定可以是概率性的——即，基于对数据和事件的考虑来计算感兴趣的状态上的概率分布。

确定还可指用于从一组事件和/或数据构成较高级别事件的技术。

这样的确定可以导致从一组观察到的事件和/或存储的事件数据中构造新的事件或动作，这些事件是否在时间上紧密接近地相关，以及这些事件和数据是来自一个或多个事件和数据源。本文公开的组件可采用不同分类(显式训练(例如，经由训练数据)以及隐式训练(例如，经由观察行为、偏好、历史信息、接收外在信息等))方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯置信网络、模糊逻辑、数据融合引擎等)结合结合要求保护的主题执行自动和/或确定的动作。因此，分类方案和/或系统可用于自动学习和执行多个功能、动作和/或确定。

分类器可以将输入属性向量z＝(z1,z2,z3,z4,…,zn)映射到该输入属于一个类别的置信度，如通过f(z)＝confidence(class)。这样的分类可以采用基于概率和/或统计的分析(例如，分解成分析效用和成本)来确定要自动执行的动作。支持向量机(SVM)可以是可以采用的分类器的示例。SVM通过在可能的输入空间中找到超表面来操作，其中超表面尝试将触发标准与非触发事件分离。直观地，这使得分类对于接近但不等同于训练数据的测试数据而言是正确的。可以采用其他有向和无向模型分类方法，包括例如天然贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型、和/或提供不同独立性模式的概率分类模型。本文所用的分类还包括用来开发优先级模型的统计回归。

图2示出了根据本文描述的一个或多个实施例的示例制造环境的示意图，其中，所公开的模型的各方面可被用于对多变量时间序列数据之中的依赖性的基于神经网络的发现。

在一个示例环境中，本公开的实施例可以在制造设备202的背景下使用，诸如用于制造复杂电子设备的制造设备。特别地，在制造设备202中，可以使用制造流水线，使得产品(例如，芯片或其他计算机组件)可以在它经过制造流水线的不同组件时被迭代地处理。此外，本发明的一个或多个实施例可以从位于制造流水线的不同部分中的一个或多个传感器获得测量数据；这样的测量数据可以在测量数据之间具有依赖性，这可以表示制造流水线中发生的某些物理过程并与之相关。

如所指出的，这样的制造设备202可以存在可以从制造设备202中的各种机器和过程收集信息的若干传感器。这样的传感器可以监视制造设备中的各点处的诸如温度、功率、电流、电压、压力等的变量，并且从这样的测量204生成多变量时间序列数据。

测量204可被输入到所公开的模型206中。在一些实施例中，模型206可以提取测量204中的多变量时间序列数据中的动态依赖性，并且可以进一步预测时间序列数据中的未来值，例如，如图6A的步骤638的上下文中所示。

在另一方面，运行模型206的设备(例如，计算机)可从分析组件(类似于图1的分析组件116)接收输出并输出传感器交互图208，该传感器交互图208绘制不同关系和所监视变量(例如，温度、功率、电流、电压、压力等)之间的那些关系的强度。分析组件可以使用模型206来进一步生成预测的值210，其可以表示多变量时间序列数据的未来值(例如，未来温度、功率、电流、电压、压力等)。在图6B中所示的651组件处计算预测的值，并且等式13可用于计算未来值。等式13由在所公开的实施例中使用的模型的GRU分量使用，但是等式13可以基于在实现系统中使用的RNN模型而改变。因而，等式13可表示计算和预测未来值的一种方式。

在一些实施例中，传感器交互图208和/或预测值210可以用于向例如实体或人类操作者提供反馈212。此外，传感器数据之间的依赖性的变化可以是制造过程的变化的指示。例如，依赖关系的变化可由机器在制造过程中使用的磨损部件引起。这种磨损部分可导致一个或多个其他部分尝试补偿磨损部分中的缺陷。例如，冷却系统可以比平常更早地开始操作以抵消故障部件的过热。这样的交互可以通过所披露的模型来检测并且可以引起实体的注意。例如，运行模型的计算机可以提供与实体相关联的设备(例如，移动设备)上的交互相关联的对应消息、图形或图像。

图3示出了根据本文描述的一个或多个实施例的示例联网环境的图，其中，所公开的模型的分析组件可以被用于多变量时间序列数据之间的依赖的基于神经网络的发现。

具体而言，本公开的实施例可在监视不同计算部件(例如，中央处理单元(CPU)、网络吞吐量、存储器读/写操作等)的度量的上下文中使用。在一些实施例中，监视可在应用级别以及基础设施级别执行，并且监视的变量可具有彼此的固有依赖性。例如，监视可导致确定网络流量在以较高时钟速度利用CPU之前发放尖峰。在另一方面，在生产系统中，一些监测值可用于在其他变量之前进行监测。例如，在使用网络爬虫来确定CPU使用值之前，网络使用度量可以是可用的。这样的依赖性(包括滞后依赖性)。滞后依赖性是时间序列值(例如，当前或未来)对一个或多个时间序列的历史值的依赖性。它们可能难以在多变量设置中确定，其中多于一个时间序列的滞后依赖性影响另一时间序列的值。

如上所述，在这样的网络环境302中，一个或多个主机和数据库服务器可以从一个或多个源确定多变量时间序列数据。例如，从网络环境302确定的一组时间序列数据304可包括随时间推移的CPU利用率。从网络环境302确定的另一组时间序列数据306可包括随时间推移的网络利用率。从网络环境302确定的第三组时间序列数据308可包括随时间推移的磁盘读写利用率。本发明的模型的一个或多个实施例可以获取各个时间序列数据(例如，时间序列数据的第一集合、第二集合和第三集合304、306和308等)，并确定时变依赖图310。可以使用等式7中的α和等式11中的β生成用于示出滞后依赖关系的时变依赖图(例如，结合图8示出和描述的传感器依赖图)。随着附加的输入被馈送到模型中，α(alpha)和beta可以在运行时被提取，因此产生关于时间序列数据的动态改变的依赖关系信息。该时变依赖图310可以示出数据集之间和数据集本身内的变化的时间序列数据之间的相互关系和依赖关系。这种依赖性(包括滞后依赖性)可用于例如提供性能管理，包括资源利用管理和提供中断警告。例如，如果分析组件(与模型的分析组件116相似但不一定相同)，确定将存在将来可能导致断电的CPU的大量使用，分析组件可以向一个或多个实体提供反馈，使得实体可以对网络采取保护步骤。

具体而言，RNN可涉及特定类型的神经网络，其中单元之间的连接可沿神经网络的给定序列形成有向图。在一些实施例中，如RNN402所示，RNN的神经元可将信息反馈给RNN。

进一步，在RNN蜂窝小区(cell)404的序列中，蜂窝小区可进一步将信息馈送到网络中的其他神经元(除了所指出的反馈机制之外)。在一些实施例中，所公开的模型(在图5和图6的上下文中描述)可以使用长-短期存储器(LSTM)和门控复发单元(GRU)，其可以被认为是包括通过内置存储器单元(未示出)的状态保持机制的RNN的类型。这种LSTM和GRU可用于多变量时间序列数据分析和预测，如本文将参见图5和图6所述。在一些方面，GRU可以用作RNN的门控机制。

在另一方面，本文结合图5和图6描述的模型可包括可用于神经网络中的关注机制，该关注机制可宽松地基于在人类中发现的视觉关注机制，并且将结合图5和图6进一步描述。具体地，在神经机器翻译(NMT)的上下文中，编码器-解码器架构可以用于生成文本/句子的关注向量，并且关注向量可以向句子中更重要的词分配更高的权重，以便正确翻译特定词。这样的关注机制在理解神经网络的决策行为中可以是有用的，例如，它可以用于生成单词被翻译成其可能翻译的概率。类似地，本文所描述的模型的分析组件和计算组件可以使用注意机制来确定所输入的多变量时间序列数据之间的时变时滞和相互依赖性。

图5示出了根据本文描述的一个或多个实施例的能够由计算组件、组合组件和分析组件使用以在多变量时间序列数据之间动态发现时间和相互依赖性的模型的示例图。具体地，图500示出了具有两级关注机制(将在下文描述)的多层RNN，以捕获时间序列之间的时变时滞和相互依赖性。输入层502可以接收一个或多个时间序列数据，例如，时间序列数据505。输入层502可馈送到编码层512中，其中时间序列数据被编码到RNN的隐藏状态(例如，与RNN相关联的参数，并且其中基于时间序列的当前值和RNN中的先前隐藏状态来计算隐藏状态)，如本文所描述的。编码层512然后可以馈送到时间上下文向量确定层526中，其中可以确定时间上下文向量。以下结合图6B和相关讨论以数学术语进一步描述时间上下文向量。层536中的时间上下文向量可以通过层538中的时间解码RNN的隐藏状态与通过对层526中的RNN进行编码而学习的每个隐藏状态之间的比较来确定，这可以表示模型中的关注机制。基于该关注机制，可以针对输入到输入层502中的多变量时间序列数据中的时间序列数据的每个集合来确定时间序列数据的时间滞后依赖性。时间解码层538针对时间序列数据(例如，除了其他时间序列数据之外的时间序列数据505)的每个集合的输出可以被馈送到状态组合层540中。状态组合层540可组合时间序列数据并与依赖性解码层550交互以确定不同时间序列之间的依赖性。

如上所述，基于RNN的模型采用结合图4描述的RNN的各方面，上文可以具有关注机制，所述关注机制可以用于学习每个时间序列内的时间依赖性(例如，经由时间上下文向量确定层526处的第一关注水平机制)，以及时间序列之间的依赖性(例如，经由状态组合层540处并且更广泛地说，依赖性解码层550处的第二关注水平机制)。RNN的输出可以例如用于预测未来值，例如通过对如结合图6A和6B所描述的时间序列数据中的一个或多个时间序列数据的分析组件116的输出进行绘图。

在一些实施例中，可以同时训练关注层和编码层512以发现时间序列数据之间的依赖性。

在一些实施例中，为了预测时间序列的未来值，第二关注水平机制中涉及的基于RNN的模型的权重可以使得能够确定来自每个时间序列的多少信息对给定预测做出贡献。等式11中的beta控制用作对关于图6B的系统中的特定时间序列的上下文向量的输入的信息。

在另一方面，第一关注水平机制中涉及的基于RNN的模型的权重可以使得能够确定所构成的时间序列中的每一个时间序列中的哪些过去值对于给定预测是重要的。在一些实施例中，这样的依赖性可以针对给定时间序列数据组中的每个未来预测值而变化。

图6A和图6B示出了根据本文描述的一个或多个实施例的用于多变量时间序列数据之间的时间依赖性和相互依赖性的基于神经网络的发现的模型的其他示例图。具体地，如图6A的图600中所示，可在602处(例如，在数据收集组件处)接收输入数据。在一些实施例中，输入数据可以表示可以被表示为第一时间序列(TS₁)、第二时间序列(TS₂)等等到第d时间序列(TSd)的多变量数据，其中d是正整数。在604处，TS₁可由基于RNN的模型编码。类似地，在606处，TS₂可以由基于RNN的模型的计算组件(类似于图1的计算组件110)编码，等等，使得在608处，TSd可以由基于RNN的模型的计算组件编码。在610，计算组件可以确定基于RNN的模型是否已经收敛(并且类似地，对于涉及TS2的操作612，直到涉及TSd的操作614)，系统中的所有RNN也可以同时和联合地训练。在616处，可以由用于TS₁的计算组件来确定时间上下文向量。类似地，在618处，可以由计算组件确定用于TS₂的时间上下文向量，等等，使得在620处，可以确定用于TSd的时间上下文向量。在622处，基于RNN的模型可以使用计算组件针对TS₁的时间上下文向量来解码TS₁中的时间和滞后的依赖性。类似地，在624处，基于RNN的模型的计算组件可以使用TS₂的时间上下文向量来解码TS₂中的时间和滞后的依赖性，以此类推，使得在626处，基于RNN的模型的计算组件可以使用TSd的时间上下文向量来解码TSd中的时间上下文依赖性和滞后依赖性。在628处，基于RNN的模型的组合组件可以将来自先前操作622、624直到626的输出(例如，每个相应的时间序列的经解码的时间依赖性)组合和转置。在另一方面，来自先前操作622、624直到626的输出(例如，每个相应的时间序列的解码的时间依赖性)可由基于RNN的模型的分析组件用来在操作634处提取时间依赖性并将结果例如输出到实体。另选地或另外地，在630处，操作628的输出(例如，来自先前操作622、624直到626的经组合的和经转置的输出)可由基于RNN的模型的分析组件在630处用来确定时间序列依赖性上下文向量。在632，来自630的时间序列间依赖性上下文向量和操作628的输出可由基于RNN的模型的分析组件用来(i)在636处提取TS₁、TS₂、...TSd中的时间序列间依赖性，以及(ii)在638处预测TS₁、TS₂、...TSd的未来值。

在一些实施例中，本披露涉及具有长度为T的D变量(时间序列成员)的多变量时间序列(MTS)系统，表示为X＝{x₁,x₂,…,x_T},其中每个x_t∈R^D是MTS在时间t的观察或测量。第d个时间序列可以由

表示，其中，

可以表示在时刻t的测量。给定这样的MTS系统，在给定时间t，MTS可由图1的计算部件110从两个方面分析：(i)MTS的将来测量如何依赖于每个单独时间序列的过去值(例如，时间滞后的依赖性)，以及(ii)不同时间序列的测量如何彼此依赖(例如，时间序列间依赖性)。在一些实施例中，模型的计算组件和分析组件(与图1的计算组件110和分析组件116相似但不一定相同)可用于捕获时变依赖性以表征在任何时间t的动态变化的依赖性。时变依赖发现可用于例如理解和监视制造设备的基础行为或用于优化计算机和存储云中的资源利用。MTS系统中的时间序列预测的准确性可取决于预测器的选择效率。在一些实施例中，可以在MTS系统中获得这些时间滞后的和相互的依赖性，并且这些依赖性可以用于有效地预测时间序列的未来值。

在一些实施例中，该模型可以涉及利用RNN的深度学习。模型架构可用于发现两种类型的依赖性(在每个时间序列内时间滞后以及时间序列之间的相互依赖性)，同时预测MTS在输出处的未来下一值。

图6B示出了根据本公开的示范性实施例的模型的总体架构的另一示图。特别地，在(1)中，在输入层给定多变量时间序列的情况下，编码RNN层650可以包括一组RNN网络，每个RNN网络通过将相应的输入时间序列编码成编码向量序列来处理系统中的各个时间序列。在(2)中，下一两用RNN层652(出于将在下面解释的原因，在本文中也被称为双用途GRU层)还可以包括RNN的集合，每个RNN从一个构成的时间序列学习时间上滞后的依赖性，并随后将它们作为输出状态的序列输出。具体地，可以使用时间上下文向量，其允许每个RNN关注其对应时间序列中的最相关的时间滞后位置，如下面将描述的。等式6和7中的α控制来自进入系统图6B中的特定时间序列的上下文向量的历史值的信息。α对于时间序列数据中的滞后值可以具有较高的值，其高度影响系统的输出中的值，图6B中的651。在(3)中，来自先前层中的RNN的输出状态的序列可聚集在一起，并且每个输出状态可由变换层654变换成较高维向量。这样的向量可以被认为是在下一级识别序列之间的相互依赖性之前构成的时间序列的编码表示。在(4)中，最终解码RNN层656可以通过识别朝向预测整个系统的最终输出处的每个时间序列的下一值的信息量最大的输入高维向量来发现时间序列之间的相互依赖性。等式10和11中的beta可控制来自用于确定图6B的系统中的上下文向量的每一时间序列的信息。beta可具有时间序列数据的大值，其高度影响系统的输出中的值，图6B中的651。

模型601可包括以下特征：(i)模型601可采用多层方法，该多层方法可使用单独的RNN来在编码层650处学习每个构成的时间序列，这允许模型发现每个时间序列内的时间上滞后的依赖性。以此方式，该模型不将全时间(all-time)序列挤压到单个RNN网络中。(ii)进一步，模型601可利用双用途RNN层652，其在时域中解码信息，同时将信息编码成促进较高层处的相互依赖性的发现的新特征编码向量。(iii)尽管时间滞后和相互依赖性的发现可以在两个层级上分离，但它们以系统方式紧密连接和联合训练。这可以允许第一类型的依赖关系的改进的机器学习，并且被用于影响其他类型的依赖关系的机器学习。

如上所述，在一些实施例中，描述了GRU，因为它们可以用作所公开的模型601中的RNN。具体地，GRU可以类似于长短期存储器单元，因为GRU通过门控机制捕获序列中的长期依赖性。具体地，在GRU中可以存在两个门，复位门r_t和更新门z_t,，它们可以分别由以下等式计算：r_t＝σ(W_rx_t+U_rh_t-1+b_r) (1)

z_t＝σ(W_zx_t+U_zh_t-1+b_z) (2)

其中，σ可以表示非线性S形函数，x_t是在时间点t的输入，h_t-1是GRU的先前隐藏h_th_t状态，参数W，U和b分别是输入权重矩阵、回归权重矩阵和偏置向量(为简单起见，下标被省略)。复位门r_t可以控制先前状态对当前候选状态

(以下等式3)的影响，而更新门z_t控制添加多少新信息x_t以及保持多少过去信息h_t-1。在这些情况下，可以通过线性内插(以下等式4)来更新新的隐藏状态h_t。

在等式(3)和(4)中，⊙运算符可以参考逐元素乘积(element-wise product)，并且类似于上文，W_h,U_h,b_h可以表示GRU的参数。上述计算步骤在下文中可简称为h_t＝GRU(x_t,h_t-1)(即，跳过内部门控计算)。

在一些实施例中，在训练短语期间，在多变量时间序列中的单个时间点，所公开的模型可以由数据收集组件接收D序列作为输入，每个序列的大小为m并且对应于来自一个组件时间序列的历史时间点。该模型可以通过分析组件输出可以表示时间序列的下一个时间点的值的序列或向量y＝{y₁，…，y_D}。在训练将输入序列集合映射到输出序列时，该模型可以发现每个分量时间序列内的时间滞后依赖性以及当前时间戳处的所有时间序列之间的相互依赖性。以下讨论描述了针对由d索引表示的特定组件时间序列发现时间滞后的依赖性的计算步骤。这些步骤也可以适用于系统和模型中所涉及的其他时间序列。

在第d时间序列处，编码RNN层650的计算部件可以从由

表示的最后m个历史时间点接收m个值的序列，并且编码RNN层650的计算部件可以基于另一个GRU(以下描述)连同用于发现第d序列内的时间滞后依赖性的关注机制将该序列编码成隐藏状态

的序列。隐藏状态

可以表示或注释输入序列，并且可以允许确定滞后的依赖性，其中，循环过程将过去的信息编码到这些隐藏状态中。在一些实施例中，当关注机制被应用于连续时间序列时，关注机制可强调最后的隐藏状态，并且因此使得模型难以标识正确的滞后依赖性。这种效果在语言翻译模型在离散单词上操纵的情况下可能不太明显，但是在连续时间序列的情况下更显著。因而，可以使用双向GRU，这可以允许模型行进通过输入序列两次并且利用来自两个方向的信息，如由以下等式(5)明确计算的：

在一些实施例中，所公开的模型可以训练在两用RNN层中的对应的GRU网络，其与在先前层中的第d个时间序列处的编码器RNN相关联。在时间戳t处，模型可基于层的当前隐藏状态

先前输出

和时间上下文向量

来计算层的输出值

(下文将论述)。在计算上下文向量

时，GRU可以针对每个表示向量

生成j＝1…m的关注权重

虽然仍然保留输出值之间的时间顺序，但是关注机制可以允许所公开的模型聚焦于最相关的信息所位于的特定时间戳。在数学上，我们在此两用GRU层652处计算以下等式(6)-(9)：

其中，

可以表示需要被学习的层的参数。标量

可以用于确定关于这个第d个时间序列的时间上滞后的依赖性，因为标量

反映注释向量

对计算时间上下文向量

以及随后层的输出

的重要程度。标量

的计算可以被表示为在GRU的隐藏状态与每个编码的注释向量

之间的归一化对准，其进而可以以不同方式测量。例如，测量可以作为向量点积

的简单形式来执行(假设两层中的GRU具有相同的隐藏单位)。还可以通过计算

(如果GRU具有不同的隐藏单元号)来执行测量。进一步地，该计算可以作为的一般级联形式

来执行，其中，W_a和v_a是与整个层联合训练的。

如所指出的，在此时间域处公开的关注机制可以遵循在神经机器翻译(NMT)中采用的一般想法，然而它在至少两个方面可以是不同的。首先，为了处理时间序列的连续域，所公开的模型可以在输出处使用双曲正切(tanh)函数。第二，不能确定该层的输出值

的基础真值(ground-truth)(例如，NMT中的目标句子)，而是，所公开的模型可以自动地学习该基础真值。进一步，基础真值的嵌入信息可直接影响所公开的模型601中的上层中的时间序列之间的学习相互依赖性的质量。特别地，

可以充当我们发现时间滞后依赖关系和相互依赖关系的两级之间的桥接信息。所以，GRU层652可以基本上同时执行两个任务：(i)GRU层652可以解码时域中的信息以便发现每个单独的时间序列内的信息量最大的历史时间点，(ii)GRU层652可以将该时间信息编码成输出值

的集合，从全时间序列收集的输入形成用于我们的下一层发现全时间序列之间的相互依赖性的输入，如下所述。出于这个原因，该层在本文中可被称为两用RNN652。

遵循以上在第d个输入时间序列处生成序列

的两用RNN层652，变换层654的组合组件可以从所有D构成的时间序列收集这些序列，并且随后执行将每个序列转换成高维特征向量的变换步骤。这些向量可堆叠到序列且由{v¹,v²,…,v^D}.表示。这些向量中可以不存在特定时间维度，其在堆叠序列中的次序可仅需要在训练所揭示模型之前指定。由此，当所公开的模型确定后续层中的时间序列之间的相互依赖性时，这可以确保正确的解释。

解码RNN层656的分析组件可以包括单个GRU网络，该单个GRU网络执行时间序列依赖性发现，同时还在模型的输出处针对每个y_i进行预测。关注生成机制可与以下计算步骤一起使用：

q_i＝GRU(q_i-1，c_i) (12)

y_i＝tanh(C_oc_i+U_oq_i+b_o) (13)

具体地，GRU的隐藏状态q_i-1的对准(alignment)可以与每个编码向量v^d(在此阶段针对每个输入时间序列表征)计算以便获得关注权重。使用这些生成的关注权重，可以确定上下文向量c_i，该上下文向量进而可以用于更新GRU的当前隐藏状态q_i，并且完全更新输出y_i。如所指出的，C_o和U_o可以表示有待学习的层参数。通过让y_i成为第i个时间序列的下一个值，如方程(11)中所见的系数

可以用于确定第d个时间序列(由v^d表示)在构造上下文向量c_i以及随后的预测值y_i时有多重要。换言之，系数

可以揭示在当前时间戳处第i个时间序列对第d个时间序列的依赖性。在一些实施例中，

越接近于1，这种依赖性越强。因此，向量β_i可以用于确定第i个时间序列对系统中构成的时间序列(包括其自身)的依赖性。

因此，在一些实施例中，所公开的模型601可以用于确定时间序列之间的时间滞后和相互依赖性，但是其通常也可以被视为执行将多个输入序列转换成一个输出序列的任务，所有这些都在连续的数值域中。如上所述，输出序列是多变量时间序列中的下一个时间戳的值的集合，但是可以容易地用一个感兴趣的时间序列的接下来的n个值来替换输出序列。对于后一种情况，等式(12)和(13)可以由q_i＝GRU(y_i-1,q_i-1,c_i)和y_i＝tanh(y_i-1,C_oc_i+U_oq_i+b_o)代替，以便进一步探索输出序列中的时间顺序。对基于β_i’s的向量的相互依赖性的解释可以保持不变；然而，可以针对给定时间序列并且在接下来n个未来时间点的窗口上执行这种解释。

图7示出了根据本文描述的一个或多个实施例的由模型的分析组件从制造设备处的传感器获得的多变量数据确定的变量的相互依赖性的示例图。具体地，通过在纽约州的Albany的制造设备处经由不同工具收集的传感器数据来获得制造数据集。使用包含五个传感器的数据集的样品来测试所披露的模型。具体地，图700(例如，使用类似于图1的分析组件的分析组件)绘制对应于不同的时间序列数据的不同输入序列702相对于如由所公开的模型所确定的相同时间序列数据704的依赖性的概率706。在一些实施例中，所示出的输入序列可以分别包括电流、功率、功率设定点(SP)、电压和温度。进一步，概率706可在0至1的标度上范围从约0至约0.75。图700示出了不同数据集之间的关系。例如，温度最强烈地取决于温度本身(例如，温度的先前值)。进一步地，图700展示了电流强烈依赖于功率。还示出了变量之间的依赖关系的不同中间级别。

图8示出了根据本文描述的一个或多个实施例的由模型的分析部件(例如，使用类似于图1的分析部件的分析部件)从制造设备处的传感器获得的多变量数据生成的传感器交互图的示例图。具体地，图800示出了功率802、温度804、电压806、电流808和功率设定点(SP)810之间的关系和依赖性。例如，某些变量(例如，电流)可通过一个或多个物理现象(例如，通过焦耳加热，其可指电流通过导体产生热量的过程)或通过网络效应影响其他变量(例如，温度)。具体地，图800可以经由箭头示出关系，其中，箭头指向从自变量到对应的因变量、或从预测器变量到预测变量的方向。在另一方面，图例812指示这些不同变量之间的关系的强度，其中强度可以在第一级依赖性(相对最强)到第四级依赖性(相对最弱)之间变化。例如，可注意到，功率802最强烈地受其自身、功率设定点810和电压806的影响。在另一个实例中，可以看出温度804受其自身的影响最强，并且可以进一步受电压(第二电平依赖性)的影响。具体地，依赖关系图指示系统可以首先调整电流并且然后调整功率以获得给定功率SP。

图9示出根据本文描述的一个或多个实施例的由模型的分析部件(例如，使用类似于图1的分析部件的分析部件)从由制造设备处的传感器获得的多变量数据生成的预测的传感器值的示例图。

具体地，对于在图8的上下文中监测和讨论的示例系统，模型可以进一步预测传感器值的未来值(例如，用于功率、温度、电压、电流和功率SP的传感器值)。如曲线902中所示，每个传感器值(例如，功率、温度、电压、电流和功率SP的传感器值)的真值与预测值之间的差值可以是类似的。进一步，曲线图904示出了随着模型被训练，训练和模拟之间的一致性增加。此外，如表906所示，不同误差度量诸如均方根误差(RMSE)，传感器的预测值和实际值(例如，功率、温度、电压、电流和功率SP的传感器值)的平均绝对误差(MAE)和确定系数(R平方或R2)指示传感器的预测值与实际值之间的良好拟合。例如，对于传感器值，RMSE小于1，对于传感器值，MAE小于0.01，并且对于传感器值，R2接近1。

图10示出了根据本文描述的一个或多个实施例的由模型的分析组件从基于规则的合成数据集中生成的预测值的示例图。具体地，可生成基于规则的合成数据集(以下结合图11描述)以便测试和验证所公开的模型的能力。在一个方面，合成数据集可模拟云平台性能数据。因而，可以使用规则来引入不同性能度量之间的依赖性，以通过比较CPU时间序列数据与来自所公开的模型的对应预测值之间的匹配来检查模型是否可以发现那些依赖性。绘图1002示出了CPU时间序列数据与对应的预测值之间的匹配(顶视图)，以及MEM时间序列与对应的预测值之间的匹配(底视图)。进一步，曲线图1004示出，随着模型被训练，用于CPU和/或存储器(MEM)使用的时间序列数据的未来值的预测的训练值和模拟值之间的一致性增加。

图11示出根据本文描述的一个或多个实施例的由模型确定的基于规则的合成数据集中的时间和相互依赖性的示例图。具体地，用于依赖性的规则可以如下：(1)如果CPU(t-8)>0.5，则CPU(t)＝CPU(t-6)+MEM(t-3)以及(2)MEM(t)＝CPU(t-3)。否则，(3)CPU(t)＝CPU(t-4)，以及(4)MEM(t)＝MEM(t-3)+MEM(t-6)。在1102，示出引入的依赖性。具体地，对于顶部绘图，CPU在时间t的值取决于CPU在4个时间单位(TU)的时间单位的值，而存储器在时间t的值取决于存储器在3和4个时间单位之前的值。进一步，底部线图展示在时间t处的CPU值取决于CPU在6TU之前的时间值和存储器在3TU之前的值。此外，在时刻t的存储器值取决于CPU在3UT之前的值。如图1104中所示，顶部和底部线都指示模型能够从使用以上规则创建的合成数据的分析来正确地识别多元数据序列之间的关系和互相依赖。进一步，线图1106和1108指示该模型还能够提取根据上述规则生成的合成数据中的时间依赖性。

图12示出了根据本文描述的一个或多个实施例的所公开的AI系统和算法的操作方面的示例流程图的示图。具体而言，在1202处，计算组件的处理器可以用于利用相应的时间序列数据来对至少两个RNN进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列数据中的时间依赖性。在1204处，组合组件可以使用处理器来组合至少两个解码的RNN，并且确定时间序列间依赖上下文向量和RNN依赖解码器。在1206处，分析组件可以使用处理器来确定至少两个时间序列数据中的时间序列依赖性并且基于时间序列依赖性上下文向量和RNN依赖性解码器来确定至少两个时间序列数据的预测值。

如所提到的，例如在图1和本文的其他附图中所讨论的多变量时间序列数据和/或一个或多个组件可以被托管在云计算平台上。进一步，结合本公开使用的一个或多个数据库可包括存储或托管在云计算平台上的数据库。应当理解，尽管本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。

云计算是一种服务递送模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的方便、按需的网络访问，所述可配置计算资源可以用最小的管理努力或与服务提供者的交互来快速配置和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。

特性如下：

按需自助服务：云消费者可按需自动地单方面供应计算能力，诸如服务器时间和网络存储，而无需与服务的提供者的人类交互。

广泛的网络接入：能力在网络上是可用的并且通过标准机制来访问，所述标准机制促进由异构的瘦或厚客户端平台(例如，移动电话、膝上型计算机和PDA)的使用。

资源池化：提供者的计算资源被池化以使用多租户模型服务于多个消费者，其中不同的物理和虚拟资源根据需要被动态地指派和重新指派。存在位置独立性的意义，因为消费者通常对所提供的资源的确切位置不具有控制或知识，但可能够指定较高抽象层次(例如，国家、州或数据中心)处的位置。

快速弹性：可以快速且弹性地提供能力(在一些情况下，自动地)以快速缩小并且快速释放以快速放大。对于消费者，可用于供应的能力通常显得不受限制，并且可以在任何时间以任何数量购买。

测量的服务：云系统通过利用适于服务类型(例如，存储、处理、带宽和活动实体账户)的某一抽象级别的计量能力来自动控制和优化资源使用。可监视、控制和报告资源使用，从而为所利用的服务的提供者和消费者两者提供透明度。

服务模型如下：

软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。应用可通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端接口从不同客户端设备访问。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至个体应用能力的底层云基础结构，可能的例外是有限的实体特定的应用配置设置。

平台即服务(PaaS)：向消费者提供的能力是在云基础结构上部署消费者创建或获取的应用，所述应用是使用提供者所支持的编程语言和工具来创建的。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础结构，但是具有对所部署的应用以及可能的应用托管环境配置的控制。

基础设施即服务(IaaS)：提供给消费者的能力是提供消费者能够部署和运行可包括操作系统和应用的任意软件的处理、存储、网络和其他基本计算资源。消费者不管理或控制底层云基础结构，而是具有对操作系统、存储、所部署的应用的控制，以及对所选联网组件(例如，主机防火墙)的可能有限的控制。

部署模型如下：

私有云：云基础结构仅为组织操作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

社区云：云基础结构由若干组织共享并且支持具有共享的关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

公共云：使云基础结构对公众或大型产业组可用并且由销售云服务的组织拥有。

混合云：云基础架构是两个或更多个云(私有、社区或公共的)的组成，这些云保持唯一实体但通过标准化或专有技术来绑定在一起，这些技术实现数据和应用便携性(例如，用于云之间的负载平衡的云突发)。

云计算环境是面向服务的，关注于状态、低耦合、模块性和语义互操作性。云计算的核心是包括互连节点网络的基础设施。

现在参见图13，描绘了说明性云计算环境1300。为了简洁起见，省略对在本文中描述的其他实施例中采用的类似元件的重复描述。如图所示，云计算环境1300包括一个或多个云计算节点1302，云消费者使用的本地计算设备(诸如个人数字助理(PDA)或蜂窝电话1304、台式计算机1306、膝上型计算机1308和/或汽车计算机系统1310)可与云计算节点1302通信。节点1302可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境1300提供基础结构、平台和/或软件作为云消费者不需要维护本地计算设备上的资源的服务。应当理解，图13中示出的计算设备1304-1310的类型旨在仅是说明性的，并且计算节点1302和云计算环境1300可通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备通信。

现在参见图14，示出了由云计算环境1300(图13)提供的一组功能抽象层。为了简洁起见，省略对在本文中描述的其他实施例中采用的类似元件的重复描述。应预先理解，部件、层和功能显示在这里。

图14旨在仅是说明性的并且本发明的实施例不限于此。如所描绘的，提供了以下层和相应的功能。

硬件和软件层1402包括硬件和软件组件。硬件组件的示例包括：主机1404；基于RISC(精简指令集计算机)架构的服务器1406；服务器1408；刀片服务器1410；存储装置1412；以及网络和联网组件1414。在一些实施例中，软件组件包括网络应用服务器软件1416和数据库软件1418。

虚拟化层1420提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器1422；虚拟存储器1424；虚拟网络1426，包括虚拟专用网络；虚拟应用和操作系统1428；以及虚拟客户端1430。

在一个示例中，管理层1432可提供以下描述的功能。资源供应1434提供计算资源和被用来执行云计算环境内的任务的其他资源的动态获取。计量和定价1436在云计算环境内利用资源时提供成本跟踪，并针对这些资源的消费进行计费或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及对数据和其他资源的保护。实体门户1438为消费者和系统管理员提供对云计算环境的访问。服务级别管理1440提供云计算资源分配和管理，使得满足所需的服务级别。服务水平协议(SLA)计划和履行1442提供云计算资源的预安排和采购，根据SLA预期该云计算资源的未来要求。

工作负载层1444提供可以利用云计算环境的功能的示例。可从该层提供的工作负荷和功能的示例包括：映射和导航1446；软件开发和生命周期管理1448；虚拟教室教育交付1450；数据分析处理1452；事务处理1454；以及评估实体对治疗服务1456的易感性。本发明的各种实施例可以利用参见图13和图14描述的云计算环境来确定与一个或多个实体相关联的信任处置值和/或基于信任处置值来确定一个或多个实体对一个或多个处理服务的易感性。

本发明可以是任何可能的集成技术细节水平的系统、方法、和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储媒质(或多个媒质)。计算机可读存储媒质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储媒质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储媒质的更具体例子的非穷举列表包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式致密盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡片)或具有记录在其上的指令的凹槽中的凸起结构)，以及上述的任意合适的组合。如本文中所使用的计算机可读存储媒质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。在此描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，集成电路的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，包括面向对象的Smalltalk、C++等编程语言，以及过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全地在实体计算机上执行、部分地在实体计算机上执行、作为独立软件包执行、部分地在实体计算机上部分在远程计算机上执行、或者完全地在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到实体的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本发明的方面。

在此参照根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图展示和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给通用计算机的处理器，专用计算机或其他可编程数据处理装置，以产生机器，其通过计算机或其他可编程数据处理装置的处理器执行，创建用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在能够引导计算机的计算机可读存储媒质中，可编程数据处理装置，和/或以特定方式起作用的其他设备，使得具有存储在其中的指令的计算机可读存储媒质包括制品，该制品包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各方面的指令。

计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置上，或使得在计算机上执行一系列操作步骤的其他装置，其他可编程装置或其他设备，以产生计算机实现的过程，使得在计算机上执行的指令，其他可编程装置或其他设备实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图展示了根据本发明的各实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个方框可以表示模块、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。

为了为所披露的主题的各方面提供上下文，图15以及以下讨论旨在提供对其中可以实现所披露的主题的各方面的合适环境的一般描述。图15示出了其中可以促进本文描述的一个或多个实施例的示例非限制性操作环境的框图。为了简洁起见，省略对在本文中描述的其他实施例中采用的类似元件的重复描述。参见图15，用于实现本公开的各个方面的合适的操作环境1500可包括计算机1512。计算机1512还可以包括处理单元1514、系统存储器1516和系统总线1518。系统总线1518可以可操作地将包括但不限于系统存储器1516的系统组件耦合到处理单元1514。处理单元1514可以是不同可用处理器中的任何处理器。双微处理器和其他多处理器架构也可以用作处理单元1514。系统总线1518可以是包括存储器总线或存储器控制器的若干类型的总线结构中的任何一种，外围总线或外部总线，和/或使用各种可用总线架构的局部总线，但不限于工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)，智能驱动电子装置(IDE)、VESA本地总线(VLB)、外围组件互连(PCI)、卡总线、通用串行总线(USB)，高级图形端口(AGP)、火线和小型计算机系统接口(SCSI)。系统存储器1516还可以包括易失性存储器1520和非易失性存储器1522。包含诸如在启动期间在计算机1512内的元件之间传输信息的基本例程的基本输入/输出系统(BIOS)可以被存储在非易失性存储器1522中。作为说明而非限制，非易失性存储器1522可包含只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器1520还可以包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而非限制，RAM以许多形式可用，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、SynchlinkDRAM(SLDRAM)、直接RambusRAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM。

计算机1512还可以包括可移除/不可移除、易失性/非易失性计算机存储介质。图15展示了例如盘存储装置1524。磁盘存储1524还可以包括但不限于像磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡、或记忆棒的装置。盘存储1524还可以包括分开地或与其他存储媒质组合的存储媒质，这些存储媒质包括但不限于：诸如致密盘ROM设备(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用盘ROM驱动器(DVD-ROM)之类的光盘驱动器。为了促进盘存储1524连接到系统总线1518，可以使用可移除或不可移除接口，诸如接口1526。图15还描绘了可以充当实体与在合适的操作环境1500中描述的基本计算机资源之间的中介的软件。这样的软件还可以包括例如操作系统1528。可以存储在磁盘存储1524上的操作系统1528用于控制和分配计算机1512的资源。系统应用1530可以利用操作系统1528通过程序组件1532和例如存储在系统存储器1516中或盘存储1524上的程序数据1534对资源的管理。应当理解，本公开可以用不同操作系统或操作系统的组合来实现。实体通过一个或多个输入设备1536将命令或信息输入到计算机1512中。输入设备1536可包括但不限于诸如鼠标、轨迹球、指示笔、触摸板、键盘、话筒、操纵杆、游戏板、碟形卫星天线、扫描仪、TV调谐器卡、数码相机、数码摄像机、web相机等之类的定点设备。这些和其他输入设备可以经由一个或多个接口端口1538通过系统总线1518连接到处理单元1514。该一个或多个接口端口1538可以包括例如串行端口、并行端口、游戏端口、和通用串行总线(USB)。一个或多个输出装置1540可以使用与输入装置1536相同类型的端口中的一些端口。由此，例如，USB端口可用于向计算机1512提供输入，并从计算机1512向输出设备1540输出信息。可提供输出适配器1542以说明存在一些需要特殊适配器的输出装置1540，例如监视器、扬声器和打印机以及其他输出装置1540。作为说明而非限制，输出适配器1542可包括提供输出设备1540与系统总线1518之间的连接手段的视频和声卡。应当注意，其他设备和/或设备的系统提供输入和输出能力两者，诸如一个或多个远程计算机1544。

计算机1512可以使用到一个或多个远程计算机(如远程计算机1544)的逻辑连接在联网环境中操作。远程计算机1544可以是计算机、服务器、路由器、网络PC、工作站、基于微处理器的器具、对等设备或其他公共网络节点等，并且通常还可以包括相对于计算机1512描述的许多或所有元件。为了简洁起见，仅存储器存储装置1546说明为具有远程计算机1544。远程计算机1544可以通过网络接口1548逻辑地连接到计算机1512，然后经由通信连接1550物理地连接。进一步，操作可以分布在多个(本地和远程)系统上。网络接口1548可以包括有线和/或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点对点链路、电路交换网络(如综合业务数字网(ISDN))及其变型、分组交换网络和数字用户线(DSL)。一个或多个通信连接1550指的是用于将网络接口1548连接到系统总线1518的硬件/软件。虽然为了说明清楚而在计算机1512内部示出了通信连接1550，但是它也可以在计算机1512外部。用于连接到网络接口1548的硬件/软件还可以(仅出于示范性目的)包括内部和外部技术，例如包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器的调制解调器、ISDN适配器和以太网卡。

本发明的实施例可以是任何可能的集成技术细节水平的系统、方法、设备和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储媒质(或多个媒质)。计算机可读存储媒质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储媒质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储媒质的更具体的例子的非穷举的列表还可以包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式致密盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡片)或具有记录在其上的指令的凹槽中的凸起结构)，以及上述的任意合适的组合。如本文中所使用的计算机可读存储媒质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。

在此所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。用于执行本发明的各个方面的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，集成电路的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，包括面向对象的Smalltalk、C++等编程语言，以及过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全地在实体计算机上执行、部分地在实体计算机上执行、作为独立软件包执行、部分地在实体计算机上部分在远程计算机上执行、或者完全地在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到实体的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来定制电子电路来执行计算机可读程序指令，以便执行本发明的方面。

在此参照根据本发明的实施例的方法、设备(系统)、和计算机程序产品的流程图展示和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。这些计算机可读程序指令可以被提供给通用计算机的处理器，专用计算机或其他可编程数据处理装置，以产生机器，其通过计算机或其他可编程数据处理装置的处理器执行，创建用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在能够引导计算机的计算机可读存储媒质中，可编程数据处理装置，和/或以特定方式起作用的其他设备，使得具有存储在其中的指令的计算机可读存储媒质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置上，或使得在计算机上执行一系列操作动作的其他设备，其他可编程装置或其他设备，以产生计算机实现的过程，使得在计算机上执行的指令，其他可编程装置或其他设备实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图展示了根据本发明的各实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个方框可以表示模块、组件、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。

虽然以上已经在运行在一个计算机和/或多个计算机上的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但是本领域技术人员将认识到，本披露还可以或可以结合其他程序模块或部件来实现。通常，程序模块或组件包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域技术人员将认识到本发明的计算机实现的方法可以用其他计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，PDA、电话)、基于微处理器的或可编程的消费或工业电子产品等。所示方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而，本公开的一些方面(如果不是全部的话)可在独立计算机上实践。在分布式计算环境中，程序模块或组件可以位于本地和远程存储器存储设备两者中。

如在本申请中所使用的，术语“组件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机器相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。作为说明，在服务器上运行的应用和服务器两者可以是组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以位于一个计算机上和/或分布在两个或更多个计算机之间。在另一实例中，相应组件可从具有存储于其上的不同数据结构的不同计算机可读媒体执行。组件可以经由本地和/或远程过程通信，诸如根据具有一个或多个数据分组的信号(例如，来自与本地系统、分布式系统中的另一组件交互和/或跨网络(诸如互联网)经由信号与其他系统交互的一个组件的数据)。作为另一示例，组件可以是具有由电气或电子电路操作的机械部件提供的特定功能的装置，该电气或电子电路由处理器执行的软件或固件应用操作。在这种情况下，处理器可以在装置内部或外部，并且可以执行软件或固件应用的至少一部分。作为又一示例，组件可以是通过没有机械部件的电子组件来提供特定功能的装置，其中电子组件可以包括处理器或用于执行软件或固件的其他装置，该软件或固件至少部分地赋予电子组件的功能。在一方面，组件可经由例如云计算系统内的虚拟机来仿真电子组件。

此外，术语“或”旨在意指包容性的“或”而不是排他性的“或”。也就是说，除非另外指明或从上下文中清楚可见，“X采用A或B”旨在意指任何自然的包含性排列。即，如果X采用A；X采用B；或X采用A和B两者，则在任何前述情况下满足“X采用A或B”。此外，在本说明书和附图中使用的冠词“一个/一种”总体上应被解释为意指“一个或多个”，除非另外指明或从上下文中清楚看出是针对单数形式。如在此所使用的，术语“示例”和/或“示范性”用于意指充当示例、实例或说明。为了避免疑问，本文公开的主题不受这样的示例的限制。此外，在此描述为“实例”和/或“示范性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利，也不旨在排除本领域普通技术人员已知的等效示范性结构和技术。

如在本说明书中所采用的，术语“处理器”可以指基本上任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可指代集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑装置(CPLD)、离散门或晶体管逻辑、离散硬件组件，或经设计以执行本文中所描述的功能的其任何组合。进一步，处理器可以利用纳米级架构，诸如但不限于基于分子和量子点的晶体管、开关和栅极，以便优化空间使用或增强实体设备的性能。处理器还可以被实现为计算处理单元的组合。在本披露中，诸如“存储”、“存储”、“数据存储”、“数据存储”、“数据库”等术语以及与组件的操作和功能相关的基本上任何其他信息存储组件被用于指“存储器组件”、“体现在“存储器”中的实体、或包括存储器的组件。应了解，本文中所描述的存储器和/或存储器组件可为易失性存储器或非易失性存储器，或可包含易失性存储器和非易失性存储器两者。作为说明而非限制，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器可以包括RAM，该RAM可以例如充当外部高速缓存存储器。作为说明而非限制，RAM以许多形式可用，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、SynchlinkDRAM(SLDRAM)、直接RambusRAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。另外，本文所公开的系统或计算机实现的方法的存储器组件旨在包括但不限于包括这些和任何其他合适类型的存储器。

以上已经描述的内容仅包括系统、计算机程序产品和计算机实现的方法的示例。当然，出于描述本公开的目的，不可能描述部件、产品和/或计算机实现的方法的每个可想到的组合，但是本领域普通技术人员可以认识到本公开的许多进一步的组合和排列是可能的。此外，就在详细说明、权利要求、附件和附图中使用术语“包括”、“具有”、“拥有”等而言，此类术语旨在以与术语“包含”类似的方式是包括性的，因为“包含”在权利要求中用作过渡词时被解释。已出于说明的目的呈现了不同实施例的描述，但所述描述并非意在穷举或限于所揭示的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对本领域的普通技术人员而言将是显而易见的。选择在此使用的术语以最佳地解释实施例的原理、实际应用或在市场上找到的技术上的技术改进，或使得本领域普通技术人员能够理解在此披露的实施例。

Claims

1.一种用于使用神经网络确定时间序列数据中的时间依赖性的系统，包括：

存储器，其存储计算机可执行组件；

处理器，其可操作地耦合到所述存储器，且执行存储在所述存储器中的所述计算机可执行组件，其中所述计算机可执行组件包括：

计算组件，所述计算组件用于利用相应的时间序列数据来对至少两个递归神经网络(RNN)进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列数据中的时间依赖性；

组合组件，所述组合组件用于确定时间序列间依赖性上下文向量和RNN依赖性解码器；以及

分析组件，所述分析组件用于基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定一个或多个时间序列数据的预测值。

2.根据权利要求1所述的系统，其中，所述组合组件进一步能操作用于组合所述至少两个经解码的RNN，并且所述分析组件进一步能操作用于确定所述至少两个时间序列数据中的时间序列间依赖性。

3.根据以上权利要求中任一项所述的系统，其中，这些计算机可执行部件进一步包括：

数据收集组件，其收集所述至少两个时间序列数据，其中所述至少两个时间序列数据包括多变量时间序列数据。

4.根据以上权利要求中任一项所述的系统，其中，所述计算组件还通过迭代地编码该至少两个RNN来确定聚合RNN。

5.根据以上权利要求中任一项所述的系统，其中，该计算组件还通过用该相应的时间序列数据对该至少两个RNN进行迭代编码来确定聚合RNN。

6.根据以上权利要求中任一项所述的系统，其中，对该至少两个RNN进行编码的该计算组件和组合该至少两个经解码的RNN的该组合组件是联合地和并发地执行的。

7.根据以上权利要求中任一项所述的系统，其中，该RNN包括长-短期记忆神经网络。

8.根据以上权利要求中任一项所述的系统，其中，该RNN包括作为该RNN的门控机制的门控递归单元。

9.根据以上述权利要求中任一项所述的系统，其中，所述系统进一步包括用于确定所述至少两个时间上下文向量的所述基于关注机制的神经网络。

10.一种用于使用神经网络来确定时间序列数据中的时间依赖性的计算机实现的方法，所述方法包括：

由可操作地耦合到处理器的计算组件利用相应的时间序列数据来对至少两个递归神经网络(RNN)进行编码，并且基于至少两个时间上下文向量来确定至少两个经解码的RNN，以确定至少两个时间序列数据中的时间依赖性；

由操作地耦合到所述处理器的组合组件确定时间序列间依赖性上下文向量和RNN依赖性解码器；并且

由操作地耦合到所述处理器的分析组件基于RNN编码器和所述RNN依赖解码器以基于关注机制的神经网络来确定一个或多个时间序列数据的预测值。

11.根据权利要求10所述的方法，进一步包括：

所述合并模块对至少两个解码后的RNN进行合并；

由所述分析组件确定所述至少两个时间序列数据中的时间序列间依赖性。

12.根据权利要求10或11所述的方法，进一步包括：

数据收集组件，所述数据收集组件由操作地耦合到所述处理器的数据收集组件来收集所述至少两个时间序列数据，其中，所述至少两个时间序列数据包括多变量时间序列数据。

13.根据权利要求10至12中任一项所述的方法，进一步包括：

由所述计算组件通过对所述至少两个RNN进行迭代编码来确定聚合RNN。

14.根据权利要求10至13中任一项所述的方法，进一步包括：

由所述计算组件通过利用所述相应的时间序列数据对所述至少两个RNN进行迭代编码来确定聚合RNN。

15.根据权利要求10至14中任一项所述的方法，其中，由所述计算组件对所述至少两个RNN进行编码并且由所述组合组件对经解码的所述至少两个RNN进行组合是联合地和并行地执行的。

16.根据权利要求10至15中任一项所述的方法，其中，所述RNN包括长短期记忆神经网络。

17.根据权利要求10至16中任一项所述的方法，其中该RNN包括门控递归单元作为该RNN的门控机制。

18.根据权利要求10至17中任一项所述的方法，进一步包括由所述基于关注机制的神经网络确定所述至少两个时间上下文向量。

19.一种用于使用神经网络确定时间序列数据中的时间依赖性的计算机程序产品，所述计算机程序产品包括：

计算机可读存储介质，所述计算机可读存储介质由处理电路可读并且存储用于由所述处理电路执行以便执行根据权利要求10至18中任一项所述的方法的指令。

20.一种计算机程序，存储在计算机可读介质上并且可加载到数字计算机的内部存储器中，所述计算机程序包括软件代码部分，当所述程序在计算机上运行时，所述软件代码部分用于执行如权利要求10至18中任一项所述的方法。