CN115427967A - 确定多变量时间序列数据依赖性 - Google Patents

Abstract

提供了关于多变量时间序列数据分析的技术和系统。该系统包括存储计算机可执行组件的存储器。该系统还包括处理器，其可操作地耦合到存储器，并且执行存储在存储器中的计算机可执行组件。计算机可执行组件包括时间序列分析组件，其生成机器学习模型，该机器学习模型使用由不确定性测量控制的关注机制来发现多变量时间序列数据之间的依赖性。

Description

确定多变量时间序列数据依赖性

技术领域

本发明涉及从多变量时间序列数据确定依赖性，并且更具体地，涉及采用深度学习神经网络以确定具有置信值的多变量时间序列数据依赖性。

背景技术

深度学习神经网络已成为许多机器学习问题的基准模型，诸如：神经机器翻译、图像分类和字幕生成。然而，在时间序列分析中使用深度学习神经网络仍然具有挑战性，并且传统上集中在预测时间序列数据的常规任务上。对于许多实际的时间序列应用，具有置信度地发现多变量时间序列数据之间的依赖性可以帮助解释观察到的数据背后的相关和/或因果事件，提供对时间序列行为的更多洞察，并且因此帮助用户做出更好的决定。这样的应用可包括例如云服务管理、金融投资和医疗安全。

深度学习背后的成功不仅源于其通过应用非线性数据变换的多个步骤生成复杂且信息特征的能力，还源于采用关注机制，所述关注机制可以通过针对与学习任务相关的输入特征生成较大关注系数而作为存储器访问机制工作。然而，关注机制可以与大量不稳定性相关联，因为其学习过程通常是无监督的，而在训练阶段期间没有明确的关注基础事实(ground truth)可用。此外，时间序列数据可以是高度嘈杂的、易失性的和随时间变化的；因此，使用常规神经网络对时间序列数据进行建模可能导致对依赖性和预测值两者的过置信度，以及在评估数据中的不确定性时缺乏准确性。

发明内容

以下呈现发明内容以提供对本发明的一个或多个实施例的基本理解。本发明内容并不旨在标识关键或重要的元素，或描绘特定实施例的任何范围或权利要求的任何范围。其唯一的目的是以简化的形式呈现概念，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施例中，描述了能够以确定性值确定多变量时间序列数据内的依赖性的系统、计算机实现的方法、装置和/或计算机程序产品。

根据本发明的一个方面，提供了一种系统。该系统包括存储计算机可执行组件的存储器。该系统还包括处理器，其可操作地耦合到存储器，并且执行存储在存储器中的计算机可执行组件。计算机可执行组件包括时间序列分析组件，时间序列分析组件生成机器学习模型，机器学习模型基于不确定性测量来使用关注机制发现多变量时间序列数据之间的依赖性。这样的系统的优点可以是基于大量无监督的机器学习训练来实现高度准确的预测。

在一些示例中，系统可以进一步包括编码器组件，该编码器组件可以通过在多变量时间序列数据的构成的系列上匹配不同的采样率的数据来编码多变量时间序列数据。编码可以使多变量时间序列数据可缩放和可并行化。该系统还可以包括关注解码器组件，该关注解码器组件可以使用机器学习模型的关注网络层基于不确定性测量来正则化经编码的多变量时间序列数据之间的关注。这样的系统的优点可以是多变量时间序列数据的编码，使得尽管数据序列较长，数据也能够是可缩放和可并行的。

根据另一方面，提供了一种计算机实现的方法。该计算机实现的方法包括由操作地耦合到处理器的系统生成机器学习模型，该机器学习模型基于不确定性测量来使用关注机制发现多变量时间序列数据之间的依赖性。这种计算机实现的方法的优点可以是植入关注机制，这些关注机制可以正则化深度神经网络，远离学习易失性或随机关注。

在一些示例中，计算机实现的方法可以进一步包括由系统使用机器学习模型的关注网络层基于不确定性测量来正则化编码的多变量时间序列数据之间的关注。计算机实现的方法还可包括由系统经由在关注网络层执行的蒙特卡罗(Monte Carlo)采样生成关于依赖性的不确定性量化。多变量时间序列数据可以表征可测量属性。此外，计算机实现的方法可包括由系统基于所发现的依赖性和不确定性量化来预测可测量属性的值。这种计算机实现的方法的优点可以是洞察表征可观测系统的操作状态的多个变量之间的相关和/或因果关系。

根据另一方面，提供了用于分析多变量时间序列数据的计算机程序产品。该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有与其体现的程序指令。程序指令可由处理器执行以使处理器通过处理器基于不确定性测量使用关注机制生成发现多变量时间序列数据之间的依赖性的机器学习模型。这样的计算机程序产品的优点可以是利用机器学习模型的收敛速率，因为它缩小了针对数据中的关注模式的搜索空间。

在一些示例中，程序指令可以进一步使处理器通过跨多变量时间序列数据的构成的系列匹配不同的数据采样率对多变量时间序列数据进行编码，其中编码使多变量时间序列数据可缩放和可并行化。此外，程序指令可以进一步使处理器基于不确定性测量使用机器学习模型的关注网络层来正则化经编码的多变量时间序列数据之间的关注。此外，程序指令可以进一步使处理器通过处理器处罚导致不确定性测量小于定义的阈值的编码的多变量时间序列数据的关注配置。这样的计算机程序产品的优点可以是使用贝叶斯方法来学习神经网络模型的神经权重上的概率分布。

附图简要说明

本专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由知识产权局提供。

图1示出了根据本文描述的一个或多个实施例的可以发现多变量时间序列数据内的依赖性的示例非限制性系统的框图。

图2示出了根据本文描述的一个或多个实施例的可以编码多变量时间序列数据以使得数据可缩放和可并行化的示例非限制性系统的框图。

图3示出根据本文描述的一个或多个实施例的可以在机器学习模型的一个或多个关注网络层上聚集和分发编码的多变量时间序列数据的示例非限制性系统的框图。

图4示出了根据本文描述的一个或多个实施例的可从多变量时间序列数据中发现依赖性和/或量化与依赖性相关联的确定性的量的示例非限制性系统的框图。

图5示出了根据本文所描述的一个或多个实施例的示例非限制性学习目标函数的示图，该学习目标函数可以由一个或多个机器学习模型实现以从多变量时间序列数据中发现依赖性。

图6示出了根据本文描述的一个或多个实施例的可以由一个或多个自主计算机系统实现以发现多变量时间序列数据之间的一个或多个依赖性的示例非限制性方法的流程图。

图7示出了根据本文描述的一个或多个实施例的可以证明一个或多个机器学习技术在发现多变量时间序列数据中的依赖性、预测时间序列数据和/或量化相关联的不确定性量时的功效的示例非限制性图表的示图。

图8示出了根据本文描述的一个或多个实施例的可以证明可以发现多变量时间序列数据内的依赖性的一个或多个系统的功效的示例非限制性图和图表的示图。

图9示出了根据本文描述的一个或多个实施例的可以促进发现多变量时间序列数据内的依赖性的示例非限制性计算机实现的方法的流程图。

图10示出了根据本文描述的一个或多个实施例的可以促进发现多变量时间序列数据内的依赖性的示例非限制性计算机实现的方法的流程图。

图11描绘了根据本文描述的一个或多个实施例的云计算环境。

图12描绘了根据本文描述的一个或多个实施例的抽象模型层。

图13示出其中可促进本文所述的一个或多个实施例的示例非限制性操作环境的框图。

具体实施方式

以下详细说明仅是说明性的并且不旨在限制实施例和/或实施例的应用或使用。此外，不打算被在先前背景或发明内容部分或具体实施方式部分中呈现的任何明确或隐含的信息约束。

现在参考附图描述一个或多个实施例，其中相同的附图标记在全文中用于指代相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施例的更透彻理解。然而，明显的是，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施例。

考虑到时间序列数据分析的其他实现方式的问题；本公开可以被实现为通过采用深度神经网络模型来产生这些问题中的一个或多个问题的解决方案，所述深度神经网络模型可以学习以发现稳定的、可靠的时间序列间依赖性，同时提供与所生成的输出相关联的置信度值。有利地，本文所描述的一个或多个实施例可以采用实现一个或多个基于香农熵的惩罚的一个或多个关注机制，其可以在模型缩小用于时间序列数据中的关注模式的搜索空间时利用机器学习模型的收敛速率。另外，不同于采用点估计方法的常规深度学习模型，本文描述的各实施例可学习无限数量的深度学习模型的集合，其权重可由一个或多个概率分布来表征。

本发明的各个实施例可以涉及促进高效、有效和自主的(例如，没有直接的人类指导)时间序列数据分析的计算机处理系统、计算机实现的方法、装置和/或计算机程序产品。例如，在本文所描述的一个或多个实施例中，可以发现一个或多个时间序列数据依赖性(例如，相互依赖性)，生成关于所发现的依赖性的置信度值，以及基于依赖性和/或相关联的置信度值来预测未来时间序列数据。例如，本文描述的一个或多个实施例可考虑可采用一个或多个关注机制的深度学习神经网络，该关注机制基于在训练过程期间从关注系数直接计算的不确定性测量(例如，香农熵)惩罚学习目标函数。因此，不同实施例可以使深度神经网络正则化，远离学习易失性或随机关注。

计算机处理系统、计算机实现的方法、装置和/或计算机程序产品采用硬件和/或软件来解决本质上高度技术(例如，多变量时间序列依赖性的无监督发现)、不抽象并且不能由人类作为一组精神行为来执行的问题。例如，个体或多个个体不能以本文所述的各个实施例所实现的效率发现大量时间序列数据中的相互依赖性。例如，个体不能容易地检测和/或分析跨可包括几十个、几百个或甚至几千个时间帧窗口的时间序列数据中的多个变量的微小模式识别。进一步，本文所述的不同实施例可采用机器学习技术，该技术可实现人类表现无法复制的数据机密性水平。

而且，本文所描述的一个或多个实施例可以通过生成与所发现的时间序列数据依赖性相关联的置信度值来构成优于常规时间序列数据分析的技术改进，以便阐述在所观察到的数据和/或时间序列行为背后的相关和/或因果事件。另外，本文描述的各实施例可通过利用贝叶斯方法来展示优于常规时间序列分析的技术改进，贝叶斯方法使得深度学习神经网络能够学习神经权重上的概率分布并由此增强模型的可靠性注释。

进一步，本文所描述的一个或多个实施例可以通过提供对一个或多个机械和/或计算机系统和/或设施的操作和/或维护的洞察而具有实际应用。例如，本文所描述的不同实施例可以发现可以表征变量之间的相关和/或因果关系的时间序列数据依赖性，使得可以基于观察到的体验来预测来自另一变量的操纵对一个变量的影响。本文所描述的一个或多个实施例可以控制深度学习神经网络的一个或多个关注网络层以采用关注机制，该关注机制对导致高和不稳定的不确定性测量(例如，香农熵值)的关注配置进行惩罚。由此，一个或多个实施例可以利用机器学习模型的收敛速率，同时缩小对于关注数据中的模式的搜索空间。

如本文中所使用的，术语“机器学习”可以指代在没有对所学习和/或改进的课程的明确编程的情况下，从经验(例如，训练数据)自动地和/或自主地学习和/或改进人工智能技术的应用。例如，机器学习任务可以利用一个或多个算法来促进受监督和/或无监督学习，以执行诸如分类、回归和/或聚类的任务。机器学习任务的执行可以由根据一个或多个模型配置设置在一个或多个数据集上训练的一个或多个人工智能模型来促进。

如本文所使用的，术语“机器学习模型”可以指可以用于促进一个或多个机器学习任务的计算机模型，其中，计算机模型可以模拟可以类似于神经元的抽象版本的多个互连的处理单元。在本文所描述的各个实施例中，机器学习模型可以以一个或多个神经网络模型的形式来采用。例如，处理单元可布置在通过改变连接强度(例如，在本领域中其通常可被称为“权重”)连接的多个层(例如，一个或多个输入层、一个或多个隐藏层和/或一个或多个输出层)中。神经网络模型可以通过训练来学习，其中具有已知结果的数据被输入到计算机模型中，关于数据的输出与已知结果比较，和/或计算机模型的权重基于比较被自主调整以复制已知结果。如本文所使用的，术语“训练数据”可以指用于训练一个或多个神经网络模型的数据和/或数据集。随着神经网络模型训练(例如，利用更多训练数据)，计算机模型可以变得日益准确；因此，经训练的神经网络模型可以基于来自训练数据的课程学习来准确地分析具有未知结果的数据，以促进一个或多个机器学习任务。示例神经网络模型可包括但不限于：感知器(“P”)、前馈(“FF”)、径向基本网络(“RBF”)、深度前馈(“DFF”)、递归神经网络(“RNN”)、长/短期记忆(“LSTM”)、门控回归单元(“GRU”)、自动编码器(“AE”)、变量AE(“VAE”)、去噪AE(“DAE”)、稀疏AE(“SAE”)、马尔科夫链(“MC”)、霍普菲尔德网络(“HN”)、玻尔兹曼机器(“BM”)、深置信网络(“DBN”)、深卷积网络(“DCN”)、解卷积网络(“DN”)、深度卷积逆图形网络(“DCIGN”)、生成对立网络(“GAN”)、液态机(“LSM”)、极度学习机(“ELM”)、回波态网络(“ESN”)、深度残留网络(“DRN”)、科洪恩网络(“KN”)、支持向量机(“SVM”)、和/或神经培养机(“NTM”)。

图1示出了可以发现多变量时间序列数据中的依赖性的示例非限制性系统100的框图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。本发明的各个实施例中的系统(例如，系统100等)、装置或过程的方面可以构成体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读介质中)的一个或多个机器可执行组件。这样的组件在由一个或多个机器(例如，计算机、计算设备、虚拟机等)执行时可使得机器执行所描述的操作。

如图1所示，系统100可以包括一个或多个服务器102、一个或多个网络104、输入设备106和/或可观察系统108。服务器102可包括时间序列分析组件110。时间序列分析组件110还可包括通信组件112。此外，服务器102可以包括至少一个存储器116或者以其他方式与至少一个存储器116相关联。服务器102还可以包括系统总线118，系统总线118可以耦合到不同组件，诸如但不限于时间序列分析组件110和相关联的组件、存储器116和/或处理器120。虽然在图1中示出了服务器102，但是在其他实施方式中，各种类型的多个设备可以与图1中示出的特征相关联或包括图1中示出的特征。进一步，服务器102可与一个或多个云计算环境通信。

一个或多个网络104可包括有线和无线网络，包括但不限于蜂窝网络、广域网(WAN)(例如，互联网)或局域网(LAN)。例如，服务器102可以使用几乎任何期望的有线或无线技术与一个或多个输入设备106和/或可观察系统108通信(反之亦然)，所述有线或无线技术包括例如但不限于：蜂窝、WAN、无线保真(Wi-Fi)、Wi-Max、WLAN、蓝牙技术、其组合和/或类似物。进一步，尽管在所示实施例中，时间序列分析组件110可被设置在一个或多个服务器102上，但应当理解，系统100的架构不限于此。例如，时间序列分析组件110或时间序列分析组件110的一个或多个组件可位于另一计算机设备(诸如另一服务器设备、客户端设备等)处。

一个或多个输入设备106可以包括一个或多个计算机化设备，所述计算机化设备可以包括但不限于：个人计算机、台式计算机、膝上型计算机、蜂窝电话(例如，智能电话)、计算机化平板(例如，包括处理器)、智能手表、键盘、触摸屏、鼠标、其组合和/或类似物。可以采用一个或多个输入设备106来将本文描述的不同实施例的一个或多个模型设置、阈值和/或偏好输入到系统100中，从而与服务器102共享(例如，经由直接连接和/或经由一个或多个网络104)所述数据。例如，一个或多个输入设备106可以向通信组件112发送数据(例如，经由直接连接和/或经由一个或多个网络104)。另外，一个或多个输入设备106可以包括一个或多个显示器，所述一个或多个显示器可以向用户呈现由系统100生成的一个或多个输出。例如，一个或多个显示器可以包括但不限于：阴极管显示器(“CRT”)、发光二极管显示器(“LED”)、电致发光显示器(“ELD”)、等离子体显示面板(“PDP”)、液晶显示器(“LCD”)、有机发光二极管显示器(“OLED”)、其组合等。

在不同实施例中，可以采用一个或多个输入设备106和/或一个或多个网络104将一个或多个设置和/或命令输入到系统100中。例如，在本文描述的不同实施例中，一个或多个输入设备106可以被用来操作和/或操纵服务器102和/或相关联的组件。另外，一个或多个输入设备106可以被用来显示由服务器102生成的一个或多个输出(例如，显示、数据、可视化等)和/或相关联的组件。进一步，在一个或多个实施例中，一个或多个输入设备106可以被包括在云计算环境内和/或可操作地耦合到云计算环境。

在一个或多个实施例中，一个或多个可观察系统108可以是在时间序列分析组件110观察下的一个或多个机械和/或计算机系统。另外，一个或多个可观察系统108可以包括一个或多个数据收集组件122。一个或多个数据收集组件122可以测量、检测、收集和/或聚集关于一个或多个机械和/或计算机系统的多变量时间序列数据。例如，多变量时间序列数据可以包括表征一个或多个机械和/或计算机系统的一个或多个可测量属性的一个或多个参数值。在不同实施例中，一个或多个数据收集组件122可包括一个或多个传感器。示例传感器可以包括但不限于：压力传感器、振动传感器、温度传感器、麦克风、气压计、加速度计、压电传感器、运动传感器、其组合和/或类似物。例如，所述一个或多个可测量属性可由所述一个或多个传感器检测和/或测量。在另一实例中，一个或多个可测量属性可以考虑数据事务、管理、修改等。一个或多个数据收集组件122可以生成、聚集、收集和/或与时间序列分析组件110共享时间序列数据(例如，经由直接电连接和/或一个或多个网络104)。

通信组件112可以接收由一个或多个输入设备106输入的一个或多个设置和/或偏好，并与时间序列分析组件110的相关联的组件共享设置和/或偏好。另外，通信组件112可以接收由一个或多个可观察系统108(例如，数据收集组件122)收集的多变量时间序列数据，并且与时间序列分析组件110的相关联组件共享多变量时间序列数据。在不同实施例中，通信116、112可以经由直接电连接和/或一个或多个网络104与一个或多个输入设备106和/或可观察系统108(例如，数据收集组件122)通信。

在各个实施例中，时间序列分析组件110可分析由一个或多个数据收集组件122使得可用的时间序列数据，以使用采用一个或多个贝叶斯推断的深度学习神经网络来发现不同时间序列之间的依赖性。由D变量(例如，分量时间序列)组成的多变量时间序列数据(“MTS”)在本文中可以根据以下等式1来表示。

其中，“x”可以表示MTS在特定时间点的测量，“N”可以表示到目前为止MTS中的总时间点，并且“t”可以表示各自的时间戳。因此，每个x_t∈R^D含有在时间戳t处MTS的D次测量。进一步，第d个组件序列

可以不仅取决于其过去的值，而且还取决于MTS中的其他时间序列，所述其他时间序列可以决定其未来的值。因此，

其中，由ω参数化的f^ω可以是近似函数，如神经网络，并且m是正整数。另外，不同实施例可假定MTS中仅变量的子集将影响

值，并且时间序列分析组件110可发现具有稳定性和置信度的此类影响依赖性。

图2示出了根据本文描述的一个或多个实施例的进一步包括编码器组件202的示例性非限制性系统100的示图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。在各种实施例中，编码器组件202可以通过在多变量时间序列数据的构成的序列上匹配不同的数据采样率来编码多变量时间序列数据；由此使数据可缩放和可并行化。

在一个或多个实施例中，编码器组件202可以通过时间序列分析组件110所采用的深度学习神经网络模型的不同编码网络在时间戳t学习用于多变量时间序列数据的中间特征向量。例如，相对于在时间点t的D输入时间序列，中间特征向量可以表示为

因此，

，用ω_E作为编码器网络的参数(例如，其中“E”可以表示编码器网络)。经由常规RNN(例如，LSTM或GRU)学习中间特征向量会禁止并行计算，并且当处理多变量时间序列数据中的长序列时可变得无效。

编码器组件202可以基于变换器网络方法来构建时间序列分析组件110所采用的深度学习神经网络模型的不同编码网络，该变换器网络方法可以通过消除递归连接来增强效率。例如，编码器组件202可以采用多头关注结构。编码器组件202可以针对每个组件第i个时间序列训练深度学习神经网络模型的每个编码器网络(例如，表示为

)。在时间戳t，从第i个时间序列到

的输入可以是序列

该序列可以与定位编码向量很好地对齐，该定位编码向量可以结合关于时间序列序列的输入顺序的信息。在一个或多个实施例中，编码器组件202可以采用正弦函数用于位置编码任务。通过多层非线性变换和自我关注，

可以在时间戳t处输出为第i个时间序列表示的特征编码向量

图3示出根据本文描述的一个或多个实施例的进一步包括聚集组件302的示例非限制性系统100的示图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。在不同实施例中，聚集组件302可聚集由编码组件202生成的特征编码向量。例如，聚集组件302可以聚集由一个或多个编码组件202和/或编码网络生成的多个编码向量，以准备随后分布到时间序列分析组件110所采用的深度学习神经网络模型的一个或多个其他层。

图4示出了根据本文中描述的一个或多个实施例的进一步包括关注解码器组件402和/或预测组件404的示例非限制性系统100的示图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。在各个实施例中，关注解码器组件402可以使用由时间序列分析组件110采用的深度学习神经网络模型的一个或多个关注网络层，基于一个或多个不确定性测量(例如，香农熵值)来正则化经编码的多变量时间序列数据之间的关注。例如，由关注解码器组件402开发的一个或多个关注网络层可以惩罚导致大于定义的阈值的不确定性测量(例如，香农熵值)(例如，高且不稳定的香农熵值)的经编码的多变量时间序列数据的关注配置。进一步，关注解码器组件402还可以经由在机器学习模型的关注网络层处执行的蒙特卡罗采样来生成关于一个或多个所发现的依赖性的一个或多个不确定性量化。

在一个或多个实施例中，关注解码器组件402可以将一个或多个关注机制适配于多变量时间序列的上下文，以针对每个输出第d个时间序列学习与

相关联的一组变量

取决于模型架构，

可以是与

具有相同维度的标量或向量。因此，关注解码器组件402可以构建上下文向量，其中上下文向量的内容可以根据下面的等式2被解码以预测第d个时间序列中的下个值。

其中如果

是解码器网络的向量或乘法(例如，其中“D”可以表示解码器网络)，则“⊙”可以是元素式乘积。

例如，其中

是非负值，满足

因此，其中

可被解释为对应于

的关注权重。更高的

值可以暗示在

中发现的更相关的信息。因此，第d个时间序列可以取决于时间点t处的第i个时间序列。针对学习

关注解码器组件402可以采用加法形式

在一个或多个实施例中，关注解码器组件402可以经由贝叶斯推断来学习支配关注网络的参数的后验分布。例如，该分布可描述关注中的不确定性，并且可由关注解码器组件402分析以估计发现时间序列依赖性的置信度值。例如，神经网络参数可以用ω_A(例如，其中下标A可以表示模型中的关注)表示，并且可以说明学习时间序列关注集

(例如，用于预测

)。先前的分布可表示为Pr(ω_A)。给定从所观察到的数据学习的特征向量

关注解码器组件402可以训练神经网络以通过根据下面的等式3借助于贝叶斯定理来建模参数ω_A空间上的后验分布。

其中，x_t-1可以是来自时间t时的所有D个时间序列的训练序列{x_t-1，....，x_t-m}的形式。进一步，当t前进时，关注解码器组件402可以有规律地更新和/或变换等式3。因此，如果t是训练集中的最后时间戳，则

可以认为是表征后验分布的最新状态。在本文所描述的各种实施例中，概率可表示为Pr(ω_A|h_t)。

在确定了网络参数上的后验分布之后，关注解码器组件402可以进一步根据以下等式4来确定关注变量集合

上的期望。

其中，

可以表示关注层(例如，实现添加形式)。

考虑到ω_A中涉及的大量连续变量，通过常规贝叶斯方法，直接计算等式3-4中的积分可能是计算复杂的。然而，关注解码器组件402可以通过利用用于近似的变分推理(variation inference)技术来实现这样的计算。例如，关注解码器组件402可以选择由θ参数化的分布族Q_θ(ω_A)作为变分后验来近似基础事实后验分布Pr(ω_A|h_t)。Q_θ(ω_A)可以具有已知的函数形式，并且关注解码器组件402可以具有参数θ，使得其到真实分布Pr(ω_A|h_t)的Kullback-Leibler(“KL”)距离可以根据下面的等式5被最小化。

KL-距离可被称为相对熵，并且可以是量化两个数据分布之间的距离的有效工具。当两个分布相同时，KL距离可以为零。然而，该度量不是对称的，并且关注解码器组件402可以采用反向-KL形式来迫使机器学习模型学习Q_A(ω_A)，使得其在后验分布下被挤压(例如，每当Pr(ω_A|h_t)是零时，Q_θ(ω_A)可以是零)。

给定所学习的变量分布Q_θ(ω_A)，关注解码器组件402可以经由Monte-Carlo采样有效地近似等式4。具体地，由于来自

的输出的加权平均，

可以是D维向量。在经过神经网络模型的softmax层之后，关注权重可形成对应于从D个输入时间序列发现的信息量的离散分布，其可进一步由预测组件404用于在时间戳t的输出处预测

在各个实施例中，预测组件404可以基于由关注解码器组件402促进的一个或多个所发现的依赖性和/或不确定性量化来预测由多变量时间序列数据表征的可测量属性的一个或多个值。

由关注解码器组件402开发的关注网络可以偏好具有小熵值的关注向量，以避免当某些

接近零时的结果的不稳定性。小的熵值还可以鼓励神经网络将关注集中到少数几个输入时间序列中，其中，最大熵可以等同于在所有输入时间序列上均等地放置关注权重，并且因此未清楚地揭示第d个时间序列对其他时间序列的依赖性。关注解码器组件402可以根据以下等式6来正则化变分后验的学习过程。

其中，第二项可以是在时间戳t计算的熵，并且Q_θ(ω_A)可以用作图5所示的Pr(ω_A|h_t)的近似。等式6中的两个项可以是关于适当的数据分布定义的熵，从而使得单位是可比较的。在变分推理的框架下，关注解码器组件402可以根据下面的等式7进一步分解等式6的第一项。

由于

作为数据证据，它可以独立于优化参数θ并且可以被省略。由此，时间序列分析组件110所采用的机器学习模型的学习目标函数可以由下面的等式8来表征。

在没有先前偏好的情况下，对于Q_θ(ω_A)的一般选择可以是正态分布。此外，关注解码器组件402可通过使损失函数可微分来采用随机梯度下降。由于所有期望项是Q_θ(ω_A)，其参数是处于优化之下的，所以重新参数化梯度可以应用于反向传播。例如，关注解码器组件402可以首先从无参数分布N(0，I)采样∈，然后用针对其定义了梯度的确定性函数来对其进行变换。

具有良好近似r(h_t|ω_A)的最佳值

给定来自D时间序列

的输入序列，预测组件404可以根据下面的等式9在时间戳t预测下一值

从等式9的第一行到第二行，关注解码器组件402可以采用以下事实：给定

到

h_t是确定性的，并且给定ω_A到

a_t是确定性的，导致Pr(a_t|ω_A，h_t)是确定的。

在用于推断的实践中，可以采用K次第一采样从Q_θ(ω_A)获得ω_A(例如，经由本文所述的重新参数化技术)采用。对于每个采样的ω_A，可以根据

计算关注向量。与特征向量h_t一起，关注向量可以被输入以计算条件分布

该条件分布可以等同于K个神经网络的整体以及来自分布的它们的输出值。进一步，关注解码器组件402可以在关注权重以及输出预测值两者上计算置信值。例如，K的值越大，分配给近似量的置信度越大。

图5示出了根据本文所述的一个或多个实施例的一个或多个关注解码器组件402和/或预测组件404可采用的示例非限制性学习目标函数500的示图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。图5可以描绘关于神经网络的学习目标函数500，其中多个处理单元502之间的互连由虚线描绘。

如在此描述并且在图5中示出的，关注解码器组件402可以采用多层感知器(“MLP”)神经网络来学习变分后验分布。机器学习模型的边缘上的参数可以由混合模型θ(例如，高斯模型)编码(例如，经由编码器组件202)。可以从变分后验Q_θ(ω_A)采样ω_A值，和/或ω_A值可以由关注解码器组件402采用以解码关于对应隐藏向量h₁，h₂，....h_m的关注信息a₁，a₂，...a_m。先前分布Pr_φ(ω_A)可以被参数化和可调(例如，还包括混合模型)。

L(Q_θ(ω_A)||Pr_φ(ω_A)可以表示变分后验和先前后验之间的发散，并且可以根据本文描述的不同实施例由关注解码器组件402进一步添加到整体学习目标函数500。进一步，关注解码器组件402可采用H(a)项来计算关注权重上的熵。例如，用于关注信息a₁，a₂，...a_D的权重可以是应用于采样的w值和h₁，h₂，....h_D值之间的对准的softmax层。如在本文的各个实施例中描述并且在图5中示出的，关注解码器组件402可以进一步将H(a)添加到整体损失函数，因此，H(a)可以用作可以对机器学习模型进行惩罚并且生成统一关注的正则化项。图5中还示出，s_k可表示从h₁，h₂，....h_D聚集的上下文向量权重，并且可用作第k个最终输出的输入，被解码为序列k中的下一个值。此外，从来自后验分布的一次蒙特卡罗采样ω_A计算的每个向量可以作为随机关注被输出。在不同实施例中，所得到的输出可以与一个或多个输入设备106共享(例如，经由通信组件112和/或一个或多个网络104)。

图6示出了根据本文所述的一个或多个实施例的示例非限制性方法600的流程图，该方法600可促进系统100对多变量时间序列数据的分析。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。

在602，方法600可包括：基于输入的多变量时间序列(“MTS”)数据来定义(例如，经由时间序列分析组件110)神经网络组件，以及将数据的每个时间序列组件(“TS”)分发(例如，经由时间序列分析组件110)到各个组件。例如，根据本文所述的不同实施例，MTS数据可以由一个或多个数据收集组件122输入。在604处，方法600可包括(例如，经由编码器组件202)生成针对每个分发的TS的编码。例如，根据所描述的各个实施例，步骤604可包括为每个分发的TS编码一个或多个中间特征向量。在606处，可分析在604处的编码以确定收敛。其中，编码实现收敛，方法600可前进至608；其中，编码不收敛，方法600可重复604，直到实现收敛。

在608处，方法600可包括(例如，经由聚集组件302)聚集经编码的数据并且随后将经编码的数据分发到一个或多个关注解码器。在610处，方法600可以包括(例如，经由关注解码器组件402和/或预测组件404)实现一个或多个关注机制以分析经编码的向量。如图6中所示，关注机制的实现可以相对于各个TS多次(例如，同时或顺序)实现。例如，一个或多个关注机制可根据本文中所描述的各种特征(诸如等式1-9和/或图5中所描绘的学习目标函数)来实现。

在612，可评估在610由关注机制产生的关注值以确定这些值是否与小的不确定性测量(例如，香农熵值)和高预测准确度相关联。定义的熵阈值(例如，经由一个或多个输入设备106设置)可以用于评估不确定性测量(例如，香农熵值)是否足够小以被认为是可接受的。另外，所定义的置信度阈值(例如，经由一个或多个输入设备设置)可被用来评估相关联的置信度值是否对应于预期的高预测准确度。在发现熵值太高(例如，大于所定义的熵阈值)和/或发现预测准确度太低(例如，低于所定义的置信度阈值)的情况下，方法600可以重复步骤610。在发现熵值足够小(例如，小于所定义的熵阈值)和/或发现预测准确度足够高(例如，高于所定义的置信度阈值)的情况下，方法600可以进行到步骤614。在614处，方法600可以包括(例如，经由时间序列分析组件110、通信组件112、网络104和/或输入设备106)报告相应TS相对于MTS的其他TS的相互依赖性以及确定性和/或预测值。

图7至图8示出了根据在此描述的一个或多个实施例的可以展示系统100的功效的一个示例非限制性图和图表的示图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。例如，图7示出了可以由时间序列分析组件110生成的预测值、不确定性值和/或依赖性值。图7中描绘的时间序列可考虑由一个或多个数据收集组件122的一个或多个温度传感器测量的温度数据。如图7所示，图701示出了针对稍后测量的时间序列值映射的时间序列预测；图704示出了与由时间序列分析组件110确定的预测和/或依赖性相关联的不确定性值；以及图706示出了由时间序列分析组件110发现的多变量时间序列数据中的依赖性。关于图701，线702可以表示所预测的MTS数据，并且线703可以表示所测量的MTS数据；其中，线702和703显著重叠(例如，由此表明预测的高准确度)。如图706所示，一个或多个可观察系统108可以特征在于多个可测量属性，包括：温度、实际压力、第一可控硅整流器(“SCR”)电压(例如，“SCR电压内部”)、第二SCR电压(例如，“SCR电压外部”)、和/或SCR功率(例如，“SCR功率SP”)。多个可测量属性可以由数据收集组件122的一个或多个传感器确定并且由多变量时间序列数据表征。另外，可测量属性之间的依赖性可存在于观测系统内，因为那些依赖性可由时间序列分析组件110发现，如在图706中所报告的。

图表800和图802涉及用于展示系统100的功效的合成数据。合成的多变量时间序列数据具有依赖性的已知基础事实，其可被用于验证由时间序列分析组件110生成的依赖性预测。图表800和图802中描绘的结果是关于时间序列分析组件110对10个时间序列组件的分析。如图8所示，合并到由关注解码器组件402采用的关注机制中的熵正则化可以增强所发现的依赖性和/或所生成的预测的准确度。

图9示出了根据本文描述的一个或多个实施例的可以促进经由系统100的时间序列数据分析的示例性非限制性计算机实现的方法900的流程图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。

在902，计算机实现的方法900可以包括由操作地耦合到处理器120的系统100接收(例如，经由通信组件112)关于一个或多个可观察系统108的多变量时间序列数据。例如，多变量时间序列数据可以包括可以表征一个或多个可观察系统108的一个或多个可测量属性。例如，根据本文描述的不同实施例，可以由一个或多个数据收集组件122收集、测量、检测和/或生成多变量时间序列数据。

在904处，计算机实现的方法900可以包括由系统100生成(例如，经由时间序列分析组件110)一个或多个机器学习模型(例如，神经网络模型)，所述机器学习模型可以基于一个或多个不确定性测量(例如，香农熵值)使用一个或多个关注机制发现多变量时间序列数据之间的一个或多个依赖性。例如，一个或多个关注机制可以根据本文描述的各种实施方式来实现，包括等式1-9和/或图5上描绘的学习目标函数。

图10示出了根据本文描述的一个或多个实施方式的可以促进经由系统100的时间序列数据分析的示例性非限制性计算机实现方法1000的流程图。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。

在1002处，计算机实现的方法1000可以包括(例如，经由通信组件112)由操作地耦合到处理器120的系统100接收关于一个或多个可观察系统108的多变量时间序列数据。例如，多变量时间序列数据可以包括可以表征一个或多个可观察系统108的一个或多个可测量属性。例如，根据本文描述的不同实施例，可以由一个或多个数据收集组件122收集、测量、检测和/或生成多变量时间序列数据。

在1004处，计算机实现的方法1000可以包括由系统100通过在多变量时间序列数据的构成的序列上匹配不同的采样率来编码(例如，经由编码器组件202)多变量时间序列数据，其中在1004处的编码可以使多变量时间序列数据可缩放和可并行化。在1006处，计算机实现的方法1000可以包括由系统100基于不确定性测量(例如，香农熵值)使用机器学习模型(例如，神经网络模型)的一个或多个关注网络层来正则化(例如，经由关注解码器组件402)经编码的多变量时间序列数据之间的关注以发现多变量时间序列数据之间的一个或多个依赖性。

在1006处，计算机实现的方法1000可以包括由系统100惩罚(例如，经由关注解码器组件402)导致不确定性测量(例如，香农熵值)大于定义的阈值的经编码的多变量时间序列数据的关注配置(例如，由此惩罚可以与波动性和低预测精度相关联的高熵值结果)。在1008，计算机实现的方法1000可包括(例如，经由关注解码器组件402)由系统100经由在关注网络层执行的蒙特卡罗采样来生成关于依赖性的一个或多个不确定性量化。

应当理解，虽然本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知的或以后开发的任何其他类型的计算环境来实现。

云计算是服务交付的模型，用于使得能够方便地、按需地网络访问可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池，所述可配置计算资源可以以最小的管理努力或与所述服务的提供者的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。

特性如下：

按需自助服务：云消费者可以单方面地根据需要自动地提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者的人类交互。

广泛的网络接入：能力可通过网络获得并且通过标准机制接入，该标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上型计算机和PDA)的使用。

资源池：提供者的计算资源被池化以使用多租户模型来服务于多个消费者，其中不同的物理和虚拟资源根据需要动态地指派和重新指派。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。

快速弹性：能够快速和弹性地提供能力，在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。

测量的服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。

服务模型如下：

软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。可通过诸如web浏览器(例如，基于web的电子邮件)之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。

平台即服务(PaaS)：提供给消费者的能力是将消费者创建的或获取的使用由提供商支持的编程语言和工具创建的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。

基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如，主机防火墙)的可能受限的控制。

部署模型如下：

私有云：云基础架构仅为组织运作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

社区云：云基础架构被若干组织共享并支持共享了关注(例如，任务、安全要求、策略、和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。

公共云：使云基础架构对公众或大型行业组可用，并且由出售云服务的组织拥有。

混合云：云基础架构是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如，云突发以用于云之间的负载平衡)绑定在一起。

云计算环境是面向服务的，集中于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。

现在参见图11，描述了说明性云计算环境1100。如图所示，云计算环境1100包括一个或多个云计算节点1102，云消费者使用的本地计算设备(诸如例如个人数字助理(PDA)或蜂窝电话1104、台式计算机1106、膝上型计算机1108和/或汽车计算机系统1110)可与云计算节点1102通信。节点1102可彼此通信。它们可以物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上所述的私有云、社区云、公共云或混合云、或其组合。这允许云计算环境1100提供基础架构、平台和/或软件作为云消费者不需要为其维护本地计算设备上的资源的服务。应当理解，图11中所示的计算设备1104-1110的类型旨在仅是说明性的，并且计算节点1102和云计算环境1100可通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备通信。

现在参见图12，示出了由云计算环境1100(图11)提供的一组功能抽象层。为了简洁起见，省略对在此描述的其他实施例中采用的相似元件的重复描述。应当提前理解的是，在图12中示出的组件、层、以及功能旨在仅是说明性的，并且本发明的实施方式不限于此。如所描述，提供以下层和对应功能。

硬件和软件层1202包括硬件和软件组件。硬件组件的示例包括：大型机1204；基于RISC(精简指令集计算机)架构的服务器1206；服务器1208；刀片服务器1210；存储设备1212；以及网络和网络组件1214。在一些实施例中，软件组件包括网络应用服务器软件1216和数据库软件1218。

虚拟化层1220提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器1222；虚拟存储器1224；虚拟网络1226，包括虚拟专用网络；虚拟应用和操作系统1228；以及虚拟客户端1230。

在一个示例中，管理层1232可以提供以下描述的功能。资源供应1234提供计算资源和用于在云计算环境内执行任务的其他资源的动态采购。计量和定价1236提供成本跟踪，因为资源在云计算环境内被利用，并且为这些资源的消费开账单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户1238为消费者和系统管理员提供对云计算环境的访问。服务水平管理1240提供云计算资源分配和管理，使得满足所需的服务水平。服务水平协议(SLA)规划和履行1242提供云计算资源的预安排和采购，根据该SLA预期该云计算资源的未来要求。

工作负载层1244提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括：地图和导航1246；软件开发和生命周期管理1248；虚拟教室教育递送1250；数据分析处理1252；事务处理1254；以及多变量时间序列分析1256。本发明的各个实施例可利用参见图11和12描述的云计算环境来收集多变量时间序列数据和/或采用本文描述的一个或多个关注机制(例如，经由机器学习模型)。

本发明可以是任何可能的技术细节集成度的系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。计算机可读存储介质可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。

本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。

下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。

附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的基于专用硬件的系统来实现。

为了提供用于本文描述的各种实施方式的附加背景，图13和以下讨论旨在提供其中可实现本文描述的实施方式的各种实施方式的合适的计算环境1300的一般描述。虽然上文已经在可以在一个或多个计算机上运行的计算机可执行指令的一般上下文中描述了实施例，但是本领域技术人员将认识到，实施例也可以结合其他程序模块和/或作为硬件和软件的组合来实现。

通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域的技术人员将认识到，本发明的方法可以用其他计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、物联网(“IoT”)设备、分布式计算系统、以及个人计算机、手持式计算设备、基于微处理器或可编程消费电子产品等，它们中的每一个可以可操作地耦合到一个或多个相关联的设备。

本文实施例的所示实施例也可在分布式计算环境中实现，其中某些任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备两者中。例如，在一个或多个实施例中，计算机可执行组件可以从存储器执行，该存储器可以包括一个或多个分布式存储器单元或包括该一个或多个分布式存储器单元。如本文所使用的，术语“存储器”和“存储器单元”是可互换的。进一步，本文描述的一个或多个实施例能够以分布式方式执行计算机可执行组件的代码，例如，多个处理器组合或协作工作以执行来自一个或多个分布式存储单元的代码。如本文所使用的，术语“存储器”可以包含在一个位置处的单个存储器或存储器单元或在一个或多个位置处的多个存储器或存储器单元。

计算设备通常包括各种介质，其可以包括计算机可读存储介质、机器可读存储介质和/或通信介质，这两个术语在本文中如下彼此不同地使用。计算机可读存储介质或机器可读存储介质可以是可由计算机访问的任何可用存储介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，可以结合用于存储诸如计算机可读或机器可读指令、程序模块、结构化数据或非结构化数据之类的信息的任何方法或技术来实现计算机可读存储介质或机器可读存储介质。

计算机可读存储介质可以包括但不限于：随机存取存储器(“RAM”)、只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存或其他存储器技术、致密盘只读存储器(“CDROM”)、数字通用盘(“DVD”)、蓝光盘(“BD”)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备、固态驱动器或其他固态存储设备、或可以用于存储所希望的信息的其他有形的和/或非瞬态介质。就这一点而言，在此应用于存储、存储器或计算机可读介质的术语“有形的”或“非瞬态的”应理解为仅排除传播瞬态信号本身作为修饰语，并且不放弃对不仅传播瞬态信号本身的所有标准存储、存储器或计算机可读介质的权利。

计算机可读存储介质可由一个或多个本地或远程计算设备访问，例如经由访问请求、查询或其他数据检索协议，用于相对于介质所存储的信息的各种操作。

通信介质通常将计算机可读指令、数据结构、程序模块或其他结构化或非结构化数据具体化为诸如经调制数据信号(例如，载波或其他传输机制)之类的数据信号，并且包括任何信息递送或传输介质。术语“调制数据信号”是指以对一个或多个信号中的信息进行编码的方式设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外和其他无线介质。

再次参考图13，用于实施本文所描述的方面的各种实施方式的示例性环境1300包括计算机1302，计算机1302包括处理单元1304、系统存储器1306以及系统总线1308。系统总线1308将包括但不限于系统存储器1306的系统组件耦合至处理单元1304。处理单元1304可以是不同商业上可获得的处理器中的任何处理器。双微处理器和其他多处理器架构也可以被用作处理单元1304。

系统总线1308可以是能够使用各种可商购的总线架构中的任一种进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线、和局部总线的若干类型的总线结构中的任一种。系统存储器1306包括ROM 1310和RAM 1312。基本输入/输出系统(“BIOS”)可以存储在诸如ROM、可擦可编程只读存储器(“EPROM”)、EEPROM的非易失性存储器中，BIOS包含诸如在启动期间帮助在计算机1302内的元件之间传输信息的基本例程。RAM 1312还可包括高速RAM(诸如用于高速缓存数据的静态RAM)。

计算机1302进一步包括内部硬盘驱动器(“HDD”)1314(例如，EIDE、SATA)、一个或多个外部存储设备1316(例如，磁软盘驱动器(“FDD”)1316、记忆棒或闪存驱动器读取器、存储卡读取器等)和光盘驱动器1320(例如，其可以从CD-ROM盘、DVD、BD等读取或写入)。虽然内部HDD1314被图示为位于计算机1302内，但是内部HDD1314也可以配置为在合适的机箱(未示出)中外部使用。此外，尽管未在环境1300中示出，但固态驱动器(“SSD”)可用于补充或替代HDD1314。HDD1314、外部存储设备1316和光盘驱动器1320可以分别通过HDD接口1324、外部存储接口1326和光驱动器接口1328连接到系统总线1308。用于外部驱动器实现方式的接口1324可以包括通用串行总线(“USB”)和电气与电子工程师协会(“IEEE”)1394接口技术中的至少一个或两者。其他外部驱动器连接技术在本文描述的实施例的预期内。

驱动器及其相关联的计算机可读存储介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机1302，驱动器和存储介质容纳以合适的数字格式存储任何数据。尽管以上对计算机可读存储介质的描述涉及相应类型的存储设备，但本领域技术人员应当理解，可由计算机读取的其他类型的存储介质(不管是当前存在的还是将来开发的)也可用于示例操作环境中，并且进一步地，任何这样的存储介质可包含用于执行本文所描述的方法的计算机可执行指令。

多个程序模块可存储在驱动器和RAM1312中，包括操作系统1330、一个或多个应用程序1332、其他程序模块1334和程序数据1336。所有或部分操作系统、应用程序、模块和/或数据也可缓存在RAM1312中。本文所述的系统和方法可利用不同市售操作系统或操作系统的组合来实现。

计算机1302可以可选地包括仿真技术。例如，管理程序(未示出)或其他中介可以模拟用于操作系统1330的硬件环境，并且模拟的硬件可以可选地与图13中示出的硬件不同。在这种实施例中，操作系统1330可以包括托管在计算机1302处的多个VM中的一个虚拟机(“VM”)。此外，操作系统1330可以为应用1332提供运行时环境，如Java运行时环境或.NET框架。运行时环境是允许应用1332在包括运行时环境的任何操作系统上运行的一致执行环境。类似地，操作系统1330可以支持容器，并且应用1332可以呈容器的形式，这些容器是轻量的、独立的、可执行的软件包，这些软件包包括例如代码、运行时、系统工具、系统库和用于应用的设置。

进一步地，计算机1302可以启用安全模块，如可信处理模块(“TPM”)。例如，对于TPM，在加载下引导组件之前，引导组件在时间上散列下引导组件，并且等待结果与安全值的匹配。此过程可以在计算机1302的代码执行栈中的任何层进行，例如，在应用执行级或在操作系统(“OS”)内核级应用，由此实现在任何代码执行级的安全性。

用户可通过一个或多个有线/无线输入设备(例如，键盘1338、触摸屏1340、以及诸如鼠标1342之类的定点设备)将命令和信息输入到计算机1302中。其他输入设备(未示出)可以包括麦克风、红外(“IR”)遥控器、射频(“RF”)遥控器、或其他遥控器、操纵杆、虚拟现实控制器和/或虚拟现实耳机、游戏手柄、手写笔、图像输入设备(例如，(多个)相机)、手势传感器输入设备、视觉移动传感器输入设备、情绪或面部检测设备、生物计量输入设备(例如，指纹或虹膜扫描仪)等。这些和其他输入设备常常通过可耦合到系统总线1308的输入设备接口1344连接到处理单元1304，但可通过其他接口连接，诸如并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口、

接口等。

监视器1346或其他类型的显示设备也可以经由诸如视频适配器1348之类的接口连接到系统总线1308。除了监视器1346之外，计算机通常包括其他外围输出设备(未示出)，诸如扬声器、打印机等。

计算机1302可以使用经由到一个或多个远程计算机(如一个或多个远程计算机1350)的有线和/或无线通信的逻辑连接在联网环境中操作。远程计算机1350可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点，并且通常包括相对于计算机1302描述的许多或所有元件，但是为了简洁起见，仅示出了存储器/存储设备1352。所描绘的逻辑连接包括到局域网(“LAN”)1354和/或更大的网络(例如，广域网(“WAN”)1356)的有线/无线连接。这样的LAN和WAN联网环境在办公室和公司中是常见的，并且促进企业范围的计算机网络，诸如内联网，所有这些可以连接到全球通信网络，例如互联网。

当在LAN联网环境中使用时，计算机1302可以通过有线和/或无线通信网络接口或适配器1358连接到本地网络1354。适配器1358可以促进到LAN 1354的有线或无线通信，该LAN 1354还可以包括布置在其上用于以无线模式与适配器1358通信的无线接入点(“AP”)。

当在WAN联网环境中使用时，计算机1302可包括调制解调器1360或可经由用于在WAN1356上建立通信的其他手段(诸如通过互联网)连接到WAN1356上的通信服务器。调制解调器1360(可以是内部或外部的和有线或无线设备)可以经由输入设备接口1344连接至系统总线1308。在联网环境中，相对于计算机1302或其部分所描绘的程序模块可以存储在远程存储器/存储设备1352中。应当理解，所示的网络连接是示例，并且可以使用在计算机之间建立通信链路的其他装置。

当在LAN或WAN联网环境中使用时，计算机1302可访问云存储系统或其他基于网络的存储系统，作为如上所述的外部存储设备1316的补充或替换。通常，计算机1302与云存储系统之间的连接可以例如通过适配器1358或调制解调器1360分别通过LAN1354或WAN1356来建立。在将计算机1302连接到相关联的云存储系统时，外部存储接口1326可借助于适配器1358和/或调制解调器1360来管理由云存储系统提供的存储，如同其他类型的外部存储一样。例如，外部存储接口1326可以被配置为提供对云存储源的访问，如同那些源在物理上连接到计算机1302一样。

计算机1302可以可操作用于与可操作地布置在无线通信中的任何无线设备或实体通信，例如打印机、扫描仪、台式和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签相关联的任何一件设备或位置(例如，自助服务终端、新闻台、商店货架等)和电话。这可以包括无线保真(“Wi-Fi”)和

无线技术。由此，通信可以是如传统网络的预定义结构，或者仅仅是至少两个设备之间的自组织通信。

以上已经描述的内容仅包括系统、计算机程序产品和计算机实现的方法的示例。当然，为了描述本公开的目的，不可能描述组件、产品和/或计算机实现方法的每个可想象的组合，但是本领域普通技术人员可以认识到，本公开的许多进一步的组合和置换是可能的。此外，在详细说明、权利要求、附件以及附图中使用术语“包括”、“具有”、“拥有”等的程度上，这些术语旨在以类似于术语“包含”的方式是包括性的，因为在权利要求中采用“包含”作为过渡词时，解释“包含”。已经出于说明的目的呈现了不同实施例的描述，但并不旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对本领域普通技术人员将是显而易见的。这里使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

Claims (20)

1.一种系统，包括：

存储器，存储计算机可执行组件；以及

处理器，其可操作地耦合到所述存储器，并且执行存储在所述存储器中的所述计算机可执行组件，其中所述计算机可执行组件包括：

时间序列分析组件，所述时间序列分析组件生成机器学习模型，所述机器学习模型基于不确定性测量使用关注机制发现多变量时间序列数据之间的依赖性。

2.根据权利要求1所述的系统，进一步包括：

编码器组件，所述编码器组件通过跨所述多变量时间序列数据的构成的系列匹配不同的数据采样率来对所述多变量时间序列数据进行编码，并且其中，编码使所述多变量时间序列数据可缩放和可并行化。

3.根据权利要求2所述的系统，进一步包括：

关注解码器组件，所述关注解码器组件使用所述机器学习模型的关注网络层基于所述不确定性测量来正则化经编码的多变量时间序列数据之间的关注。

4.根据权利要求3所述的系统，其中，所述关注网络层惩罚导致所述不确定性测量小于定义的阈值的所述经编码的多变量时间序列数据的关注配置。

5.根据权利要求3所述的系统，其中，所述关注解码器组件进一步经由贝叶斯推理确定支配所述关注网络层的参数的后验分布。

6.根据权利要求3所述的系统，其中，所述关注解码器组件进一步经由在所述关注网络层处执行的蒙特卡罗采样来生成关于所述依赖性的不确定性量化。

7.根据权利要求6所述的系统，其中，所述多变量时间序列数据表征可测量属性，并且其中，所述系统进一步包括：

预测组件，所述预测组件基于所发现的依赖性和所述不确定性量化来预测所述可测量属性的值。

8.一种计算机实现方法，包括：

由操作地耦合到处理器的系统生成机器学习模型，所述机器学习模型基于不确定性测量使用关注机制发现多变量时间序列数据之间的依赖性。

9.根据权利要求8所述的计算机实现的方法，进一步包括：

由所述系统通过跨所述多变量时间序列数据的构成的系列匹配不同的数据采样率来对所述多变量时间序列数据进行编码，其中，所述编码使所述多变量时间序列数据可缩放并且可并行化。

10.根据权利要求9所述的计算机实施的方法，进一步包括：

由所述系统使用所述机器学习模型的关注网络层基于所述不确定性测量来正则化经编码的多变量时间序列数据之间的关注。

11.根据权利要求10所述的计算机实施的方法，进一步包括：

由所述系统惩罚导致所述不确定性测量小于定义的阈值的所述经编码的多变量时间序列数据的关注配置。

12.根据权利要求10所述的计算机实施的方法，进一步包括：

由所述系统经由贝叶斯推理确定支配所述关注网络层的参数的后验分布。

13.根据权利要求10所述的计算机实施的方法，进一步包括：

由所述系统经由在所述关注网络层执行的蒙特卡罗采样生成关于所述依赖性的不确定性量化。

14.根据权利要求13所述的计算机实施的方法，其中，所述多变量时间序列数据表征可测量属性，并且其中，所述计算机实施的方法进一步包括：

由所述系统基于所发现的依赖性和所述不确定性量化来预测所述可测量属性的值。

15.一种用于分析多变量时间序列数据的计算机程序产品，所述计算机程序产品包括具有体现在其中的程序指令的计算机可读存储介质，所述程序指令可由处理器执行以使所述处理器：

由所述处理器生成机器学习模型，所述机器学习模型基于不确定性测量使用关注机制来发现所述多变量时间序列数据之间的依赖性。

16.根据权利要求15所述的计算机程序产品，其中，所述程序指令进一步使所述处理器：

由所述处理器通过跨所述多变量时间序列数据的构成的系列匹配不同的数据采样率来对所述多变量时间序列数据进行编码，其中，编码使所述多变量时间序列数据可缩放并且可并行化。

17.根据权利要求16所述的计算机程序产品，其中，所述程序指令进一步使所述处理器：

由所述处理器使用所述机器学习模型的关注网络层基于香农熵值来正则化所述经编码的多变量时间序列数据之间的关注。

18.根据权利要求17所述的计算机程序产品，其中，所述程序指令进一步使所述处理器：

由所述处理器惩罚导致所述不确定性测量大于定义的阈值的所述经编码的多变量时间序列数据的关注配置。

19.根据权利要求18所述的计算机程序产品，其中，所述程序指令进一步使所述处理器：

由所述处理器经由贝叶斯推理确定支配所述关注网络层的参数的后验分布。

20.根据权利要求19所述的计算机程序产品，其中，所述程序指令进一步使所述处理器：

由所述处理器经由在所述关注网络层执行的蒙特卡罗采样生成关于所述依赖性的不确定性量化。

Images