CN115600478B

CN115600478B - 软件定义广域网分析系统及其操作方法

Info

Publication number: CN115600478B
Application number: CN202111260982.4A
Authority: CN
Inventors: 邝伟基
Original assignee: China Enterprise Network Communication Technology Co ltd
Current assignee: China Enterprise Network Communication Technology Co ltd
Priority date: 2021-06-28
Filing date: 2021-10-28
Publication date: 2023-08-15
Anticipated expiration: 2041-10-28
Also published as: CN115600478A

Abstract

提供了一种用于操作软件定义广域网分析系统的由计算机实现的方法以及相关的软件定义广域网分析系统。该方法包括自动获取与在软件定义广域网中运行的应用程序相关联的时间性操作数据和/或与软件定义广域网中的通信链路相关联的时间性操作数据。该方法还包括使用循环神经网络模型至少处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化，并输出所确定的性能指标的预测时间变化。

Description

软件定义广域网分析系统及其操作方法

技术领域

本发明涉及软件定义广域网(SD-WAN)分析系统以及用于操作SD-WAN 分析系统的方法。

背景技术

软件定义广域网(SD-WAN)是软件定义网络(SDN)技术到广域网 (WAN)连接(例如多协议标签交换、宽带互联网、4G、LTE、5G等)的已知特定应用。它可以被认为是一种具有成本效益的广域网优化技术，以增强网络的灵活性、可用性、可扩展性和性能，因为它可以为云应用规划最有效的路线，并通过在通信链路之间切换来绕过网络拥塞以为应用程序提供必要的带宽(尤其是对带宽要求高的应用程序)，以提高网络的可靠性和效率。

目前，存在各种SD-WAN供应商，例如等。这些供应商可以提供硬件设备和系统来促进SD-WAN的部署，并可以记录已部署的SD-WAN的操作数据。其中一些供应商可能会提供网关、控制器或应用程序，以允许用户监控SD-WAN的实时操作状态并且根据需要更改 SD-WAN的设置。

发明内容

在第一方面，提供了一种用于操作软件定义广域网(SD-WAN)分析系统的由计算机实现的方法。该方法包括自动获取与在SD-WAN中运行的应用程序相关联的时间性操作数据和/或与SD-WAN中的通信链路相关联的时间性操作数据；使用循环神经网络模型至少处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化(值)；以及输出所确定的性能指标的预测时间变化。时间性操作数据的自动获取是在无需用户干预的情况下进行的。时间性操作数据的获取可以包括获取所有可用的时间性操作数据或者仅获取新的时间性操作数据或尚未获取(例如，自上次获取时间性操作数据之后)的时间性操作数据。可以存储所获取的时间性操作数据。时间性操作数据是指在不同时刻所获取的数据或可随时间变化的数据。

可选地，使用循环神经网络模型来至少处理所获取的时间性操作数据还确定性能指标的过去和当前时间变化，并且输出还包括输出所确定的性能指标的过去和当前时间变化。

可选地，使用循环神经网络模型来至少处理所获取的时间性操作数据确定与应用程序和/或通信链路相关联的多个性能指标的相应预测时间变化。

可选地，自动获取是周期性地执行或以固定的时间间隔执行的。通常，较短的周期或较短的时间间隔能够更容易地更新时间性操作数据，因此有助于更准确或有用地确定性能指标的预测时间变化。在一个示例中，自动获取每小时执行一次。

可选地，自动获取是在应用程序和/或通信链路的操作期间大体上实时地执行的。例如，当新的时间性操作数据变得可用或可获取时，就获取它们。

可选地，自动获取包括自动获取与在SD-WAN中运行的多个应用程序相关联的时间性操作数据和/或与SD-WAN中的多个通信链路相关联的时间性操作数据。这使得可以对SD-WAN中的不同特定应用程序进行分析。

可选地，该处理包括：使用循环神经网络模型处理所获取的与多个应用程序中的一个相关联的时间性操作数据以确定与该一个应用程序相关联的性能指标的预测时间变化和/或使用循环神经网络模型处理所获取的与多个通信链路中的一个相关联的时间性操作数据以确定与该一个应用程序相关联的性能指标的预测时间变化。这使得可以对SD-WAN中的不同特定链路进行分析。

可选地，该方法包括接收用户对应用程序(从多个应用程序)的选择并且该处理基于所选择的应用程序的时间性操作数据。

可选地，该方法包括接收用户对通信链路(从多个通信链路)的选择并且该处理基于所选择的通信链路的时间性操作数据。

可选地，所获取的与在SD-WAN中运行的应用程序相关联的时间性操作数据包括与以下相关联的数据：与通过SD-WAN中的通信链路运行的应用程序相关联的下行流量测量，与通过通信链路运行的应用程序相关联的上行流量测量，以及以下各项中的至少一项、两项或全部：与通过通信链路运行的应用程序相关联的丢包测量、与通过通信链路运行的应用程序相关联的延迟测量、以及通过通信链路运行的应用程序相关联的抖动测量。下行流量测量和上行流量测量可以以字节为单位进行测量。丢包测量可以是丢包率(％)、丢包量等。抖动测量可以是持续时间测量(毫秒)。延迟测量可以是以毫秒为单位的持续时间测量。可以理解，可以使用其他单位来表示这些测量。通过使用丢包测量、延迟测量和抖动测量中的至少一种并结合上游流量测量和下行流量测量将允许在确定性能指标的预测时间变化时考虑到应用程序的操作的质量(不仅是流量)，从而使性能指标能够更准确地反映应用程序的运行情况。

可选地，与SD-WAN中的通信链路相关联的时间性操作数据包括与以下相关联的数据：与通信链路相关联的下行流量测量、与通信链路相关联的上行流量测量、以及以下各项中的至少一项、两项或全部：与通信链路相关联的丢包测量、与通信链路相关联的延迟测量和与通信链路相关联的抖动测量。丢包测量可以是丢包率(％)、丢包量等。抖动测量可以是持续时间测量(毫秒)。延迟测量可以是以毫秒为单位的持续时间测量。可以理解，可以使用其他单位来表示这些测量。通过使用丢包测量、延迟测量和抖动测量中的至少一种并结合上游流量测量和下行流量测量将允许在确定性能指标的预测时间变化时考虑到通信链路的操作的质量(不仅是流量)，从而使性能指标能够更准确地反映通信链路的运行情况。

可选地，自动获取还包括自动获取与SD-WAN中的SD-WAN设备关联的时间性操作数据。与SD-WAN设备相关联的时间性操作数据可用于性能指标的预测时间变化的处理或确定。SD-WAN设备可以是路由器、客户端设备、网络交换设备等(例如在SD-WAN的站点处)。

可选地，与SD-WAN设备相关联的时间性操作数据包括以下各项中的至少一项、两项或全部：SD-WAN设备的处理器的处理器使用测量、SD-WAN 设备的存储器的存储器使用测量以及SD-WAN设备或SD-WAN设备的部件的温度测量。

可选地，循环神经网络模型包括经过训练的长短期记忆网络处理模型。经过训练的长短期记忆网络处理模型可以是通用模型，其可用于处理多个应用程序和/或多个通信链路的时间性操作数据。或者，经过训练的长短期记忆网络处理模型可以是针对特定应用程序和/或特定通信链路的特定模型。在另一个示例中，经过训练的长短期记忆网络处理模型可以是针对特定用户或特定SD-WAN的特定模型。长短期记忆网络处理模型特别适合这种应用，因为它可以学习时间序列或时间数据中的长期依赖关系，并且对序列建模、记住上述信息方面非常强大，并且可以拟合非线性。

可选地，性能指标包括：应用程序质量分数、通信链路质量分数和/或站点健康状态分数。

可选地，该方法还包括：使用基线确定模型来处理所确定的性能指标的预测时间变化，以确定：与应用程序和/或通信链路相关联的所确定的性能指标的预测时间变化的基线时间变化。可选地，该方法还包括：使用基线确定模型处理所确定的性能指标的过去和当前时间变化，以确定：与应用程序和/ 或通信链路相关联的所确定的性能指标的过去和当前时间变化的基线时间变化(值)。基线确定模型包括统计模型。基线确定模型可以是非基于机器学习的模型，即不使用机器学习处理方法。

可选地，该方法还包括：基于输出显示所确定的性能指标的预测时间变化。

可选地，该显示包括显示所确定的性能指标的过去和当前时间变化以及所确定的性能指标的预测时间变化。

可选地，所确定的性能指标的预测时间变化以及可选地性能指标的过去和当前时间变化以图形格式显示(例如，作为图形上的一条或多条线)。可选地，所确定的性能指标的基线的预测时间变化以及可选地性能指标的基线的过去和当前时间变化以图形格式显示(例如，作为图形上的一条或多条线)。

可选地，在显示期间执行自动获取、处理和输出，从而动态地更新所显示的性能指标的预测时间变化。

可选地，该方法还包括：将所确定的性能指标的预测时间变化与阈值(例如，值的阈值、变化率的阈值)进行比较以识别潜在的异常情况；并且响应于识别出潜在的异常情况而提供响应。使用值的阈值进行比较可以帮助识别潜在的未来异常情况，从而能够针对潜在的未来异常情况采取预防措施。附加地或替代地，使用变化率的阈值进行比较可有助于更容易地识别或确认潜在的未来异常情况，从而能够针对此类潜在的未来异常情况采取预防措施。

可选地，提供响应可以包括以下一项或多项：在确定潜在异常情况时提供提醒、警告、通知或警报；暂时或在确定的时间关闭或停用SD-WAN中的 SD-WAN设备；暂时或在确定的时间禁用SD-WAN中的应用程序；暂时或在确定的时间停用SD-WAN中的通信链路；等等。

可选地，该方法还包括在使用递归神经网络模型处理所获取的时间性操作数据之前，对所获取的时间性操作数据进行预处理。预处理更好地准备了要被循环神经网络模型处理的数据，从而提高数据的处理效率以及潜在地提高预测的准确性。

可选地，预处理包括对所获取的时间性操作数据进行数据清洗。可选地，预处理还包括以下至少一种处理：特征提取、正则化、线性判别分析、关联性分析、因子分析和对数处理。

可选地，SD-WAN分析系统集成到SD-WAN的SD-WAN系统中或形成其一部分。可选地，SD-WAN系统为SD-WAN系统。

可选地，SD-WAN分析系统适于或专门适用于分析SD-WAN系统的操作。可选地，在一些其他实施例中，SD-WAN分析系统适于或专门适用于分析不同供应商的SD-WAN系统的操作。

在第二方面，提供了一种软件定义广域网(SD-WAN)分析系统，其至少包括：大数据平台以及与大数据平台可操作地连接的一个或多个控制器。大数据平台被布置为自动获取与在软件定义广域网中运行的应用程序相关联的时间性操作数据和/或与软件定义广域网中的通信链路相关联的时间性操作数据。一个或多个控制器被布置为使用循环神经网络模型来至少处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化；以及输出所确定的性能指标的预测时间变化。大数据平台在无需用户干预的情况下自动获取时间性操作数据。大数据平台用于自动获取所有可用的时间性操作数据，或仅获取新的时间性操作数据或尚未获取(例如，自上次获取时间性操作数据之后)的时间性操作数据。大数据平台用于存储所获取的时间性操作数据。时间性操作数据是指在不同时刻所获取的数据或可随时间变化的数据。

可选地，一个或多个处理器被布置为使用循环神经网络模型至少处理所获取的时间性操作数据，以进一步确定性能指标的过去和当前时间变化，并且输出所确定的性能指标的过去和当前时间变化。

可选地，一个或多个处理器被布置为使用循环神经网络模型至少处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的多个性能指标的相应预测时间变化。

可选地，大数据平台被布置为周期性地或以固定的时间间隔自动获取时间性操作数据。通常，较短的周期或较短的时间间隔能够更容易地更新时间性操作数据，因此有助于更准确或有用地确定性能指标的预测时间变化。在一个示例中，大数据平台被布置为每小时自动获取时间性操作数据一次。

可选地，大数据平台被布置为在应用程序和/或通信链路的操作期间大体上实时地自动获取时间性操作数据。例如，大数据平台被布置为在时间性操作数据可用或可获取时自动获取新的时间性操作数据。

可选地，大数据平台被布置为自动获取与在SD-WAN中运行的多个应用程序相关联的时间性操作数据和/或与SD-WAN中的多个通信链路相关联的时间性操作数据。因此，大数据平台可以促进对SD-WAN中不同特定应用程序的分析。

可选地，一个或多个控制器被布置为使用循环神经网络模型处理所获取的与多个应用程序中的一个相关联的时间性操作数据以确定与该一个应用程序相关联的性能指标的预测时间变化和/或使用循环神经网络模型处理所获取的与多个通信链路中的一个相关联的时间性操作数据以确定与该一个应用程序相关联的性能指标的预测时间变化。因此，大数据平台可以促进对 SD-WAN中不同特定链路的分析。

可选地，大数据平台被布置为例如通过信息处理系统的输入设备接收用户对应用程序(从多个应用程序)的选择并被布置为基于所选择的应用程序的时间性操作数据来进行处理。

可选地，大数据平台被布置为例如通过信息处理系统的输入设备接收用户对通信链路(从多个通信链路)的选择并被布置为基于所选择的通信链路的时间性操作数据来进行处理。

可选地，大数据平台还被布置为自动获取与SD-WAN中的SD-WAN设备关联的时间性操作数据。大数据平台可以将与SD-WAN设备相关联的时间性操作数据用于性能指标的预测时间变化的处理或确定。SD-WAN设备可以是路由器、客户端设备、网络交换设备等(例如在SD-WAN的站点处)。

可选地，循环神经网络模型包括经过训练的长短期记忆网络处理模型。经过训练的长短期记忆网络处理模型可以是通用模型，其可用于处理多个应用程序和/或多个通信链路的时间性操作数据。或者，经过训练的长短期记忆网络处理模型可以是针对特定应用程序和/或特定通信链路的特定模型。在另一个示例中，经过训练的长短期记忆网络处理模型可以是针对特定用户或特定SD-WAN的特定模型。

可选地，一个或多个控制器还被布置为使用基线确定模型来处理所确定的性能指标的预测时间变化，以确定：与应用程序和/或通信链路相关联的所确定的性能指标的预测时间变化的基线时间变化。可选地，一个或多个控制器还被布置为使用基线确定模型处理所确定的性能指标的过去和当前时间变化，以确定：与应用程序和/或通信链路相关联的所确定的性能指标的过去和当前时间变化的基线时间变化(值)。基线确定模型包括统计模型。基线确定模型可以是非基于机器学习的模型，即不使用机器学习处理方法。

可选地，SD-WAN分析系统还包括显示器，其与一个或多个控制器可操作地连接以基于输出显示所确定的性能指标的预测时间变化。

可选地，显示器被布置为显示所确定的性能指标的过去和当前时间变化以及所确定的性能指标的预测时间变化。

可选地，大数据平台被布置为自动获取时间性操作数据，并且一个或多个控制器被布置为：当所确定的性能指标的预测时间变化以及可选地性能指标的过去和当前时间变化被显示时，处理和输出时间性操作数据，以便在显示器上动态地更新性所显示的性能指标的预测时间变化以及可选地性能指标的过去和当前时间变化。

可选地，一个或多个控制器还被布置为：将所确定的性能指标的预测时间变化与阈值性能指标(例如，值的阈值、变化率的阈值)进行比较以识别潜在的异常情况；并响应于识别出潜在的异常情况而提供响应。使用值的阈值进行比较可以帮助识别潜在的未来异常情况，从而能够针对潜在的未来异常情况采取预防措施。附加地或替代地，使用变化率的阈值进行比较可有助于更容易地识别或确认潜在的未来异常情况，从而能够针对此类潜在的未来异常情况采取预防措施。

可选地，一个或多个控制器可以：提供一个或多个响应命令,以在确定潜在异常情况时触发提醒、警告、通知或警报；暂时或在确定的时间关闭或停用SD-WAN中的SD-WAN设备；暂时或在确定的时间禁用SD-WAN中的应用程序；暂时或在确定的时间停用SD-WAN中的通信链路；等等。

可选地，大数据平台还被布置为：在在使用递归神经网络模型来对所获取的时间性操作数据进行处理之前，对所获取的时间性操作数据进行预处理。预处理更好地准备了要被循环神经网络模型处理的数据，从而提高数据的处理效率并潜在地提高预测的准确性。

可选地，大数据平台被布置为对所获取的时间性操作数据进行数据清洗来对所获取的时间性操作数据进行预处理。可选地，大数据平台被布置为对所获取的时间性操作数据进行特征提取、正则化、线性判别分析、关联性分析、因子分析、对数处理中的至少一种来对所获取的时间性操作数据进行预处理。

可选地，大数据平台是数据平台(HDP)。

可选地，SD-WAN分析系统适于或专门适用于分析SD-WAN系统的运行。

在第三方面，提供了第二方面的软件定义广域网(SD-WAN)分析系统的大数据平台。大数据平台被布置为自动获取与在SD-WAN中运行的应用程序相关联的时间性操作数据和/或与SD-WAN中的通信链路相关联的时间性操作数据。大数据平台被布置为与一个或多个控制器可操作地连接，该一个或多个控制器被布置为：使用循环神经网络模型来处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化 (值)，并输出所确定的性能指标的预测时间变化。大数据平台可以包括第二方面的一个或多个或所有可选特征。

在第四方面，提供了一种系统，包括在第二方面的软件定义广域网 (SD-WAN)分析系统的一个或多个控制器。一个或多个控制器被布置为：使用循环神经网络模型来处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化(值)，并输出所确定的性能指标的预测时间变化。一个或多个控制器被布置为与提供获取的时间性操作数据的大数据平台可操作地连接。大数据平台被布置为自动获取与在SD-WAN中运行的应用程序相关联的时间性操作数据和/或与SD-WAN中的通信链路相关联的时间性操作数据。一个或多个控制器可以包括第二方面的一个或多个或所有可选特征。一个或多个控制器可以分布式方式布置在多个信息处理系统中或者可以布置在单个信息处理系统中。

在第五方面，提供了一种网络分析系统，其至少包括大数据平台和与大数据平台可操作地连接的一个或多个控制器。大数据平台被布置为自动获取与在网络中运行的应用程序相关联的时间性操作数据和/或与网络中的通信链路相关联的时间性操作数据。一个或多个控制器被布置为使用循环神经网络模型处理所获取的时间性操作数据，以确定与应用程序和/或通信链路相关联的性能指标的预测时间变化(值)；并输出所确定的性能指标的预测时间变化。大数据平台在无需用户干预的情况下自动获取时间性操作数据。大数据平台被布置为自动获取所有可用的时间性操作数据，或仅获取新的时间性操作数据或尚未获取(例如，自上次获取时间性操作数据之后)的时间性操作数据。大数据平台被布置为存储所获取的时间性操作数据。该网络可以是软件定义广域网(SD-WAN)或其他类型的通信或计算网络。

在上述方面，SD-WAN可以是静态SD-WAN、混合SD-WAN、动态 SD-WAN、NSX SD-WAN等。

通过考虑详细描述和附图，本发明的其他特征和方面将变得显而易见。在适当和适用的情况下，在本文中关于一个方面或实施例描述的任何特征可以与本文中关于任何其他方面或实施例描述的任何其他特征组合。

附图说明

现在将参考附图以示例的方式描述本发明的实施例，其中：

图1是SD-WAN系统的示意图；

图2是另一个SD-WAN系统的示意图；

图3是示出本发明一个实施例的SD-WAN分析系统的示意图；

图4是示出本发明一个实施例的SD-WAN分析系统的示意图；

图5是示出本发明一个实施例的用于操作SD-WAN分析系统的由计算机实现的方法的流程图；

图6是示出本发明一个实施例的机器学习控制器的基本结构的框图。

图7是示出本发明一个实施例的信息处理系统的基本结构的框图。

图8A是示出本发明一个实施例的SD-WAN数据处理方法的示意图；

图8B是示出本发明一个实施例的SD-WAN数据处理方法的示意图；

图9是示出本发明一个实施例的长短期记忆网络处理模型的块的示意图；

图10是示出本发明一个实施例的用于训练或创建长短期记忆网络处理模型的方法的流程图；

图11A是示出使用图5的方法所获取的输出(应用程序质量分数)的屏幕截图；

图11B是示出使用图5的方法所获取的输出(链路质量分数)的屏幕截图；

图12是示出本发明一个实施例的数据流的示意图。

图13是示出本发明一个实施例的数据处理的示意图；

图14是示出本发明一个实施例的大数据平台的功能框图；

图15是示出本发明一个实施例的数据处理的示意图；

图16是示出本发明一个实施例的使用统计基线处理模型确定基线分数的方法的流程图；

图17A是示出使用图5的方法所获取的通过两个站点之间的通信链路的一个应用程序的基线分布的屏幕截图；

图17B是示出使用图5的方法所获取的通过两个站点之间的通信链路的另一个应用程序的基线分布的屏幕截图；以及

图17C是示出使用图5的方法所获取的通过两个站点之间的通信链路的另外两个应用程序的基线分布的屏幕截图。

具体实施方式

图1示出了SD-WAN系统100的示例性图示。SD-WAN系统100包括 SD-WAN 102，其可操作地连接在两个站点或位置处的相应的局域网(LAN) 104A、104B。在该示例中，SD-WAN102包括MPLS-VPN通信网络，互联网通信网络，以及SaaS/IaaS通信网络。这些通信网络中的每一个都可以具有一个或多个通信链路。在两个站点104A、104B的两个LAN之间的应用程序、视频会议、企业资源规划、网络电话(VoIP)、文档协作(Office)、高清媒体流等是由SD-WAN 102促进的。SD-WAN 102被布置为在不同通信网络或链路之间切换，以为这些功能提供必要的带宽。

图2示出了SD-WAN系统200的示例性图示。SD-WAN系统200包括可操作地连接企业的相应局域网(LAN)的SD-WAN 202。在该示例中，企业包括具有LAN 204A的分支机构1、具有LAN 204B的另一个分支机构，以及具有LAN 204C的总部。分支机构LAN 204A、204B中的每一个都包括相应的信息处理设备和系统(例如，计算机、智能手机、平板计算机等)，其彼此可操作地连接并且被布置为操作各种应用程序和功能，例如但不限于参照图1所描述的那些。总部LAN 204C包括相应的信息处理设备和系统(例如，服务器、中间件、应用程序)，其彼此可操作地连接并且被布置为操作各种应用程序和功能，例如但不限于参照图1所描述的那些。分支机构LAN 204A、 204B中的信息处理设备和系统被布置为与总部LAN 204C中的信息处理设备和系统进行通信，以执行企业中的各种应用程序和功能。分支机构和总部可能位于不同的地理位置或场所。

在SD-WAN系统(例如系统100、200)的操作期间，可以生成和记录 (例如由SD-WAN供应商)各种时间性操作数据。这些数据在经过适当的经处理可以有意义的方式加以利用和使用，以更深入了解SD-WAN系统100、 200的性能。

图3示出了本发明一个实施例的可用于处理该数据的SD-WAN性能分析系统300。SD-WAN性能分析系统300被布置为接收SD-WAN数据，处理它，以及评估和预测SD-WAN的性能。SD-WAN性能分析系统300包括机器学习控制器302，其被布置为将基于机器学习的方法应用于数据以预测SD-WAN 的未来性能。机器学习控制器302被布置为使用基于机器学习的方法以及非基于机器学习的方法来处理数据。SD-WAN分析系统300可以集成在 SD-WAN的SD-WAN系统中或形成其一部分。

图4示出了本发明一个实施例的SD-WAN分析系统400。SD-WAN分析系统400可以集成在SD-WAN的SD-WAN系统中或形成其一部分。系统400 包括大数据平台404和SD-WAN性能分析系统406。系统400的功能模块，特别是大数据平台404和SD-WAN性能分析系统406的功模能块，可以使用硬件、软件或它们的组合来实现。

大数据平台404被布置为接收SD-WAN数据，例如已经由SD-WAN供应商收集或记录的SD-WAN数据。SD-WAN数据可能包括：SD-WAN中的站点的站点标识符(或名称)、SD-WAN中的通信链路的链路标识符(或名称)、 SD-WAN中的应用程序的应用程序标识符(或名称)，与相应通信链路中的相应应用程序相关联的时间性上行流量(字节)，与相应通信链路中的相应应用程序相关联的时间性下行流量(字节)，与相应通信链路相关联的时间性上行流量(字节)，相相应通信链路相关联的时间性下行流量(字节)，与通过相应通信链路运行的相应应用程序相关联的丢包率(％)，与相应通信链路相关联的丢包率(％)，与通过相应通信链路运行的相应应用程序相关联的延迟(毫秒)，与相应通信链路相关联的延迟(毫秒)，与通过相应通信链路运行的相应应用程序相关联的抖动(毫秒)，与相应通信链路相关联的抖动(毫秒)，对应的时间戳，SD-WAN中的SD-WAN设备的处理器的处理器使用率(％)， SD-WAN中的SD-WAN设备的存储器的存储器使用率(％)，以及SD-WAN 中的SD-WAN设备或SD-WAN中的SD-WAN设备的部件的温度(oC)等。大数据平台404被布置为集成，处理，和存储SD-WAN数据。大数据平台404 用于执行数据提取、转换和加载。数据平台404还被布置为输出经处理的SD-WAN数据，以供SD-WAN性能分析系统406进一步处理。

如图4所示，大数据平台404包括数据储存库404A，其用于存储所获取的SD-WAN数据以及经处理的和/或集成的SD-WAN数据。大数据平台404 还包括数据采集器404B，其用于自动采集或获取SD-WAN数据。例如，数据收集器404B包括定时器，其被布置为周期性地向SD-WAN数据的数据库或接口(例如，由SD-WAN供应商提供的SD-WAN数据存储库)发送数据获取或收集请求，以启动SD-WAN数据的获取。定时器可以被布置为在无需用户干预的情况下每小时、每分钟、每天等发送这样的请求。SD-WAN数据的获取可以包括从SD-WAN供应商提供的SD-WAN数据存储库获取所有可用的SD-WAN数据或从SD-WAN供应商提供的SD-WAN数据存储库仅获取新的SD-WAN数据(之前未获取或存储在数据存储库404A中的)。在另一个实施例中，数据收集器404B可以实时地、大体上连续地自动收集或获取 SD-WAN数据。SD-WAN数据的获取可以通过数据推送(即，数据自动馈入平台404)、数据获取(即，通过从数据收集器404B发起的数据获取请求)，或两者。优选地，SD-WAN数据的获取足够频繁以保持SD-WAN数据最新。

大数据平台404还包括数据处理器404C，其被布置为处理所获取的 SD-WAN数据。在本实施例中，数据处理器404C还被布置为对所获取的 SD-WAN数据进行特征提取、正则化、线性判别分析、关联性分析、因子分析和对数处理。由数据处理器404C处理的SD-WAN数据存储在数据储存库 404A中。大数据平台被布置为将经处理的SD-WAN数据输出到SD-WAN性能分析系统406以作进一步处理。

参考图4，SD-WAN性能分析系统406包括机器学习控制器402。机器学习控制器402被布置为将基于机器学习的方法应用于由大数据平台404预处理并从大数据平台404获取的SD-WAN数据(时间数据)，以预测SD-WAN 的未来性能质量，特别是与SD-WAN中的应用程序或SD-WAN中的通信链路相关联的性能指标的未来时间变化。机器学习控制器402被布置为使用基于机器学习的方法以及非基于机器学习的方法来处理数据。在一个实施例中，机器学习控制器402被布置为使用循环神经网络模型(例如，经训练的长短期记忆模型)来确定与SD-WAN中的特定应用程序相关联的应用程序质量分数的预测时间变化(或值)，与SD-WAN中的特定通信链路相关联的链路质量分数，以及与SD-WAN中的站点相关联的站点健康状态分数，并且输出相应的确定的预测时间变化以供显示。

图5示出了本发明一个实施例的用于操作SD-WAN分析系统的由计算机实现的方法。方法500包括在步骤502中自动获取与SD-WAN或其部件相关联的时间性操作数据。在一个实施例中，时间性操作数据与在SD-WAN中操作的一个或多个(例如，所有)应用程序、SD-WAN中的一个或多个(例如，所有)通信链路和/或SD-WAN中的一个或多个(例如，所有)SD-WAN设备(例如路由器、客户端设备、网络交换机设备)相关联。与SD-WAN设备相关联的时间性操作数据可用于处理或确定SD-WAN中特定站点、应用程序和/或通信链路的性能指标的预测时间变化。例如，与SD-WAN相关联的时间性操作数据可以包括：与相应通信链路中的相应应用程序相关联的时间性上行流量(字节)，与相应通信链路中的相应应用程序相关联的时间性下行流量 (字节)，与相应通信链路相关联的时间性上行流量(字节)，相相应通信链路相关联的时间性下行流量(字节)，与通过相应通信链路运行的相应应用程序相关联的丢包率(％)，与相应通信链路相关联的丢包率(％)，与通过相应通信链路运行的相应应用程序相关联的延迟(毫秒)，与相应通信链路相关联的延迟(毫秒)，与通过相应通信链路运行的相应应用程序相关联的抖动(毫秒)，与相应通信链路相关联的抖动(毫秒)，对应的时间戳，SD-WAN中的 SD-WAN设备的处理器的处理器使用率(％)，SD-WAN中的SD-WAN设备的存储器的存储器使用率(％)，以及SD-WAN中的SD-WAN设备或SD-WAN 中的SD-WAN设备的部件的温度(oC)等。可以自动获取与SD-WAN或其部件相关联的时间性操作数据，例如定期地从由SD-WAN供应商提供的数据库、控制器或接口获取。时间性操作数据地获取可以包括获取所有可用的时间性操作数据，或者仅获取新的时间性操作数据或尚未获取的时间性操作数据(例如，自上次获取时间性操作数据之后)。

在步骤502之后，方法500进行到步骤504，其中使用循环神经网络模型来处理所获取的时间性操作数据，以确定与SD-WAN和/或其部件相关联的预测性能指标(例如，值)。在一个实施例中，步骤504包括使用循环神经网络模型来处理所获取的与SD-WAN相关联的时间性操作数据，以确定与 SD-WAN中的应用程序或通信相关联的性能指标的预测时间变化。在这个示例中，循环神经网络模型是经过训练的长短期记忆网络处理模型。在一个实施例中，经过训练的长短期记忆网络处理模型可以是通用的模型，其可以用于处理多个应用程序和/或多个通信链路的时间性操作数据。在另一个实施例中，经过训练的长短期记忆网络处理模型是针对SD-WAN中特定站点、特定应用程序或特定通信链路的特定模型(即，不同站点、应用程序或通信链路使用不同的长短期记忆网络处理模型)。在又一个实施例中，经过训练的长短期记忆网络处理模型可以是用于SD-WAN分析系统的特定用户或用于特定 SD-WAN的专用模型。性能指标可以包括指示SD-WAN中特定应用程序的服务质量或运行质量的应用程序质量分数、指示SD-WAN中通信链路的服务质量或运行质量的通信链路质量分数和/或指示SD-WAN中的站点的健康状态的站点健康状态分数。

在一个实施例中，在使用循环神经网络模型处理所获取的时间性操作数据之前，所获取的时间性操作数据被处理(或预处理)以更好地准备将其应用于循环神经网络模型。该预处理可以包括对所获取的时间性操作数据进行数据清洗，对所获取的时间性操作数据进行特征提取、正则化、线性判别分析、关联性分析、因子分析、对数处理以及各种统计处理。预处理可能不涉及任何基于机器学习的处理。预处理可以帮助基于特定的站点、应用程序和/ 或通信链路对所获取的数据进行分类。

在步骤504之后，方法500进行到步骤506，其中输出所确定的预测性能指标。在一个实施例中，步骤506包括输出所确定的性能指标的预测时间变化。例如，该输出可以是应用程序质量分数、通信链路质量分数和/或站点健康状态分数的预测时间变化。在步骤508中，所确定的预测性能指标被显示在显示器上。在一个实施例中，步骤508包括以易于理解的图形格式显示所确定的性能指标的预测时间变化。

在方法500的一个实施例中，在步骤508中的显示期间执行步骤502中的自动获取以及步骤504和所506中的处理和输出，从而动态地更新所显示的性能指标的预测时间变化。由此，可以动态的方式向用户提供准确的预测。

在方法500的一个实施例中，方法500还包括将所确定的预测性能指标 (例如，所确定的性能指标的预测时间变化)与阈值(例如，值的阈值、变化的率阈值)或参考变化进行比较，以识别潜在的异常情况。潜在的异常状况可以是潜在的长时间的应用程序质量下降、潜在的长时间的通信链路质量下降等。如果识别出潜在异常状况，则方法500包括响应于识别出潜在异常状况而提供响应。该响应可以包括在确定潜在异常情况时提供提醒、警告、通知或警报；立即关闭或停用SD-WAN中的SD-WAN设备、或在对应于潜在异常情况的潜在发生的预定时间关闭或停用SD-WAN中的SD-WAN设备；立即禁用SD-WAN中的应用程序或在对应于潜在异常情况的潜在发生的预定时间禁用SD-WAN中的应用程序；立即停用SD-WAN中的通信链路或在对应于潜在异常情况的潜在发生的预定时间停用SD-WAN中的通信链路；等等。

在方法500的一个实施例中，方法500还包括处理所获取的时间性操作数据以确定性能指标的过去和当前时间变化，并输出所确定的性能指标的过去和当前时间变化。可以使用步骤502中的循环神经网络模型或使用另一处理方法来执行对所获取的时间性操作数据的处理以确定性能指标的过去和当前时间变化。在方法500的另一个实施例中，方法500还包括获取所确定的性能指标的过去和当前时间变化(先前在步骤502中使用旧数据确定的)，并且输出所确定的性能指标的过去和当前时间变化。在一个示例中，所确定的性能指标的过去和当前时间变化与所确定的性能指标的预测时间变化例如以图形格式一起显示。

在方法500的一个实施例中，方法500还包括使用基线确定模型来处理所确定的性能指标的预测时间变化及可选地处理所确定的性能指标的过去和当前时间变化，以确定：所确定的性能指标的预测时间变化的基线时间变化 (值)和可选地所确定的性能指标的过去和当前时间变化的基线时间变化(值)。在一个示例中，基线确定模型是不使用机器学习处理方法的统计模型。在一个示例中，例如以图形格式显示所确定的基线时间变化。所确定的基线时间变化可以与所确定的性能指标的时间变化一起显示(例如，重叠在同一个图表上)。

在一个示例中，方法500可以在图3的系统300中或在图4的系统400 中实施。

图6示出了本发明一个实施例的机器学习控制器600。机器学习控制器 600可用作例如图3中的机器学习控制器302或图4中的机器学习控制器402。应注意，机器学习控制器600可用于其他SD-WAN分析系统。

如图6所示，机器学习控制器300包括处理器602和存储器304。处理器602可以由以下一种或多种构成：CPU、MCU、控制器、逻辑电路、树莓派芯片、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)或被配置为解释和/或执行程序指令和/或处理信息和/或数据的任何其他数字或模拟电路。存储器604可以包括一个或多个易失性存储器单元(例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM))、一个或多个非易失性存储器单元(例如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器 (EPROM)、电可擦除可编程只读存储器(EEPROM)、铁电随机存储器 (FRAM)、磁性随机存储器(MRAM)、闪存(FLASH)、固态硬盘(SSD)、 NAND闪存、和非易失性双列直插式存储器(NVDIMM))，或它们的任何组合。

处理器602包括机器学习处理模块602A和非机器学习处理模块602B。机器学习处理模块602A被布置为使用一个或多个机器学习处理模型(特别是循环神经网络)来处理数据。在本实施例中，机器学习处理模型是长短期记忆模型，其被布置为基于与SD-WAN和/或其部件相关联的时间性操作数据来确定性能指标的值或时间变化。非机器学习处理模块602B被布置为在不使用机器学习处理模型或方法的情况下处理数据。非机器学习处理模块602B可用于进行各种数据处理，例如过滤、分割、阈值化、平均、平滑、填充、变换、缩放等。在本实施例中，非机器学习处理模块602B被布置为基线确定模型(统计模型)来确定性能指标(过去、当前和/或预测)的基线值或时间变化。处理器602还包括训练模块602C，其被布置为训练用于确定性能指标的值或时间变化的机器学习处理模型。

存储器604包括机器学习处理模型存储器604A，其被布置为存储一个或多个机器学习处理模型以供处理器602用于处理数据。一个或多个机器学习处理模型可用于确定性能指标(应用程序质量分数、通信链路质量分数、站点健康状态分数)的值或时间变化。在本实施例中，机器学习处理模型是循环神经网络，优选地为长短期记忆模型。在一个示例中，仅一个机器学习处理模型被存储并用于处理。在另一个示例中，多个机器学习处理模型被存储并用于处理。在一个示例中，SD-WAN中的每个应用程序分别使用为相应的应用程序优化的相应长短期记忆模型，SD-WAN中的每个通信链路分别使用为相应的通信链路优化的长期短期记忆模型等。在一个示例中，SD-WAN分析系统的每个用户或每个特定SD-WAN将使用相应的长短期记忆模型。机器学习处理模型存储器604A中的机器学习处理模型可以根据需要进行训练、重新训练或更新。新的或被修改的机器学习处理模型可以通过训练或通过转移(加载到机器学习控制器600)来获取。存储器604还包括数据存储器604B 和指令存储器604C。数据存储器604B可以存储：用于训练/验证/测试机器学习处理模型的训练/验证/测试数据、从诸如大数据平台的外部设备或系统接收的数据等。用于训练/验证/测试相应机器学习处理模型的训练/验证/测试数据可以根据SD-WAN中的应用程序、SD-WAN中的通信链路、SD-WAN中的站点等进行分类，以用于训练/验证/测试不同的机器学习处理模型。数据存储器还可以存储基线确定模型。指令存储器604C存储可由处理器602使用以操作机器学习控制器600的指令、命令、代码等。

具有训练模块602C的机器学习控制器600可以初始化、构建、训练和/ 或操作机器学习处理模型存储器604A中的一个或多个机器学习处理模型(例如，算法)。在本实施例中，机器学习处理模型可以基于监督学习来进行初始化、构建、训练和/或操作。可以向机器学习控制器600提供示例输入-输出(其可以存储在存储器604中)，以基于所提供的示例输入-输出学习将输入映射到输出的规则或模型。不同的机器学习处理模型可能会进行不同的训练，例如使用不同的机器学习方法、输入和输出数据等，以适应特定的任务或应用。例如，用于训练机器学习处理模型的训练示例/数据可以包括不同的信息并且可以基于机器学习处理模型要执行的任务而具有不同的维度。机器学习控制器600可以使用各种机器学习方法来进行机器学习。例如，机器学习控制器 600可以使用不同的基于机器学习的模型来实现机器学习程序。例如，这些基于机器学习的模型可以包括：循环神经网络、长短期记忆模型、马尔科夫过程、强化学习、门控循环单元模型、深度神经网络、卷积神经网络、支持向量机、主成分分析、逻辑回归、决策树/森林、集成方法(组合模型)、回归(贝叶斯/多项式回归)、随机梯度下降、线性判别分析、最近邻分类或回归、朴素贝叶斯等。每个机器学习处理模型都可以被训练来执行特定处理或分类任务。在本实施例中，基于机器学习的模型是长短期记忆模型。长短期记忆模型可以被训练，以根据输入数据(SD-WAN时间性操作数据)确定与SD-WAN(特别是SD-WAN中的应用程序、站点或通信链路)相关联的预测性能指标。

图7示出了本发明一个实施例的示例性信息处理系统700，其可以用作服务器、信息处理设备或其它类型的信息处理系统。信息处理系统700可用作图3中的SD-WAN分析系统300的至少一部分、图4中的大数据平台404 的至少一部分、图4中的SD-WAN性能分析系统406的至少一部分等。

信息处理系统700一般包括接收、存储和执行适当的计算机指令、命令或代码所必需的适当部件。信息处理系统700的主要组成部分是处理器702 和存储器704。处理器702可以由以下一种或多种构成：CPU、MCU、控制器、逻辑电路、树莓派芯片、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)或被配置为解释和/或执行程序指令和/或处理信号和/或信息和/或数据的任何其他数字或模拟电路。存储器704可以包括一个或多个易失性存储器(例如RAM、DRAM、SRAM)、一个或多个非易失性存储器(例如ROM、PROM、EPROM、EEPROM、FRAM、MRAM、 FLASH、SSD、NAND和NVDIMM)，或它们的任何组合。适当的计算机指令、命令、代码、信息和/或数据可以存储在存储器704中。可选地，信息处理系统700还包括一个或多个输入设备706。输入设备706的示例包括以下一种或多种：键盘、鼠标、触控笔、图像扫描仪(例如，标识符(条形码、二维码等)扫描仪)、麦克风、触觉/触摸输入设备(例如，触敏屏幕)、图像 /视频输入设备(例如，相机)、生物识别数据输入设备(例如，指纹检测器、面部检测器等)等。输入设备可用于接收用户输入或用户选择，以例如用于执行方法500或其他方法。可选地，信息处理系统700还包括一个或多个输出设备708。输出设备708的示例包括以下的一种或多种：显示器(例如，显示器、屏幕、投影仪等)、扬声器、磁盘驱动器、耳机、听筒、打印机、增材制造机(例如，3D打印机)等。显示器可以包括LCD显示器、LED/OLED 显示器或可以是或可以不是触敏的任何其他合适的显示器。该显示器可用于显示与SD-WAN相关联的过去、当前和/或预测的性能指标。信息处理系统 700还可以包括一个或多个磁盘驱动器712，其可以包括以下的一种或多种：固态驱动器、硬盘驱动器、光驱、闪存驱动器、磁带驱动器等。合适的操作系统可以安装在信息处理系统700中，例如在磁盘驱动器712上或在存储器 704中。存储器704和磁盘驱动器712可以由处理器702操作。可选地，信息处理系统700还包括通信设备710，其用于建立与一个或多个其他计算设备(例如服务器、个人计算机、终端机、平板电脑、电话、手表、IoT设备或其他无线或手持计算设备)的一个或多个通信链路(未显示)。通信设备710 可以包括以下中的一种或多种：调制解调器、网络接口卡(NIC)、集成网络接口、NFC收发器、ZigBee收发器、蜂窝收发器、Wi-Fi收发器、收发器、射频收发器、光端口、红外端口、USB连接端口或其他有线或无线通信接口。收发器可以由一个或多个设备(集成的发射器和接收器、单独的发射器和接收器等)来实现。通信链路可以是有线的或无线的，其用于传送命令、指令、信息和/或数据。在一个示例中，处理器702、存储器704以及可选的输入设备706、输出设备708、通信设备710和磁盘驱动器712通过总线、外设组件互连标准(PCI)(例如PCI Express)、通用串行总线(USB)、光学总线或其他类似的总线结构。在一个实施例中，这些部件中的至少一些可以通过诸如互联网或云计算网络之类的网络连接。本领域技术人员将理解，图 7中所示的信息处理系统700仅是示例性的，并且在其他实施例中，信息处理系统700可以具有不同的配置(例如，更多的部件、更少的部件等)。

图8A示出了本发明一个实施例的机器学习控制器(例如但不限于图6 的机器学习控制器600)的示例性操作800A。为了便于说明，以下的描述将参考机器学习控制器600来提供。具有长短期记忆网络处理模型的机器学习控制器600被布置为使用以下部分或全部数据作为输入来确定SD-WAN中的站点的应用程序或链路的性能指标(例如，质量测量)的值或时间变化： SD-WAN中的站点的站点标识符(或名称)、SD-WAN中的通信链路的链路标识符(或名称)、SD-WAN中的应用程序的应用程序标识符(或名称)，与相应通信链路中的相应应用程序相关联的时间性上行流量(字节)，与相应通信链路中的相应应用程序相关联的时间性下行流量(字节)，与相应通信链路相关联的时间性上行流量(字节)，相相应通信链路相关联的时间性下行流量(字节)，与通过相应通信链路运行的相应应用程序相关联的丢包率(％)，与相应通信链路相关联的丢包率(％)，与通过相应通信链路运行的相应应用程序相关联的延迟(毫秒)，与相应通信链路相关联的延迟(毫秒)，与通过相应通信链路运行的相应应用程序相关联的抖动(毫秒)，与相应通信链路相关联的抖动(毫秒)等。机器学习控制器600还被布置为使用统计基线处理模型来处理性能指标的预测值或时间变化(以及可选地处理性能指标的过去值或时间变化)以确定性能指标的基线。基线确定模型被布置为基于时间性特征、周期性特征、最大值、最小值和平均值的区间概率计算以及所预测的性能指标的趋势来确定性能指标的基线值或时间变化。在一个实施例中，过去的性能指标和相关联的基线(先前确定的)的值或时间变化被存储并且不需要每次都被重新确定。

图8B示出了本发明一个实施例的机器学习控制器(例如但不限于图6 的机器学习控制器600)的示例性操作800B。为了便于说明，以下的描述将参考机器学习控制器600来提供。具有长短期记忆网络处理模型的机器学习控制器600被布置为使用以下部分或全部数据作为输入来确定SD-WAN中的两个站点(目标站点和源站点)之间的应用程序或链路的性能指标(例如，质量测量)的值或时间变化：SD-WAN中的目标站点的目标站点标识符(或名称)、SD-WAN中的源站点的源站点标识符(或名称)、SD-WAN中的通信链路的链路标识符(或名称)、SD-WAN中的应用程序的应用程序标识符(或名称)、与相应通信链路中的相应应用程序相关联的时间性上行流量(字节)，与相应通信链路中的相应应用程序相关联的时间性下行流量(字节)，与相应通信链路相关联的时间性上行流量(字节)，相相应通信链路相关联的时间性下行流量(字节)，与通过相应通信链路运行的相应应用程序相关联的丢包率(％)，与相应通信链路相关联的丢包率(％)，与通过相应通信链路运行的相应应用程序相关联的延迟(毫秒)，与相应通信链路相关联的延迟(毫秒)，与通过相应通信链路运行的相应应用程序相关联的抖动(毫秒)，与相应通信链路相关联的抖动(毫秒)等。机器学习控制器600还被布置为使用统计基线处理模型来处理性能指标的预测值或时间变化(以及可选地处理性能指标的过去值或时间变化)以确定性能指标的基线。基线确定模型被布置为基于时间性特征、周期性特征、最大值、最小值和平均值的区间概率计算以及所预测的性能指标的趋势来确定性能指标的基线值或时间变化。在一个实施例中，过去的性能指标和相关联的基线(先前确定的)的值或时间变化被存储并且不需要每次都被重新确定。

图9示出了本发明一个实施例的长短期记忆网络处理模型中的一个块 900。应当注意，这些计算仅是示例性的并且不旨在将本发明仅限于这些特定的计算。

在块900中，在输入门处的计算包括

其中ω为不同节点之间的连接参数，下标i，h，c，l表示连接的是哪两个节点；t表示时间(长短期记忆模型涉及时间序列)，其中t表示当前时刻，t-1 表示前一时刻；表示输入门在时刻t的输出；/>表示在时刻t的输出x；/>表示所有传入的参数/数据(至少部分地如指向输入门的三个实线箭头所示)，h为通项；/>表示在时刻t-1的单元的状态值(如从单元指向输入门的虚线箭头所示)。/>是激活函数的计算，其可以将任何值转换为在 0至1之间的值。在本示例中，它可以被认为是对输入门的输出的S形(sigmoid)激活函数操作。

在块900中，在遗忘门处的计算包括

其中是遗忘门的输出；ω为不同节点之间的连接参数，下标i，h，c，Φ表示连接的是哪两个节点；/>表示输入层在时刻t的输入；/>表示一般输入；/>表示在时刻t-1的单元的状态值(如从单元指向遗忘门的虚线箭头所示)。/>是激活函数的计算，在本示例中，它可以被认为是对遗忘门的输出的S形(sigmoid)激活函数操作。

在块900中，在单元处的计算包括

其中是该单元在时刻t的单元状态值；/>是单元在在时刻t-1的单元状态值；是使用tanh激活函数对/>的计算；g()表示tanh激活函数；/>表示单元节点正下方的实心黑点的输出值，因此/>表示输入门在时刻 t的输出，/>表示一般输入内容。

在块900中，在输出门处的计算包括

其中ω为不同节点之间的连接参数，下标i，h，c，ω表示连接的是哪两个节点；t表示时间(长短期记忆模型涉及时间序列)，其中t表示当前时刻， t-1表示前一时刻；表示输出门在时刻t的输出；/>表示在时刻t的输出x；/>表示所有传入的参数/数据(至少部分地如指向输出门的三个实线箭头所示)，h为通项；/>表示在时刻t-1的单元的状态值(如从单元指向输出门的虚线箭头所示)。/>是激活函数的计算，其可以将任何值转换为在0至1之间的值。在本示例中，它可以被认为是对输出门的输出的 S形(sigmoid)激活函数操作。

在块900中，在单元输出处的计算包括

其中是输出门的输出，并且函数h()用于执行/>的激活函数计算。

图10示出了本发明一个实施例的用于训练或创建长短期记忆网络处理模型的方法1000。方法1000开始于步骤1002，其中请求并获取SD-WAN数据(例如由SD-WAN供应商提供的原始SD-WAN数据)。然后，所获取的数据被提取、加载、转换和处理，以生成用于训练模型的训练数据(输入-输出)。在步骤1004中，输入训练数据，并且在步骤1006中，设置模型参数，从而在步骤1008中定义长短期记忆模型。一旦定义了模型，则通过在步骤1010 中对模型的验证和确认来对模型中的参数进行优化。最后，在步骤1012中，模型被训练或正确地创建。

图16示出了本发明一个实施例的使用统计基线处理模型来确定基线分数的方法1600。在本示例中，基线分数的计算仅基于历史数据，因此仅确定历史基线。然而，在一些实施方式中，基线分数的计算可以附加地或替代地基于预测的数据，因此可以附加地或替代地确定预测的基线。方法1600可用于确定SD-WAN中特定应用程序和/或通信链路的基线分数。方法1600可单独使用或与本文公开的任何其他方法组合使用。

方法1600开始于步骤1602，其中计算不同时刻的净流分数。在一个示例中，该步骤涉及区分具有不同模式的工作日净流数据(上行流量和/或下行流量)和非工作日净流数据(上行流量和/或下行流量)，以确定循环。假设工作日包括5个工作日的周期，那么这一步就包括使用移动平均法来计算流数据的平均值和方差，然后用三西格玛(3个标准差)规则计算上限。在一些实施方式中，其他窗口(除了5个工作日周期之外的窗口)可以应用于该移动平均计算。然后，根据该时刻的实际流流量和所确定的上限(例如，实际流流量偏离上限多少)来计算每个时刻的净流分数。

方法1600然后进行到步骤1604，其中计算不同时刻(对应于净流分数的时刻)的质量分数(例如，应用程序质量分数)。在一个示例中，该步骤涉及使用熵权法进行计算。

在熵权法的一个示例中：首先，质量数据(例如，延迟和丢包)使用来标准化。然后，计算以下每个指标的熵：(1)净上行流量的标准差；(2)最小延迟时间、最大延迟时间、平均延迟时间、延迟时间总和、延迟时间标准差；(3)最小丢包量/率、最大丢包量/率、平均丢包量/率、丢包量/率总和、丢包量/率标准差。在一个示例中，使用/>和/>来计算熵。然后，根据为每个指数计算权重。然后，应用权重来计算质量分数(例如，应用程序质量分数)。

在一个具体的示例中，每个数据样本包括以下特征：净上行流量的标准化变化(X₁)，最小延迟时间(X₂)，最大延迟时间(X₃)，延迟时间总和(X₄)，延迟时间的标准化变化(X₅)，平均延迟时间(X₆)，最大丢包率(X₇)，最小丢包率(X₈)，平均丢包率(X₉)，以及丢包率的标准化变化(X₁₀)。出于说明目的，各种样本可以表示如下(省略了值)：

样本

X₁

X₂

X₃

X₄

X₅

X₆

X₇

X₈

X₉

X₁₀

1

2

...

在本示例中，在使用进行数据标准化方面，Y_ij表示对第i个样本的第j个特征进行的归一化。可以对每个样本中的每个特征进行归一化。max(X_i)是表中的每一列的最大值；；min(X_i)是表中的每一列的最小值；所获得的Y_ij是0到1之间的值。

在权重计算方面，目的是为每个应用程序计算分数，并且该分数将决定基线的边界，为了确定质量参数或分数，必须确定一些或所有特征的相应权重。在中，Y_ij表示上述得Y_ij。/>是熵计算方程。

在一个示例中，计算结果可以是：

然后根据基于所确定的熵计算权重W_i。

在一个示例中，最终结果(例如，在站点之间的应用程序指示权重)将如下所示：

参数	权重
		净上行流量标准差	0.063714
平均丢包率	0.046031
		最小丢包率	0.080106
最大丢包率	0.038286
		丢包率标准差	0.041906
延迟总和	0.167771
		平均延迟	0.142884
最小延迟	0.165246
		最大延迟	0.124771
延迟标准差	0.129316

因此，基于这些最终权重，可以计算站点应用程序分数(例如，在站点处的应用程序的分数)(例如，分数＝(W_i×Y_ij)的总和)。

在确定质量分数和净流分数之后，方法1600然后进行到步骤1606，其中确定与分数对应的不同时刻的基线的上限和下限。在一个示例中，基线的下限是流分数和质量分数的最小值(例如，当分数在正常范围内时)，而上限固定在最大值(例如，100)。在步骤1608中，方法1600涉及计算复合基线分数以确定基线变化。在一个示例中，每个相应时刻的复合基线分数均由相应时刻的流分数和质量分数的平均值确定。

方法1600可以使用一个或多个控制器(例如，机器学习控制器或其他控制器)来执行，例如但不限于这里描述的控制器。然后，可以使用与一个或多个控制器可操作地连接的显示器来显示计算到的基线。

图17A至图17C示出了使用方法1600确定的基线分布的各种屏幕截图。图17A显示了应用程序“应用程序商店”通过从站点A到站点B的通信链路“备用INT_互联网”的基线分布。图17B显示了应用程序“百度”通过从站点A到站点B的通信链路“备用INT_互联网”的基线分布。图17C显示了两个应用程序“360通用”和“360安全更新”通过从站点A到站点B的通信链路“备用 INT_互联网”的基线分布。在图17A和17B中，最高的分数是100(对于一个应用程序)，而在图17C中，最高的分数是200(对于两个应用程序)。在图17A至图17C中，位于基线的上限和下限之间的流量/质量度量值被认为是正常的，并且低于基线下限的流量/质量度量值被认为是异常的。通过图17A 至图17C所示的用户界面，用户可以选择不同的应用程序、不同的通信链路和/或不同的站点，以查看所确定的基线分布。

图11A和图11B示出了使用图5的方法500所获取的应用程序质量分数和链路质量分数的显示。如图11A和图11B所示，示出了分数的历史变化和分数的预测值或预测变化。还示出了分数的历史基线和分数的预测基线(重叠在同一个图表上)。

图12示出了本发明一个实施例的数据的流1200。在本实施例中，通过 restfulAPI以预定的时间间隔自动请求和获取SD-WAN中的SD-WAN 部件的时间性操作数据。时间性操作数据可以包括参考图5所描述的时间性操作数据。在获取时间性操作数据之后，对时间性操作数据进行处理。该处理可以包括数据清洗、集成、提取、转换、加载、分布式处理和存储(优选地使用大数据平台)。在经过处理后，数据可以被组织为应用程序质量数据(应用程序的抖动、时延、丢包等)、链路质量数据(链路的抖动、时延、丢包等)、流量数据(针对特定应用程序或链路的在站点中或站点之间的上行流量、下行流量)、站点健康状态数据(处理器利用率、存储器利用率、运行温度等)。然后，将适当的数据用作输入数据以输入到长短期记忆预测模型，以预测性能指标(应用程序质量、链路质量、站点健康状态等)的值或时间变化。所确定的性能指标的预测值或时间变化可以由基线确定模型进一步处理以确定其基线。最后，所确定的性能指标的预测值或时间变化、其相应确定的基线、以及性能指标和基线的先前确定的值或时间变化被组合并呈现(例如，显示) 给用户。

图13示出了本发明一个实施例的数据处理1300。在步骤1302中，从 SD-WAN的SD-WAN Restful API中获取时间性操作数据。在步骤1304 中，数据被获取并被转换为合适的格式。在步骤1306中，数据然后被写入大数据平台中的hive数据库或数据仓库。在步骤1308中，根据数据仓库分层模型来处理数据。步骤1310中，将不同维度的经处理的数据同步到MySQL。在步骤1312中，数据在SD-WAN数据分析显示页面后端API中变得可用。

图14示出了本发明一个实施例的大数据平台1400的功能框图。大数据平台是一个开源的数据平台(HDP)。大数据平台1400可以用作图4的大数据平台404以执行各种数据处理和管理任务。

图15示出了本发明一个实施例的数据处理1500。由各种数据库、企业应用、云、安全系统、API接口等采集的数据被自动地获取并存储在大数据平台的数据存储器1502中。也在大数据平台上自动实时获取实时数据流(例如，当数据可用时)。数据可以包括参考图5所描述的时间性操作数据。然后，在数据处理器模块1504中处理所获取的数据和数据流。数据处理可以包括数据清理和各种统计分析。经过处理后，可以获得特别适合应用于长短期记忆网络处理模型的高质量SD-WAN数据。然后，将高质量SD-WAN数据应用于模型以预测性能指标，例如应用程序质量分数、链路质量分数、站点健康状态分数，如以上参考其他附图所述。

虽然不是必需的，但是上述实施例可以使用应用程序接口(API)或由开发人员使用的一系列库实现，或者可以包括在另一软件应用程序中，例如在终端或计算机操作系统或便携式计算设备操作系统中。通常，程序模块包括协助执行特定功能的例程、程序、对象、部件和数据文件，因此本领域的技术人员将理解软件应用程序的功能可以分布在多个例程、对象和/或部件上，以实现此处所需的相同功能。

还应当理解，在本发明的方法和系统完全由计算系统实现或部分由计算系统实现的情况下，可以利用任何适当的计算系统架构。这将包括独立计算机、网络计算机、专用或非专用硬件设备。在使用术语“计算系统”和“计算设备”时，这些术语旨在包括(但不限于)能够实现所述功能的计算机或信息处理硬件的任何适当布置。

本发明的实施例是有利的，因为它们能够预测与SD-WAN中的特定应用程序或链路相关联的性能指标的时间变化，从而促进对SD-WAN中特定应用程序或链路的潜在操作问题的诊断和分析，允许用户在发生任何潜在操作问题之前在SD-WAN中的合适位置或设备上采取合适的行动或预防措施。性能指标的预测时间变化还可以允许识别未来潜在有问题的趋势。

在一个示例性应用中，运营商(服务提供商，例如管理SD-WAN服务提供商)可以使用上述实施例的SD-WAN分析系统/方法来预测与应用程序和/ 或通信链路相关联的性能指标。SD-WAN分析系统/方法的运营商可以根据所预测的性能指标来预测哪个应用程序或通信链路可能会出现异常流或异常质量，以及这种异常流或异常质量何时可能发生。因此，运营商可以向他们的客户(网络用户)提供建议以执行流使用规划。运营商还可以向他们的客户 (网络用户)提供建议，以避免在繁忙(流量繁忙)时间使用一些相对不重要或轻量级的应用程序。

在一个示例性应用中，上述实施例的系统和方法可用于确定与应用程序和/或通信链路相关联的性能指标(例如，质量分数)的基线。SD-WAN分析系统/方法的运营商可以根据所确定的基线来，容易地找到网络流和应用程序的潜在故障和问题。通过这种方式，运营商可以帮助其客户(网络用户)了解其针对不同站点(办公室)的业务构成，从而了解或确定应用程序的使用规则。

本领域技术人员可以理解，以上公开的不同系统和/或方法实施例可以适当地组合。本领域技术人员还可以理解，可以对如具体实施例所示的本发明进行许多变化和/或修改，以提供本发明的其他实施例。因此，本发明的所述实施例在所有方面都应被视为说明性而非限制性的。可以设想，本发明的 SD-WAN分析系统和SD-WAN分析系统的操作方法可以应用于由不同 SD-WAN供应商提供的不同SD-WAN。SD-WAN可以包括不同的通信网络或链路，例如但不限于以下两种或更多种：MPLS、xSDL、各种宽带网络(例如，无源光网络)、4G、LTE、5G、SaaS、PaaS、IaaS、VPN等。尽管如权利要求所定义的本发明具体地针对SD-WAN，但是还设想本公开可以应用于除SD-WAN之外的其他类型的计算网络。

Claims

1.一种用于操作软件定义广域网分析系统的由计算机实现的方法，其特征在于，所述由计算机实现的方法包括：

自动获取与在软件定义广域网中运行的应用程序相关联的时间性操作数据和/或与软件定义广域网中的通信链路相关联的时间性操作数据；

使用循环神经网络模型来至少处理所获取的时间性操作数据，以确定与所述应用程序和/或所述通信链路相关联的性能指标的预测时间变化；以及

输出所确定的所述性能指标的预测时间变化。

2.根据权利要求1所述的由计算机实现的方法，其特征在于，所述自动获取是周期性地执行的。

3.根据权利要求1所述的由计算机实现的方法，其特征在于，所述自动获取是在所述应用程序和/或所述通信链路的操作期间大体上实时地执行的。

4.根据权利要求1所述的由计算机实现的方法，其特征在于，

所述自动获取包括：

自动获取与在所述软件定义广域网中运行的多个应用程序相关联的时间性操作数据，和/或

自动获取与所述软件定义广域网中的多个通信链路相关联的时间性操作数据；以及

所述处理包括：

使用所述循环神经网络模型来处理所获取的与所述多个应用程序中的一个相关联的时间性操作数据，以确定与该应用程序相关联的性能指标的预测时间变化，和/或

使用所述循环神经网络模型来处理所获取的与所述多个通信链路中的一个相关联的时间性操作数据，以确定与该通信链路相关联的性能指标的预测时间变化。

5.根据权利要求1所述的由计算机实现的方法，其特征在于，与在所述软件定义广域网中运行的应用程序相关联的时间性操作数据包括与以下相关联的数据：

与通过所述通信链路运行的所述应用程序相关联的下行流量测量，

与通过所述通信链路运行的所述应用程序相关联的上行流量测量，

与通过所述通信链路运行的所述应用程序相关联的丢包测量，

与通过所述通信链路运行的所述应用程序相关联的延迟测量，以及

与通过所述通信链路运行的所述应用程序相关联的抖动测量。

6.根据权利要求1所述的由计算机实现的方法，其特征在于，与所述软件定义广域网中的所述通信链路相关联的时间性操作数据包括与以下相关联的数据：

与所述通信链路相关联的下行流量测量，

与所述通信链路相关联的上行流量测量，

与所述通信链路相关联的丢包测量，

与所述通信链路相关联的延迟测量，以及

与所述通信链路相关联的抖动测量。

7.根据权利要求1所述的由计算机实现的方法，其特征在于，

所述自动获取还包括自动获取与所述软件定义广域网中的软件定义广域网设备相关联的时间性操作数据，以及

其中，与所述软件定义广域网设备关联的时间性操作数据包括：

所述软件定义广域网设备的处理器的处理器使用测量，

所述软件定义广域网设备的存储器的存储器使用测量，以及

所述软件定义广域网设备或所述软件定义广域网设备的部件的温度测量。

8.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述循环神经网络模型包括经过训练的长短期记忆网络处理模型。

9.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述性能指标包括：应用程序质量分数和/或通信链路质量分数。

10.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述由计算机实现的方法还包括：

使用基线确定模型来处理所确定的所述性能指标的预测时间变化，以确定：与所述应用程序和/或所述通信链路相关联的所确定的所述性能指标的预测时间变化的基线时间变化。

11.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述由计算机实现的方法还包括：基于所述输出显示所确定的所述性能指标的预测时间变化。

12.根据权利要求11所述的由计算机实现的方法，其特征在于，所述由计算机实现的方法还包括：

基于所获取的时间性操作数据来确定与所述应用程序和/或所述通信链路相关联的所述性能指标的过去和当前时间变化，以及

其中，所述显示包括显示所确定的所述性能指标的所述过去和当前时间变化以及所确定的所述性能指标的预测时间变化。

13.根据权利要求11所述的由计算机实现的方法，其特征在于，所确定的所述性能指标的所述预测时间变化的显示是以图形格式显示的。

14.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述由计算机实现的方法还包括：

将所确定的所述性能指标的所述预测时间变化与阈值进行比较，以识别潜在的异常情况；以及

响应于识别出潜在的异常情况而提供响应。

15.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述由计算机实现的方法还包括：

在使用循环神经网络模型处理所获取的所述时间性操作数据之前，对所获取的所述时间性操作数据进行预处理。

16.根据权利要求15所述的由计算机实现的方法，其特征在于，所述预处理包括：

对所获取的所述时间性操作数据进行数据清洗，以及

对所获取的所述时间性操作数据进行以下至少一种处理：特征提取、正则化、线性判别分析、关联性分析、因子分析以及对数处理。

17.根据权利要求1至7中任一项所述的由计算机实现的方法，其特征在于，所述软件定义广域网分析系统适用于华为软件定义广域网系统。

18.一种软件定义广域网分析系统，其特征在于，所述软件定义广域网分析系统包括：

大数据平台，其被布置为：

自动获取与在软件定义广域网中运行的应用程序相关联的时间性操作数据和/或与软件定义广域网中的通信链路相关联的时间性操作数据；以及

一个或多个控制器，其与所述大数据平台可操作地连接并且被布置为：

输出所确定的所述性能指标的预测时间变化。

19.根据权利要求18所述的软件定义广域网分析系统，其特征在于，所述大数据平台被布置为周期性地自动获取所述时间性操作数据。

20.根据权利要求18所述的软件定义广域网分析系统，其特征在于，所述大数据平台被布置为在所述应用程序和/或所述通信链路的操作期间大体上实时地自动获取所述时间性操作数据。

21.根据权利要求18所述的软件定义广域网分析系统，其特征在于，

所述大数据平台被布置为：

所述一个或多个控制器被布置为

22.根据权利要求18所述的软件定义广域网分析系统，其特征在于，与在所述软件定义广域网中运行的应用程序相关联的时间性操作数据包括与以下相关联的数据：

23.根据权利要求18所述的软件定义广域网分析系统，其特征在于，与所述软件定义广域网中的所述通信链路相关联的时间性操作数据包括与以下相关联的数据：

与所述通信链路相关联的下行流量测量，

与所述通信链路相关联的上行流量测量，

与所述通信链路相关联的丢包测量，

与所述通信链路相关联的延迟测量，以及

与所述通信链路相关联的抖动测量。

24.根据权利要求23所述的软件定义广域网分析系统，其特征在于，

所述大数据平台还被布置为：自动获取与所述软件定义广域网中的软件定义广域网设备相关联的时间性操作数据；以及

与所述软件定义广域网设备关联的时间性操作数据包括：

所述软件定义广域网设备的处理器的处理器使用测量，

所述软件定义广域网设备的存储器的存储器使用测量，以及

25.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述循环神经网络模型包括经过训练的长短期记忆网络处理模型。

26.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述性能指标包括：应用程序质量分数和/或通信链路质量分数。

27.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述一个或多个控制器还被布置为使用基线确定模型来处理所确定的所述性能指标的预测时间变化，以确定：与所述应用程序和/或所述通信链路相关联的所确定的所述性能指标的预测时间变化的基线时间变化。

28.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述软件定义广域网分析系统还包括显示器，其与所述一个或多个控制器可操作地连接以显示所确定的所述性能指标的预测时间变化。

29.根据权利要求28所述的软件定义广域网分析系统，其特征在于，所述一个或多个控制器还被布置为确定与所述应用程序和/或所述通信链路相关联的所述性能指标的过去和当前时间变化，并且其中所述显示器被布置为显示所确定的所述性能指标的所述过去和当前时间变化和所确定的所述性能指标的预测时间变化。

30.根据权利要求28所述的软件定义广域网分析系统，其特征在于，所述大数据平台被布置为自动获取所述时间性操作数据，并且所述一个或多个控制器被布置为处理所述时间性操作数据并输出所确定的所述性能指标的预测时间变化，以便动态地更新在所述显示器上显示的所述性能指标的预测时间变化。

31.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述一个或多个控制器还被布置为：

响应于识别出潜在的异常情况而提供响应。

32.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述大数据平台还被布置为：在使用循环神经网络模型处理所获取的所述时间性操作数据之前，对所获取的所述时间性操作数据进行预处理。

33.根据权利要求32所述的软件定义广域网分析系统，其特征在于，所述大数据平台通过以下方式对所获取的所述时间性操作数据进行预处理：

对所获取的所述时间性操作数据进行数据清洗；以及

执行以下至少一种处理：特征提取、正则化、线性判别分析、关联性分析、因子分析以及对数处理。

34.根据权利要求18至24中任一项所述的软件定义广域网分析系统，其特征在于，所述大数据平台是数据平台；和/或所述软件定义广域网分析系统适用于华为软件定义广域网系统。