CN116319868A - 网络数据处理方法、终端、存储介质及处理器 - Google Patents

Abstract

本发明实施例公开了一种网络数据处理方法、终端、存储介质及处理器，属于云网络技术领域，网络数据处理方法包括：获取目标实例对应的至少一个网络组件；从至少一个网络组件采集时序数据；根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息，其中，属性信息包括：指标对应的时间属性；获取以下至少之一：目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息；根据属性信息和配置信息建立目标实例的模型，其中，模型用于展示该目标实例的网络信息。通过本发明，解决了现有技术中网络数据获取和理解难度大的技术问题。

Description

网络数据处理方法、终端、存储介质及处理器

技术领域

本发明涉及云网络技术领域，尤其涉及一种网络数据处理方法、终端、存储介质及处理器。

背景技术

目前，云网络主要是通过SDN(SoftwareDefinedNetwork软件定义网络)的方式实现，SDN将网络的控制面和转发面分离，其中控制面负责网络配置的下发，转发面承载网络的数据流量。在同一张Underlay网络上，通过网络虚拟化技术，能够构建出的一张或者多张虚拟的Overlay逻辑网络。在这种模式下，云网络得以对各种网络基础设施和基础配置做抽象，抽取出各种各样的产品形态，使得网络更加灵活和可靠。

然而，云网络通常体量比较庞大，数据分布散乱，数据存储多样，维度众多，在对云网络进行运营或维护时较困难，例如，在对云网络的实例进行分析时，由于实例会涉及到一系列的底层物理设备，因此操作人员需要从这些底层物理设备产生的大量的、各种各样维度的数据中精准地选取和理解有用的信息，导致工作量巨大、效率低下。

因此，现有技术中存在云网络数据获取和理解难度大的技术问题。针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网络数据处理方法、终端、存储介质及处理器，以至少解决现有技术中云网络数据获取和理解难度大的技术问题。

根据本发明实施例的第一个方面，提供了一种网络数据处理方法，该网络数据处理方法包括：获取目标实例对应的至少一个网络组件，其中，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件；从至少一个网络组件采集时序数据，其中，时序数据是针对该网络组件上的指标采集得到的数据；根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息，其中，属性信息包括：指标对应的时间属性；获取目标实例相关的配置信息，其中，相关的配置信息包括以下至少之一：目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息；根据属性信息和配置信息建立目标实例的描述模型，其中，描述模型用于展示该目标实例的网络信息。

进一步地，根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息包括：从至少一个网络组件中采集到的时序数据中筛选出属于目标实例的时序数据；按照需要的维度对筛选后的时序数据进行聚合；根据聚合后的时序数据确定目标实例的属性信息。

进一步地，获取目标实例相关的配置信息包括：获取目标实例对应的维度表，维度表获取自网络的管理层；根据维度表获取目标实例相关的配置信息。

进一步地，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

进一步地，网络数据处理方法还包括：根据任务的需求确定目标网络信息，所述目标网络信息为与所述任务相关的信息；根据目标网络信息获取至少一个目标实例的描述模型；根据至少一个描述模型及附加数据建立任务模型，任务模型用于展示任务对应的网络信息。

进一步地，网络数据处理方法还包括：接收来自目标终端的模型请求信息；响应于模型请求信息，将目标实例的描述模型或任务模型发送至目标终端。

根据本发明实施例的第二个方面，还提供了一种非易失性存储介质，其中，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的网络数据处理方法。

根据本发明实施例的第三个方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述的网络数据处理方法。

根据本发明实施例的第四个方面，还提供了一种网络数据处理终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述的网络数据处理方法。

根据本发明实施例的第五个方面，还提供了一种云网络运维系统，包括：后台层，后台层包括云网络运行所依赖的多个网络设备；中台层，中台层与后台层通信连接，中台层获取来自后台层的与目标实例相关的数据，中台层根据数据生成目标实例的描述模型，描述模型用于展示该目标实例的网络信息；前台层，前台层与中台层通信连接，前台层从中台层获取描述模型，前台层基于描述模型对目标实例进行运维。

进一步地，中台层用于：获取目标实例对应的至少一个网络组件，其中，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件；从至少一个网络组件采集时序数据，其中，时序数据是针对该网络组件上的指标采集得到的数据；根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息，其中，属性信息包括：指标对应的时间属性和/或指标对应的地理位置属性；获取目标实例相关的配置信息，其中，相关的配置信息包括以下至少之一：目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息；根据属性信息和配置信息建立目标实例的描述模型。

进一步地，根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息包括：从至少一个网络组件中采集到的时序数据中筛选出属于目标实例的时序数据；按照需要的维度对筛选后的时序数据进行聚合；根据聚合后的时序数据确定目标实例的属性信息。

进一步地，获取目标实例相关的配置信息包括：获取目标实例对应的维度表，维度表获取自网络的管理层；根据维度表获取目标实例相关的配置信息。

进一步地，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

进一步地，前台层还用于：根据任务的需求确定目标网络信息，目标网络信息为与任务相关的信息；根据目标网络信息获取至少一个目标实例的描述模型；根据至少一个描述模型及附加数据建立任务模型，任务模型用于展示任务对应的网络信息。

根据本发明实施例的第六个方面，还提供了一种网络实例的描述模型，其中，描述模型用于展示网络实例的网络信息，描述模型包括：网络实例的属性信息，网络实例的属性信息包括：指标对应的时间属性和/或指标对应的地理位置属性，指标对应的时间属性根据从至少一个网络组件采集的时序数据确定，网络组件为对网络实例在网络上运行提供支持的硬件和/或软件，时序数据是针对网络组件上的指标采集得到的数据，指标对应的地理位置属性根据时序数据所来源的网络组件所在的地理位置确定；网络实例相关的配置信息，其中，相关的配置信息包括以下至少之一：网络实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、网络实例与至少一个网络组件的连接关系信息。

进一步地，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

本发明实施例的网络数据处理方法在实施时，先获取目标实例对应的至少一个网络组件，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件，然后针对网络组件的指标采集时序数据，根据时序数据和/或时序数据所来源的网络组件所在的地理位置确定目标实例的属性信息，该属性信息包括指标对应的时间属性和/或指标对应的地理位置属性，网络数据处理方法在实施时还会获取目标实例相关的配置信息，配置信息包括目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息以及目标实例与至少一个网络组件的连接关系信息中的至少之一，在获取到目标实例的属性信息和配置信息之后，会根据属性信息和配置信息建立目标实例的描述模型，该描述模型用于展示目标实例的网络信息。这样，结合目标实例的属性信息及其相关的配置信息建立的模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述。这样将包括时间属性和/或地理位置属性(地域属性)的属性信息与目标实例相关的配置信息进行了融合，从而得到了与目标实例更匹配的网络架构模型，即目标实例的描述模型，从而可以给上层任务提供更精确，更完整的数据模型，在对该目标实例进行分析时，仅需要使用该描述模型即可，不需要从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，解决了现有技术中云网络数据获取和理解难度大的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种网络数据处理方法的流程示意图；

图2为本发明实施例提供的一种网络数据处理方法的执行过程示意图；

图3为本发明实施例提供的一种网络数据处理方法的带时空属性的指标的生成过程示意图；

图4为本发明实施例提供的一种网络数据处理方法的维度表数据处理过程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

图1是根据本发明实施例的网络数据处理方法，如图1所示，该方法包括如下步骤：

步骤S102，获取目标实例对应的至少一个网络组件，其中，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件；

步骤S104，从至少一个网络组件采集时序数据，其中，时序数据是针对该网络组件上的指标采集得到的数据；

步骤S106，根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息，其中，属性信息包括：指标对应的时间属性；

步骤S108，获取目标实例相关的配置信息，其中，相关的配置信息包括以下至少之一：目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息；

步骤S110，根据属性信息和配置信息建立目标实例的描述模型，其中，描述模型用于展示该目标实例的网络信息。

采用上述方案的网络数据处理方法在实施时，先获取目标实例对应的至少一个网络组件，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件，然后针对网络组件的指标采集时序数据，根据时序数据和/或时序数据所来源的网络组件所在的地理位置确定目标实例的属性信息，该属性信息包括指标对应的时间属性和/或指标对应的地理位置属性，网络数据处理方法在实施时还会获取目标实例相关的配置信息，配置信息包括目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息以及目标实例与至少一个网络组件的连接关系信息中的至少之一，在获取到目标实例的属性信息和配置信息之后，会根据属性信息和配置信息建立目标实例的描述模型，该描述模型用于展示目标实例的网络信息。这样，结合目标实例的属性信息及其相关的配置信息建立的模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述。这样将包括时间属性和/或地理位置属性(地域属性)的属性信息与目标实例相关的配置信息进行了融合，从而得到了与目标实例更匹配的网络架构模型，即目标实例的描述模型，从而可以给上层任务提供更精确，更完整的数据模型，在对该目标实例进行分析时，仅需要使用该描述模型即可，不需要从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，解决了现有技术中云网络数据获取和理解难度大的技术问题。

目标实例即网络实例，其是对基础网络设施和配置做抽象而得到的产品或者说网络对象，是云网络资源虚拟化得到的一个独立计算单元，例如SLB(ServerLoadBalancing服务器负载均衡)实例、EIP(ElasticIPAdress弹性公网IP)实例、NAT(NetworkAdressTranslation网络地址转换)实例等等。需要指出的是，获取目标实例相关的配置信息和获取目标实例的属性信息这两部分步骤之间并没有明确的先后顺序限定，两者中的任意一者均可以先执行，另一者后执行，两者也可同时执行。

需要说明的是，只要是为目标实例在网络上运行提供支持的硬件和/或软件均可以称其为网络组件，例如网络组件可以为虚拟机、物理机、网络转发设备等等。时序数据是针对网络组件上的指标采集得到的数据，此处所说的指标可以有多种多样的形式，例如入方向流量、出方向流量、丢包率等等，指标可以是一个，也可以是多个。时序数据即时间序列数据，是按时间顺序记录的数据列，在同一数据列中的各个数据是同口径的，具有可比性。在云网络中，时序指标数据主要体现为实例和设备上按分钟级或者秒级采集的指标信息，该类指标信息带有时间属性，在不同的时间上指标的值会发生变化，例如实例的入方向流量、出方向流量、丢包率等等。描述模型用于展示目标实例的网络信息，顾名思义即描述模型可以体现出目标实例的网络相关的信息，对目标实例的网络属性进行表征，对目标实例进行较为充分的描述，例如，其可以是采用各种形式存储的一个数据集。

在一个优选地实施例中，根据采集得到的时序数据确定目标实例的属性信息包括：从至少一个网络组件中采集到的时序数据中筛选出属于目标实例的时序数据；按照需要的维度对筛选后的时序数据进行聚合；根据聚合后的时序数据确定目标实例的属性信息。也就是说，在本实施例中，在根据时序数据确定目标实例的属性信息的过程中，会对至少一个网络组件中采集的时序数据进行筛选，选出其中属于目标实例的时序数据，将不属于目标实例的时序数据过滤掉，例如通过数据清洗操作对采集到的时序数据进行清洗，剔除其中与目标实例不相关的时序数据(例如将经典IP地址过滤掉，只留下EIP地址)。由于通过网络组件提取的时序数据仅仅是该网络组件自身的数据，其粒度较为分散(例如某一台底层物理设备的某一个端口的流量数据，粒度过细)。为了能够更好地获取目标实例的属性信息，在对时序数据进行筛选后，还会对时序数据进行聚合操作，从而将时序数据聚合到需要的维度(例如将时序数据聚合到实例的维度，从而更好地表征目标实例相关的属性)，得到目标实例对应的粒度的综合数据，进而有利于后续更准确、有效地建立目标实例的描述模型。

在将时序数据中的时间信息和该时序数据对应的地理位置信息纳入模型中后，就拥有了可以大致描述这个目标实例的一些特性的模型(例如包括流量、带宽、丢包等)，但是这一些指标还无法完整地对目标实例的属性进行描述。除了带时空属性的指标之外，目标实例可能与其它对象之间存在关联关系(目标实例与至少一个网络组件的连接关系信息)。在一个实施例中，获取目标实例相关的配置信息包括：获取目标实例对应的维度表，维度表获取自网络的管理层；根据维度表获取目标实例相关的配置信息。维度表数据即维表数据，主要存储配置相关的信息，这类信息主要存储一些实体之间的关联关系，实体的规格等等，且通常带有地域信息，或者更细粒度的可用区或者集群信息。通过从网络的管理层获取维度表，通过维度表中配置的内容，可以较方便且准确地获取到与目标实例相关的配置信息，即目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息等。例如，通过将维度表数据进行ETL处理，可以沉淀得到网络拓扑；根据网络拓扑，即可确定目标实例与网络组件之间的关联信息，例如目标实例与其它的实例之间的关联信息、目标实例与某个用户之间的关联信息或者目标实例与物理机之间的关联信息等，从而方便后续根据该配置信息准确地建立目标实例的描述模型。网络组件的配置信息即与网络组件相关的配置信息，在具体实施时可以包括多种多样的配置信息，只要与网络组件相关即可，例如在一个优选的实施例中，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

上述的ETL处理即Extract-Transform-Load，用来将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端。通过对维度表数据进行上述处理之后，即可沉淀得到网络拓扑，依赖维度表数据之上的网络拓扑，即可确定目标实例与网络组件之间的关联信息，从而使得建立的描述模型能够更加全面地对目标实例进行描述。

在建立上述的目标实例的描述模型的基础上，该模型可以较为完整地描述目标实例的属性，从而有效地降低与目标实例相关的数据的获取和理解难度，但实际情况下，不同的任务对数据的具体需求是不同的，可能不仅仅局限于目标实例的数据，在本实施例中，网络数据处理方法还包括：根据任务的需求确定目标网络信息，目标网络信息即与任务需求相关的信息；根据目标网络信息获取至少一个目标实例的描述模型；根据至少一个描述模型及附加数据建立任务模型，任务模型用于展示任务对应的(即与任务相关的)网络信息。在本实施例中，根据具体的任务需求，会确定出目标网络信息，由于目标实例的模型用于展示的是目标实例的网络信息，基于特定的目标网络信息的需求，可以确定出所需的至少一个目标实例的模型，在获取到相应的目标实例的模型后，会根据至少一个模型及附加数据建立任务模型，该任务模型用于展示任务对应的网络信息。其中附加数据可以是任意的数据，其具体内容可根据实际数据需求进行选择。也就是说，基于一个或者多个基础模型(目标实例的模型)以及任意类型的附加数据，可以搭建更高维度的领域模型(任务模型)，领域模型供目标领域操作使用，满足特定的任务需求，其可以提供该目标领域操作所需的信息，这种模型分层搭建的方式能够更好地满足不同领域对数据的不同需求，不需要再进行大量数据的采集和分析处理等操作，从而使得搭建完成的领域模型更加接近实际任务，为相应领域中的任务操作提供更好的便利条件。例如，当在运维领域使用时，可以基于相关的至少一个基础模型及附加数据来搭建运维模型，该运维模型包括运维操作所需的数据，从而有效地方便运维操作或者运维工具的研发。再例如，当在运营领域使用时，可以基于相关的基础模型及附加数据来搭建运营模型，从而更有针对性地满足运营过程的使用。

在本实施例中，网络数据处理方法还包括：接收来自目标终端的模型请求信息；响应于模型请求信息，将目标实例的模型或任务模型发送至目标终端。在搭建完成目标实例的模型或者任务模型后，目标实例的模型和任务模型即可供不同的对象使用，例如当目标终端需要对目标实例进行运维时，便可响应于其发送的模型请求信息将目标实例的模型发送给目标终端，目标终端拿到该目标实例的模型后，便可方便地获取到该目标实例相关的网络信息(属性描述)，从而无需再从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，方便目标终端的运维操作。例如目标终端在开发网络运维工具的过程中，需要依赖大量的任务数据，而在运维相关的任务模型建立之后，目标终端可直接获取该任务模型，从而实现数据的高效获取，无需再从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度。

通过根据基础模型建立运维模型，运维模型包括运维领域操作所需的网络信息，从而能够很好地适应运维数据需求，根据运维模型的数据进行云网络运维工具的研发有效地方便了运维工具研发过程中的数据获取操作，有利于提高云网络运维工具的研发效率。由于网络中的目标实例会涉及到多个底层物理设备，当其运行出现故障时，如果手动对故障进行定位，需要对牵扯到的多个底层物理设备进行逐个排查，效率低下，可行性差，而通过基于上述的网络数据处理方法建立的运维模型来制作运维工具，可从大数据角度来进行故障的定位，从而有效地方便网络中实例的运维。

以下将以阿里云网络的运维过程为例，进行详细说明：当前阿里云的云网络也主要是通过SDN的方式来实现，将网络的控制面和转发面分离，控制面负责网络配置的下发，转发面承载网络的数据流量。从而使得云网络得以对各种网络基础设施和基础配置做抽象，抽取出各种各样的产品形态，使得网络更加灵活和可靠。与此同时网络需要运维的对象和实例也会变得更加复杂，要求运维人员能够从大量各种各样的维度数据中精准地选取出有用的信息。

尽管云网络的运维正在往自动化，智能化的方向发展，目前已经出现了一大批云网络的运维工具和系统，大大提升了运维效率，但是，这仅仅是把一些重复性和确定的操作交给了工具，工具的开发者本身需要花费非常大的成本去理解和选择数据。目前各运维系统和工具苦于数据获取难度大，数据理解成本高，数据分布散乱，数据维度众多，数据存储多样，各系统和工具在获取数据的过程当中存在大量定制化工作，重复开发，效率低下。

对于大规模云网络的运维工作来说，数据是运维的基础，因此，规模引起的问题具体包括：采集的数据量规模巨大；数据维度众多，不同的运维场景需不同的数据作支撑；数据的理解成本高；云网络的运维涉及众多网络组件，云网络的产品研发人员往往只对自己团队的产品比较了解，对其他团队的产品的实现方式并不是非常了解，这就导致在跨组件跨产品的全局运维过程当中，需要有一个平台来承载整个云网络的数据，并且能够合理的对数据进行建模。

采用本发明实施例的网络数据处理方法，采集的数据分为两种，时序指标数据(时序数据)和维表数据(维度表数据)。时序指标数据主要指实例和设备上按分钟级或者秒级采集的指标信息，该类指标信息带有时间属性，在不同的时间上指标的值会发生变化。而维表数据主要是配置相关信息，这类信息主要存储一些实体之间的关联关系，实体的规格等等，这类信息通常带有地域信息，或者更细粒度的可用区或者集群信息，其中，集群属于可用区之下更小的范围，可用区属于低于之下更小的范围，例如一个地域包括多个可用区，一个可用区包括多个集群。

具体实现方式如下：

首先，如图3所示，时序数据分地域采集(例如分地域采集杭州时序指标、上海时序指标以及深圳时序指标)，并且按照需要的维度做数据清洗和聚合，同时打上地域标签，得到带时空属性的指标，此时的数据只能够描述网络对象(目标实例)的部分属性。网络对象的完整属性可能会分散在多地域多维度的多种时序指标上，并且不同时间的对象描述会有所差别，所以需要对象的描述中包含时间属性，而时序指标天然带有时间属性，加上数据采集时打上的地域标签，基于这些数据建立起来的云网络对象模型就同时拥有了时间和空间属性。

如图2所示，来自vm(虚拟机)、nc(物理机)以及转发设备的时序数据经过数据清洗和聚合后存储至数仓(数据仓库)中，此处时序数据是从vm、nc、转发设备采集，但由于vm也是运行在物理设备上的，因此这些时序数据本质上都是从云网络底层的物理设备上采集的。当基于时序指标，将其中的一部分指标作为云网络对象模型(基础模型)的一部分后，就拥有了可以大致描述这个对象(实例)的一些特性的模型，但是这一些指标还无法满足任务对于云网络对象模型的全部需求。除了时序指标之外，还需要获取各种对象或者实例之间的关系(配置信息的一部分)，以及一些非时序类型的数据，比如规格、虚拟机所在的物理机、实例所属的用户之类的信息。这些信息无法在时序指标中获得，而通过依赖维表数据，可有效地获取上述信息。

如图4所示，以寻找EIP实例的关联信息(EIP实例与其它网络组件之间的连接关系)为例，维表数据经过ETL处理能够沉淀网络拓扑。依赖维表数据之上的网络拓扑，可以在云网络对象模型中加入关联信息，如图4中经过对维表数据的ETL处理得到了User(用户)、EIP(ElasticIPAdress弹性公网IP)、VPC(虚拟私有云VirtualPrivateCloud)、Ecs(云服务器ElasticComputeService)以及nc(物理机)之间的关联信息，关联到和EIP对象相关的其他对象，最终形成一个对云网络对象的完整描述，即目标实例的模型(基础模型)。通过结合目标实例的属性信息及其相关的配置信息建立目标实例的模型，该模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述，从而可以给上层任务提供更精确，更完整的数据模型，在对该目标实例进行分析时，仅需要使用该基础模型即可，不需要从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，解决了现有技术中云网络数据获取和理解难度大的技术问题。

基于时空属性的指标和网络拓扑的模型建设建立起了云网络的基础模型，这部分基础模型是对云网络的对象的建模。但是在实际使用当中，不同的领域对数据的需求不一样，这时服务提供方或者数据使用方可以基于自己的需求在基础模型的基础之上搭建自己需要的更高维度的模型，即领域模型(任务模型)，例如在云网络运维领域使用时，可以将EIP的基础模型和设备的基础模型再加上来自时空指标或者网络拓扑的其他信息打包建立成需要的运维模型，以此来实现云网络运维相关的任务需求，这种模型分层搭建的方式能够更好地满足各领域的使用需求。也就是说，基础模型的建立是为了统一对象的描述，降低数据理解和数据获取的难度。而领域模型更贴合任务，可以根据不同领域的需求来建设。而通过对云网络海量数据的建模，可以使得一个网络产品对象(实例)在数据层面得到一个精准的描述，结合时空多维度的数据以及网络拓扑信息，可以使得开发、运维以及运营人员能够轻松理解和获取需要的数据，方便任务的实施。

其次，本发明的实施例还提供了一种非易失性存储介质，其中，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的网络数据处理方法。

其次，本发明的实施例还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述的网络数据处理方法。

另外，本发明的实施例还提供了一种网络数据处理终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述的网络数据处理方法。

该数据处理终端可以通过结合目标实例的属性信息及其相关的配置信息建立目标实例的模型，该模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述，从而可以给上层任务提供更精确，更完整的数据模型，在对该目标实例进行分析时，仅需要使用该基础模型即可，不需要从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，解决了现有技术中云网络数据获取和理解难度大的技术问题。

再次，本发明的实施例还提供了一种云网络运维系统，包括：后台层，后台层包括云网络运行所依赖的多个网络设备；中台层，中台层与后台层通信连接，中台层获取来自后台层的与目标实例相关的数据，中台层根据数据生成目标实例的描述模型，描述模型用于展示该目标实例的网络信息；前台层，前台层与中台层通信连接，前台层从中台层获取描述模型，前台层基于描述模型对目标实例进行运维。

如上所述，相关技术中在对云网络的实例进行运营或维护时，由于实例会涉及到一系列的底层物理设备，因此操作人员需要从这些底层物理设备产生的大量的、各种各样维度的数据中精准地选取和理解有用的信息。在这种实现方式中，云网络运维系统采用的是双层的架构设计，即其包括后台层和前台层，后台层包括多个底层设备，在运维过程中，前台层会直接从后台层的多个底层设备提取数据，并对数据进行相应的处理，以满足对相应实例的运维需求，在这个过程中，如果有多个前台层，则多个前台层在需要使用同一实例相关的数据时，需要分别从后台层抽取数据并进行处理和存储，导致数据的处理和存储成本较高。而采用本发明实施例的云网络运维系统，通过设计中台层，可通过中台层获取来自后台层的数据，并对数据进行处理，生成目标实例的描述模型，描述模型用于展示目标实例的网络信息，在后续任何一个前台层需要执行对该目标实例的运维操作时，只需要从中台层直接获取该目标实例的描述模型，并基于该描述模型进行运维即可，这个过程中无需各前台层对数据进行抽取和存储，节省了数据处理和存储的成本，解决了相关技术中进行云网络运维过程的数据处理和存储成本高的问题。

由于中台层根据获取的数据生成目标实例的描述模型，后续前台层可直接根据该描述模型进行目标实例相关的运维操作，因此，描述模型的准确性将直接影响到目标实例的运维效果。为了提高对目标实例运维的准确性，在本实施例中，中台层用于：获取目标实例对应的至少一个网络组件，其中，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件；从至少一个网络组件采集时序数据，其中，时序数据是针对该网络组件上的指标采集得到的数据；根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息，其中，属性信息包括：指标对应的时间属性和/或指标对应的地理位置属性；获取目标实例相关的配置信息，其中，相关的配置信息包括以下至少之一：目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息；根据属性信息和配置信息建立目标实例的描述模型。

中台层在根据获取的数据来生成目标实例的描述模型的过程中，会先获取目标实例对应的至少一个网络组件，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件，然后针对网络组件的指标采集时序数据，根据时序数据确定目标实例的属性信息，该属性信息包括指标对应的时间属性，网络数据处理方法在实施时还会获取目标实例相关的配置信息，配置信息包括目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息以及目标实例与至少一个网络组件的连接关系信息中的至少之一，在获取到目标实例的属性信息和配置信息之后，会根据属性信息和配置信息建立目标实例的描述模型，该描述模型用于展示目标实例的网络信息。这样，结合目标实例的属性信息及其相关的配置信息建立的模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述。具体地，通过将包括时间属性和/或地理位置属性(地域属性)的属性信息与目标实例相关的配置信息进行了融合，从而得到了与目标实例更匹配的网络架构模型，即目标实例的描述模型，从而可以给前台层运维任务提供更精确，更完整的数据模型，有利于提高对目标实例运维的准确性。

在一个优选地实施例中，根据采集得到的时序数据和/或时序数据所来源的网络组件所在的地理位置，确定目标实例的属性信息包括：从至少一个网络组件中采集到的时序数据中筛选出属于目标实例的时序数据；按照需要的维度对筛选后的时序数据进行聚合；根据聚合后的时序数据确定目标实例的属性信息。由于通过网络组件提取的时序数据仅仅是该网络组件自身的数据，其粒度较为分散(例如某一台底层物理设备的某一个端口的流量数据，粒度过细)。为了能够更好地获取目标实例的属性信息，在对时序数据进行筛选后，还会对时序数据进行聚合操作，从而将时序数据聚合到需要的维度(例如将时序数据聚合到实例的维度，从而更好地表征目标实例相关的属性)，得到目标实例对应的粒度的综合数据，进而有利于后续更准确、有效地建立目标实例的描述模型。

获取目标实例相关的配置信息包括：获取目标实例对应的维度表，维度表获取自网络的管理层；根据维度表获取目标实例相关的配置信息。维度表数据即维表数据，主要存储配置相关的信息，这类信息主要存储一些实体之间的关联关系，实体的规格等等，且通常带有地域信息，或者更细粒度的可用区或者集群信息。通过从网络的管理层获取维度表，通过维度表中配置的内容，可以较方便且准确地获取到与目标实例相关的配置信息，即目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、目标实例与至少一个网络组件的连接关系信息等。例如，通过将维度表数据进行ETL处理，可以沉淀得到网络拓扑；根据网络拓扑，即可确定目标实例与网络组件之间的关联信息，例如目标实例与其它的实例之间的关联信息、目标实例与某个用户之间的关联信息或者目标实例与物理机之间的关联信息等，从而方便后续根据该配置信息准确地建立目标实例的描述模型。网络组件的配置信息即与网络组件相关的配置信息，在具体实施时可以包括多种多样的配置信息，只要与网络组件相关即可，例如在一个优选的实施例中，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

在本实施例中，前台层还用于：根据任务的需求确定目标网络信息，目标网络信息为与任务相关的信息；根据目标网络信息获取至少一个目标实例的描述模型；根据至少一个描述模型及附加数据建立任务模型，任务模型用于展示任务对应的网络信息。在建立上述的目标实例的描述模型的基础上，该模型可以较为完整地描述目标实例的属性，从而有效地降低与目标实例相关的数据的获取和理解难度，但实际情况下，不同的任务对数据的具体需求是不同的，可能不仅仅局限于目标实例的数据，在本实施例中，网络数据处理方法还包括：根据任务的需求确定目标网络信息，目标网络信息即与任务需求相关的信息；根据目标网络信息获取至少一个目标实例的描述模型；根据至少一个描述模型及附加数据建立任务模型，任务模型用于展示任务对应的(即与任务相关的)网络信息。在本实施例中，根据具体的任务需求，会确定出目标网络信息，由于目标实例的模型用于展示的是目标实例的网络信息，基于特定的目标网络信息的需求，可以确定出所需的至少一个目标实例的模型，在获取到相应的目标实例的模型后，会根据至少一个模型及附加数据建立任务模型，该任务模型用于展示任务对应的网络信息。其中附加数据可以是任意的数据，其具体内容可根据实际数据需求进行选择。也就是说，基于一个或者多个基础模型(目标实例的模型)以及任意类型的附加数据，可以搭建更高维度的领域模型(任务模型)，领域模型供目标领域操作使用，满足特定的任务需求，其可以提供该目标领域操作所需的信息，这种模型分层搭建的方式能够更好地满足不同领域对数据的不同需求，不需要再进行大量数据的采集和分析处理等操作，从而使得搭建完成的领域模型更加接近实际任务，为相应领域中的任务操作提供更好的便利条件。例如，当在运维领域使用时，可以基于相关的至少一个基础模型及附加数据来搭建运维模型，该运维模型包括运维操作所需的数据，从而有效地方便运维操作或者运维工具的研发。再例如，当在运营领域使用时，可以基于相关的基础模型及附加数据来搭建运营模型，从而更有针对性地满足运营过程的使用。

最后，本发明的实施例还提供了一种网络实例的描述模型，其中，描述模型用于展示网络实例的网络信息，描述模型包括：网络实例的属性信息，网络实例的属性信息包括：指标对应的时间属性和/或指标对应的地理位置属性，指标对应的时间属性根据从至少一个网络组件采集的时序数据确定，网络组件为对网络实例在网络上运行提供支持的硬件和/或软件，时序数据是针对网络组件上的指标采集得到的数据，指标对应的地理位置属性根据时序数据所来源的网络组件所在的地理位置确定；网络实例相关的配置信息，其中，相关的配置信息包括以下至少之一：网络实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息、网络实例与至少一个网络组件的连接关系信息，瓦那个罗实例的描述模型在制作过程中，会先获取目标实例对应的至少一个网络组件，网络组件为对目标实例在网络上运行提供支持的硬件和/或软件，然后针对网络组件的指标采集时序数据，根据时序数据确定目标实例的属性信息，该属性信息包括指标对应的时间属性，网络数据处理方法在实施时还会获取目标实例相关的配置信息，配置信息包括目标实例自身的配置信息、网络组件的配置信息、至少一个网络组件之间的连接关系信息以及目标实例与至少一个网络组件的连接关系信息中的至少之一，在获取到目标实例的属性信息和配置信息之后，会根据属性信息和配置信息建立目标实例的描述模型，该描述模型用于展示目标实例的网络信息。这样，结合目标实例的属性信息及其相关的配置信息建立的模型可较好地对目标实例属性进行描述，将目标实例在一个标准化的基础模型中实现较为完整的描述。具体地，通过将包括时间属性和/或地理位置属性(地域属性)的属性信息与目标实例相关的配置信息进行了融合，从而得到了与目标实例更匹配的网络架构模型，即目标实例的描述模型，从而可以给上层任务提供更精确，更完整的数据模型，在对该目标实例进行分析时，仅需要使用该描述模型即可，不需要从各网络组件中提取大量的、分布散乱的数据，有效地降低了数据的获取难度和理解难度，解决了现有技术中云网络数据获取和理解难度大的技术问题。

网络组件的配置信息可以为各种形式的信息，在一个具体的实施例中，网络组件的配置信息包括以下至少之一：网络组件的所属地域信息、网络组件的规格信息、网络组件的ID信息。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。而且，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种网络数据处理方法，包括：

获取目标实例对应的至少一个网络组件，其中，所述网络组件为对所述目标实例在网络上运行提供支持的硬件和/或软件；

从至少一个所述网络组件采集时序数据，其中，所述时序数据是针对该网络组件上的指标采集得到的数据；

根据采集得到的时序数据和/或所述时序数据所来源的网络组件所在的地理位置，确定所述目标实例的属性信息，其中，所述属性信息包括：所述指标对应的时间属性和/或所述指标对应的地理位置属性；

获取所述目标实例相关的配置信息，其中，所述相关的配置信息包括以下至少之一：所述目标实例自身的配置信息、所述网络组件的配置信息、至少一个所述网络组件之间的连接关系信息、所述目标实例与至少一个所述网络组件的连接关系信息；

根据所述属性信息和所述配置信息建立所述目标实例的描述模型，其中，所述描述模型用于展示该目标实例的网络信息。

2.根据权利要求1所述的网络数据处理方法，其中，根据采集得到的时序数据和/或所述时序数据所来源的网络组件所在的地理位置，确定所述目标实例的属性信息包括：

从至少一个所述网络组件中采集到的时序数据中筛选出属于所述目标实例的时序数据；

按照需要的维度对筛选后的时序数据进行聚合；

根据聚合后的时序数据确定所述目标实例的属性信息。

3.根据权利要求1所述的网络数据处理方法，其中，获取所述目标实例相关的配置信息包括：

获取所述目标实例对应的维度表，所述维度表获取自网络的管理层；

根据所述维度表获取所述目标实例相关的配置信息。

4.根据权利要求1至3中任一项所述的网络数据处理方法，其中，所述网络组件的配置信息包括以下至少之一：所述网络组件的所属地域信息、所述网络组件的规格信息、所述网络组件的ID信息。

5.根据权利要求1至3中任一项所述的网络数据处理方法，其中，所述网络数据处理方法还包括：

根据任务的需求确定目标网络信息，所述目标网络信息为与所述任务相关的信息；

根据所述目标网络信息获取至少一个所述目标实例的描述模型；

根据至少一个所述描述模型及附加数据建立任务模型，所述任务模型用于展示所述任务对应的网络信息。

6.根据权利要求5所述的网络数据处理方法，其中，所述网络数据处理方法还包括：

接收来自目标终端的模型请求信息；

响应于所述模型请求信息，将所述目标实例的描述模型或所述任务模型发送至所述目标终端。

7.一种非易失性存储介质，其中，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至6中任意一项所述的网络数据处理方法。

8.一种处理器，其中，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的网络数据处理方法。

9.一种网络数据处理终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至6中任意一项所述的网络数据处理方法。

10.一种云网络运维系统，包括：

后台层，所述后台层包括云网络运行所依赖的多个网络设备；

中台层，所述中台层与所述后台层通信连接，所述中台层获取来自所述后台层的与目标实例相关的数据，所述中台层根据所述数据生成所述目标实例的描述模型，所述描述模型用于展示该目标实例的网络信息；

前台层，所述前台层与所述中台层通信连接，所述前台层从所述中台层获取所述描述模型，所述前台层基于所述描述模型对所述目标实例进行运维。

11.根据权利要求10所述的云网络运维系统，其中，所述中台层用于：

获取所述目标实例对应的至少一个网络组件，其中，所述网络组件为对所述目标实例在网络上运行提供支持的硬件和/或软件；

从至少一个所述网络组件采集时序数据，其中，所述时序数据是针对该网络组件上的指标采集得到的数据；

根据采集得到的时序数据和/或所述时序数据所来源的网络组件所在的地理位置，确定所述目标实例的属性信息，其中，所述属性信息包括：所述指标对应的时间属性和/或所述指标对应的地理位置属性；

获取所述目标实例相关的配置信息，其中，所述相关的配置信息包括以下至少之一：所述目标实例自身的配置信息、所述网络组件的配置信息、至少一个所述网络组件之间的连接关系信息、所述目标实例与至少一个所述网络组件的连接关系信息；

根据所述属性信息和所述配置信息建立所述目标实例的描述模型。

12.根据权利要求11所述的云网络运维系统，其中，根据采集得到的时序数据和/或所述时序数据所来源的网络组件所在的地理位置，确定所述目标实例的属性信息包括：

从至少一个所述网络组件中采集到的时序数据中筛选出属于所述目标实例的时序数据；

按照需要的维度对筛选后的时序数据进行聚合；

根据聚合后的时序数据确定所述目标实例的属性信息。

13.根据权利要求11所述的云网络运维系统，其中，获取所述目标实例相关的配置信息包括：

获取所述目标实例对应的维度表，所述维度表获取自网络的管理层；

根据所述维度表获取所述目标实例相关的配置信息。

14.根据权利要求11所述的云网络运维系统，其中，所述网络组件的配置信息包括以下至少之一：所述网络组件的所属地域信息、所述网络组件的规格信息、所述网络组件的ID信息。

15.根据权利要求10至14中任一项所述的云网络运维系统，其中，所述前台层还用于：

根据任务的需求确定目标网络信息，所述目标网络信息为与所述任务相关的信息；

根据所述目标网络信息获取至少一个所述目标实例的描述模型；

根据至少一个所述描述模型及附加数据建立任务模型，所述任务模型用于展示所述任务对应的网络信息。

16.一种网络实例的描述模型，其中，所述描述模型用于展示网络实例的网络信息，所述描述模型包括：

所述网络实例的属性信息，所述网络实例的属性信息包括：指标对应的时间属性和/或所述指标对应的地理位置属性，所述指标对应的时间属性根据从至少一个网络组件采集的时序数据确定，所述网络组件为对所述网络实例在网络上运行提供支持的硬件和/或软件，所述时序数据是针对所述网络组件上的所述指标采集得到的数据，所述指标对应的地理位置属性根据所述时序数据所来源的网络组件所在的地理位置确定；

所述网络实例相关的配置信息，其中，所述相关的配置信息包括以下至少之一：所述网络实例自身的配置信息、所述网络组件的配置信息、至少一个所述网络组件之间的连接关系信息、所述网络实例与至少一个所述网络组件的连接关系信息。

17.根据权利要求16所述的网络实例的描述模型，其中，所述网络组件的配置信息包括以下至少之一：所述网络组件的所属地域信息、所述网络组件的规格信息、所述网络组件的ID信息。

Images