CN115729790A - 流量观测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种流量观测方法、装置、计算机设备、存储介质和计算机程序产品，涉及云计算技术领域。所述方法包括：基于预设的数据获取规则，获取已存储的单元化监控信息；单元化监控信息包括单元化监控数据和单元化指标类型的类型标识；根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息；根据视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；单元化流量观测视图用于对单元化系统的数据进行流量观测。采用本方法使得用户能够按照多种维度，对单元化系统的数据进行流量观测。

Description

流量观测方法、装置、计算机设备和存储介质

技术领域

本申请涉及云计算技术领域，特别是涉及一种流量观测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

单元是一个能完成所有业务操作的自包含集合，在这个集合中包含了所有业务所需的所有服务，以及分配给这个单元的数据。单元化架构就是把单元作为系统部署的基本单位，在全站所有机房中部署数个单元，任意一个单元都部署了系统所需的所有应用，数据则是全量数据按照某种维度(通常是客户维度)水平划分后的一部分。单元化是将服务和数据设计改造让其符合单元特征的过程。

单元化系统在运行过程中，会产生数据，如业务数据和日志数据。为了保证单元化系统的正常运行，需要对单元化系统的数据进行流量观测，以及时发现单元化系统的异常运行情况。

然而，目前缺乏适用于单元化系统的流量观测方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够适用于单元化系统的流量观测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种流量观测方法。所述方法包括：

基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；

根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。

在其中一个实施例中，在流量观测视图类别为跨单元流量监控视图的情况下，所述根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息包括：

针对所述单元化监控信息中的每一条交易信息，将所述交易信息包括的各节点对应的时间与所述交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存；

按照时间的先后顺序，对所述对应关系进行排序，并根据排序后的对应关系，确定所述交易信息包括的各节点的节点序列；

将各节点序列与预设的单元互访规则进行匹配；

针对每一个单元互访规则，根据所述单元互访规则与所述各节点序列匹配成功的次数，更新所述单元互访规则对应的交易数；

根据所述单元化监控信息和各所述单元互访规则对应的交易数，确定视图展示信息。

在其中一个实施例中，在流量观测视图类别为单元链路视图的情况下，所述根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息包括：

针对所述单元化监控信息中的每一条链路，确定所述链路经过的各节点；

针对每一个节点，将所述节点的单元类型与节点地址、所述节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系；

根据所述单元化监控信息和所述映射关系，确定视图展示信息。

在其中一个实施例中，所述根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图包括：

针对每一个预先确定的单元化维度，按照所述单元化维度，聚合所述视图展示信息，得到所述单元化维度下各单元化对象对应的视图展示信息；

根据各所述单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。

在其中一个实施例中，所述基于预设的数据获取规则，获取已存储的单元化监控信息包括：

针对每一个预设的流量观测视图类别，确定所述流量观测视图类别对应的数据表的表名；

根据所述数据表的表名，确定所述数据表中的视图变量，并在数据源中的所述数据表中，获取所述视图变量对应的变量值，得到单元化监控信息。

在其中一个实施例中，所述方法还包括：

响应于数据源配置指令，配置各所述单元化指标类型对应的数据源；

响应于变量定义指令，根据预设的视图变量和所述视图变量对应的定义规则，定义各所述视图变量；

响应于数据表设置指令，确定各所述流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。

第二方面，本申请还提供了一种流量观测装置。所述装置包括：

获取模块，用于基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

数据处理模块，用于根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；

构建模块，用于根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。

在其中一个实施例中，在流量观测视图类别为跨单元流量监控视图的情况下，所述数据处理模块，具体用于：

针对所述单元化监控信息中的每一条交易信息，将所述交易信息包括的各节点对应的时间与所述交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存；

按照时间的先后顺序，对所述对应关系进行排序，并根据排序后的对应关系，确定所述交易信息包括的各节点的节点序列；

将各节点序列与预设的单元互访规则进行匹配；

针对每一个单元互访规则，根据所述单元互访规则与所述各节点序列匹配成功的次数，更新所述单元互访规则对应的交易数；

根据所述单元化监控信息和各所述单元互访规则对应的交易数，确定视图展示信息。

在其中一个实施例中，在流量观测视图类别为单元链路视图的情况下，所述数据处理模块，具体用于：

针对所述单元化监控信息中的每一条链路，确定所述链路经过的各节点；

针对每一个节点，将所述节点的单元类型与节点地址、所述节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系；

根据所述单元化监控信息和所述映射关系，确定视图展示信息。

在其中一个实施例中，所述构建模块，具体用于：

针对每一个预先确定的单元化维度，按照所述单元化维度，聚合所述视图展示信息，得到所述单元化维度下各单元化对象对应的视图展示信息；

根据各所述单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。

在其中一个实施例中，所述获取模块，具体用于：

针对每一个预设的流量观测视图类别，确定所述流量观测视图类别对应的数据表的表名；

根据所述数据表的表名，确定所述数据表中的视图变量，并在数据源中的所述数据表中，获取所述视图变量对应的变量值，得到单元化监控信息。

在其中一个实施例中，所述装置还包括：

配置模块，用于响应于数据源配置指令，配置各所述单元化指标类型对应的数据源；

定义模块，用于响应于变量定义指令，根据预设的视图变量和所述视图变量对应的定义规则，定义各所述视图变量；

设置模块，用于响应于数据表设置指令，确定各所述流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的步骤。

上述流量观测方法、装置、计算机设备、存储介质和计算机程序产品，基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。这样，通过获取已存储的包括单元化元数据的单元化监控数据，使得单元化监控数据具备单元属性，并根据单元化维度和单元化监控信息，构建单元化流量观测视图，使得用户能够按照多种维度，对单元化系统的数据进行流量观测。

附图说明

图1为一个实施例中流量观测方法的应用环境图；

图2为一个实施例中单元化系统的结构示意图；

图3为一个实施例中流量观测方法的流程示意图；

图4为一个实施例中对单元化监控信息进行数据处理步骤的流程示意图；

图5为另一个实施例中对单元化监控信息进行数据处理步骤的流程示意图；

图6为一个实施例中构建单元化流量观测视图步骤的流程示意图；

图7为一个实施例中获取已存储的单元化监控信息步骤的流程示意图；

图8为另一个实施例中流量观测方法的流程示意图；

图9为一个实施例中流量观测装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的流量观测方法，可以应用于如图1所示的应用环境中。其中，单元化监控系统100包括采集端102、数据处理节点104和服务器节点106。单元化监控系统用于对单元化系统进行监控。单元化监控系统可以通过云计算平台实现。例如，单元化监控系统可以通过平台即服务(Platform as aService，PaaS)实现。可以理解的是，单元化监控系统100包括的采集端102、数据处理节点104和服务器节点106可以用单独的硬件设备来实现，也可以用软件模块来实现。单元化系统为把单元作为系统部署的基本单位，任意一个单元都部署了系统所需的所有应用，任意一个单元的数据则是全量数据按照某种维度(通常是客户维度)水平划分后的一部分的系统。单元是一个能完成所有业务操作的自包含集合，在这个集合中包含了所有业务所需的所有服务，以及分配给这个单元的数据。单元可以为物理单元，也可以为逻辑单元。可以理解的是，单元可以为终端，也可以为服务器。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，单元化系统包括：接入单元、分片单元和公共单元，如图2所示。接入单元包括应用节点A1。分片单元包括应用节点B1、应用节点C1、应用节点B2和应用节点C2。公共单元包括应用B代理层和应用节点D1。其中，接入单元为对数据接入的单元。分片单元为对数据进行处理的单元。公共单元为进行公共操作的单元。

在一个实施例中，如图3所示，提供了一种流量观测方法，以该方法应用于图1中的单元化监控系统为例进行说明，包括以下步骤：

步骤301，基于预设的数据获取规则，获取已存储的单元化监控信息。

其中，单元化监控信息包括单元化监控数据和单元化指标类型的类型标识。单元化监控数据包括单元化元数据和单元化元数据对应的监控数据。

在本申请实施例中，监控数据可以是单元化系统在运行过程中产生的数据。例如，监控数据可以是单元化系统的业务数据和日志数据。单元化元数据为表示单元属性的元数据。单元化元数据可以包括物理元数据和逻辑元数据。物理元数据为表示物理单元属性的元数据。逻辑元数据为表示逻辑单元属性的元数据。物理单元为服务器等部署的机器环境所属的物理位置所在的单元。例如，A-001用于表示部署在地址A的001号单元的服务器。逻辑单元为具有一定业务含义的逻辑意义上的单元。例如，可以按照个人账户的卡尾号分成10个单元，person-01代表个人账户的卡尾号为1的单元。类型标识用于表示单元化监控数据所属的单元化指标类型。

在一个实施例中，单元化指标类型可以包括指标类、系统类和链路类。其中，指标类的单元化监控数据为与交易动作有关、且不涉及交易链路的单元化监控数据，指标类的单元化监控数据用于衡量一个交易成功与否。指标类的单元化监控数据包括但不限于交易量、交易耗时、交易成功标识和交易异常类型。系统类的单元化监控数据为与交易有关的操作系统的数据。系统类的单元化监控数据包括但不限于操作系统的java虚拟机(JavaVirtual Machine，jvm)的监控数据和操作系统(Operating system，OS)的监控数据。链路类的单元化监控数据为与交易动作有关、且涉及交易链路的单元化监控数据，链路类的单元化监控数据用于表示交易链路。交易链路为一个交易会涉及的一连串的服务。例如，支付交易涉及多个服务，在支付前会调用协议查询服务、黑名单检验服务、客户鉴权服务等等一连串的服务，这整个链路的数据串在一起就是一个完成的支付交易。链路类的单元化监控数据包括但不限于链路环节和调用关系。

服务器节点从存储单元化监控信息的存储空间中，获取单元化监控信息。其中，单元化监控信息可以为单元化监控系统采集后直接存储的监控信息，也可以为单元化监控系统对采集的数据进行数据处理后再存储得到的监控信息。具体的，针对每一个单元化指标类型，服务器节点从存储该类型的单元化监控信息的存储空间中，获取该类型的单元化监控信息。例如，服务器节点从存储单元化监控信息的数据源中，获取单元化监控信息。

步骤302，根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息。

在本申请实施例中，流量观测视图类别为单元化流量观测视图的类别。流量观测视图类别可以包括单元内流量监控视图、跨单元流量监控视图和单元链路视图。单元内流量监控视图用于展示和监控单元化系统中各单元内的流量。跨单元流量监控视图用于展示和监控单元化系统中跨单元的流量。单元链路视图用于展示和监控单元化系统中各链路。

服务器节点根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息。

在一个示例中，在流量观测视图类别为单元内流量监控视图的情况下，服务器节点将单元化监控信息作为视图展示信息。

步骤303，根据视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。

其中，单元化流量观测视图用于对单元化系统的数据进行流量观测。

在本申请实施例中，单元化监控视图包括单元化流量观测视图。单元化监控视图用于对单元化系统监控。单元化维度为用于划分单元化系统的维度。单元化维度至少包括单元维度。单元维度为按照单元划分单元化系统的维度。

服务器节点可以预先确定单元化维度。

在一个示例中，服务器节点可以预先确定单元化维度为单元维度。这样提供单元维度的聚合计算能力，助力开发部门以单元视角驱动分析定位问题，使得在确定引发生产问题的范围时更加准确，提高流量观测的准确性。

在另一个示例中，服务器节点可以预先确定单元化维度为单元维度和其他单元化维度。这样能够按照多个单元化维度，制作不同层级的监控视图，满足不同影响范围的生产问题分析，使得在确定引发生产问题的范围时更加准确，进一步提高流量观测的准确性。

然后，服务器节点根据视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。

在一个示例中，服务器节点根据确定的单元化维度，聚合视图展示信息，得到单元化维度下各单元化对象对应的视图展示信息。然后，服务器节点根据各单元化维度下各单元化对象对应的视图展示信息和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。其中，单元化对象为单元化维度下目标对象。例如，单元维度下的单元化对象为各个单元，包括各个物理单元和各个逻辑单元。

在另一个示例中，服务器节点根据视图展示信息，计算预设的各项流量观测指标对应的计算结果。其中，流量观测指标为单元化流量观测视图展示的指标。然后，服务器节点根据确定的单元化维度，聚合各项流量观测指标对应的计算结果，得到单元化维度下各单元化对象对应的各项流量观测指标对应的计算结果。然后，服务器节点根据各单元化维度下各单元化对象对应的各项流量观测指标对应的计算结果和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。

在一个实施例中，单元化维度为单元形式维度。单元形式维度下的单元化对象为物理单元和逻辑单元。流量观测指标为异常类型。服务器节点根据确定的单元化维度，聚合流量观测指标对应的计算结果，得到单元化维度下各单元化对象对应的各项流量观测指标对应的计算结果。然后，服务器节点根据单元化维度下各单元化对象对应的流量观测指标对应的计算结果和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。这样，单元化流量观测视图支持按照物理单元和逻辑单元不同维度查看单元化流量观测视图。

上述流量观测方法中，基于预设的数据获取规则，获取已存储的单元化监控信息；根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息；根据视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图。这样，通过获取已存储的包括单元化元数据的单元化监控数据，使得单元化监控数据具备单元属性，并根据单元化维度和单元化监控信息，构建单元化流量观测视图，使得用户能够按照多种维度，对单元化系统的数据进行流量观测。

在一个实施例中，如图4所示，在流量观测视图类别为跨单元流量监控视图的情况下，根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息的具体过程包括以下步骤：

步骤401，针对单元化监控信息中的每一条交易信息，将该交易信息包括的各节点对应的时间与该交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存。

在本申请实施例中，单元类型为单元化系统中单元的类型。例如，单元化系统可以包括：接入单元、分片单元和公共单元。分片单元包括：分片单元1，分片单元2，分片单元3和分片单元4。分片单元1的单元类型为分片单元1。

针对单元化监控信息中的每一条交易信息，服务器节点将该交易信息包括的各节点对应的时间与该交易信息包括的各节点对应的单元类型之间建立对应关系。然后，服务器节点将得到的对应关系存储到临时缓存。其中，单元化系统的单元内包括多个节点。节点可以为服务器节点。节点对应的时间可以为毫秒级。这样提高各节点对应时间的准确性，更加准确的区分一条交易经过各节点的先后顺序，提高视图展示信息的准确性，从而提高流量观测的准确性。

步骤402，按照时间的先后顺序，对该对应关系进行排序，并根据排序后的对应关系，确定该交易信息包括的各节点的节点序列。

在本申请实施例中，服务器节点按照时间的先后顺序，根据该对应关系中的各节点对应的时间，对该对应关系进行排序。然后，服务器节点根据排序后得到的对应关系的先后顺序，对该对应关系中的各节点排序，得到该交易信息包括的各节点的节点序列。

步骤403，将各节点序列与预设的单元互访规则进行匹配。

在本申请实施例中，服务器节点预设单元互访规则，并将单元互访规则存储到单元互访规则表中。其中，单元互访规则用于规定单元化系统中各单元之间的互访。单元互访规则包括正常互访规则和禁止互访规则。正常互访规则用于规定单元化系统中各单元之间的正常互访。禁止互访规则用于规定单元化系统中各单元之间的禁止互访。例如，正常互访规则可以是接入单元1访问分片单元1，禁止互访的规则可以是接入单元1禁止互访接入单元2。单元互访规则是支持动态调整的。单元互访规则是有方向性的。例如，接入单元1访问分片单元1和分片单元1访问接入单元1是两个不同的访问规则，实际上分片单元1是不可以访问接入单元1的。

在一个示例中，服务器节点可以实时或周期性的更新单元互访规则，并将更新后的单元互访规则存储到单元互访规则表中。在另一个示例中，服务器节点可以响应于互访规则更新指令，更新单元互访规则，并将更新后的单元互访规则存储到单元互访规则表中。这样，对单元互访规则及时进行动态调整，提高视图展示信息的准确性，提高流量观测的准确性。

然后，服务器节点从单元互访规则表中读取所有的互访规则。然后，服务器节点将各节点序列与预设的单元互访规则进行匹配。

步骤404，针对每一个单元互访规则，根据该单元互访规则与各节点序列匹配成功的次数，更新该单元互访规则对应的交易数。

在本申请实施例中，针对每一个单元互访规则，服务器节点将该单元互访规则对应的交易数加上该单元互访规则与各节点序列匹配成功的次数，得到更新后的该单元互访规则对应的交易数。当各节点序列与单元互访规则匹配完毕，服务器节点将该单元互访规则对应的交易数写入单元互访规则表。

在一个实施例中，接入单元1访问分片单元1的单元互访规则与各节点序列共匹配成功10次，即发生10笔交易，服务器节点将该单元互访规则对应的交易数加10，得到更新后的该单元互访规则对应的交易数。

步骤405，根据单元化监控信息和各单元互访规则对应的交易数，确定视图展示信息。

在本申请实施例中，服务器节点将单元化监控信息和各单元互访规则对应的交易数，作为视图展示信息。

上述流量观测方法中，针对单元化监控信息中的每一条交易信息，将该交易信息包括的各节点对应的时间与该交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存；按照时间的先后顺序，对该对应关系进行排序，并根据排序后的对应关系，确定该交易信息包括的各节点的节点序列；将各节点序列与预设的单元互访规则进行匹配；针对每一个单元互访规则，根据该单元互访规则与各节点序列匹配成功的次数，更新该单元互访规则对应的交易数；根据单元化监控信息和各单元互访规则对应的交易数，确定视图展示信息。这样，在流量观测视图类别为跨单元流量监控视图的情况下，通过预设的单元互访规则与各节点序列的匹配，确定各单元互访规则对应的交易数，并根据单元化监控信息和各单元互访规则对应的交易数，确定视图展示信息，使得用于构建跨单元流量监控视图的视图展示信息还包括各单元互访规则对应的交易数，跨单元流量监控视图的运行指标更加丰富，提高对单元化系统的数据进行跨单元流量观测的准确性。

在一个实施例中，如图5所示，在流量观测视图类别为单元链路视图的情况下，根据预设的流量观测视图类别、以及流量观测视图类别对应的数据处理规则，对单元化监控信息进行数据处理，得到视图展示信息的具体过程包括以下步骤：

步骤501，针对单元化监控信息中的每一条链路，确定该链路经过的各节点。

在本申请实施例中，针对单元化监控信息中的每一条链路，服务器节点确定该链路经过的各节点。

步骤502，针对每一个节点，将该节点的单元类型与节点地址、该节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系。

在本申请实施例中，针对每一个节点，服务器节点将该节点的单元类型与该节点的节点地址绑定，构建单元类型与节点地址之间的映射关系(为了便于区分，称为第一映射关系)。同时，针对每一个节点，服务器节点将该节点的单元类型与该节点包括的各应用的应用名称绑定，构建单元类型与应用名称之间的映射关系(为了便于区分，称为第二映射关系)。然后，服务器节点存储第一映射关系和第二映射关系。例如，服务器节点将第一映射关系和第二映射关系存储到数据库中。

步骤503，根据单元化监控信息和该映射关系，确定视图展示信息。

在本申请实施例中，服务器节点将单元化监控信息和该映射关系，作为视图展示信息。

上述流量观测方法中，针对单元化监控信息中的每一条链路，确定该链路经过的各节点；针对每一个节点，将该节点的单元类型与节点地址、该节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系；根据单元化监控信息和该映射关系，确定视图展示信息。这样，在流量观测视图类别为单元链路视图的情况下，通过建立各节点对应的单元类型与节点地址之间的映射关系和各节点对应的单元类型与应用名称之间的映射关系，并根据单元化监控信息和这些映射关系，确定视图展示信息，使得用于构建单元链路视图的视图展示信息还包括单元类型与节点地址之间的映射关系和单元类型与应用名称之间的映射关系，单元链路视图的运行指标更加丰富，提高对单元化系统的数据进行单元链路流量观测的准确性。

在一个实施例中，如图6所示，根据视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图的具体过程包括以下步骤：

步骤601，针对每一个预先确定的单元化维度，按照该单元化维度，聚合视图展示信息，得到该单元化维度下各单元化对象对应的视图展示信息。

在本申请实施例中，服务器节点可以预先确定单元化维度。然后，针对每一个预先确定的单元化维度，服务器节点按照该单元化维度，聚合视图展示信息，得到该单元化维度下各单元化对象对应的视图展示信息。

在一个实施例中，在流量观测视图类别为跨单元流量监控视图的情况下，单元化维度还包括单元互访维度。单元互访维度下的单元化对象为正常访问场景和禁止访问场景。

步骤602，根据各单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。

在本申请实施例中，服务器节点预先确定流量观测指标。其中，流量观测指标为单元化流量观测视图展示的指标。例如，流量观测指标包括交易量、交易耗时和异常类型。然后，针对每一项流量观测指标，服务器节点根据该单元化维度下各单元化对象对应的视图展示信息和该流量观测指标对应的计算规则，计算该单元化维度下各单元化对象对应的该项流量观测指标的计算结果。然后，服务器节点根据该单元化维度下各单元化对象对应的视图展示信息和该单元化维度下各单元化对象对应的各项流量观测指标的计算结果，构建该单元化维度对应的子单元化流量观测视图。然后，服务器节点将各单元化维度对应的子单元化流量观测视图，构成单元化流量观测视图。

上述流量观测方法中，针对每一个预先确定的单元化维度，按照该单元化维度，聚合视图展示信息，得到该单元化维度下各单元化对象对应的视图展示信息；根据各单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。这样，通过按照预设的单元化维度，汇聚视图展示信息，构建单元化流量观测视图，实现对单元化系统的数据进行单元内流量观测、能够展示跨单元流量分布的跨单元流量观测和能够展示单元间流量调度详情的单元链路流量观测。

在一个实施例中，如图7所示，基于预设的数据获取规则，获取已存储的单元化监控信息的具体过程包括以下步骤：

步骤701，针对每一个预设的流量观测视图类别，确定该流量观测视图类别对应的数据表的表名。

在本申请实施例中，服务器节点预先设置流量观测视图类别与数据表的表名之间的对应关系。然后，针对每一个预设的流量观测视图类别，服务器节点根据流量观测视图类别与数据表的表名之间的对应关系，确定该流量观测视图类别对应的数据表的表名。

步骤702，根据该数据表的表名，确定该数据表中的视图变量，并在数据源中的该数据表中，获取视图变量对应的变量值，得到单元化监控信息。

在本申请实施例中，服务器节点预先设置数据表的表名与视图变量之间的对应关系。然后，服务器节点根据数据表的表名与视图变量之间的对应关系和该数据表的表名，确定该数据表中的视图变量。然后，服务器节点在数据源中的该数据表中，获取这些视图变量对应的变量值，得到单元化监控信息。其中，视图变量为单元化流量观测视图所需的变量。视图变量的变量值用于表征单元化监控信息。视图变量包括但不限于单元类型、访问类型和链路标识。访问类型包括访问是否正常和访问方式。访问是否正常包括正常访问和异常访问。例如，访问方式可以为接入单元访问分片单元1。

上述流量观测方法中，针对每一个预设的流量观测视图类别，确定该流量观测视图类别对应的数据表的表名；根据该数据表的表名，确定该数据表中的视图变量，并在数据源中的该数据表中，获取视图变量对应的变量值，得到单元化监控信息。这样，通过确定流量观测视图类别对应的数据表的表名和数据表中的视图变量，并获取视图变量对应的变量值，得到单元化监控信息，实现对已存储的单元化监控信息的获取，实现对单元化系统的数据的流量观测。并且，这样支持后续单元化流量观测视图的建设可以动态选取不同的值，提高对单元化系统的数据的流量观测的灵活性和准确性。

在一个实施例中，如图8所示，流量观测方法还包括以下步骤：

步骤801，响应于数据源配置指令，配置各单元化指标类型对应的数据源。

在本申请实施例中，数据源配置指令用于指示服务器节点配置数据源。数据源配置指令中可以包括单元化指标类型和数据源。服务器节点预先设定单元化指标类型。然后，服务器节点解析数据源配置指令，得到单元化指标类型和数据源。然后，服务器节点建立单元化指标类型与数据源之间的对应关系。然后，服务器节点根据单元化指标类型与数据源之间的对应关系，配置各单元化指标类型对应的数据源。具体的，服务器节点响应于数据源配置指令，通过配置接口，配置各单元化指标类型对应的数据源。例如，配置接口为grafana开源软件提供的接口。这样，采用的配置接口为支持常见的各种数据源的配置连接的接口，保证流量观测的数据源配置。

在一个示例中，服务器节点响应于数据源配置指令，将预设的各单元化指标类型对应的存储空间，配置为各单元化指标类型对应的数据源。

在一个实施例中，服务器节点响应于数据源配置指令，将开源数据源clickhouse，配置为指标类对应的数据源。同时，服务器节点将开源数据源elasticsearch，配置为链路类对应的数据源。

步骤802，响应于变量定义指令，根据预设的视图变量和视图变量对应的定义规则，定义各视图变量。

在本申请实施例中，变量定义指令用于指示服务器节点定义视图变量。变量定义指令中可以包括视图变量和定义规则。视图变量对应的定义规则包括但不限于从视图变量对应的表中获取视图变量的值，将指定的固定值作为视图变量的值和将手工输入的值作为视图变量的值。服务器节点解析变量定义指令，得到视图变量和定义规则。然后，服务器节点建立视图变量与定义规则之间的对应关系。然后，服务器节点根据视图变量与定义规则之间的对应关系，确定各视图变量对应的定义规则。然后，服务器节点根据预设的视图变量和视图变量对应的定义规则，定义各视图变量。

在一个示例中，服务器节点可以实时或周期性的获取各视图变量的值，完成视图变量的定义。

在一个实施例中，视图变量为物理单元phy_zone，服务器节点响应于变量定义指令，从该视图变量对应的指标表中获取该视图变量的值，完成该视图变量的定义。

在一个实施例中，视图变量为物理单元phy_zone，服务器节点响应于变量定义指令，指定该视图变量的一部分值为固定值。然后，服务器节点将指定的固定值作为该视图变量的一部分值，并从该视图变量对应的指标表中获取该视图变量的另一部分值，完成该视图变量的定义。其中，一部分值与另一部分值的划分根据不同的视图变量划分。

在一个实施例中，视图变量为链路标识traceId，服务器节点响应于变量定义指令，从该视图变量对应的链路表中获取该视图变量的值，完成该视图变量的定义。

在一个实施例中，视图变量为链路标识traceId，服务器节点响应于变量定义指令，将手工输入的值作为该视图变量的值，完成该视图变量的定义。

步骤803，响应于数据表设置指令，确定各流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。

在本申请实施例中，数据表设置指令用于指示服务器节点确定数据表的表名、以及数据表的表名与视图变量之间的对应关系。数据表设置指令中可以包含流量观测视图类别、数据表的表名和视图变量。服务器节点解析数据表设置指令，得到流量观测视图类别、数据表的表名和视图变量。然后，服务器节点建立流量观测视图类别与数据表的表名之间的对应关系和数据表的表名与视图变量之间的对应关系。然后，服务器节点根据流量观测视图类别与数据表的表名之间的对应关系，确定各流量观测视图类别对应的数据表的表名。

上述流量观测方法中，响应于数据源配置指令，配置各单元化指标类型对应的数据源；响应于变量定义指令，根据预设的视图变量和视图变量对应的定义规则，定义各视图变量；响应于数据表设置指令，确定各流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。这样，通过配置数据源，定义视图变量和设置数据表，实现对已存储的单元化监控信息的获取，实现对单元化系统的数据的流量观测。并且，这样支持后续单元化流量观测视图的建设可以动态选取不同的值，提高对单元化系统的数据的流量观测的灵活性和准确性。

在一个实施例中，单元化维度包括：单元维度、应用维度、群组维度、服务维度、故障域维度、宿主机IP维度和容器ID维度。

在本申请实施例中，按照划分后的范围从大到小的顺序，单元化维度包括但不限于：单元维度、应用维度、群组维度、服务/资源维度、故障域维度、宿主机IP维度和容器ID维度。单元维度为按照单元划分单元化系统的维度。应用维度、群组维度、服务/资源维度、故障域维度、宿主机IP维度和容器ID维度与单元维度类似。

上述流量观测方法中，单元化维度包括：单元维度、应用维度、群组维度、服务维度、故障域维度、宿主机IP维度和容器ID维度。这样，采用层层下钻的单元化维度，能够进一步缩小流量观测的范围，提高确定故障影响范围的准确性，进一步提高对单元化系统的数据的流量观测的准确性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的流量观测方法的流量观测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个流量观测装置实施例中的具体限定可以参见上文中对于流量观测方法的限定，在此不再赘述。

在一个实施例中，如图9所示，提供了一种流量观测装置900，包括：获取模块910、数据处理模块920和构建模块930，其中：

获取模块910，用于基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

数据处理模块920，用于根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；

构建模块930，用于根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。

可选的，在流量观测视图类别为跨单元流量监控视图的情况下，所述数据处理模块920，具体用于：

针对所述单元化监控信息中的每一条交易信息，将所述交易信息包括的各节点对应的时间与所述交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存；

按照时间的先后顺序，对所述对应关系进行排序，并根据排序后的对应关系，确定所述交易信息包括的各节点的节点序列；

将各节点序列与预设的单元互访规则进行匹配；

针对每一个单元互访规则，根据所述单元互访规则与所述各节点序列匹配成功的次数，更新所述单元互访规则对应的交易数；

根据所述单元化监控信息和各所述单元互访规则对应的交易数，确定视图展示信息。

可选的，在流量观测视图类别为单元链路视图的情况下，所述数据处理模块920，具体用于：

针对所述单元化监控信息中的每一条链路，确定所述链路经过的各节点；

针对每一个节点，将所述节点的单元类型与节点地址、所述节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系；

根据所述单元化监控信息和所述映射关系，确定视图展示信息。

可选的，所述构建模块930，具体用于：

针对每一个预先确定的单元化维度，按照所述单元化维度，聚合所述视图展示信息，得到所述单元化维度下各单元化对象对应的视图展示信息；

根据各所述单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。

可选的，所述获取模块910，具体用于：

针对每一个预设的流量观测视图类别，确定所述流量观测视图类别对应的数据表的表名；

根据所述数据表的表名，确定所述数据表中的视图变量，并在数据源中的所述数据表中，获取所述视图变量对应的变量值，得到单元化监控信息。

可选的，所述装置900还包括：

配置模块，用于响应于数据源配置指令，配置各所述单元化指标类型对应的数据源；

定义模块，用于响应于变量定义指令，根据预设的视图变量和所述视图变量对应的定义规则，定义各所述视图变量；

设置模块，用于响应于数据表设置指令，确定各所述流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。

上述流量观测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种流量观测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种流量观测方法，其特征在于，所述方法包括：

基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；

根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。

2.根据权利要求1所述的方法，其特征在于，在流量观测视图类别为跨单元流量监控视图的情况下，所述根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息包括：

针对所述单元化监控信息中的每一条交易信息，将所述交易信息包括的各节点对应的时间与所述交易信息包括的各节点对应的单元类型之间的对应关系，存储到临时缓存；

按照时间的先后顺序，对所述对应关系进行排序，并根据排序后的对应关系，确定所述交易信息包括的各节点的节点序列；

将各节点序列与预设的单元互访规则进行匹配；

针对每一个单元互访规则，根据所述单元互访规则与所述各节点序列匹配成功的次数，更新所述单元互访规则对应的交易数；

根据所述单元化监控信息和各所述单元互访规则对应的交易数，确定视图展示信息。

3.根据权利要求1所述的方法，其特征在于，在流量观测视图类别为单元链路视图的情况下，所述根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息包括：

针对所述单元化监控信息中的每一条链路，确定所述链路经过的各节点；

针对每一个节点，将所述节点的单元类型与节点地址、所述节点包括的应用的应用名称绑定，构建并存储单元类型与节点地址、应用名称之间的映射关系；

根据所述单元化监控信息和所述映射关系，确定视图展示信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图包括：

针对每一个预先确定的单元化维度，按照所述单元化维度，聚合所述视图展示信息，得到所述单元化维度下各单元化对象对应的视图展示信息；

根据各所述单元化维度下各单元化对象对应的视图展示信息，构建单元化流量观测视图。

5.根据权利要求1所述的方法，其特征在于，所述基于预设的数据获取规则，获取已存储的单元化监控信息包括：

针对每一个预设的流量观测视图类别，确定所述流量观测视图类别对应的数据表的表名；

根据所述数据表的表名，确定所述数据表中的视图变量，并在数据源中的所述数据表中，获取所述视图变量对应的变量值，得到单元化监控信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

响应于数据源配置指令，配置各所述单元化指标类型对应的数据源；

响应于变量定义指令，根据预设的视图变量和所述视图变量对应的定义规则，定义各所述视图变量；

响应于数据表设置指令，确定各所述流量观测视图类别对应的数据表的表名、以及数据表的表名与视图变量之间的对应关系。

7.一种流量观测装置，其特征在于，所述装置包括：

获取模块，用于基于预设的数据获取规则，获取已存储的单元化监控信息；所述单元化监控信息包括单元化监控数据和所述单元化指标类型的类型标识；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

数据处理模块，用于根据预设的流量观测视图类别、以及所述流量观测视图类别对应的数据处理规则，对所述单元化监控信息进行数据处理，得到视图展示信息；

构建模块，用于根据所述视图展示信息、预先确定的单元化维度和预设的单元化流量观测视图构建规则，构建单元化流量观测视图；所述单元化流量观测视图用于对单元化系统的数据进行流量观测。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images