CN112671602B - 边缘节点的数据处理方法、装置、系统、设备和存储介质 - Google Patents

Abstract

本公开涉及一种边缘节点的数据处理方法、装置、系统、设备和存储介质。其中，边缘节点的数据处理方法，应用于边缘节点的节点机器，包括：获取节点机器上的物理机指标和容器监控指标；对所述物理机指标和所述容器监控指标进行汇总；将汇总后的所述物理机指标和所述容器监控指标发送至中心节点。本公开实施例实现了边缘节中点各节点机器对各自的物理机指标和容器监控指标的独立采集，避免采集任务的积压，提高了计量指标的采集效率，并将计量指标汇总后发送给中心节点，使得中心节点基于物理机指标和容器监控指标完成指标计量。

Description

边缘节点的数据处理方法、装置、系统、设备和存储介质

技术领域

本公开涉及云计算技术领域，尤其涉及一种边缘节点的数据处理方法、装置、系统、设备和存储介质。

背景技术

边缘计算是部署在边缘节点的计算服务。边缘计算使用容器技术作为资源载体，可以根据业务需求，随时创建计算和网络资源，而无需提前投入采购，是一种比自建或者租用物理机或者虚拟服务器更加高效的边缘节点计算服务。

边缘计算系统中，通常包含若干个边缘节点，每一个边缘节点是一个独立的容器云集群，通过中心的控制平台进行控制。根据边缘节点硬件资源水平，每一个边缘节点上可以部署若干个业务容器，一个业务容器会在某个节点内的物理机上运行，并消耗一定的硬件资源(如CPU、内存和硬盘存储等)。每个节点的正常运行服务，必然包含网络、CPU、内存和存储的监控及计量数据的采集，这些数据对服务的监控报警，客户用量的计量计费起到关键作用。目前，边缘节点中的各物理机均由一个计量系统进行计量指标的采集，容易造成采集任务的积压，采集数据出现延迟，从而降低边缘节点计量指标的采集效率。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种边缘节点的数据处理方法、装置、系统、设备和存储介质。

第一方面，本公开提供了一种边缘节点的数据处理方法，所述方法应用于边缘节点的节点机器，包括：

获取所述节点机器上的物理机指标和容器监控指标；

对所述物理机指标和所述容器监控指标进行汇总；

将汇总后的所述物理机指标和所述容器监控指标发送至中心节点。

可选的，所述节点机器部署有流量采集组件和容器监控组件，所述物理机指标至少包括网络相关指标；

获取所述节点机器上的物理机指标和容器监控指标，包括：

通过所述流量采集组件获取所述节点机器上的网络相关指标；

通过所述容器监控组件获取所述节点机器上的容器监控指标。

可选的，所述流量采集组件包括第一流量采集组件或第二流量采集组件；

当所述节点机器为提供网络流量的总进出口的第一节点机器时，通过所述流量采集组件获取所述节点机器上的网络相关指标，包括：

通过所述第一流量采集组件获取所述第一节点机器上的网络总流量，所述网络总流量包括入向流量、出向流量、入向速率和出向速率；

当所述节点机器为提供客户业务的计算资源的第二节点机器时，通过所述流量采集组件获取所述节点机器上的网络相关指标，包括：

通过所述第二流量采集组件获取所述第二节点机器上的客户业务的网络带宽。

可选的，所述容器监控组件包括第一容器监控组件和第二容器监控组件；

通过所述容器监控组件获取所述节点机器上的容器监控指标，包括：

通过所述第一容器监控组件获取所述节点机器上的容器资源的添加、删除和更新事件中任一项或多项的组合；

通过所述第二容器监控组件获取所述节点机器上的容器资源的CPU、内存和硬盘存储中任一项或多项的组合。

可选的，在对所述物理机指标和所述容器监控指标进行汇总之后，所述方法还包括：

当所述中心节点故障或网络故障时，将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘；

当所述中心节点故障恢复或网络故障恢复时，从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点。

可选的，在通过所述第一流量采集组件获取所述第一节点机器上的网络总流量之前，还包括：

在所述第一节点机器启动时获取速率的配置信息；

基于所述速率的配置信息，采用指数加权移动平均法计算所述入向速率和所述出向速率；

以IP地址为单位进行速率统计。

第二方面，本公开提供了一种边缘节点的数据处理方法，所述方法应用于中心节点，包括：

获取边缘节点发送的汇总后的所述边缘节点中各节点机器上物理机指标和容器监控指标；

按照预设标准对所述物理机指标和所述容器监控指标进行聚合；

按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

可选的，按照预设标准对所述物理机指标和所述容器监控指标进行聚合，包括：

按照统一的标准接口，每隔预设时间且采用平均数算法，对当前的预设时间段内的所述物理机指标和所述容器监控指标进行聚合。

可选的，在按照预设标准对所述物理机指标和所述容器监控指标进行聚合之后，还包括：

将聚合后的所述物理机指标和所述容器监控指标，按开始聚合所述物理机指标和所述容器监控指标时的时间节点存储到时序数据库中。

可选的，在按照预设标准对所述物理机指标和所述容器监控指标进行聚合之后，还包括：

校验聚合后的所述物理机指标和所述容器监控指标；

基于校验结果，对缺失的所述物理机指标和所述容器监控指标进行补录。

第三方面，本公开提供了一种边缘节点的数据处理装置，所述装置应用于边缘节点的节点机器，包括：

指标采集模块，用于获取所述边缘节点中节点机器上的物理机指标和容器监控指标；

指标汇总模块，用于对所述物理机指标和所述容器监控指标进行汇总；

指标发送模块，用于将汇总后的所述物理机指标和所述容器监控指标发送至中心节点。

第四方面，本公开提供了一种边缘节点的数据处理装置，所述装置应用于中心节点，包括：

指标获取模块，用于获取边缘节点发送的汇总后的所述边缘节点中各节点机器上物理机指标和容器监控指标；

指标聚合模块，用于按照预设标准对所述物理机指标和所述容器监控指标进行聚合；

指标输出模块，用于按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

第五方面，本公开提供了一种边缘节点的数据处理系统，包括：

监控系统，包括多个与边缘节点中的节点机器一一对应设置的监控子系统，所述监控子系统用于获取边缘节点中对应节点机器上的物理机指标和容器监控指标；对所述物理机指标和所述容器监控指标进行汇总；将汇总后的所述物理机指标和所述容器监控指标发送至中心节点；

计量系统，用于获取汇总后的所述物理机指标和所述容器监控指标；按照预设标准对所述物理机指标和所述容器监控指标进行聚合；按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

第六方面，本公开提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开提供的边缘节点的数据处理方法。

第七方面，本公开提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开提供的边缘节点的数据处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的技术方案中，边缘节点的数据处理方法可应用于边缘节点的节点机器，如此，通过边缘节点中的节点机器获取各自的物理机指标和容器监控指标，并将各自的物理机指标和容器监控指标单独汇总后发送至中心节点，由此避免了采集任务的积压，防止采集数据出现延迟，提高了计量指标的采集效率，从而相应提高了中心节点对上述物理机指标和容器监控指标进行计量时的计量效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种边缘节点的数据处理方法的流程图；

图2为本公开实施例提供的另一种边缘节点的数据处理方法的流程图；

图3为本公开实施例提供的一种边缘节点的数据处理装置的结构框图；

图4为本公开实施例提供的另一种边缘节点的数据处理装置的结构框图；

图5为本公开实施例提供的一种边缘节点的数据处理系统的结构示意图；

图6为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种边缘节点的数据处理方法的流程图。该方法适用于边缘计算的计量采集，应用于边缘节点的节点机器，具体可应用于边缘节点的任一节点机器或指定节点机器，可以由边缘节点的数据处理装置执行，其中该边缘节点的数据处理装置可以采用软件和/或硬件的方式实现，一般可集成在电子设备中。如图1所示，该边缘节点的数据处理方法包括：

S110、获取节点机器上的物理机指标和容器监控指标。

其中，节点机器为边缘节点中的物理机，可运行容器组(Pod，包括一个或多个容器)。节点机器可以是Linux虚拟服务器(LVS机器)，也可以是业务服务器(Node机器)，其中，LVS机器提供网络流量的总进出口，Node机器提供客户业务的计算资源。另外，物理机指标包括物理机的CPU、内存和硬盘存储，以及网络相关指标等；容器监控指标包括容器资源的添加、删除和更新事件，以及容器资源的CPU、内存和硬盘存储等。

在一些实施例中，边缘节点的任一节点机器或指定节点机器(需要计量采集的节点机器)上部署有流量采集组件和容器监控组件。相应的，获取节点机器上的物理机指标和容器监控指标包括步骤S111和S112：

S111、通过流量采集组件获取节点机器上的网络相关指标。

其中，网络相关指标包括网络连接状态和网络流量等和网络相关的指标。

在一些实施例中，一个节点机器上的流量采集组件可包括第一流量采集组件或第二流量采集组件。当节点机器为提供网络流量的总进出口的第一节点机器(即上述LVS机器)时，通过第一流量采集组件获取第一节点机器上的网络总流量，其中，网络总流量包括入向流量、出向流量、入向速率和出向速率，通过各第一节点机器上的网络总流量可以统计进出边缘节点的网络总流量。当节点机器为提供客户业务的计算资源的第二节点机器(即上述Node机器)时，通过第二流量采集组件获取第二节点机器上的客户业务的网络带宽。由此，通过在边缘节点的多个节点机器上分别部署第一流量采集组件和第二流量采集组件，可以同时采集到网络总流量和客户业务的网络带宽等计量指标，提高了计量指标的采集效率。

S112、通过容器监控组件获取节点机器上的容器监控指标。

在一些实施例中，一个节点机器上的容器监控组件可包括第一容器监控组件和第二容器监控组件，通过第一容器监控组件和第二容器监控组件实现对不同容器资源的监控及采集。示例性的，通过第一容器监控组件获取节点机器上的容器资源的添加、删除和更新事件中任一项或多项的组合；通过第二容器监控组件获取节点机器上的容器资源的CPU、内存和硬盘存储中任一项或多项的组合。

基于上述步骤S111和S112，在本公开一具体实施例中，流量采集组件可以为Exporter组件，广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter，具体可以为HTTP接口。第一容器监控组件可以为kube-state-metrics组件，其是为prometheus采集k8s资源数据的Exporter。第二容器监控组件可以为kubelet-cadvisor组件，其对外提供了interface接口，可以通过interface接口获取到容器的监控的信息。具体的，一个节点机器上部署有Exporter组件、kube-state-metrics组件和kubelet-cadvisor组件。针对第一节点机器，第一节点机器的ipvsadm模块统计网络总流量，Exporter组件拉取统计的网络总流量，kube-state-metrics组件实时监控并采集第一节点机器上的容器资源的添加、删除和更新事件，kubelet-cadvisor组件实时监控并采集第一节点机器上的容器资源的CPU、内存和硬盘存储。针对第二节点机器，第一节点机器的连接跟踪工具(CTK模块)统计客户业务的网络带宽，Exporter组件拉取统计的客户业务的网络带宽kube-state-metrics组件实时监控并采集第二节点机器上的容器资源的添加、删除和更新事件，kubelet-cadvisor组件实时监控并采集第二节点机器上的容器资源的CPU、内存和硬盘存储。

S120、对物理机指标和容器监控指标进行汇总。

本操作是对一个节点机器上的物理机指标和容器监控指标进行汇总，以便统一上报在该节点机器上采集的物理机指标和容器监控指标。在一些实施例中，对物理机指标和容器监控指标进行汇总可包括：对物理机指标和容器监控指标进行压缩和汇聚。由此，通过对物理机指标和容器监控指标进行压缩，大大减少了数据传输量。

具体的，节点机器上部署有prometheus-thanos组件，基于上述技术方案，流量采集组件和容器监控组件分别将物理机指标和容器监控指标推送到prometheus-thanos组件，prometheus-thanos组件对物理机指标和容器监控指标进行汇总。其中，prometheus-thanos组件是一个开源的、高可用的prometheus设置，有长期指标存储功能，其使用prometheus存储格式，把历史数据以相对高性价比的方式保存在对象存储里，同时兼有较快的查询速度。

S130、将汇总后的物理机指标和容器监控指标发送至中心节点。

在一些实施例中，可将汇总后的物理机指标和容器监控指标主动推送到中心节点。具体的，中心节点上部署有查询接口(Query组件)，该查询接口可对prometheus-thanos组件提供接口，prometheus-thanos组件通过查询接口将汇总后的物理机指标和容器监控指标推送到中心节点。

另外，考虑到每个边缘节点都只能通过公网与外部节点进行通信，其数据传输链路可用性较低，故障概率高。在网络故障时，如果边缘节点正在向中心节点上传计量指标，则会导致相关数据传输中断，且在网络故障恢复时，边缘节点会重新采集计量指标，以重新上传给中心节点，从而导致计量效率降低。基于此，在一些实施例中，在对物理机指标和容器监控指标进行汇总之后，方法还包括：

当中心节点故障或网络故障时，将汇总后的物理机指标和容器监控指标存储于本地磁盘；当中心节点故障恢复或网络故障恢复时，从本地磁盘取出存储的物理机指标和容器监控指标，并续传至中心节点。其中，由于prometheus-thanos组件的长期指标存储功能，因此，当prometheus-thanos组件无法推送汇总后的物理机指标和容器监控指标时，先将汇总后的物理机指标和容器监控指标存储于本地磁盘；当中心节点故障或网络故障时，prometheus-thanos组件从本地磁盘取出未推送的物理机指标和容器监控指标，且继续推送给中心节点，从而实现了物理机指标和容器监控指标的断点续传，提高了整个系统的数据处理效率。

在一些实施例中，基于上述步骤S111，在通过第一流量采集组件获取第一节点机器上的网络总流量之前，还可包括：在第一节点机器启动时获取速率的配置信息；基于速率的配置信息，采用指数加权移动平均法计算入向速率和出向速率；以IP地址为单位进行速率统计。

具体的，在第一节点机器启动时为ipvsadm模块设置用于确定速率计算周期的速率的配置信息，该速率的配置信息包括定时器周期和权重。ipvsadm模块基于速率的配置信息先确定速率计算周期，其中，速率计算周期＝定时器周期*2的权重次幂，例如定时器周期为2秒，权重为4，则速率计算周期＝2*2⁴＝32秒。ipvsadm模块再按照得到的速率计算周期，采用指数加权移动平均法计算入向速率和出向速率。最后，ipvsadm模块以IP地址为单位进行速率统计，即按照IP地址的类型(包括负载均衡的虚拟IP(VIP)、弹性公网IP(EIP)、POD主动上网的内网IP、POD的宿主机主动上网的内网IP和虚拟机主动上网的内网IP等)，分别对各IP地址下的入向速率和出向速率进行统计。在一些实施例中，在速率统计过程中，可以字节数/秒为单位进行速率统计，当流量值达到一定数量级时可自动转换成更高数量单位(如K、M、G)的流量值，也可根据设定程序不转换。另外，类似于入向速率和出向速率的统计，本公开实施例还可对入向数据包速率和出向数据包速率进行统计。

本实施例提供的边缘节点的数据处理方法可应用于边缘节点的节点机器，如此，通过边缘节点中的节点机器获取各自的物理机指标和容器监控指标，并将各自的物理机指标和容器监控指标单独汇总后发送至中心节点，由此避免了采集任务的积压，防止采集数据出现延迟，提高了计量指标的采集效率，从而相应提高了中心节点对上述物理机指标和容器监控指标进行计量时的计量效率。

本公开实施例还提供了一种边缘节点的数据处理方法。图2为本公开实施例提供的另一种边缘节点的数据处理方法的流程图。该方法适用于对边缘节点采集的计量指标进行聚合的情况，应用于中心节点，可以由边缘节点的数据处理装置执行，其中该边缘节点的数据处理装置可以采用软件和/或硬件的方式实现，一般可集成在电子设备中。如图2所示，该边缘节点的数据处理方法包括：

S210、获取边缘节点发送的汇总后的边缘节点中各节点机器上物理机指标和容器监控指标。

其中，节点机器为边缘节点中的物理机，可运行容器组(Pod，包括一个或多个容器)。节点机器可以是Linux虚拟服务器(LVS机器)，也可以是业务服务器(Node机器)，其中，LVS机器提供网络流量的总进出口，Node机器提供客户业务的计算资源。另外，物理机指标包括物理机的CPU、内存和硬盘存储，以及网络相关指标等；容器监控指标包括容器资源的添加、删除和更新事件，以及容器资源的CPU、内存和硬盘存储等。

在一些实施例中，边缘节点中各节点机器将各自汇总后的物理机指标和容器监控指标推送至中心节点。具体的，节点机器将汇总后的物理机指标和容器监控指标推送至中心节点的查询接口(Query组件)，中心节点中的计量聚合组件(measure-summary组件)定时到查询接口查询物理机指标和容器监控指标。

S220、按照预设标准对物理机指标和容器监控指标进行聚合。

其中，预设标准可以基于接口或数据格式等进行标定，以便计量指标按统一标准对外输出。示例性的，由于物理机的接口与Pod的接口不一样，因此，在一些实施例中，可按照统一的标准接口，每隔预设时间(即定时查询时间)且采用平均数算法，对当前的预设时间段内的物理机指标和容器监控指标进行聚合。示例性的，可每隔5分钟对当前5分钟内的物理机指标(如网络总流量)求平均，得到当前5分钟内网络总流量的平均值，如此将当前5分钟内的各流量值聚合成一个流量值。

另外，在计量指标采集的高峰期，边缘节点中启动的节点机器增多，使得采集并上传到中心节点的数据增大，导致中心节点上数据库的写入达到瓶颈。基于此，在一些实施例中，在按照预设标准对物理机指标和容器监控指标进行聚合之后，还包括：将聚合后的物理机指标和容器监控指标，按开始聚合物理机指标和容器监控指标时的时间节点存储到时序数据库(influxdb)中。由此通过时序数据库对聚合后的物理机指标和容器监控指标进行存储，大大提高了存储聚合后的物理机指标和容器监控指标的性能。

在一些实施例中，还可以按照不同的维度对物理机指标和容器监控指标进行聚合。其中，维度包括客户ID(userid)维度、命名空间(namespace)维度、Pod维度和IP维度等。

在一些实施例中，在按照预设标准对物理机指标和容器监控指标进行聚合之后，还包括：校验聚合后的物理机指标和容器监控指标；基于校验结果，对缺失的物理机指标和容器监控指标进行补录。具体的，校验聚合后的物理机指标和容器监控指标，包括：将自定义聚合的计量指标，比如按照ip维统计的流量信息，或者按照namesapce维度和pod维度统计的若干个月的CPU用量等，以定时任务(job)的形式运行，并通过pushgateway组件推送到监控系统(图1所示方法的执行主体)，若定时任务执行中断，则表明聚合的计量指标没有运行完，即存在计量指标缺失。相应的，基于校验结果，对缺失的物理机指标和容器监控指标进行补录，包括：在经校验确定物理机指标和容器监控指标缺失后，可基于历史物理机指标和容器监控指标对缺失的物理机指标和容器监控指标进行补录。例如，对缺失物理机指标和容器监控指标之前一段时间内的物理机指标和容器监控指标求平均(对各指标分别求平均)，将平均值作为缺失的物理机指标和容器监控指标进行补录。也可以对对应于缺失的物理机指标和容器监控指标的时间范围内的历史物理机指标和容器监控指标求平均(对各指标分别求平均)，将平均值作为缺失的物理机指标和容器监控指标进行补录。

S230、按照预设维度输出聚合后的物理机指标和容器监控指标。

其中，预设维度包括userid维度、namespace维度、Pod维度和IP维度等，可根据客户需求进行设置。在一些实施例中，中心节点的计量组件(kenc-measure组件)通过measure-summary组件提供的对外接口服务(measure-summary-api)从influxdb中获取预设维度的物理机指标和容器监控指标，以数据报表的形式输出给外围系统。

本实施例提供的边缘节点的数据处理方法与本公开前述实施例提供的边缘节点的数据处理方法属于一个总的发明构思，具有相同或相应的特定技术特征，可实现相同的技术效果。

对应于图1所示的边缘节点的数据处理方法，本公开提供了一种边缘节点的数据处理装置，该装置应用于边缘节点的节点机器，图3为本公开实施例提供的一种边缘节点的数据处理装置的结构框图。如图3所示，该边缘节点的数据处理装置包括：

指标采集模块31，用于获取边缘节点中节点机器上的物理机指标和容器监控指标；

指标汇总模块32，用于对物理机指标和容器监控指标进行汇总；

指标发送模块33，用于将汇总后的物理机指标和容器监控指标发送至中心节点。

可选的，节点机器部署有流量采集组件和容器监控组件，物理机指标至少包括网络相关指标；指标采集模块31包括：

网络相关指标采集单元，用于通过流量采集组件获取节点机器上的网络相关指标；

容器监控指标采集单元，用于通过容器监控组件获取节点机器上的容器监控指标。

可选的，流量采集组件包括第一流量采集组件或第二流量采集组件；当节点机器为提供网络流量的总进出口的第一节点机器时，网络相关指标采集单元具体用于：通过第一流量采集组件获取第一节点机器上的网络总流量，网络总流量包括入向流量、出向流量、入向速率和出向速率；

当节点机器为提供客户业务的计算资源的第二节点机器时，网络相关指标采集单元具体用于：通过第二流量采集组件获取第二节点机器上的客户业务的网络带宽。

可选的，容器监控组件包括第一容器监控组件和第二容器监控组件；容器监控指标采集单元具体用于：通过第一容器监控组件获取节点机器上的容器资源的添加、删除和更新事件中任一项或多项的组合；通过第二容器监控组件获取节点机器上的容器资源的CPU、内存和硬盘存储中任一项或多项的组合。

可选的，边缘节点的数据处理装置还包括：指标存储模块，用于在对物理机指标和容器监控指标进行汇总之后，当中心节点故障或网络故障时，将汇总后的物理机指标和容器监控指标存储于本地磁盘；

指标续传模块，用于当中心节点故障恢复或网络故障恢复时，从本地磁盘取出存储的物理机指标和容器监控指标，并续传至中心节点。

可选的，边缘节点的数据处理装置还包括：速率配置信息获取模块，用于在通过第一流量采集组件获取第一节点机器上的网络总流量之前，在第一节点机器启动时获取速率的配置信息；

速率计算模块，用于基于速率的配置信息，采用指数加权移动平均法计算入向速率和出向速率；

速率统计模块，用于以IP地址为单位进行速率统计。

本实施例提供的边缘节点的数据处理装置可用于执行对应实施例提供的边缘节点的数据处理方法，具有边缘节点的数据处理方法相同功能和有益效果。

对应于图2所示的边缘节点的数据处理方法，本公开实施例还提供了一种边缘节点的数据处理装置，该装置应用于中心节点，图4为本公开实施例提供的另一种边缘节点的数据处理装置的结构框图。如图4所示，该边缘节点的数据处理装置包括：

指标获取模块41，用于获取边缘节点发送的汇总后的边缘节点中各节点机器上物理机指标和容器监控指标；

指标聚合模块42，用于按照预设标准对物理机指标和容器监控指标进行聚合；

指标输出模块43，用于按照预设维度输出聚合后的物理机指标和容器监控指标。

可选的，指标聚合模块42具体用于：按照统一的标准接口，每隔预设时间且采用平均数算法，对当前的预设时间段内的物理机指标和容器监控指标进行聚合。

可选的，边缘节点的数据处理装置还包括：聚合指标存储模块，用于在按照预设标准对物理机指标和容器监控指标进行聚合之后，将聚合后的物理机指标和容器监控指标，按开始聚合物理机指标和容器监控指标时的时间节点存储到时序数据库中。

可选的，边缘节点的数据处理装置还包括：指标校验模块，用于在按照预设标准对物理机指标和容器监控指标进行聚合之后，校验聚合后的物理机指标和容器监控指标；

指标补录模块，用于基于校验结果，对缺失的物理机指标和容器监控指标进行补录。

本实施例提供的边缘节点的数据处理装置可用于执行对应实施例提供的边缘节点的数据处理方法，具有边缘节点的数据处理方法相同功能和有益效果。

基于上述各实施例，本公开实施例还提供了一种边缘节点的数据处理系统，图5为本公开实施例提供的一种边缘节点的数据处理系统的结构示意图。如图5所示，该边缘节点的数据处理系统包括：

监控系统51，包括多个与边缘节点中的节点机器一一对应设置的监控子系统，监控子系统用于获取边缘节点中对应节点机器上的物理机指标和容器监控指标；对物理机指标和容器监控指标进行汇总；将汇总后的物理机指标和容器监控指标发送至中心节点；

计量系统52，用于获取汇总后的物理机指标和容器监控指标；按照预设标准对物理机指标和容器监控指标进行聚合；按照预设维度输出聚合后的物理机指标和容器监控指标。

在一些实施例中，监控子系统包括上述实施例中的Exporter组件、kube-state-metrics组件、kubelet-cadvisor组件和prometheus-thanos组件；计量系统52包括上述实施例中的Query组件、measure-summary组件、influxdb、pushgateway组件、measure-summary-api和kenc-measure组件。各组件的功能请参考上述实施例，此处不再赘述。

在一些实施例中，边缘节点和中心节点可基于双向证书认证对传输数据进行加密，以保证数据的安全传输。

在一些实施例中，中心节点可以为多个，以避免采集任务出现积压以及采集数据出现延迟。

本公开提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行本公开任一实施例提供的边缘节点的数据处理方法。

图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示，电子设备600包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现本公开任一实施例提供的边缘节点的数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置603还可以包括例如键盘、鼠标等等。

该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开任一实施例提供的边缘节点的数据处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开任一实施例提供的边缘节点的数据处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种边缘节点的数据处理方法，其特征在于，所述方法应用于边缘节点的节点机器，包括：

获取所述节点机器上的物理机指标和容器监控指标；

对所述物理机指标和所述容器监控指标进行汇总；

将汇总后的所述物理机指标和所述容器监控指标发送至中心节点；

对所述物理机指标和所述容器监控指标进行汇总，包括：通过prometheus-thanos组件对所述物理机指标和所述容器监控指标进行压缩和汇聚；

在对所述物理机指标和所述容器监控指标进行汇总之后，还包括：当所述中心节点故障或网络故障时，通过所述prometheus-thanos组件将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘；当所述中心节点故障恢复或网络故障恢复时，通过所述prometheus-thanos组件从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点。

2.根据权利要求1所述的边缘节点的数据处理方法，其特征在于，所述节点机器部署有流量采集组件和容器监控组件，所述物理机指标至少包括网络相关指标；

获取所述节点机器上的物理机指标和容器监控指标，包括：

通过所述流量采集组件获取所述节点机器上的网络相关指标；

通过所述容器监控组件获取所述节点机器上的容器监控指标。

3.根据权利要求2所述的边缘节点的数据处理方法，其特征在于，所述流量采集组件包括第一流量采集组件或第二流量采集组件；

当所述节点机器为提供网络流量的总进出口的第一节点机器时，通过所述流量采集组件获取所述节点机器上的网络相关指标，包括：

通过所述第一流量采集组件获取所述第一节点机器上的网络总流量，所述网络总流量包括入向流量、出向流量、入向速率和出向速率；

当所述节点机器为提供客户业务的计算资源的第二节点机器时，通过所述流量采集组件获取所述节点机器上的网络相关指标，包括：

通过所述第二流量采集组件获取所述第二节点机器上的客户业务的网络带宽。

4.根据权利要求2所述的边缘节点的数据处理方法，其特征在于，所述容器监控组件包括第一容器监控组件和第二容器监控组件；

通过所述容器监控组件获取所述节点机器上的容器监控指标，包括：

通过所述第一容器监控组件获取所述节点机器上的容器资源的添加、删除和更新事件中任一项或多项的组合；

通过所述第二容器监控组件获取所述节点机器上的容器资源的CPU、内存和硬盘存储中任一项或多项的组合。

5.根据权利要求3所述的边缘节点的数据处理方法，其特征在于，在通过所述第一流量采集组件获取所述第一节点机器上的网络总流量之前，还包括：

在所述第一节点机器启动时获取速率的配置信息；

基于所述速率的配置信息，采用指数加权移动平均法计算所述入向速率和所述出向速率；

以IP地址为单位进行速率统计。

6.一种边缘节点的数据处理方法，其特征在于，所述方法应用于中心节点，包括：

获取边缘节点发送的汇总后的所述边缘节点中各节点机器上物理机指标和容器监控指标，所述物理机指标和所述容器监控指标通过prometheus-thanos组件进行压缩和汇聚实现汇总，所述prometheus-thanos组件还用于当所述中心节点故障或网络故障时，将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘，当所述中心节点故障恢复或网络故障恢复时，从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点；

按照预设标准对所述物理机指标和所述容器监控指标进行聚合；

按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

7.根据权利要求6所述的边缘节点的数据处理方法，其特征在于，按照预设标准对所述物理机指标和所述容器监控指标进行聚合，包括：

按照统一的标准接口，每隔预设时间且采用平均数算法，对当前的预设时间段内的所述物理机指标和所述容器监控指标进行聚合。

8.根据权利要求7所述的边缘节点的数据处理方法，其特征在于，在按照预设标准对所述物理机指标和所述容器监控指标进行聚合之后，还包括：

将聚合后的所述物理机指标和所述容器监控指标，按开始聚合所述物理机指标和所述容器监控指标时的时间节点存储到时序数据库中。

9.根据权利要求6所述的边缘节点的数据处理方法，其特征在于，在按照预设标准对所述物理机指标和所述容器监控指标进行聚合之后，还包括：

校验聚合后的所述物理机指标和所述容器监控指标；

基于校验结果，对缺失的所述物理机指标和所述容器监控指标进行补录。

10.一种边缘节点的数据处理装置，其特征在于，所述装置应用于边缘节点的节点机器，包括：

指标采集模块，用于获取所述节点机器上的物理机指标和容器监控指标；

指标汇总模块，用于对所述物理机指标和所述容器监控指标进行汇总；

指标发送模块，用于将汇总后的所述物理机指标和所述容器监控指标发送至中心节点；

所述指标汇总模块具体用于通过prometheus-thanos组件对所述物理机指标和所述容器监控指标进行压缩和汇聚；

还包括指标存储模块，用于当所述中心节点故障或网络故障时，通过所述prometheus-thanos组件将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘；当所述中心节点故障恢复或网络故障恢复时，通过所述prometheus-thanos组件从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点。

11.一种边缘节点的数据处理装置，其特征在于，所述装置应用于中心节点，包括：

指标获取模块，用于获取边缘节点发送的汇总后的所述边缘节点中各节点机器上物理机指标和容器监控指标，所述物理机指标和所述容器监控指标通过prometheus-thanos组件进行压缩和汇聚实现汇总，所述prometheus-thanos组件还用于当所述中心节点故障或网络故障时，将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘，当所述中心节点故障恢复或网络故障恢复时，从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点；

指标聚合模块，用于按照预设标准对所述物理机指标和所述容器监控指标进行聚合；

指标输出模块，用于按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

12.一种边缘节点的数据处理系统，其特征在于，包括：

监控系统，包括多个与边缘节点中的节点机器一一对应设置的监控子系统，所述监控子系统用于获取边缘节点中对应节点机器上的物理机指标和容器监控指标；对所述物理机指标和所述容器监控指标进行汇总；将汇总后的所述物理机指标和所述容器监控指标发送至中心节点；通过prometheus-thanos组件对所述物理机指标和所述容器监控指标进行压缩和汇聚以实现汇总；在对所述物理机指标和所述容器监控指标进行汇总之后，当所述中心节点故障或网络故障时，通过所述prometheus-thanos组件将汇总后的所述物理机指标和所述容器监控指标存储于本地磁盘；当所述中心节点故障恢复或网络故障恢复时，通过所述prometheus-thanos组件从所述本地磁盘取出存储的所述物理机指标和所述容器监控指标，并续传至所述中心节点；

计量系统，用于获取汇总后的所述物理机指标和所述容器监控指标；按照预设标准对所述物理机指标和所述容器监控指标进行聚合；按照预设维度输出聚合后的所述物理机指标和所述容器监控指标。

13.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现权利要求1-9中任一所述的边缘节点的数据处理方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行权利要求1-9中任一所述的边缘节点的数据处理方法。

Images