CN112162829B - 一种边缘计算场景下的资源监控数据预处理系统 - Google Patents

Abstract

本发明涉及一种边缘计算场景下的资源监控数据预处理系统，其包括：端设备收集单元，收集云边集群中指定端设备产生的监控流数据，并将其发送至边缘节点对应的流处理服务器；边缘主机收集单元，通过部署在边缘主机的容器收集其硬件资源使用情况；存储单元，从预处理单元接收流处理服务器返回的监控流数据，进行压缩后存储；预处理单元，其为本地服务器，根据用户提供的配置文件，抓取收集单元收集的数据，并处理后发送给存储单元存储或由云边数据传输单元传到云端；云边数据传输单元，用于将处理后数据发送至云端；各单元均以yaml的形式由云端统一下发部署至边缘端。该系统能及时发现端设备及边缘主机的异常，极大地提升了监控自动化的效率。

Description

一种边缘计算场景下的资源监控数据预处理系统

技术领域

本发明涉及边缘计算领域，具体涉及一种边缘计算场景下的资源监控数据预处理系统。

背景技术

边缘计算起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

Kubernetes是当今流行的容器编排系统，它是一种开源的容器集群管理系统，是大规模容器管理技术Borg的开源版本。Kubernetes包含的诸多特性，包括：基于容器的应用部署、维护和滚动升级，负载均衡和服务发现，跨机器和跨地区的集群调度，自动伸缩等等，使得它成为了容器编排领域的领导者，并且逐渐在企业落地。

Kubernetes现有的监控方案包含metric-server及prometheus联邦体系，metrics-server从Kubernetes集群中的各个主机上的Kubelet中的cadvisor中获取主机的CPU、memory等指标，并给Kubernetes集群提供HPA等功能；prometheus是一个开源的服务监控系统和时间序列数据库，它有以下特性：1.高维度数据模型；2.自定义查询语言；3.可视化数据展示；4.高效的存储策略；5.易于运维；6.提供各种客户端开发库；7.提供警告和报警；8.数据导出。

然而，Kubernetes现有的监控方案，无法涵盖到云边端一体化的场景，其主要涉及的数据为主机上的监控数据，不涉及到不同传输协议传输的不同端设备上的数据。其次，端设备产生的数据量级非常巨大，数据的流量压力给metrics-server服务器和prometheus服务器很大的压力。

随着5G和物联网时代的来临，网络边缘侧的资源监控数据量级将非常巨大，如果将数据都交由云端的管理平台来处理，将会产生现实网络流量巨大、一些设备的低时延导致实时监控工作难以保证、特殊监控信息的数据安全风险大增、端设备数据传输协议众多无法统一等问题，采用边缘计算的方式，海量监控数据则能够就近处理，大量的设备的状态信息能实时得到监控，以上的问题就能迎刃而解。因此，传统的基于云中心的Kubernetes监控方案已经不能适应当前的边缘计算场景，更需要一种在边缘节点上的资源监控数据预处理方法。

发明内容

针对现有技术的不足，本发明提出一种边缘计算场景下的资源监控数据预处理系统，该系统基于云边端一体化协同的场景，使用多级的监控收集及预处理系统，逐步减小云端数据中心的数据流量压力，解决了现实网络流量巨大、一些设备的低时延导致实时监控工作难以保证、特殊监控信息的数据安全风险大增、端设备数据传输协议众多无法统一等诸多问题，解决了在云边端一体化场景下边缘主机及端设备等监控数据的痛点，在实际应用落地过程中能及时发现端设备及边缘主机的资源异常及设备状态异常等问题，极大地提升了监控自动化的效率。

本发明的目的通过如下的技术方案来实现：

一种边缘计算场景下的资源监控数据预处理系统，该系统包括：

端设备收集单元，用于收集云边集群中的指定端设备所产生的监控流数据，并将其发送至边缘节点上对应的流处理服务器，并提供一个暴露接口，等待预处理单元进行数据抓取；

边缘主机收集单元，通过部署在边缘主机上的容器收集边缘主机的硬件资源使用情况，并提供一个暴露的接口，等待预处理单元进行数据抓取；

存储单元，用于从预处理单元接收所述流处理服务器返回的监控流数据，并进行压缩后存储至该单元中；

预处理单元，其是一个本地的服务器，用于根据用户提供的配置文件，对所述的端设备收集单元和边缘主机收集单元收集的数据进行抓取操作，并进行处理后，将数据发送给所述的存储单元进行存储，或者发送给云边数据传输单元传输到云端；

云边数据传输单元，该单元的云边组件暴露在公网上，用于将所述预处理单元筛选后的数据通过可靠的数据传输隧道发送至云端，交由云端进行后续的数据可视化展示和存储；

该系统的上述各单元均以yaml的形式由云端统一下发部署至边缘端。

进一步地，所述的预处理单元对端设备收集单元和边缘主机收集单元收集的数据进行的预处理包括数据筛选、清洗、对数据进行状态表示。

进一步地，所述的预处理单元还对处理后的数据进行告警和可视化展示。

进一步地，所述的告警包括：

根据用户提供的配置，预处理单元根据采集数据的情况定时与端设备保持稳定的心跳，一旦发现心跳失联，及时向用户进行告警；

根据用户在配置文件中对特定端设备定义的上下限的阈值，对特定端设备采集得到的异常数据进行告警。

进一步地，所述的边缘主机的硬件资源使用情况包括CPU、内存以及端口使用情况。

进一步地，所述的对数据进行状态表示具体为：

为端设备提供三位状态码和附加数值，两位状态码中第一位表示该端设备是否存活，即心跳正常；第二位表示该端设备所监测的环境数据是否正常，即数据是否在预先配置的阈值范围之内；第三位表示是否有端设备的附加数值；附加数值为根据需要保留的具体的端设备数值；三位状态码和附加数值一道进行存储、发送到云端。

进一步地，所述的端设备收集单元中的流处理服务器配置针对不同端设备的通信协议。

进一步地，所述的存储单元包括本地存储单元和远程存储单元，用户根据需要进行选择存储。

本发明的有益效果如下：

(1)本发明的边缘计算场景下的资源监控数据预处理系统，提供了边缘计算云-边-端一体化协同的场景下的监控流方案，将端设备的监控数据与边缘主机的资源监控数据统一纳管起来，有效地填补了边缘计算场景下监控方案的空白。

(2)本发明的系统在Kubernetes云原生框架下的监控方案的基础上，新增了可插拔的面向端设备的监控组件，与原有方案基本兼容，对用户体验比较友好。

(3)本发明的系统创新地使用数据分析手段对边缘主机的资源监控数据和端设备的采集监控数据进行数据预处理，极大地减小了边缘端发往云端的数据量，极大地减小了云端的流量压力。

(4)本发明的系统通过在端设备收集单元中的流处理服务器配置针对不同端设备的通信协议，解决了不同的端设备所用的传输协议的不统一导致无法统一纳管的问题。

附图说明

图1为本发明的边缘计算场景下的资源监控数据预处理系统的示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的边缘计算场景下的资源监控数据预处理系统，用于解决现有技术中，边缘侧的端设备资源监控数据过大而导致的现实网络流量巨大、一些设备的低时延导致实时监控工作难以保证、特殊监控信息的数据安全风险大增的问题。如图1所示，该数据处理系统包括端设备收集单元、边缘主机收集单元、存储单元、预处理单元和云边数据传输单元，各个单元的主要功能如下：

(1)端设备收集单元

该单元用于收集云边集群中的指定端设备所产生的监控流数据，并将其发送至边缘节点上对应的流处理服务器，如MQTT服务器，并提供一个暴露接口，等待预处理单元进行数据抓取。流处理服务器配置针对不同端设备的通信协议，例如蓝牙协议以及Zigbee协议。用户可以通过使用映射器使用具体的通信协议操作设备与边缘节点流处理服务器通信，要求用户通过配置文件等方式为映射器提供必要的控制其端设备所需的文件。

(2)边缘主机收集单元

该单元通过部署在边缘主机上的容器，如cadvisor，收集边缘主机的硬件资源使用情况，包括CPU、内存以及端口使用情况，并提供一个暴露的接口，等待预处理单元进行数据抓取。

(3)存储单元

该单元用于从预处理单元接收所述流处理服务器返回的监控流数据，并进行压缩后存储至该单元中。作为其中一种实施方式，如图1所示，存储单元包括本地存储单元和远程存储单元，用户根据需要进行选择存储。数据在压缩时使用常见的数据压缩算法，如差分编码、lzw编码、huffman编码等对监控数据进行压缩，减小存储的空间，设置具体的上下限阈值，回收过期的数据，具体的策略以及压缩算法也可通过配置文件的形式进行注入，以下给出一个具体的配置文件：

(4)预处理单元

该单元是一个本地的服务器，用于根据用户提供的配置文件，对端设备收集单元和边缘主机收集单元收集的数据进行抓取操作，并进行预处理后，将数据发送给所述的存储单元进行存储，或者发送给云边数据传输单元传输到云端。预处理单元是整个边缘节点以及端设备的数据管理中心，这里的对数据的预处理包括数据筛选、清洗、对数据进行状态表示，具体如下：

①筛选：根据用户提供的配置，首先将一些相对不是那么重要的、用户不关心的数据剔除，减少需要处理的数据量。数据的自定义筛选目前提供以下几种方式：(1)通过label对指定的边缘节点的监控数据进行收集；(2)通过自定义注解对指定的端设备的监控数据进行收集，以ConfigMap的配置文件挂载在预处理单元内。以下给出一个具体的配置文件：

筛选的表达式应支持基于等式的和基于集合的，基于等式的＝和！＝，基于集合的in、not in、Exists和Not Exists，同时可以通过多个Selector表达式的组合实现复杂的逻辑筛选。边缘节点的选择器范围大于端设备的选择器范围，在筛选端设备之前先筛选出承载端设备的边缘设备，也支持边缘筛选器缺省，则默认从全集群域中搜索。

②清洗：数据清洗主要是检查采集到的数据的一致性，并处理其中的无效值和缺失值，针对特定的端设备设置无效阈值，如果判断为无效值(可能在传输过程中比特位进行了改变)则删去该条记录，针对缺失值则根据端设备采集数据的连续性取上下一段数据的平均值填入。

③对数据进行状态表示：为端设备提供三位状态码和附加数值，两位状态码中第一位表示该端设备是否存活，即心跳正常；第二位表示该端设备所监测的环境数据是否正常，即数据是否在预先配置的阈值范围之内；第三位表示是否有端设备的附加数值；附加数值为根据需要保留的具体的端设备数值；三位状态码和附加数值一道进行存储、发送到云端。配置文件通过ConfigMap的形式挂载在预处理单元中，完成配置，用户可通过配置文件可选的配置状态码和附加数值，以适应用户并不关心端设备存活情况/监测环境数据情况/具体数值的场景。

预处理单元在对数据进行上述预处理后，还可以对处理后的数据进行告警和可视化展示。

其中，告警包括：

根据用户提供的配置，预处理单元根据采集数据的情况定时与端设备保持稳定的心跳，一旦发现心跳失联，及时向用户进行告警；

根据用户在配置文件中对特定端设备定义的上下限的阈值，对特定端设备采集得到的异常数据进行告警。

(5)云边数据传输单元

该单元的云边组件暴露在公网上，用于将所述预处理单元筛选后的数据通过可靠的数据传输隧道发送至云端，交由云端进行后续的数据可视化展示和存储。同时组件暴露/metrics API供原有的云端监控组件prometheus等接入，通过外接grafana实现云边端数据的可视化显示，通过外接alertmanager实现数据的告警；

该系统的上述各单元均以yaml的形式由云端统一下发部署至边缘端，极大地减小了部署的成本，更便于实际的落地使用。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种边缘计算场景下的资源监控数据预处理系统，其特征在于，该系统包括：

端设备收集单元，用于收集云边集群中的指定端设备所产生的监控流数据，并将其发送至边缘节点上对应的流处理服务器，并提供一个暴露接口，等待预处理单元进行数据抓取；

边缘主机收集单元，通过部署在边缘主机上的容器收集边缘主机的硬件资源使用情况，并提供一个暴露的接口，等待预处理单元进行数据抓取；所述的边缘主机的硬件资源使用情况包括CPU、内存以及端口使用情况；

存储单元，用于从预处理单元接收所述流处理服务器返回的监控流数据，并进行压缩后存储至该单元中；

预处理单元，其是一个本地的服务器，用于根据用户提供的配置文件，对所述的端设备收集单元和边缘主机收集单元收集的数据进行抓取操作，并进行处理后，将数据发送给所述的存储单元进行存储，或者发送给云边数据传输单元传输到云端；

云边数据传输单元，该单元的云边组件暴露在公网上，用于将所述预处理单元筛选后的数据通过可靠的数据传输隧道发送至云端，交由云端进行后续的数据可视化展示和存储；

该系统的上述各单元均以yaml的形式由云端统一下发部署至边缘端；

所述的预处理单元对端设备收集单元和边缘主机收集单元收集的数据进行的预处理包括数据筛选、清洗、对数据进行状态表示；所述的对数据进行状态表示具体为：

为端设备提供三位状态码和附加数值，两位状态码中第一位表示该端设备是否存活，即心跳正常；第二位表示该端设备所监测的环境数据是否正常，即数据是否在预先配置的阈值范围之内；第三位表示是否有端设备的附加数值；附加数值为根据需要保留的具体的端设备数值；三位状态码和附加数值一道进行存储、发送到云端。

2.根据权利要求1所述的边缘计算场景下的资源监控数据预处理系统，其特征在于，所述的预处理单元还对处理后的数据进行告警和可视化展示。

3.根据权利要求2所述的边缘计算场景下的资源监控数据预处理系统，其特征在于，所述的告警包括：

根据用户提供的配置，预处理单元根据采集数据的情况定时与端设备保持稳定的心跳，一旦发现心跳失联，及时向用户进行告警；

根据用户在配置文件中对特定端设备定义的上下限的阈值，对特定端设备采集得到的异常数据进行告警。

4.根据权利要求1所述的边缘计算场景下的资源监控数据预处理系统，其特征在于，所述的端设备收集单元中的流处理服务器配置针对不同端设备的通信协议。

5.根据权利要求1所述的边缘计算场景下的资源监控数据预处理系统，其特征在于，所述的存储单元包括本地存储单元和远程存储单元，用户根据需要进行选择存储。