CN117880376A - 一种混合云的监控数据压缩方法和系统 - Google Patents

Abstract

本发明属于数据处理技术领域，具体涉及一种混合云的监控数据压缩方法和系统，包括：采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理；将精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组；通过自适应数据压缩模式对适时数据自动匹配不同场景，对数据体本身进行压缩。本发明通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

Description

一种混合云的监控数据压缩方法和系统

技术领域

本发明属于数据处理技术领域，具体涉及一种混合云的监控数据压缩方法和系统。

背景技术

随着混合云越来越精细化的发展，数据跨地域传输对网络带宽的消耗不断提升，特别是在混合云建设中，资源、业务、应用监控数据量是非常海量的，在跨地域传输时往往因为数据包大、频次高，导致传输的时效慢，而且带宽的运营费用高，所以如何压缩监控数据，提高监控时效性和降低运营成本变得非常重要且有现实意义。

目前监控数据管理的方案普遍采用的是字典式字段映射方式进行数据压缩，该方法采用的字段进行简化处理，但是当字段较多的时候，字段整体占的整体数据包比例偏高，不利于海量、高频次的数据传输，即估计还是有20-30％左右的冗余空间，特别是在跨地域混合云的场景下，这种海量数据的传输，成本会更大，效率很低。

对于字段简单映射的方式存在两个问题：

(1)数据压缩比例低，由于监控数据是非常海量的，不同指标，如果到秒级，每个数据结构在数据中占比高，整体量算下来，也是一个天文数字，这样会导致整体监控数据传输效率低；

(2)成本高，混合云的集群多，跨地域传输，特别是这种集中式的监控数据统一处理模式，又要追求监控数据的及时性，所以对网络带宽的延时要要求较高，如果不对数据本身进行极限压缩，需要消耗巨大的网络带宽，投入更大的成本。

发明内容

本发明的目的在于提供一种混合云的监控数据压缩方法和系统，将分散的监控数据进行本地压缩，然后根据实际需要分场景压缩。

为实现上述目的，本发明采用了如下技术方案：一种混合云的监控数据压缩方法，包括：采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

优选地，所述监控数据的采集，包括：按照约定的顺序采集客户端的数据，并对所述数据进行数据格式编码，并传输至服务端的接口；所述服务端的接口接收到数据后进行反编码，按照约定的数据顺序，将数据进行结构复原，数据复原后再进行存储，获得监控数据。

优选地，所述自适应数据压缩模式包括连续去重压缩模式和加权平均数据压缩模式。

优选地，所述不同场景包括：time>1和time≤1；

其中，time为监控数据采集上报周期，1为上报周期参考基数；time>1为长周期，time≤1为短周期。

优选地，所述自动匹配不同场景，包括：采用自适应数据压缩函数和数据重复度参数k进行判断；

当time＞1，数据重复度系数k>2，匹配所述连续去重压缩模式；

当load≤1，数据重复度系数k<2，匹配所述加权平均数据压缩模式。

优选地，所述自适应数据压缩函数：

其中，time为监控数据采集上报周期(0≤load≤10)，k为数据重复度系数。

优选地，所述连续去重压缩模式用于对周期长、状态稳定的监控数据进行压缩。

优选地，所述加权平均数据压缩模式用于对短周期内、数据状态起伏相对不稳定的监控数据进行压缩。

优选地，所述无结构化处理包括：对所述监控数据的结构体的字段进行去除。

另一方面，本发明提出一种混合云的监控数据压缩系统，包括：

数据结构处理模块，用于采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

数据恢复模块，用于将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

数据压缩模块，用于通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

本发明的技术效果和优点：本发明提出的一种混合云的监控数据压缩方法和系统，与现有技术相比，具有以下优点：

本发明通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；其次，通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

附图说明

图1为本发明实施例中一种混合云的监控数据压缩方法的流程图；

图2为本发明实施例中一种混合云的监控数据压缩系统的模块图；

图3为本发明实施例中非字典压缩数据模式的数据压缩示意图；

图4为本发明实施例中长周期的数据采集示意图；

图5为本发明实施例中加权平均数据压缩模式的数据压缩示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中提供了一种混合云的监控数据压缩方法，首先，通过利用无字典编码机制，在监控数据传输过程中去除对应字段，按约定好的数据顺序，在服务端落盘的时候再进行结构化，通过这种无损的方式进行数据压缩。其次，采用适时自适应去重的方式，将连续冗余数据压缩及冗余数据回迁重组技术，我们采集数据的时候大部分数据是重复的，我们连续重复数据可以删除只保留一份，等落盘的时候再进行重组回迁。具体如下。

如图1所示，一种混合云的监控数据压缩方法，包括如下步骤：

步骤一：采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

具体的，监控数据的采集，包括：按照约定的顺序采集客户端的数据，并对数据进行数据格式编码，并传输至服务端的接口；服务端的接口接收到数据后进行反编码，按照约定的数据顺序，将数据进行结构复原，数据复原后再进行存储，获得监控数据。

步骤二：将精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

步骤三：通过自适应数据压缩模式对适时数据自动匹配不同场景，对数据体本身进行压缩。

具体的，自适应数据压缩模式包括连续去重压缩模式和加权平均数据压缩模式。

不同场景包括：time>1和time≤1；其中，time为监控数据采集上报周期，1为上报周期参考基数；time>1为长周期，time≤1为短周期。

自动匹配不同场景，包括：采用自适应数据压缩函数和数据重复度参数k进行判断；当time＞1，数据重复度系数k>2，匹配连续去重压缩模式；当load≤1，数据重复度系数k<2，匹配加权平均数据压缩模式。

自适应数据压缩函数：

其中，time为监控数据采集上报周期(0≤load≤10)，k为数据重复度系数。

连续去重压缩模式用于对周期长、状态稳定的监控数据进行压缩。加权平均数据压缩模式用于对短周期内、数据状态起伏相对不稳定的监控数据进行压缩。

本发明通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；其次，通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

另一方面，本发明提出一种混合云的监控数据压缩系统，如图2所示，包括：数据结构处理模块、数据恢复模块和数据压缩模块。

示例性地，数据结构处理模块用于采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

示例性地，数据恢复模块用于将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

示例性地，数据压缩模块用于通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

此外，本实施例中涉及的数据结构处理模块、数据恢复模块和数据压缩模块还用于实现如上所述的一种混合云的监控数据压缩方法中的其他功能，具体如下。

首先，通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；其次，通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

示例性地，基于非字典式去数据结构压缩法：

1、例如某个云主机CPU指标数据采集过程，agent采集客户端的CPU指标时，按照已经约定好的顺序，进行数据格式编码，这种编码是只有数据value，没有数据key，尽可能做到简化，组合完成后push到服务端的接口(GetCPUData)；

2、服务端的数据收集器GetCPUData在接收到数据后进行反编码，按照约定好的数据顺序，将数据进行结构复原，数据复原后再进行存储，减少数据传输链多余数据的传输；

3、整个CPU使用数据结构体中，之前字段的字节占比高达60％，简化后可以数据压缩率可以达到60％，一方面提升数据传输效率，一方面降低网络带宽消耗，一举两得。具体执行如图3所示。

示例性地，基于自适应模式实现数据体的数据压缩，连续重复数据去重放实现流程：

在混合云的背景下，监控数据分为资源监控和服务监控，先以资源监控为例，一般监控的数据主要是某种资源在N分钟内的一种使用率或状态，这种使用率短时间内的重复率非常高，比如在采集某个CPU某段时间的使用率时，1分钟内CPU的使用率基本都是相同的，或者浮动很小，这时候有两种解决方案来适时进行数据压缩：

当关键指标连续在秒级出现重复时，进行数据合并，同时兼顾时间周期，当一个时间周期(一般是分钟级)达到后，重新计数，完成第一个周期的数据重复压缩，该方案比较适合比较稳定的业务数据监控采集，采集周期比较长的场景。详细如图4。

指标数据有浮动，时间周期短的海量数据加权平均压缩法：

在混合云的背景下，监控数据分为资源监控和服务监控，先以资源监控为例，一般监控的数据主要是某种资源在N分钟内的一种使用率或状态，这种使用率短时间内的重复率非常高，比如我们在采集某个CPU某段时间的使用率时，1分钟内CPU的使用率基本都是相同的，或者浮动很小，这时候有两种解决方案来适时进行数据压缩。

当关键指标数据采集周期短，比如10秒一个周期，同时数据比较不稳定的场景，采取数据加权平均的方法，比如10秒内把每个点的数据相加，得出T这个数，然后再将T/10，得出本周期的平均数，如图5。

从系统实现角度，我们将自适应压缩函数设置为2个场景：时间周期长和时间周期短两个场景，time>1为周期长，time≤1为短周期，根据数据重复度参数k，自适应数据压缩函数：

其中time为监控数据采集上报周期(0≤load≤10)，k为数据重复度系数

(1)当time＞1，数据重复度系数k>2，即在1分钟内有超过2组数据重复出现，那么应该启用连续去重压缩模式；

(2)当load≤1，数据重复度系数k<2，即监控数据上报周期小于1分钟，同时数据重复度没有超过2组重复，那么应该启用加权平均数据压缩模式。

本专利提出的方法，通过双重压缩方式对数据进行去重和重新排序处理，先对数据结构体的字段进行完全去除的办法，彻底将字段长、字段多的结构去掉，最大程度的简化，留下最精简的数据，然后传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化。同时再对数据进行适时压缩，根据混合云的两种周期长短、状态变化幅度大小，进行重复数据压缩。首先是周期长、状态稳定的，可以采取连续数据去重法；第二种是根据短周期内、数据状态起伏相对不稳定的，进行加权平均去重法进行处理；然后到服务端，再适时根据实际时间散点进行数据复原并保存，降低整体数据传输过程中的包的大小，降低网络传输成本，提升传递效率。

在混合云快速发展过程中，多云、跨地域的这种海量数据存储和推送场景很多，监控数据又是集中式管理的模式，老的模式效率慢而且极大占用了网络带宽。通过本方法可以将分散的监控数据进行本地压缩，然后根据实际需要分场景压缩，并传输到中心，进行统一数据复原和存储。

有效提升混合云的海量监控数据的采集、上报、存储和管理的效率，降低数据传输成本和存储成本；通过这种极限压缩的方式，也可以扩展到其他数据流的数据压和传输领域，特别是混合云这种跨地域跨区域，互联网传输成本高的场景，按需压缩按需存储，提升了混合云数据传输服务的体验。

此外，本申请还提出此外，本实施例中还提供了本发明还提供了一种终端设备，在本实施例中涉及的混合云的监控数据压缩方法主要应用于终端设备中，该终端设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。

具体的，终端设备可以包括处理器(例如CPU)，通信总线，用户接口，网络接口，存储器。其中，通信总线用于实现这些组件之间的连接通信；用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器可选的还可以是独立于前述处理器的存储装置。

其中，存储器中存储可读存储介质，可读存储介质中存储监控数据压缩程序，处理器可以调用存储器中存储的监控数据压缩程序，并执行本发明实施例提供的混合云的监控数据压缩方法。

可以理解的，可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种混合云的监控数据压缩方法，其特征在于，包括：

采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

2.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述监控数据的采集，包括：

按照约定的顺序采集客户端的数据，并对所述数据进行数据格式编码，并传输至服务端的接口；

所述服务端的接口接收到数据后进行反编码，按照约定的数据顺序，将数据进行结构复原，数据复原后再进行存储，获得监控数据。

3.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述自适应数据压缩模式包括连续去重压缩模式和加权平均数据压缩模式。

4.根据权利要求3所述的一种混合云的监控数据压缩方法，其特征在于，所述不同场景包括：time>1和time≤1；

其中，time为监控数据采集上报周期，1为上报周期参考基数；time>1为长周期，time≤1为短周期。

5.根据权利要求4所述的一种混合云的监控数据压缩方法，其特征在于，所述自动匹配不同场景，包括：采用自适应数据压缩函数和数据重复度参数k进行判断；

当time＞1，数据重复度系数k>2，匹配所述连续去重压缩模式；

当load≤1，数据重复度系数k<2，匹配所述加权平均数据压缩模式。

6.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述自适应数据压缩函数：

其中，time为监控数据采集上报周期(0≤load≤10)，k为数据重复度系数。

7.根据权利要求6所述的一种混合云的监控数据压缩方法，其特征在于，所述连续去重压缩模式用于对周期长、状态稳定的监控数据进行压缩。

8.根据权利要求6所述的一种混合云的监控数据压缩方法，其特征在于，所述加权平均数据压缩模式用于对短周期内、数据状态起伏相对不稳定的监控数据进行压缩。

9.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述无结构化处理包括：对所述监控数据的结构体的字段进行去除。

10.一种混合云的监控数据压缩系统，其特征在于，包括：

数据结构处理模块，用于采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

数据恢复模块，用于将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

数据压缩模块，用于通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。