CN114449052B - 一种数据压缩方法、装置、电子设备及存储介质 - Google Patents

一种数据压缩方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114449052B
CN114449052B CN202210107052.3A CN202210107052A CN114449052B CN 114449052 B CN114449052 B CN 114449052B CN 202210107052 A CN202210107052 A CN 202210107052A CN 114449052 B CN114449052 B CN 114449052B
Authority
CN
China
Prior art keywords
data
plug
target
service
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210107052.3A
Other languages
English (en)
Other versions
CN114449052A (zh
Inventor
张立鹏
赵程程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210107052.3A priority Critical patent/CN114449052B/zh
Publication of CN114449052A publication Critical patent/CN114449052A/zh
Application granted granted Critical
Publication of CN114449052B publication Critical patent/CN114449052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种数据压缩方法、装置、电子设备及存储介质。该方法包括：获取来自于业务终端的原始业务数据，其中，所述业务终端是与所述云服务系统具有连接关系的终端；调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据；确定所述目标业务数据待写入的目标插件，其中，所述目标插件为部署在所述云服务系统中的插件；将所述目标业务数据写入所述目标插件。本申请实施例提供的压缩方法能够在数据存储前调用数据压缩插件对业务数据进行压缩，能够降低后端的业务压力，且保证后端的服务效率，以及数据的实时使用。

Description

一种数据压缩方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理领域，尤其涉及一种数据压缩方法、装置、电子设备及存储介质。
背景技术
随着Open stack集群规模越来越大，监控数据、业务数据呈现指数级增长，给后期计算、存储资源扩容带来了极大的考验。如何稳定、永久存储监控数据和业务数据，快速查询热数据与历史数据一直是大规模云计算集群存在的问题。
目前对业务数据的压缩处理均是在后端进行，依靠分布式、集中式的存储实现数据存储功能，然而面临业务数据的存储量增大时，后端会对存储的数据进行压缩，导致后端的服务效率降低，无法保证数据的实时使用。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据压缩方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种数据压缩方法，应用于云服务系统，所述方法包括：
获取来自于业务终端的原始业务数据，其中，所述业务终端是所述云服务系统具有连接关系的终端；
调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
确定所述目标业务数据待写入的目标插件，其中，所述目标插件为部署在所述云服务系统中的插件；
将所述目标业务数据写入所述目标插件。
进一步的，在获取来自于业务终端的原始业务数据之前，所述方法还包括：
接收插件使用请求，其中，所述插件使用请求用于请求使用数据压缩插件；
解析所述插件使用请求，得到插件认证信息；
在确定所述插件认证信息认证通过的情况下，激活部署于所述云服务系统中的数据压缩插件。
进一步的，所述获取来自于业务终端的原始业务数据，包括：
获取作用于所述数据压缩插件的配置操作；
基于所述配置操作，将所述数据压缩插件对外提供的服务接口与所述业务终端对接，并基于所述服务接口获取来自于业务终端的原始业务数据。
进一步的，所述调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
调用所述数据压缩插件解析所述原始业务数据，得到所述原始业务数据对应的数据类型；
根据所述数据类型对应的压缩操作对所述原始业务数据进行压缩，得到压缩后的目标业务数据。
进一步的，所述根据所述数据类型对应的压缩操作对所述原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
在所述数据类型用于指示所述原始业务数据属于非实时使用类型的情况下，对所述原始业务数据进行切分，得到多个不同数据长度的原始子数据；
对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据；
基于所述目标子数据生成的压缩后的目标业务数据。
进一步的，所述方法还包括：
在所述数据类型用于指示所述原始业务数据属于实时使用类型的情况下，不再对所述原始业务数据执行压缩操作，并将所述原始业务数据存储至对应的目标插件。
进一步的，所述将所述目标业务数据写入所述目标插件，包括：
将所述目标业务数据中的目标子数据写入预设长度的初始数据块，得到目标数据块，其中，所述预设长度与所述目标子数据的数据长度相同；
将所述目标数据块写入所述目标插件。
根据本申请实施例的再一个方面，还提供了一种数据压缩装置，包括：
获取模块，用于获取来自于业务终端的原始业务数据，其中，所述业务终端是与云服务系统具有连接关系的终端；
压缩模块，用于调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
确定模块，用于确定所述目标业务数据待写入的目标插件，其中，所述目标插件为部署在所述云服务系统中的插件；
处理模块，用于将所述目标业务数据写入所述目标插件。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的压缩方法能够在数据存储前调用数据压缩插件对业务数据进行压缩，能够降低后端的业务压力，且保证后端的服务效率，以及数据的实时使用。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据压缩方法的流程图；
图2为本申请实施例提供的一种数据压缩过程的示意图；
图3为本申请实施例提供的一种数据压缩装置的框图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数据压缩方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种数据压缩方法的方法实施例。图1为本申请实施例提供的一种数据压缩方法的流程图，如图1所示，该方法包括：
步骤S11，获取来自于业务终端的原始业务数据，其中，业务终端是与云服务系统具有连接关系的终端。
本申请实施例提供的方法应用于云服务系统，云服务系统与多个业务终端之间通信连接，具体的，云服务系统可以接收业务终端发送的通信请求，根据通信请求对业务终端进行认证，在对业务终端认证通过的情况下，建立云服务系统与业务终端之间的通信链路，基于该通信链路实现业务终端与云服务系统之间的通信。
在本申请实施例中，在获取来自于业务终端的原始业务数据之前，方法还包括以下步骤A1-A3：
步骤A1，接收插件使用请求，其中，插件使用请求用于请求使用数据压缩插件。
在本申请实施例中，开发人员可以在云服务系统中部署数据压缩插件，具体的，可以在云服务系统中创建插件使用请求，插件使用请求用于请求使用云服务系统中的数据压缩插件，插件使用请求携带插件认证信息。
步骤A2，解析插件使用请求，得到插件认证信息。
在本申请实施例中，云服务系统可以从插件认证信息中解析出插件的版本号以及有效期等等。其中插件认证信息可以是开发人员在创建插件使用请求时自动生成的。
步骤A3，在确定插件认证信息认证通过的情况下，激活部署于云服务系统中的数据压缩插件。
在本申请实施例中，云服务系统在得到插件认证信息后，会对插件认证信息进行认证，例如云服务系统确定当前部署的数据压缩插件的版本号是否与插件使用请求中携带的版本号相同，如果版本号相同，且在有效期内的情况下，则云服务系统就激活部署于云服务系统中的数据压缩插件。
在本申请实施例中，步骤S11，获取来自于业务终端的原始业务数据，包括以下步骤B1-B2：
步骤B1，获取作用于数据压缩插件的配置操作。
在本申请实施例中，云服务系统在数据压缩插件激活后，对数据压缩插件进行配置，例如可以配置数据压缩插件的能够压缩的数据类型等等。
步骤B2，基于配置操作，将数据压缩插件对外提供的服务接口与业务终端对接，并基于服务接口获取来自于业务终端的原始业务数据。
在本申请实施例中，基于开发人员触发的配置操作，将数据压缩插件的服务接口与业务终端进行对接，然后基于服务接口获取来自于业务终端的原始业务数据。作为一个示例，业务终端与数据压缩插件对外提供的API接口进行对接后，业务终端中产生的各种数据均会先经过该数据压缩插件进行压缩后再进行数据写入。
步骤S12，调用数据压缩插件对原始业务数据进行压缩，得到压缩后的目标业务数据。
在本申请实施例中，步骤S12，调用数据压缩插件对原始业务数据进行压缩，得到压缩后的目标业务数据，包括以下步骤C1-C2：
步骤C1，调用数据压缩插件解析原始业务数据，得到原始业务数据对应的数据类型。
在本申请实施例中，调用数据压缩插件的服务接口接收来自于业务终端的原始业务数据，然后调用数据压缩插件解析原始业务数据，得到原始业务数据对应的数据类型。其中数类型包括：非实时使用类型和实时使用类型。例如：非实时使用类型的业务数据包括：监控视频数据等等。实时使用类型的业务数据包括：网站访问数据等等。
步骤C2，根据数据类型对应的压缩操作对原始业务数据进行压缩，得到压缩后的目标业务数据。
在本申请实施例中，步骤C2，根据数据类型对应的压缩操作对原始业务数据进行压缩，得到压缩后的目标业务数据，包括以下步骤C201-C203：
步骤C201，在数据类型用于指示原始业务数据属于非实时使用类型的情况下，对原始业务数据进行切分，得到多个不同数据长度的原始子数据。
步骤C202，对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据。
步骤C203，基于目标子数据生成的压缩后的目标业务数据。
在本申请实施例中，在云服务器确定数据类型用于指示原始业务数据属于非实时使用类型的情况下，对原始业务数据进行切分，得到多个不同数据长度的原始子数据。其中，通过对原始业务数据进行切分得到多个不同数据长度的原始子数据，目的是使用不同长度切分数据，保证业务数据压缩的不规则性，提高了数据存储的安全。
在本申请实施例中，再将原始子数据压缩成相同长度的目标子数据，并基于目标子数据生成的压缩后的目标业务数据，以使压缩后的数据不易破解。保证了数据存储的安全性。
本申请通过使用数据压缩插件能够实现在数据写入前对业务数据实时压缩，对业务数据没有损坏，属于无损压缩插件。另外数据压缩插件在进行数据压缩时对用户及用户层面是透明的。不会改变数据的属性，同时还可以满足用户的可靠性，可扩展性，高性能的要求。
步骤S13，确定目标业务数据待写入的目标插件，其中，目标插件为部署在云服务系统中的插件。
在本申请实施例中，目标插件可以是部署在云服务系统中的存储插件，存储插件用于存储云服务系统接收的各种不同类型的业务数据。具体的，云服务系统可以接收插件配置请求，插件配置请求中携带插件的插件版本信息以及插件部署信息，云服务系统可以从插件配置请求获取插件版本信息，并对插件版本信息进行认证从而确定插件的有效期以及来源，如果插件的有效期大于预设时长，且来源与预设来源(预设来源可以是工作人员预先配置好的正规渠道)相匹配则确定认证通过。在云服务系统在确定插件认证通过的情况下，会对根据插件部署信息进行插件部署操作。
步骤S14，将目标业务数据写入目标插件。
在本申请实施例中，云服务系统在得到对原始业务数据压缩后的目标业务数据后，会查询目标业务数据对应的目标业务，然后云服务系统中获取目标业务对应的目标插件，然后将目标业务数据写入目标插件。
作为一个示例，云服务系统中部署有多个不同业务对应的插件，当存在压缩完的业务数据时，可以将压缩完的数据写入其所属业务对应的目标插件中。
在本申请实施例中，步骤S14，将目标业务数据写入目标插件，包括以下步骤D1-D2：
步骤D1，将目标业务数据中的目标子数据写入预设长度的初始数据块，得到目标数据块，其中，预设长度与目标子数据的数据长度相同。
步骤D2，将目标数据块写入目标插件。
在本申请实施例中，云服务系统在将目标业务数据写入目标插件的过程中，首先将目标业务数据中的各个目标子数据写入预设长度的初始数据块，得到目标数据块，然后将目标数据块存储至目标插件。
需要说明的是，本申请实施例中的实时数据压缩方法是基于随机访问压缩引擎实现的，该引擎是集成在Open stack系统，它不会改变系统数据的属性。该实时压缩技术基于这种压缩引擎采用无损数据压缩算法，能够动态地对业务数据进行压缩，实现了业务数据的在线实时压缩，并在业务数据写入插件之前就已经完成了压缩工作，提高了数据压缩的效率，同时保证了压缩数据的安全性。
作为一个示例，如图2所示，云服务系统可以是调用数据压缩插件对原始业务数据进行切分，得到不同长度的原始子数据1、原始子数据2、原始子数据3、原始子数据4、原始子数据5、原始子数据6以及原始子数据7。然后将原始子数据1-7分别压缩至相同长度的目标子数据1-7，得到最终的目标业务数据，然后将目标业务数据中的各个目标子数据写入相同长度的初始数据块中，得到目标数据块1-7。
在本申请实施例中，方法还包括：在数据类型用于指示原始业务数据属于实时使用类型的情况下，不再对原始业务数据执行压缩操作，并将原始业务数据存储至对应的目标插件。
本申请实施例提供的压缩方法能够在数据存储前调用数据压缩插件对业务数据进行压缩，能够降低后端的业务压力，且保证后端的服务效率，以及数据的实时使用。
图3为本申请实施例提供的一种数据压缩装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，该装置包括：
获取模块31，用于获取来自于业务终端的原始业务数据，其中，业务终端是云服务系统具有连接关系的终端。
压缩模块32，用于调用数据压缩插件对原始业务数据进行压缩，得到压缩后的目标业务数据。
确定模块33，用于确定目标业务数据待写入的目标插件，其中，目标插件为部署在云服务系统中的插件。
处理模块34，用于将目标业务数据写入目标插件。
在本申请实施例中，数据压缩装置还包括：解析模块，用于接收插件使用请求，其中，插件使用请求用于请求使用数据压缩插件；解析插件使用请求，得到插件认证信息；在确定插件认证信息认证通过的情况下，激活部署于云服务系统中的数据压缩插件。
在本申请实施例中，获取模块31，用于获取作用于数据压缩插件的配置操作；基于配置操作，将数据压缩插件对外提供的服务接口与业务终端对接，并基于服务接口获取来自于业务终端的原始业务数据。
在本申请实施例中，压缩模块32，包括：
调用子模块，用于调用数据压缩插件解析原始业务数据，得到原始业务数据对应的数据类型；
执行子模块，用于根据数据类型对应的压缩操作对原始业务数据进行压缩，得到压缩后的目标业务数据。
在本申请实施例中，执行子模块，用于在数据类型用于指示原始业务数据属于非实时使用类型的情况下，对原始业务数据进行切分，得到多个不同数据长度的原始子数据；对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据；基于目标子数据生成的压缩后的目标业务数据。
在本申请实施例中，数据压缩装置还包括：在数据类型用于指示原始业务数据属于实时使用类型的情况下，不再对原始业务数据执行压缩操作，并将原始业务数据存储至对应的目标插件。
在本申请实施例中，处理模块34，用于将目标业务数据中的目标子数据写入预设长度的初始数据块，得到目标数据块，其中，预设长度与目标子数据的数据长度相同；将目标数据块写入目标插件
本申请实施例还提供一种电子设备，如图4所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据压缩方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行下述数据压缩方法：
获取来自于业务终端的原始业务数据，其中，业务终端是云服务系统具有连接关系的终端；
调用数据压缩插件对原始业务数据进行压缩，得到压缩后的目标业务数据；
确定目标业务数据待写入的目标插件，其中，目标插件为部署在云服务系统中的插件；
将目标业务数据写入目标插件。
进一步的，在获取来自于业务终端的原始业务数据之前，方法还包括：
接收插件使用请求，其中，插件使用请求用于请求使用数据压缩插件；
解析插件使用请求，得到插件认证信息；
在确定插件认证信息认证通过的情况下，激活部署于云服务系统中的数据压缩插件。
进一步的，获取来自于业务终端的原始业务数据，包括：
获取作用于数据压缩插件的配置操作；
基于配置操作，将数据压缩插件对外提供的服务接口与业务终端对接，并基于服务接口获取来自于业务终端的原始业务数据。
进一步的，调用数据压缩插件对原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
调用数据压缩插件解析原始业务数据，得到原始业务数据对应的数据类型；
根据数据类型对应的压缩操作对原始业务数据进行压缩，得到压缩后的目标业务数据。
进一步的，根据数据类型对应的压缩操作对原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
在数据类型用于指示原始业务数据属于非实时使用类型的情况下，对原始业务数据进行切分，得到多个不同数据长度的原始子数据；
对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据；
基于目标子数据生成的压缩后的目标业务数据。
进一步的，方法还包括：
在数据类型用于指示原始业务数据属于实时使用类型的情况下，不再对原始业务数据执行压缩操作，并将原始业务数据存储至对应的目标插件。
进一步的，将目标业务数据写入目标插件，包括：
将目标业务数据中的目标子数据写入预设长度的初始数据块，得到目标数据块，其中，预设长度与目标子数据的数据长度相同；
将目标数据块写入目标插件。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种数据压缩方法，应用于云服务系统，其特征在于，所述方法包括：
获取来自于业务终端的原始业务数据，其中，所述业务终端是与所述云服务系统具有连接关系的终端；
调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
确定所述目标业务数据待写入的目标插件，其中，所述目标插件为部署在所述云服务系统中的插件；
将所述目标业务数据写入所述目标插件；
所述调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
调用所述数据压缩插件解析所述原始业务数据，得到所述原始业务数据对应的数据类型，其中，所述数据类型包括：非实时使用类型和实时使用类型；
根据所述数据类型对应的压缩操作对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
所述根据所述数据类型对应的压缩操作对所述原始业务数据进行压缩，得到压缩后的目标业务数据，包括：
在所述数据类型用于指示所述原始业务数据属于非实时使用类型的情况下，对所述原始业务数据进行切分，得到多个不同数据长度的原始子数据；
对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据；
基于所述目标子数据生成的压缩后的目标业务数据；
所述方法还包括：
在所述数据类型用于指示所述原始业务数据属于实时使用类型的情况下，不再对所述原始业务数据执行压缩操作，并将所述原始业务数据存储至对应的目标插件。
2.根据权利要求1所述的方法，其特征在于，在获取来自于业务终端的原始业务数据之前，所述方法还包括：
接收插件使用请求，其中，所述插件使用请求用于请求使用数据压缩插件；
解析所述插件使用请求，得到插件认证信息；
在确定所述插件认证信息认证通过的情况下，激活部署于所述云服务系统中的数据压缩插件。
3.根据权利要求1所述的方法，其特征在于，所述获取来自于业务终端的原始业务数据，包括：
获取作用于所述数据压缩插件的配置操作；
基于所述配置操作，将所述数据压缩插件对外提供的服务接口与所述业务终端对接，并基于所述服务接口获取来自于业务终端的原始业务数据。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标业务数据写入所述目标插件，包括：
将所述目标业务数据中的目标子数据写入预设长度的初始数据块，得到目标数据块，其中，所述预设长度与所述目标子数据的数据长度相同；
将所述目标数据块写入所述目标插件。
5.一种数据压缩装置，其特征在于，包括：
获取模块，用于获取来自于业务终端的原始业务数据，其中，所述业务终端是云服务系统具有连接关系的终端；
压缩模块，用于调用数据压缩插件对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
确定模块，用于确定所述目标业务数据待写入的目标插件，其中，所述目标插件为部署在所述云服务系统中的插件；
处理模块，用于将所述目标业务数据写入所述目标插件；
所述压缩模块，用于调用所述数据压缩插件解析所述原始业务数据，得到所述原始业务数据对应的数据类型，其中，所述数据类型包括：非实时使用类型和实时使用类型；根据所述数据类型对应的压缩操作对所述原始业务数据进行压缩，得到压缩后的目标业务数据；
所述压缩模块，用于在所述数据类型用于指示所述原始业务数据属于非实时使用类型的情况下，对所述原始业务数据进行切分，得到多个不同数据长度的原始子数据；对多个不同长度的原始子数据进行压缩，得到多个相同数据长度的目标子数据；基于所述目标子数据生成的压缩后的目标业务数据；
所述压缩模块，用于在所述数据类型用于指示所述原始业务数据属于实时使用类型的情况下，不再对所述原始业务数据执行压缩操作，并将所述原始业务数据存储至对应的目标插件。
6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序在计算机运行时，由计算机执行上述权利要求1至4中任一项所述的方法。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至4中任一项所述的方法。
CN202210107052.3A 2022-01-28 2022-01-28 一种数据压缩方法、装置、电子设备及存储介质 Active CN114449052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210107052.3A CN114449052B (zh) 2022-01-28 2022-01-28 一种数据压缩方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210107052.3A CN114449052B (zh) 2022-01-28 2022-01-28 一种数据压缩方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114449052A CN114449052A (zh) 2022-05-06
CN114449052B true CN114449052B (zh) 2023-08-29

Family

ID=81371883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210107052.3A Active CN114449052B (zh) 2022-01-28 2022-01-28 一种数据压缩方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114449052B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244681A (zh) * 2011-07-19 2011-11-16 易程科技股份有限公司 传输数据的方法及系统
CN110287041A (zh) * 2019-06-28 2019-09-27 苏州亿歌网络科技有限公司 一种业务数据发送方法、装置、设备及存储介质
CN111190929A (zh) * 2019-12-27 2020-05-22 四川师范大学 数据存储查询方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244681A (zh) * 2011-07-19 2011-11-16 易程科技股份有限公司 传输数据的方法及系统
CN110287041A (zh) * 2019-06-28 2019-09-27 苏州亿歌网络科技有限公司 一种业务数据发送方法、装置、设备及存储介质
CN111190929A (zh) * 2019-12-27 2020-05-22 四川师范大学 数据存储查询方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114449052A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN107644075B (zh) 收集页面信息的方法和装置
CN113076251A (zh) 测试方法和装置
CN112653736B (zh) 一种并行回源方法、装置及电子设备
CN112559024A (zh) 一种生成交易码变更列表的方法和装置
CN114449052B (zh) 一种数据压缩方法、装置、电子设备及存储介质
CN115883647A (zh) 业务日志记录方法、系统、装置、终端、服务器及介质
CN111338928A (zh) 基于chrome浏览器测试的方法及装置
CN112379967B (zh) 模拟器检测方法、装置、设备及介质
CN112532734B (zh) 报文敏感信息检测方法和装置
CN114285774A (zh) 流量录制方法、装置、电子设备及存储介质
CN113742235A (zh) 一种校验代码的方法和装置
CN109067726B (zh) 建站系统识别方法、装置、电子设备及存储介质
CN112948195A (zh) 接口测试的方法、装置、电子设备和存储介质
CN113760693A (zh) 用于微服务系统的本地调试的方法和装置
CN111459819A (zh) 软件测试方法及装置、电子设备、计算机可读介质
CN112214500A (zh) 数据对比的方法、装置、电子设备和存储介质
CN110764995A (zh) 一种检测文件访问异常的方法、装置、介质和电子设备
CN111163088B (zh) 消息处理方法、系统、装置及电子设备
CN110784479B (zh) 一种数据校验方法、装置、电子设备及存储介质
CN107800707B (zh) 扩展thrift协议读取方法、读取装置以及电子设备
CN112527802B (zh) 基于键值数据库的软链接方法及装置
CN112749078B (zh) 一种埋点测试方法和装置
CN118092729B (zh) 一种基于微前端的微服务图标共享方法、设备及介质
CN109005084B (zh) 验证网络连接的方法、电子设备和计算机可读介质
CN115858267A (zh) 一种电路的测试方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant