CN109088636A

CN109088636A - 一种数据处理方法、系统及电子设备和存储介质

Info

Publication number: CN109088636A
Application number: CN201810827830.XA
Authority: CN
Inventors: 关本西
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-07-25
Filing date: 2018-07-25
Publication date: 2018-12-25
Anticipated expiration: 2038-07-25
Also published as: CN109088636B

Abstract

本申请公开了一种数据处理方法、系统及一种电子设备和计算机可读存储介质，该方法包括：接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；重复上述步骤直至所述数据压缩命令对应的待压缩数据全部压缩完成。本申请提供的数据处理方法，提高了压缩数据的解压速度。

Description

一种数据处理方法、系统及电子设备和存储介质

技术领域

本申请涉及存储技术领域，更具体地说，涉及一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

在大数据时代，越来越多的数据需要越来越大的存储空间，对于存储介质出现了爆炸性需求。如何在同样的存储介质下，存储更多的内容成为目前存储技术发展的方向。目前已经产生了各种成熟并且效果良好的无损数据压缩存储方法，如gzip压缩算法等。

因此，如何提高压缩算法的性能是本领域技术人员需要解决的问题。

发明内容

本申请的目的在于提供一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质，提高了压缩算法的性能。

为实现上述目的，本申请提供了一种数据处理方法，包括：

S101：接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；

S102：从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；

S103：将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；

S104：重新进入S102直至所述数据压缩命令对应的待压缩数据全部压缩完成。

其中，所述确定定长压缩存储单元的目标长度和可补余最大长度，包括：

根据存储介质和存储主机的配置信息确定定长压缩存储单元的目标长度和可补余最大长度。

其中，将所述目标压缩数据压缩至目标定长压缩存储单元中，包括：

利用gzip压缩算法将所述目标压缩数据压缩至目标定长压缩存储单元中。

其中，还包括：

接收到数据解压命令后，根据所述定长压缩存储单元的目标长度将所述解压命令对应的压缩数据划分为N个子段；其中，N为正整数；

对N个所述子段并行执行解压操作。

为实现上述目的，本申请提供了一种数据处理系统，包括：

确定模块，用于接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；

提取模块，用于从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；

压缩模块，用于将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；

循环模块，用于判断所述数据压缩命令对应的待压缩数据是否全部压缩完成，若否，则重新启动所述提取模块的工作流程。

其中，所述确定模块具体为接收到数据压缩命令后，根据存储介质和存储主机的配置信息确定定长压缩存储单元的目标长度和可补余最大长度的模块。

其中，所述压缩模块具体为利用gzip压缩算法将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度的模块。

其中，还包括：

划分模块，用于接收到数据解压命令后，根据所述定长压缩存储单元的目标长度将所述解压命令对应的压缩数据划分为N个子段；其中，N为正整数；

解压模块，用于对N个所述子段并行执行解压操作。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述数据处理方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据处理方法的步骤。

通过以上方案可知，本申请提供的一种数据处理方法，包括：S101：接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；S102：从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；S103：将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；S104：重新进入S102直至所述数据压缩命令对应的待压缩数据全部压缩完成。

本申请提供的数据处理方法，使用定长的压缩存储单元存储压缩数据，在数据解压时可以根据压缩存储单元的长度对压缩数据进行分段，每一段的压缩数据并行执行解压操作，与现有技术中需按顺序进行解压操作的方案相比，解压速度得到了显著的提高，由此提高了存储产品的吞吐量，提升了产品性能和竞争力。本申请还公开了一种数据处理系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种数据处理方法的流程图；

图2为本申请实施例公开的另一种数据处理方法的流程图；

图3为本申请实施例公开的一种数据处理系统的结构图；

图4为本申请实施例公开的一种电子设备的结构图；

图5为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种数据处理方法，提高了压缩算法的性能。

参见图1，本申请实施例公开的一种数据处理方法的流程图，如图1所示，包括：

在具体实施中，处理器接收数据压缩命令，该数据压缩命令至少包括待压缩数据的地址，处理器根据该地址将待压缩数据传输至缓存，并确定定长压缩存储单元的长度和可补余最大长度。本实施例不对确定方式进行具体限定，例如，本领域技术人员可以根据实际情况手动设置该定长压缩存储单元的长度和可补余最大长度，也可以设置存储介质和主机配置信息中的任一者或两者与目标长度和可补余最大长度的对应关系，处理器根据当前的存储介质和存储主机的配置信息进行查询，还可以设置目标长度和可补余最大长度的计算规则，处理器根据当前的存储介质和存储主机的配置信息进行计算。

可以理解的是，本步骤默认预先设置了压缩率。例如，预先设置的压缩率为50％，定长压缩存储单元的长度为20k，可补余最大长度为2k。当上一步骤中的数据压缩命令对应的待压缩数据为100k时，本步骤提取的目标压缩数据为40k。

S103：将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度，并重新进入S102；

在上一步骤举出的例子中，在本步骤将40k的目标压缩数据压缩后存储至目标定长压缩存储单元中，可以理解的是，本步骤不对具体的压缩算法进行具体限定，本领域技术人员可以选择如gzip压缩算法等压缩算法。

由于实际的压缩率在一般情况下与预设的压缩率不一致，因此在目标定长压缩存储单元中会存在剩余长度。例如，实际压缩率为52％，则40k的目标压缩数据压缩后为19.2k，因此，当前目标定长压缩存储单元的剩余长度为0.8k。此时需要判断剩余长度是否大于可补余最大长度，由于0.8k小于2k，因此需要对该目标定长压缩存储单元的剩余长度进行补余操作，即可以将剩余长度都补0。

当剩余长度大于可补余最大长度时，例如，实际压缩率为60％，则40k的目标压缩数据压缩后为16k，剩余长度为4k，大于可补余最大长度2k，此时将剩余长度作为目标长度重新进入S102。即根据剩余长度4k和预设的压缩率50％选取8k的待压缩数据压缩至目标定长压缩存储单元中，若此时的压缩率仍为60％，则压缩后的数据为3.2k，此处的剩余长度为0.8k，小于2k，可进行补余操作。

S104：判断所述数据压缩命令对应的待压缩数据是否全部压缩完成，若是，则结束流程，若否，则重新进入S102。

当某一定长压缩存储单元存满后，需要判断数据压缩命令对应的待压缩数据是否全部压缩完成，若否则需要重新执行S102的步骤。在上述实际压缩率为60％的例子中，此时100k的待压缩数据已完成了48k的数据压缩，需要对剩余的52k数据进行相同的压缩操作。

本申请实施例提供的数据处理方法，使用定长的压缩存储单元存储压缩数据，在数据解压时可以根据压缩存储单元的长度对压缩数据进行分段，每一段的压缩数据并行执行解压操作，与现有技术中需按顺序进行解压操作的方案相比，解压速度得到了显著的提高，由此提高了存储产品的吞吐量，提升了产品性能和竞争力。

下面对上一实施例提供的数据压缩方法对应的解压方法进行详细介绍，具体的：

参见图2，本申请实施例提供的另一种数据处理方法的流程图，如图2所示，包括：

S201：接收到数据解压命令后，根据所述定长压缩存储单元的目标长度将所述解压命令对应的压缩数据划分为N个子段；其中，N为正整数；

S202：对N个所述子段并行执行解压操作。

在具体实施中，需要进行解压时，处理器将压缩数据读入缓存，并根据定长压缩存储单元的目标长度对压缩数据进行分段操作。在上一实施例所举出的例子中，即将压缩数据每20k分为一个子段，并对每一子段的压缩数据同时进行解压操作。可见，由于每个子段的解压操作并行执行，提高了解压操作的效率。

下面对本申请实施例提供的一种数据处理系统进行介绍，下文描述的一种数据处理系统与上文描述的一种数据处理方法可以相互参照。

参见图3，本申请实施例提供的一种数据处理系统的结构图，如图3所示，包括：

确定模块301，用于接收到数据压缩命令后，确定定长压缩存储单元的目标长度和可补余最大长度；

提取模块302，用于从所述数据压缩命令对应的待压缩数据中提取目标压缩数据；其中，所述目标压缩数据的长度为所述目标长度与预设的压缩率的乘积；

压缩模块303，用于将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度；

循环模块304，用于判断所述数据压缩命令对应的待压缩数据是否全部压缩完成，若否，则重新启动所述提取模块302的工作流程。

本申请实施例提供的数据处理系统，使用定长的压缩存储单元存储压缩数据，在数据解压时可以根据压缩存储单元的长度对压缩数据进行分段，每一段的压缩数据并行执行解压操作，与现有技术中需按顺序进行解压操作的方案相比，解压速度得到了显著的提高，由此提高了存储产品的吞吐量，提升了产品性能和竞争力。

在上述实施例的基础上，作为一种优选实施方式，所述确定模块具体为接收到数据压缩命令后，根据存储介质和存储主机的配置信息确定定长压缩存储单元的目标长度和可补余最大长度的模块。

在上述实施例的基础上，作为一种优选实施方式，所述压缩模块具体为利用gzip压缩算法将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度的模块。

在上述实施例的基础上，作为一种优选实施方式，还包括：

解压模块，用于对N个所述子段并行执行解压操作。

本申请还提供了一种电子设备，参见图4，本申请实施例提供的一种电子设备的结构图，如图4所示，包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时可以实现上述任一实施例所提供的数据处理方法的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现上述任一实施例所提供的数据处理方法的步骤。

本申请实施例提供的电子设备，使用定长的压缩存储单元存储压缩数据，在数据解压时可以根据压缩存储单元的长度对压缩数据进行分段，每一段的压缩数据并行执行解压操作，与现有技术中需按顺序进行解压操作的方案相比，解压速度得到了显著的提高，由此提高了存储产品的吞吐量，提升了产品性能和竞争力。

在上述实施例的基础上，作为优选实施方式，参见图5，所述电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。具体的，在本实施例中，用户通过输入接口300输入定长压缩存储单元的目标长度、可补余最大长度和预设的压缩率等。

显示单元400，与处理器200相连，用于显示处理器200发送的数据。该显示单元400可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。具体的，在本实施例中，可以通过显示单元400显示压缩和解压操作的进度等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。具体的，在本实施例中，可以通过网络端口500向处理器200导入存储介质和主机配置信息中的任一者或两者与目标长度和可补余最大长度的对应关系等。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所提供的数据处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述数据处理方法，其特征在于，所述确定定长压缩存储单元的目标长度和可补余最大长度，包括：

3.根据权利要求1所述数据处理方法，其特征在于，将所述目标压缩数据压缩至目标定长压缩存储单元中，包括：

4.根据权利要求1-3任一项所述数据处理方法，其特征在于，还包括：

对N个所述子段并行执行解压操作。

5.一种数据处理系统，其特征在于，包括：

6.根据权利要求5所述数据处理系统，其特征在于，所述确定模块具体为接收到数据压缩命令后，根据存储介质和存储主机的配置信息确定定长压缩存储单元的目标长度和可补余最大长度的模块。

7.根据权利要求5所述数据处理系统，其特征在于，所述压缩模块具体为利用gzip压缩算法将所述目标压缩数据压缩至目标定长压缩存储单元中，并判断所述目标定长压缩存储单元的剩余长度是否大于所述可补余最大长度；若否，则进行补余操作；若是，则将所述剩余长度作为所述目标长度的模块。

8.根据权利要求5-7任一项所述数据处理系统，其特征在于，还包括：

解压模块，用于对N个所述子段并行执行解压操作。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据处理方法的步骤。