CN110764707A - 数据处理方法及装置 - Google Patents

Abstract

本申请提供了一种数据处理方法及装置。其中该方法获取当前目标数据压缩请求；当前目标数据压缩请求包括当前目标数据；将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据；再将压缩模块输出的压缩数据存储至预设缓存空间中；预设缓存空间具有存储多个压缩数据的存储空间；若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置；若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。该方法中，与压缩模块存在绑定关系的预设缓存空间以叠加的方式来存储多个压缩数据，充分利用了缓存空间的存储资源。

Description

数据处理方法及装置

技术领域

本申请涉及数据传输技术领域，特别是涉及一种数据处理方法及装置。

背景技术

数据时代，每天都有大量的数据需要传输，这些数据需要保存到存储介质中以便使用，而大量数据的保存需要庞大的存储空间来进行存储。而此存储数据的方式成本太高。

目前，存在一种数据存储方法，通过使用压缩芯片对数据进行压缩，得到压缩数据，并为该每一个压缩数据分配一个的缓存空间，再将该压缩数据缓存至的缓存空间中，最后再将缓存空间中的压缩数据落盘至存储介质中。

但是，压缩数据的数据量是不可预测的，会导致所分配的缓存空间大于压缩数据的数据量的情况发生，从而造成缓存空间的资源浪费。

发明内容

有鉴于此，本申请实施例提供了一种数据处理方法，以解决缓存空间资源浪费的问题。另外，本申请还提供了一种数据处理装置，以实现上述方法在实际中的应用与实现。

为实现上述目的，本申请实施例提供如下技术方案：

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获取当前目标数据压缩请求；所述当前目标数据压缩请求包括当前目标数据；

将所述当前目标数据输入至预先分配的压缩模块中，通过所述压缩模块对所述当前目标数据进行数据压缩，得到压缩数据；

再将所述压缩模块输出的压缩数据存储至与所述压缩模块具有绑定关系的预设缓存空间中；

若所述压缩数据为首个压缩数据，则将所述压缩数据存储于所述预设缓存空间的起始存储位置；

若所述压缩数据不是首个压缩数据，则将所述压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

可选的，所述数据处理方法还包括：

若所述预设缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将所述下一个目标数据压缩请求作为当前目标数据压缩请求；

若所述缓存空间没有剩余存储空间，将所述缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为所述压缩模块重新分配与所述压缩模块具有绑定关系的预设缓存空间。

可选的，所述当前目标数据压缩请求存储于处理线程的请求队列，则所述方法还包括：

将所述请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

可选的，所述压缩数据还包括数据标识，则所述方法还包括：

若所述预设缓存空间中没有剩余存储空间时，输出所述预设缓存空间中存储的所有压缩数据的数据标识。

可选的，所述预设缓存空间是支持预设读写数量的存储介质。

第二方面，本申请提供了一种数据处理装置，所述装置包括：

请求获取模块，用于获取当前目标数据压缩请求；所述当前目标数据压缩请求包括目标数据；

数据压缩模块，用于将所述当前目标数据输入至预先分配的压缩模块中，通过所述压缩模块对所述当前目标数据进行数据压缩，得到压缩数据；

数据缓存模块，用于再将所述压缩模块输出的压缩数据存储至与所述压缩模块具有绑定关系的预设缓存空间中；

初始存储模块，用于若所述压缩数据为首个压缩数据，则将所述压缩数据存储于所述预设缓存空间的起始存储位置；

叠加存储模块，用于若所述压缩数据不是首个压缩数据，则将所述压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

可选的，所述数据处理装置还包括：

判断模块，用于判断所述预设缓存空间是否有剩余存储空间；若所述缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将所述下一个目标数据压缩请求作为当前目标数据压缩请求；若所述缓存空间没有剩余存储空间，将所述缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为所述压缩模块重新分配与所述压缩模块具有绑定关系的预设缓存空间。

可选的，所述当前目标数据压缩请求存储于处理线程的请求队列，则所述装置还包括：

排序模块，用于将所述请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

可选的，所述压缩数据还包括数据标识，则所述装置还包括：

标识输出模块，用于若所述预设缓存空间中没有剩余存储空间时，输出所述预设缓存空间中存储的所有压缩数据的数据标识。

可选的，所述预设缓存空间是支持预设读写数量的存储介质。

由上述技术方案可知，本申请提供了一种数据处理方法，该方法通过获取当前目标数据压缩请求；当前目标数据压缩请求包括当前目标数据；将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据；再将压缩模块输出的压缩数据存储至预设缓存空间中；预设缓存空间具有存储多个压缩数据的存储空间；若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置；若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。该方法中，与压缩模块存在绑定关系预设缓存空间以叠加的方式来存储多个压缩数据，充分利用了缓存空间的存储资源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请提供的数据处理方法的流程图；

图2示出了本申请提供的数据处理装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

数据传输领域中，存在着庞大的数据交互系统，对于数据而言，数据需要依赖于存储介质作为载体，作为保存数据的实现方式。

目前，存在一种保存数据的实现方式，将数据通过压缩芯片中的若干个压缩模块对多组数据进行压缩，以得到若干个压缩数据，且每个压缩模块都有对应的缓存空间，一个压缩数据存储于一个缓存空间中，当缓存空间到达一定数量时，将多个缓存空间结合成一定存储量的大缓存空间，通过该大缓存空间实现落盘。

但是，与压缩模块对应的缓存空间是固定大小的，且压缩数据的数据量是不可预测的，从而导致所分配的缓存空间的存储量大于压缩数据的数据量，以上述方式结合为大缓存空间后，会造成大量缓存空间的浪费。

为此，本申请实施例提供了一种数据处理方法。参见图1，该方法包括步骤S101-S104。其中：

S101：获取当前目标数据压缩请求；当前目标数据压缩请求包括当前目标数据。

当前目标数据压缩请求是将预先分割为预设大小的目标数据进行封装得到的。例如：某用户想压缩10M的数据，而压缩芯片仅支持的数据大小为8K的输入数据，基于此种情况，需要对10M的数据进行切分，以得到若干个小于或等于8K的目标数据，并将目标数据封装为目标数据压缩请求。

具体地，压缩芯片获取当前目标数据压缩请求，根据预设的解析方法，从该压缩请求中提取出当前目标数据。其中，预设的解析方法可以是任意一种实现方式，此处不再具体说明。

S102：将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据。

需要说明的是，压缩芯片中存在有若干个压缩模块，且每一个压缩模块都可以对任意一个目标数据进行压缩，因此，需要设置目标数据与某个压缩模块的对应关系，即为该目标数据分配一个压缩模块，由该压缩模块将该目标数据进行数据压缩。

具体地，检测所分配的压缩模块是否处于空闲状态，若压缩模块为空闲状态，则从当前目标数据压缩请求中解析出目标数据，并将目标数据输入至该压缩模块中，由该压缩模块对该目标数据进行数据压缩；若压缩模块为忙碌状态，则将该目标数据压缩请求进行排序。

在一个示例中，当前目标数据压缩请求存储于处理线程的请求队列，则方法还包括：

将请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

具体地，压缩芯片的驱动中还设置了处理线程，如polling线程；在该处理线程中建立请求队列，用于存储目标数据压缩请求，且存储的方式是依据目标数据压缩请求的请求时间进行排序存储。

S103：再将所述压缩模块输出的压缩数据存储至与所述压缩模块具有绑定关系的预设缓存空间中；所述预设缓存空间具有存储多个压缩数据的存储空间；

需要说明的是，压缩数据存储至预设缓存空间的过程是数据搬移的过程；预设缓存空间是用于缓存压缩数据的存储设备，如计算机内存或是其他存储设备，每一个预设缓存空间都有属于自己的标识信息，即该预设缓存空间的唯一标识，通过该唯一标识就能建立压缩数据搬移的目的地，从而实现数据搬移。例如，在通过DMA(Direct Memory Access，直接内存存取)方式实现数据搬移，该方式能够将预设缓存空间的标识信息作为目的地址，以通过DMA方式将数据搬移到预设缓存空间中。其中，标识信息可以是多种实现方式，例如：存储介质的逻辑块编号。

确定压缩数据搬移的目的地的过程就是建立压缩模块与预设缓存空间之间的绑定关系。

在一个示例中，预设缓存空间是支持预设读写数量的存储介质。

具体地，预设读写数量可以由管理人员设定，例如预设读写数量为100，则该预设缓存空间能够支持100个数据读写。

S104：若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置。

具体地，压缩数据在预设缓存空间中是按照缓存空间的存储地址顺序存储的，例如：预设缓存空间的存储地址为1-4096，且当前压缩数据为首个压缩数据，则将该压缩数据从存储地址为1开始存储，压缩数据所占用的存储空间等于1加上压缩数据的数据量。

S105：若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

具体地，若压缩数据不是首个压缩数据，则将压缩数据存储在前一个压缩数据所存储的存储地址后一位，例如：前一个压缩数据存储至1024，因此，该压缩数据便从1025开始存储，所占用的存储空间等于1025加上该压缩数据的数据量。

由上述技术方案可知，本申请提供了一种数据处理方法，该方法获取当前目标数据压缩请求；当前目标数据压缩请求包括当前目标数据；将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据；再将压缩模块输出的压缩数据存储至预设缓存空间中；预设缓存空间具有存储多个压缩数据的存储空间；若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置；若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。该方法中，与压缩模块存在绑定关系预设缓存空间以叠加的方式来存储多个压缩数据，充分利用了缓存空间的存储资源。

在一个示例中，数据处理方法，还可以包括如下步骤：

若预设缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将下一个目标数据压缩请求作为当前目标数据压缩请求；若缓存空间没有剩余存储空间，将缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为压缩模块重新分配与压缩模块具有绑定关系的预设缓存空间。

可以理解的是，预设缓存空间的存储空间是根据实际应用场景来分配的，例如：某个需要压缩的数据比较庞大时，所分配预设缓存空间的存储空间会多一些；目标数据比较小时，所分配存储介质的存储空间会少一些。

具体地，若预设缓存空间的存储空间有剩余，则继续处理请求队列中的排序最前的目标数据压缩请求，此时，若请求队列中没有目标数据压缩请求，则表示所需要压缩的目标数据以及压缩完成，将该预设缓存空间中的压缩数据全部搬移至另外一个存储介质中存储；若预设缓存空间的存储空间没有剩余时，将该预设缓存空间中的压缩数据全部搬移至另外一个存储介质中存储，由另外一个存储介质将压缩数据保存；此搬移过程结束之后，预设缓存空间中的压缩数据将被清空，并作为新的存储介质给任意一个压缩模块提供存储服务。

其中，与压缩模块具有绑定关系的存储介质用于缓存压缩数据(即暂时存储压缩数据)，而另一个存储介质是可以长期保存压缩数据的存储设备。例如：与压缩模块具有绑定关系的存储介质为buffer(内存)，而另一个存储介质为硬盘。

在一个示例中，压缩数据还包括数据标识，则该数据处理方法还包括：

若预设缓存空间中没有剩余存储空间时，输出预设缓存空间中存储的所有压缩数据的数据标识。

可以理解的是，目标数据包含数据标识，且经压缩模块执行数据压缩操作之后，并未对更改目标数据中的数据标识，因此，压缩数据也包含数据标识。

具体地，若预设缓存空间中没有剩余存储空间，则将预设缓存空间当前存储的所有压缩数据的数据标识输出，以此方式可得知该预设缓存空间中所存储的压缩数据对应的目标数据有哪些，进而方便后期对压缩数据的管理。

另外，当所需要压缩的目标数据均压缩完毕时，若预设缓存空间还有剩余存储空间，此种情况下，也将预设缓存空间当前存储的所有压缩数据的数据标识输出。

本申请实施例提供了一种数据处理装置。参见图2，该装置包括：请求获取模块201、数据压缩模块202、数据缓存模块203、初始存储模块204以及叠加存储模块205。其中：

请求获取模块201，用于获取当前目标数据压缩请求；当前目标数据压缩请求包括目标数据。

数据压缩模块202，用于将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据。

数据缓存模块203，用于再将压缩模块输出的压缩数据存储至与压缩模块具有绑定关系的预设缓存空间中。

初始存储模块204，用于若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置。

叠加存储模块205，用于若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

由上述技术方案可知，本申请提供了一种数据处理装置，该装置通过获取当前目标数据压缩请求；当前目标数据压缩请求包括当前目标数据；将当前目标数据输入至预先分配的压缩模块中，通过压缩模块对当前目标数据进行数据压缩，得到压缩数据；再将压缩模块输出的压缩数据存储至预设缓存空间中；预设缓存空间具有存储多个压缩数据的存储空间；若压缩数据为首个压缩数据，则将压缩数据存储于预设缓存空间的起始存储位置；若压缩数据不是首个压缩数据，则将压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。该装置中，与压缩模块存在绑定关系预设缓存空间以叠加的方式来存储多个压缩数据，充分利用了缓存空间的存储资源。在一个示例中，数据处理装置还包括：

判断模块，用于判断预设缓存空间是否有剩余存储空间；若缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将下一个目标数据压缩请求作为当前目标数据压缩请求；若缓存空间没有剩余存储空间，将缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为压缩模块重新分配与压缩模块具有绑定关系的预设缓存空间。

在一个示例中，当前目标数据压缩请求存储于处理线程的请求队列，则装置还包括：

排序模块，用于将请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

在一个示例中，压缩数据还包括数据标识，则装置还包括：

标识输出模块，用于若预设缓存空间中没有剩余存储空间时，输出预设缓存空间中存储的所有压缩数据的数据标识。

在一个示例中，存储介质是支持预设读写数量的存储介质。例如：存储介质是预设容量的存储介质，且该存储介质具有同时进行预设数量个读写操作。例如：能够同时进行100或100个以上的同时读写操作。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取当前目标数据压缩请求；所述当前目标数据压缩请求包括当前目标数据；

将所述当前目标数据输入至预先分配的压缩模块中，通过所述压缩模块对所述当前目标数据进行数据压缩，得到压缩数据；

再将所述压缩模块输出的压缩数据存储至与所述压缩模块具有绑定关系的预设缓存空间中；所述预设缓存空间具有存储多个压缩数据的存储空间；

若所述压缩数据为首个压缩数据，则将所述压缩数据存储于所述预设缓存空间的起始存储位置；

若所述压缩数据不是首个压缩数据，则将所述压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

若所述预设缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将所述下一个目标数据压缩请求作为当前目标数据压缩请求；

若所述缓存空间没有剩余存储空间，将所述缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为所述压缩模块重新分配与所述压缩模块具有绑定关系的预设缓存空间。

3.根据权利要求1所述的数据处理方法，其特征在于，所述当前目标数据压缩请求存储于处理线程的请求队列，则所述方法还包括：

将所述请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

4.根据权利要求1所述的数据处理方法，其特征在于，所述压缩数据还包括数据标识，则所述方法还包括：

若所述预设缓存空间中没有剩余存储空间时，输出所述预设缓存空间中存储的所有压缩数据的数据标识。

5.根据权利要求1所述的数据处理方法，其特征在于，所述预设缓存空间是支持预设读写数量的存储介质。

6.一种数据处理装置，其特征在于，包括：

请求获取模块，用于获取当前目标数据压缩请求；所述当前目标数据压缩请求包括目标数据；

数据压缩模块，用于将所述当前目标数据输入至预先分配的压缩模块中，通过所述压缩模块对所述当前目标数据进行数据压缩，得到压缩数据；

数据缓存模块，用于再将所述压缩模块输出的压缩数据存储至与所述压缩模块具有绑定关系的预设缓存空间中；

初始存储模块，用于若所述压缩数据为首个压缩数据，则将所述压缩数据存储于所述预设缓存空间的起始存储位置；

叠加存储模块，用于若所述压缩数据不是首个压缩数据，则将所述压缩数据存储于前一个压缩数据在预设缓存空间的存储位置的下一个存储位置。

7.根据权利要求6所述的数据处理装置，其特征在于，还包括：

判断模块，用于判断所述预设缓存空间是否有剩余存储空间；若所述缓存空间有剩余存储空间，则获取下一个目标数据压缩请求，并将所述下一个目标数据压缩请求作为当前目标数据压缩请求；若所述缓存空间没有剩余存储空间，将所述缓存介质中存储的压缩数据搬移至另一存储介质中存储，并为所述压缩模块重新分配与所述压缩模块具有绑定关系的预设缓存空间。

8.根据权利要求6所述的数据处理装置，其特征在于，所述当前目标数据压缩请求存储于处理线程的请求队列，则所述装置还包括：

排序模块，用于将所述请求队列中的目标数据压缩请求按照请求的先后顺序进行排序。

9.根据权利要求6所述的数据处理装置，其特征在于，所述压缩数据还包括数据标识，则所述装置还包括：

标识输出模块，用于若所述预设缓存空间中没有剩余存储空间时，输出所述预设缓存空间中存储的所有压缩数据的数据标识。

10.根据权利要求6所述的数据处理装置，其特征在于，所述预设缓存空间是支持预设读写数量的存储介质。

Images