CN107436848A - 一种实现用户数据和压缩数据间转换的方法及装置 - Google Patents

Abstract

本发明公开了一种实现用户数据和压缩数据间转换的方法，包括：对压缩对象划分虚拟空间和物理空间；根据所述压缩对象的虚拟空间对应的主索引查找段索引；根据所述段索引查找由虚拟空间划分的段；根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；根据所述映射关系模型实现对用户数据和压缩数据间的转换。因此，利用本发明所提供的方法，在使用过程中，可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

Description

一种实现用户数据和压缩数据间转换的方法及装置

技术领域

本发明涉及数据实时压缩领域，特别是涉及一种实现用户数据和压缩数据间转换的方法及装置。

背景技术

随着科学技术的发展，移动互联网和大数据概念的迅速崛起，越来越多的数据充斥在我们生活中，因此对于如何管理这些数据就显得尤为重要。

近年来，常见的一种管理数据的方式为对数据进行压缩管理，压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制是一种很方便的发明，尤其是对网络用户，因为它可以减小文件的字节总数，使文件能够通过较慢的互联网连接实现更快传输，此外还可以减少文件的磁盘占用空间。这种操作的方式可以让需要存储的数据，例如图像、视频等占用容量大的多媒体数据在无损或少量损失的情况下占用更少的内存，方便对大量数据的管理。

现有的压缩方式为先将数据写入存储设备，然后再使用压缩工具对数据进行压缩，之后再将压缩前的数据删除，使用压缩数据的时候需要先解压，再使用，这种方式效率低下，无法有效地对压缩前后的数据进行转换，缺少对数据合理的管理，占用大量的系统资源，耗费使用者大量的时间。

因此，如何提供一种有效解决在进行压缩数据的过程中，对数据的进行转换，以便合理管理的方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种实现用户数据和压缩数据间转换的方法及装置，以解决在对数据压缩过程中，无法有效的对数据进行转换从而管理的问题。

为解决上述技术问题，本发明提供一种实现用户数据和压缩数据间转换的方法，包括：

对压缩对象划分虚拟空间和物理空间；

根据所述压缩对象的虚拟空间对应的主索引查找段索引；

根据所述段索引查找由虚拟空间划分的段；

根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；

根据所述映射关系模型实现对用户数据和压缩数据间的转换。

其中，在根据所述段的可写块地址映射到物理空间之前，该方法进一步包括：

响应用户对所述段的大小进行配置的配置指令，对所述段的大小进行配置。

其中，所述物理空间为固定大小的块。

其中，所述主索引的储存信息还包括：

储存压缩对象的健康状态和/或空闲块。

其中，所述根据所述压缩对象的虚拟空间相应的主索引查找段索引为：

响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令，根据日志地图追踪写入的数据并在所述段索引中进行记录。

本发明还提供一种实现用户数据和压缩数据间转换的装置，包括：

空间划分模块：用于对压缩对象划分虚拟空间和物理空间；

第一索引模块：用于根据所述压缩对象的虚拟空间相应的主索引查找段索引；

第二索引模块：用于根据所述段索引查找由虚拟空间划分的段；

映射建立模块：用于根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；

转换实现模块：用于根据所述映射关系模型实现对用户数据和压缩数据间的转换。

其中，所述装置进一步包括：

配置段模块：用于响应用户对所述段的大小进行配置的指令，对所述段的大小进行配置。

其中，所述物理空间为固定大小的块。

其中，所述主索引的储存信息还包括：

储存压缩对象的健康状态和/或空闲块。

其中，所述根据所述压缩对象的虚拟空间相应的主索引查找段索引为：

响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令，根据日志地图追踪写入的数据并在所述段索引中进行记录。

相对于上述背景技术，本发明所提供的一种实现用户数据和压缩数据间转换的方法，包括：对压缩对象划分虚拟空间和物理空间；根据所述压缩对象的虚拟空间对应的主索引查找段索引；根据所述段索引查找由虚拟空间划分的段；根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；根据所述映射关系模型实现对用户数据和压缩数据间的转换。

本发明实施例的优点在于基于实时压缩的方法，首先对压缩对象划分不同的虚拟空间和物理空间，在根据压缩对象相应的主索引查找段索引，再根据段索引查找段，最后根据段中的可写块地址映射到物理空间，从而建立虚拟空间到物理空间的映射关系模型实现对用户数据和压缩数据间的转换。在另一种优选地实施例中，使用过程中，在物理空间被拆分为段时，还可以对段的大小进行配置，极大提高了实用性。

因此，利用本发明所提供的方法，在使用过程中，可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例第一具体实施方式流程图；

图2为CO与VS/PS关系示意图；

图3为VS空间按段划分示意图；

图4为本发明实施例第二具体实施方式流程图；

图5为本发明实施例第一种装置示意图；

图6为本发明实施例第二种装置示意图。

具体实施方式

本发明的核心是提供一种实现用户数据和压缩数据间转换的方法，以解决在对数据压缩过程中，无法有效的对数据进行转换从而管理的问题。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请发明人经过研究发现，现有技术中，在对用户数据进行压缩处理的时候，采用的方法是先将用户数据写入存储设备，再进行压缩处理生成压缩数据，并将原始数据删除，这种方法无法对数据进行有效合理的管理，在压缩过程中，耗费了大量的系统资源，浪费大量的存储空间和存储成本，存储系统的性能不高。鉴于此，本申请发明人通过提供一种实现用户数据和压缩数据间转换的方法，有效解决对数据转换管理的问题。

实施例一：

请参考图1，为本发明实施例第一具体实施方式流程图，具体包括:

步骤101：对压缩对象划分虚拟空间和物理空间。

常见的压缩技术是先将数据写入存储设备，然后使用压缩工具进行压缩，再将原始数据删除，使用的时候再将压缩数据解压，这种方法使用广泛，但是效率低下，尤其耗费大量的系统资源。实时压缩是一种对数据先压缩再写入的技术，读取时直接读取压缩数据再解压后返回，整个压缩过程和解压缩过程对于用户来说都是透明的，相比传统方法减少了中间环节，降低了系统资源的消耗。

在该步骤中，首先定义一个压缩对象(CO)，存储压缩后的对象，然后，定义一个虚拟空间(VS)，表示CO的用户视图，其次，再定义一个物理空间(PS)，表示CO的实际存储视图。利用实时压缩引擎将PS分割为固定大小的块，如图2所示，为CO与VS/PS关系示意图。

步骤102：根据所述压缩对象的虚拟空间对应的主索引查找段索引。

在该步骤中，为了查找段索引，压缩引擎还需要维护一个主索引(MI)，以查找每个段的索引，根据压缩对象的虚拟空间相应的主索引查找段索引为：响应根据日志地图(logmap)追踪写入的数据(log)并在段索引中进行记录的指令，根据日志地图追踪写入的数据并在段索引中进行记录。

每个CO都有一个对应的MI，同时MI中也会存储CO的其他属性信息，比如CO的健康状态，空闲的Blocks等等。

步骤103：根据所述段索引查找由虚拟空间划分的段。

在该步骤中，对于用户侧来说，每次写入数据(log)都是写入VS，实时压缩引擎负责在内存中使用特殊的map追踪写入的数据，这些信息也会以索引的形式存储在磁盘上。每个CO的VS被拆分为相等大小的段(Segments)，每个段默认大小为64MB，该大小是可以配置的。如图3所示为VS空间按段划分示意图。

步骤104：根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型。

每个段都有属于自己的索引(index)，并且每个段分配有一个PS的可写块地址(Writable Block Address，简称WBA)，所有的压缩数据按32KB分割为固定的块并依次追加写入到可写块地址之后，每次写入在段索引中都会有对应的一个记录。

步骤105：根据所述映射关系模型实现对用户数据和压缩数据间的转换。

在该步骤中，通过对压缩对象划分对应的VS和PS，利用CO对应的主索引MI，查找段索引SI，再根据SI查找段，最后根据段里的WBA映射到物理空间PS，建立从VS到PS的映射关系模型，再通过VS到PS的映射关系模型建立用户数据到压缩数据间的映射关系模型，实现两种数据间的转换。

由此可见，利用本发明所提供的方法，在使用过程中，可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

实施例二：

参考图4，为本发明实施例第二具体实施方式流程图，具体包括:

步骤401：对压缩对象划分虚拟空间和物理空间。

步骤402：根据所述压缩对象的虚拟空间对应的主索引查找段索引。

步骤403：根据所述段索引查找由虚拟空间划分的段。

步骤404：响应用户对所述段的大小进行配置的配置指令，对所述段的大小进行配置。

在该步骤中，用户可以对段的大小进行配置，选择合适的段的大小。例如，在默认中段的大小为64MB，用户除了在选择64MB之外，可以另外选择其他数值的段大小，系统在接收用户对段大小的配置。

步骤405：根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型。

步骤406：根据所述映射关系模型实现对用户数据和压缩数据间的转换。

由此可见，利用本发明所提供的方法，在使用过程中，不仅可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，还可以对段的大小进行配置，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

相应地，本发明实施例还提供了一种实现用户数据和压缩数据间转换的装置，下面对本发明实施例提供的一种实现用户数据和压缩数据间转换的装置进行介绍，下文描述的装置与上文描述的一种实现用户数据和压缩数据间转换的方法可相互对应参照。

实施例三：

请参考图5，为本发明实施例第一种装置示意图，具体包括：

空间划分模块501：用于对压缩对象划分虚拟空间和物理空间。

首先定义一个压缩对象(CO)，存储压缩后的对象，然后，定义一个虚拟空间(VS)，表示CO的用户视图，其次，再定义一个物理空间(PS)，表示CO的实际存储视图。实时压缩引擎将PS分割为固定大小的块，如图2所示，为CO与VS/PS关系示意图。

第一索引模块502：用于根据所述压缩对象的虚拟空间相应的主索引查找段索引。

为了查找段索引，压缩引擎还需要维护一个主索引(MI)，以查找每个段的索引，根据压缩对象的虚拟空间相应的主索引查找段索引为：响应根据日志地图(log map)追踪写入的数据(log)并在段索引中进行记录的指令，根据日志地图追踪写入的数据并在段索引中进行记录。

第二索引模块503：用于根据所述段索引查找由虚拟空间划分的段。

对于用户侧来说，每次写入数据(log)都是写入VS，实时压缩引擎负责在内存中使用特殊的map追踪写入的数据，这些信息也会以索引的形式存储在磁盘上。每个CO的VS被拆分为相等大小的段(Segments)，每个段默认大小为64MB，该大小是可以进行配置的。如图3所示为VS空间按段划分示意图。

映射建立模块504：用于根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型。

每个段都有属于自己的索引(index)，并且每个段分配有一个PS的可写块地址(Writable Block Address，简称WBA)，所有的压缩数据按32KB分割为固定的块并依次追加写入到可写块地址之后，每次写入在段索引中都会有对应的一个记录。

转换实现模块505：用于根据所述映射关系模型实现对用户数据和压缩数据间的转换。

通过对压缩对象划分对应的VS和PS，利用CO对应的主索引MI，查找段索引SI，再根据SI查找段，最后根据段里的WBA映射到物理空间PS，建立从VS到PS的映射关系模型，再通过VS到PS的映射关系模型建立用户数据到压缩数据间的映射关系模型，实现两种数据间的转换。

由此可见，利用本发明实施例所提供的装置，在使用过程中，可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

实施例四：

请参考图6，为本发明实施例第二种装置示意图，具体包括：

空间划分模块601：用于对压缩对象划分虚拟空间和物理空间。

第一索引模块602：用于根据所述压缩对象的虚拟空间相应的主索引查找段索引。

第二索引模块603：用于根据所述段索引查找由虚拟空间划分的段。

配置段模块604：用于响应用户对所述段的大小进行配置的配置指令，对所述段的大小进行配置。

用户可以对段的大小进行配置，选择合适的段的大小。例如，在默认中段的大小为64MB，用户除了在选择64MB之外，可以另外选择其他数值的段大小，系统在接收用户对段大小的配置。

映射建立模块605：用于根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型。

转换实现模块606：用于根据所述映射关系模型实现对用户数据和压缩数据间的转换。

由此可见，利用本发明实施例所提供的装置，在使用过程中，不仅可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型，还可以对段的大小进行配置，实现对数据的转换，合理管理数据，提高存储系统的性能，降低存储空间和存储成本，有效节约了系统资源的消耗。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种实现用户数据和压缩数据间转换的方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种实现用户数据和压缩数据间转换的方法，其特征在于，包括：

对压缩对象划分虚拟空间和物理空间；

根据所述压缩对象的虚拟空间对应的主索引查找段索引；

根据所述段索引查找由虚拟空间划分的段；

根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；

根据所述映射关系模型实现对用户数据和压缩数据间的转换。

2.如权利要求1所述的方法，其特征在于，在根据所述段的可写块地址映射到物理空间之前，该方法进一步包括：

响应用户对所述段的大小进行配置的配置指令，对所述段的大小进行配置。

3.如权利要求2所述的方法，其特征在于，所述物理空间为固定大小的块。

4.如权利要求3所述的方法，其特征在于，所述主索引的储存信息还包括：

储存压缩对象的健康状态和/或空闲块。

5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述压缩对象的虚拟空间对应的主索引查找段索引为：

响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令，根据日志地图追踪写入的数据并在所述段索引中进行记录。

6.一种实现用户数据和压缩数据间转换的装置，其特征在于，包括：

空间划分模块：用于对压缩对象划分虚拟空间和物理空间；

第一索引模块：用于根据所述压缩对象的虚拟空间相应的主索引查找段索引；

第二索引模块：用于根据所述段索引查找由虚拟空间划分的段；

映射建立模块：用于根据所述段的可写块地址映射到物理空间，建立虚拟空间到物理空间的映射关系模型；

转换实现模块：用于根据所述映射关系模型实现对用户数据和压缩数据间的转换。

7.如权利要求6所述的装置，其特征在于，所述装置进一步包括：

配置段模块：用于响应用户对所述段的大小进行配置的指令，对所述段的大小进行配置。

8.如权利要求7所述的装置，其特征在于，所述物理空间为固定大小的块。

9.如权利要求8所述的装置，其特征在于，所述主索引的储存信息还包括：

储存压缩对象的健康状态和/或空闲块。

10.如权利要求6-9任一项所述的装置，其特征在于，所述第一索引模块根据所述压缩对象的虚拟空间对应的主索引查找段索引包括：

响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令，根据日志地图追踪写入的数据并在所述段索引中进行记录。