CN103488584A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明的实施例公开了一种数据处理方法及装置，涉及信息技术领域，解决了精简池写满时，数据容易丢失的问题。具体方案为：判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区。本发明用于数据的处理。

Description

一种数据处理方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据处理方法及装置。

背景技术

自动精简配置技术(Thin Provisioning，TP)是从传统的空间分配方式演化而来的一种虚拟化存储技术，它将所有物理存储空间汇集到精简池中进行统一管理，精简池为精简配置系统底层的物理存储空间映射出的逻辑存储空间。精简逻辑单元号（Logic Unit Number，LUN）是精简池的存储单元，可以按照需求从精简池中获得物理存储空间。

当精简池写满时，缓存中可能还留有未能写入精简池的数据，而系统只能将这一部分数据留在缓存中，这会占用大量缓存，影响其他业务，而且留在缓存中的数据容易丢失，如果导致数据不一致，还很有可能使整个精简池永久失效。

发明内容

本发明的实施例提供一种数据处理方法及装置，能够解决精简池写满时，数据容易丢失的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，一种数据处理方法，应用于存储系统中，所述存储系统包括缓存和精简池，其特征在于，所述精简池的存储空间由所述存储设备的物理空间映射而成，所述精简池包括页面预留区和数据区，所述方法包括：

判断所述精简池的数据区是否写满；

若所述数据区写满，则将所述缓存中的数据以页面的形式存储到所述页面预留区。

结合第一方面，在第一种可能的实现方式中，

所述页面的数据结构包括项目单元和数据单元，

其中，所述项目单元包括逻辑区块地址，所述数据单元包括物理区块地址，所述项目单元和所述数据单元一一对应。

结合第一方面，在第二种可能的实现方式中，所述将所述缓存中的数据以页面的形式存储到所述页面预留区之后，还包括：

对所述精简池增加预设容量的扩容空间；

将所述页面预留区中的页面读取到所述缓存中；

将读取到所述缓存中的页面写入所述扩容空间。

结合第一方面至第一方面的第二种可能的实现方式中任一实现方式，在第三种可能的实现方式中，包括：

所述页面预留区的容量与所述缓存的容量相同。

结合第一方面至第一方面的第二种可能的实现方式中任一实现方式，在第四种可能的实现方式中，包括：

一个所述页面的容量与所述缓存中一个单位页面的容量相同。

第二方面，一种数据处理装置，包括：数据处理单元、空间管理单元、精简池及缓存单元，其中，所述精简池包括数据区和页面预留区；

所述空间管理单元，用于判断所述精简池的数据区是否写满；

所述数据处理单元，当所述空间管理单元的判断结果为所述数据区写满时，将所述缓存中的数据以页面的形式存储到所述页面预留区。

结合第二方面，在第一种可能的实现方式中，

所述页面的数据结构包括项目单元和数据单元，

其中，所述项目单元包括逻辑区块地址，所述数据单元包括物理区块地址，所述项目单元和所述数据单元一一对应。

结合第二方面，在第二种可能的实现方式中，

所述空间管理单元，还用于对所述精简池增加预设容量的扩容空间；

所述数据处理单元，还用于将所述页面预留区中的页面读取到所述缓存单元中，并将读取到所述缓存单元中的页面写入所述扩容空间。

结合第二方面至第二方面的第二种可能的实现方式中任一实现方式，在第三种可能的实现方式中，

所述页面预留区的容量与所述缓存单元的容量相同。

结合第二方面至第二方面的第二种可能的实现方式中任一实现方式，在第四种可能的实现方式中，

一个所述页面的容量与所述缓存中一个单位页面的容量相同。

本发明的实施例提供的数据处理方法，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种存储系统架构示意图；

图2为本发明的实施例提供的一种数据处理方法流程示意图；

图3为本发明的实施例提供的一种页面数据结构示意图；

图4为本发明的实施例提供的一种逻辑区块地址的结构示意图；

图5为本发明的另一实施例提供的一种数据处理方法流程示意图；

图6为本发明的实施例提供的一种数据读取方法流程示意图；

图7为本发明的实施例提供的一种数据写入方法流程示意图；

图8为本发明的实施例提供的一种数据处理装置结构示意图；

图9为本发明的另一实施例提供的一种数据处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在精简池配置应用场景下，参照图1所示，图1为精简池配置应用场景示意图。其中，主机用于处理应用业务，图中示出三个磁盘空间，当然，磁盘数量不局限于三个，此处以三个磁盘为例进行说明。将三个磁盘的所有空间视为精简池，精简池又被划分为3个精简LUN，即三个磁盘虚拟出的三个逻辑单元，精简LUN中按照逻辑区块地址查找数据，每个逻辑区块地址对应磁盘中的一个物理区块地址，以此实现对磁盘的统一管理。

在现有的精简配置技术中，精简池设定了写满阈值，超过阈值部分的可用空间称为数据预留区，当精简池空间消耗达到写满阈值时，即精简池的数据区写满时，精简池变为写保护状态，不再接收新的数据，数据预留区用于在精简池写满后，写入缓存中剩余的数据，也就是说，当精简池未写满时，数据预留区不能写入数据，而当精简池写满时，数据预留区也只能写入缓存中剩余的数据。由于精简池的分配粒度一般为缓存中单位页面大小的8-16倍，其中，分配粒度为精简池分配空间的最小容量。例如，假设分配粒度为32K，即便写入的数据为1K，也要分配32K空间去存储，而且由于数据离散，下一次分配数据很可能分配新的空间，这样为了保证精简池写满时，缓存中的数据能够完全写入硬盘，就使得数据预留区的容量必须预留很大，然而，事实上，无论预留多少空间，都不足以保证完全容纳缓存中的数据。现有技术中数据预留区容量一般为缓存容量的8-16倍，但是如果精简池写满时缓存中剩余的数据很少，那么数据预留区中又会有大量空间被浪费。

本发明在精简池中划分出页面预留区，并且页面预留区和数据区都属于精简池的空间，其中，数据区包括可用空间及数据预留区，精简池的数据区用于写入数据。

本发明的实施例提供一种数据处理方法，参照图2所示，该方法包括：

201、判断精简池的数据区是否写满。

当精简池的数据区写满时，说明精简池的可用空间分配完了，此时停止接收新的业务，将缓存中已有的数据进行存储，当精简池的数据区没有写满时，可以继续将数据写入数据区的可用空间。

202、若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区。

可选的，一个页面和缓存中一个单位页面大小相同，其中单位页面是为一次页面处理过程（该页面处理过程可以理解为页面的存储、读取等处理过程）定义的页面长度，该单位页面可以是在设备初始化过程中定义的，当然优选的单位页面的大小可以为4K，此时页面预留区中的页面大小相应的也为4K。

本发明对页面中具体的数据结构不做限制，可以是B树（BalancedTree）结构、二叉树结构、红黑树结构或者其他数据结构。优选的，本发明以B树为例，采用精简池记录PBA(Physical Block Address，物理区块地址)与LBA(Logical Block Address，逻辑区块地址)映射关系的数据结构，如图3所示，相同编号的项目单元与数据单元一一对应，其中，项目单元用于存储数据存放的逻辑区块地址，数据单元用于存储数据存放的物理区块地址，项目单元中存储的LBA与相同编号的数据单元中存储的PBA相对应。一个项目单元包括LBA、节点信息和子树指针，一个数据单元包括PBA和刷盘标记，其中，LBA是存储装置用来表示数据所在位置的地址，而PBA是存储装置用来表示存储空间位置的地址，节点信息中包括未写入硬盘的页面个数，子树指针用于指示子树位置，刷盘标记表示该数据单元中记录的物理区块地址对应的数据是否已经写入硬盘。

优选的，可以通过精简LUN编号与精简LUN内部的LBA组合在一起，就能够表示精简池中任何一个精简LUN的任何一个LBA。

LBA的结构包括：版本信息、未使用区域、LUN编号和LUN编号对应的LUN内部的LBA，现有技术中，一个LUN的最大容量为64T，每个页面的大小为4K，所以单个精简LUN中最大LBA占用35bit的空间，因此可以将LBA的结构设计为如图4所示，其中，LUN编号占用20bit，LUN内部的LBA占用40bit。

页面预留区的容量为预设容量，优选的，页面预留区的容量与缓存的容量相同，这样既保证了页面预留区可以将所有的数据以页面的形式存储，又保证了页面预留区没有占用过多空间。

这样，通过将缓存中的数据以页面的形式存储到页面预留区，减小了缓存中的数据未能写入硬盘时丢失的风险。尤其是当精简池的数据区写满时，通过上述方法将缓存中的数据以页面的形式存储到页面预留区，提高了数据的安全性，减小了数据丢失的风险。

本发明的实施例提供的数据处理方法，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

本发明的另一实施例提供一种数据处理方法，现有技术中精简池包括精简池元数据区、精简池可用空间和数据预留区三部分，其中，本发明实施例中的数据预留区的容量与缓存的容量相同，比现有技术中数据预留区容量小，也就是说本发明实施例中精简池的写满阈值较高，因此，相比于现有技术，本发明的精简池可用空间增大了。参照图5所示，该方法包括：

501、在精简池的物理空间中划分出页面预留区、可用空间及数据预留区。

可选的，页面预留区的容量与缓存的容量相同。

其中，可用空间和数据预留区都属于数据区，用于写入数据。

502、判断精简池的数据区是否写满。

503、若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区。

在精简池的数据区写满时，将缓存中的数据以页面的形式存储到页面预留区，当然，步骤503也可以在精简池的数据区未写满时进行。

504、将缓存中的数据写入精简池的数据预留区。

优选的，数据预留区的容量与缓存的容量相同，这样就减少了数据预留区的空间，增加了精简池的可用空间，同时，也保证了数据在处理过程中不会丢失。

本发明在精简池中增加页面预留区，页面预留区用于将数据以页面的形式存储在内，以页面的形式存储只需要占用少量的空间，这样就能够减少为数据预留区预留的空间，从而增加精简池中的可用空间。

可选的，当精简池的数据区写满时，将缓存中的数据写入数据预留区。

当精简池的数据区未写满时，将缓存中的数据写入精简池的可用空间。

505、删除已经写入精简池的数据在页面预留区中对应的页面。

当缓存中的数据全部写入精简池的数据预留区时，清除页面预留区中对应的页面。如果缓存中的数据能够全部写入数据预留区，说明虽然数据区已经写满，但数据预留区的空间足够，不需要将数据以页面的形式存储在页面预留区。

当缓存中的数据没有全部写入精简池的数据预留区时，删除已经写入精简池的数据对应的页面。如果缓存中的数据未能全部写入精简池，未能写入的数据已经以页面的形式存储在页面预留区。这样就保证了数据不易丢失，提高了数据的安全性。

506、对精简池增加预设容量的扩容空间。

步骤501-步骤505之后，精简池的数据区写满时，只能增加新的扩容空间进行扩容。当然，也可以在精简池的数据区未写满时增加新的扩容空间，本发明对扩容空间的增加条件不做限制。也就是说步骤506-508可以与步骤501-步骤505无先后顺序，此处，本实施例以精简池写满的情况为例进行说明，但不代表增加扩容空间只能在精简池写满时进行。

507、将页面预留区中的页面读取到缓存中。

508、将读取到缓存中的页面写入扩容空间。

其中，读取到缓存中的页面是以页面形式存储的缓存数据。

此处，将扩容空间配置为可用空间或者数据预留区，可以根据预设的精简池空间写满阈值来决定，也可以自由设定，本发明不做限制。

本发明的实施例提供的数据处理方法，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

在本发明中，当数据以页面的形式存储到页面预留区后，对数据进行读取的流程也发生了变化，基于这种情况，本发明的实施例提供一种数据读取方法，参照图6所示，该方法包括：

601、接收读取命令。

可选的，读取命令中包括待处理数据的逻辑区块地址。

602、将读取命令进行拆分。

具体的，可以按照页面的大小对读取命令进行拆分。

603、按照拆分后的读取命令在页面预留区查找待处理数据的逻辑区块地址。

604、如果在页面预留区查找到待处理数据的逻辑区块地址，将该待处理数据的逻辑区块地址所在的页面读取到缓存中。

步骤603之后还包括：

605、如果在页面预留区没有查找到待处理数据的逻辑区块地址，则根据精简池物理区块地址与逻辑区块地址的映射关系读取数据。

如果页面预留区中没有查找到待处理数据的逻辑区块地址，那么就说明该待处理数据的逻辑区块地址已经在精简池中分配了物理区块地址，按照正常的读取方式在精简池中读取数据就可以。

对照图6，当数据以页面的形式存储到页面预留区后，写入数据的流程也发生了变化，基于这种情况，本发明的实施例提供一种数据写入方法，参照图7所示，该方法包括：

701、接收写入命令。

可选的，写入命令包括待写入数据的逻辑区块地址。

702、查询精简池物理区块地址与逻辑区块地址的映射关系，判断待写入数据的逻辑区块地址是否有对应的物理区块地址。

703、如果待写入数据的逻辑区块地址有对应的物理区块地址，则将待写入数据写入该物理区块地址。

如果待写入数据的逻辑区块地址有对应的物理区块地址，则说明已经对待写入数据分配过物理空间，就可以根据逻辑区块地址与物理区块地址的对应关系，将待写入数据写入对应的物理空间。

步骤702之后还包括：

704、如果待写入数据的逻辑区块地址没有对应的物理区块地址，则在页面预留区查询待写入数据的逻辑区块地址。

705、如果在页面预留区查询到待写入数据的逻辑区块地址，则将待写入数据写入该逻辑区块地址对应的页面。

706、如果在页面预留区查询到待写入数据的逻辑区块地址，则生成并返回写保护指示。

本发明的实施例提供的数据处理方法，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

本发明的实施例提供一种数据处理装置，其结构参照图8所示，该数据处理装置801包括：数据处理单元8011、空间管理单元8012、精简池8013及缓存单元8014。

其中，空间管理单元8012，用于判断精简池8013的数据区是否写满。

数据处理单元8011，用于当空间管理单元8012的判断结果为数据区写满时，将缓存单元8014中的数据以页面的形式存储到页面预留区。

本发明的实施例提供的数据处理装置，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

可选的，

页面的数据结构包括项目单元和数据单元，

其中，项目单元包括逻辑区块地址，数据单元包括物理区块地址，项目单元和数据单元一一对应。

可选的，空间管理单元8012，还用于对精简池8013增加预设容量的扩容空间。

数据处理单元8011，还用于将页面预留区中的页面读取到缓存单元8014中，并将读取到缓存单元8014中的页面写入扩容空间。

具体可选的，页面预留区的容量与缓存单元8014的容量相同。

一个页面的容量与缓存单元8014中一个单位页面的容量相同。

本发明的实施例提供的数据处理装置，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

本发明的另一实施例提供一种数据处理装置9001，参照图9所示，该设备可以嵌入或本身就是微处理计算机，比如：通用计算机、客户定制机、手机终端或平板机等便携设备，该数据处理装置9001包括：至少一个处理器9011、存储器9012和总线9013，该至少一个处理器9011和存储器9012通过总线9013连接并完成相互间的通信。

该总线9013可以是ISA（Industry Standard Architecture，工业标准体系结构）总线、PCI（Peripheral Component，外部设备互连）总线或EISA（Extended Industry Standard Architecture，扩展工业标准体系结构）总线等。该总线9013可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中：

存储器9012用于存储可执行程序代码，该程序代码包括计算机操作指令。存储器9012可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。在本发明中，存储器9012至少包括缓存和精简池。

处理器9011可能是一个中央处理器9011（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific IntegratedCircuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

处理器9011，用于调用存储器9012中的程序代码，用以执行上述图8对应的装置实施例中数据处理单元8011及空间管理单元8012的操作，具体描述参照图8对应的装置实施例，这里不再赘述。

本发明的实施例提供的数据处理装置，通过判断精简池的数据区是否写满，若数据区写满，则将缓存中的数据以页面的形式存储到页面预留区，减少了数据丢失的风险，提高了数据的安全性。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM（Random Access Memory，随机存储器）、ROM（Read Only Memory，只读内存）、EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact Disc Read Only Memory，即只读光盘）或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、DSL（Digital Subscriber Line，数字用户专线）或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘和碟包括CD（Compact Disc，压缩光碟）、激光碟、光碟、DVD碟（Digital VersatileDisc，数字通用光）、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，应用于存储系统中，所述存储系统包括缓存和精简池，其特征在于，所述精简池的存储空间由所述存储设备的物理空间映射而成，所述精简池包括页面预留区和数据区，所述方法包括：

判断所述精简池的数据区是否写满；

若所述数据区写满，则将所述缓存中的数据以页面的形式存储到所述页面预留区。

2.根据权利要求1所述的方法，其特征在于，

所述页面的数据结构包括项目单元和数据单元，

其中，所述项目单元包括逻辑区块地址，所述数据单元包括物理区块地址，所述项目单元和所述数据单元一一对应。

3.根据权利要求1所述的方法，其特征在于，所述将所述缓存中的数据以页面的形式存储到所述页面预留区之后，还包括：

对所述精简池增加预设容量的扩容空间；

将所述页面预留区中的页面读取到所述缓存中；

将读取到所述缓存中的页面写入所述扩容空间。

4.根据权利要求1-3所述的方法，其特征在于，包括：

所述页面预留区的容量与所述缓存的容量相同。

5.根据权利要求1-3所述的方法，其特征在于，包括：

所述页面的容量与所述缓存中单位页面的容量相同。

6.一种数据处理装置，其特征在于，包括：数据处理单元、空间管理单元、精简池及缓存单元，其中，所述精简池包括数据区和页面预留区；

所述空间管理单元，用于判断所述精简池的数据区是否写满；

所述数据处理单元，当所述空间管理单元的判断结果为所述数据区写满时，将所述缓存中的数据以页面的形式存储到所述页面预留区。

7.根据权利要求6所述的装置，其特征在于，

所述页面的数据结构包括项目单元和数据单元，

其中，所述项目单元包括逻辑区块地址，所述数据单元包括物理区块地址，所述项目单元和所述数据单元一一对应。

8.根据权利要求6所述的装置，其特征在于，包括：

所述空间管理单元，还用于对所述精简池增加预设容量的扩容空间；

所述数据处理单元，还用于将所述页面预留区中的页面读取到所述缓存单元中，并将读取到所述缓存单元中的页面写入所述扩容空间。

9.根据权利要求6-8所述的装置，其特征在于，

所述页面预留区的容量与所述缓存单元的容量相同。

10.根据权利要求6-8所述的装置，其特征在于，

一个所述页面的容量与所述缓存中一个单位页面的容量相同。

Images