CN103729301B - 数据处理方法和装置 - Google Patents

Abstract

本申请提供了数据处理方法和装置。本发明中，通过在原始卷内记录该逻辑地址和该数据被写在所述物理数据区的物理地址之间的映射关系；以及在快照卷记录原始卷已记录的逻辑地址与物理地址的映射关系，能够在对原始卷进行数据修改时，不需要执行COW操作，这相比于现有快照，能够减少很多不必要的COW操作，有效提高原始卷的写性能。

Description

数据处理方法和装置

技术领域

本申请涉及数据处理技术，特别涉及数据处理方法和装置。

背景技术

数据备份对于各种计算机系统都是保护数据不丢失的一种非常重要的手段，尤其在系统数据非常重要的时候，经常进行数据备份能够减少偶然破坏造成的损失，保证系统能够从错误中恢复正常运行。

在进行数据备份之前，首先要选择合适的备份策略，这将决定何时需要备份，采用何种备份方式，以及出现故障时进行恢复的方式。目前，常用的备份策略是数据快照。

数据快照可以使用户在正常业务应用不受影响的情况下，实时提取当前在线业务数据。这意味着，用户在进行例如系统数据备份，业务数据分析，加载数据仓库，生成报表等操作时，不需要停止正常的业务应用，从而大大增加了整个业务系统的连续性，为实现真正的7×24运转提供了保证。

快照实质上是当前卷信息在某一个时间点的冻结版本，这个冻结版本的卷作为一个新的卷存储，每一个冻结版本的卷就叫做一个快照卷；看上去快照类似于卷的一个完全备份，但由于创建快照并没有将原始卷的数据真正的拷贝出来，而只是创建了原始卷数据的一个镜像，因此创建一个快照与原始卷的数据大小无关，只需要几秒钟，要比创建一个完全备份要快捷得多。创建快照之后，快照卷将根据原始卷的每个写操作和修改前的数据保存在快照卷事先划分的磁盘空间中。

目前，在快照技术中，当对原始卷进行数据修改时，会通过写前复制（COW）操作把原始卷的数据拷贝到对应的快照卷中，这会影响原始卷的写性能。

发明内容

本申请提供了数据处理方法和装置，以提高原始卷的写性能。

本申请提供的技术方案包括：

一种数据处理方法，预留一个物理数据区用于存放原始卷和快照卷；该方法包括：

当向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据实际被写至所述物理数据区内物理地址之间的映射关系；

在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与物理地址的映射关系；

当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：该需要被修改的数据在物理数据区的物理地址，

如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该需要被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

一种数据处理装置，该装置包括：

存储单元，用于预留一个物理数据区存放原始卷和快照卷；

记录单元，用于向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据实际被写至所述物理数据区内物理地址之间的映射关系；

快照单元，用于在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与物理地址的映射关系；

修改单元，用于当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：该需要被修改的数据在物理数据区的物理地址，如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该需要被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

由以上技术方案可以看出，本发明中，通过在原始卷内记录该逻辑地址和该数据被写在所述物理数据区的实际物理地址之间的映射关系；以及在快照卷记录原始卷已记录的逻辑地址与实际物理地址的映射关系，能够在对原始卷进行数据修改时，不需要执行COW操作，这相比于现有快照，能够减少很多不必要的COW操作，有效提高原始卷的写性能。

附图说明

图1为本发明实施例提供的方法流程图；

图2为本发明实施例提供的装置结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提供的方法中，在对原始卷进行数据修改时，不需要执行COW操作，这相比于现有快照，能够减少很多不必要的COW操作，有效提高原始卷的写性能。

下面通过图1对本发明提供的方法进行描述：

参见图1，图1为本发明实施例提供的方法流程图。在本发明提供的方法中，不再将原始卷、以及后续针对原始卷创建的快照卷分别在两个不同的物理数据区存放，而是将原始卷、后续针对原始卷创建的快照卷共同使用同一个物理数据区。基于此，在执行本发明提供的方法之前，就需要预留一个物理数据区，以便后续存放原始卷和快照卷。

之后，如图1所示，该流程可包括以下步骤：

步骤101，当向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据实际被写至所述物理数据区内物理地址之间的映射关系。

通常，向原始卷内哪一个地址写数据，是由客户自行决定的，其一般携带在写请求中，也即，写请求中携带了数据、以及该数据需要写入至原始卷的地址，该地址就称为逻辑地址。

而当控制原始卷的应用程序收到该写请求时，就会依据写请求写入数据至原始卷，此时，该数据实际被写至物理数据区的位置就是数据的物理位置。

比如，写请求携带的地址是原始卷内第100个数据块的地址（记为org_100），当依据写请求写入数据时，会将该数据实际写入至物理数据区的dest_200位置，也即，该数据的逻辑地址为org_100，物理位置为dest_200。

基于上述确定的写入的数据的逻辑地址、物理位置，则本步骤101就在原始卷内记录该逻辑地址和该数据被写在所述物理数据区的物理地址之间的映射关系。比如，逻辑地址为org_100，物理位置为dest_200，则就在原始卷内记录org_100和dest_200之间的映射关系。

优选地，本发明中，可在原始卷内建立一个映射表，由映射表记录数据在原始卷内的逻辑地址和该数据实际被写在所述物理数据区的物理地址之间的映射关系。

步骤102，在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与物理地址的映射关系。

这里，时间点t只是为使本申请描述清楚的举例，并非特指某一时间。

本步骤102中，原始卷已记录的逻辑地址与物理地址的映射关系实际就是截至在时间点t原始卷已记录的逻辑地址与物理地址的映射关系。

优选地，本发明中，假如原始卷内通过映射表记录数据在原始卷内的逻辑地址和该数据实际被写在所述物理数据区的物理地址之间的映射关系，则本步骤102可直接将原始卷内的映射表记录至快照卷内。

可以看出，本发明中，在对原始卷创建快照卷时，该快照卷并不需要存放原始卷的数据，而是仅存放逻辑地址与物理地址的映射关系，这相对比于传统的快照，能够节省快照卷占用的资源，不需要分配任何独立的物理空间给该快照卷。

步骤103，当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：该需要被修改的数据在物理数据区的物理地址，如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该需要被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

优选地，本发明中，可在执行本发明之前，执行以下步骤：

步骤1，对原始卷内用于存放数据的区域进行数据块划分，并为划分的每一数据块标记标识，不同数据块标记的标识不同。这里，数据块标记的标识可为编号，也可为其他属性，但必须唯一。并且，划分的数据块大小都相同，该大小可记为block_size。

步骤2，建立一个位图（bitmap）表，所述bitmap表用于记录各个数据块是否存放了有效数据。

基于步骤2，也就表示本发明在每次向原始卷内的数据块写数据时，还需要在bitmap表内记录该数据块是否存放了有效数据。

这里，可针对bitmap表划分若干个小方格，每一方格记录一个数据块是否存放了有效数据，假如1表示有效数据，0表示非有效数据（其包含空闲数据或无效数据），基于此，当每次向原始卷内的数据块写数据时，需要在bitmap表内找到一个空闲的方格，在该方格内记录该数据块的标识或者物理位置，并在该数据块存放了有效数据时，继续在该方格内输入用于表示有效数据的值，比如1，而在该数据块存放了非有效数据时，继续在该方格内输入用于表示非有效数据的值，比如0。

基于上述的两个步骤，则在执行步骤103中的判断之前，进一步执行以下以下步骤：

识别该需要被修改的数据所处的数据块；

在所述bitmap表中记录了该数据块未存放有效数据时，可直接通过写入新数据来修改原始卷中原有的数据；而在所述bitmap表中记录了该数据块存放有效数据时，再执行所述判断。

本发明中，之所以执行步骤103中的判断，目的是确认该需要被修改的数据是否有快照。

如步骤103描述的，当判断结果为是时，也就意味着此时该需要被修改的数据有快照，就不能直接修改数据，而是将所述新数据写入至原始卷中的空闲区域，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该需要被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置。

具体地，所述将新数据写入至原始卷中的空闲区域包括：

识别所述新数据的数据大小；

如果该数据大小大于一个数据块的大小，则在原始卷内找到对应该数据大小的空闲数据块作为所述空闲区域，向找到的空闲数据块写入所述新数据；

如果该数据大小小于或者等于一个数据块的大小，则在原始卷内找到一个空闲数据块作为所述空闲区域，将该需要被修改的数据拷贝到空闲数据块，并修改空闲数据块中的数据为所述新数据。

比如，当修改原始卷有效数据时，假设客户修改原始卷逻辑位置org_100位置的数据时候，原本原始卷该逻辑位置实际数据物理位置为dest_200，因为有快照，就不能直接修改dest_200这个位置的数据，就需要判断要写入的新数据大小是否大于block_size，如果要写入的新数据大小大于block_size，就在原始卷中重新找对应该要写入的新数据大小的空闲数据块存放该要写入的新数据，假设新的数据块位置为dest_300，并且修改原始卷的映射关系由(org_100,dest_200)修改为（org_100,dest_300）；如果要写入的新数据大小小于block_size,，就会把原始卷实现存放数据的位置dest_200上的数据拷贝到新分配的数据块比如dest_300，然后修改dest_300数据块对应的数据，并且修改原始卷的映射关系由(org_100,dest_200)修改为（org_100,dest_300）。

至此，完成图1所示流程。

需要说明的是，本发明中，快照卷可实时动态更新，比如删除、增加等。

当需要删除快照卷时，本发明可进一步执行以下步骤：

步骤1，比较原始卷和需要删除的快照卷记录的映射关系，如果原始卷在建立快照后由于修改数据而引起逻辑地址重新映射了新的物理位置，且该需要删除的快照卷记录的映射关系中该逻辑地址映射的物理位置在其他快照卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该物理位置未存放有效数据，同时设置该物理位置为空闲。

也即，步骤1具体是：比较原始卷、需要删除的快照卷、以及其他快照卷记录的映射关系，如果需要删除的快照卷记录的映射关系中的物理位置在其他快照卷、原始卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该物理位置未存放有效数据，同时设置该物理位置为空闲。

如前例所述，原始卷内dest_200位置因为需要修改数据，则会导致原始卷内的映射关系由(org_100,dest_200)修改为（org_100,dest_300），而需要删除的快照卷记录的映射关系中还是(org_100,dest_200)，则在dest_200在其他快照卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该dest_200未存放有效数据，同时设置该dest_200为空闲。

至此，完成本发明提供的方法描述。

下面对本发明提供的装置进行描述：

参见图2，图2为本发明实施例提供的装置结构图。如图2所示，该装置包括：

存储单元，用于预留一个物理数据区用于存放原始卷和快照卷；

记录单元，用于当向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据被写在所述物理数据区的实际物理地址之间的映射关系；

快照单元，用于在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与实际物理地址的映射关系；

修改单元，用于当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：该需要被修改的数据在物理数据区的物理地址，如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该需要被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

优选地，该装置进一步包括：

处理单元，用于对原始卷内用于存放数据的区域进行数据块划分，并为划分的每一数据块标记标识，不同数据块标记的标识不同；建立一个位图bitmap表，所述bitmap表用于记录各个数据块是否存放了有效数据；

基于此，所述修改单元在执行所述判断之前，进一步包括：

识别该需要被修改的数据所处的数据块；在所述bitmap表中记录了该数据块未存放有效数据时，直接通过写入新数据来修改原始卷中原有的数据；在所述bitmap表中记录了该数据块存放有效数据时，执行所述判断。

优选地，所述修改单元将新数据写入至原始卷中的空闲区域包括：

识别所述新数据的数据大小；

如果该数据大小大于一个数据块的大小，则在原始卷内找到对应该数据大小的空闲数据块作为所述空闲区域，向找到的空闲数据块写入所述新数据；

如果该数据大小小于或者等于一个数据块的大小，则在原始卷内找到一个空闲数据块作为所述空闲区域，将该需要被修改的数据拷贝到空闲数据块，并修改空闲数据块中的数据为所述新数据。

优选地，所述修改单元在判断结果为是，且在将所述新数据写入至原始卷中的空闲区域之前，进一步包括：

识别该需要被修改的数据所处的数据块；

如果快照卷记录的映射关系中不存在该数据块在所述物理数据区的实际物理位置，则直接通过写入新数据来修改原始卷中原有的数据。

优选地，该装置进一步包括：

删除单元，用于当需要删除快照卷时，比较原始卷和需要删除的快照卷记录的映射关系，如果原始卷在建立快照后由于修改数据而引起逻辑地址重新映射了新的物理位置，且该需要删除的快照卷记录的映射关系中该逻辑地址映射的物理位置在其他快照卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该物理位置未存放有效数据，同时设置该物理位置为空闲。

至此，完成图2所示的装置描述。

由以上技术方案可以看出，本发明中，通过在原始卷内记录该逻辑地址和该数据被写在所述物理数据区的实际物理地址之间的映射关系；以及在快照卷记录原始卷已记录的逻辑地址与实际物理地址的映射关系，能够在对原始卷进行数据修改时，不需要执行COW操作，这相比于现有快照，能够减少很多不必要的COW操作，有效提高原始卷的写性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种数据处理方法，其特征在于，预留一个物理数据区用于存放原始卷和快照卷；该方法包括：

当向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据实际被写至所述物理数据区内物理地址之间的映射关系；

在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与物理地址的映射关系；

当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：被修改的数据在物理数据区的物理地址，

如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：对原始卷内用于存放数据的区域进行数据块划分，并为划分的每一数据块标记标识，不同数据块标记的标识不同；建立一个位图bitmap表，所述bitmap表用于记录各个数据块是否存放了有效数据；

在执行所述判断之前，进一步包括：识别该需要被修改的数据所处的数据块；在所述bitmap表中记录了该数据块未存放有效数据时，直接通过写入新数据来修改原始卷中原有的数据；在所述bitmap表中记录了该数据块存放有效数据时，执行所述判断。

3.根据权利要求2所述的方法，其特征在于，所述将新数据写入至原始卷中的空闲区域包括：

识别所述新数据的数据大小；

如果该数据大小大于一个数据块的大小，则在原始卷内找到对应该数据大小的空闲数据块作为所述空闲区域，向找到的空闲数据块写入所述新数据；

如果该数据大小小于或者等于一个数据块的大小，则在原始卷内找到一个空闲数据块作为所述空闲区域，将该需要被修改的数据拷贝到空闲数据块，并修改空闲数据块中的数据为所述新数据。

4.根据权利要求2所述的方法，其特征在于，当需要删除快照卷时，该方法进一步包括：

比较快照卷和原始卷记录的映射关系，如果原始卷在建立快照后由于修改数据而有重新映射的物理位置，且该物理位置在其他快照卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该物理位置未存放有效数据，同时设置该物理位置为空闲。

5.一种数据处理装置，其特征在于，该装置包括：

存储单元，用于预留一个物理数据区存放原始卷和快照卷；

记录单元，用于向原始卷内某一逻辑地址写数据时，在原始卷内记录该逻辑地址和该数据实际被写至所述物理数据区内物理地址之间的映射关系；

快照单元，用于在时间点t针对原始卷创建快照卷并存放至所述物理数据区，该快照卷记录时间点t、原始卷已记录的逻辑地址与物理地址的映射关系；

修改单元，用于当通过写入新数据修改原始卷中原有的数据时，判断快照卷记录的映射关系中是否存在包含以下内容的映射关系：被修改的数据在物理数据区的物理地址，如果是，将所述新数据写入至原始卷中的空闲区域，将原始卷记录的映射关系中该被修改的数据的物理地址修改为所述空闲区域在物理数据区的物理位置；如果否，直接通过写入新数据来修改原始卷中原有的数据。

6.根据权利要求5所述的装置，其特征在于，该装置进一步包括：

处理单元，用于对原始卷内用于存放数据的区域进行数据块划分，并为划分的每一数据块标记标识，不同数据块标记的标识不同；建立一个位图bitmap表，所述bitmap表用于记录各个数据块是否存放了有效数据；

所述修改单元在执行所述判断之前，进一步包括：

识别该需要被修改的数据所处的数据块；

在所述bitmap表中记录了该数据块未存放有效数据时，直接通过写入新数据来修改原始卷中原有的数据；

在所述bitmap表中记录了该数据块存放有效数据时，执行所述判断。

7.根据权利要求6所述的装置，其特征在于，所述修改单元将新数据写入至原始卷中的空闲区域包括：

识别所述新数据的数据大小；

如果该数据大小大于一个数据块的大小，则在原始卷内找到对应该数据大小的空闲数据块作为所述空闲区域，向找到的空闲数据块写入所述新数据；

如果该数据大小小于或者等于一个数据块的大小，则在原始卷内找到一个空闲数据块作为所述空闲区域，将该需要被修改的数据拷贝到空闲数据块，并修改空闲数据块中的数据为所述新数据。

8.根据权利要求6所述的装置，其特征在于，该装置进一步包括：

删除单元，用于当需要删除快照卷时，比较快照卷和原始卷记录的映射关系，如果原始卷在建立快照后由于修改数据而有重新映射的物理位置，且该物理位置在其他快照卷记录的映射关系中没有使用到，则修改bitmap表，以使该bitmap表记录该物理位置未存放有效数据，同时设置该物理位置为空闲。