CN111538465B

CN111538465B - 一种基于Linux高性能数据重删方法

Info

Publication number: CN111538465B
Application number: CN202010644594.5A
Authority: CN
Inventors: 赵熙
Original assignee: Nanjing Ecloud Technology Co ltd
Current assignee: Nanjing Ecloud Technology Co ltd
Priority date: 2020-07-07
Filing date: 2020-07-07
Publication date: 2020-10-23
Anticipated expiration: 2040-07-07
Also published as: CN111538465A

Abstract

本发明公开了一种基于Linux高性能数据重删方法，包括如下步骤：创建多个用于重删的重删卷设备和一个用于存放映射表的基准卷设备；创建全局的逻辑块映射散列表，放在基准卷设备上，写入磁盘，并加载到内存备用；每个重删卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表用作记录当前重删卷的数据块的hash值和物理块号的映射关系，每个重删卷设备首先从当前卷设备的映射表查找，如果检索不到则会触发全局表的查找、更新本地映射表关系；进行重删写入操作；进行重删读取操作。本发明提供了一种创新的数据重删方式，大幅度提高数据重删效率，并随着存储盘的增加整体提升系统处理性能，减少数据的实际存储，节约大量的存储资源。

Description

一种基于Linux高性能数据重删方法

技术领域

本发明属于计算机领域，具体涉及一种基于Linux高性能数据重删方法。

背景技术

公有云、私有云的迅速发展，越来越多的企业数据服务都部署在云上，大量集中的数据存储耗费更多的存储资源，存储资源的重复更加明显，这时候数据的重复删除能够大量减少硬件成本、减少物理存储的信息，从而节约企业成本。重复数据删除的技术经历了数十年的发展，存在各式各样的问题，最主要的集中在性能和数据的重删率上，例如两个比较突出的业界重删软件系统centos旗下的vdo和oracle的zfs都具备重删功能，但是各自劣势也很明显，vdo基于每个卷设备的数据重删，只能重复删除单块盘的数据，对于跨盘重复的很多场景无法适应，但是因其在独立卷上有独立工作队列的设计，在性能上较为突出。Oracle的zfs则是基于整个逻辑空间的数据重删，解决了全局的数据重复删除，但是单个的队列负责卷组中的若干磁盘设备，导致其性能非常不理想。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于Linux高性能数据重删方法，能够既保障高效的处理性能又提升数据重删率。

技术方案：为实现上述目的，本发明提供一种基于Linux高性能数据重删方法，包括如下步骤：

S1：创建多个用于重删的重删卷设备和一个用于存放映射表的基准卷设备；

S2：创建全局的逻辑块映射散列表，放在步骤S1的基准卷设备上，写入磁盘，并加载到内存备用；每个重删卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表用作记录当前重删卷的数据块的hash值和物理块号的映射关系，每个重删卷设备首先从当前卷设备的映射表查找，如果检索不到则会触发全局表的查找、更新本地映射表关系；每个卷设备还有一个独立的引用表，用作记录重删引用，并且每个卷设备缓存全局的逻辑块映射散列表；

S3：进行重删写入操作；

S4：进行重删读取操作。

本发明中存在两种类型的卷设备，全局的卷设备（也就是基准卷设备）和用于重删的卷设备。

存在于基准卷设备上的全局块逻辑映射表，由设备卷号、逻辑块号、物理块号、重复引用计数构成的B+树结构，并对设备卷号和逻辑块号组成key值建立索引字段。

hash索引缓存表存在于每一个重删卷设备上，由独立的线程创建并只存在内存中，维护的是磁盘存储设备对应物理块号上的数据进行hash运算的值和物理块号、卷设备号之间的映射关系。此表由卷设备号、物理块号、块数据hash值、重删引用key（该key对应全局表的设备卷号和逻辑块号拼接的字符串，通过该字段查找全局表对应的数据）、重删块读频次、读缓存buffer构成。

每个重删卷设备缓存一份基准卷设备的块映射表，从当前卷设备缓存中的全局表的副本中查询，当查询不到的时候去查询全局，减少全局表的内存IO。

进一步的，所述步骤S2中逻辑块映射散列表放在内存中做为全局索引表，定期更新刷入磁盘。

进一步的，所述步骤S3中重删写入操作的具体过程为：

A1：数据写入拆块，将数据块按照64k对齐进行拆分，计算对应数据块的散列值，如发现不存在对应表中，则更新重删卷的对应64k关联的索引表；循环按照2的幂次方对齐进行数据块拆分（指数依次从5、4、3、2循环，对应32k、16k、8k、4k），并异步的更新全局逻辑映射表，如发现有重复key则转入步骤A2；

A2：如果全局逻辑映射表发现存在记录，判断引用记录的计数值，如引用次数为1则数据仍然继续写入磁盘，如果引用记录大于1，则转入步骤A3；

A3：标记更新重删卷的缓存全局表，并异步更新全局的逻辑块映射散列表。

进一步的，同时为防止机器异常部分内存更新丢失，这里不再像传统数据出现重复就引用索引的方式，当重复块标记超过2次引用记录时进行数据块的逻辑引用，这样即使存在异常，也不会因为一份记录而出现无法数据恢复。出于数据安全性的设计，采用非一次引用标记的方式，对出现部分块损坏的情况，则其他引用的数据块位置可以确保数据正常，这里采用标记两次才进行数据块的逻辑引用，是对数据更安全的防护手段。

进一步的，所述步骤S4中重删读取操作的具体过程为：

B1：进行数据读操作：

从当前重删卷设备缓存表中查找，如果数据块被缓存在内存中直接从内存中读取，否则从物理卷设备读取对应的数据块，并更新当前卷设备的重复数据块读频率表，若更新完频率阀值等于10，则需要将对应的数据更新到缓存表中；

B2：查看引用表，如果数据是高频引用块，直接从内存中返回数据，否则转入步骤B3；

B3：找到逻辑块对应的物理块，从实际重删卷读取对应块数据，并更新引用计数，刷新访问时间，判断更新后的基数是否达到高频引用阀值，如果是转入步骤B4，否则直接返回；

B4：将对应实际物理块的数据缓存到hash索引缓存表中的读buffer区域。

有益效果：本发明与现有技术相比，具备如下优点：

1、每块卷设备独立的调度队列，同时引入全局的hash索引缓存表和各个卷设备缓存副本表，有一张总表，这样可以有利于整体重复数据的消除，提升重删率。

2、引入一块新的基准卷设备，用于存储全局的逻辑映射表，对映射表的每次查找IO、更新磁盘IO从重删卷设备转移到基准卷设备，减少重删卷设备的写同步IO，从而整体提升重删卷实际写入数据的性能。

3、变长策略转移，默认数据块按照64k对齐切割，并按照32k、16k、8k、4k依次切割进行是否存在重复数据块判断，这里会有一个块表分析，一次切割重复命中记录标记为1，切割两次重复命中标记为2，如直到4k仍然无重复命中，标记为5，以此类推，如果发现切割拆分记录标记值较大，则按照最高比例数值作为切块标准，从而提升性能（举例：如果采样周期设置为半小时，在一个周期内发现16k重删数据比例最多，那么64k,32k的切块就是相对无效的浪费计算，这时候程序会自动以16k为分割基准，从而提高数据重删的处理性能）。

附图说明

图1为重删写入操作流程图；

图2为重删读取操作流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

本发明基于linux的内核模块的卷设备开发（基于linux的设备映射器模块dm），可实现卷设备堆叠，实现其他上层逻辑如加密、压缩等。具体实现思路如下：

卷设备存在两种类型，一种是基准卷设备、一种是用于需要数据重删的卷设备（称为重删卷设备），基准卷设备用于存放全局的逻辑块映射散列表，重删卷设备为实际存储的卷设备。其中基准卷设备的逻辑块映射散列表为全局表（表由设备卷号、逻辑块号、物理块号、重复引用计数构成），存放在单独的卷设备上，并放在内存中做为全局索引表，定期更新刷入磁盘。重删卷创建独立的块查找表，即hash索引缓存表，只存在内存中（表由卷设备号、物理块号、块数据hash值、重删引用位置、读频次、读缓存buffer构成），其中全局的逻辑块映射散列表初始化时写入磁盘（动态访问过程不实时写入刷新，而是交换到内存中，定时刷新，从而提高性能），同时为防止机器异常部分内存更新丢失，这里不再像传统数据出现重复就引用索引的方式，当重复块标记超过2次引用记录时进行数据块的逻辑引用，这样即使磁盘部分块数据损坏，也不会出现大量数据异常无法恢复的现象。同时每块重删的卷设备都有独立的数据处理调度队列、工作线程，并缓存全局的逻辑块映射表，减少全局的逻辑块映射散列表查找次数，从而提高查询性能。这里创新的引入了一块新的卷设备用作基准卷设备，专门用于逻辑块映射散列表存储用途，触发更新全局的逻辑块映射散列表的写入操作从重删卷解耦到基准卷设备上，减少重删卷的写、读IO操作次数，并可以全局提供重删服务，从而提升性能。同时增加高频数据块的读缓存，我们通过重删卷的hash索引缓存表中读频次记录和缓存buffer的设计，将高频率访问的数据写入缓存buffer中，从而对读场景下高速提升性能。并且提供变长策略，默认数据块按照64k对齐切割，并按照32k、16k、8k、4k依次切割进行是否存在重复数据块判断，这里程序增加了一个用于数据块切割的分析模块，通过分析模块进行块表分析，一次切割重复命中记录标记为1，切割两次重复命中标记为2，如直到4k仍然无重复命中，标记为5，以此类推，如果发现切割拆分记录标记值较大，按照最高比例数值作为切块标准，从而提升性能。

基于上述思路，本发明提供一种基于Linux高性能数据重删方法，包括如下步骤：

S1：创建多个用于重删的重删卷设备和一个用于存放全局映射表的基准卷设备；

S2：初始化，用户创建多个用于重删的卷设备，驱动模块接收创建指令，启用全局控制线程为每个卷设备编号，创建全局的逻辑块映射散列表（key是逻辑块号和卷设备号拼接的字符串，value部分包含设备卷号、卷设备物理块号、引用次数）放在额外增加的一个基准卷设备上，写入磁盘，并加载到内存备用。每个重删的卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表（基于64k/32k/16k/8k/4k为切割单位的五张表）用作记录当前重删卷的数据块的hash值和物理块号的映射关系，当触发更新的时候提交给全局线程。每个卷设备还有一个独立的引用表，用作记录64k、32k、16k、8k、4k重删引用，并且每个卷设备缓存全局的逻辑块映射散列表。

每次写磁盘操作对数据块按照64k对齐分块，计算对应的数据散列值，然后先从当前缓存的副本全局表查，查不到再去全局表查找，如果都没有则更新重删卷设备的索引表，异步更新全局表；判定为首次数据，只需要异步提交到全局表中更新记录即可。同时对数据块进行循环拆分按照32、16k等依次计算数据散列值，如果发现索引表中存在对应的数据散列值，则需要从全局映射表查找重复数据块对应的实际存储位置，否则更新到内存索引表中；若全局标记等于1，对应的数据块写入磁盘，并更新内存中重复数据的引用标记，如果引用标记大于1，读取重复数据的映射位置，更新重复块数据引用记录，并更新引用表中重删块切割尺寸大小的引用计数；

同时定时线程周期的检查引用表，将块切割尺寸重复率引用最多的作为缺省首次重删切块尺寸，减少低频的切割计算，从而提高处理性能；

S3：如图1所示，进行重删写入操作：

这里需要说明的是，对于读操作，重删卷设备从当前卷设备逻辑映射表中查找映射关系，如果找到则读取对应物理块数据返回，并更新卷设备索引表中重删数据块读频率，如果超过一定阀值（初始化设置为10），则将对应块的数据缓存到内存中，下次再次读取不需要从磁盘读取，从而提高性能，并增加读取的访问时间戳。定期更新内存索引表，对缓存的数据块访问时间戳过长的采用淘汰算法，清空计数并清理内存的缓存数据，释放内存。

S4：如图2所示，进行重删读取操作：

B1：进行数据读操作：

综上所述，本发明提供了一种创新的数据重删方式，大幅度提高了数据重删效率，并随着存储盘的增加整体提升系统处理性能，减少数据的实际存储，节约大量的存储资源。

Claims

1.一种基于Linux高性能数据重删方法，其特征在于，包括如下步骤：

S1：创建多个用于重删的重删卷设备和一个用于存放全局逻辑映射表的基准卷设备；

S2：创建全局的逻辑块映射散列表，放在步骤S1的基准卷设备上，写入磁盘，并加载到内存备用；每个重删卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表用作记录当前重删卷设备的数据块的hash值和物理块号的映射关系，每个重删卷设备首先从当前重删卷设备的映射表查找，如果检索不到则会触发全局逻辑映射表的查找、更新全局逻辑映射表副本关系；每个重删卷设备还有一个独立的引用表，用作记录重删引用，并且每个重删卷设备缓存全局的逻辑块映射散列表；

S3：进行重删写入操作；

S4：进行重删读取操作；

所述步骤S3中重删写入操作的具体过程为：

A1：数据写入拆块，将数据块按照64k对齐进行拆分，计算对应数据块的散列值，如发现不存在全局逻辑映射表中，则更新重删卷设备的对应64k关联的索引表；循环按照2的幂次方对齐进行数据块拆分，并异步的更新全局逻辑映射表，如发现有重复key则转入步骤A2；

A2：如果全局逻辑映射表发现存在记录，判断引用记录的计数值，如引用记录为1则数据仍然继续写入磁盘，如果引用记录大于1，则转入步骤A3；

A3：标记更新重删卷设备的全局逻辑映射表，并异步更新全局的逻辑块映射散列表；

所述步骤S4中重删读取操作的具体过程为：

B1：进行数据读操作：

从当前重删卷设备缓存表中查找，如果数据块被缓存在内存中，则直接从内存中读取，否则从物理卷设备读取对应的数据块，并更新当前重删卷设备的重复数据块读频率表，若更新完频率阈值等于10，则需要将对应的数据更新到缓存表中；

B3：找到逻辑块对应的物理块，从实际重删卷设备读取对应块数据，并更新引用计数，刷新访问时间，判断更新后的计数是否达到高频引用阈值，如果是转入步骤B4，否则直接返回；

2.根据权利要求1所述的一种基于Linux高性能数据重删方法，其特征在于，所述步骤S2中逻辑块映射散列表放在内存中作为全局逻辑映射表，定期更新刷入磁盘。