CN106201328B - 一种管理存储节点的磁盘空间的方法、装置和服务器 - Google Patents

Abstract

本发明实施例提供一种管理存储节点的磁盘空间的方法、装置和服务器，方法包括：在存储节点中建立一体机虚拟化存储系统Trident，对存储节点进行管理；若通过执行一体机虚拟化存储系统Trident初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理。提供了针对Exadata数据库一体机存储节点硬件的虚拟化工具，将Exadata存储节点中未分配的空间进行虚拟化管理，并映射转换为传统磁盘模式，供其它业务主机使用。

Description

一种管理存储节点的磁盘空间的方法、装置和服务器

技术领域

本发明涉及存储技术，特别是指一种管理存储节点的磁盘空间的方法、装置和服务器。

背景技术

随着数据库技术的发展，一体机将软硬件结合在一起提供良好的数据库性能，这其中，存储性能往往是瓶颈。如图1所示，Exadata数据库一体机是建立在X86架构Pcserver、X86存储、高速Flash、高速infiniband技术上的一体化数据库技术，通过InfiniBand交换机40Gb/s的交换能力，大幅提升了存储系统网络吞吐能力，通过大规模并发访问的方式能让数据传输的带宽达到TB/s的级别，通过在传统硬盘基础上增加高性能Flash SSD，结合优化热点数据调度策略，就能够让每个存储节点的每秒进行读写(I/O)操作的次数(IOPS，Input/Output Operations Per Second)达到10万以上、吞吐量达到5GB/s。虽然Exadata数据库一体机通过X86平台组建了优越的存储性能，但甲骨文(Oracle)基于自身的市场利益，其存储只应用于Oracle数据库，由自动存储管理(ASM，Automatic Storage Management)进行管理，ASM能看到的只有GRIDDISK。

如图2所示，存储节点上的磁盘空间分为Disk，Lun，Cell Disk，Grid Disk和ASMdisk，并交付给Exadata数据库一体机使用。如图3所示，Exadata数据库一体机传统的数据访问模式中，所有存储节点的数据都由应用主机的ASM工具控制，数据的读写由ASM进行整体管理。这样虽然Exadata数据库一体机存储节点有非常高的性能，但是必须锁定到Oracle公司业务中。

现有技术存在如下问题：Exadata数据库一体机的存储空间和存储性能对现有业务来说是有富余的，但无法将富余的空间进行新业务测试，导致其他的业务应用没有办法利用Exadata当前的多余数据空间。

发明内容

本发明要解决的技术问题是提供一种管理存储节点的磁盘空间的方法、装置和服务器，解决现有技术中，Exadata传统的数据访问模式无法利用的缺陷。

为解决上述技术问题，本发明的实施例提供一种管理存储节点的磁盘空间的方法，应用于服务器，方法包括：在存储节点中建立一体机虚拟化存储系统Trident，对存储节点进行管理；若通过执行一体机虚拟化存储系统初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理。

所述的方法中，在存储节点中建立一体机虚拟化存储系统Trident包括：采用设备映射Device Mapper机制实现架构初始化，组织元数据，以及管理元数据。

所述的方法中，采用设备映射Device Mapper机制实现架构初始化包括：建立映射设备Mapped device到目标设备target device的映射表，所述映射表包括多元组；所述多元组包括映射设备mapped device的起始逻辑地址、逻辑地址范围和表示目标设备targetdevice所在物理设备的地址偏移量；以及，采用设备映射Device Mapper机制定义目标设备类型Trident_target，注册四个接口函数的名称与功能：Trident_ctr()，执行架构初始化；Trident_dtr()，将一体机虚拟化存储系统在Trident_ctr()中注册的结构和申请的内存资源都释放掉，在一体机虚拟化存储系统退出后，由操作系统重新利用这些注册的结构和内存资源；Trident_map()是整个一体机虚拟化存储系统所有数据流的入口；Trident_status()是供上层用户调用的函数，以便查询一体机虚拟化存储系统目前的情况。

所述的方法中，组织元数据，以及管理元数据包括：采用一个全局的数据结构cache_context对一体机虚拟化存储系统的缓存元数据进行统一管理。

所述的方法中，由存储虚拟化逻辑将未分配存储空间虚拟形成第一磁盘包括：将所述未分配存储空间转化为一个磁盘池，并在磁盘池中对所述未分配存储空间进行条带化管理。

所述的方法中，采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理包括：在InfiniBand交换机提供的链路中，采用安全远程密码协议将所述第一磁盘传输至所述存储虚拟化逻辑，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理；以及，所述存储虚拟化逻辑采用Internet小型计算机系统接口协议将管辖的所述第一磁盘的存储空间，映射给不同的服务器主机使用。

所述的方法中，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理包括：定义了缓存装置结构cache_device，队列、供上层用户调用的接口以及锁机制，以实现对块的输入和输出的分配与处理操作。

一种管理存储节点的磁盘空间的装置，包括：虚拟化存储系统单元，用于在存储节点中建立一体机虚拟化存储系统Trident，对存储节点进行管理；虚拟单元，用于若通过执行一体机虚拟化存储系统初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；管理单元，用于采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理。

所述的装置中，虚拟化存储系统单元包括：设备映射机制模块，用于采用设备映射Device Mapper机制实现架构初始化，组织元数据，以及管理元数据。

所述的装置中，设备映射机制模块包括：架构初始化模块，用于建立映射设备Mapped device到目标设备target device的映射表，所述映射表包括多元组；所述多元组包括映射设备mapped device的起始逻辑地址、逻辑地址范围和表示目标设备targetdevice所在物理设备的地址偏移量；以及，采用设备映射Device Mapper机制定义目标设备类型Trident_target，注册四个接口函数的名称与功能：Trident_ctr()，执行架构初始化；Trident_dtr()，将一体机虚拟化存储系统在Trident_ctr()中注册的结构和申请的内存资源都释放掉，在一体机虚拟化存储系统退出后，由操作系统重新利用这些注册的结构和申请的内存资源；Trident_map()是整个一体机虚拟化存储系统所有数据流的入口；Trident_status()是供上层用户调用的函数，以便查询一体机虚拟化存储系统目前的情况；元数据模块，用于采用一个全局的数据结构cache_context对一体机虚拟化存储系统的缓存元数据进行统一管理。

所述的装置中，管理单元包括：InfiniBand交换机模块，用于在InfiniBand交换机提供的链路中，采用安全远程密码协议将所述第一磁盘传输至所述存储虚拟化逻辑，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理；以及，存储虚拟化逻辑模块，用于采用Internet小型计算机系统接口协议将管辖的所述第一磁盘的存储空间，映射给不同的服务器主机使用、

一种管理存储节点的磁盘空间的服务器，包括上述任意管理存储节点的磁盘空间的装置。

本发明的上述技术方案的有益效果如下：提供了针对Exadata数据库一体机存储节点硬件的虚拟化工具，将Exadata存储节点中未分配的空间进行虚拟化管理，并映射转换为传统磁盘模式(第一磁盘)，供其它业务主机使用。

附图说明

图1表示Oracle的Exadata数据库一体机的技术架构示意图；

图2表示Exadata数据库一体机存储节点的物理结构示意图；

图3表示Exadata数据库一体机的逻辑架构示意图；

图4表示一种管理存储节点的磁盘空间的方法流程示意图；

图5表示存储虚拟化逻辑的工作原理示意图；

图6表示初始化的过程示意图；

图7表示虚拟化存储系统数据控制流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

基于Exadata数据库一体机存储节点的硬件环境，将Exadata数据库一体机存储节点的存储空间虚拟成传统的磁盘，发布给其他业务应用使用，这一过程与传统磁盘阵列的逻辑单元号存储(LUN，logical unit number)管理有类似之处，以期望提升Exadata数据库一体机的整体空间利用率。

本发明实施例提供一种管理存储节点的磁盘空间的方法，如图4所示，包括：

步骤401，在存储节点中建立一体机虚拟化存储系统(简称Trident)，对存储节点进行管理；

步骤402，若通过执行一体机虚拟化存储系统Trident初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；第一磁盘是传统磁盘模式；

步骤403，采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理。

应用所提供的技术，提供了针对Exadata数据库一体机存储节点硬件的虚拟化工具，将Exadata存储节点中未分配的空间进行虚拟化管理，并映射转换为传统磁盘模式(第一磁盘)，供其它业务主机使用。

在存储节点内部采用高性能一体机虚拟化存储系统(简称Trident系统)，高性能一体机虚拟化存储系统TRIDENT可以采用编程实现，在一个优选实施例中，高性能一体机虚拟化存储系统TRIDENT包括三个主要的部分，分别为：由Device Mapper机制实现的架构初始化、组织元数据和管理元数据。

在一个优选实施例中，在存储节点中建立一体机虚拟化存储系统Trident包括：

采用设备映射Device Mapper机制实现架构初始化，组织元数据，以及管理元数据。

在一个优选实施例中，采用设备映射Device Mapper机制实现架构初始化包括：

建立映射设备Mapped device到目标设备target device的映射表，所述映射表包括多元组；所述多元组包括映射设备mapped device的起始逻辑地址、逻辑地址范围和表示目标设备target device所在物理设备的地址偏移量；

以及，采用设备映射Device Mapper机制定义目标设备类型Trident_target，注册四个接口函数的名称与功能：

Trident_ctr()，执行架构初始化；

Trident_dtr()，将Trident在Trident_ctr()中注册的结构和申请的内存资源都释放掉，以保证在Trident退出后，操作系统重新利用这些分配给Trident的注册的结构和(申请的)内存资源；

Trident_map()是整个Trident所有数据流的入口；

Trident_status()是供上层用户调用的函数，以便查询Trident目前的情况。其中，目标设备是通用名称，具体是指存储块设备，不是具体的某某设备。

Trident_ctr()的流程，需要说明的是，若在架构初始化的过程中，其中一步出现了错误，比如未得到设备，内存申请失败等，函数需要释放所申请的所有内存之后，才能退出。架构初始化之后，则为后续使用存储节点中剩余的未分配存储空间提供了实现的基础。目标设备是通用名称，具体是指存储块设备，不是具体的某某设备。

Trident_dtr()，将高性能一体机虚拟化存储系统TRIDENT在Trident_ctr()中注册的结构和申请的内存都释放掉，以保证在高性能一体机虚拟化存储系统TRIDENT退出后，操作系统可以重新利用这些分配给高性能一体机虚拟化存储系统TRIDENT的资源。

Trident_map()是整个高性能一体机虚拟化存储系统TRIDENT所有数据流的入口。在Trident_ctr()将bio请求进行切割之后，Trident_map()开始对切割后的bio请求进行解析，并根据bio请求的读写类型分别交给不同的函数进行处理。

Trident_status()是供上层用户调用的函数，以便查询高性能一体机虚拟化存储系统TRIDENT目前的情况，调用Trident_status()可以得到的信息有：缓存的命中次数、缓存的未命中次数、加锁的次数、放入等待队列的次数和设备间拷贝操作的次数等信息。

如图2所示，现有技术中，采用Exadata数据库一体机原有的协议和管理方式将存储节点上的磁盘空间分为Disk，Lun，Cell Disk，Grid Disk和ASM disk，并交付给Exadata数据库一体机使用。

在一个优选实施例中，组织元数据，以及管理元数据包括：采用一个全局的数据结构cache_context对Trident的缓存元数据进行统一管理，缓存元数据是指驻留在Trident里的元数据，不涉及具体的缓存操作。数据结构cache_context的主要成员类型及其作用见表1：

表1，cache_context的主要成员类型及其作用

其他一些没有列举的数据成员，例如多布隆过滤器算法或ARC算法的数据结构，也定义在数据结构cache_context中。

在一个优选实施例中，在数据结构cache_context中还包括RAM和SSD的cache_device结构，以及其它的队列、供上层用户调用的接口(client)以及锁机制，因此，高性能一体机虚拟化存储系统TRIDENT可以完成对bio的分配与处理操作，而对于热点数据的识别，高性能一体机虚拟化存储系统TRIDENT还需要热点数据识别算法的配合。

在一个优选实施例中，由存储虚拟化逻辑将未分配存储空间虚拟形成第一磁盘包括：将所述未分配存储空间转化为一个磁盘池，并在磁盘池中对所述未分配存储空间进行条带化管理。

如图3所示，将Exadata数据库一体机中未分配空间虚拟化为存储池。在一个优选实施例中，由存储虚拟化逻辑将未分配存储空间虚拟形成第一磁盘包括：将未分配存储空间虚拟化为一个大的磁盘池，并进行数据的条带化分布。保证整体的性能的同时，也具备业务需要的冗余能力，确保不会因为单一存储节点或者磁盘故障而丢失数据。是由存储节点内部高性能一体机虚拟化存储系统TRIDENT完成虚拟化磁盘池的。高性能一体机虚拟化存储系统TRIDENT初始化步骤：从生成的target device映射表中得到未分配的存储空间；在未分配的存储空间中，根据mapper device的起始地址、范围和物理设备的地址偏移量，对IO请求进行指针链接，实现IO的条带化分布。

在一个优选实施例中，采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理包括：

在InfiniBand交换机提供的链路中，采用安全远程密码(SRP，Secure RemotePassword)协议将所述第一磁盘传输至所述存储虚拟化逻辑，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理；

以及，所述存储虚拟化逻辑采用Internet小型计算机系统接口(ISCSI，InternetSmall Computer System Interface)协议将管辖的所述第一磁盘的存储空间，映射给不同的服务器主机使用。

在一个优选实施例中，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理包括：定义了缓存装置结构cache_device，队列、client以及锁机制，以实现对块的输入和输出bio的分配与处理操作。

通过各自的cache_device结构，RAM和SSD可以管理各自的缓存信息。

如图5所示，存储虚拟化逻辑部署在非Exadata数据库服务器，非Exadata数据库服务器作为加入InfiniBand网络环境的新应用服务器主机，具备非常高的灵活性。在一个优选实施例中，采用存储虚拟化逻辑对第一磁盘进行数据的分配管理包括：InfiniBand交换机，采用SRP协议将第一磁盘交由自主开发的存储虚拟化逻辑，由存储虚拟化逻辑对数据进行分配管理；以及，存储虚拟化逻辑采用ISCSI协议将管辖的存储空间，映射给其他服务器主机使用。

如图6所示，存储虚拟化逻辑的工作原理在于：

所有的磁盘在经过存储节点的高性能一体机虚拟化存储系统TRIDENT管理后，采用SRP协议经磁盘映射给服务器上部署的存储虚拟化逻辑，由存储虚拟化逻辑负责相关的设备管理和读写访问。

存储虚拟化逻辑能够充分使用Exadata数据库一体机空间当前未分配的存储空间。在Exadata需要空间的时候，可以释放占用的磁盘，将空间交由存储节点从新加入ASM环境；当确认所有空间由Oracle管理使用时，最终移除该存储虚拟化逻辑。整个过程对原生产系统的应用服务能力没有影响。

在一个应用场景中，如图7所示，虚拟化存储系统数据控制流程包括：

步骤701，获取存储设备信息和用户指定系统参数；

步骤702，根据存储设备信息获取HDD、SSD、NVRAM；

步骤703，为管理系统缓存元数据信息申请内存空间，并将目标设备私有域指向它；

步骤704，设置参数SPLIT_IO，将接收BIO切割为4KB大小；

步骤705，将NVRAM与SSD缓存元数据管理信息初始化；

步骤706，kcopyd client，工作队列，等待队列等初始化；

步骤707，结束。

本申请提供的技术中，TRIDENT是自主开发的存储虚拟化管理逻辑，DeviceMapper机制是TRIDENT核心实现方式。自主设计了存储节点内部的高性能一体机虚拟化存储系统TRIDENT，能更加有效的调度数据的读写，并且结合存储虚拟化逻辑不仅实现利用Exadata数据库一体机的存储，而且在性能上接近Oracle Exadata数据库一体机的性能。

为了让更多的应用利用到Exadata数据库一体机存储节点未分配空间，开发一套存储节点的虚拟化存储管理工具，将其中一部分未分配的存储节点的空间划分出来，不通过ASM，而由自主开发存储虚拟化逻辑工具进行管理。

为此，本发明实施例提供一种管理存储节点的磁盘空间的装置，包括：

虚拟化存储系统单元，用于在存储节点内部实现高性能一体机虚拟化存储系统；

虚拟单元，用于通过执行存储节点内部高性能一体机虚拟化存储系统TRIDENT初始化若判定存在剩余的未分配存储空间，将未分配存储空间虚拟形成第一磁盘；

管理单元，用于采用存储虚拟化逻辑对所述第一磁盘进行数据的分配管理。

在一个优选实施例中，还包括：

存储虚拟化逻辑单元，用于负责相关的设备管理和读写访问。

在一个优选实施例中，存储虚拟化逻辑单元包括：

目标设备定义模块，用于采用Device Mapper机制，定义了目标设备类型Trident_target；

接口函数模块，用于注册了四个接口函数，分实现系统初始化；系统注销；对切割后的bio请求进行解析，并根据请求的读写类型分别交给不同的函数进行处理；以及，打印系统状态信息。

自主设计了存储节点内部高性能一体机虚拟化存储系统TRIDENT，能更加有效的调度数据的读写，并且结合虚拟化存储存储虚拟化逻辑不仅实现Oracle Exadata数据库一体机的存储利用，而且在性能上接近Exadata数据库一体机的性能。

一种管理存储节点的磁盘空间的服务器，包括：一种管理存储节点的磁盘空间的装置。

Exadata数据库一体机本身是非常先进的技术体系，尤其是存储架构，但是其优秀的技术体系只开放给自己的数据库使用。在现实应用中，很难有机会将数据库一体机的存储空间全部用满，这样既浪费了投资，也没有最大化的发挥数据库一体机的技术优势。采用本方案之后的优势是：通过Exadata存储虚拟化的技术，可以更加精确细致的使用Exadata的存储空间，可以将其灵活的分配给其他的业务系统使用，让其他业务系统也能享受到高性能存储结构带来的技术优势。而且这样的改变并没有影响Exadata本身，在Exadata本身有空间需求或者性能需求的时候，占用的资源可以逐步归还给Exadata。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种管理存储节点的磁盘空间的方法，应用于服务器，其特征在于，方法包括：

在存储节点中建立一体机虚拟化存储系统Trident，对存储节点进行管理，包括：采用设备映射Device Mapper机制实现架构初始化，组织元数据，以及管理元数据，其中，建立映射设备Mapped device到目标设备target device的映射表，所述映射表包括多元组；所述多元组包括映射设备mapped device的起始逻辑地址、逻辑地址范围和表示目标设备target device所在物理设备的地址偏移量；

若通过执行一体机虚拟化存储系统初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；

采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理。

2.根据权利要求1所述的方法，其特征在于，采用设备映射Device Mapper机制实现架构初始化还包括：

采用设备映射Device Mapper机制定义目标设备类型Trident_target，注册四个接口函数的名称与功能：

Trident_ctr()，执行架构初始化；

Trident_dtr()，将一体机虚拟化存储系统在Trident_ctr()中注册的结构和申请的内存资源都释放掉，在一体机虚拟化存储系统退出后，由操作系统重新利用这些注册的结构和内存资源；

Trident_map()是一体机虚拟化存储系统所有数据流的入口；

Trident_status()是供上层调用的函数，以便查询一体机虚拟化存储系统目前的情况。

3.根据权利要求1所述的方法，其特征在于，组织元数据，以及管理元数据包括：

采用一个全局的数据结构cache_context对一体机虚拟化存储系统的缓存元数据进行统一管理。

4.根据权利要求1所述的方法，其特征在于，由存储虚拟化逻辑将未分配存储空间虚拟形成第一磁盘包括：

将所述未分配存储空间转化为一个磁盘池，并在磁盘池中对所述未分配存储空间进行条带化管理。

5.根据权利要求1所述的方法，其特征在于，采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理包括：

在InfiniBand交换机提供的链路中，采用安全远程密码协议将所述第一磁盘传输至所述存储虚拟化逻辑，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理；

以及，所述存储虚拟化逻辑采用Internet小型计算机系统接口协议将管辖的所述第一磁盘的存储空间，映射给不同的服务器主机使用。

6.根据权利要求5所述的方法，其特征在于，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理包括：

定义了缓存装置结构cache_device，队列、供上层用户调用的接口以及锁机制，以实现对块的输入和输出的分配与处理操作。

7.一种管理存储节点的磁盘空间的装置，其特征在于，包括：

虚拟化存储系统单元，用于在存储节点中建立一体机虚拟化存储系统Trident，对存储节点进行管理；

虚拟单元，用于若通过执行一体机虚拟化存储系统初始化判定存储节点中存在剩余的未分配存储空间，采用存储虚拟化逻辑将所述未分配存储空间虚拟形成第一磁盘；

管理单元，用于采用所述存储虚拟化逻辑对所述第一磁盘的空间进行管理；

虚拟化存储系统单元包括：设备映射机制模块，用于采用设备映射Device Mapper机制实现架构初始化，组织元数据，以及管理元数据；

设备映射机制模块还包括：架构初始化模块，用于建立映射设备Mapped device到目标设备target device的映射表，所述映射表包括多元组；所述多元组包括映射设备mappeddevice的起始逻辑地址、逻辑地址范围和表示目标设备target device所在物理设备的地址偏移量。

8.根据权利要求7所述的装置，其特征在于，设备映射机制模块还包括：

采用设备映射Device Mapper机制定义目标设备类型Trident_target，注册四个接口函数的名称与功能：

Trident_ctr()，执行架构初始化；

Trident_dtr()，将一体机虚拟化存储系统在Trident_ctr()中注册的结构和申请的内存资源都释放掉，在一体机虚拟化存储系统退出后，由操作系统重新利用这些注册的结构和申请的内存资源；

Trident_map()是一体机虚拟化存储系统所有数据流的入口；

Trident_status()是供上层调用的函数，以便查询一体机虚拟化存储系统目前的情况；

元数据模块，用于采用一个全局的数据结构cache_context对一体机虚拟化存储系统的缓存元数据进行统一管理。

9.根据权利要求7所述的装置，其特征在于，管理单元包括：

InfiniBand交换机模块，用于在InfiniBand交换机提供的链路中，采用安全远程密码协议将所述第一磁盘传输至所述存储虚拟化逻辑，由所述存储虚拟化逻辑对所述第一磁盘进行分配数据的管理；

以及，

存储虚拟化逻辑模块，用于采用Internet小型计算机系统接口协议将管辖的所述第一磁盘的存储空间，映射给不同的服务器主机使用。

10.一种管理存储节点的磁盘空间的服务器，其特征在于，包括：权利要求7～9中任意一项的装置。