CN112104729A - 一种存储系统及其缓存方法 - Google Patents

Abstract

本发明公开了一种存储系统及其缓存方法，该系统包括：iSCSI客户端、iSCSI网关和存储服务器，iSCSI网关包括高速磁盘，iSCSI网关接收iSCSI客户端发送的读命令或写命令，根据写命令将数据写入高速磁盘中，当高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入存储服务器；根据读命令从高速磁盘读取数据，当读取的数据不存在时，从存储服务器读取数据。通过实施本发明，在网关中设置高速磁盘，在写数据的时候，先写到高速磁盘中，再将不常用的数据刷到存储服务器中。在数据读的过程中，先去高速磁盘中读取数据，如果高速磁盘中不存在，向存储服务器中请求，由此可以达到较高的存储性能。

Description

一种存储系统及其缓存方法

技术领域

本发明涉及数据存储技术领域，具体涉及一种存储系统及其缓存方法。

背景技术

iSCSI是一种使用TCP/IP协议，在现有IP网络上传输SCSI块命令的工业标准，它是一种在现有的IP网络上无需安装单独的光纤网络即可同时传输消息和块数据的突破性技术。iSCSI基于应用非常广泛的TCP/IP协议，将SCSI命令/数据块封装为iSCSI包，再封装至TCP报文，然后封装到IP报文中。iSCSI通过TCP面向连接的协议来保护数据块的可靠交付。由于iSCSI基于IP协议栈，因此可以在标准以太网设备上通过路由或交换机来传输。

然而，现有的iSCSI网关虽然采用了分布式集群的存储服务设备，但是在目前的存储服务设备中大多采用的机械硬盘存储的方式，采用机械硬盘执行iSCSI客户端的读写命令时，会使得该存储系统的存储性能较低。

发明内容

有鉴于此，本发明实施例提供了一种存储系统及其缓存方法，以解决现有的存储系统的存储性能较低的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种存储系统，该存储系统包括：iSCSI客户端、iSCSI网关和存储服务器，所述iSCSI网关包括高速磁盘，所述iSCSI网关接收所述iSCSI客户端发送的读命令或写命令，根据写命令将数据写入所述高速磁盘中，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入所述存储服务器；根据读命令从所述高速磁盘读取数据，当读取的数据不存在时，从所述存储服务器读取数据。

进一步地，所述iSCSI网关包括主机和备机，所述高速磁盘设置在所述主机中，所述高速磁盘在所述备机中具有镜像文件。

进一步地，所述高速磁盘包括多个分区，所述存储服务器在所述iSCSI网关中形成多个虚拟机磁盘，每个虚拟机磁盘和每个高速磁盘的分区构成块设备，所述块设备用于缓存所述iSCSI客户端发送的数据。

进一步地，所述高速磁盘挂载在本地，挂载后的高速磁盘对应本地目录，所述本地目录中包括多个创建的文件用于模拟多个磁盘分区。

进一步地，所述存储服务器包括多个固态硬盘和多个机械硬盘，多个固态硬盘构成缓存池，多个机械硬盘构成常规池，写入所述存储服务器的数据存储在所述缓存池中，当所述缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入所述常规池中。

进一步地，所述iSCSI网关设置在所述存储服务器中。

进一步地，所述存储服务器包括分布式文件系统，所述分布式文件系统包括Ceph、HDFS或GlusterFS中的任意一种。

进一步地，所述高速磁盘为SATA固态硬盘或NVMe固态硬盘。

本发明实施例第二方面提供一种存储系统的缓存方法，该缓存方法包括：接收iSCSI客户端发送的读命令或写命令；根据写命令将数据写入所述高速磁盘中，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入存储服务器；根据读命令从所述高速磁盘读取数据，当读取的数据不存在时，从所述存储服务器读取数据。

进一步地，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器，包括：当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器由多个固态硬盘构成的缓存池中；当所述缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入所述存储服务器由多个机械硬盘构成的常规池中。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的存储系统，通过在iSCSI网关设置高速磁盘，客户端在写数据的时候，先写到高速磁盘中，高速磁盘中写成功就返回成功，在高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求的时候，高速磁盘将不常用的数据刷到存储服务器中。在数据读的过程中，为了提升性能，首先会先去高速磁盘中读取数据，如果高速磁盘中存在，返回成功。如果高速磁盘中不存在，就再次向存储服务器中请求。本发明实施例提供的存储系统通过设置的高速磁盘增加了一层缓存，由此可以达到较高的存储性能。

本发明实施例提供的存储系统，通过在网关中设置高速磁盘，可以为该存储系统增加一层缓存，同时存储服务器中设置了多个固态硬盘构成的缓存池，由此，该存储系统可以实现多级缓存，大大提升了存储性能。

本发明实施例提供的高速磁盘采用镜像形式同步，在主节点宕机之后，缓存的数据在备节点也有，保证了数据的高可用。同时高速磁盘采用分区，一个分区对应一个块设备，提高了高速磁盘资源利用率，并且还降低了成本。此外，高速磁盘还可以挂载到本地，一个大文件模拟成一个磁盘，提高了高速磁盘资源利用率，降低了成本。

本发明实施例提供的存储系统的缓存方法，客户端在写数据的时候，先写到高速磁盘中，高速磁盘中写成功就返回成功，在高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求的时候，高速磁盘将不常用的数据刷到存储服务器中。在数据读的过程中，为了提升性能，首先会先去高速磁盘中读取数据，如果高速磁盘中存在，返回成功。如果高速磁盘中不存在，就再次向存储服务器中请求。本发明实施例提供的存储系统的缓存方法可以在写入存储服务器之前写先到高速磁盘形成的高速缓存设备中，由此可以达到较高的存储性能。

本发明实施例提供的存储系统的缓存方法，将根据iSCSI客户端写命令写入的数据先写在网关的高速缓存设备中，当高速缓存设备达到阈值或预设时间内未收到写入数据或读取数据请求时，再写入储存服务器的缓存池中，最后写入存储服务器的常规池即低速设备中。由此，本发明实施例提供的存储系统的缓存方法，可以实现了多级高速缓存，大大提升了存储系统的存储性能。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的存储系统的结构框图；

图2是根据本发明实施例的存储系统的结构示意图；

图3是根据本发明另一实施例的存储系统的结构示意图；

图4是根据本发明另一实施例的存储系统的结构示意图；

图5是根据本发明实施例的存储系统的缓存方法的流程图；

图6是根据本发明另一实施例的存储系统的缓存方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种存储系统，如图1所示，该存储系统包括：iSCSI客户端、iSCSI网关2和存储服务器3，iSCSI网关2包括高速磁盘21，iSCSI网关2接收iSCSI客户端1发送的读命令或写命令，根据写命令将数据写入高速磁盘21中，当高速磁盘21达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘21中的数据写入存储服务器3；根据读命令从高速磁盘21读取数据，当读取的数据不存在时，从存储服务器3读取数据。

本发明实施例提供的存储系统，通过在iSCSI网关设置高速磁盘，客户端在写数据的时候，先写到高速磁盘中，高速磁盘中写成功就返回成功，在高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求的时候，高速磁盘将不常用的数据刷到存储服务器中。在数据读的过程中，为了提升性能，首先会先去高速磁盘中读取数据，如果高速磁盘中存在，返回成功。如果高速磁盘中不存在，就再次向存储服务器中请求。本发明实施例提供的存储系统通过设置的高速磁盘增加了一层缓存，由此可以达到较高的存储性能。

在一实施例中，高速磁盘可以选择SATA固态硬盘(Solid State Disk或SolidState Drive，简称SSD)或NVMe固态硬盘。其中，SATA SSD是指采用SATA接口的固态硬盘，SATA接口是一种完全不同于并行PATA的新型硬盘接口类型，由于采用串行方式传输数据而得名。SATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令(不仅仅是数据)进行检查，如果发现错误会自动矫正，这在很大程度上提高了数据传输的可靠性。并且，SATA接口还具有结构简单、支持热插拔的优点。NVMe全称NVMExpress，是用于PCI Express附加存储的寄存器接口和命令集，以及适用于多种操作系统的行业标准软件。

在一实施例中，如图2所示，iSCSI网关包括主机和备机，高速磁盘设置在主机中，高速磁盘在备机中具有镜像文件。具体地，为了避免网关出现故障对系统的影响，可以设置两个网关，分别为主机和备机；在系统正常运行时可以由主机工作，系统出现故障时，采用备机工作。由于在主机中设置了高速磁盘，为了使备机工作时达到和主机相同的性能，可以采用镜像在备机中实现数据实时的互相同步。可选地，可以采用DRBD(DistributedReplicated BlockDevice)技术实现数据的镜像。

在一实施例中，如图2所示，iSCSI客户端的APP通过多路径(MultiPath)的方式发送读命令或写命令。iSCSI网关的iSCSI Target通过iSCSI initiator接口连接客户端。可选地，如图2所示，高速磁盘包括多个分区，存储服务器在iSCSI网关中形成多个虚拟机磁盘，每个虚拟机磁盘和每个高速磁盘的分区构成块设备，块设备用于缓存iSCSI客户端发送的数据。具体地，每个虚拟机磁盘和每个高速磁盘的分区可以构成一个新磁盘，该新磁盘带有缓存机制，可以使得组成的新磁盘的性能大大提升。

可选地，可以采用Bcache、Flashcache、ZFS等算法实现虚拟硬盘HDD(机械硬盘)和高速磁盘分区SSD的混合。其中，Flashcache算法采用设备映射技术把固态硬盘和机械硬盘映射成一个虚拟的块设备，为客户端提供服务，客户端可以像使用普通块设备一样使用这个虚拟设备。Bcache算法允许一个固态硬盘作为一个机械硬盘的缓存，即为一块IO速率不高的磁盘配置一个IO速率较高的缓存层。那就是说可以分为两个部分，一部分是速率较低的设备，一部分是速率较高的部分，然后将这两部分建立一个映射关系，这样客户端在写数据的时候，IO数据先到达高速的缓存设备，从而提高客户端IO速率。ZFS全称ZettabyteFile System，也叫动态文件系统(Dynamic File System)，ZFS完全抛弃了“卷管理”，不再创建虚拟的卷，而是把所有设备集中到一个存储池中来进行管理。而且还允许物理设备把他们自带的那些文件系统共享到这个“池”中。

在一实施例中，如图3所示，可以将高速磁盘挂载在本地，挂载后的高速磁盘对应一个本地目录(data目录)，可以在目录中创建大文件模拟多个不同的磁盘。多个大文件可以和存储服务器在iSCSI网关中形成的多个虚拟机磁盘分别组成多个块设备。可选地，在将高速磁盘在备机中做镜像时，可以将整个高速磁盘做镜像，也可以是模拟不同的小磁盘做镜像。

在一实施例中，存储服务器可以包括多个固态硬盘SSD和多个机械硬盘HDD，多个固态硬盘构成缓存池，多个机械硬盘构成常规池，写入存储服务器的数据存储在缓存池中，当缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将缓存池中的数据写入常规池中。可选地，存储服务器可以由分布式文件系统构成，分布式文件系统可以是Ceph、HDFS(Hadoop Distributed FileSystem)或GlusterFS(Gluster File System)中的任意一种。

其中，Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统。Ceph可以将多台服务器组成一个超大集群，把这些机器中的磁盘资源整合到一块儿，形成一个大的资源池(PB级别)，然后按需分配给应用使用。Ceph中包括多个OSD，OSD的英文全称是ObjectStorage Device，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理。具体地，如图4所示，该存储服务器包括三个ceph节点，每个节点中包括三个硬盘，一个固态硬盘和两个机械硬盘，所有节点中的三个固态硬盘构成了缓存池即快速存储池，六个机械硬盘构成了常规池。

在一实施例中，iSCSI网关可以设置在服务器中，同时为了节省服务器，可以将其设置在存储服务器中。即iSCSI网关可以复用存储服务器。

本发明实施例提供的存储系统，通过在网关中设置高速磁盘，可以为该存储系统增加一层缓存，同时存储服务器中设置了多个固态硬盘构成的缓存池，由此，该存储系统可以实现多级缓存，大大提升了存储性能。

本发明实施例提供的高速磁盘采用镜像形式同步，在主节点宕机之后，缓存的数据在备节点也有，保证了数据的高可用。同时高速磁盘采用分区，一个分区对应一个块设备，提高了高速磁盘资源利用率，并且还降低了成本。此外，高速磁盘还可以挂载到本地，一个大文件模拟成一个磁盘，提高了高速磁盘资源利用率，降低了成本。

本发明实施例还提供一种存储系统的缓存方法，如图5所示，该缓存方法包括如下步骤：

步骤S101：接收iSCSI客户端发送的读命令或写命令；具体地，iSCSI网关可以通过iSCSI initiator接口接收iSCSI客户端发送的读命令或写命令。其中，iSCSI客户端可以采用多路径(Multipath)的方式发送读命令或写命令。

步骤S102：根据写命令将数据写入高速磁盘中，当高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入存储服务器；具体地，可以在iSCSI网关中设置高速磁盘，例如SATA固态硬盘或NVMe固态硬盘。当接收到写命令时，可以先将数据写入高速磁盘进行缓存，在高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求的时候，高速磁盘将不常用的数据写入到存储服务器中。

在一实施例中，高速磁盘可以包括多个分区，存储服务器在iSCSI网关中形成多个虚拟机磁盘，每个虚拟机磁盘和每个高速磁盘的分区构成块设备，当接收到写命令时，可以先将数据写入块设备中进行缓存，在块设备达到阈值或预设时间内未收到写入数据或读取数据请求的时候，将不常用的数据写入到存储服务器中。

在一实施例中，可以将高速磁盘挂载在本地，挂载后的高速磁盘对应一个本地目录，可以在目录中创建大文件模拟多个不同的磁盘。多个大文件可以和存储服务器在iSCSI网关中形成的多个虚拟机磁盘分别组成多个块设备。

在一实施例中，iSCSI网关包括主机和备机，高速磁盘设置在主机中，高速磁盘在备机中具有镜像文件。具体地，为了避免网关出现故障对系统的影响，可以设置两个网关，分别为主机和备机；在系统正常运行时可以由主机工作，系统出现故障时，采用备机工作。由于在主机中设置了高速磁盘，为了使备机工作时达到和主机相同的性能，可以采用镜像在备机中实现数据实时的互相同步。可选地，可以采用DRBD(Distributed ReplicatedBlock Device)技术实现数据的镜像。可选地，在将高速磁盘在备机中做镜像时，可以将整个高速磁盘做镜像，也可以是模拟不同的小磁盘做镜像。

步骤S103：根据读命令从高速磁盘读取数据，当读取的数据不存在时，从存储服务器读取数据。具体地，在数据读的过程中，为了提升性能，首先会先去高速磁盘中读取数据，如果高速磁盘中存在，返回成功。如果高速磁盘中不存在，就再次向存储服务器中请求。

本发明实施例提供的存储系统的缓存方法，客户端在写数据的时候，先写到高速磁盘中，高速磁盘中写成功就返回成功，在高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求的时候，高速磁盘将不常用的数据刷到存储服务器中。在数据读的过程中，为了提升性能，首先会先去高速磁盘中读取数据，如果高速磁盘中存在，返回成功。如果高速磁盘中不存在，就再次向存储服务器中请求。本发明实施例提供的存储系统的缓存方法可以在写入存储服务器之前写先到高速磁盘形成的高速缓存设备中，由此可以达到较高的存储性能。

在一实施例中，如图6所示，步骤S102当高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器包括如下步骤：

步骤S201：当高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器由多个固态硬盘构成的缓存池中；具体地，存储服务器可以包括多个固态硬盘SSD和多个机械硬盘HDD，多个固态硬盘构成缓存池，多个机械硬盘构成常规池，写入存储服务器的数据存储在缓存池中。可选地，存储服务器可以由分布式文件系统构成，分布式文件系统可以是Ceph、HDFS(Hadoop Distributed File System)或GlusterFS(Gluster File System)中的任意一种。

步骤S202：当缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器由多个机械硬盘构成的常规池中。具体地，固态硬盘组成的缓存池可以作为一个快速存储池，机械硬盘组成的常规池可以作为一个慢存储池，当写入缓存池的数据达到阈值时，可以将数据写入常规池即慢存储池中。此外，当较长时间内未收到写入数据或读取数据请求时，此时，缓存池处于空闲状态，可以将缓存池中的数据写入常规池中。

本发明实施例提供的存储系统的缓存方法，将根据iSCSI客户端写命令写入的数据先写在网关的高速缓存设备中，当高速缓存设备达到阈值或预设时间内未收到写入数据或读取数据请求时，再写入储存服务器的缓存池中，最后写入存储服务器的常规池即低速设备中。由此，本发明实施例提供的存储系统的缓存方法，可以实现了多级高速缓存，大大提升了存储系统的存储性能。

虽然关于示例实施例及其优点已经详细说明，但是本领域技术人员可以在不脱离本发明的精神和所附权利要求限定的保护范围的情况下对这些实施例进行各种变化、替换和修改，这样的修改和变型均落入由所附权利要求所限定的范围之内。对于其他例子，本领域的普通技术人员应当容易理解在保持本发明保护范围内的同时，工艺步骤的次序可以变化。

此外，本发明的应用范围不局限于说明书中描述的特定实施例的工艺、机构、制造、物质组成、手段、方法及步骤。从本发明的公开内容，作为本领域的普通技术人员将容易地理解，对于目前已存在或者以后即将开发出的工艺、机构、制造、物质组成、手段、方法或步骤，其中它们执行与本发明描述的对应实施例大体相同的功能或者获得大体相同的结果，依照本发明可以对它们进行应用。因此，本发明所附权利要求旨在将这些工艺、机构、制造、物质组成、手段、方法或步骤包含在其保护范围内。

Claims (10)

1.一种存储系统，其特征在于，包括：iSCSI客户端、iSCSI网关和存储服务器，所述iSCSI网关包括高速磁盘，

所述iSCSI网关接收所述iSCSI客户端发送的读命令或写命令，根据写命令将数据写入所述高速磁盘中，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入所述存储服务器；根据读命令从所述高速磁盘读取数据，当读取的数据不存在时，从所述存储服务器读取数据。

2.根据权利要求1所述的存储系统，其特征在于，所述iSCSI网关包括主机和备机，所述高速磁盘设置在所述主机中，所述高速磁盘在所述备机中具有镜像文件。

3.根据权利要求1所述的存储系统，其特征在于，所述高速磁盘包括多个分区，所述存储服务器在所述iSCSI网关中形成多个虚拟机磁盘，每个虚拟机磁盘和每个高速磁盘的分区构成块设备，所述块设备用于缓存所述iSCSI客户端发送的数据。

4.根据权利要求1所述的存储系统，其特征在于，所述高速磁盘挂载在本地，挂载后的高速磁盘对应本地目录，所述本地目录中包括多个创建的文件用于模拟多个磁盘分区。

5.根据权利要求1所述的存储系统，其特征在于，所述存储服务器包括多个固态硬盘和多个机械硬盘，多个固态硬盘构成缓存池，多个机械硬盘构成常规池，写入所述存储服务器的数据存储在所述缓存池中，当所述缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入所述常规池中。

6.根据权利要求1所述的存储系统，其特征在于，所述iSCSI网关设置在所述存储服务器中。

7.根据权利要求1所述的存储系统，其特征在于，所述存储服务器包括分布式文件系统，所述分布式文件系统包括Ceph、HDFS或GlusterFS中的任意一种。

8.根据权利要求1所述的存储系统，其特征在于，所述高速磁盘为SATA固态硬盘或NVMe固态硬盘。

9.一种存储系统的缓存方法，其特征在于，包括：

接收iSCSI客户端发送的读命令或写命令；

根据写命令将数据写入所述高速磁盘中，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将高速磁盘中的数据写入存储服务器；

根据读命令从所述高速磁盘读取数据，当读取的数据不存在时，从所述存储服务器读取数据。

10.根据权利要求9所述的存储系统的缓存方法，其特征在于，当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器，包括：

当所述高速磁盘达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入存储服务器由多个固态硬盘构成的缓存池中；

当所述缓存池达到阈值或预设时间内未收到写入数据或读取数据请求时，将数据写入所述存储服务器由多个机械硬盘构成的常规池中。

Images