CN116755630A - 一种输入输出性能优化的方法、系统、设备和存储介质 - Google Patents
一种输入输出性能优化的方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN116755630A CN116755630A CN202310787935.8A CN202310787935A CN116755630A CN 116755630 A CN116755630 A CN 116755630A CN 202310787935 A CN202310787935 A CN 202310787935A CN 116755630 A CN116755630 A CN 116755630A
- Authority
- CN
- China
- Prior art keywords
- storage
- object mapping
- development kit
- information
- data structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 74
- 238000011161 development Methods 0.000 claims abstract description 66
- 239000007787 solid Substances 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明提供一种输入输出性能优化的方法、系统、设备和存储介质，方法包括：在分布式块存储系统中配置存储性能开发工具包的运行环境；响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及通过所述存储性能开发工具包读取硬盘上的对象映射数据。本发明通过存储性能开发工具包操作NVMe存储盘，将分布式块存储层的对象映射信息加速落盘，从而提高分布式块存储的整体输入输出性能。
Description
技术领域
本发明涉及分布式块存储系统领域，更具体地，特别是指一种输入输出性能优化的方法、系统、设备和存储介质。
背景技术
现有的分布式块存储系统中关于object-map(对象映射)信息数据的持久化存储，使用linux内核相关的NVMe(Non Volatile Memory Express，非易失性内存规范)驱动直接操作SSD(Solid State Disk，固态硬盘)，未能充分发挥SSD设备的性能。
发明内容
有鉴于此，本发明实施例的目的在于提出一种输入输出性能优化的方法、系统、电子设备及计算机可读存储介质，本发明通过SPDK(Storage Performance DevelopmentKit，存储性能开发工具包)技术操作NVMe存储盘，将分布式块存储层的object-map信息加速落盘SSD，从而提高分布式块存储的整体IO(Input Output，输入输出)性能。
基于上述目的，本发明实施例的一方面提供了一种输入输出性能优化的方法，包括如下步骤：在分布式块存储系统中配置存储性能开发工具包的运行环境；响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及通过所述存储性能开发工具包读取硬盘上的对象映射数据。
在一些实施方式中，所述在分布式块存储系统中配置存储性能开发工具包的运行环境包括：在分布式存储系统中安装存储性能开发工具包驱动库，并配置对象存储的固态硬盘。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：在对象存储设备层获取对象映射存储数据结构，并在所述对象映射存储数据结构中确定所述对象映射的信息类型。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：基于所述对象映射的信息类型通过所述存储性能开发工具包调用用户态NVMe驱动操作固态硬盘以实现数据落盘。
在一些实施方式中，方法还包括：响应于对象映射特性开启，记录图片所有对象的位图以标记对象是否存在。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：通过所述存储性能开发工具包提供运行在用户空间的NVMe驱动程序；以及响应于读写数据，所述NVMe驱动程序轮询存储设备。
在一些实施方式中，方法还包括：所述NVMe驱动程序直接与NVMe设备交互。
本发明实施例的另一方面，提供了一种输入输出性能优化的系统，包括：部署模块，用于在分布式块存储系统中配置存储性能开发工具包的运行环境；创建模块，用于响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；落盘模块，用于通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及读取模块，用于通过所述存储性能开发工具包读取硬盘上的对象映射数据。
本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：通过存储性能开发工具包操作NVMe存储盘，将分布式块存储层的对象映射信息加速落盘，从而提高分布式块存储的整体输入输出性能
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的输入输出性能优化的方法的实施例的示意图；
图2为本发明提供的输入输出性能优化的方法的设备架构图；
图3为本发明提供的输入输出性能优化的系统的实施例的示意图；
图4为本发明提供的输入输出性能优化的电子设备的实施例的硬件结构示意图；
图5为本发明提供的输入输出性能优化的计算机存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提出了一种输入输出性能优化的方法的实施例。图1示出的是本发明提供的输入输出性能优化的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、在分布式块存储系统中配置存储性能开发工具包的运行环境；
S2、响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；
S3、通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及
S4、通过所述存储性能开发工具包读取硬盘上的对象映射数据。
本发明实施例通过存储性能开发工具包技术操作NVMe存储盘，实现分布式块存储层的对象映射信息加速落盘固态硬盘，从而提高分布式块存储的整体输入输出性能。本发明实施例具有高效性，能够提高分布式块存储系统的输入输出性能；同时，本发明实施例还具有兼容性，本发明实施例可以整合到现有分布式块存储系统中。
本发明实施例通过SPDK技术操作NVMe存储盘，将分布式块存储层的对象映射信息加速落盘到固态硬盘，从而提高分布式块存储的整体输入输出性能。
本发明实施例在分布式块存储系统中配置存储性能开发工具包的运行环境。
在一些实施方式中，所述在分布式块存储系统中配置存储性能开发工具包的运行环境包括：在分布式存储系统中安装存储性能开发工具包驱动库，并配置对象存储的固态硬盘。本发明实施例在分布式块存储系统中安装SPDK驱动库，配置object-map存储的固态硬盘。
SPDK是Intel提出的存储性能开发工具包，其提供运行在用户空间NVMe驱动程序，读写数据时，用户空间NVMe驱动程序轮询存储设备，不再需要使用中断。SPDK的定义是利用用户态、异步、轮询方式的NVMe驱动，用于加速NVMe SSD作为后端存储使用的应用软件的加速库。
用户态和内核态。操作系统所需要的两种内核状态分别是用户态和内核态。内核态运行操作系统程序，操作硬件；用户态运行用户程序。用户态和内核态的区别：类似于Linux的普通用户和root用户。内核态和用户态是操作系统的两种运行级别，当程序运行在三级特权上的时候，就可以称之为运行在用户态，这是最低特权级。大部分用户都运行在用户态。当程序运行在0级特权级上时，就可以称之为运行在内核态。运行在用户态下的程序不能直接访问操作系统内部的数据结构以及程序。当我们在系统中执行一个程序的时候，大部分时间是运行在用户态之下的，当他需要操作系统来帮助完成所需要完成的工作的时候就会切换到内核态。
处于用户态执行时，进程所能访问的内存空间和对象受到限制，其所处于占有的处理器是可被抢占的；处于内核态执行时，则能访问所有的内存空间和对象，且所占有的处理器是不允许被抢占的。用户态执行时，访问受到限制，资源会被抢占；内核态执行时，访问不受限制，不允许被处理器所抢占。
块设备：对于内存这种容量较小的存储介质通常采用以一个byte字节为单位的访问；对于U盘，软盘硬盘等存储介质，通常用一个块block为单位进行读写，这类设备称之为块设备。
针对SPDK的定义，对其关键字进行解析。SPDK是一个加速库，为了其通用性，采用C语言进行编码。加速的方案主要利用了用户态、异步以及轮询的思想；加速对象是基于NVMeSSD作为后端存储的应用软件。NVMe协议是一种为了SSD固态硬盘和主机通信的速度更快而定义的规范，将其本地存储性能推广到网络有NVMe-oF协议，用来支持InfiniBand、光纤或者以太网等。在针对网络存储解决方案中，当前主要有DAS、NAS以及SAN。
SPDK基于UIO或VFIO的支持直接将存储设备的地址空间映射到应用空间的方式，并利用NVMe规范来初始化NVMe SSD设备，实现基本的I/O操作，从而构筑用户态驱动，所以整个过程不需要陷入到内核中。在常规内核驱动阻塞的I/O操作完成以后，还需要利用CPU来通知用户程序I/O操作的结果。在SPDK用户态驱动的方案中，这一行为被异步轮询所取代，通过CPU不断轮询的方式，一旦查询到操作完成，则立马触发回调函数，给到上层用户程序，这样用户程序可以按需发送多个请求，以此提升性能。移除系统中断另一个显而易见的好处是避免了上下文的切换。
原本内核中的I/O操作的逻辑：当通过系统调用陷入到了内核态以后，每一个块设备都需要在自己的内核中调用各自的驱动。显然，直接暴露给各个驱动的接口到上层应用并不是一个好的方案，这不利于引入新的硬件设备。为此，Linux内核抽象出了通用设备块，用来支持上层应用与各个设备驱动的交互，隐藏了不同硬件设备的特性，并为这些I/O操作进行了一个统一的管理，避免硬件设备去支持较高的I/O并发量。同样在SPDK中，引入了用户态驱动以后，与之对应的，也需要用户态通用块来支持底层不同的存储需求。
SPDK整体架构分为四层，自上而下，最上层的应用协议层指代SPDK对外支持的协议以及相关的存储应用，包含有网络存储NVMe-oF，iSCSI Target以及虚拟化vhost-blk/scsi Target等；第二层为存储服务层，他提供了对块或者文件的抽象，用来支持更多的存储业务，例如提供了Blobstore；第三层抽象了通用的块存储设备bdev，用来支持后端不同的存储方式，例如NVMe，NVMe-oF，Ceph RBD等，并支持自定义的存储设备；底层则是驱动层，在这一层上，SPDK实现了用户态驱动用来加速各类存储应用。
SPDK利用CPU的亲和性，将线程和CPU核做绑定，设计了线程模型，应用程序从收到这个核的I/O操作到运行结束，都在该核上完成，这样可以更高效的利用缓存，同时也避免多核之间的内存同步问题。与此同时，在单核上的内存资源的管理，利用了大页存储来加速。需要说明的是，SPDK借助了DPDK对基础内存资源的管理，比如大页分配，因此需要DPDK相关库作为依赖，另外DPDK也为SPDK提供了一些基础数据管理结构，例如内存池，无锁队列等等。
在一些实施方式中，输入输出性能优化的方法还包括：所述NVMe驱动程序直接与NVMe设备交互。本发明实施例中NVMe驱动程序在用户空间中运行，应用能够直接与NVMe设备交互，而无需通过内核。
在一些实施方式中，输入输出性能优化的方法还包括：所述NVMe驱动程序采用无锁设计，并行执行IO命令。NVMe驱动程序采用无锁设计，不必使用CPU周期同步线程之间的数据，而且这种无锁方法还支持并行IO命令执行。这些特性都极大减少了软件的开销，相比于使用Linux内核的方法，SPDK用户空间NVMe驱动程序可大大降低总体延迟。
object-map是RBD(RADOS Block Device，块设备)层的一个特性，此特性依赖于exclusive-lock特性。
在一些实施方式中，输入输出性能优化的方法还包括：响应于对象映射特性开启，记录图片所有对象的位图以标记对象是否存在。本发明实施例中Image(图片)的对象分配是thin-provisioning，object-map特性开启的时候，会记录image所有对象的一个位图，用以标记对象是否真的存在，这样就可以在上层直接判断一个对象是否存在，可以起到加速IO的作用。
本发明实施例在写操作过程中，需要同步检测和更新object-map，而更新object-map包含多个对象的读写操作，其操作快慢会一定程度上影响IO性能。
本发明实施例中响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构。本发明实施例在RBD层对object-map更新的过程中，根据原有的object-map信息创建对应的object-map存储数据结构。
本发明实施例中通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：在对象存储设备层获取对象映射存储数据结构，并在所述对象映射存储数据结构中确定所述对象映射的信息类型。本发明实施例在OSD层获取object-map存储数据结构，识别属于object-map信息类型。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：基于所述对象映射的信息类型通过所述存储性能开发工具包调用用户态NVMe驱动操作固态硬盘以实现数据落盘。本发明实施例在OSD层识别object-map存储信息后，通过SPDK技术，调用用户态NVMe驱动操作SSD，实现数据落盘。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：通过所述存储性能开发工具包提供运行在用户空间的NVMe驱动程序；以及响应于读写数据，所述NVMe驱动程序轮询存储设备。
本发明实施例通过所述存储性能开发工具包读取硬盘上的对象映射数据。本发明实施例中利用SPDK技术读取固态硬盘上的object-map数据。
图2为本发明提供的输入输出性能优化的方法的设备架构图，如图2所示，在RBD层对object-map更新的过程中，根据原有的object-map信息创建对应的object-map存储数据结构；在OSD层获取object-map存储数据结构，识别属于object-map信息类型；在OSD层识别object-map存储信息后，通过SPDK技术，调用用户态NVMe驱动操作SSD，实现数据落盘；利用SPDK技术读取SSD盘上的object-map数据。
本发明实施例通过存储性能开发工具包技术操作NVMe存储盘，实现分布式块存储层的对象映射信息加速落盘固态硬盘，从而提高分布式块存储的整体输入输出性能。本发明实施例具有高效性，能够提高分布式块存储系统的输入输出性能；同时，本发明实施例还具有兼容性，本发明实施例可以整合到现有分布式块存储系统中。
需要特别指出的是，上述输入输出性能优化的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于输入输出性能优化的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种输入输出性能优化的系统。如图3所示，系统200包括如下模块：部署模块，用于在分布式块存储系统中配置存储性能开发工具包的运行环境；创建模块，用于响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；落盘模块，用于通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及读取模块，用于通过所述存储性能开发工具包读取硬盘上的对象映射数据。
在一些实施方式中，所述部署模块用于：在分布式存储系统中安装存储性能开发工具包驱动库，并配置对象存储的固态硬盘。
在一些实施方式中，所述落盘模块用于：在对象存储设备层获取对象映射存储数据结构，并在所述对象映射存储数据结构中确定所述对象映射的信息类型。
在一些实施方式中，所述落盘模块用于：基于所述对象映射的信息类型通过所述存储性能开发工具包调用用户态NVMe驱动操作固态硬盘以实现数据落盘。
在一些实施方式中，输入输出性能优化的系统还包括记录模块，所述记录模块用于：响应于对象映射特性开启，记录图片所有对象的位图以标记对象是否存在。
在一些实施方式中，所述落盘模块用于：通过所述存储性能开发工具包提供运行在用户空间的NVMe驱动程序；以及响应于读写数据，所述NVMe驱动程序轮询存储设备。
在一些实施方式中，输入输出性能优化的系统还包括交互模块，所述交互模块用于：所述NVMe驱动程序直接与NVMe设备交互。
本发明实施例通过存储性能开发工具包技术操作NVMe存储盘，实现分布式块存储层的对象映射信息加速落盘固态硬盘，从而提高分布式块存储的整体输入输出性能。本发明实施例具有高效性，能够提高分布式块存储系统的输入输出性能；同时，本发明实施例还具有兼容性，本发明实施例可以整合到现有分布式块存储系统中。
基于上述目的，本发明实施例的第三个方面，提出了一种电子设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、在分布式块存储系统中配置存储性能开发工具包的运行环境；S2、响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；
S3、通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及S4、通过所述存储性能开发工具包读取硬盘上的对象映射数据。
在一些实施方式中，所述在分布式块存储系统中配置存储性能开发工具包的运行环境包括：在分布式存储系统中安装存储性能开发工具包驱动库，并配置对象存储的固态硬盘。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：在对象存储设备层获取对象映射存储数据结构，并在所述对象映射存储数据结构中确定所述对象映射的信息类型。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：基于所述对象映射的信息类型通过所述存储性能开发工具包调用用户态NVMe驱动操作固态硬盘以实现数据落盘。
在一些实施方式中，步骤还包括：响应于对象映射特性开启，记录图片所有对象的位图以标记对象是否存在。
在一些实施方式中，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：通过所述存储性能开发工具包提供运行在用户空间的NVMe驱动程序；以及响应于读写数据，所述NVMe驱动程序轮询存储设备。
在一些实施方式中，步骤还包括：所述NVMe驱动程序直接与NVMe设备交互。
本发明实施例通过存储性能开发工具包技术操作NVMe存储盘，实现分布式块存储层的对象映射信息加速落盘固态硬盘，从而提高分布式块存储的整体输入输出性能。本发明实施例具有高效性，能够提高分布式块存储系统的输入输出性能；同时，本发明实施例还具有兼容性，本发明实施例可以整合到现有分布式块存储系统中。
如图4所示，为本发明提供的上述输入输出性能优化的电子设备的一个实施例的硬件结构示意图。
以如图4所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。
处理器301和存储器302可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的输入输出性能优化的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现输入输出性能优化的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据输入输出性能优化的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个输入输出性能优化的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的输入输出性能优化的方法。
执行上述输入输出性能优化的方法的电子设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行输入输出性能优化的方法的计算机程序。
如图5所示，为本发明提供的上述输入输出性能优化的计算机存储介质的一个实施例的示意图。以如图5所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行如上方法的计算机程序402。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，输入输出性能优化的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种输入输出性能优化的方法，其特征在于，包括如下步骤：
在分布式块存储系统中配置存储性能开发工具包的运行环境；
响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；
通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及
通过所述存储性能开发工具包读取硬盘上的对象映射数据。
2.根据权利要求1所述的输入输出性能优化的方法，其特征在于，所述在分布式块存储系统中配置存储性能开发工具包的运行环境包括：
在分布式存储系统中安装存储性能开发工具包驱动库，并配置对象存储的固态硬盘。
3.根据权利要求1所述的输入输出性能优化的方法，其特征在于，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：
在对象存储设备层获取对象映射存储数据结构，并在所述对象映射存储数据结构中确定所述对象映射的信息类型。
4.根据权利要求3所述的输入输出性能优化的方法，其特征在于，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：
基于所述对象映射的信息类型通过所述存储性能开发工具包调用用户态NVMe驱动操作固态硬盘以实现数据落盘。
5.根据权利要求1所述的输入输出性能优化的方法，其特征在于，方法还包括：
响应于对象映射特性开启，记录图片所有对象的位图以标记对象是否存在。
6.根据权利要求1所述的输入输出性能优化的方法，其特征在于，所述通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘包括：
通过所述存储性能开发工具包提供运行在用户空间的NVMe驱动程序；以及
响应于读写数据，所述NVMe驱动程序轮询存储设备。
7.根据权利要求6所述的输入输出性能优化的方法，其特征在于，方法还包括：
所述NVMe驱动程序直接与NVMe设备交互。
8.一种输入输出性能优化的系统，其特征在于，包括：
部署模块，用于在分布式块存储系统中配置存储性能开发工具包的运行环境；
创建模块，用于响应于块设备层对对象映射进行更新，根据原始的对象映射信息创建对应的对象映射存储数据结构；
落盘模块，用于通过所述存储性能开发工具包根据对象映射存储数据结构的信息实现数据落盘；以及
读取模块，用于通过所述存储性能开发工具包读取硬盘上的对象映射数据。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310787935.8A CN116755630A (zh) | 2023-06-30 | 2023-06-30 | 一种输入输出性能优化的方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310787935.8A CN116755630A (zh) | 2023-06-30 | 2023-06-30 | 一种输入输出性能优化的方法、系统、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116755630A true CN116755630A (zh) | 2023-09-15 |
Family
ID=87947681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310787935.8A Pending CN116755630A (zh) | 2023-06-30 | 2023-06-30 | 一种输入输出性能优化的方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116755630A (zh) |
-
2023
- 2023-06-30 CN CN202310787935.8A patent/CN116755630A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | {FlashShare}: Punching Through Server Storage Stack from Kernel to Firmware for {Ultra-Low} Latency {SSDs} | |
| WO2017114283A1 (zh) | 一种在物理主机中处理读/写请求的方法和装置 | |
| CN109634718B (zh) | 云平台创建镜像的方法及系统 | |
| US9454489B2 (en) | Exporting guest spatial locality to hypervisors | |
| US9778990B2 (en) | Methods and systems for concurrently taking snapshots of a plurality of virtual machines | |
| CN111858509B (zh) | 一种基于容器的分布式计算方法和装置 | |
| CN111722786A (zh) | 基于NVMe设备的存储系统 | |
| CN110046026B (zh) | 云主机指定虚拟磁盘限速方法、计算设备及云平台 | |
| US20210173572A1 (en) | System and method for managing volumes of data in a block storage system | |
| Horey et al. | Big data platforms as a service: challenges and approach | |
| US11016817B2 (en) | Multi root I/O virtualization system | |
| CN104104705B (zh) | 分布式存储系统的接入方法和设备 | |
| CN106708627A (zh) | 一种基于kvm的多虚拟机映射、多通路的fuse加速方法及系统 | |
| US20210157718A1 (en) | Reduction of page migration between different types of memory | |
| CN108733585B (zh) | 缓存系统及相关方法 | |
| JP5030647B2 (ja) | 複数処理ノードを含むコンピュータ・システムでプログラムをロードする方法、該プログラムを含むコンピュータ可読媒体、及び、並列コンピュータ・システム | |
| CN103617133A (zh) | 一种Windows系统中虚拟内存压缩方法和装置 | |
| US20230136522A1 (en) | Method and system for implementing metadata compression in a virtualization environment | |
| JP7497945B2 (ja) | 大容量エクステント・ストレージ・プールの小容量エクステント・ストレージ・プールへのインプレースでの変換 | |
| CN114253656A (zh) | 用于微服务工作负载的覆盖式容器存储驱动器 | |
| CN116755630A (zh) | 一种输入输出性能优化的方法、系统、设备和存储介质 | |
| US11287973B2 (en) | Polymorphic storage devices | |
| KR20190069134A (ko) | 응용 프로그램간 파일 공유 장치 및 방법 | |
| US9619277B2 (en) | Computer with plurality of processors sharing process queue, and process dispatch processing method | |
| KR101435499B1 (ko) | 가상 클라우드 환경 내 맵리듀스 클러스터 및 이를 위한 설계방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |