CN115495023B - 一种数据请求方法、装置、设备及存储介质 - Google Patents
一种数据请求方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115495023B CN115495023B CN202211430815.4A CN202211430815A CN115495023B CN 115495023 B CN115495023 B CN 115495023B CN 202211430815 A CN202211430815 A CN 202211430815A CN 115495023 B CN115495023 B CN 115495023B
- Authority
- CN
- China
- Prior art keywords
- controller node
- data
- storage
- storage side
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 241000023450 Anastatus Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据请求方法、装置、设备及存储介质，应用于存储侧，包括：获取主机侧发送的私有查询命令；根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有访问关系的数据段的访问状态；将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。可见，本申请通过定义私有指令实现主机与多控存储的负载均衡，能够降低存储硬件资源，提高存储性能。
Description
技术领域
本发明涉及存储技术领域，特别涉及一种数据请求方法、装置、设备及存储介质。
背景技术
随着的到来，数据集中是大数据时代的产物，对存储系统稳定性和可靠性的要求越来越高。目前存储系统多采用多控制器来提高存储效率，多控存储系统收到主机读数据请求，数据请求通过控制器到达后端盘，然后返回给主机；若是写数据请求，则通过控制器后，写到后端盘。对于多控存储系统，尤其是一框四控存储系统，一个控制框下存在四个控制器节点，数据请求走哪个控制器下发到盘，需要采取合适的策略。通过采取合适的策略，保证主机与存储系统的负载均衡，提高整体的性能。传统策略往往是指定一个最合适的节点，所有输入输出会通过这一个控制器下发到后端盘，而其他控制器则无输入输出流量，导致负载不均衡，高负载下性能会下降，给用户带来极差的体验，降低用户对产品的认可度，且严重浪费硬件资源。
因此，上述技术问题亟待本领域技术人员解决。
发明内容
有鉴于此，本发明的目的在于提供一种数据请求方法、装置、设备及存储介质，能够通过定义私有指令实现主机与多控存储的负载均衡，降低存储硬件资源，提高存储性能。其具体方案如下：
本申请的第一方面提供了一种数据请求方法，应用于存储侧，包括：
获取主机侧发送的私有查询命令；
根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。
可选的，所述数据请求方法，还包括：
将所述存储侧的逻辑卷划分为多个所述数据段；
以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，并根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置所述访问优先级。
可选的，所述将所述存储侧的逻辑卷划分为多个所述数据段，包括：
将所述存储侧的逻辑命名空间进行划分，得到与所述逻辑命名空间对应的多个命名空间块；其中，所述逻辑命名空间为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。
可选的，所述将所述存储侧的逻辑卷划分为多个所述数据段之后，还包括：
对各个所述数据段建立与对应的所述控制器节点之间的最优访问关系；
根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置所述访问优先级。
可选的，所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据，包括：
所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，并通过所述最优访问状态的所述控制器节点请求数据。
可选的，所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，包括：
所述主机侧将与所述数据段同时具有所述最优访问关系和所述可访问关系的所述控制器节点确定为所述数据段的所述最优状态的所述控制器节点；
所述主机侧将与所述数据段仅具有所述可访问关系的所述控制器节点确定为所述数据段的非最优状态的所述控制器节点。
可选的，所述以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，包括：
从下层存储栈获取用于建立所述可访问关系的存储栈策略信息，并根据所述存储栈策略信息在所述控制器节点和各个所述数据段之间建立所述可访问关系。
可选的，所述优先级信息包括数据段信息、数据段优先级描述符及数据段优先级描述符的展开信息。
可选的，所述私有查询命令为满足非易失性内存主机控制器接口规范的自定义私有命令。
本申请的第二方面提供了一种数据请求方法，应用于主机侧，包括：
向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点向所述数据段请求数据。
可选的，所述向存储侧发送私有查询命令之前，还包括：
判断所述存储侧是否支持所述私有查询命令，如果是，则向存储侧发送所述私有查询命令。
可选的，所述判断所述存储侧是否支持所述私有查询命令，包括：
生成判别指令并将所述判别指令发送至所述存储侧；
接收所述存储侧返回的支持信息，如果所述支持信息表征所述存储侧支持按段上报方式，则判定所述存储侧支持所述私有查询命令。
本申请的第三方面提供了一种数据请求装置，应用于存储侧，包括：
命令获取模块，用于获取主机侧发送的私有查询命令；
信息生成模块，用于根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
信息返回模块，用于将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。
本申请的第四方面提供了一种数据请求装置，应用于主机侧，包括：
命令发送模块，用于向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
信息接收及请求模块，用于接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。
本申请的第五方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述数据请求方法。
本申请的第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述数据请求方法。
本申请中，存储侧先获取主机侧发送的私有查询命令；然后根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；最后将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。可见，本申请以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级， 便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种存储侧数据请求方法流程图；
图2为本申请提供的一种通过原有的Get Log Page 命令获取非对称命名空间访问ANA信息的参考协议示意图；
图3为本申请提供的一种通过原有的Get Log Page 命令获取非对称命名空间访问ANA信息的参考协议示意图；
图4为本申请提供的一种具体的存储侧数据请求方法流程图；
图5为本申请提供的一种具体的存储侧数据请求方法流程图；
图6为本申请提供的一种四控存储系统最终形成的多路径示意图；
图7为本申请提供的一种Asymmetric Namespace Access Referrals Log命令格式描述示意图；
图8为本申请提供的一种Namespace Segment referral Info的展开描述示意图；
图9为本申请提供的一种Namespace segment referral descriptor的展开描述示意图；
图10为本申请提供的一种主机侧根据访问优先级信息进行数据请求的过程流程图；
图11为本申请提供的一种主机侧数据请求方法流程图；
图12为本申请提供的一种具体的主机侧数据请求方法流程图；
图13为本申请提供的一种具体的主机侧和存储侧具体交互过程示意图；
图14为本申请提供的一种存储侧数据请求装置结构示意图；
图15为本申请提供的一种主机侧数据请求装置结构示意图；
图16为本申请提供的一种数据请求电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的多控存储系统往往是指定一个最合适的节点，所有输入输出会通过这一个控制器下发到后端盘，而其他控制器则无输入输出流量，导致负载不均衡，高负载下性能会下降，给用户带来极差的体验，降低用户对产品的认可度，且严重浪费硬件资源。针对上述技术缺陷，本申请提供一种数据请求方案，以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级， 便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
图1为本申请实施例提供的一种数据请求方法流程图。参见图1所示，该数据请求方法应用于存储侧，包括：
S11：获取主机侧发送的私有查询命令。
本实施例中，所述存储侧为满足非易失性内存主机控制器接口规范NVMe（non-volatile memory express）的多控存储系统，是一个多控制器系统MCS（multiplecontroller system），例如，具有四个NVMe控制器的为四控存储系统，具有二个NVMe控制器的为两控存储系统，一般四控存储系统较为常用。
本实施例中，在主机侧进行数据请求时，所述存储侧先获取主机侧发送的私有查询命令。其中，所述私有查询命令为满足非易失性内存主机控制器接口规范NVMe的自定义私有命令。例如，可以是重新定义的Get Log Page命令，表示为Asymmetric NamespaceAccess Referrals Log命令。Get Log Page命令即获取日志页命令，其返回的是包含请求的日志页的数据缓冲区。Get Log Page 命令可能会受到 ANA 状态的影响。GetLog Page命令使用 Data Pointer、Command Dword 10、Command Dword 11、Command Dword 12、Command Dword 13 和Command Dword 14 字段，保留所有其他命令特定字段。
图2和图3表格为通过原有的Get Log Page 命令获取非对称命名空间访问ANA信息（asymmetrical namespace access）的参考协议，主机通过Get Log Page命令来获取ANA信息，Log Identifier为0Ch。图2表格中Number of ANA Group Descriptors标识有多少个优先级分组，后面列出每个优先级描述符，在第二个表格中将每个描述符展开。ANAGroupID代表每个分组的id，Number of NSID Values标识该分组中有多少个NSID，也就是有多少个namespace，Change Count代表该组变化的次数，然后标识该组的优先级，最后列出所有NSID。在只有一个存储磁盘的情况下，通过上述协议进行ANA访问时只有与该存储磁盘对应的主机端口与存储端口有流量，会造成负载不均衡，在四控系统尤为明显，因为会有三个控制器无流量。
S12：根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态。
本实施例中，所述存储侧获取到所述私有查询命令之后，会根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息。其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态，多个所述数据段组成所述存储侧的存储磁盘。所述可访问关系表示能访问的关系，也即具有所述可访问关系的所述数据段和所述控制器节点之间，该控制器节点能访问该数据段。另外，NVMe协议中规定了3种控制器controller，本实施例只涉及I/O controller，其余不做介绍。
S13：将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。
本实施例中，所述存储侧在生成所述访问优先级信息之后，将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。所述主机侧在进行数据访问的时候，会根据待访问数据的逻辑地址对应的所述数据段找到最合适的控制器节点向所述数据段请求数据。如此一来，便可以通过不同的所述控制器节点访问后端盘，从而实现主机与多控存储的负载均衡。
可见，本申请实施例存储侧先获取主机侧发送的私有查询命令；然后根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；最后将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。本申请实施例以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级， 便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
图4为本申请实施例提供的一种具体的数据请求方法流程图。参见图4所示，该数据请求方法包括：
S21：将存储侧的逻辑卷划分为多个数据段。
S22：以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置访问优先级。
本实施例中，为了实现负载均衡，需要将存储侧的逻辑卷划分为多个数据段。具体分段大小可以根据下层存储栈（IO栈）的存储栈策略信息（IO栈策略信息）设定，也可根据业务需求自行设定。一般设置为32M，也即按照每段大小为32M的规格进行分段，多个数据段为0,32M-1、32M,64M-1、64M,96M-1、96M,128M-1等。
本实施例中，在进行分段之后，还需要以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，可以将每个所述控制器节点与各个所述数据段建立所述可访问关系，使得每个所述控制器节点均能够访问这个数据段，但需要注意的是，同一个数据段仅具有一个最优的控制器节点，这个体现在所述访问优先级上。在此基础上，根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置访问优先级。例如，数据段1与控制器节点1、控制器节点2、控制器节点3和控制器节点4具有所述可访问关系，但数据段1与控制器节点1之间的可访问关系更为特殊，那么对于数据段1，控制器节点1的访问优先级就最高。
S23：存储侧获取主机侧发送的私有查询命令。
S24：存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态。
S25：存储侧将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。
关于上述步骤S23至步骤S25的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例先将存储侧的逻辑卷划分为多个数据段，然后以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置访问优先级。在此基础上，存储侧获取主机侧发送的私有查询命令，并根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态，以及将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。本申请实施例在对存储侧的后端盘进行分段的基础上以多控存储系统的控制器为单位设置访问优先级，进而实现多控存储在控制器间的负载均衡。
图5为本申请实施例提供的一种具体的数据请求方法流程图。参见图5所示，该数据请求方法包括：
S31：将存储侧的逻辑命名空间进行划分，得到与所述逻辑命名空间对应的多个命名空间块；其中，所述逻辑命名空间为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。
S32：对各个所述数据段建立与对应的控制器节点之间的最优访问关系。
S33：从下层存储栈获取用于建立可访问关系的存储栈策略信息，并根据所述存储栈策略信息在所述控制器节点和各个所述数据段之间建立所述可访问关系。
S34：根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置访问优先级。
本实施例中，逻辑卷为逻辑命名空间namespace，则将存储侧的逻辑命名空间namespace进行划分，得到与所述逻辑命名空间namespace对应的多个命名空间块。其中，所述逻辑命名空间namespace为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。然后对各个所述数据段建立与对应的控制器节点之间的最优访问关系，所述最优访问关系表征针对某个数据段哪个控制器节点的访问优先级最高。例如，在128M的单个所述逻辑命名空间namespace场景的负载均衡中，按照32M的分段大小将每个所述逻辑命名空间namespace划分为4组，每组由一个控制器节点优先访问，其他为非优先访问。最优访问关系即为0,32M-1:node1,32M,64M-1:node2,64M,96M-1:node3, 96M,128M-1:node4。
本实施例中，同时还需要从下层输入输出栈获取用于建立可访问关系的存储栈策略信息（IO栈策略信息），并根据所述存储栈策略信息（IO栈策略信息）在所述控制器节点和各个所述数据段之间建立所述可访问关系。最后根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置访问优先级。以四控存储系统为例，最终达到的效果如图6所示（只有一个namespace）。将namespace划分成了四个数据段Block A、Block B 、Block C、 Block D。实现为最优访问，虚线为非最优访问。
S35：存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态。
本实施例中，在所述私有查询命令下，返回的所述优先级信息包括数据段信息、数据段优先级描述符及数据段优先级描述符的展开信息。在命名空间namespace下，该命令需要描述每个控制器controller下所有namespace按段划分的优先级信息，具体可参考下面图7-图9中的三个表格。图7中的表格为Asymmetric Namespace Access Referrals Log命令的格式描述，NamespaceSegment referral Info的数目与namespace的数目相同；图8中的表格为Namespace Segment referral Info的展开，代表每个namespace对应的段的优先级描述符；图9中的表格为Namespacesegment referral descriptor的展开，里面描述了段的优先级信息。也即所述数据段信息如图7表格所示，图8表格为所诉数据段信息的展开即数据段优先级描述符，图9表格为数据段优先级描述符的展开信息。段优先级描述符也即段描述符，是一种数据结构，为处理器提供段的大小和位置以及控制和状态信息。通常段描述符是由编译器、连接器、装载器或操作系统生成，而不是应用程序。
S36：存储侧将各个所述控制器节点的所述访问优先级信息返回至所述主机侧。
本实施例中，关于上述步骤S36的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
S37：所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，并通过所述最优访问状态的所述控制器节点请求数据。
本实施例中，所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，并通过所述最优访问状态的所述控制器节点请求数据。数据请求的过程如图10所示，具体步骤为：
S371：所述主机侧将与所述数据段同时具有所述最优访问关系和所述可访问关系的所述控制器节点确定为所述数据段的所述最优状态的所述控制器节点。
S372：所述主机侧将与所述数据段仅具有所述可访问关系的所述控制器节点确定为所述数据段的非最优状态的所述控制器节点。
本实施例中，最有访问状态下，所述主机侧将与所述数据段同时具有所述最优访问关系和所述可访问关系的所述控制器节点确定为所述数据段的所述最优状态的所述控制器节点。非最优状态下，所述主机侧将与所述数据段仅具有所述可访问关系的所述控制器节点确定为所述数据段的非最优状态的所述控制器节点。
可见，本申请实施例先将存储侧的逻辑命名空间进行划分，得到与所述逻辑命名空间对应的多个命名空间块；其中，所述逻辑命名空间为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。然后对各个所述数据段建立与对应的控制器节点之间的最优访问关系。同时从下层存储栈获取用于建立可访问关系的存储栈策略信息，并根据所述存储栈策略信息在所述控制器节点和各个所述数据段之间建立所述可访问关系。最后根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置访问优先级。实现非对称命名空间下的负载均衡。
图11为本申请实施例提供的一种数据请求方法流程图。参见图11所示，该数据请求方法应用于主机侧，包括：
S41：向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态。
本实施例中，主机侧先向存储侧发送私有查询命令。所述存储侧为满足非易失性内存主机控制器接口规范NVMe（non-volatile memory express）的多控存储系统，是一个多控制器系统MCS（multiple controller system），例如，具有四个NVMe控制器的为四控存储系统，具有二个NVMe控制器的为两控存储系统，一般四控存储系统较为常用。
本实施例中，在主机侧进行数据请求时，所述存储侧先获取主机侧发送的私有查询命令。其中，所述私有查询命令为满足非易失性内存主机控制器接口规范NVMe的自定义私有命令。例如，可以是重新定义的Get Log Page命令，表示为Asymmetric NamespaceAccess Referrals Log命令。Get Log Page命令即获取日志页命令，其返回的是包含请求的日志页的数据缓冲区。Get Log Page 命令可能会受到 ANA 状态的影响（请参阅第8.1.4节）。Get Log Page 命令使用 Data Pointer、Command Dword 10、Command Dword 11、Command Dword 12、CommandDword 13 和 Command Dword 14 字段，保留所有其他命令特定字段。
本实施例中，所述存储侧获取到所述私有查询命令之后，会根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息。然后所述存储侧在生成所述访问优先级信息之后，将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态，多个所述数据段组成所述存储侧的存储磁盘。所述可访问关系表示能访问的关系，也即具有所述可访问关系的所述数据段和所述控制器节点之间，该控制器节点能访问该数据段。另外，NVMe协议中规定了3种控制器controller，本实施例只涉及I/O controller，其余不做介绍。
S42：接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。
本实施例中，所述主机侧接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。所述主机侧在进行数据访问的时候，会根据待访问数据的逻辑地址对应的所述数据段找到最合适的控制器节点向所述数据段请求数据。如此一来，便可以通过不同的所述控制器节点访问后端盘，从而实现主机与多控存储的负载均衡。
可见，本申请实施例主机侧先向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；然后接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。本申请实施例以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级，便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
图12为本申请实施例提供的一种具体数据请求方法流程图。参见图12所示，该数据请求方法应用于主机侧，包括：
S51：生成判别指令并将所述判别指令发送至存储侧。
S52：接收所述存储侧返回的支持信息，如果所述支持信息表征所述存储侧支持按段上报方式，则判定所述存储侧支持所述私有查询命令。
本实施例中，所述主机侧在发送私有查询命令之前，需要判断存储侧是否支持所述私有查询命令，如果是，则向存储侧发送所述私有查询命令。具体的，首先生成判别指令并将所述判别指令发送至存储侧，所述存储侧会返回相应的支持信息，然后接收所述存储侧返回的支持信息，如果所述支持信息表征所述存储侧支持按段上报方式，则判定所述存储侧支持所述私有查询命令。
主机侧和存储侧具体交互过程如图13所示，首先主机侧通过判别指令查询存储是否支持按段上报方式其中，所述判别指令可以为Identify命令。如果存储测返回支持该特性。主机侧host则请求report ANA referrals Log，存储侧target返回 AsymmetricNamespace Access Referrals Log。另外，存储侧返回给主机的referrals info是由存储前端从下层IO栈获取而来，具体某个段可访问哪个控制器节点处理，由IO栈下层决定。
S53：向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态。
S54：接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点向所述数据段请求数据。
本实施例中，关于上述步骤S53和步骤S54的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
参见图14所示，本申请实施例还相应公开了一种数据请求装置，应用于存储侧，包括：
命令获取模块11，用于获取主机侧发送的私有查询命令；
信息生成模块12，用于根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
信息返回模块13，用于将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。
可见，本申请实施例存储侧先获取主机侧发送的私有查询命令；然后根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；最后将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据。本申请实施例以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级， 便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
在一些具体实施例中，所述数据请求装置还包括：
划分模块，用于将所述存储侧的逻辑卷划分为多个所述数据段；
关系建立模块，用于以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系；
优先级设置模块，用于根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置所述访问优先级。
节点确定模块，用于所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点；
数据请求模块，用于所述主机侧通过所述最优访问状态的所述控制器节点向对应的所述数据段请求数据。
在一些具体实施例中，所述关系建立模块还用于对各个所述数据段建立与对应的所述控制器节点之间的最优访问关系；
相应的，所述优先级设置模块，还用于根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置所述访问优先级。
在一些具体实施例中，所述划分模块，具体还用于将所述存储侧的逻辑命名空间进行划分，得到与所述逻辑命名空间对应的多个命名空间块；其中，所述逻辑命名空间为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。
在一些具体实施例中，所述节点确定模块，具体包括：
第一确定单元，用于所述主机侧将与所述数据段同时具有所述最优访问关系和所述可访问关系的所述控制器节点确定为所述数据段的所述最优状态的所述控制器节点；
第二确定单元，用于所述主机侧将与所述数据段仅具有所述可访问关系的所述控制器节点确定为所述数据段的非最优状态的所述控制器节点。
参见图15所示，本申请实施例还相应公开了一种数据请求装置，应用于主机侧，包括：
命令发送模块31，用于向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
信息接收及请求模块32，用于接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。
可见，本申请实施例主机侧先向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；然后接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。本申请实施例以多控存储系统的控制器为单位设置访问优先级，主机侧通过发送自定义私有查询指令的方式主动获取存储侧控制器节点相对于数据段的访问优先级，便可以基于该访问优先级信息决定采用数据请求走哪个控制器下发到存储侧后端盘，实现多控存储在控制器间的负载均衡，降低存储硬件资源，提高存储性能。
在一些具体实施例中，所述数据请求装置还包括：
判断模块，用于判断所述存储侧是否支持所述私有查询命令，如果是，则向存储侧发送所述私有查询命令。
在一些具体实施例中，所述判断模块，具体包括：
指令生成及发送单元，用于生成判别指令并将所述判别指令发送至所述存储侧；
支持信息接收单元，用于接收所述存储侧返回的支持信息，如果所述支持信息表征所述存储侧支持按段上报方式，则判定所述存储侧支持所述私有查询命令。
进一步的，本申请实施例还提供了一种电子设备。图16是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图16为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据请求方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据请求方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的访问优先级信息。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的数据请求方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的数据请求方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种数据请求方法，其特征在于，应用于存储侧，包括：
获取主机侧发送的私有查询命令；
根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据；
所述数据请求方法，还包括：
将所述存储侧的逻辑卷划分为多个所述数据段；
以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，并根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置所述访问优先级。
2.根据权利要求1所述的数据请求方法，其特征在于，所述将所述存储侧的逻辑卷划分为多个所述数据段，包括：
将所述存储侧的逻辑命名空间进行划分，得到与所述逻辑命名空间对应的多个命名空间块；其中，所述逻辑命名空间为所述逻辑卷的一种，所述命名空间块为划分后的所述数据段。
3.根据权利要求1所述的数据请求方法，其特征在于，所述将所述存储侧的逻辑卷划分为多个所述数据段之后，还包括：
对各个所述数据段建立与对应的所述控制器节点之间的最优访问关系；
根据各个所述控制器节点的全部所述可访问关系和所述最优访问关系为各个所述控制器节点设置所述访问优先级。
4.根据权利要求3所述的数据请求方法，其特征在于，所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据，包括：
所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，并通过所述最优访问状态的所述控制器节点请求数据。
5.根据权利要求4所述的数据请求方法，其特征在于，所述主机侧根据所述优先级信息确定出各个所述数据段的最优访问状态的所述控制器节点，包括：
所述主机侧将与所述数据段同时具有所述可访问关系和所述最优访问关系的所述控制器节点确定为所述数据段的最优状态的所述控制器节点；
所述主机侧将与所述数据段仅具有所述可访问关系的所述控制器节点确定为所述数据段的非最优状态的所述控制器节点。
6.根据权利要求1所述的数据请求方法，其特征在于，所述以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立访问关系，包括：
从下层存储栈获取用于建立所述可访问关系的存储栈策略信息，并根据所述存储栈策略信息在所述控制器节点和各个所述数据段之间建立所述可访问关系。
7.根据权利要求1至6任一项所述的数据请求方法，其特征在于，所述访问优先级信息包括数据段信息、数据段优先级描述符及数据段优先级描述符的展开信息。
8.根据权利要求1至6任一项所述的数据请求方法，其特征在于，所述私有查询命令为满足非易失性内存主机控制器接口规范的自定义私有命令。
9.一种数据请求方法，其特征在于，应用于主机侧，包括：
向存储侧发送私有查询命令，以便所述存储侧根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；所述存储侧将所述存储侧的逻辑卷划分为多个所述数据段，并以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，并根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置所述访问优先级；
接收所述存储侧返回的所述访问优先级信息，并根据所述访问优先级信息通过相应所述控制器节点请求数据。
10.根据权利要求9所述的数据请求方法，其特征在于，所述向存储侧发送私有查询命令之前，还包括：
判断所述存储侧是否支持所述私有查询命令，如果是，则向存储侧发送所述私有查询命令。
11.根据权利要求10所述的数据请求方法，其特征在于，所述判断所述存储侧是否支持所述私有查询命令，包括：
生成判别指令并将所述判别指令发送至所述存储侧；
接收所述存储侧返回的支持信息，如果所述支持信息表征所述存储侧支持按段上报方式，则判定所述存储侧支持所述私有查询命令。
12.一种数据请求装置，其特征在于，应用于存储侧，包括：
命令获取模块，用于获取主机侧发送的私有查询命令；
信息生成模块，用于根据所述私有查询命令生成所述存储侧各个控制器节点的访问优先级信息；其中，所述访问优先级信息表征所述控制器节点对与其具有可访问关系的数据段的访问状态；
信息返回模块，用于将各个所述控制器节点的所述访问优先级信息返回至所述主机侧，以便所述主机侧根据所述访问优先级信息通过相应所述控制器节点请求数据；
所述数据请求装置，还用于：
将所述存储侧的逻辑卷划分为多个所述数据段；
以所述存储侧的每个控制器节点为单位分别在所述控制器节点和各个所述数据段之间建立可访问关系，并根据各个所述控制器节点的全部所述可访问关系为各个所述控制器节点设置所述访问优先级。
13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至11任一项所述的数据请求方法。
14.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至11任一项所述的数据请求方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211430815.4A CN115495023B (zh) | 2022-11-16 | 2022-11-16 | 一种数据请求方法、装置、设备及存储介质 |
| PCT/CN2023/097549 WO2024103690A1 (zh) | 2022-11-16 | 2023-05-31 | 一种数据请求方法、装置、设备及非易失性可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211430815.4A CN115495023B (zh) | 2022-11-16 | 2022-11-16 | 一种数据请求方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115495023A CN115495023A (zh) | 2022-12-20 |
| CN115495023B true CN115495023B (zh) | 2023-03-14 |
Family
ID=85115817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211430815.4A Active CN115495023B (zh) | 2022-11-16 | 2022-11-16 | 一种数据请求方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115495023B (zh) |
| WO (1) | WO2024103690A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115495023B (zh) * | 2022-11-16 | 2023-03-14 | 苏州浪潮智能科技有限公司 | 一种数据请求方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104202434A (zh) * | 2014-09-28 | 2014-12-10 | 北京奇虎科技有限公司 | 节点访问方法和装置 |
| CN107340973B (zh) * | 2017-07-05 | 2021-04-13 | 郑州云海信息技术有限公司 | 一种访问异步逻辑单元的方法及系统 |
| WO2019127018A1 (zh) * | 2017-12-26 | 2019-07-04 | 华为技术有限公司 | 存储系统访问方法及装置 |
| JP7094364B2 (ja) * | 2018-07-17 | 2022-07-01 | 華為技術有限公司 | Ｉ／ｏ要求処理方法およびデバイス |
| US11200082B2 (en) * | 2019-10-31 | 2021-12-14 | EMC IP Holding Company LLC | Data storage system employing dummy namespaces for discovery of NVMe namespace groups as protocol endpoints |
| CN115495023B (zh) * | 2022-11-16 | 2023-03-14 | 苏州浪潮智能科技有限公司 | 一种数据请求方法、装置、设备及存储介质 |
-
2022
- 2022-11-16 CN CN202211430815.4A patent/CN115495023B/zh active Active
-
2023
- 2023-05-31 WO PCT/CN2023/097549 patent/WO2024103690A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN115495023A (zh) | 2022-12-20 |
| WO2024103690A1 (zh) | 2024-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3418877B1 (en) | Data writing and reading method and apparatus, and cloud storage system | |
| LU102666B1 (en) | Small-file storage optimization system based on virtual file system in kubernetes user-mode application | |
| US11036535B2 (en) | Data storage method and apparatus | |
| US11262916B2 (en) | Distributed storage system, data processing method, and storage node | |
| EP3951607A1 (en) | Data reading method, data writing method, and server | |
| CN115495023B (zh) | 一种数据请求方法、装置、设备及存储介质 | |
| CN105045762A (zh) | 一种配置文件的管理方法及装置 | |
| JP4208506B2 (ja) | 高性能記憶装置アクセス環境 | |
| CN111225003B (zh) | 一种nfs节点配置方法和装置 | |
| CN107329798B (zh) | 数据复制的方法、装置和虚拟化系统 | |
| US11301436B2 (en) | File storage method and storage apparatus | |
| CN116932229A (zh) | 一种内存分配方法、装置、网络管理器及存储介质 | |
| CN109005071B (zh) | 一种决策部署方法和调度设备 | |
| WO2023029485A1 (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
| US20220269411A1 (en) | Systems and methods for scalable shared memory among networked devices comprising ip addressable memory blocks | |
| CN107491270B (zh) | 一种多控存储系统的资源访问方法及装置 | |
| CN115987990A (zh) | 多集群负载均衡方法、装置、电子设备及存储介质 | |
| CN111078160B (zh) | 基于调用比例及响应时长的数据迁移存储方法及装置 | |
| CN107453950A (zh) | 一种信息处理方法及监控系统 | |
| CN113553314A (zh) | 一种超融合系统的服务处理方法、装置、设备及介质 | |
| CN115129709A (zh) | 一种数据处理方法、服务端及系统 | |
| CN107544746B (zh) | 存储设备的异构处理方法、异构处理装置及系统 | |
| CN111865794A (zh) | 一种逻辑端口的关联方法、系统、设备及数据传输系统 | |
| US11757830B2 (en) | Method and apparatus for allocating CTDB-based virtual IP address, and distributed storage device | |
| CN114924846B (zh) | 基于云操作系统的虚拟机迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |