CN111857580B - 一种分布式存储系统的相同写方法和装置 - Google Patents

一种分布式存储系统的相同写方法和装置 Download PDF

Info

Publication number
CN111857580B
CN111857580B CN202010639119.9A CN202010639119A CN111857580B CN 111857580 B CN111857580 B CN 111857580B CN 202010639119 A CN202010639119 A CN 202010639119A CN 111857580 B CN111857580 B CN 111857580B
Authority
CN
China
Prior art keywords
data content
distributed storage
distributed
object block
cluster object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010639119.9A
Other languages
English (en)
Other versions
CN111857580A (zh
Inventor
杨飞虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010639119.9A priority Critical patent/CN111857580B/zh
Publication of CN111857580A publication Critical patent/CN111857580A/zh
Application granted granted Critical
Publication of CN111857580B publication Critical patent/CN111857580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储系统的相同写方法和装置，该方法包括：在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；是则调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解以获得微型相同写命令并执行，以通过分布式存储网络将数据内容落盘；否则调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘。本发明能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载。

Description

一种分布式存储系统的相同写方法和装置
技术领域
本发明涉及存储领域，更具体地，特别是指一种分布式存储系统的相同写方法和装置。
背景技术
分布式存储系统的分布式块设备通过内核态或者用户态接口，提供给用户使用。因为内核态接口只能部署在linux高内核版本系统，所以一些低内核版本或者非linux操作系统的企业环境无法使用内核态接口，只能通过用户态接口，利用目标驱动程序提供的标准的iscsi协议接口，映射给客户端操作系统使用。
当主机向阵列发送WRITE_SAME(相同写)命令以及相同写数据块的范围，阵列向所有指定数据块写入同样的模式(相同写数据)。传统的目标驱动在处理WRITE_SAME指令时，执行原生相同写操作：将数据在内存中复制多份，调用分布式写(dbs_write)接口，落盘写入数据。对于分布式存储该操作存在弊端：待写入数据在落盘之前，写命令数据和待写入的数据，会经过分布式集群网络进行数据传递，这样会占用分布式存储集群的网络传输带宽、加重存储集群CPU负载。
针对现有技术中相同写占用网络传输带宽、加重CPU负载的问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种分布式存储系统的相同写方法和装置，能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载。
基于上述目的，本发明实施例的第一方面提供了一种分布式存储系统的相同写方法，包括执行以下步骤：
在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；
确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；
判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；
响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘。
在一些实施方式中，相同写命令为SCSI命令；目标器由用于解析SCSI命令的目标驱动程序提供。
在一些实施方式中，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在相同写命令中指定了至少一份数据内容的所有相关集群对象块；
根据在每个相关集群对象块中各自写入数据内容的份数和数据内容分别生成微型相同写命令。
在一些实施方式中，执行微型相同写命令以通过分布式存储网络将数据内容落盘包括：
将一份数据内容通过分布式存储网络传输到相关集群对象块；
根据微型相同写命令在相关集群对象块中复制数次数据内容，使得相关集群对象块中存储有相应份数的数据内容。
在一些实施方式中，调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘包括：
将每一份数据内容分别通过分布式存储网络各自传输到对应的相关集群对象块中的对应位置。
本发明实施例的第二方面提供了一种分布式存储系统的相同写装置，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；
确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；
判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；
响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘。
在一些实施方式中，相同写命令为SCSI命令；目标器由用于解析SCSI命令的目标驱动程序提供。
在一些实施方式中，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在相同写命令中指定了至少一份数据内容的所有相关集群对象块；
根据在每个相关集群对象块中各自写入数据内容的份数和数据内容分别生成微型相同写命令。
在一些实施方式中，执行微型相同写命令以通过分布式存储网络将数据内容落盘包括：
将一份数据内容通过分布式存储网络传输到相关集群对象块；
根据微型相同写命令在相关集群对象块中复制数次数据内容，使得相关集群对象块中存储有相应份数的数据内容。
在一些实施方式中，调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘包括：
将每一份数据内容分别通过分布式存储网络各自传输到对应的相关集群对象块中的对应位置。
本发明具有以下有益技术效果：本发明实施例提供的分布式存储系统的相同写方法和装置，通过在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘的技术方案，能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的分布式存储系统的相同写方法的流程示意图；
图2为本发明提供的分布式存储系统的相同写方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载的分布式存储系统的相同写方法的一个实施例。图1示出的是本发明提供的分布式存储系统的相同写方法的流程示意图。
所述的分布式存储系统的相同写方法，如图1所示，包括执行以下步骤：
步骤S101：在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；
步骤S103：确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；
步骤S105：判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
步骤S107：响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；
步骤S109：响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘。
本发明一种分布式存储目标驱动相同写指令处理方法，针对分布式存储集群节点上的目标驱动对相同写指令的处理做了进一步的加速优化,对满足调用分布式相同写(dbs_writesame)接口的场景调用分布式相同写接口，大大提高存储访问效率、减小存储网络集群的CPU、内存及网络传输负载。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
在一些实施方式中，相同写命令为SCSI命令；目标器由用于解析SCSI命令的目标驱动程序提供。
在一些实施方式中，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在相同写命令中指定了至少一份数据内容的所有相关集群对象块；
根据在每个相关集群对象块中各自写入数据内容的份数和数据内容分别生成微型相同写命令。
在一些实施方式中，执行微型相同写命令以通过分布式存储网络将数据内容落盘包括：
将一份数据内容通过分布式存储网络传输到相关集群对象块；
根据微型相同写命令在相关集群对象块中复制数次数据内容，使得相关集群对象块中存储有相应份数的数据内容。
在一些实施方式中，调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘包括：
将每一份数据内容分别通过分布式存储网络各自传输到对应的相关集群对象块中的对应位置。
根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
下面根据如图2所示的具体实施例进一步阐述本发明的具体实施方式。
步骤S201：解析WRITE_SAME命令，获取偏移(offset)和大小(size)；
步骤S203：相同写(WRITE_SAME)指令的偏移地址offset和相同写内容的长度是否对齐；如果对齐，则跳转步骤S205，否则跳转步骤S209；
步骤S205：判断分布式存储集群对象块大小和相同写内容的长度是否对齐；如果对齐，则跳转步骤S207，否则跳转步骤S209；
步骤S207：执行调用分布式相同写(dbs_writesame)接口，该接口会仅将相同写内容传递到对象层，将相同写(WRITE_SAME)的offset和长度，分解为对象层面的更小小范围相同写，最终落盘前构造小范围相同写数据块，写入数据；
步骤S209：执行原生相同写操作：将数据在内存中复制多份，调用分布式write接口，落盘写入数据；该步骤根据size大小和单次write最大写入数据，调用(size/单次write最大写入数据)次分布式写(write)接口，完成相同写命令操作。
上述实施例可以看出，本发明实施例提供的分布式存储系统的相同写方法，通过在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘的技术方案，能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载。
需要特别指出的是，上述分布式存储系统的相同写方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于分布式存储系统的相同写方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载的分布式存储系统的相同写装置的一个实施例。分布式存储系统的相同写装置包括：
处理器；和
存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；
确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；
判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；
响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘。
在一些实施方式中，相同写命令为SCSI命令；目标器由用于解析SCSI命令的目标驱动程序提供。
在一些实施方式中，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在相同写命令中指定了至少一份数据内容的所有相关集群对象块；
根据在每个相关集群对象块中各自写入数据内容的份数和数据内容分别生成微型相同写命令。
在一些实施方式中，执行微型相同写命令以通过分布式存储网络将数据内容落盘包括：
将一份数据内容通过分布式存储网络传输到相关集群对象块；
根据微型相同写命令在相关集群对象块中复制数次数据内容，使得相关集群对象块中存储有相应份数的数据内容。
在一些实施方式中，调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘包括：
将每一份数据内容分别通过分布式存储网络各自传输到对应的相关集群对象块中的对应位置。
从上述实施例可以看出，本发明实施例提供的分布式存储系统的相同写装置，通过在用户态使用目标器连接到客户端的启动器以接收客户端的相同写命令；确定集群对象块尺寸，并使用目标驱动程序解析相同写命令以获得偏移地址和内容长度；判断集群对象块尺寸、偏移地址、和内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行微型相同写命令以通过分布式存储网络将数据内容落盘；响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将数据内容多次重复落盘的技术方案，能够大幅度降低实际传输的数据量，节约网络传输带宽并减轻CPU负载。
需要特别指出的是，上述分布式存储系统的相同写装置的实施例采用了所述分布式存储系统的相同写方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述分布式存储系统的相同写方法的其他实施例中。当然，由于所述分布式存储系统的相同写方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述分布式存储系统的相同写装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种分布式存储系统的相同写方法，其特征在于，包括执行以下步骤：
在用户态使用目标器连接到客户端的启动器以接收所述客户端的相同写命令；
确定集群对象块尺寸，并使用目标驱动程序解析所述相同写命令以获得偏移地址和内容长度；
判断所述集群对象块尺寸、所述偏移地址、和所述内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行所述微型相同写命令以通过分布式存储网络将所述数据内容落盘；
响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将所述数据内容多次重复落盘。
2.根据权利要求1所述的方法，其特征在于，所述相同写命令为SCSI命令；所述目标器由用于解析SCSI命令的所述目标驱动程序提供。
3.根据权利要求1所述的方法，其特征在于，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在所述相同写命令中指定了至少一份所述数据内容的所有相关集群对象块；
根据在每个所述相关集群对象块中各自写入所述数据内容的份数和所述数据内容分别生成微型相同写命令。
4.根据权利要求3所述的方法，其特征在于，执行所述微型相同写命令以通过分布式存储网络将所述数据内容落盘包括：
将一份所述数据内容通过所述分布式存储网络传输到所述相关集群对象块；
根据所述微型相同写命令在所述相关集群对象块中复制数次所述数据内容，使得所述相关集群对象块中存储有相应份数的所述数据内容。
5.根据权利要求3所述的方法，其特征在于，调用分布式写接口使用原生相同写方法通过分布式存储网络将所述数据内容多次重复落盘包括：
将每一份所述数据内容分别通过所述分布式存储网络各自传输到对应的所述相关集群对象块中的对应位置。
6.一种分布式存储系统的相同写装置，其特征在于，包括：
处理器；和
存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行以下步骤：
在用户态使用目标器连接到客户端的启动器以接收所述客户端的相同写命令；
确定集群对象块尺寸，并使用目标驱动程序解析所述相同写命令以获得偏移地址和内容长度；
判断所述集群对象块尺寸、所述偏移地址、和所述内容长度是否都能被分布式存储系统的硬件存储设备的基本存取单元尺寸整除；
响应于都能够被整除，而调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令，并执行所述微型相同写命令以通过分布式存储网络将所述数据内容落盘；
响应于部分或全部不能被整除，而调用分布式写接口使用原生相同写方法通过分布式存储网络将所述数据内容多次重复落盘。
7.根据权利要求6所述的装置，其特征在于，所述相同写命令为SCSI命令；所述目标器由用于解析SCSI命令的所述目标驱动程序提供。
8.根据权利要求6所述的装置，其特征在于，调用分布式相同写接口将相同写的数据内容在对象层根据集群对象块进行分解，以获得微型相同写命令包括：
确定在所述相同写命令中指定了至少一份所述数据内容的所有相关集群对象块；
根据在每个所述相关集群对象块中各自写入所述数据内容的份数和所述数据内容分别生成微型相同写命令。
9.根据权利要求8所述的装置，其特征在于，执行所述微型相同写命令以通过分布式存储网络将所述数据内容落盘包括：
将一份所述数据内容通过所述分布式存储网络传输到所述相关集群对象块；
根据所述微型相同写命令在所述相关集群对象块中复制数次所述数据内容，使得所述相关集群对象块中存储有相应份数的所述数据内容。
10.根据权利要求8所述的装置，其特征在于，调用分布式写接口使用原生相同写方法通过分布式存储网络将所述数据内容多次重复落盘包括：
将每一份所述数据内容分别通过所述分布式存储网络各自传输到对应的所述相关集群对象块中的对应位置。
CN202010639119.9A 2020-07-06 2020-07-06 一种分布式存储系统的相同写方法和装置 Active CN111857580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010639119.9A CN111857580B (zh) 2020-07-06 2020-07-06 一种分布式存储系统的相同写方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010639119.9A CN111857580B (zh) 2020-07-06 2020-07-06 一种分布式存储系统的相同写方法和装置

Publications (2)

Publication Number Publication Date
CN111857580A CN111857580A (zh) 2020-10-30
CN111857580B true CN111857580B (zh) 2022-07-26

Family

ID=73152875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010639119.9A Active CN111857580B (zh) 2020-07-06 2020-07-06 一种分布式存储系统的相同写方法和装置

Country Status (1)

Country Link
CN (1) CN111857580B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843435A (zh) * 2012-09-10 2012-12-26 浪潮(北京)电子信息产业有限公司 一种在集群系统中存储介质的访问、响应方法和系统
WO2014094250A1 (zh) * 2012-12-19 2014-06-26 华为技术有限公司 数据处理方法和设备
JP6540363B2 (ja) * 2015-08-19 2019-07-10 富士通株式会社 ストレージ制御装置、ストレージ制御方法、およびストレージ制御プログラム

Also Published As

Publication number Publication date
CN111857580A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US9542122B2 (en) Logical block addresses used for executing host commands
US8959504B2 (en) Update scanning
US20150012732A1 (en) Method and device for recombining runtime instruction
CN106155759A (zh) 虚拟机批量创建方法及装置
CN110109628B (zh) 分布式存储系统的数据重建方法、装置、设备及存储介质
US11762600B2 (en) Data processing method, apparatus, and system
CN104461777A (zh) 一种存储阵列中数据镜像方法及存储阵列
US20140082275A1 (en) Server, host and method for reading base image through storage area network
WO2015085736A1 (en) Method and system for accessing a distributed file system
US10642817B2 (en) Index table update method, and device
CN111736982B (zh) 一种5g数据转发平面的数据转发处理方法和服务器
CN111090438A (zh) 一种基于kubernetes的FPGA虚拟化训练的方法、设备及介质
CN116028455A (zh) 一种数据处理方法、装置、存储介质及电子设备
CN116088758A (zh) 优化方法、装置、计算机设备、存储介质和程序产品
CN111803917A (zh) 资源的处理方法和装置
CN111857580B (zh) 一种分布式存储系统的相同写方法和装置
CN111143258B (zh) 一种基于Opencl的系统访问FPGA的方法、系统、设备以及介质
WO2023066246A1 (zh) 云手机安装应用的方法、系统和客户端云手机
CN114116008B (zh) 命令队列管理方法、装置、可读存储介质及电子设备
CN112764897B (zh) 任务请求的处理方法、装置、系统及计算机可读存储介质
WO2022134918A1 (zh) 虚拟机属性变更方法和装置、存储介质和电子装置
JP2022184735A (ja) プログラム起動方法及び機器、記憶媒体
CN111913666B (zh) 兼容不同协议Nand颗粒的方法、装置、计算机设备及存储介质
CN111045787B (zh) 一种快速继续实验方法及系统
CN110597465B (zh) 一种提升gpu服务器的性能的方法、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant