CN112015583B - 一种数据存储的方法、装置和系统 - Google Patents

一种数据存储的方法、装置和系统 Download PDF

Info

Publication number
CN112015583B
CN112015583B CN202010708473.2A CN202010708473A CN112015583B CN 112015583 B CN112015583 B CN 112015583B CN 202010708473 A CN202010708473 A CN 202010708473A CN 112015583 B CN112015583 B CN 112015583B
Authority
CN
China
Prior art keywords
storage
data
partition
blocks
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708473.2A
Other languages
English (en)
Other versions
CN112015583A (zh
Inventor
刘小威
伍华涛
殷丽慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to CN202010708473.2A priority Critical patent/CN112015583B/zh
Publication of CN112015583A publication Critical patent/CN112015583A/zh
Application granted granted Critical
Publication of CN112015583B publication Critical patent/CN112015583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1044—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices with specific ECC/EDC distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Abstract

一种数据存储的方法、装置和系统，存储客户端需要将待写入数据存储到分布式存储系统中，管理服务器为待写入数据分配的第一数据单元所对应的存储节点仅为存储节点组中的部分节点，当存储客户端收到管理服务器返回的第一数据单元的状态时，即可确定对待写入数据执行EC编码时需要生成的数据块和校验块的数量，存储客户端将生成的数据块和校验块存储到第一数据单元所在的分区中管理服务器指定的部分存储节点中，从而实现了EC冗余比的动态调整，管理服务器可以根据需要将分区中的部分节点排除出待写入数据存储的范围，降低了数据存储的IO量。

Description

一种数据存储的方法、装置和系统
本案是专利申请号为201780011483.7，申请日为2017年12月20日，发明名称为“一种数据存储的方法、装置和系统”的分案申请。
技术领域
本发明涉及IT技术领域，尤其涉及一种数据存储的方法、装置和系统。
背景技术
现阶段的分布式存储系统越来越多的采用纠删码(Erasure Code，EC)技术对数据进行存储。纠删码技术原理是将数据分割成N个数据块，并且采用冗余算法对N个数据块进行编码，生成M个校验块，该N个数据块与M个校验块称为一个EC条带。其中，数据块或校验块也称为EC块，当丢失的EC块不大于M个时都可以恢复出原始数据,EC条带的冗余比r＝M/N或r＝M/(N+M)。示例性的，当N等于4，M等于2时，EC条带可以表示为EC 4+2。
为了保证存储的可靠性，分布式存储系统会将每个EC条带包含的N+M个EC块分配给N+M个存储节点进行存储，N+M个存储节点构成一个存储节点组。这样，即使某个节点出现了故障，也能够根据存储节点组的其他节点中存储的数据将故障节点中存储的EC块恢复出来。可以理解的，采用EC技术的分布式存储系统能够容忍M个存储节点同时出现故障。
当存储节点组中的某个存储节点发生故障时，一个新的存储节点会被加入到存储节点组中，替换发生故障的存储节点，在新的存储节点恢复故障节点的数据。当故障节点恢复正常后，再将新的存储节点的数据写回到恢复的节点中。由于存储节点存储的数据量一般比较大，故障节点中的数据的迁移和回迁将会对存储系统的性能造成较大的影响。
发明内容
本文描述了一种数据存储的方法、装置和系统，以避免故障节点中数据的迁移和回迁对分布式存储系统的性能造成的影响。
第一方面，本发明实施例提供了一种数据存储系统，所述数据存储系统包括存储客户端和分布式存储系统，所述分布式存储系统采用纠删码EC技术存储数据，所述分布式存储系统包括管理服务器以及多个存储节点，N+M个存储节点组成的存储节点组对应一个分区，其中,N个存储节点用来存储数据块，M个存储节点用于存储根据数据块生成的校验块，所述N和M为大于2的正整数，
所述存储客户端处理来自用户设备的写请求，为待写入数据向所述管理服务器请求分配数据单元，所述管理服务器为所述待写入数据在第一分区中分配第一数据单元，向所述存储客户端返回所述第一数据单元的标识和第一数据单元的状态，其中，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，允许所述存储客户端使用的存储节点的数量小于N+M，所述存储客户端根据所述第一数据单元的状态确定需要生成的数据块的数量和校验块的数量，对所述待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块，生成的数据块的数量和校验块的数量之和等于所述允许所述存储客户端使用的存储节点的数量，所述存储客户端根据第一分区视图和所述第一数据单元的状态，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
存储客户端需要将待写入数据存储到分布式存储系统中，管理服务器为待写入数据分配的第一数据单元所对应的存储节点仅为存储节点组中的部分节点，当存储客户端收到管理服务器返回的第一数据单元的状态时，即可确定对待写入数据执行EC编码时需要生成的数据块和校验块的数量，存储客户端将生成的数据块和校验块存储到第一数据单元所在的分区中管理服务器指定的部分存储节点中，从而实现了EC冗余比的动态调整，减少了EC块的生成数量，管理服务器可以根据需要将分区中的部分节点排除出待写入数据存储的范围，从而降低IO数据量。更进一步的，当分区中存在故障节点时，管理服务器可以主动将故障节点排除，避免存储客户端将EC块写入到故障节点引起的写入失败。
存储客户端获取所述第一数据单元的标识，根据所述第一数据单元的标识确定所述第一数据单元所在的分区为所述第一分区，在确定所述第一数据单元所在的分区为第一分区后，查询分区表获得所述第一分区的第一分区视图。
在一种可能的实施方式中，所述允许所述存储客户端使用的存储节点为所述管理服务器在所述第一分区中为所述存储客户端指定的存储所述待写入数据的存储节点；或者，
在另一种可能的实施方式中，所述第一分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述第一分区中的非故障节点，所述第一数据单元的状态表示所述管理服务器创建所述第一数据单元时所述第一分区包含的各存储节点的状态。
进一步的，当所述允许所述存储客户端使用的存储节点为所述第一分区中的非故障节点时，管理客户端需要生成的数据块的数量等于N减去第一分区中故障节点的数量。
管理服务器可以监控分布式存储系统中的各个存储节点的状态，在第一分区中存在故障节点时，可以将故障节点排除出待写入数据存储的范围，降低生成数据块和校验块的数量，避免向第一分区中添加新的存储节点以替代故障节点，也无需将故障节点中的数据进行迁移和回迁。
存储客户端根据第一数据单元的状态和第一分区视图，确定第一分区中非故障存储节点列表。
存储客户端根据第一数据单元的状态，确定第一数据单元所在的第一分区中非故障存储节点的数量。
在一种可能的实施方式中，为了保证数据存储的持久度，需要保证校验块的数量不变，即使分区中存在故障节点，也只是会降低生成数据块的数量，而不会降低生成校验块的数量，此时，生成的数据块的数量等于N减去第一分区中故障节点的数量，生成的校验块的数量等于M。由于校验块的数量M保存不变，存储客户端可以使用第一分区中非故障节点的数量减去M，即可获得需要生成的数据块的数量。校验块M的数量可以由用户预先在数据存储系统中设置，也可以由存储客户端和管理服务器协商确定。
在另一种可能的实施方式中，当允许降低数据存储持久度时，可以降低校验块的数量，此时，管理服务器可以在返回给存储客户端的响应消息中携带需要生成的数据块的数量和/或校验块的数量，当响应消息中只携带了需要生成的数据块的数量时，存储客户端使用第一分区中非故障节点的数量减去需要生成的数据块的数量，得到需要生成的校验块的数量；当响应消息中只携带了需要生成的校验块的数量时，存储客户端使用第一分区中非故障节点的数量减去需要生成的校验块的数量，得到需要生成的数据块的数量。
所述管理服务器，还用于记录所述第一数据单元的状态。
在所述存储客户端执行读操作时，获取待读取数据对应的第二数据单元的状态、所述第二数据单元所在的第二分区的第二分区视图和第二分区状态，所述第二数据单元的状态表示所述管理服务器创建所述第二数据单元时允许所述存储客户端使用的第二分区中存储节点，所述第二分区状态表示第二分区包含的各存储节点当前是否故障；
所述存储客户端根据所述第二数据单元的状态、所述第二分区视图和所述第二分区状态，确定存储有所述待读取数据对应的EC块且状态为正常的存储节点列表；
所述存储客户端从确定的所述存储节点列表中读取所述待读取数据对应的EC块。
上述存储节点当前是否故障表示存储节点是故障节点还是非故障的正常节点。第二数据单元为写入该待读取数据到分布式存储系统时，管理服务器为所述待读取数据分配的数据单元，第二数据单元的状态指示在第二分区中存储有所述待读取数据对应的EC块的存储节点。所述存储客户端处理用户设备发起的读请求，所述读请求中携带数据单元的标识，存储客户端根据所述数据单元的标识确定所述待读取数据所在的第二数据单元的状态和第二分区视图，从而找到存储有待读取数据对应的EC块的非故障存储节点。上述数据读取过程与前述的数据写入过程对应，实现了分区中存在故障节点时，采用分区降级的情况下读取数据的过程，无需向第一分区中添加新的存储节点以替代故障节点，也无需将故障节点中的数据进行迁移和回迁。
所述管理服务器，还用于根据存在故障节点的分区数量判断是否允许分区降级，如果允许，则在所述第一分区中为所述待写入数据分配所述第一数据单元。
在本发明实施例中，分区降级是指，管理服务器分配给存储客户端存储待写入数据使用的存储节点的数量少于分区包含的节点数量(N+M)。
具体的，所述管理服务器判断存在故障节点的分区数量与分区总数比值是否大于预设比例，如果是，则确定允许分区降级。其中，分区总数为DHT环包含的分区的数量。
在不允许分区降级时，所述管理服务器在不存在故障节点的第四分区中为所述待写入数据分配第四数据单元，向所述存储客户端返回所述第四数据单元的标识。当不存在故障节点的分区的数量较多时，无需进行分区降级，此时，管理服务器可以执行分区重定向操作，向存储客户端返回在无故障节点的分区中分配的数据单元的标识，从而充分利用已有的存储资源。
在一种可能的实现方式中，分区降级时，也可以通过保持校验块的数量与数据块的数量的比值不变小。
管理服务器确定需要分区降级的触发条件可以是：存储客户端在向管理服务器分配的数据单元所在的分区包含的存储节点写入待写入数据对应的EC条带时，一个或多个存储节点故障导致写入失败。相对应的，在所述存储客户端为待写入数据向所述管理服务器请求分配数据单元之前，所述存储客户端根据所述管理服务器返回的第三数据单元的标识，向所述第三数据单元所在的第三分区中包含的各存储节点写入根据待写入数据生成的EC块，当写入失败时，向所述管理服务器请求重新分配数据单元。
管理服务器可以向所述存储客户端返回数据单元的状态和分区视图；或者，管理服务器在数据库中记录数据单元的状态和分区视图，由所述存储客户端根据数据单元的标识从数据库中读取数据单元的状态和分区视图。
在本发明实施例中，EC冗余比表示执行EC编码时需要生成的校验块的数量比需要生成的数据块的数量。通过EC冗余比即可确定EC编码时N和M的值。
本发明实施例中的各分区属于同一DHT环。
第二方面，本发明实施例提供了一种存储客户端，所述存储客户端为第一方面中所述的存储客户端，执行第一方面定义的存储客户端的功能。
具体的，所述存储客户端包括第一发送单元、获取单元、以及处理单元，
第一发送单元，用于为待写入数据向所述管理服务器请求分配数据单元；
获取单元，用于获取所述管理服务器返回的第一数据单元的标识、所述第一数据单元的状态以及所述第一数据单元所在的第一分区的第一分区视图，其中，所述第一分区视图表示所述第一分区包含的存储节点列表，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，允许所述存储客户端使用的存储节点的数量小于N+M；
处理单元，用于根据所述第一数据单元的状态确定需要生成的数据块的数量和校验块的数量，对所述待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块，生成的数据块的数量和校验块的数量之和等于所述允许所述存储客户端使用的存储节点的数量；
第一发送单元，还用于根据所述第一分区视图和所述第一数据单元的状态，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
所述获取单元，还用于在所述存储客户端执行读操作时，获取待读取数据对应的第二数据单元的状态、所述第二数据单元所在的第二分区的第二分区视图和第二分区状态，所述第二数据单元的状态表示所述管理服务器创建所述第二数据单元时允许所述存储客户端使用的第二分区中存储节点，所述第二分区状态表示第二分区包含的各存储节点当前是否故障；
所述处理单元，还用于根据所述第二数据单元的状态、所述第二分区视图和所述第二分区状态，确定存储有所述待读取数据对应的EC块且状态为正常的存储节点列表；
所述获取单元，还用于从确定的所述存储节点列表中读取所述待读取数据对应的EC块。
在第一发送单元为待写入数据向所述管理服务器请求分配数据单元之前，
所述获取单元，还用于获取所述管理服务器返回的第三数据单元的标识；
所述第一发送单元，还用于向所述第三数据单元所在的第三分区中包含的各存储节点写入根据待写入数据生成的EC块；
当写入失败时，所述第一发送单元向所述管理服务器请求重新分配数据单元。
第三方面，本发明实施例提供了一种管理服务器，所述管理服务器为第一方面中所述的管理服务器，执行第一方面定义的管理服务器的功能。
所述管理服务器包括：
接收单元，用于接收存储客户端发送的为待写入数据分配数据单元的请求；
分配单元，用于为所述待写入数据在第一分区中分配第一数据单元；
所述第二发送单元，还用于向所述存储客户端返回所述第一数据单元的标识、第一数据单元的状态以及所述第一分区的第一分区视图，其中，所述第一分区视图表示所述第一分区包含的存储节点列表，所述第一数据单元的状态指示所述存储客户端确定所述第一分区中允许所述存储客户端使用的存储节点，确定需要生成的数据块的数量和校验块的数量，对所述待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中，允许所述存储客户端使用的存储节点的数量小于N+M，。
第四方面，本发明实施例还提供了与前述数据存储系统、存储客户端和管理服务器对应的方法，所述方法描述了前述各方面中存储客户端和管理服务器实现各自的功能所执行的步骤。在此不再赘述。
第五方面，与前述方法、装置以及系统相对应，本发明实施例提供了一种物理服务器，该物理服务器具有实现第一方面中定义的存储客户端或管理服务器的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括前述装置中定义的与上述功能相对应的模块。具体的，物理服务器的结构中包括处理器、存储器、系统总线以及输入输出接口，所述处理器被配置为支持所述系统中存储客户端或管理服务器的相应的功能。所述输入输出接口用于与所述数据存储系统中的其他部件进行通信，处理器执行所述存储器中存储的指令。
第六方面，本发明实施例提供了一种计算机存储介质，用于储存为上述存储客户端所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
第七方面，本发明实施例提供了另一种计算机存储介质，用于储存为上述物理服务器所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
附图说明
如图1所示，为本发明实施例提供的一种数据存储系统的架构示意图；
如图2所示，为现有技术中基于DHT的数据分布路由的结构示意图；
如图3所示，为本发明实施例提供的使用动态调整EC冗余比进行数据存储的方法流程示意图；
如图4所示，为本发明实施例提供的分区视图的示意图；
如图5所示，为本发明实施例提供的一种数据存储方法流程示意图；
如图6所示，为为本发明实施例提供的另一种数据存储的方法流程示意图；
如图7所示，为本发明实施例提供的一种数据读取的流程示意图；
如图8所示，为本发明实施例提供的存储客户端的结构示意图；
如图9所示，为本发明实施例提供的管理服务器的结构示意图；
如图10所示，为本发明实施例提供的物理服务器的结构示意图。
具体实施方式
如图1所示，为本发明实施例提供的一种数据存储系统的架构示意图，所述数据存储系统包括存储客户端100以及分布式存储系统200，所述分布式存储系统200包括管理服务器201以及多个存储节点202。用户通过持久化层中的存储客户端100将数据写入到分布式存储系统200的分区包含的存储节点中。所述存储客户端100处理来自用户设备的读写请求，向分布式存储系统200读写数据。存储客户端使用EC技术将待存储的数据生成多个EC块(block)，然后下发给分布式存储系统的一个分区进行存储。数据分布式存储能够降低数据丢失的风险，提高分布式存储系统的可靠性。
数据存储系统可以采用EC技术存储数据。EC技术原理是将待存储的数据分割成N个数据块，并且采用冗余算法对N个数据块进行编码，生成M个校验块，该N个数据块与M个校验块组成一条EC条带，相对应的分布式存储系统中的一个分区可以包含N+M个存储节点。其中，每个数据块或校验块也可以称为一个EC块，该N个数据块和M个校验块组成每个EC条带的所有EC块。每个EC条带能容忍M个EC块的丢失。分布式存储系统使用EC技术进行数据存储时，存储客户端会根据待存储的数据生成一个或多个EC条带，并将每个EC条带的N+M个EC块下发给分布式存储系统的一个分区中的N+M个存储节点进行存储。这样，当分布式存储系统中有节点故障时，可以根据非故障节点上的EC块将故障节点上存储的EC块恢复出来。除非存储某条EC条带的N+M个存储节点中有多于M个存储节点发生故障，否则该条EC条带的数据可以被数据下发装置成功读出。在本发明各实施例中，每个存储节点存储EC条带的一个EC块。冗余比用于表示EC条带中的校验块的数量和数据块的数量的对比，具体可以采用各种表达方式，例如，M/N、M/(N+M)或者N+M等等。本发明后续实施例以N+M的形式为例。
分布式存储系统中包含若干存储节点，在具体的实施场景中，N+M个存储节点组成一个存储节点组，不同的存储节点组可以包含相同的存储节点。更进一步的，分布式存储系统可以分为多个存储资源池，存储资源池相互独立，不同存储资源池中的存储节点组不包含相同的存储节点。
如图2所示，为现有技术中基于分布式哈希表(Distributed Hash Table，DHT)的数据分布路由的结构示意图。一个DHT环对应一个存储资源池，DHT环由多个分区组成，每个分区中包含存储资源池中的N+M个存储节点。plog为数据单元，每个数据单元对应于一个分区，每个数据单元映射到分区中包含的存储节点上的一段存储空间。当存储客户端100存储待写入数据时，管理服务器为待写入数据分配数据单元(plog)，将数据单元标识发送给存储客户端，存储客户端计算数据单元标识的哈希值，根据计算出的哈希值确定数据单元对应的分区，查询分区视图确定分区对应的存储节点列表，对待写入数据进行EC编码，将生成的EC块存储到存储节点列表包含的存储节点中。所述存储节点列表又称为DHT分区表。
如表1所示，示出了DHT分区表的一个举例
Figure BDA0002595657220000071
表1
DHT分区表中的每个分区包含N+M个存储节点，存储到各分区中的EC条带的冗余比r＝N+M。与现有技术中每个DHT环只具备固定EC冗余比不同的是，本发明实施例提供了一种使用动态调整EC冗余比进行数据存储的方法，可以动态调整存储客户端将待写入数据存储到DHT环中各分区包含的存储节点时使用的EC冗余比。
如图3所示，使用动态调整EC冗余比进行数据存储的方法包括：
步骤301：存储客户端处理来自用户设备的写请求，对待写入数据执行写操作。
步骤302：存储客户端向管理服务器发送第一创建请求，所述第一创建请求用于请求管理服务器为待写入数据分配数据单元。
步骤303：管理服务器在第一分区中为存储客户端分配第一数据单元，向所述存储客户端返回第一创建响应，所述第一创建响应携带所述第一数据单元的标识和第一数据单元的状态，其中，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，允许所述存储客户端使用的存储节点的数量小于N+M。
管理服务器可以依据第一分区中节点的状态或者待写入数据的大小等因素，确定第一分区中允许所述存储客户端使用的存储节点列表。具体的：
在一种可能的实施方式中，所述允许所述存储客户端使用的存储节点为所述管理服务器在所述第一分区中为所述存储客户端指定的存储所述待写入数据的存储节点。即管理服务器在待写入数据较小时，仅选择分区中的部分存储节点为存储客户端提供存储服务。或者，
在另一种可能的实施方式中，所述第一分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述第一分区中的非故障节点，所述第一数据单元的状态表示所述管理服务器创建所述第一数据单元时所述第一分区包含的各存储节点的状态。即，为避免写入失败，管理服务器将第一分区中的故障节点排除出待写入数据存储的范围。
上述两种实施方式均会导致存储客户端执行EC编码时采用的EC冗余比发生变化，生成的数据块的数量和校验块的数量之和不再等于N+M，而是等于允许所述存储客户端使用的存储节点的数量。
管理服务器在确定分区降级后，通过第一数据单元的状态将允许所述存储客户端使用的存储节点通知给存储客户端。
分区降级是指，管理服务器分配给存储客户端存储待写入数据使用的存储节点的数量少于分区包含的存储节点数量(N+M)。
步骤304：存储客户端确定EC冗余比，生成所述待写入数据对应的数据块和校验块，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中。
具体的，存储客户端获取所述第一数据单元的标识、所述第一数据单元的状态以及所述第一分区的第一分区视图，根据所述第一数据单元的状态确定需要生成的数据块的数量和校验块的数量，对所述待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块，根据所述第一分区视图和所述第一数据单元的状态，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
存储客户端需要将待写入数据存储到分布式存储系统中，管理服务器为待写入数据分配的第一数据单元所对应的存储节点仅为存储节点组中的部分节点，当存储客户端收到管理服务器返回的第一数据单元的状态时，即可确定对待写入数据执行EC编码时需要生成的数据块和校验块的数量，存储客户端将生成的数据块和校验块存储到第一数据单元所在的分区中管理服务器指定的部分存储节点中，从而实现了EC冗余比的动态调整，管理服务器可以根据需要将分区中的部分节点排除出待写入数据存储的范围。
需要说明的是，需要生成的数据块的数量和校验块的数量也可以由管理服务器确定后，通知给存储客户端。具体的，所述管理服务器在第一分区中确定允许所述存储客户端使用的存储节点,为所述待写入数据在第一分区中分配第一数据单元，向所述存储客户端返回所述第一数据单元的标识、第一数据单元的状态以及需要生成的数据块的数量和校验块的数量，其中，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，允许所述存储客户端使用的存储节点的数量小于N+M，需要生成的数据块的数量和校验块的数量之和等于所述允许所述存储客户端使用的存储节点的数量。
基于上面所述的数据存储系统，本发明实施例提出了一种数据存储方法，用于在存储故障存储节点情况下，向分布式存储系统读写数据。
在一种可能的实施方式中，当某个分区的存储节点发生故障时，通过分区重定向，将待写入的数据重定向到其他的可用分区。
示例性的，如表2所示，为Node7故障时DHT分区表的举例，此时，分区P1和P3故障。
Figure BDA0002595657220000091
表2
当存储客户端向P1包含的存储节点写入数据时，P1中node7发生故障，此时，分配给node7存储的EC块写入失败，从而导致整个写入过程失败。存储客户端可以向管理服务器请求重新分配数据单元，由管理服务器在不存在故障节点的可用分区中为待写入数据重新分配数据单元，从而使得存储客户端将数据写入到可用分区包含的存储节点中。
管理服务器记录分区元数据，所述分区元数据包括分区视图和分区状态，分区视图中记录有分区所包含的存储节点列表，分区状态记录存储节点列表中各存储节点的状态。
在另一种可能的实施方式中，除了分区重定向外，本发明实施例还提供了一种通过动态调整EC冗余比在分布式存储系统中存储数据的方法。如图4所示，为本发明实施例提供的分区视图的示意图，以N＝4，M＝2为例进行说明，此时，根据待写入数据生成的EC条带需要包含4个数据块和2个校验块。当分区中的6个存储节点均正常时，4个存储节点(n1-n4)存储数据块，2个存储节点(p和q)存储校验块。当其中一个存储节点(例如，n3)故障时，存储数据块的存储节点数量调整为3个(n1、n2和n4)，存储校验块的存储节点保持不变，此时，EC冗余比N+M为3+2，存储客户端根据新的EC冗余比生成3个数据块和2个校验块，并将生成的5个EC块存储到状态正常的5个存储节点。
具体的，每个分区的分区元数据包括分区视图以及分区状态，其中，分区视图用来标识分区中包含的存储节点列表，分区状态用于标识分区包含的各个存储节点的状态。示例性的，分区P的分区视图为P＝{n1,n2,n3,n4,p,q}，当分区中的所有存储节点均正常时，分区P的分区状态为{111111}，其中，取值1表示对应的存储节点状态为正常，取值0表示对应的存储节点状态为故障。当存储节点n3故障时，存储数据块的存储节点数量调整为3个，此时，分区状态为{110111}，第3个属性的取值为0，表示存储节点n3故障。
当故障节点数量比较多的时候，可能导致大部分的分区中都包含故障节点，此时，不存在故障节点的少量分区会承担所有的数据写入，导致数据存储不均衡，且在不存在故障节点的少量分区无空余空间后，后续的数据写入就会由于无存储空间而导致写入失败。因此，上述动态EC调整方案可以针对故障节点较多的场景，将存储故障节点的分区充分利用，此时，管理服务器在返回给存储客户端的响应消息中携带分配的数据单元的状态(即创建数据单元时该数据单元所在的分区包含的各存储节点的状态)，使得存储客户端可以根据数据单元的状态获得数据单元所在的分区的冗余比(即获取EC编码需要生成的数据块的数量和校验块的数量的对比)，存储客户端对待写入数据执行EC编码，生成与分区中非故障节点数量匹配的数据块和校验块，将生成的数据块和校验块存储到分区的非故障节点中。通过上述分区降级的方式，使得存在故障节点的分区可以被充分利用，提高了系统存储的性能。
在一种可能的实施方式中，为了保证数据存储的持久度，需要保证校验块的数量不变，即使分区中存在故障节点，也只是会降低生成数据块的数量，而不会降低生成校验块的数量，此时，生成的数据块的数量等于N减去第二分区中故障节点的数量，生成的校验块的数量等于M。由于校验块的数量M保存不变，存储客户端可以使用第二分区中非故障节点的数量减去M，即可获得需要生成的数据块的数量。校验块M的数量可以由用户预先在数据存储系统中设置，也可以由存储客户端和管理服务器协商确定。
通过上述方式，在存储节点组中出现故障节点时，对故障节点影响的分区采用动态EC，减少EC条带中数据块的数量，提高分区冗余比。例如EC冗余比N+M为6+3时，当分区中分别有1、2或3个节点故障时，分区冗余比可以调整为5+3、4+3或者3+3。
需要说明的是，当存储客户端向分布式存储系统写入数据时，管理服务器为待写入数据分配数据单元，向存储客户端返回数据单元标识以及数据单元状态。数据单元状态中记录的是管理服务器创建数据单元时，数据单元所在的分区中各存储节点的状态。数据单元创建后，数据单元状态则固定，且不会随着存储节点状态的变化而变化。以EC冗余比为4+2进行举例说明，在管理服务器在第一分区中为待写入数据创建数据单元时，假设第一分区中故障节点为第3个节点，则此时分区状态为{110111},创建的数据单元的状态为{110111}；在管理服务器在第一分区中为另一待写入数据创建另一数据单元时，假设第一分区中第3个节点故障恢复，第4个节点故障，此时，第一分区状态为{111011}，所述另一数据单元的状态为{111011}。因此可以看出，同一分区的分区状态可以随着分区包含的节点的状态变化而变化，但数据单元的状态是创建数据单元时分区的状态，且不会发生变化。
另一方面，如果存储校验块的存储节点故障，则可以使用存储数据块的存储节点替代存储校验块的存储节点，从而使得存储数据块的存储节点数量减少，保持存储校验块的存储节点数量不变。以EC冗余比为4+2进行举例说明，如果故障节点为存储校验块的节点p，此时可以维持存储校验块的存储节点的数量不变，存储数据块的节点数量减小1，此时分区P的分区视图更新为{1,2,3,p,0,q}，对应的分区状态为{111101}。
在一种可能的实施方式中，对于存在故障节点的分区，当允许降低数据存储持久度时，可以降低校验块的数量，此时，管理服务器可以在返回给存储客户端的响应消息中携带需要生成的数据块的数量和/或校验块的数量，当响应消息中只携带了需要生成的数据块的数量时，存储客户端使用第二分区中非故障节点的数量减去需要生成的数据块的数量，得到需要生成的校验块的数量；当响应消息中只携带了需要生成的校验块的数量时，存储客户端使用第二分区中非故障节点的数量减去需要生成的校验块的数量，得到需要生成的数据块的数量。
对于分区中不存在故障节点的情况下，存储客户端读写数据，可以采用现有技术的方式，通过计算数据单元的标识的哈希值，确定数据单元所在的分区，向分区中包含的存储节点读写数据。当分区中存在故障节点时，在确定分区后，根据数据单元状态，向分区中状态为正常的存储节点读写数据。从而既可以维持分区计算的高性能，又可以在存在故障的情况下基于数据单元的状态进行灵活的数据读写，提高了分布式存储系统的可用性。
分区重定向和动态调整EC冗余比可以独立使用，也可以组合使用。即，可以优先使用分区重定向，当多个存储节点故障，管理服务器根据可用分区数量判断允许分区降级时，再动态调整EC冗余比。当存在故障节点的分区数量与分区总数比值大于预设比例时，则确定允许分区降级。上述预设比例可以由管理人员灵活配置，例如，当存在故障节点的分区超过分区总数的90％时，则允许分区降级。
下面结合具体方法流程对本发明实施方式进行详细介绍。
结合图1所示的系统结构示意图，如图5所示，为本发明实施例提供的一种数据存储方法流程示意图，基于分区重定向技术，所述方法包括：
步骤501：存储客户端处理来自用户设备的写请求，对待写入数据执行写操作。
步骤502：存储客户端向管理服务器发起第一创建请求，所述第一创建请求用于请求管理服务器为待写入数据分配数据单元。
步骤503：管理服务器在可用分区中为存储客户端分配第一数据单元。
管理服务器记录有分布式存储系统中所有存储节点的状态，从而可以根据存储节点的状态确定每个分区的状态。管理服务器根据分区的状态、分区之间的数据均衡性以及存储节点的可用空间，在合适的分区中为所述待写入数据分配数据单元。具体分配方法本发明实施例并不进行限定。
示例性的，当DHT环包含10个分区时，管理服务器选择在第x个分区分配数据单元，此时，分配的数据单元标识为10*n+x，n为正整数。即当管理服务器选择在第2个分区分区数据单元时，分配的数据单元标识为12、22、32等。在存储客户端获得数据单元标识后，即可采用对10取模的方式，得到余数为2，则可以确定数据单元所在的分区为第2分区。
步骤504：管理服务器向存储客户端返回第一创建响应，所述第一创建响应携带第一数据单元标识(plog ID)。
步骤505：存储客户端接收所述第一创建响应，根据所述第一数据单元标识确定存储所述待写入数据的第一分区，存储客户端获取第一数据单元的状态以及第一分区视图，示例性的，以上述表1中的P1为例进行说明，此时，分区P1的分区视图为{Node2,Node4,Node5,Node7,Node1,Node8}，分区状态为{111111}，则第一数据单元状态为{111111}。
示例性的，存储客户端可以计算第一数据单元标识的哈希值，获取哈希值对应的第一分区，或者，存储客户端对第一数据单元标识按分区数量取模，根据得到的余数确定第一数据单元所在的第一分区。
具体的，存储客户端可以主动从管理服务器或数据库中获取第一数据单元状态以及第一分区视图，也可以被动接收管理服务器在第一创建响应中携带的第一数据单元状态和第一分区视图。
所述管理服务器在创建第一数据单元，记录第一数据单元标识后，记录第一数据单元的状态。
步骤506：存储客户端对待写入数据执行EC编码，生成待写入数据对应的N个数据块和M个校验块。
在一种可能的实施方式中，N和M的值可以为约定数值。在另一种可能的方式中，管理服务器可以在第一响应消息中携带M的值，存储客户端即可以使用第一数据单元状态中包含的1的个数减去M的值，获得的差值即为N的值。确定N和M的值后，存储客户端则可以对待写入数据进行EC编码获得N个数据块以及M个校验块。
步骤507：存储客户端将生成的数据块和校验块发送给第一分区包含的各个存储节点。
存储客户端可以将所有的数据块和校验块发送给第一分区对应的存储节点组中的主节点，由主节点向每个存储节点下发一个EC块。也可以直接由存储客户端向存储节点组中的每个存储节点下发一个EC块。
步骤508：在第一分区节点组中的存储节点写入数据块或校验块的过程中，某个存储节点发生故障，导致EC块写入失败。
当任一存储节点写入EC块失败时，则表示存储客户端写入所述待写入数据失败。
步骤509：数据写入失败，存储客户端接收来自第一分区对应的存储节点组的失败响应。
在一种可能的实施方式中，所述失败响应可以由存储节点组中的主节点发送。
步骤510：存储客户端向管理服务器发送第二创建请求，所述第二创建请求用于请求管理服务器为所述待写入数据重新分配数据单元。
具体的，所述第二创建请求中可以携带写入失败的第一分区标识，以使得管理服务器获取存在故障节点的分区标识。管理服务器也可以实时感知到存储节点的状态，所以重新分数据单元的时候，就可以选择其他的无故障节点的分区。
步骤511：管理服务器接收所述第二创建请求，为所述待写入数据分配第二分区，在第二分区中分配第二数据单元。
所述管理服务器在创建第二数据单元，记录第二数据单元标识后，记录第二数据单元状态。
步骤512：管理服务器向存储客户端返回第二创建响应，所述创建响应携带第二数据单元的标识。
步骤513：存储客户端接收所述第二创建响应，根据所述第二数据单元标识确定所述第二分区的标识，存储客户端获取第二数据单元的状态以及第二分区视图。
示例性的，以上述表1中的P2为例进行说明，此时，分区P2的分区视图为{Node3,Node5,Node6,Node8,Node9,Node10}，分区P2的分区状态为{111111}，第二数据单元状态为{111111}。
步骤514：存储客户端对待写入数据执行EC编码，生成待写入数据对应的数据块和校验块。
可选的，存储客户端可以使用步骤506的计算结果，不再执行步骤514。
步骤515：存储客户端将待写入数据对应的数据块和校验块存储到第二分区包含的各个存储节点中。
需要说明的是，图5对应的实施例为写入失败时管理服务器将将待写入数据重定向到另一分区的方法。在分区不降级的情况下，管理服务器为存储客户端分配的分区中的N+M个节点均为正常节点，因此，图5对应的实施例可以不使用数据单元的状态(由于分区中的N+M个节点均为正常节点，管理服务器分配的数据单元的状态必然是表示N+M个节点都正常)，存储客户端也不需要确定需要生成的数据块的数量和校验块的数量，由于分区不降级，数据块的数量必然是N，校验块的数量必然是M。
如图6所示，为本发明实施例提供的另一种数据存储的方法流程示意图，在数据存储过程中动态调整EC冗余比。所述方法包括：
步骤601-610与步骤501-510相同，本发明实施例不再赘述。
步骤611：管理服务器接收所述第二创建请求，在第三分区中为待写入数据分配第三数据单元。其中，所述第三分区包含的存储节点中存在故障节点。
管理服务器根据可用分区数量判断是否允许分区降级，当允许分区降级时，在包含故障节点的所述第三分区为待写入数据分配数据单元。
示例性的，当第一分区中的第3个存储节点故障时，更新后的第一分区状态为{110111}，则第三数据单元状态为{110111}。
管理服务器在创建第三数据单元后，记录第三数据单元状态。
步骤612：管理服务器向存储客户端返回第二创建响应，所述第二创建响应携带第三数据单元标识。可选的，第三创建响应还可以携带第三数据单元状态和/或第三分区视图。
步骤613：存储客户端接收所述存储客户端接收所述第三创建响应，根据所述第三数据单元标识确定所述第三数据单元所在的第三分区，存储客户端获取第三数据单元状态以及第三分区视图，根据所述第三数据单元的状态和第三分区视图确定第三分区中的非故障节点列表。
示例性的，以上述表1中的Pn为例进行说明，此时，分区Pn的分区视图为{Node10,Node1,Node4,Node9,Node6,Node11}，假设分区Pn中Node4故障，则第三分区状态为{110111},第三数据单元状态为{110111}，非故障节点包括Node10,Node1,Node9,Node6,Node11。
步骤614：存储客户端根据所述第三数据单元的状态确定所述第三分区的冗余比，对待写入数据执行EC编码，生成待写入数据对应的数据块和校验块。
在一种可能的实施方式中，为了保证数据存储的持久度，需要保证校验块的数量不变，即使分区中存在故障节点，也只是会降低生成数据块的数量，而不会降低生成校验块的数量，此时，生成的数据块的数量等于N减去第二分区中故障节点的数量，生成的校验块的数量等于M。由于校验块的数量M保存不变，存储客户端可以使用第二分区中非故障节点的数量减去M，即可获得需要生成的数据块的数量。校验块M的数量可以由用户预先在数据存储系统中设置，也可以由存储客户端和管理服务器协商确定。
示例性的，需要生成的校验块的数量M＝2保持不变，由于Node4故障，需要生成的数据块的数量为非故障节点数量(5)减去校验块数量(2)，所有，需要生成的数据块的数量为3。因此确定N＝3，M＝2。存储客户端对待写入数据执行EC编码，生成3个数据块以及2个校验块。
步骤615：存储客户端将待写入数据对应的数据块和校验块存储到第三分区中的非故障存储节点中，每个存储节点存储一个EC块。
存储客户端将生成的3个数据块和2个校验块发送给第三分区的非故障节点。
步骤511或步骤611后，前述图5和图6的实施例进一步包括：管理服务器确定第一分区存在故障节点，更新第一分区的分区状态。
存储客户端向分布式存储系统写入数据时，管理服务器可以在存在故障节点的第一分区为待写入数据分配第一数据单元，并将第一数据单元的标识和第一数据单元的状态通知给存储客户端，存储客户端根据第一数据单元的状态确定第一分区的冗余比(需要生成的数据块的数量和校验块的数量)，对待写入数据执行EC编码生成数据块和校验块，将生成的数据块和校验块发送给第二分区中的非故障节点进行存储。通过上述方式，当分区中存在故障节点时，管理服务器可以执行分区降级，将在分区中分配的数据单元的状态通知给存储客户端，使得存储客户端获得存在故障节点的第二分区的冗余比，根据确定的第二分区的冗余比，减少生成数据块的数量，将待写入数据存储到第二分区中的非故障节点中，通过将故障节点排除在数据存储范围，避免将故障节点上的数据迁移到新的存储节点以替代故障节点，降低了节点故障对存储系统读写性能的影响。
在上述过程中，管理服务器将第一数据单元的状态通知给存储客户端，存储客户端根据第一数据单元的状态即可确定第一分区中非故障节点列表以及需要生成的数据块的数量和校验块的数量。
管理服务器确定需要分区降级的触发条件可以是：存储客户端在向管理服务器分配的数据单元所在的分区包含的存储节点写入待写入数据对应的EC条带时，一个或多个存储节点故障导致写入失败。在管理服务器确定需要分区降级之前，存储客户端从管理服务器获取为待写入数据分配的第二数据单元的标识，当第二数据单元所在的第二分区中的某个存储节点发生故障，导致所述存储客户端向第二分区写入数据失败。
需要说明的是，在分区降级的情况下，存储客户端如果仍然写入失败，管理服务器可以进一步的为待写入数据分配另一分区，所述另一分区可以为降级分区，即在所述另一分区中允许所述存储客户端使用的节点为所述另一分区的部分节点，所述管理服务器将在所述另一分区中分配的数据单元的状态通知给所述存储客户端。
在本发明各实施例中，同一实施例中的不同分区均属于同一DHT环。
如图7所示，为本发明实施例提供的一种数据读取的流程示意图，包括：
步骤701：存储客户端处理用户设备的读请求，执行读操作，获取待读取数据所在数据单元的状态，以及获取待读取数据所在分区的分区视图和分区状态，确定待读取的存储节点列表。
示例性的，以N＝4、M＝2、数据单元状态为{110111}、分区状态{111011}、分区视图为{Node4,Node6,Node7,Node9,Node10,Node11}进行举例说明。其中，数据单元状态为{110111}表示所述管理服务器创建所述第二数据单元时允许所述存储客户端使用的第二分区中存储节点，数据单元的状态{110111}表示所述管理服务器允许存储客户端使用第1、2、4、5和6个存储节点，第3个存储节点不允许使用(第3个存储节点可能故障)；分区状态{111011}表示：当前分区包含的第4个存储节点故障，其他存储节点状态正常。存储客户端根据数据单元状态和分区状态确定，存储有待读取数据对应的EC块的节点为第1、2、5、6存储节点，结合分区视图，则可以确定记录有待读取数据对应的EC块的存储节点为Node4,Node6,Node10以及Node11。
步骤702：存储客户端从待读取的存储节点列表包含的存储节点中读取数据对应的EC块。
存储客户端确定待读取数据所在的数据单元的方式可以采用现有技术中描述的方式，本发明实施例并不进行限定。示例性的，所述读请求中携带待读取数据所在的数据单元的标识，当所述读请求中不携带数据单元的标识时，可以根据读请求携带的卷标识和读取长度查找数据单元元数据，根据卷标识和读取长度确定待读取数据对应的数据单元的标识。
需要说明的是，在找到待读取数据对应的EC块所在的存储节点列表后，从列表中找到对应EC块存储的位置可以采用本领域常用技术手段，例如，存储客户端向存储节点发送读请求，所述读请求携带起始地址和读取长度，存储节点根据起始地址和读取场景即可读取EC块。
根据图7所述的实施例，当数据写入是采用分区降级的方式时，在读取该数据时，存储客户端可以获取数据写入的数据单元的状态，从而可以确定数据写入到存储节点列表，再结合当前状态为正常的存储节点列表，即可确定存储待读取数据对应的EC块的存储节点列表，从而完成数据读取过程。
如图8所示，为本发明实施例提供的存储客户端的结构示意图，所述存储客户端800为上述各实施例中的存储客户端，执行前述各实施例中存储客户端的功能。
具体的，所述存储客户端800包括第一发送单元801、获取单元802、以及处理单元803，
第一发送单元801，用于为待写入数据向所述管理服务器请求分配数据单元；
获取单元802，用于获取所述管理服务器返回的第一数据单元的标识、所述第一数据单元的状态以及所述第一数据单元所在的第一分区的第一分区视图，其中，所述第一分区视图表示所述第一分区包含的存储节点列表，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，允许所述存储客户端使用的存储节点的数量小于N+M；
处理单元803，用于根据所述第一数据单元的状态确定需要生成的数据块的数量和校验块的数量，对所述待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块，生成的数据块的数量和校验块的数量之和等于所述允许所述存储客户端使用的存储节点的数量；
第一发送单元801，还用于根据所述第一分区视图和所述第一数据单元的状态，将生成的数据块和校验块存储到所述第一分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
所述获取单元802，还用于在所述存储客户端执行读操作时，获取待读取数据对应的第二数据单元的状态、所述第二数据单元所在的第二分区的第二分区视图和第二分区状态，所述第二数据单元的状态表示所述管理服务器创建所述第二数据单元时允许所述存储客户端使用的第二分区中存储节点，所述第二分区状态表示第二分区包含的各存储节点当前是否故障；
所述处理单元803，还用于根据所述第二数据单元的状态、所述第二分区视图和所述第二分区状态，确定存储有所述待读取数据对应的EC块且状态为正常的存储节点列表；
所述获取单元802，还用于从确定的所述存储节点列表中读取所述待读取数据对应的EC块。
在第一发送单元801为待写入数据向所述管理服务器请求分配数据单元之前，
所述获取单元802，还用于获取所述管理服务器返回的第三数据单元的标识；
所述第一发送单元801，还用于向所述第三数据单元所在的第三分区中包含的各存储节点写入根据待写入数据生成的EC块；
当写入失败时，所述第一发送单元801向所述管理服务器请求重新分配数据单元。
如图9所示，为本发明实施例提供的管理服务器的结构示意图，所述管理服务器900为上述各实施例中的管理服务器，执行前述各实施例中管理服务器的功能。
所述管理服务900器包括：
接收单元901，用于接收存储客户端发送的为待写入数据分配数据单元的请求；
分配单元902，用于为所述待写入数据在第一分区中分配第一数据单元；
所述第二发送单元903，还用于向所述存储客户端返回所述第一数据单元的标识、第一数据单元的状态以及所述第一分区的第一分区视图，其中，所述第一数据单元的状态指示所述第一分区中允许所述存储客户端使用的存储节点，所述第一分区视图表示所述第一分区包含的存储节点列表，允许所述存储客户端使用的存储节点的数量小于N+M。
所述管理服务器900还包括存储单元904，用于记录所述第一数据单元的状态。
所述第一分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述第一分区中的非故障节点，所述第一数据单元的状态表示所述管理服务器创建所述第一数据单元时所述第一分区包含的各存储节点的状态。
所述第二发送单元903，还用于在存储客户端执行读操作时，向所述存储客户端返回待读取数据对应的第二数据单元的状态、所述第二数据单元所在的第二分区的第二分区视图和第二分区状态，所述第二数据单元的状态表示所述管理服务器创建所述第二数据单元时允许所述存储客户端使用的第二分区中存储节点，所述第二分区状态表示第二分区包含的各存储节点当前是否故障。
在所述存储客户端为待写入数据向所述管理服务器900请求分配数据单元之前，所述第二发送单元903，还用于向所述存储客户端返回第三数据单元的标识；
所述接收单元901，还用于在所述存储客户端向所述第三数据单元所在的第三分区中包含的各存储节点写入根据待写入数据生成的EC块失败时，接收所述存储客户端发送的重新分配数据单元的请求。
所述管理服务器900还包括降级判断单元905，用于根据存在故障节点的分区数量判断是否允许分区降级，如果允许，则在所述第一分区中为所述待写入数据分配所述第一数据单元。
所述降级判断单元905，具体用于判断存在故障节点的分区数量与分区总数比值是否大于预设比例，如果是，则确定允许分区降级。
所述分配单元902，还用于在所述降级判断单元确定不允许分区降级时，在不存在故障节点的第三分区中为所述待写入数据分配第三数据单元，向所述存储客户端返回所述第三数据单元的标识。
存储客户端和管理服务器可以采用通用的计算机设备，示例性的，如图10所示，为本发明实施例提供的物理服务器硬件结构示意图。所述物理服务器执行前述存储客户端或管理服务器的功能。物理服务器1000包括至少一个处理器1001，通信总线1002，存储器1003以及至少一个通信接口1004。
处理器1001可以为通用中央处理器(CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线1002可包括一通路，在上述组件之间传送信息。所述通信接口1004，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器1003可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、存储节点存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1003可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器1003用于存储执行本发明方案的应用程序代码，并由处理器1001来控制执行。所述处理器1001用于执行所述存储器1003中存储的应用程序代码，以实施前述存储客户端或者管理服务器的功能。
本发明实施例涉及到的计算机程序指令可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，通过执行计算机程序指令可以实现前述各实施例中各部件的功能。
需要说明的是，在权利要求书和说明书中，第一、第二、第三、第四等词仅仅是为了描述的便利而增加的，主要用于对同类名称进行进行描述上的区分，这些词本身不具有特定化的含义，也不表示时序、程度或重要性等方面的不同。例如，权利要求书中的“第一分区”与说明书中的“第一分区”，以及说明书中不同实施例之间的“第一分区”可以相同，也可以不同。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (11)

1.一种数据存储系统，其特征在于，所述数据存储系统包括存储客户端和分布式存储系统，所述分布式存储系统采用纠删码EC技术存储数据，所述分布式存储系统中N+M个存储节点组成的存储节点组对应一个分区，其中,N个存储节点用来存储数据块，M个存储节点用于存储根据所述EC技术生成的数据块的校验块，所述N和M为正整数，并且N不小于2；
所述存储客户端用于：
根据所述分区中允许所述存储客户端使用的存储节点数量确定需要生成的数据块的数量和校验块的数量；其中，所述允许所述存储客户端使用的存储节点的数量小于N+M；
对待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块；
将生成的数据块和校验块存储到所述分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
2.如权利要求1所述的系统，其特征在于，
所述分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述分区中的非故障节点。
3.如权利要求1或2所述的系统，其特征在于，
生成的校验块的数量等于M，生成的数据块的数量等于允许所述存储客户端使用的存储节点的数量减去M。
4.一种存储客户端，其特征在于，所述存储客户端采用纠删码EC技术向分布式存储系统中存储数据，所述分布式存储系统中N+M个存储节点组成的存储节点组对应一个分区，其中,N个存储节点用来存储数据块，M个存储节点用于存储根据所述EC技术生成的数据块的校验块，所述N和M为正整数，并且N不小于2，包括：
确定单元，用于根据所述分区中允许所述存储客户端使用的存储节点数量确定需要生成的数据块的数量和校验块的数量；其中，所述允许所述存储客户端使用的存储节点的数量小于N+M；
执行单元，用于对待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块；
存储单元，用于将生成的数据块和校验块存储到所述分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
5.如权利要求4所述的存储客户端，其特征在于，
生成的校验块的数量等于M，生成的数据块的数量等于允许所述存储客户端使用的存储节点的数量减去M。
6.一种分布式存储系统中数据存储的方法，其特征在于，所述分布式存储系统采用纠删码EC技术存储数据，所述分布式存储系统中的N+M个存储节点组成的存储节点组对应一个分区，其中,N个存储节点用来存储数据块，M个存储节点用于存储根据所述EC技术生成的数据块校验块，所述N和M为正整数，并且N不小于2，所述方法包括：
存储客户端根据所述分区中允许所述存储客户端使用的存储节点数量确定需要生成的数据块的数量和校验块的数量；其中，所述允许所述存储客户端使用的存储节点的数量小于N+M；
所述存储客户端对待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块；
所述存储客户端将生成的数据块和校验块存储到所述分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
7.如权利要求6所述的方法，其特征在于，
所述分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述分区中的非故障节点。
8.如权利要求6或7所述的方法，其特征在于，
生成的校验块的数量等于M，生成的数据块的数量等于允许所述存储客户端使用的存储节点的数量减去M。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包含计算机程序指令，所述计算机程序指令应用于存储系统的存储客户端，所述存储系统包含分布式存储系统，其中，所述分布式存储系统中的N+M个存储节点组成的存储节点组对应一个分区，其中,N个存储节点用来存储数据块，M个存储节点用于存储根据EC技术生成的数据块校验块，所述N和M为正整数，并且N不小于2；所述存储客户端执行所述计算机程序指令用于：
根据所述分区中允许所述存储客户端使用的存储节点数量确定需要生成的数据块的数量和校验块的数量；其中，所述允许所述存储客户端使用的存储节点的数量小于N+M；
对待写入数据执行EC编码，生成所述待写入数据对应的数据块和校验块；
将生成的数据块和校验块存储到所述分区中允许所述存储客户端使用的各存储节点中，每个节点存储一个数据块或校验块。
10.如权利要求9所述的计算机可读存储介质，其特征在于，
所述分区中存在故障节点，所述允许所述存储客户端使用的存储节点为所述分区中的非故障节点。
11.如权利要求9或10所述的计算机可读存储介质，其特征在于，
生成的校验块的数量等于M，生成的数据块的数量等于允许所述存储客户端使用的存储节点的数量减去M。
CN202010708473.2A 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统 Active CN112015583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708473.2A CN112015583B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201780011483.7A CN108780386B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统
CN202010708473.2A CN112015583B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统
PCT/CN2017/117532 WO2019119311A1 (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780011483.7A Division CN108780386B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112015583A CN112015583A (zh) 2020-12-01
CN112015583B true CN112015583B (zh) 2022-06-28

Family

ID=64034067

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780011483.7A Active CN108780386B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统
CN202010708473.2A Active CN112015583B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780011483.7A Active CN108780386B (zh) 2017-12-20 2017-12-20 一种数据存储的方法、装置和系统

Country Status (4)

Country Link
US (2) US10915397B2 (zh)
EP (2) EP3531288B1 (zh)
CN (2) CN108780386B (zh)
WO (1) WO2019119311A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146585B2 (en) 2016-09-07 2018-12-04 Pure Storage, Inc. Ensuring the fair utilization of system resources using workload based, time-independent scheduling
US11886922B2 (en) 2016-09-07 2024-01-30 Pure Storage, Inc. Scheduling input/output operations for a storage system
US10908966B1 (en) * 2016-09-07 2021-02-02 Pure Storage, Inc. Adapting target service times in a storage system
US11481261B1 (en) 2016-09-07 2022-10-25 Pure Storage, Inc. Preventing extended latency in a storage system
CN108780386B (zh) * 2017-12-20 2020-09-04 华为技术有限公司 一种数据存储的方法、装置和系统
CN112714910B (zh) * 2018-12-22 2022-12-27 华为云计算技术有限公司 分布式存储系统及计算机程序产品
CN109840051B (zh) * 2018-12-27 2020-08-07 华为技术有限公司 一种存储系统的数据存储方法及装置
CN112527492A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种分布式存储系统中的数据存储方法及装置
CN110989934B (zh) * 2019-12-05 2023-08-25 达闼机器人股份有限公司 区块链节点数据存储方法、区块链系统及区块链节点
CN111399766B (zh) * 2020-01-08 2021-10-22 华为技术有限公司 存储系统中的数据存储方法、数据读取方法、装置及系统
CN111400083B (zh) * 2020-03-17 2024-02-23 上海七牛信息技术有限公司 数据存储方法及系统、存储介质
CN113448499A (zh) * 2020-03-25 2021-09-28 华为技术有限公司 存储系统、数据处理方法、装置、节点以及存储介质
CN113301084A (zh) * 2020-06-30 2021-08-24 阿里巴巴集团控股有限公司 数据处理方法以及装置
CN112181314A (zh) * 2020-10-28 2021-01-05 浪潮云信息技术股份公司 一种分布式存储方法及系统
US11477267B2 (en) * 2020-11-09 2022-10-18 Microsoft Technology Licensing, Llc Operating cloud-managed remote edge sites at reduced disk capacity
CN112527760A (zh) * 2020-12-11 2021-03-19 北京锐安科技有限公司 数据存储方法、装置、服务器及介质
CN112711382B (zh) * 2020-12-31 2024-04-26 百果园技术(新加坡)有限公司 基于分布式系统的数据存储方法、装置和存储节点
CN113419684B (zh) * 2021-07-09 2023-02-24 深圳大普微电子科技有限公司 一种数据处理方法、装置、设备及可读存储介质
CN113687788A (zh) * 2021-08-30 2021-11-23 西安超越申泰信息科技有限公司 国产平台的数据读写优化方法、装置、计算机及存储介质
CN114760326A (zh) * 2022-03-02 2022-07-15 杭州华橙软件技术有限公司 数据存储方法、数据查询方法、数据存储系统和电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932953A (zh) * 2015-06-04 2015-09-23 华为技术有限公司 一种数据分发方法、数据存储方法、相关装置以及系统
CN105589660A (zh) * 2015-10-27 2016-05-18 杭州华三通信技术有限公司 一种数据分布方法及装置
CN105791353A (zh) * 2014-12-23 2016-07-20 深圳市腾讯计算机系统有限公司 基于纠删码的分布式数据存储方法及系统
CN106662983A (zh) * 2015-12-31 2017-05-10 华为技术有限公司 分布式存储系统中的数据重建的方法、装置和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308532B1 (en) * 2004-11-12 2007-12-11 Sun Microsystems, Inc. Method for dynamically implementing N+K redundancy in a storage subsystem
US9122579B2 (en) * 2010-01-06 2015-09-01 Intelligent Intellectual Property Holdings 2 Llc Apparatus, system, and method for a storage layer
JP5556192B2 (ja) * 2010-01-26 2014-07-23 日本電気株式会社 ストレージシステム
US8725940B2 (en) * 2010-02-27 2014-05-13 Cleversafe, Inc. Distributedly storing raid data in a raid memory and a dispersed storage network memory
CN103631666B (zh) * 2012-08-24 2018-04-20 中兴通讯股份有限公司 数据冗余容错的适配管理设备、服务设备、系统及方法
CN103246484B (zh) * 2013-05-03 2016-01-27 华为技术有限公司 一种数据存储方法、装置及系统
US9438675B2 (en) * 2013-08-29 2016-09-06 International Business Machines Corporation Dispersed storage with variable slice length and methods for use therewith
US9921910B2 (en) * 2015-02-19 2018-03-20 Netapp, Inc. Virtual chunk service based data recovery in a distributed data storage system
CN107748702B (zh) * 2015-06-04 2021-05-04 华为技术有限公司 一种数据恢复方法和装置
US10073738B2 (en) * 2015-08-14 2018-09-11 Samsung Electronics Co., Ltd. XF erasure code for distributed storage systems
CN106406758B (zh) * 2016-09-05 2019-06-18 华为技术有限公司 一种基于分布式存储系统的数据处理方法及存储设备
CN106383665B (zh) * 2016-09-05 2018-05-11 华为技术有限公司 数据存储系统中的数据存储方法及协调存储节点
US10331588B2 (en) * 2016-09-07 2019-06-25 Pure Storage, Inc. Ensuring the appropriate utilization of system resources using weighted workload based, time-independent scheduling
US10452290B2 (en) * 2016-12-19 2019-10-22 Pure Storage, Inc. Block consolidation in a direct-mapped flash storage system
US11550481B2 (en) * 2016-12-19 2023-01-10 Pure Storage, Inc. Efficiently writing data in a zoned drive storage system
US10552090B2 (en) * 2017-09-07 2020-02-04 Pure Storage, Inc. Solid state drives with multiple types of addressable memory
US11593036B2 (en) * 2017-06-12 2023-02-28 Pure Storage, Inc. Staging data within a unified storage element
CN107391301A (zh) * 2017-08-16 2017-11-24 北京奇虎科技有限公司 存储系统的数据管理方法、装置、计算设备及存储介质
CN108780386B (zh) * 2017-12-20 2020-09-04 华为技术有限公司 一种数据存储的方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791353A (zh) * 2014-12-23 2016-07-20 深圳市腾讯计算机系统有限公司 基于纠删码的分布式数据存储方法及系统
CN104932953A (zh) * 2015-06-04 2015-09-23 华为技术有限公司 一种数据分发方法、数据存储方法、相关装置以及系统
CN105589660A (zh) * 2015-10-27 2016-05-18 杭州华三通信技术有限公司 一种数据分布方法及装置
CN106662983A (zh) * 2015-12-31 2017-05-10 华为技术有限公司 分布式存储系统中的数据重建的方法、装置和系统

Also Published As

Publication number Publication date
EP3531288A4 (en) 2019-08-28
WO2019119311A1 (zh) 2019-06-27
US10915397B2 (en) 2021-02-09
EP3792766A1 (en) 2021-03-17
US20210141693A1 (en) 2021-05-13
EP3531288B1 (en) 2020-05-27
CN108780386A (zh) 2018-11-09
EP3531288A1 (en) 2019-08-28
CN108780386B (zh) 2020-09-04
US20190235956A1 (en) 2019-08-01
CN112015583A (zh) 2020-12-01
US11487618B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112015583B (zh) 一种数据存储的方法、装置和系统
CN107807794B (zh) 一种数据存储方法和装置
US6928459B1 (en) Plurality of file systems using weighted allocation to allocate space on one or more storage devices
JP5381336B2 (ja) 管理プログラム、管理装置および管理方法
US8924666B2 (en) Managing storage devices in a cloud storage environment
JP5526784B2 (ja) 縮退構成設計システムおよび方法
US10747617B2 (en) Method, apparatus and computer program product for managing storage system
JP2019101702A (ja) 記憶システム及びその制御方法
CN106293492B (zh) 一种存储管理方法及分布式文件系统
EP3180692A1 (en) Fault tolerant federation of computing clusters
CN110825704B (zh) 一种读数据方法、写数据方法及服务器
CN109725838B (zh) 用于管理多个盘的方法、装置以及计算机可读介质
CN111124250A (zh) 用于管理存储空间的方法、设备和计算机程序产品
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
US9959079B2 (en) Writing data into redundant array of independent disks (RAID) of storage system
CN107948229B (zh) 分布式存储的方法、装置及系统
CN115834587A (zh) 一种选择目标存储服务器的方法、装置及电子设备
US20150378856A1 (en) Storage system, storage device, control method and control program of storage device, management device, and control method and storage medium
US10254973B2 (en) Data management system and method for processing distributed data
JP2015022327A (ja) データ再配置装置、方法およびプログラム
US11188258B2 (en) Distributed storage system
CN106991121B (zh) 超融合数据存储方法及系统
CN111124260A (zh) 管理独立盘冗余阵列的方法、电子设备和计算机程序产品
JP2015055878A (ja) キャッシュ制御装置及びキャッシュの制御方法、ディスクアレイ装置及びそのコントローラ、並びにコンピュータ・プログラム
CN117234433B (zh) 数据迁移方法和装置、raid存储设备、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220301

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Applicant after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant