CN111858129B - 一种纠删码读请求处理方法、系统、设备及计算机介质 - Google Patents

一种纠删码读请求处理方法、系统、设备及计算机介质 Download PDF

Info

Publication number
CN111858129B
CN111858129B CN201910350350.3A CN201910350350A CN111858129B CN 111858129 B CN111858129 B CN 111858129B CN 201910350350 A CN201910350350 A CN 201910350350A CN 111858129 B CN111858129 B CN 111858129B
Authority
CN
China
Prior art keywords
value
data
erasure
erasure code
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910350350.3A
Other languages
English (en)
Other versions
CN111858129A (zh
Inventor
何绍涵
李润辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201910350350.3A priority Critical patent/CN111858129B/zh
Publication of CN111858129A publication Critical patent/CN111858129A/zh
Application granted granted Critical
Publication of CN111858129B publication Critical patent/CN111858129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种纠删码读请求处理方法、系统、设备及计算机介质，应用于分布式存储系统的目标服务器中，接收与目标文件对应的纠删码读请求；在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；其中，纠删数据的类型包括原始数据、校验数据；K表示原始数据的个数。本申请提供的一种纠删码读请求处理方法，目标服务器会读取自身的纠删数据，而读取自身的纠删数据并不消耗网络资源，降低了网络资源的消耗，提高了分布式存储系统中纠删码数据的传输效率。本申请提供的一种纠删码读请求处理系统、设备及计算机可读存储介质也解决了相应技术问题。

Description

一种纠删码读请求处理方法、系统、设备及计算机介质
技术领域
本申请涉及分布式存储技术领域，更具体地说，涉及一种纠删码读请求处理方法、系统、设备及计算机介质。
背景技术
分布式存储系统是一种对存储服务器集群进行管理的软件，其使服务器集群对外表现如一个整体，具有一致性、可扩展性和容错性，分布式存储系统已成为存储系统的主流趋势。
分布式存储系统由分布式存储系统软件和硬件构成，硬件上，分布式存储系统由通过网络连接的多台存储主机构成，每台主机包含多块存储设备。然而，分布式存储系统中的硬件设备容易发生故障，例如主机故障、硬盘故障等。为了在硬件设备故障的情况下提供数据保护，现有的一种方法是采用纠删码(Erasure Code，EC)对数据进行保护，本申请所涉及的纠删码是一种数据编码策略，对保护数据使用计算冗余的编码数据作为备份，在保护数据丢失后，可以根据剩余的原数据和冗余编码恢复出丢失的数据。纠删码方法中，在计算时先将一份数据划分为K块原始数据，基于K块原始数据经过纠删码算法获得M块校验数据，上述K+M块经EC编码的数据被均匀、随机的写入各存储节点中，以避免存储节点故障造成数据丢失。
然而，这种均匀、随机的写入策略也带来了数据读取时的随机性问题，比如，服务器从自身存储节点中读取的数据可能为原始数据，也可能为校验数据，为了降低读取数据的随机性，现有的一种方法是只读取原始数据，也即服务器自身存储节点中存储的是校验数据时，从其他存储节点获取原始数据。
然而，现有的只读取原始数据的方法中，从其他存储节点获取原始数据时，需跨网站传输数据，这会消耗大量的网络资源，影响数据传输效率。
综上所述，如何提高分布式存储系统中纠删码数据的传输效率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种纠删码读请求处理方法，其能在一定程度上解决如何提高分布式存储系统中纠删码数据的传输效率的技术问题。本申请还提供了一种纠删码读请求处理系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种纠删码读请求处理方法，应用于分布式存储系统的目标服务器中，包括：
接收与目标文件对应的纠删码读请求；
在所述目标文件对应的纠删数据中，计算获取每一个所述纠删数据时所消耗的网络资源值；
选取消耗所述网络资源值最小的K个所述纠删数据作为目标数据，并获取所述目标数据；
其中，所述纠删数据的类型包括原始数据、校验数据；K表示所述原始数据的个数。
优选的，所述接收与目标文件对应的纠删码读请求之后，所述计算获取每一个所述纠删数据时所消耗的网络资源值之前，还包括：
判断所述纠删码读请求的IO值是否小于预设IO值；
若所述纠删码请求的IO值大于等于所述预设IO值，则执行所述计算获取每一个所述纠删数据时所消耗的网络资源值的步骤。
优选的，所述判断所述纠删码读请求的IO值是否小于预设IO值之前，还包括：
基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值。
优选的，所述基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值，包括：
通过IO值计算公式计算所述预设IO值；
所述IO值计算公式包括：
其中，SIO表示所述预设IO值；Nall表示所述目标服务器的网络总带宽值；Nunit表示单位吞吐所对应的网络带宽期望值；Call表示所述目标服务器的CPU总资源值；CIO表示单个IO读请求消耗的CPU资源值。
优选的，所述判断所述纠删码读请求的IO值是否小于预设IO值之后，还包括：
若所述纠删码读请求的IO值小于所述预设IO值，则将所述K个原始数据作为所述目标数据，并获取所述目标数据。
一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，包括：
第一接收模块，用于接收与目标文件对应的纠删码读请求；
第一计算模块，用于在所述目标文件对应的纠删数据中，计算获取每一个所述纠删数据时所消耗的网络资源值；
第一获取模块，用于选取消耗所述网络资源值最小的K个所述纠删数据作为目标数据，并获取所述目标数据；
其中，所述纠删数据的类型包括原始数据、校验数据；K表示所述原始数据的个数。
优选的，还包括：
第一判断模块，用于所述第一接收模块接收与目标文件对应的纠删码读请求之后，所述第一计算模块计算获取每一个所述纠删数据时所消耗的网络资源值之前，判断所述纠删码读请求的IO值是否小于预设IO值，若所述纠删码请求的IO值大于等于所述预设IO值，则提示所述第一计算模块执行所述计算获取每一个所述纠删数据时所消耗的网络资源值的步骤。
优选的，还包括：
第二计算模块，用于所述第一判断模块判断所述纠删码读请求的IO值是否小于预设IO值之前，基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值。
一种纠删码读请求处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述纠删码读请求处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述纠删码读请求处理方法的步骤。
本申请提供的一种纠删码读请求处理方法，应用于分布式存储系统的目标服务器中，接收与目标文件对应的纠删码读请求；在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；其中，纠删数据的类型包括原始数据、校验数据；K表示原始数据的个数。本申请提供的一种纠删码读请求处理方法，目标服务器在接收与目标文件对应的纠删码读请求后，并不是直接获取原始数据，而是计算获取每一个纠删数据所消耗的网络资源，不难理解，目标服务器跨服务器接收数据时需消耗网络资源，因此纠删数据存储于目标服务器本身时其所消耗的网络资源最少，所以选取消耗网络资源最小的K个纠删数据作为目标数据时，会将存储于目标服务器自身的纠删数据作为目标数据，也即目标服务器会读取自身的纠删数据，再从其他服务器读取纠删数据，而读取自身的纠删数据并不消耗网络资源，所以与目标服务器只从其他服务器读取纠删数据的现有技术相比，降低了网络资源的消耗，提高了分布式存储系统中纠删码数据的传输效率。本申请提供的一种纠删码读请求处理系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种纠删码读请求处理方法的第一流程图；
图2为分布式存储系统中三个服务器间的数据传输示意图；
图3为本申请实施例提供的一种纠删码读请求处理方法的第二流程图；
图4为本申请实施例提供的一种纠删码读请求处理系统的结构示意图；
图5为本申请实施例提供的一种纠删码读请求处理设备的结构示意图；
图6为本申请实施例提供的一种纠删码读请求处理设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种纠删码读请求处理方法的第一流程图。
本申请实施例提供的一种纠删码读请求处理方法，应用于分布式存储系统的目标服务器中，可以包括以下步骤：
步骤S101：接收与目标文件对应的纠删码读请求。
实际应用中，目标服务器可以先接收与目标文件对应的纠删码读请求，纠删码读请求指的是用于读取纠删数据的请求，纠删数据指的是对目标文件进行纠删处理后得到的数据。不难理解，具体应用场景中，可以将纠删码读请求作为目标服务器执行本申请提供的纠删码读请求处理方法的判断条件，比如可以设置目标服务器在接收到纠删码读请求后才执行步骤S102及以后的步骤等。
步骤S102：在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；纠删数据的类型包括原始数据、校验数据。
实际应用中，目标服务器在接收纠删码读请求后，便可以在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值，网络资源值的类型可以根据实际需要确定，比如其可以为网络带宽值、网络时延值等。此外，纠删数据的类型为原始数据和校验数据，原始数据指的是目标文件中的原始数据，校验数据指的是对原始数据采用纠删方法处理后得到的数据。
步骤S103：选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；K表示原始数据的个数。
实际应用中，目标服务器在计算获取每一个纠删数据时所消耗的网络资源值之后，便可以选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据。由于目标数据为消耗网络资源值最小的K个纠删数据，所以目标服务器获取目标数据时消耗的网络资源值最小。此外，在纠删算法中，将目标文件划分为K块原始数据，然后基于K块原始数据经过纠删码算法获得M块校验数据，这样当有数据丢失时，可以在纠删数据中任选K块数据重构出K块原始数据，所以目标服务器需获取K块纠删数据。
本申请提供的一种纠删码读请求处理方法，应用于分布式存储系统的目标服务器中，接收与目标文件对应的纠删码读请求；在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；其中，纠删数据的类型包括原始数据、校验数据；K表示原始数据的个数。本申请提供的一种纠删码读请求处理方法，目标服务器在接收与目标文件对应的纠删码读请求后，并不是直接获取原始数据，而是计算获取每一个纠删数据所消耗的网络资源，不难理解，目标服务器跨服务器接收数据时需消耗网络资源，因此纠删数据存储于目标服务器本身时其所消耗的网络资源最少，所以选取消耗网络资源最小的K个纠删数据作为目标数据时，会将存储于目标服务器自身的纠删数据作为目标数据，也即目标服务器会读取自身的纠删数据，再从其他服务器读取纠删数据，而读取自身的纠删数据并不消耗网络资源，所以与目标服务器只从其他服务器读取纠删数据的现有技术相比，降低了网络资源的消耗，提高了分布式存储系统中纠删码数据的传输效率。
请参阅图2，图2为分布式存储系统中三个服务器间的数据传输示意图。
在图2中，A、B、C、D为分布式存储系统中的原始数据，P、Q为采用纠删码方法对A、B、C、D进行计算后得到的校验数据，且A和B、C和D、P和Q存储于三个服务器中，三个服务器通过交换机进行数据传输；当存储P和Q的服务器接收到纠删码读请求后，由于服务器只读取原始数据，所以存储P和Q的服务器需跨服务器读取原始数据A、B、C、D，此时，存储P和Q的的服务器会消耗自身的网络资源，其数值等于原始数据的大小值；而应用本申请提供的纠删码读请求处理方法后，由于存储P和Q的服务器读取自身存储的纠删数据时消耗的网络资源值最小，所以存储P和Q的服务器需读取自身存储的P和Q，之后再从存储A和B或者存储C和D的服务器中获取一份数据。不难理解，存储P和Q的服务器读取自身存储的P和Q后，需要对P和Q进行解码操作，这会消耗服务器的CPU资源。也即本申请提供的纠删码读请求处理方法会消耗CPU资源来换取网络资源。
实际应用中，CPU资源和网络资源都有可能成为限制目标服务器获取纠删数据的瓶颈，这时因为每个IO请求都需要消耗固定的CPU资源，在相同的配置环境下，总吞吐一定，单位IO长度越小，IO请求就越多，比如，用16KB为单位读和用64KB为单位读相同数据时，用16KB为单位的IO请求数量将近为用64KB为单位的IO请求数量的四倍，此时CPU资源很可能限制16KB读的吞吐量，所以纠删码读请求的IO值不同时，其消耗的网络资源和CPU资源不同，所以外界可以根据实际的网络资源限制条件或CPU资源限制条件来决定是否执行本申请提供的纠删码读请求处理方法，比如通过限制IO值的大小来决定是否执行本申请提供的纠删码读请求处理方法，则S101接收与目标文件对应的纠删码读请求之后，S102计算获取每一个纠删数据时所消耗的网络资源值之前，还可以判断纠删码读请求的IO值是否小于预设IO值；若纠删码请求的IO值大于等于预设IO值，则执行计算获取每一个纠删数据时所消耗的网络资源值的步骤。具体应用场景中，纠删码请求的IO值小于预设IO值时，目标服务器可以通过只读取原始数据的方法来获取K块纠删数据，也即将K个原始数据作为目标数据，并获取目标数据。
具体应用场景中，为了达到网络总带宽值和CPU总资源值间的平衡，判断纠删码读请求的IO值是否小于预设IO值之前，还可以基于目标服务器的网络总带宽值和CPU总资源值计算预设IO值。具体的，可以通过IO值计算公式计算预设IO值，请参阅图3，图3为本申请实施例提供的一种纠删码读请求处理方法的第二流程图。
实际应用中，本申请实施例提供的一种纠删码读请求处理方法可以包括以下步骤：
步骤S201：接收与目标文件对应的纠删码读请求。
步骤S202：通过IO值计算公式计算预设IO值。
具体应用场景中，IO值计算公式可以包括：
其中，SIO表示预设IO值；Nall表示目标服务器的网络总带宽值；Nunit表示单位吞吐所对应的网络带宽期望值；Call表示目标服务器的CPU总资源值；CIO表示单个IO读请求消耗的CPU资源值。
IO值计算公式的推导过程如下：在网络带宽瓶颈下，目标服务器的最高吞吐为在CPU资源瓶颈下，目标服务器的最高吞吐为/>联立两式可得
步骤S203：判断纠删码读请求的IO值是否小于预设IO值；若纠删码请求的IO值大于等于预设IO值，则执行步骤S204，若纠删码请求的IO值小于预设IO值，则执行步骤S206。
步骤S204：在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；纠删数据的类型包括原始数据、校验数据。
步骤S205：选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；K表示原始数据的个数。
步骤S206：将K个原始数据作为目标数据，并获取目标数据。
具体的，可以通过IO值计算公式计算预设IO值；
本申请还提供了一种纠删码读请求处理系统，其具有本申请实施例提供的一种纠删码读请求处理方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种纠删码读请求处理系统的结构示意图。
本申请实施例提供的一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，可以包括：
第一接收模块101，用于接收与目标文件对应的纠删码读请求；
第一计算模块102，用于在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；
第一获取模块103，用于选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；
其中，纠删数据的类型包括原始数据、校验数据；K表示原始数据的个数。
本申请实施例提供的一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，还可以包括：
第一判断模块，用于第一接收模块接收与目标文件对应的纠删码读请求之后，第一计算模块计算获取每一个纠删数据时所消耗的网络资源值之前，判断纠删码读请求的IO值是否小于预设IO值，若纠删码请求的IO值大于等于预设IO值，则提示第一计算模块执行计算获取每一个纠删数据时所消耗的网络资源值的步骤。
本申请实施例提供的一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，还可以包括：
第二计算模块，用于第一判断模块判断纠删码读请求的IO值是否小于预设IO值之前，基于目标服务器的网络总带宽值和CPU总资源值计算预设IO值。
本申请实施例提供的一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，第二计算模块可以包括：
第一计算单元，用于通过IO值计算公式计算预设IO值；
IO值计算公式包括：
其中，SIO表示预设IO值；Nall表示目标服务器的网络总带宽值；Nunit表示单位吞吐所对应的网络带宽期望值；Call表示目标服务器的CPU总资源值；CIO表示单个IO读请求消耗的CPU资源值。
本申请实施例提供的一种纠删码读请求处理系统，应用于分布式存储系统的目标服务器中，还可以包括：
第二获取模块，用于第一判断模块判断纠删码读请求的IO值是否小于预设IO值之后，若纠删码读请求的IO值小于预设IO值，则将K个原始数据作为目标数据，并获取目标数据。
本申请还提供了一种纠删码读请求处理设备及计算机可读存储介质，其均具有本申请实施例提供的一种纠删码读请求处理方法具有的对应效果。请参阅图5，图5为本申请实施例提供的一种纠删码读请求处理设备的结构示意图。
本申请实施例提供的一种纠删码读请求处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时实现如下步骤：
接收与目标文件对应的纠删码读请求；
在目标文件对应的纠删数据中，计算获取每一个纠删数据时所消耗的网络资源值；
选取消耗网络资源值最小的K个纠删数据作为目标数据，并获取目标数据；
其中，纠删数据的类型包括原始数据、校验数据；K表示原始数据的个数。
本申请实施例提供的一种纠删码读请求处理设备，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：接收与目标文件对应的纠删码读请求之后，计算获取每一个纠删数据时所消耗的网络资源值之前，判断纠删码读请求的IO值是否小于预设IO值；若纠删码请求的IO值大于等于预设IO值，则执行计算获取每一个纠删数据时所消耗的网络资源值的步骤。
本申请实施例提供的一种纠删码读请求处理设备，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：判断纠删码读请求的IO值是否小于预设IO值之前，基于目标服务器的网络总带宽值和CPU总资源值计算预设IO值。
本申请实施例提供的一种纠删码读请求处理设备，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：通过IO值计算公式计算预设IO值；
IO值计算公式包括：
其中，SIO表示预设IO值；Nall表示目标服务器的网络总带宽值；Nunit表示单位吞吐所对应的网络带宽期望值；Call表示目标服务器的CPU总资源值；CIO表示单个IO读请求消耗的CPU资源值。
本申请实施例提供的一种纠删码读请求处理设备，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：判断纠删码读请求的IO值是否小于预设IO值之后，若纠删码读请求的IO值小于预设IO值，则将K个原始数据作为目标数据，并获取目标数据。
请参阅图6，本申请实施例提供的另一种纠删码读请求处理设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现纠删码读请求处理设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述的纠删码读请求处理方法的步骤。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种纠删码读请求处理系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种纠删码读请求处理方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种纠删码读请求处理方法，其特征在于，应用于分布式存储系统的目标服务器中，包括：
接收与目标文件对应的纠删码读请求；
在所述目标文件对应的纠删数据中，计算获取每一个所述纠删数据时所消耗的网络资源值；
选取消耗所述网络资源值最小的K个所述纠删数据作为目标数据，并获取所述目标数据；
其中，所述纠删数据的类型包括原始数据、校验数据；K表示所述原始数据的个数；
其中，所述接收与目标文件对应的纠删码读请求之后，所述计算获取每一个所述纠删数据时所消耗的网络资源值之前，还包括：
判断所述纠删码读请求的IO值是否小于预设IO值；
若所述纠删码读请求的IO值大于等于所述预设IO值，则执行所述计算获取每一个所述纠删数据时所消耗的网络资源值的步骤。
2.根据权利要求1所述的方法，其特征在于，所述判断所述纠删码读请求的IO值是否小于预设IO值之前，还包括：
基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值，包括：
通过IO值计算公式计算所述预设IO值；
所述IO值计算公式包括：
其中，SIO表示所述预设IO值；Nall表示所述目标服务器的网络总带宽值；Nunit表示单位吞吐所对应的网络带宽期望值；Call表示所述目标服务器的CPU总资源值；CIO表示单个IO读请求消耗的CPU资源值。
4.根据权利要求1所述的方法，其特征在于，所述判断所述纠删码读请求的IO值是否小于预设IO值之后，还包括：
若所述纠删码读请求的IO值小于所述预设IO值，则将K个原始数据作为所述目标数据，并获取所述目标数据。
5.一种纠删码读请求处理系统，其特征在于，应用于分布式存储系统的目标服务器中，包括：
第一接收模块，用于接收与目标文件对应的纠删码读请求；
第一计算模块，用于在所述目标文件对应的纠删数据中，计算获取每一个所述纠删数据时所消耗的网络资源值；
第一获取模块，用于选取消耗所述网络资源值最小的K个所述纠删数据作为目标数据，并获取所述目标数据；
其中，所述纠删数据的类型包括原始数据、校验数据；K表示所述原始数据的个数；
其中，所述系统，还包括：
第一判断模块，用于所述第一接收模块接收与目标文件对应的纠删码读请求之后，所述第一计算模块计算获取每一个所述纠删数据时所消耗的网络资源值之前，判断所述纠删码读请求的IO值是否小于预设IO值，若所述纠删码读请求的IO值大于等于所述预设IO值，则提示所述第一计算模块执行所述计算获取每一个所述纠删数据时所消耗的网络资源值的步骤。
6.根据权利要求5所述的系统，其特征在于，还包括：
第二计算模块，用于所述第一判断模块判断所述纠删码读请求的IO值是否小于预设IO值之前，基于所述目标服务器的网络总带宽值和CPU总资源值计算所述预设IO值。
7.一种纠删码读请求处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述纠删码读请求处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述纠删码读请求处理方法的步骤。
CN201910350350.3A 2019-04-28 2019-04-28 一种纠删码读请求处理方法、系统、设备及计算机介质 Active CN111858129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910350350.3A CN111858129B (zh) 2019-04-28 2019-04-28 一种纠删码读请求处理方法、系统、设备及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910350350.3A CN111858129B (zh) 2019-04-28 2019-04-28 一种纠删码读请求处理方法、系统、设备及计算机介质

Publications (2)

Publication Number Publication Date
CN111858129A CN111858129A (zh) 2020-10-30
CN111858129B true CN111858129B (zh) 2024-02-23

Family

ID=72965153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910350350.3A Active CN111858129B (zh) 2019-04-28 2019-04-28 一种纠删码读请求处理方法、系统、设备及计算机介质

Country Status (1)

Country Link
CN (1) CN111858129B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064751B (zh) * 2021-03-26 2023-04-25 山东英信计算机技术有限公司 一种基于纠删池的编解码方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3648239A (en) * 1970-06-30 1972-03-07 Ibm System for translating to and from single error correction-double error detection hamming code and byte parity code
JP2001007893A (ja) * 1999-06-23 2001-01-12 Nec Kofu Ltd 情報処理システム及びそれに用いる障害処理方式
CN103942116A (zh) * 2014-04-24 2014-07-23 深圳市中博科创信息技术有限公司 一种对数据进行容错处理的方法及数据处理系统
CN104298572A (zh) * 2013-07-19 2015-01-21 杨凤兰 一种纠错方法、装置和系统
CN106686095A (zh) * 2016-12-30 2017-05-17 郑州云海信息技术有限公司 一种基于纠删码技术的数据存储方法及装置
CN106909470A (zh) * 2017-01-20 2017-06-30 深圳市中博科创信息技术有限公司 基于纠删码的分布式文件系统存储方法及装置
CN107589916A (zh) * 2017-09-29 2018-01-16 郑州云海信息技术有限公司 一种基于纠删码的纠删池的创建方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9356628B2 (en) * 2014-02-13 2016-05-31 Quantum Corporation Dynamically reconfiguring rebuild agents for erasure code rebuild
US9584160B2 (en) * 2014-02-20 2017-02-28 Quantum Corporation Dynamically configuring erasure code redundancy and distribution

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3648239A (en) * 1970-06-30 1972-03-07 Ibm System for translating to and from single error correction-double error detection hamming code and byte parity code
JP2001007893A (ja) * 1999-06-23 2001-01-12 Nec Kofu Ltd 情報処理システム及びそれに用いる障害処理方式
CN104298572A (zh) * 2013-07-19 2015-01-21 杨凤兰 一种纠错方法、装置和系统
CN103942116A (zh) * 2014-04-24 2014-07-23 深圳市中博科创信息技术有限公司 一种对数据进行容错处理的方法及数据处理系统
CN106686095A (zh) * 2016-12-30 2017-05-17 郑州云海信息技术有限公司 一种基于纠删码技术的数据存储方法及装置
CN106909470A (zh) * 2017-01-20 2017-06-30 深圳市中博科创信息技术有限公司 基于纠删码的分布式文件系统存储方法及装置
CN107589916A (zh) * 2017-09-29 2018-01-16 郑州云海信息技术有限公司 一种基于纠删码的纠删池的创建方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"GRC:一种适用于多节点失效的高容错低修复成本纠删码";林轩等;《计算机研究与发展》;全文 *
Cheng Huang.et al ."Erasure Coding in Windows Azure Storage".《ACM》.2012,全文. *

Also Published As

Publication number Publication date
CN111858129A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US11537304B2 (en) Data verification method and apparatus, and storage medium
US8375200B2 (en) Embedded device and file change notification method of the embedded device
US11102322B2 (en) Data processing method and apparatus, server, and controller
CN111625181B (zh) 数据处理方法、独立硬盘冗余阵列控制器和数据存储系统
CN111159195A (zh) 区块链系统中的数据存储控制方法及设备
EP2977898A1 (en) Task allocation in a computing environment
CN114647363A (zh) 用于数据处理的方法、电子设备和计算机程序产品
CN111858129B (zh) 一种纠删码读请求处理方法、系统、设备及计算机介质
CN115016979A (zh) 纠删码数据处理方法、装置及系统、存储介质、处理器
CN111562884A (zh) 一种数据存储方法、装置及电子设备
CN110928952A (zh) 基于区块链的数据同步方法及装置
CN109117292A (zh) 一种集群存储的方法和装置及集群存储系统
CN111435323B (zh) 信息的传输方法、装置、终端、服务器及存储介质
CN108959020B (zh) 一种计算机cpu利用率的计算方法和装置
CN115129509A (zh) 一种数据传输方法、装置、介质
US9251025B1 (en) Managed reliability of data storage
CN113672176A (zh) 一种数据读取方法、系统、设备及计算机可读存储介质
CN110703997A (zh) 云存储系统及数据存储方法、装置、设备、计算机介质
CN108959405B (zh) 数据的强一致性读取方法及终端设备
CN110209548B (zh) 服务控制方法、系统、电子设备及计算机可读存储介质
CN113535378A (zh) 一种资源调配方法、存储介质及终端设备
CN111857545A (zh) 一种读写锁冲突判断方法、系统、设备及计算机介质
CN117667834B (zh) 存算解耦系统、数据处理方法及存储介质
CN107203559B (zh) 一种划分数据条带的方法和装置
CN116743589B (zh) 云主机迁移方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant