CN108196791A - 基于多个存储设备的数据访问方法及装置 - Google Patents
基于多个存储设备的数据访问方法及装置 Download PDFInfo
- Publication number
- CN108196791A CN108196791A CN201711474677.9A CN201711474677A CN108196791A CN 108196791 A CN108196791 A CN 108196791A CN 201711474677 A CN201711474677 A CN 201711474677A CN 108196791 A CN108196791 A CN 108196791A
- Authority
- CN
- China
- Prior art keywords
- storage device
- equipment
- attribute information
- storage
- weighted value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
Abstract
本发明公开了一种基于多个存储设备的数据访问方法及装置。其中，该方法包括：分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值；当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。利用本发明提供的方案，能够将数据访问请求根据存储设备多个维度的设备属性信息进行分配，从而减轻了因故障而更换的新的存储设备的读写压力，进而提高了整个系统的性能。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于多个存储设备的数据访问方法及装置。
背景技术
随着计算机技术的普及，人们的工作、生活、学习已经离不开计算机设备。当用户使用计算机设备的时候，往往会在其存储设备上存储大量的资料信息和其它信息。随着存储数据的急剧增长，同时也为了应对数据丢失等风险，传统的单一存储设备的存储方式显然已经不能满足用户的需求。为此，越来越多的业务系统中通过多个存储设备共同提供服务。
现有技术中，当接收到一个针对业务系统的访问请求时，通常会简单地判断各个存储设备中剩余存储空间最大的设备，然后将该访问请求分配给该剩余存储空间最大的设备。
但是，发明人在实现本发明的过程中发现，现有技术中的上述方式至少存在下述缺陷：单纯依靠剩余存储空间分配存储设备时，往往不能综合考虑各个存储设备的当前存储状况，容易导致分配不合理的现象发生。尤其是在系统中存在因故障而更换的存储设备时，由于该因故障而更换的存储设备的剩余存储空间最大，因此，依照现有的分配策略，所有的访问请求都将集中分配给该存储设备。而与此同时，该存储设备同时还需要执行数据修复操作，因而导致该存储设备的负载非常高，更容易发生损坏，并且造成整个系统的性能下降。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于多个存储设备的数据访问方法及装置。
根据本发明的一个方面，提供了基于多个存储设备的数据访问方法，包括：
分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值；
当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。
根据本发明另一个方面，提供了基于多个存储设备的数据访问装置，包括：
设置模块，适于分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值；
计算模块，当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
分配模块，根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。
根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于多个存储设备的数据访问方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于多个存储设备的数据访问方法对应的操作。
根据本发明公开的基于多个存储设备的数据访问方法及装置，根据各个存储设备的设备属性信息为各个存储设备设置对应的设备权重值；当接收到访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；从而能够结合存储设备本身的性能、剩余存储空间、剩余存储空间与总存储空间之间的比值、繁忙程度等来分配其对应的权重值，进而根据权重值的大小来决定访问概率的大小；然后根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，并将数据访问请求分配给该访问设备。根据该发明提供的方案能够将数据访问请求根据存储设备本身的性能、剩余存储空间、剩余存储空间与总存储空间之间的比值以及繁忙程度来进行分配，将访问请求较大概率地分配给更换后的新的存储设备或者存储空间较大、存储性能较好的存储设备。并且根据该发明提供的技术方案，首先保证了各个存储设备I/O负载均衡和剩余使用空间相对平均，其次在机器存储设备使用量都较高，当一个存储设备出现故障，用一个新的存储设备顶替出现故障的存储设备时，避免了将全部的最新的访问请求都集中在该新换上的存储设备上，并且还保证了该新换上的存储设备承受尽可能多的访问请求，且不至于将该存储设备的I/O负载打满，大大延长了其使用寿命，保证了服务器整体存储性能的持续发挥。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明一个实施例的基于多个存储设备的数据访问方法的流程示意图；
图2示出了本发明另一个实施例的基于多个存储设备的数据访问方法的流程示意图；
图3示出了本发明又一实施例的一种基于多个存储设备的数据访问装置的装置结构图；
图4示出了根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的技术方案中，为了在满足存储设备I/O负载均衡和各个存储设备使用空间相对平均的前提下，还解决存储设备出现故障的情况时所引发的问题，因此制定了一个从多维度考量存储设备参数的存储设备选择策略。在此策略中，采取了多种不同的考量参数，以选择一个更加合适的存储设备，以完成访问请求的处理。
图1示出了本发明一个实施例的基于多个存储设备的数据访问方法的流程示意图。如图1所示，该方法包括：
步骤S101，分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值。
具体地，可以每隔一段时间获取一次各个存储设备的设备属性信息或者当存储设备发生损坏时获取各个存储设备的设备属性信息。其中，存储设备可以为磁盘、硬盘、软盘、CD等各种类型的存储设备，还可以为其它的存储设备，在此不一一叙述。上述存储设备的设备属性信息包括但不限于以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。其中，存储设备的剩余存储空间在数据需要选择存储设备进行存储时，该存储设备的剩余存储空间能够存下这批数据是该存储设备能够参与到此次存储设备选择方法的先决条件。剩余存储空间与总存储空间之间的比值，可以通过计算本台服务器中所有存储设备的剩余可使用空间总容量，并计算每个存储设备对于剩余可使用空间总容量的空间的比值得到，每次基于多个存储设备的数据访问时会参考该值，会优先选取剩余存储空间与总存储空间之间的比值较大的存储设备。设备使用率可以包括：单位时间内的I/O(Input/Output)使用率，单位时间内的I/O使用率可以反应存储设备的繁忙程度以及存储设备的存储速度。设备使用率除了包括单位时间内的I/O使用率，还可以包括其它的类型的设备使用率。在分别获取各个存储设备的设备属性信息之后，可以根据设备属性信息为各个存储设备设置对应的设备权重值。比如当存储设备的剩余空间比较大时，可以偏向于将数据存储于该盘上，则可以将设备权重值可以设置为与剩余存储空间成正比的数值或者将设备权重值设置为与剩余存储空间与总存储空间之间的比值成正比的数值；还可以将设备属性值设置为与单位时间内的I/O使用率成反比的数值，这样可以降低存储设备的繁忙程度。除了上述方式外，还可以根据其它的设备属性值并且以其它的方式来设置对应的设备权重值。
步骤S102，当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关。
随机访问概率可以根据各个存储设备对应的设备权重值，通过带权重的随机算法或者其它的算法确定各个设备的随机访问率，各个设备的随机访问概率可以与该设备的对应的设备权重值成正相关的关系，即该设备的随机访问概率可以随着该设备对应的设备权重值的增大而增大，随着该设备对应的设备权重值的减小而减小，具体的数值可以根据随机算法计算得到。通过设置权重值，可以将对更换的新的存储设备的访问压力或者剩余存储空间最大的存储设备的访问压力根据各个存储设备的对应的设备权重值分散到其它的存储设备上。
步骤S103，根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。
在选择时可以根据各个存储设备的随机访问概率的大小来选择，每次选择一个存储设备作为访问设备时，可以选择当前随机访问概率最大的存储设备作为访问设备，并将访问请求分配该访问设备。其中，数据访问请求可以是数据写入请求、数据读取请求以及其它的请求。根据该步骤的方法，能够将访问请求较大概率的往更换的新的存储设备或者其它的剩余存储空间较大的访问设备上分配，从而能够把访问请求根据存储设备的属性信息分担到其它的存储设备上，减轻了该更换后的新的存储设备或者剩余存储空间较大的存储设备的读写压力。
根据本实施例提供的基于多个存储设备的数据访问方法，通过根据各个存储的设备属性信息为各个存储设备设置对应的设备权重值；当接收到访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；从而能够结合存储设备本身的性能、剩余存储空间、剩余存储空间与总存储空间之间的比值、繁忙程度等来分配其对应的权重值，进而根据权重值的大小来决定访问概率的大小；然后根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，并将数据访问请求分配给该访问设备。根据该方法能够将数据访问请求根据存储设备本身的性能、剩余存储空间、剩余存储空间与总存储空间之间的比值以及繁忙程度来进行分配，将访问请求较大概率地分配给更换后的新的存储设备或者存储空间较大、存储性能较好的存储设备。并且根据该方法，首先保证了各个存储设备I/O负载均衡和剩余使用空间相对平均，其次在机器存储设备使用量都较高，当一个存储设备出现故障，用一个新的存储设备顶替出现故障的存储设备时，避免了将全部的最新的访问请求都集中在该新换上的存储设备上，并且还保证了该新换上的存储设备承受尽可能多的访问请求，且不至于将该存储设备的I/O负载打满，大大延长了其使用寿命，保证了服务器整体存储性能的持续发挥。
图2示出了本发明另一个实施例的基于多个存储设备的数据访问方法的流程示意图。如图2所示，该方法包括：
步骤S201，分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值。
其中，设备属性信息包括但不限于以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。设备使用率包括：单位时间内的I/O使用率。存储设备可以是多个分布式的存储设备或者多个互为备份的存储设备，或者其它类型存储设备，存储设备可以为磁盘、硬盘、软盘、CD等各种类型的存储设备，还可以为其它的存储设备，在此不一一叙述，本实施例并不限定存储设备的类型。对于互为备份的存储设备，比如一台机器的数据存储有3个节点，每个节点上存储有一个副本，则可以有副本1、副本2、副本3，对于每个节点可以有12个或者12个以上存储设备，并且上述各个节点上的存储设备和另外节点上的存储设备可以互为备份。对于分布式的存储设备是指，每台计算机各自提供自己的存储空间，并各自协调管理所有计算机节点中的文件，与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点，而是将数据分散存储到多个数据存储服务器上。
在获取各个存储设备的设备属性信息时，为了及时并且不遗漏地获取各个存储设备的设备属性信息，则可以每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息。由于平台的固定属性，可以随时监测到存储设备产生故障或者更换了该故障存储设备。因此，当检测到因故障而更换的存储设备时，获取因故障而更换的存储设备的设备属性信息。另一方面，在检测到因故障而更换的存储设备之后，由于存储设备的自愈机制，能够针对该因故障而更换的存储设备进行数据恢复操作。比如一个节点上有12块磁盘，当某个磁盘产生故障时，可以从另外两个节点上存储的副本上获知该磁盘的数据，并针对该因故障而更换的磁盘进行数据恢复操作。由于该更换的存储设备上的剩余空间最大，因此将数据访问请求分配给该因故障而更换的存储设备的概率较大，该因故障而更换的存储设备能够承担该更大的数据读写压力，对整个系统性能的影响更大，所以可以在针对上述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次因故障而更换的存储设备的设备属性信息。第二预设时间间隔可以设置的比第一预设时间小，从而能够在获取各个存储设备的属性信息的时间间隔中，可以更加频繁地监控该更换的存储设备的设备属性信息。具体地，第二时间间隔的大小还可以结合数据恢复操作的执行速度、该因故障而更换的存储设备的剩余空间的大小等因素来设置。比如，当数据恢复操作的执行速度较大时，可以将第二时间间隔设置的小一些；当数据恢复操作的执行速度较小时，可以将第二时间间隔设置的大一些。另外，第一预设时间间隔的大小也可以根据数据恢复操作的执行速度来设定，当数据恢复操作的执行速度较大时，可以将第一时间间隔设置的小一些；当数据恢复操作的执行速度较小时，可以将第一时间间隔设置的大一些。第一预设时间间隔还可以根据该系统中存储设备的存储速度或者数据的读写速度来确定，当存储设备的存储速度或者数据的读写速度较大时，则第一预设时间间隔可以设置的短一些，当存储设备的存储速度或者数据的读写速度较小时，则第一预设时间间隔可以设置的长一些，除了上述因素外，还可以根据其它的因素来设置第一预设时间间隔，具体的数值的大小，本领域技术人员可以根据实际情况具体地设置。
进一步地，当存储设备的剩余存储空间、剩余存储空间与总存储空间之间的比值较大时，可以将数据访问请求尽量分配给该存储设备；当存储设备的设备使用率较高时，为了减轻该存储设备的繁忙程度，则各个存储设备对应的设备权重值可以设置为与剩余存储空间、剩余存储空间与总存储空间之间的比值成正比的数值；和/或，将设备权重值设置为与设备使用率成反比的数值。这样，可以结合各个存储设备的剩余空间、存储设备的剩余空间与总存储空间的比值以及设备使用率等各个方面来设置存储设备的权重值的大小。从而能够结合各个存储设备的属性信息，来全面地考量选择哪个存储设备处理访问请求，进而能够减轻因故障而更换的存储设备的读写压力并提高整个系统的性能。
步骤S202，当接收到数据访问请求时，根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
其中，访问请求可以包括数据写入请求和/或数据读取请求，和其它的数据访问请求。各个设备的随机访问概率与该设备对应的设备权重值相关，根据各个存储设备对应的设备权重值，通过带权重的随机算法，可以确定各个设备的随机访问概率。具体地，比如有3个存储设备：存储设备1、存储设备2、存储设备3，假如根据设备属性信息为存储设备1、存储设备2、存储设备3设置对应的设备权重值分别为1/2、3/8、1/8，则通过带权重的随机算法，可以确定各个设备的随机访问概率分别为50％、37.5％、12.5％。需要说明的是，为了较清楚地说明本步骤的方法，这里的存储设备和其对应的权重值，带权重的随机算法只是示例性说明。
步骤S203，根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备时，可以将访问概率最大的存储设备选择为访问设备。比如在步骤S202中，存储设备，存储设备1、存储设备2、存储设备3的随机访问概率为50％、37.5％、12.5％，则优先将访问请求优先分配给存储设备1。在随着数据恢复的过程中，重复步骤S101～步骤S103的内容，随时地计算各个存储设备的随机访问概率，从而选择各个时刻的访问概率最大的存储设备作为访问设备，并将数据访问请求分配给访问设备。其中，访问请求包括，数据访问请求可以是数据写入请求、数据读取请求以及其它的请求。
根据本实施提供的基于多个存储设备的数据访问方法，通过分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值；当接收到数据访问请求时，根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率；然后根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将数据访问请求分配给访问设备。根据该方法，能够结合各个存储设备的剩余存储空间、剩余存储空间与总存储空间之间的比值以及设备使用率等多维度的存储设备的属性信息来计算各个存储设备的设备访问率，从而能够结合多种因素将访问请求随机地分配给各个存储设备中访问概率最大的存储设备，进而首先保证了各个存储设备I/O负载均衡和剩余使用空间相对平均，其次在机器存储设备使用量都较高，当一个存储设备出现故障，用一个新的存储设备顶替出现故障的存储设备时，避免了将全部的最新的访问请求都集中在该新换上的存储设备上，并且还保证了该新换上的存储设备承受尽可能多的访问请求，且不至于将该存储设备的I/O负载打满，大大延长了其使用寿命，保证了服务器整体存储性能的持续发挥。
图3示出了本发明又一实施例提供的一种基于多个存储设备的数据访问装置的装置结构图。如图3所示，本装置包括：
设置模块301，适于分别获取各个存储设备的设备属性信息，根据设备属性信息为各个存储设备设置对应的设备权重值；
计算模块302，适于当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
分配模块303，适于根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
在另一个实施例中，其中，所述设备属性信息包括以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。
可选地，其中，所述设备使用率包括：单位时间内的I/O使用率。
可选地，其中，所述设置模块301具体适于：
将设备属性信息设置为与剩余存储空间成正比的数值；和/或，将设备属性信息设置为与设备使用率成反比的数值。
可选地，其中，所述计算设备302具体适于：
根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
可选地，其中，所述设置模块301具体适于：
每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息；和/或，
当检测到因故障而更换的存储设备时，获取所述因故障而更换的存储设备的设备属性信息。
可选地，其中，所述设置模块301进一步适于：
针对所述因故障而更换的存储设备进行数据恢复操作；则所述获取模块进一步适于：
在针对所述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次所述因故障而更换的存储设备的设备属性信息。
可选地，其中，所述分配模块303具体适于：
将随机访问概率最大的存储设备选择为访问设备。
可选地，其中，所述多个存储设备包括：多个分布式的存储设备、多个互为备份的存储设备。
可选地，其中，数据访问请求包括：数据写入请求和/或数据读取请求；所述存储设备包括：磁盘。
上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。
本申请实施例提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于多个存储设备的数据访问方法。
图4示出了根据本发明实施例的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述基于多个存储设备的数据访问方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述设备属性信息包括以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述设备使用率包括：单位时间内的I/O使用率。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，根据所述设备属性信息为各个存储设备设置对应的设备权重值的步骤具体包括：
将所述设备权重值设置为与剩余存储空间成正比的数值；和/或，将所述设备权重值设置为与设备使用率成反比的数值。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率的步骤具体包括：
根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述分别获取各个存储设备的设备属性信息的步骤具体包括：
每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息；和/或，
当检测到因故障而更换的存储设备时，获取所述因故障而更换的存储设备的设备属性信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述检测到因故障而更换的存储设备的步骤之后，进一步包括：
针对所述因故障而更换的存储设备进行数据恢复操作；则所述分别获取各个存储设备的设备属性信息的步骤进一步包括：
在针对所述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次所述因故障而更换的存储设备的设备属性信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备的步骤具体包括：
将随机访问概率最大的存储设备选择为访问设备。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述多个存储设备包括：多个分布式的存储设备、多个互为备份的存储设备。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，数据访问请求包括：数据写入请求和/或数据读取请求；所述存储设备包括：磁盘。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于多个存储设备的数据访问装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明还公开了：A1.一种基于多个存储设备的数据访问方法，包括：
分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
A2.根据A1所述的方法，其中，所述设备属性信息包括以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。
A3.根据A2所述的方法，其中，所述设备使用率包括：单位时间内的I/O使用率。
A4.根据A2或A3所述的方法，其中，根据所述设备属性信息为各个存储设备设置对应的设备权重值的步骤具体包括：
将所述设备权重值设置为与剩余存储空间成正比的数值；和/或，将所述设备权重值设置为与设备使用率成反比的数值。
A5.根据A1-A4任一所述的方法，其中，所述根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率的步骤具体包括：
根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
A6.根据A1-A5任一所述的方法，其中，所述分别获取各个存储设备的设备属性信息的步骤具体包括：
每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息；和/或，
当检测到因故障而更换的存储设备时，获取所述因故障而更换的存储设备的设备属性信息。
A7.根据A6所述的方法，其中，所述检测到因故障而更换的存储设备的步骤之后，进一步包括：
针对所述因故障而更换的存储设备进行数据恢复操作；则所述分别获取各个存储设备的设备属性信息的步骤进一步包括：
在针对所述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次所述因故障而更换的存储设备的设备属性信息。
A8.根据A1-A7任一所述的方法，其中，所述根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备的步骤具体包括：
将随机访问概率最大的存储设备选择为访问设备。
A9.根据A1-A8任一所述的方法，其中，所述多个存储设备包括：多个分布式的存储设备、多个互为备份的存储设备。
A10.根据A1-A9任一所述的方法，其中，数据访问请求包括：数据写入请求和/或数据读取请求；所述存储设备包括：磁盘。
B11.一种基于多个存储设备的数据访问装置，包括：
设置模块，适于分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
计算模块，适于当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
分配模块，适于根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
B12.根据B11所述的装置，其中，所述设备属性信息包括以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。
B13.根据B12所述的装置，其中，所述设备使用率包括：单位时间内的I/O使用率。
B14.根据B12或B13所述的装置，其中，所述设置模块具体适于：
将设备属性信息设置为与剩余存储空间成正比的数值；和/或，将设备属性信息设置为与设备使用率成反比的数值。
B15.根据B11-B14任一所述的装置，其中，所述计算设备具体适于：
根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
B16.根据B11-B15任一所述的装置，其中，所述设置模块具体适于：
每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息；和/或，
当检测到因故障而更换的存储设备时，获取所述因故障而更换的存储设备的设备属性信息。
B17.根据B16所述的装置，其中，所述设置模块进一步适于：
针对所述因故障而更换的存储设备进行数据恢复操作；则所述获取模块进一步适于：
在针对所述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次所述因故障而更换的存储设备的设备属性信息。
B18.根据B11-B17任一所述的装置，其中，所述分配模块具体适于：
将随机访问概率最大的存储设备选择为访问设备。
B19.根据B11-B18任一所述的装置，其中，所述多个存储设备包括：多个分布式的存储设备、多个互为备份的存储设备。
B20.根据B11-B19任一所述的装置，其中，数据访问请求包括：数据写入请求和/或数据读取请求；所述存储设备包括：磁盘。
C21.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A10中任一项所述的基于多个存储设备的数据访问方法对应的操作。
D22.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A10中任一项所述的基于多个存储设备的数据访问方法对应的操作。
Claims (10)
1.一种基于多个存储设备的数据访问方法，包括：
分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
2.根据权利要求1所述的方法，其中，所述设备属性信息包括以下中的至少一个：剩余存储空间、剩余存储空间与总存储空间之间的比值、以及设备使用率。
3.根据权利要求2所述的方法，其中，所述设备使用率包括：单位时间内的I/O使用率。
4.根据权利要求2或3所述的方法，其中，根据所述设备属性信息为各个存储设备设置对应的设备权重值的步骤具体包括：
将所述设备权重值设置为与剩余存储空间成正比的数值；和/或，将所述设备权重值设置为与设备使用率成反比的数值。
5.根据权利要求1-4任一所述的方法，其中，所述根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率的步骤具体包括：
根据各个存储设备对应的设备权重值，通过带权重的随机算法，确定各个设备的随机访问概率。
6.根据权利要求1-5任一所述的方法，其中，所述分别获取各个存储设备的设备属性信息的步骤具体包括：
每隔第一预设时间间隔，获取一次各个存储设备的设备属性信息；和/或，
当检测到因故障而更换的存储设备时，获取所述因故障而更换的存储设备的设备属性信息。
7.根据权利要求6所述的方法，其中，所述检测到因故障而更换的存储设备的步骤之后，进一步包括：
针对所述因故障而更换的存储设备进行数据恢复操作；则所述分别获取各个存储设备的设备属性信息的步骤进一步包括：
在针对所述因故障而更换的存储设备进行数据恢复操作的过程中，每隔第二预设时间间隔，获取一次所述因故障而更换的存储设备的设备属性信息。
8.一种基于多个存储设备的数据访问装置，包括：
设置模块，适于分别获取各个存储设备的设备属性信息，根据所述设备属性信息为各个存储设备设置对应的设备权重值；
计算模块，适于当接收到数据访问请求时，根据各个存储设备对应的设备权重值，计算各个存储设备的随机访问概率；其中，各个设备的随机访问概率与该设备对应的设备权重值相关；
分配模块，适于根据计算得到的各个存储设备的随机访问概率，选择一个存储设备作为访问设备，将所述数据访问请求分配给所述访问设备。
9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于多个存储设备的数据访问方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于多个存储设备的数据访问方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711474677.9A CN108196791A (zh) | 2017-12-29 | 2017-12-29 | 基于多个存储设备的数据访问方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711474677.9A CN108196791A (zh) | 2017-12-29 | 2017-12-29 | 基于多个存储设备的数据访问方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108196791A true CN108196791A (zh) | 2018-06-22 |
Family
ID=62586043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711474677.9A Pending CN108196791A (zh) | 2017-12-29 | 2017-12-29 | 基于多个存储设备的数据访问方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108196791A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108900626A (zh) * | 2018-07-18 | 2018-11-27 | 中国联合网络通信集团有限公司 | 一种云环境下数据存储方法、装置及系统 |
| CN109542352A (zh) * | 2018-11-22 | 2019-03-29 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599978A (zh) * | 2009-07-17 | 2009-12-09 | 杭州华三通信技术有限公司 | 资源分配方法和设备 |
| CN102148871A (zh) * | 2011-03-18 | 2011-08-10 | 浪潮(北京)电子信息产业有限公司 | 存储资源调度方法和装置 |
| CN102566942A (zh) * | 2011-12-28 | 2012-07-11 | 华为技术有限公司 | 一种文件条带化写入方法、装置及系统 |
| CN103250143A (zh) * | 2012-12-28 | 2013-08-14 | 华为技术有限公司 | 数据存储方法和存储设备 |
| CN104202434A (zh) * | 2014-09-28 | 2014-12-10 | 北京奇虎科技有限公司 | 节点访问方法和装置 |
| US20160306554A1 (en) * | 2015-04-17 | 2016-10-20 | Emc Corporation | Data storage management |
| CN107179946A (zh) * | 2017-04-24 | 2017-09-19 | 合肥赛猊腾龙信息技术有限公司 | 一种写操作负载均衡系统的多节点调度方法 |
-
2017
- 2017-12-29 CN CN201711474677.9A patent/CN108196791A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599978A (zh) * | 2009-07-17 | 2009-12-09 | 杭州华三通信技术有限公司 | 资源分配方法和设备 |
| CN102148871A (zh) * | 2011-03-18 | 2011-08-10 | 浪潮(北京)电子信息产业有限公司 | 存储资源调度方法和装置 |
| CN102566942A (zh) * | 2011-12-28 | 2012-07-11 | 华为技术有限公司 | 一种文件条带化写入方法、装置及系统 |
| CN103250143A (zh) * | 2012-12-28 | 2013-08-14 | 华为技术有限公司 | 数据存储方法和存储设备 |
| CN103250143B (zh) * | 2012-12-28 | 2015-03-11 | 华为技术有限公司 | 数据存储方法和存储设备 |
| CN104202434A (zh) * | 2014-09-28 | 2014-12-10 | 北京奇虎科技有限公司 | 节点访问方法和装置 |
| US20160306554A1 (en) * | 2015-04-17 | 2016-10-20 | Emc Corporation | Data storage management |
| CN107179946A (zh) * | 2017-04-24 | 2017-09-19 | 合肥赛猊腾龙信息技术有限公司 | 一种写操作负载均衡系统的多节点调度方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108900626A (zh) * | 2018-07-18 | 2018-11-27 | 中国联合网络通信集团有限公司 | 一种云环境下数据存储方法、装置及系统 |
| CN108900626B (zh) * | 2018-07-18 | 2021-11-19 | 中国联合网络通信集团有限公司 | 一种云环境下数据存储方法、装置及系统 |
| CN109542352A (zh) * | 2018-11-22 | 2019-03-29 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
| US11314451B2 (en) | 2018-11-22 | 2022-04-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for storing data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103473365B (zh) | 一种基于hdfs的文件存储方法、装置及分布式文件系统 | |
| EP2710470B1 (en) | Extensible centralized dynamic resource distribution in a clustered data grid | |
| CN108463988A (zh) | 负载均衡的网络文件访问 | |
| CN102457571B (zh) | 一种云存储中数据均衡分布方法 | |
| CN110249310A (zh) | 云计算系统中的用于虚拟机的资源管理 | |
| CN107924351A (zh) | 分布式纠删编码虚拟文件系统 | |
| CN108351806A (zh) | 分布式基于流的数据库触发器 | |
| JP6730522B2 (ja) | ストレージシステム内に入力／出力帯域を割り当てるシステムと方法 | |
| CN107368260A (zh) | 基于分布式系统的存储空间整理方法、装置及系统 | |
| CN108090225A (zh) | 数据库实例的运行方法、装置、系统及计算机可读存储介质 | |
| US9015169B2 (en) | Tenant placement in multitenant cloud databases with data sharing | |
| CN104991791A (zh) | 一种文件的增量升级发布方法和装置 | |
| CN107493314A (zh) | 基于多租户的服务提供系统及方法 | |
| CN109587220A (zh) | 负载均衡方法、装置、计算机设备和存储介质 | |
| CN106201561B (zh) | 分布式缓存集群的升级方法与设备 | |
| CN108255628A (zh) | 一种数据处理方法及装置 | |
| CN107729514A (zh) | 一种基于hadoop的副本放置节点确定方法及装置 | |
| CN108376103A (zh) | 一种云平台的资源平衡控制方法及服务器 | |
| CN109521943A (zh) | 云数据库实例的分配方法及相关产品 | |
| CN108196791A (zh) | 基于多个存储设备的数据访问方法及装置 | |
| CN107357640A (zh) | 多线程数据库的请求处理方法及装置、电子设备 | |
| CN109634714A (zh) | 一种智能调度的方法及装置 | |
| CN108958973A (zh) | 分布式文件系统纠删码数据重构存储节点选择方法及装置 | |
| CN106161516A (zh) | 用于存储数据的方法、装置以及系统 | |
| CN108268316A (zh) | 作业调度的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180622 |
|
| RJ01 | Rejection of invention patent application after publication |