CN110764909A - 一种用于云计算平台的存储设备的负载均衡的方法和系统 - Google Patents
一种用于云计算平台的存储设备的负载均衡的方法和系统 Download PDFInfo
- Publication number
- CN110764909A CN110764909A CN201911005028.3A CN201911005028A CN110764909A CN 110764909 A CN110764909 A CN 110764909A CN 201911005028 A CN201911005028 A CN 201911005028A CN 110764909 A CN110764909 A CN 110764909A
- Authority
- CN
- China
- Prior art keywords
- storage
- cloud hard
- hard disk
- storage device
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000005012 migration Effects 0.000 claims abstract description 25
- 238000013508 migration Methods 0.000 claims abstract description 25
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分配用于云计算平台的存储设备的存储负载的方法,包括:独立于所述云计算平台中的虚拟机、以预定时间间隔直接在所述存储设备中采集所述存储设备的存储负载和所述存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;基于第一确定规则确定所述云硬盘中的流量较高的至少一个云硬盘,并且基于第二确定规则确定所述存储设备中的存储负载较低的至少一个存储设备;和基于预定迁移规则将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内。
Description
技术领域
本发明涉及云计算领域,尤其涉及一种用于云计算平台的存储设备的负载均衡的方法和系统。
背景技术
目前,云计算技术已经成为行业主流的技术。在虚拟化存储设备的环境下,在例如利用OPENSTACK搭建的云计算平台中的单个站点或集群能够包含的虚拟机的数量可以达到数十万台。在集中式存储的架构下,站点或集群中的虚拟机以及虚拟机IO往往只对应到设置在不同物理机内的数百套存储设备上。
在现有技术中,在发现站点的异常(例如虚拟机响应过慢)时,需要在虚拟机的操作系统中进行如下操作:提取并分析虚拟机的流量、再提取并排查在虚拟机所位于的物理机的流量、最后通过人工方式查询到与虚拟机对应的存储设备的流量。根据步骤来判断是虚拟机本身出现异常,还是物理机上的多台虚拟机互相影响,抑或是存储设备的负载过大。当找到到的原因是存储设备的负载过大而导致的异常时,则分析站点或集群内的虚拟机的负载情况,调整虚拟机IO的发起时间或者将某些虚拟机迁移至其他站点或集群中。
现有的处理异常的方式存在如下缺陷:(1)难以确认是否是由于存储设备的存储负载过大而导致的变慢。这需要耗费大量人力从系统、网络、存储设备等方面排查。(2)从虚拟机的操作系统获得的存储设备的存储负载不准确。例如,造成从操作系统中依靠某些命令所得到的存储设备的存储负载很高的一种原因是虚拟机和物理机之间的数据传输通道出现了堵塞,这种问题的解决方案是修复操作系统,而与调整存储设备的存储负载无关。另一种原因是云计算平台的网络出现问题,该问题的解决方案是修复网络,这也与调整存储设备的存储负载无关。(3)存储设备的流量与云计算平台管理的云硬盘信息缺乏对应关系,不利于后续对整个系统的存储负载的分析。
发明内容
为有效解决相关技术问题,本发明的一个方面提供了一种分配用于云计算平台的存储设备的存储负载的方法,包括:独立于所述云计算平台中的虚拟机、以预定时间间隔直接在所述存储设备中采集所述存储设备的存储负载和所述存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;基于第一确定规则确定所述云硬盘中的流量较高的至少一个云硬盘,并且基于第二确定规则确定所述存储设备中的存储负载较低的至少一个存储设备;以及基于预定迁移规则将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内。
本发明的另一个方面还提供了一种分配用于云计算平台的存储设备的存储负载的系统,包括:数据采集模块,其独立于所述云计算平台中的虚拟机、以预定时间间隔直接在所述存储设备中采集所述存储设备的存储负载和所述存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;数据分析模块,其基于第一确定规则确定所述云硬盘中的流量较高的至少一个云硬盘,基于第二确定规则确定所述存储设备中的存储负载较低的至少一个存储设备,并且制定预定迁移规则;以及指令执行模块,其基于所述预定迁移规则将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内。
本发明的又一个方面提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令被计算机执行时能够执行根据本发明的实施例所述的方法。
本发明的实施例能够节省用于排查异常的人力,准确地识别存储设备的存储负载,并且存储关于存储负载的历史数据,便于后续的存储负载分析。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了根据本发明实施例的用于云计算平台的存储设备的负载均衡的系统示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本领域中,存储设备的存储负载是个动态的参数,它会随着虚拟机的业务类型、数量、批量任务发起时间发生变化,所以需要大量的存储设备的性能数据作为支撑才能构建出完整的负载模型,从而得出存储设备的存储负载。在本文中,性能数据指流量,流量通常由IOPS(存储设备在一秒钟内收到和发出的包的数量)和BPS(存储设备在一秒内收到和发出的网络流量)表示。
下面结合附图对本发明的具体实施方式进行详细描述。
图1示出了根据本发明实施例的用于云计算平台的存储设备的负载均衡的系统示意图。
该系统共有三层,分别为数据提供层,数据加工层,数据使用层。数据提供层提供存储设备的性能数据。数据加工层分为数据采集模块和数据加工模块,并且与云计算平台对接。数据使用层分为数据存储模块、数据展示模块、数据分析模块和指令执行模块。下面将分别描述系统中的各个模块。
存储设备可以存储虚拟机的云硬盘。在本发明的一些实施例中,一个存储设备可以存储属于多个虚拟机的多个云硬盘。每个云硬盘的性能数据可以被下面将要描述的数据采集模块读取。在一些实施例中,在存储设备上的每个云硬盘的性能数据和/或名称可以存储在该存储设备上,也可以被下面将要描述的数据采集模块实时读取而不存储在该存储设备上。在一些实施例中,在存储设备上存储的每个云硬盘的性能数据和/或名称能够以文件的形式(或任何其他可能的形式)进行存储。
数据采集模块可以采集系统中的每个存储设备上的每个云硬盘的性能数据和每个存储设备的存储负载。与现有技术不同的是,数据采集模块可以独立于云计算平台中的虚拟机进行设置(例如单独地设置在云计算平台之外并与其可通信的物理机或服务器内),并且不通过虚拟机的操作系统直接在每个存储设备中采集每个云硬盘的性能数据和每个存储设备的存储负载,这使得所采集的信息及时且准确,不会受到例如虚拟机的操作系统或虚拟化网络中所存在问题的影响。
在本发明的一些实施例中,数据采集模块可以基于特定指令以预定时间间隔(例如,每分钟、每十分钟等)采集每个云硬盘的性能数据(例如,IOPS和BPS)和每个存储设备的存储负载。在本发明的一些实施例中,一个云硬盘在虚拟机中和存储设备中的名称是不同的。云硬盘在存储设备上的名称由一系列符号体现,例如为“abcdefg”。在本发明的一些实施例中,数据采集模块可以通过远程调用的方式对存储设备执行一些命令,从而获取到云硬盘在存储设备中的名称以及该云硬盘的IOPS和BPS(例如,名称为abcdefg,并且IOPS=100BPS=100),并且获取存储设备的存储负载(例如,存储负载为10%、50%等)。随后,数据采集模块可以将采集到的各种数据发送到数据加工模块。
数据加工模块可以接收数据采集模块发送的各种数据,也可以接收云计算平台提供的所有云硬盘的云硬盘信息,并对接收到的数据进行加工。云硬盘信息可以指在虚拟机的操作系统中示出的某个虚拟机的名称和该虚拟机的某个云硬盘的名称,例如1号虚拟机的C盘。在本发明的一些实施例中,数据加工模块可以和数据采集模块设置在同一台物理机或服务器内。
在本发明的一些实施例中,如果1号虚拟机的C盘指的正是存储设备中的云硬盘“abcdefg”,则数据加工模块可以根据一些关联规则而将C盘、“abcdefg”和“abcdefg”在某时刻的性能数据关联到一起并发送到数据存储模块。在本发明的另一些实施例中,数据加工模块可以包含一张表格(即,表格是关联规则的一种体现形式),该表格包括三个字段,分别记录虚拟机的名称、虚拟机的云硬盘的名称和云硬盘在存储设备上的名称(比如,yeweiping、C盘和sdfdfdas)。通过将这三个字段与某时刻的性能数据关联后,可以生成一张包含四个字段的表格(例如,yeweiping、C盘、sdfdfdas、IOPS=100和BPS=100)。还可以根据预定时间间隔生成包含五个字段的表格。例如,在每30秒生成一次表格的情况下,某时刻在表格中生成的一行数据可以是:10:00:00、yeweiping、C盘、sdfdfdas、IOPS=100和BPS=100,那么30秒就后的下一行数据可以是:10:00:30、yeweiping、C盘、sdfdfdas、IOPS=110和BPS=110,以此类推。如果一个集群包含一万个云硬盘,则每30秒生成一万行数据。在一些实施例中,上述的表述“10:00:00”和“10:00:30”可以指时间戳。
数据存储模块负责存储所接收到的所有云硬盘的信息(包括云硬盘在虚拟机和存储设备中的名称和在某时刻的性能数据),并且可以根据需要将该信息发送至数据展示模块和数据分析模块。数据存储模块还可以存储一段时间(例如,几分钟、几个小时、几天、几周或几个月)内的该信息,并将其作为历史数据以供后续的查询。
数据展示模块可以将接收到的所有云硬盘的信息在显示设备中的显示界面上进行展示。在本发明的一些实施例中,数据展示模块可以通过WEB方式展示该信息,使得云计算平台的管理员可以在显示设备中通过浏览器了解该信息。在本发明的一些实施例中,数据展示模块可以在云硬盘被迁移之后展示接收到的所有云硬盘的信息。
数据分析模块可以根据接收到的所有云硬盘的信息制定云硬盘的迁移策略。在本发明的一些实施例中,数据分析模块首先检索在一段时间内(例如,连续数小时)按照IOPS/BPS的大小将所有云硬盘进行排序,然后可以将IOPS/BPS的大小超过一定阈值(例如IOPS超过15000和/或BPS超过30MB/s)的云硬盘(或者IOPS/BPS的大小位于所有云硬盘中的前10%或前十的云硬盘)确定为流量较高的云硬盘。
数据分析模块还需要对所有存储设备的存储负载进行排序,并确定低于整个站点或集群中存储负载较低的存储设备。在本发明的一些实施例中,存储负载较低的存储设备可以是存储负载低于平均水平的存储设备。例如,在具有两个存储设备的站点中,第一个存储设备的存储负载为80%,第二个存储设备的存储负载为10%,那么平均存储负载为45%并且存储负载低于平均水平的存储设备是第二个存储设备。数据分析模块还可以依据其他方式确定存储负载较低的存储设备,例如,可以将存储负载低于30%或存储负载最低的10%或存储负载最低的十个存储设备视为存储负载较低的存储设备。
数据分析模块可以基于确定的流量较高的云硬盘和存储负载较低的存储设备制定云硬盘的迁移策略。在本发明的一些实施例中,可以立即将流量较高的云硬盘迁移到存储负载较低的存储设备上。在本发明的另一些实施例中,还可以在最佳时间窗口内将流量较高的云硬盘迁移到存储负载较低的存储设备上,例如最佳时间窗口可以是系统不繁忙的时间段,例如晚上12时至清晨5时。最佳时间窗口需要通过数据存储模块内的历史数据来确定。在本发明的其他实施例中,一流量较高的云硬盘可能恰好位于一存储负载较低的存储设备中,在这种情况下不迁移该流量较高的云硬盘,这是因为云硬盘虽然流量较高,但是存储设备的存储负载较低(即存储设备中的其他云硬盘较空闲),不会影响存储设备的读写速度(即不会影响系统响应速度)。此时,需要将存储负载较低的存储设备中的流量较高的云硬盘排除在待被迁移的云硬盘之外。
在制定完成迁移策略后,数据分析模块可以将迁移策略发送至指令执行模块。
指令执行模块在接收到迁移策略后,会向存储设备发出云硬盘迁移指令,并向云计算平台发送云硬盘重定向指令。在本发明的一些实施例中,云硬盘迁移指令可以表示将第一存储设备上的云硬盘“C盘”迁移到第二存储设备上,云硬盘重定向指令可以表示该云硬盘“C盘”在虚拟机中的名称保持不变,在存储设备上的名称从“abcdefg”变为“hijklmn”(即云硬盘在存储设备的实际存储位置发生了变化)。在本发明的一些实施例中,所述迁移操作可以指复制操作,也可以指在本领域中更为复杂的操作。
本发明提出了一种分配存储设备的负载的方法。该方法包括以下步骤:独立于云计算平台中的虚拟机、以预定时间间隔直接在多个存储设备中采集存储设备的存储负载和存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;基于第一确定规则确定云硬盘中的流量较高的云硬盘,并且基于第二确定规则确定存储设备中的存储负载较低的存储设备;并且基于预定迁移规则将流量较高的云硬盘迁移到存储负载较低的存储设备内。
云硬盘的名称可以为云硬盘在存储设备上的名称云硬盘的流量可以为IOPS和BPS中的至少一个。
第一确定规则可以为以下规则中的一种:(a)将具有超过平均流量的或超过预定流量阈值的云硬盘确定为流量较高的至少一个云硬盘;(b)将具有超过预定流量阈值的云硬盘确定为流量较高的至少一个云硬盘;(c)按照流量的大小将云硬盘排序,将云硬盘的流量按照由大至小的顺序、占据云硬盘中的预定百分比的云硬盘确定为流量较高的至少一个云硬盘;(d)按照流量的大小将云硬盘排序,将云硬盘的流量按照由大至小的顺序、占据云硬盘中的预定数目的云硬盘确定为流量较高的至少一个云硬盘。
第二确定规则可以为以下规则中的一种:(a)将具有低于平均存储负载的存储设备确定为存储负载较低的至少一个存储设备;(b)将具有低于预定存储负载阈值的存储设备确定为存储负载较低的至少一个存储设备;(c)按照存储负载的大小将存储设备排序,将存储设备的存储负载按照由小至大的顺序、占据存储设备中的预定百分比内的存储设备确定为存储负载较低的至少一个存储设备;(d)按照存储负载的大小将存储设备排序,将两个存储设备的存储负载按照由小至大的顺序、占据存储设备中的预定数目的存储设备确定为存储负载较低的至少一个存储设备。
预定迁移规则可以为判断流量较高的至少一个云硬盘是否在存储负载较低的至少一个存储设备上,如果是,则不迁移流量较高的至少一个云硬盘。
该方法还包括存储在预定时间段内的存储设备的存储负载和云硬盘的流量以作为历史数据。预定迁移规则还可以为在预定时间窗口内将流量较高的至少一个云硬盘迁移到存储负载较低的至少一个存储设备内,预定时间窗口可以基于所述历史数据来确定。
该方法还包括展示在所述迁移操作之前和之后的存储设备的存储负载和存储设备上的云硬盘的流量。
该方法还包括获取云硬盘信息关联规则,根据云硬盘信息关联规则将云硬盘的流量、云硬盘在存储设备上的名称与多个云硬盘的云硬盘信息关联并存储,或将云硬盘的流量、云硬盘在存储设备上的名称、云硬盘的云硬盘信息和时间信息关联并存储。
本发明的另一个方面是一种计算机可读介质,其上存储有计算机可读指令,所述指令被执行时可实施本发明各实施例的方法。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在用户计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
应当注意,尽管在上文详细描述中提及了用于软件测试的若干装置及子装置,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之,上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (19)
1.一种分配用于云计算平台的存储设备的存储负载的方法,包括:
独立于所述云计算平台中的虚拟机、以预定时间间隔直接在所述存储设备中采集所述存储设备的存储负载和所述存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;
基于第一确定规则确定所述云硬盘中的流量较高的至少一个云硬盘,并且基于第二确定规则确定所述存储设备中的存储负载较低的至少一个存储设备;和
基于预定迁移规则将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内。
2.根据权利要求1所述的方法,其中所述云硬盘的流量为IOPS和BPS中的至少一个。
3.根据权利要求1所述的方法,其中所述第一确定规则为以下规则中的一种:
(a)将具有超过平均流量的或超过预定流量阈值的云硬盘确定为所述流量较高的至少一个云硬盘;
(b)将具有超过预定流量阈值的云硬盘确定为所述流量较高的至少一个云硬盘;
(c)按照流量的大小将所述云硬盘排序,将所述云硬盘的流量按照由大至小的顺序、占据所述云硬盘中的预定百分比的云硬盘确定为所述流量较高的至少一个云硬盘;
(d)按照流量的大小将所述云硬盘排序,将所述云硬盘的流量按照由大至小的顺序、占据所述云硬盘中的预定数目的云硬盘确定为所述流量较高的至少一个云硬盘。
4.根据权利要求1所述的方法,其中所述第二确定规则为以下规则中的一种:
(a)将具有低于平均存储负载的存储设备确定为所述存储负载较低的至少一个存储设备;
(b)将具有低于预定存储负载阈值的存储设备确定为所述存储负载较低的至少一个存储设备;
(c)按照存储负载的大小将所述存储设备排序,将所述存储设备的存储负载按照由小至大的顺序、占据所述存储设备中的预定百分比内的存储设备确定为所述存储负载较低的至少一个存储设备;
(d)按照存储负载的大小将所述存储设备排序,将所述存储设备的存储负载按照由小至大的顺序、占据所述存储设备中的预定数目的存储设备确定为所述存储负载较低的至少一个存储设备。
5.根据权利要求1所述的方法,其中所述预定迁移规则为判断所述流量较高的至少一个云硬盘是否在所述存储负载较低的至少一个存储设备上,如果是,则不迁移所述流量较高的至少一个云硬盘。
6.根据权利要求1所述的方法,还包括存储在预定时间段内的所述存储设备的存储负载和所述云硬盘的流量以作为历史数据。
7.根据权利要求6所述的方法,其中所述预定迁移规则为在预定时间窗口内将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内,所述预定时间窗口基于所述历史数据来确定。
8.根据权利要求1所述的方法,还包括展示在所述迁移操作之前和之后的所述存储设备的存储负载和所述存储设备上的云硬盘的流量。
9.根据权利要求1所述的方法,还包括:
(1)获取云硬盘信息关联规则;和
(2)根据所述云硬盘信息关联规则将所述存储设备上的所述云硬盘的流量及名称与所述云硬盘的云硬盘信息关联,并且存储关联后的所述存储设备上的所述云硬盘的流量及名称与所述云硬盘信息,或
根据所述云硬盘信息关联规则将所述存储设备上的所述云硬盘的流量及名称、所述云硬盘信息、以及时间信息关联,并且存储关联后的所述存储设备上的所述云硬盘的流量及名称、所述云硬盘信息、以及所述时间信息。
10.一种分配用于云计算平台的存储设备的存储负载的系统,包括:
数据采集模块,其独立于所述云计算平台中的虚拟机、以预定时间间隔直接在所述存储设备中采集所述存储设备的存储负载和所述存储设备上的云硬盘的流量及名称,所述云硬盘至少为两个,所述存储设备至少为两个;
数据分析模块,其基于第一确定规则确定所述云硬盘中的流量较高的至少一个云硬盘,基于第二确定规则确定所述存储设备中的存储负载较低的至少一个存储设备,并且制定预定迁移规则;和
指令执行模块,其基于所述预定迁移规则将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内。
11.根据权利要求10所述的系统,其中所述第一确定规则为以下规则中的一种:
(a)将具有超过平均流量的或超过预定流量阈值的云硬盘确定为所述流量较高的至少一个云硬盘;
(b)将具有超过预定流量阈值的云硬盘确定为所述流量较高的至少一个云硬盘;
(c)按照流量的大小将所述云硬盘排序,将所述云硬盘的流量按照由大至小的顺序、占据所述云硬盘中的预定百分比的云硬盘确定为所述流量较高的至少一个云硬盘;
(d)按照流量的大小将所述云硬盘排序,将所述云硬盘的流量按照由大至小的顺序、占据所述云硬盘中的预定数目的云硬盘确定为所述流量较高的至少一个云硬盘。
12.根据权利要求10所述的系统,其中所述第二确定规则为以下规则中的一种:
(a)将具有低于平均存储负载的存储设备确定为所述存储负载较低的至少一个存储设备;
(b)将具有低于预定存储负载阈值的存储设备确定为所述存储负载较低的至少一个存储设备;
(c)按照存储负载的大小将所述存储设备排序,将所述存储设备的存储负载按照由小至大的顺序、占据所述存储设备中的预定百分比内的存储设备确定为所述存储负载较低的至少一个存储设备;
(d)按照存储负载的大小将所述存储设备排序,将所述存储设备的存储负载按照由小至大的顺序、占据所述存储设备中的预定数目的存储设备确定为所述存储负载较低的至少一个存储设备。
13.根据权利要求10所述的系统,其中所述预定迁移规则为判断所述流量较高的至少一个云硬盘是否在所述存储负载较低的至少一个存储设备上,如果是,则不迁移所述流量较高的至少一个云硬盘。
14.根据权利要求10所述的系统,还包括:
数据存储模块,其存储在预定时间段内的所述存储设备的存储负载和所述云硬盘的流量以作为历史数据。
15.根据权利要求14所述的系统,其中所述预定迁移规则为在预定时间窗口内将所述流量较高的至少一个云硬盘迁移到所述存储负载较低的至少一个存储设备内,所述预定时间窗口基于所述历史数据来确定。
16.根据权利要求10所述的系统,还包括:
数据展示模块,其展示在所述迁移操作之前和之后的所述存储设备的存储负载和所述存储设备上的云硬盘的流量。
17.根据权利要求10所述的系统,还包括:
数据存储模块;和
数据加工模块,其获取云硬盘信息关联规则,并且根据所述云硬盘信息关联规则将所述存储设备上的所述云硬盘的流量及名称与所述云硬盘的云硬盘信息关联,并将关联后的所述存储设备上的所述云硬盘的流量及名称与所述云硬盘信息存储在所述数据存储模块中,或
根据所述云硬盘信息关联规则将所述存储设备上的所述云硬盘的流量及名称、所述云硬盘信息、以及时间信息关联,并将关联后的所述存储设备上的所述云硬盘的流量及名称、所述云硬盘信息、以及所述时间信息存储在所述数据存储模块中。
18.根据权利要求10所述的系统,其中所述云硬盘的流量为IOPS和BPS中的至少一个。
19.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令被计算机执行时能够执行如权利要求1-9中任意之一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911005028.3A CN110764909B (zh) | 2019-10-22 | 2019-10-22 | 一种用于云计算平台的存储设备的负载均衡的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911005028.3A CN110764909B (zh) | 2019-10-22 | 2019-10-22 | 一种用于云计算平台的存储设备的负载均衡的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110764909A true CN110764909A (zh) | 2020-02-07 |
CN110764909B CN110764909B (zh) | 2023-11-17 |
Family
ID=69331448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911005028.3A Active CN110764909B (zh) | 2019-10-22 | 2019-10-22 | 一种用于云计算平台的存储设备的负载均衡的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110764909B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084173A (zh) * | 2020-08-31 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 数据迁移方法和装置及存储介质 |
CN112118314A (zh) * | 2020-09-18 | 2020-12-22 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7203944B1 (en) * | 2003-07-09 | 2007-04-10 | Veritas Operating Corporation | Migrating virtual machines among computer systems to balance load caused by virtual machines |
CN106227578A (zh) * | 2016-07-12 | 2016-12-14 | 腾讯科技(深圳)有限公司 | 一种虚拟机热迁移的方法、设备及系统 |
CN108268211A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种数据处理方法及装置 |
CN110196752A (zh) * | 2018-06-07 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及存储介质 |
-
2019
- 2019-10-22 CN CN201911005028.3A patent/CN110764909B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7203944B1 (en) * | 2003-07-09 | 2007-04-10 | Veritas Operating Corporation | Migrating virtual machines among computer systems to balance load caused by virtual machines |
CN106227578A (zh) * | 2016-07-12 | 2016-12-14 | 腾讯科技(深圳)有限公司 | 一种虚拟机热迁移的方法、设备及系统 |
CN108268211A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种数据处理方法及装置 |
CN110196752A (zh) * | 2018-06-07 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084173A (zh) * | 2020-08-31 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 数据迁移方法和装置及存储介质 |
CN112118314A (zh) * | 2020-09-18 | 2020-12-22 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
CN112118314B (zh) * | 2020-09-18 | 2023-05-05 | 北京百度网讯科技有限公司 | 负载均衡方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110764909B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111124850A (zh) | Mqtt服务器性能测试方法、系统、计算机设备及存储介质 | |
US7441244B2 (en) | Workload scheduler with cumulative weighting indexes | |
US7664986B2 (en) | System and method for determining fault isolation in an enterprise computing system | |
WO2013140608A1 (ja) | イベントの根本原因の解析を支援する方法及びシステム | |
US20150019195A1 (en) | Consolidation planning services for systems migration | |
US8112657B2 (en) | Method, computer, and computer program product for hardware mapping | |
US10970198B2 (en) | Automatic test system and method thereof | |
CN107066370A (zh) | 一种自动监控并收集故障硬盘日志的工具及方法 | |
CN110764909B (zh) | 一种用于云计算平台的存储设备的负载均衡的方法和系统 | |
CN113946499A (zh) | 一种微服务链路跟踪及性能分析方法、系统、设备及应用 | |
US20140023185A1 (en) | Characterizing Time-Bounded Incident Management Systems | |
Gallaba et al. | Lessons from eight years of operational data from a continuous integration service: an exploratory case study of circleci | |
CN116719664B (zh) | 基于微服务部署的应用和云平台跨层故障分析方法及系统 | |
CN113656174A (zh) | 资源分配方法、系统、计算机设备和存储介质 | |
CN114511235A (zh) | 流程评估方法及系统 | |
CN108632086A (zh) | 一种并行作业运行故障定位方法 | |
CN105681070A (zh) | 一种自动收集计算机集群节点信息并分析的方法及系统 | |
CN110287110A (zh) | 应用程序的代码检测方法及装置 | |
CN112148616A (zh) | 一种性能测试管理平台 | |
Wong et al. | An approach towards developing an algorithm for software application error analysis | |
CN110267717B (zh) | 在多租户环境中按不同单独租户自动生成自动缩放呼叫规则的方法及装置 | |
CN114090382B (zh) | 超融合集群健康巡检方法和装置 | |
CN116069618A (zh) | 一种面向应用场景的国产化系统评估方法 | |
CN113900902A (zh) | 日志处理方法、装置、电子设备及存储介质 | |
CN111694752A (zh) | 应用测试方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |