CN109002263B - 存储容量的调整方法及装置 - Google Patents

存储容量的调整方法及装置 Download PDF

Info

Publication number
CN109002263B
CN109002263B CN201810802498.1A CN201810802498A CN109002263B CN 109002263 B CN109002263 B CN 109002263B CN 201810802498 A CN201810802498 A CN 201810802498A CN 109002263 B CN109002263 B CN 109002263B
Authority
CN
China
Prior art keywords
node device
directory
source node
data
target node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810802498.1A
Other languages
English (en)
Other versions
CN109002263A (zh
Inventor
邓启斌
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810802498.1A priority Critical patent/CN109002263B/zh
Publication of CN109002263A publication Critical patent/CN109002263A/zh
Application granted granted Critical
Publication of CN109002263B publication Critical patent/CN109002263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储容量的调整方法及装置,属于网络存储技术领域。所述方法包括:接收缩容指令,所述缩容指令携带源节点设备的网络协议IP地址;根据所述源节点设备的IP地址,调用所述源节点设备,确定所述源节点设备上待迁移数据的目录;确定所述目录对应的目标节点设备;控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备。本发明通过在接收到缩容指令时,自动确定源节点设备上需要迁移数据的目录以及可迁移到的目标节点设备,并控制源节点设备将目录中的数据迁移到目标节点设备,避免了需要人工手动操作进行缩容的问题,缩容过程所需耗费的时间较短,大大提高了存储容量的调整效率。

Description

存储容量的调整方法及装置
技术领域
本发明涉及网络存储技术领域,尤其涉及一种存储容量的调整方法及装置。
背景技术
随着互联网的发展,网络上提供的业务种类越来越多样化,产生的业务数据也越来越多。在分布式系统中,这些数据可以存储在本地磁盘中,但是在系统运营过程中,可能会产生对节点设备的存储容量进行调整的需求,如缩容的需求,缩容是指减少数据占用的存储容量,也称为存储缩容。
目前系统不支持自动缩容,如果要缩容某个节点设备,则需要运维人员手动操作来实现缩容,如运维人员借助相应工具,将该节点设备磁盘中的数据迁移到其他不需要缩容的节点设备。
上述方案需通过人工手动操作进行缩容,一旦面对节点设备数据量大的系统,缩容过程所需耗费的时间较长,使得存储容量的调整效率较低。
发明内容
本发明实施例提供了一种存储容量的调整方法及装置,可以解决相关技术调整效率较低的问题。所述技术方案如下:
一方面,提供了一种存储容量的调整方法,所述方法包括:
接收缩容指令,所述缩容指令携带源节点设备的网络协议IP地址;
根据所述源节点设备的IP地址,调用所述源节点设备,确定所述源节点设备上待迁移数据的目录;
确定所述目录对应的目标节点设备;
控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备。
一方面,提供了一种存储容量的调整装置,所述装置包括:
接收模块,用于接收缩容指令,所述缩容指令携带源节点设备的网络协议IP地址;
确定模块,用于根据所述源节点设备的IP地址,调用所述源节点设备,确定所述源节点设备上待迁移数据的目录;
所述确定模块还用于确定所述目录对应的目标节点设备;
控制模块,用于控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备。
一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述存储容量的调整方法所执行的操作。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述存储容量的调整方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括:
通过在接收到缩容指令时,自动确定源节点设备上需要迁移数据的目录以及可迁移到的目标节点设备,并控制源节点设备将目录中的数据迁移到目标节点设备,避免了需要人工手动操作进行缩容的问题,缩容过程所需耗费的时间较短,大大提高了存储容量的调整效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种存储容量的调整系统的示意图;
图2是本发明实施例提供的一种存储容量的调整方法的流程图;
图3是本发明实施例提供的一种数据迁移的逻辑示意图;
图4是本发明实施例提供的一种数据校对的逻辑示意图;
图5是本发明实施例提供的一种数据迁移框架的示意图;
图6是本发明实施例提供的一种存储容量的调整装置的结构示意图;
图7是本发明实施例提供的一种电子设备700的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种存储容量的调整系统的示意图,参见图1,该系统中可以包括终端101、电子设备102、源节点设备103和目标节点设备104。
其中,终端101用于用户指定缩容的源节点设备,终端可以是笔记本电脑、台式电脑、服务器等设备。电子设备102可以包括控制器和调度器,控制器用于获取源节点设备103上需要迁移数据的目录,并选取每个目录可迁移到的目标节点设备;调度器用于控制源节点设备103将目录中的数据迁移到对应的目标节点设备。源节点设备103是指需要缩容的节点设备,目标节点设备104用于接收源节点设备103迁移的目录。其中,电子设备102、源节点设备103和目标节点设备104均可以是服务器。
图2是本发明实施例提供的一种存储容量的调整方法的流程图。该方法可以应用于图1所示的系统中,参见图2,该方法包括:
201、终端向电子设备发送缩容指令,该缩容指令携带源节点设备的IP地址。
本发明实施例中,用户可以在终端上指定需要缩容的节点设备,称为源节点设备,例如,用户可以在终端上输入或选择源节点设备的IP地址,触发终端将该源节点设备的IP地址作为参数,在缩容指令中携带该参数并传输给电子设备。
202、当接收到缩容指令时,电子设备根据该源节点设备的IP地址,调用该源节点设备,确定该源节点设备上待迁移数据的目录。
本发明实施例中,当接收到终端的缩容指令时,电子设备可以从缩容指令中获取源节点设备的IP地址,并根据该IP地址,调用源节点设备,以确定待迁移数据的目录。
在一种可能实现方式中,电子设备可以向源节点设备发送目录获取请求,当源节点设备接收到该目录获取请求时,可以将待迁移的目录信息发送给电子设备,使得电子设备在接收到源节点设备返回的目录信息时,可以确定源节点设备上待迁移数据的目录。其中,源节点设备可以根据默认迁移规则,确定待迁移数据的目录,例如,该默认迁移规则可以根据磁盘使用率和目录中数据的重要程度来确定。该待迁移数据的目录可以是源节点设备上的所有目录,也可以是源节点设备上的部分目录,目录信息可以包括目录名以及目录下的数据大小等信息。
需要说明的是,该方式是以源节点设备直接将迁移的目录信息告知电子设备为例进行说明,可以理解的是,源节点设备也可以将所有目录的目录信息告知电子设备,由电子设备确定源节点设备上待迁移数据的目录。
203、电子设备确定该目录对应的目标节点设备。
在一种可能实现方式中,电子设备可以根据磁盘负载均衡策略,选取该目录中每个目录对应的目标节点设备。不同目录对应的目标节点设备可以相同,也可以不同。
其中,该磁盘负载均衡策略用于将目录中的数据迁移到磁盘使用率最小的节点设备,电子设备可以根据分布式存储系统中除源节点设备以外的其他各个节点设备的磁盘使用率,选取每一个目录可迁移到的目标节点设备。例如,对于第一个目录,电子设备可以将该目录分配到当前磁盘使用率最小的一个节点设备,该节点设备即为该第一个目录对应的目标节点设备。通过根据磁盘负载均衡策略选取可迁移的目标节点设备,可以保证各个节点设备的磁盘使用率保持均衡。
需要说明的是,电子设备可以仅确定目录对应的目标节点设备,也即是,接收目录中数据的目标节点设备,当然,在一种可能实现方式中,电子设备还可以进一步地确定目录对应的目标节点设备中的指定目录,也即是,目标节点设备中接收目录中数据的指定目录。通过确定可迁移到的目标节点设备的指定目录,使得源节点设备可以将目录中的数据迁移到目标节点设备的指定目录,丰富了数据迁移的方式。
204、电子设备控制该源节点设备将该目录中的数据迁移到该目标节点设备。
在一种可能实现方式中,电子设备控制源节点设备进行数据迁移的过程包括:电子设备可以根据该源节点设备发送数据的并行度、该目标节点设备接收数据的并行度以及磁盘最大读写流量,控制该源节点设备将该目录中的数据迁移到该目标节点设备。
其中,源节点设备发送数据的并行度是指源节点设备同时发送目录的数量,目标节点设备接收数据的并行度是指目标节点设备同时接收目录的数量,磁盘最大读写流量包括源节点设备的最大读写流量和目标节点设备的最大读写流量。通过根据并行度和磁盘最大读写流量来控制数据迁移过程,可以实现对网络和磁盘IO(Input/Output)进行过载保护。
在一种可能实现方式中,电子设备控制源节点设备进行数据迁移的过程包括:电子设备向该源节点设备发送数据迁移指令,该数据迁移指令用于指示该源节点设备将该目录中的数据发送给该目标节点设备。当源节点设备接收到该数据迁移指令时,可以执行该数据迁移指令,将待迁移数据的目录中的数据发送给目标节点设备,目标节点设备可以将这些数据存储在任一目录。
需要说明的是,针对步骤203中电子设备可以确定目录对应的目标节点设备中的指定目录,相应地,在一种可能实现方式中,电子设备控制源节点设备进行数据迁移的过程包括:控制该源节点设备将该目录中的数据迁移到该指定目录。同理,在该实现方式下,电子设备也可以分别向源节点设备和目标节点设备发送数据迁移指令和数据接收指令,该数据迁移指令用于指示源节点设备将目录中的数据发送给目标节点设备,该数据接收指令用于指示目标节点设备将源节点设备发送的数据存储到指定目录。
需要说明的是,上述步骤201至步骤204是实现源节点设备将目录中的数据迁移到目标节点设备的过程。参见图3,图3是本发明实施例提供的一种数据迁移的逻辑示意图,如图3所示,电子设备可以包括控制器和调度器,终端指定待缩容的源节点设备的IP地址,电子设备的控制器调用源节点设备,以获取源节点设备上的目录,源节点设备向控制器返回源节点设备上的目录,进而控制器可以选取每一个目录可迁移到的目标节点设备,并向调度器提交迁移任务记录,该迁移任务记录用于指示源节点设备中需要迁移数据的目录以及可迁移到的目标节点设备。调度器可以根据源节点设备和目标节点设备的并行度以及流量限制,控制源节点设备执行迁移任务,将待迁移目录中的数据传输给目标节点设备。
在数据迁移完毕后,本发明实施例的方案还可以提供数据一致性校对,具体过程参见后续步骤205至步骤208。
205、终端向电子设备发送校对指令,该校对指令携带该源节点设备的IP地址。
本发明实施例中,用户可以在终端上指定需要校对的源节点设备,例如,用户可以在终端上输入或选择源节点设备的IP地址,触发终端将该源节点设备的IP地址作为参数,在校对指令中携带该参数并传输给电子设备。
206、当接收到对该源节点设备的校对指令时,电子设备确定该目录的迁移任务执行状态。
其中,迁移任务执行状态包括迁移成功、迁移中和迁移失败等状态。
上述步骤中源节点设备将目录中的数据迁移到目标节点设备后,源节点设备上该目录中的数据尚未删除,在源节点设备删除该目录中的数据之前,电子设备可以进一步对迁移过程进行校对,以确保数据迁移过程执行成功。
在该步骤206中,当接收到终端的校对指令时,电子设备可以从校对指令中获取源节点设备的IP地址,并根据该IP地址,调用源节点设备,以确定源节点设备上待迁移数据的目录。进而,电子设备可以确定迁移任务执行状态,以判断目录中的数据是否已经成功迁移到目标节点设备。
在一种可能实现方式中,该迁移任务执行状态的确定过程包括:查询迁移任务记录,确定该迁移任务执行状态,该迁移任务记录用于记录该目录中每个目录的目录名、该每个目录的迁移任务执行状态、该每个目录对应的目标节点设备或目标节点设备中指定目录的目录名。
电子设备可以使用mysql数据库来存储迁移任务记录,通过该迁移任务记录,来记录数据迁移任务的详细信息。除了上述提到的信息以外,迁移任务记录还可以包括创建时间、开始时间、结束时间、错误信息等,以及可手工重跑任务。其中,创建时间是指各个迁移任务的创建时间、开始时间是指各个迁移任务开始执行的时间,结束时间是指各个迁移任务结束执行的时间,错误信息是指迁移任务执行过程中出错的信息,可手工重跑任务是指可手工触发重新执行的迁移任务。通过维护一个迁移任务记录,实现了缩容过程的可监控。
207、电子设备比较该目录在该源节点设备和该目标节点设备上的数据大小。
本发明实施例中,电子设备可以调用源节点设备,获取源节点设备上迁移的目录信息,电子设备还可以调用目标节点设备,获取目标节点设备上接收迁移数据的目录信息,进而,判断源节点设备上迁移的目录在源节点设备和目标节点设备上的数据大小是否一致。
208、当该目录的迁移任务执行状态为执行成功,且该目录在该源节点设备和该目标节点设备上的数据大小一致时,电子设备控制源节点设备删除目录中的数据。
本发明实施例中,当步骤206中确定的迁移任务执行状态为执行成功,且步骤207中目录在源节点设备和目标节点设备上的数据大小一致时,电子设备可以确定数据迁移成功,因而可以控制该源节点设备删除该目录中的数据,以完成对该源节点设备的缩容过程。例如,电子设备可以向源节点设备发送数据删除指令,当源节点设备接收到该数据删除指令时,可以删除迁移成功的目录。
可以理解的是,如果该目录的迁移任务执行状态为执行失败,或该目录在该源节点设备和该目标节点设备上的数据大小不一致时,电子设备可以确定该目录中的数据迁移失败。此情况下,电子设备可以重新确定目标节点设备,将该目录中的数据迁移到重新确定的目标节点设备上,这种任务容错的功能使得迁移任务执行过程中出现异常时,可重新选择目标节点设备并进行重试。
需要说明的是,上述步骤205至步骤208是可选步骤,可以理解的是,通过上述步骤201至步骤204已经实现了将源节点设备的数据迁移到目标节点设备,该步骤205至步骤208是进行数据校对的过程,通过进行数据校对,可以保证数据迁移的可靠性。参见图4,图4是本发明实施例提供的一种数据校对的逻辑示意图,如图4所示,终端指定待校对的源节点设备的IP地址,电子设备的控制器调用源节点设备,以获取源节点设备上的目录,源节点设备向控制器返回源节点设备上的目录,进而控制器可以判断每个目录的迁移任务是否已经成功执行,并判断每个目录在目标节点设备的数据大小是否一致,例如,控制器可以调用目标节点设备,以获取数据迁移到目标节点设备的目录在目标节点设备上的信息,目标节点设备向控制器返回目标信息,使得控制器可以判断每个目录在目标节点设备的数据大小是否一致。
通过对数据的传输、传输的高可用管控、传输结果的校对、节点的过载保护进行抽象,开发了图5所示的框架。参见图5,图5是本发明实施例提供的一种数据迁移框架的示意图,如图5所示,数据迁移框架主要包括应用层、控制层、调度层和存储层。其中应用层包含数据迁移和数据校对的功能,对应上述步骤201和步骤205。控制层包含目录管理、任务监控、任务容错和磁盘负载均衡等功能,其中,目录管理提供了源节点设备需要迁移数据的目录和目标节点设备可接收数据的目录,对应上述步骤202和步骤203;迁移任务记录了数据迁移任务的详细信息,如源节点设备的目录名、目标节点设备的目录名、创建时间、开始时间、结束时间、执行状态、错误信息等以及可手工重跑任务,对应上述步骤206中的迁移任务记录;任务容错是指迁移任务执行过程中出现异常可重新选择目标节点设备并进行重试,对应上述步骤208提到的执行失败的情况;磁盘负载均衡是指将每一个目录迁移到磁盘使用率最低的目标节点设备,对应上述步骤203中确定目标节点设备的过程。调度层包含并行度管理、限流管理以及任务执行管理等功能,根据源节点设备传输数据和目标节点设备接收数据的并行度、每秒流量控制,执行队列管理和数据迁移任务。存储层用于使用mysql数据库存储迁移任务记录,对应上述步骤206中提及的迁移任务记录。
针对源节点设备的数据传输方式以及在目标节点的数据接收方式,可以设计接口让不同的系统进行个性化实现。不同业务使用本发明实施例提供的框架进行数据迁移,需实现源节点目录提取类、目标节点传输类,图5对应的数据迁移框架可以根据业务实现进行数据迁移的调度和管理。
图5对应的数据迁移框架可以应用于节点集群的存储缩容,使用方法包括以下步骤a至d:
步骤a、配置可迁移到的目标节点设备集合:conf/dest_nodes;
步骤b、迁移一个源节点设备的数据:sh bin/start_hermes_shrink.shtransfer_data--node={机器ip};
步骤c、校对一个源节点设备的迁移结果:sh bin/start_compare.sh verify_dir--node={机器ip};
步骤d、在上述三个步骤执行完后,执行compareresult/{机器ip}命令,在最底部目录里有以下3个文件:
diff_size.txt,源节点设备和目标节点设备的数据大小有异常的目录;
non_exist.txt,在目标节点设备不存在的目录;
same_size.txt,源节点设备和目标节点设备相一致的目录。
当diff_size.txt和non_exist.txt为空,并且same_size.txt不为空时,则表示源节点设备的数据迁移成功。
步骤a对应上述步骤201至步骤203,步骤b对应上述步骤204,步骤c对应上述步骤205至步骤207,步骤d对应上述步骤208。
在使用本地磁盘存储的分布式存储系统中,进行存储缩容往往需要复杂的逻辑开发、缩容过程跨度长、可用性和可靠性难以管控。相关技术不具备缩容的能力,这会给项目带来两个问题,在项目上线的初期,要预估业务未来的数据峰值,因此会使用较大的存储容量,这往往会造成一段时间里的存储浪费;在项目上线后,某段时间业务会迎来新的数据峰值,从而扩容了节点,但是这段新峰值过后,扩容的节点不能下线,导致存储浪费。
本发明实施例提供的数据迁移框架,不仅可以提高缩容的效率,避免了不能缩容的存储浪费;在对现网运营中的节点集群升级时,其中一些业务的实施方案是从现有集群中缩容出机器,再用来搭建新的集群,该数据迁移框架可以为这种方案提供高可用、可靠的、可控的实现。
本发明实施例提供的技术方案,通过将缩容的数据以目录为单位抽象为迁移任务,对数据迁移进行负载均衡,以及任务监控、容错管理,实现了数据迁移的高可用;另外在数据迁移完毕后,提供数据一致性校对,实现数据的高可靠;还有为保证现网业务稳定,支持源节点、目标节点的迁移任务并行度设置、限流设置。
本发明实施例提供的方法,通过在接收到缩容指令时,自动确定源节点设备上需要迁移数据的目录以及可迁移到的目标节点设备,并控制源节点设备将目录中的数据迁移到目标节点设备,避免了需要人工手动操作进行缩容的问题,缩容过程所需耗费的时间较短,大大提高了存储容量的调整效率。
图6是本发明实施例提供的一种存储容量的调整装置的结构示意图。参照图6,该装置包括:
接收模块601,用于接收缩容指令,该缩容指令携带源节点设备的网络协议IP地址;
确定模块602,用于根据该源节点设备的IP地址,调用该源节点设备,确定该源节点设备上待迁移数据的目录;
该确定模块602还用于确定该目录对应的目标节点设备;
控制模块603,用于控制该源节点设备将该目录中的数据迁移到该目标节点设备。
在一种可能实现方式中,该确定模块用于确定该目录对应的目标节点设备中的指定目录;
该控制模块用于控制该源节点设备将该目录中的数据迁移到该指定目录。
在一种可能实现方式中,该确定模块用于根据磁盘负载均衡策略,选取该目录中每个目录对应的目标节点设备。
在一种可能实现方式中,该控制模块603用于根据该源节点设备发送数据的并行度、该目标节点设备接收数据的并行度以及磁盘最大读写流量,控制该源节点设备将该目录中的数据迁移到该目标节点设备。
在一种可能实现方式中,该控制模块603用于向该源节点设备发送数据迁移指令,该数据迁移指令用于指示该源节点设备将该目录中的数据发送给该目标节点设备。
在一种可能实现方式中,该确定模块602还用于当接收到对该源节点设备的校对指令时,确定该目录的迁移任务执行状态,该校对指令携带该源节点设备的IP地址;
该确定模块602还用于比较该目录在该源节点设备和该目标节点设备上的数据大小;
该控制模块603还用于当该目录的迁移任务执行状态为执行成功,且该目录在该源节点设备和该目标节点设备上的数据大小一致时,控制该源节点设备删除该目录中的数据。
本发明实施例中,通过在接收到缩容指令时,自动确定源节点设备上需要迁移数据的目录以及可迁移到的目标节点设备,并控制源节点设备将目录中的数据迁移到目标节点设备,避免了需要人工手动操作进行缩容的问题,缩容过程所需耗费的时间较短,大大提高了存储容量的调整效率。
需要说明的是:上述实施例提供的存储容量的调整装置在存储容量的调整时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的存储容量的调整装置与存储容量的调整方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图7是本发明实施例提供的一种电子设备的结构示意图,该电子设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然,该电子设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该电子设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条指令、至少一段程序、代码集或指令集的存储器,上述至少一条指令、至少一段程序、代码集或指令集可由处理器加载并执行以完成上述实施例中的存储容量的调整方法。例如,计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random-AccessMemory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种存储容量的调整方法,其特征在于,所述方法包括:
向源节点设备发送目录获取请求,所述目录获取请求用于请求所述源节点设备根据目录中数据的重要程度所确定的待迁移数据的目录或所述源节点设备的所有目录的目录信息;
接收缩容指令,所述缩容指令携带所述源节点设备的网络协议IP地址;
根据所述源节点设备的IP地址,调用所述源节点设备,确定所述源节点设备根据目录中数据的重要程度所确定的待迁移数据的目录为所述源节点设备上待迁移数据的目录,或基于所述源节点设备的所有目录的目录信息确定所述源节点设备上待迁移数据的目录;
根据磁盘负载均衡策略,选取所述目录中每个目录对应的目标节点设备;
分别向所述源节点设备和所述目标节点设备发送数据迁移指令和数据接收指令,根据所述源节点设备发送数据的并行度、所述目标节点设备接收数据的并行度以及磁盘最大读写流量,控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备,其中,所述数据迁移指令用于指示所述源节点设备将所述待迁移的数据发送给所述目标节点设备,该数据接收指令用于指示所述目标节点设备将所述源节点设备发送的数据存储到指定目录,所述源节点设备发送数据的并行度是指所述源节点设备同时发送目录的数量,所述目标节点设备接收数据的并行度是指所述目标节点设备同时接收目录的数量,所述磁盘最大读写流量包括所述源节点设备的最大读写流量和所述目标节点设备的最大读写流量。
2.根据权利要求1所述的方法,其特征在于,所述选取所述目录中每个目录对应的目标节点设备,包括:
确定所述目录对应的目标节点设备中的指定目录;
相应地,所述控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备,包括:
控制所述源节点设备将所述目录中的数据迁移到所述指定目录。
3.根据权利要求1所述的方法,其特征在于,所述控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备,包括:
向所述源节点设备发送数据迁移指令,所述数据迁移指令用于指示所述源节点设备将所述目录中的数据发送给所述目标节点设备。
4.根据权利要求3所述的方法,其特征在于,所述向所述源节点设备发送数据迁移指令之后,所述方法还包括:
当接收到对所述源节点设备的校对指令时,确定所述目录的迁移任务执行状态,所述校对指令携带所述源节点设备的IP地址;
比较所述目录在所述源节点设备和所述目标节点设备上的数据大小;
当所述目录的迁移任务执行状态为执行成功,且所述目录在所述源节点设备和所述目标节点设备上的数据大小一致时,控制所述源节点设备删除所述目录中的数据。
5.根据权利要求4所述的方法,其特征在于,所述迁移任务执行状态的获取过程包括:
查询迁移任务记录,确定所述迁移任务执行状态,所述迁移任务记录用于记录所述目录中每个目录的目录名、所述每个目录的迁移任务执行状态、所述每个目录对应的目标节点设备或目标节点设备中指定目录的目录名。
6.一种存储容量的调整装置,其特征在于,所述装置包括:
发送模块,用于向源节点设备发送目录获取请求,所述目录获取请求用于请求所述源节点设备根据目录中数据的重要程度所确定的待迁移数据的目录或所述源节点设备的所有目录的目录信息;
接收模块,用于接收缩容指令,所述缩容指令携带所述源节点设备的网络协议IP地址;
确定模块,用于根据所述源节点设备的IP地址,调用所述源节点设备,确定所述源节点设备根据目录中数据的重要程度所确定的待迁移数据的目录为所述源节点设备上待迁移数据的目录,或基于所述源节点设备的所有目录的目录信息确定所述源节点设备上待迁移数据的目录;
所述确定模块还用于根据磁盘负载均衡策略,选取所述目录中每个目录对应的目标节点设备;
控制模块,用于分别向所述源节点设备和所述目标节点设备发送数据迁移指令和数据接收指令,根据所述源节点设备发送数据的并行度、所述目标节点设备接收数据的并行度以及磁盘最大读写流量,控制所述源节点设备将所述目录中的数据迁移到所述目标节点设备,其中,所述数据迁移指令用于指示所述源节点设备将所述待迁移的数据发送给所述目标节点设备,该数据接收指令用于指示所述目标节点设备将所述源节点设备发送的数据存储到指定目录,所述源节点设备发送数据的并行度是指所述源节点设备同时发送目录的数量,所述目标节点设备接收数据的并行度是指所述目标节点设备同时接收目录的数量,所述磁盘最大读写流量包括所述源节点设备的最大读写流量和所述目标节点设备的最大读写流量。
7.根据权利要求6所述的装置,其特征在于,
所述确定模块还用于当接收到对所述源节点设备的校对指令时,确定所述目录的迁移任务执行状态,所述校对指令携带所述源节点设备的IP地址;
所述确定模块还用于比较所述目录在所述源节点设备和所述目标节点设备上的数据大小;
所述控制模块还用于当所述目录的迁移任务执行状态为执行成功,且所述目录在所述源节点设备和所述目标节点设备上的数据大小一致时,控制所述源节点设备删除所述目录中的数据。
8.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的存储容量的调整方法。
CN201810802498.1A 2018-07-20 2018-07-20 存储容量的调整方法及装置 Active CN109002263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810802498.1A CN109002263B (zh) 2018-07-20 2018-07-20 存储容量的调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810802498.1A CN109002263B (zh) 2018-07-20 2018-07-20 存储容量的调整方法及装置

Publications (2)

Publication Number Publication Date
CN109002263A CN109002263A (zh) 2018-12-14
CN109002263B true CN109002263B (zh) 2021-03-19

Family

ID=64596485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810802498.1A Active CN109002263B (zh) 2018-07-20 2018-07-20 存储容量的调整方法及装置

Country Status (1)

Country Link
CN (1) CN109002263B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143279B (zh) * 2019-12-29 2022-04-22 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN114546272B (zh) * 2022-02-18 2024-04-26 山东云海国创云计算装备产业创新中心有限公司 快速通用的raid降级为raid5的方法、系统、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106045A (zh) * 2012-12-20 2013-05-15 华为技术有限公司 数据迁移方法和系统、主机端设备
CN108268305A (zh) * 2017-01-04 2018-07-10 中国移动通信集团四川有限公司 用于虚拟机自动扩缩容的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095053A2 (zh) * 2012-03-01 2012-07-19 华为技术有限公司 数据迁移方法和设备
CN107622026B (zh) * 2012-11-22 2021-12-03 华为终端有限公司 数据传输的方法及设备
KR102445662B1 (ko) * 2015-07-01 2022-09-22 삼성전자주식회사 스토리지 장치
CN107643880B (zh) * 2017-09-27 2021-06-29 郑州云海信息技术有限公司 基于分布式文件系统的文件数据迁移的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106045A (zh) * 2012-12-20 2013-05-15 华为技术有限公司 数据迁移方法和系统、主机端设备
CN108268305A (zh) * 2017-01-04 2018-07-10 中国移动通信集团四川有限公司 用于虚拟机自动扩缩容的系统和方法

Also Published As

Publication number Publication date
CN109002263A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN108683516B (zh) 一种应用实例的升级方法、装置和系统
US10237118B2 (en) Efficient application build/deployment for distributed container cloud platform
US8230264B2 (en) System evaluation apparatus
RU2429529C2 (ru) Динамическое конфигурирование, выделение и развертывание вычислительных систем
JP5575641B2 (ja) 共有データセンタ災害復旧システム及び方法
WO2020253079A1 (zh) 基于Jmeter的分布式性能测试方法、装置、设备及存储介质
TWI344090B (en) Management of a scalable computer system
CN111488241A (zh) 在容器编排平台实现无代理备份与恢复操作的方法和系统
US9753718B1 (en) Non-disruptive upgrade including rollback capabilities for a distributed file system operating within a cluster of nodes
US9747291B1 (en) Non-disruptive upgrade configuration translator
US7181574B1 (en) Server cluster using informed prefetching
CN106452836B (zh) 主节点设置方法及装置
CN113312153B (zh) 一种集群部署方法、装置、电子设备及存储介质
CN109002263B (zh) 存储容量的调整方法及装置
CN110377664B (zh) 数据同步方法、装置、服务器及存储介质
CN108200151B (zh) 一种分布式存储系统中ISCSI Target负载均衡方法和装置
CN115357198B (zh) 存储卷的挂载方法及装置、存储介质及电子设备
CN111431951B (zh) 一种数据处理方法、节点设备、系统及存储介质
CN114827177A (zh) 一种分布式文件系统的部署方法、装置及电子设备
CN114615263A (zh) 集群在线迁移方法、装置、设备及存储介质
CN114546644A (zh) 集群资源调度方法、装置、软件程序、电子设备及存储介质
CN113439258A (zh) 在二级存储系统上托管虚拟机
CN114356214B (zh) 一种针对kubernetes系统提供本地存储卷的方法及系统
CN117389713B (zh) 存储系统应用业务数据迁移方法、装置、设备及介质
CN114676291B (zh) 一种数据库系统及数据库系统的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant