CN114490566A - 集群数据迁移方法、装置、计算机设备及存储介质 - Google Patents

集群数据迁移方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114490566A
CN114490566A CN202111514759.8A CN202111514759A CN114490566A CN 114490566 A CN114490566 A CN 114490566A CN 202111514759 A CN202111514759 A CN 202111514759A CN 114490566 A CN114490566 A CN 114490566A
Authority
CN
China
Prior art keywords
data
cluster
node
migration
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111514759.8A
Other languages
English (en)
Other versions
CN114490566B (zh
Inventor
董俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111514759.8A priority Critical patent/CN114490566B/zh
Publication of CN114490566A publication Critical patent/CN114490566A/zh
Priority to PCT/CN2022/120004 priority patent/WO2023103519A1/zh
Application granted granted Critical
Publication of CN114490566B publication Critical patent/CN114490566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及一种集群数据迁移方法、装置、计算机设备及存储介质，所述方法包括：获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群，由此方法，可以实现在不停止旧集群业务的情况下进行数据迁移，避免数据迁移时停止旧集群业务带来的用户无法正常使用的问题，提升用户体验。

Description

集群数据迁移方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种集群数据迁移方法、装置、计算机设备及存储介质。
背景技术
在当前的分布式存储集群环境中，可能需要对存储产品的版本、技术框架以及存储硬件进行更新换代，为了提升用户的使用体验，降低经营成本，需提高存储集群的性能，在对存储产品的版本、技术框架以及存储硬件进行更新换代的过程中，往往需要将老旧集群进行替换。
目前，老旧集群替换的过程中，首先将旧集群业务停止，然后将数据迁移到新的集群中，以此保证新老集群的数据一致性，但是，当数据量较大时，需要花费大量的时间进行数据迁移，在数据迁移期间用户无法正常使用，严重影响用户的日常业务进行，降低用户的使用体验。
发明内容
鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种集群数据迁移方法、装置、计算机设备及存储介质
第一方面，本发明实施例提供一种集群数据迁移方法，包括：
获取用户端访问第一集群中各节点的访问信息；
基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；
基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，所述方法还包括：
获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
在一个可能的实施方式中，所述方法还包括：
根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列；
根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
在一个可能的实施方式中，所述方法还包括：
基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，所述方法还包括：
获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识；
基于所述数据访问请求的类型，对目标数据进行访问控制。
在一个可能的实施方式中，所述方法还包括：
若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据；
若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态。
在一个可能的实施方式中，所述方法还包括：
若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示；
若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作；
若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
在一个可能的实施方式中，所述方法还包括：
基于所述访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。
第二方面，本发明实施例提供一种集群数据迁移装置，包括：
获取模块，用于获取用户端访问第一集群中各节点的访问信息；
分类模块，用于基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；
迁移模块，用于基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
第三方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的集群数据迁移程序，以实现上述第一方面中所述的集群数据迁移方法。
第四方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的集群数据迁移方法。
本发明实施例提供的集群数据迁移方案，通过获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群，相比于现有技术中老旧集群替换的过程中，首先需要将旧集群业务停止，然后将数据迁移到新的集群中，当数据量较大时，需要花费大量的时间进行数据迁移，在数据迁移期间用户无法正常使用，严重影响用户的日常业务进行的问题，由本方案，可以实现在不停止旧集群业务的情况下进行数据迁移，避免数据迁移时停止旧集群业务带来的用户无法正常使用的问题，提升用户体验。
附图说明
图1为本发明实施例提供的一种集群数据迁移方法的系统架构图；
图2为本发明实施例提供的一种集群数据迁移方法的流程示意图；
图3为本发明实施例提供的另一种集群数据迁移方法的流程示意图；
图4为本发明实施例提供的一种集群数据迁移过程中对数据访问控制的流程示意图；
图5为本发明实施例提供的一种集群数据迁移装置的结构示意图；
图6为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种集群数据迁移方法的系统架构图，如图1所示，本方法优先适用于分布式存储集群的数据迁移场景，系统架构包括：旧集群(以下称为第一集群)、新集群(以下称为第二集群)、包含数据访问统计，时段流量统计，数据分析评估，配置中心，控制中心，数据访问/迁移功能的计算机设备，该计算机设备用于完成本方案的集群数据迁移方法。
其中，数据访问统计对第一集群在一定时段内接收到的访问信息进行采集分析，访问信息包括多个节点接收到的访问频次。
时段流量统计可以对第一集群的访问流量按小时进行统计，对各个时间段内的流量值、系统负载状况进行统计。
数据分析评估可以对第一集群的访问流量按天进行分析，对时段内迁移数据量进行评估。
配置中心根据数据访问统计提供的数据，可以以小时为单位，配置集群时间段内的迁移速度以及各个节点的数据迁移优先级，同时根据和时段流量统计的时段内的集群流量负载状况自动化调整该时间段内迁移速度，同时对集群的CPU以及带宽进行监控，设置阈值，当数据迁移量占用CPU以及带宽超过阈值时，可以自动降低迁移速度。
控制中心提供整个集群数据迁移的启停接口、迁移进度以及当前迁移数据的概览信息。
数据访问/迁移功能提供在数据迁移或呗访问时对迁移文件的控制，防止出现第一和第二集群数据不一致。
图2为本发明实施例提供的一种集群数据迁移方法的流程示意图，如图2所示，该方法具体包括：
S21、获取用户端访问第一集群中各节点的访问信息。
在本发明实施例中，获取第一集群中各个节点在一定时段内接收到的访问信息，访问信息包括每个节点在一定时段内接收到的访问量。
例如，第一集群中包含10个节点，在早9点至早10点这一个小时内，第一集群中节点1接收到访问量一万次，节点2接收到访问量1.2万次，节点3接收到访问量1.5万次，节点4接收到访问量3千次，节点5接收到访问量2千次，节点6接收到访问量3万次，节点7接收到访问量3.5万次，节点8接收到访问量3千次，节点9接收到访问量1千次，节点10接收到访问量5万次。
S22、基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果。
基于S21中获取到的各节点的访问信息即一定时段内接收到的访问量，可以按照访问量对各个节点进行数据迁移的优先级分类，例如，以1万次和3万次为分段临界值，低于1万次访问量的节点可以划分到低级类别，1万次至3万次访问量的节点可以划分到中级类别，高于3万次访问量的节点可以划分到高级类别。
由上述可以划分节点4、节点5、节点8、节点9为低级类别；划分节点1、节点2、节点3、节点6为中级类别；划分节点7、节点10为高级类别。
S23、基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
基于S22中对各个节点的数据迁移的优先级分类结果，可以按照优先级类别对各个节点进行数据迁移。数据迁移的时间如果是数据访问低峰时段(例如，凌晨1点至5点)，可以按照高级类别-中级类别-低级类别的顺序将每个优先级类别中的节点的数据进行迁移，即首先迁移高级类别中的各节点的数据，然后迁移中级类别中各节点的数据，最后迁移低级类别中各节点的数据。
可选的，数据迁移的时间如果是数据访问高峰时段(例如，上午9点至下午5点)，可以按照低级类别-中级类别-高级类别的顺序将每个优先级类别中的节点的数据进行迁移，即首先迁移低级类别中的各节点的数据，然后迁移中级类别中各节点的数据，最后迁移高级类别中各节点的数据。
本发明实施例提供的集群数据迁移方法，通过获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群，相比于现有技术中老旧集群替换的过程中，首先需要将旧集群业务停止，然后将数据迁移到新的集群中，当数据量较大时，需要花费大量的时间进行数据迁移，在数据迁移期间用户无法正常使用，严重影响用户的日常业务进行的问题，由本方法，可以实现在不停止旧集群业务的情况下进行数据迁移，避免数据迁移时停止旧集群业务带来的用户无法正常使用的问题，提升用户体验。
图3为本发明实施例提供的另一种集群数据迁移方法的流程示意图，如图3所示，该方法具体包括：
S31、获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
本发明实施例中，可以预设一时间段(例如，早9点至晚7点)，获取该预设时间段内的用户端访问第一集群中各个节点所对应的访问频率。
例如，第一集群中包含5个节点，在早9点至晚7点，节点1接收到访问量总计8万次，访问频率为8千次每小时，节点2接收到访问量总计3万次，访问频率为3千次每小时，节点3接收到访问量总计12万次，访问频率为1.2万次每小时，节点4接收到访问量总计3千次，访问频率为3百次每小时，节点5接收到访问量总计1万次，访问频率为1千次每小时。
S32、根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列。
可以根据访问频率由大到小的顺序对各个节点进行排序，得到节点序列：节点3、节点1、节点2、节点5、节点4。
S33、根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
本发明实施例中，可以预设一数据迁移的优先级分类比例(例如，1:2:2)，根据该比例对节点序列中各个节点进行数据迁移的优先级分类，优先级分类可以分类高级、中级、低级三种类别，那么，按照分类比例，节点3可以被分配到高级类别，节点1和节点2可以被分配到中级类别，节点5和节点4可以被分配到低级类别。
S34、基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
基于S33中对各个节点的数据迁移的优先级分类结果，可以按照优先级类别对各个节点进行数据迁移，将数据迁移至第二集群。数据迁移的时间如果是数据访问低峰时段(例如，凌晨1点至5点)，可以按照高级类别-中级类别-低级类别的顺序将每个优先级类别中的节点的数据进行迁移，即首先迁移高级类别中的各节点的数据，然后迁移中级类别中各节点的数据，最后迁移低级类别中各节点的数据。
可选的，数据迁移的时间如果是数据访问高峰时段(例如，上午9点至下午5点)，可以按照低级类别-中级类别-高级类别的顺序将每个优先级类别中的节点的数据进行迁移，即首先迁移低级类别中的各节点的数据，然后迁移中级类别中各节点的数据，最后迁移高级类别中各节点的数据。
在一个可能的实施方式中，还可以基于各个节点的访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。例如，节点1的数据访问高峰时段为早8点至早9点，则可以避开该时段，在其他时段进行节点1的数据迁移；又如，节点2的数据访问高峰时段为早10点至晚9点，也可以避开该时段，在其他时段进行节点2的数据迁移。
本发明实施例提供的集群数据迁移方法，通过获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群，相比于现有技术中老旧集群替换的过程中，首先需要将旧集群业务停止，然后将数据迁移到新的集群中，当数据量较大时，需要花费大量的时间进行数据迁移，在数据迁移期间用户无法正常使用，严重影响用户的日常业务进行的问题，由本方法，可以实现在不停止旧集群业务的情况下进行数据迁移，避免数据迁移时停止旧集群业务带来的用户无法正常使用的问题，提升用户体验。
图4为本发明实施例提供的一种集群数据迁移过程中对数据访问控制的流程示意图，如图4所示，该方法具体包括：
S41、获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识。
本发明实施例中，在集群数据迁移过程中可能存在用户端对数据的访问请求，需要对访问请求进行限制。
获取用户端发送的数据访问请求，解析该数据访问请求的类型，包括但不限于：只读、更新，其中，更新还可以包括增加、删除、修改等。
S42、若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据。
本发明实施例中，可以对正在迁移的数据进行加锁，当数据完全迁移完成后释放锁，数据在进行迁移的过程中只允许进行读操作，不允许进行更新操作，防止数据迁移过程中被修改，造成第一和第二集群数据不一致。
若数据访问请求的类型为只读，则可以基于数据访问请求中携带的目标数据标识查询并反馈目标数据。
S43、若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态。
当第一集群接收到的数据访问请求的类型为更新时，则基于数据访问请求中携带的目标数据标识，查询目标数据的数据状态，数据状态包括：迁移状态、未被迁移、已完成迁移。
S44、若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示。
若目标数据的数据状态为迁移状态，表征目标数据正在迁移，则返回相应的禁止访问提示，即目标数据处于迁移状态无法访问。
S45、若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作。
若目标数据的数据状态为未被迁移，则允许数据访问请求的更新操作，进行数据更新。
S46、若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
若目标数据的数据状态为已完成迁移，则将第一集群和第二集群中的目标数据进行更新。
可选的，若更新操作为数据增加操作，则先将数据插入到第一集群中，完成后再进行数据迁移。
需要说明的事，进行增加、修改或者删除操作时将待操作的数据进行加锁，加锁的数据在编辑操作过程中不允许进行迁移，锁释放后才可以进行数据迁移，保证第一集群和第二集群的数据一致性。
本发明实施例提供的集群数据迁移方法，通过获取数据访问请求的类型，基于所述数据访问请求的类型，对目标数据进行访问控制，由本方法，可以实现对数据迁移过程中的数据访问操作的控制，避免数据迁移时由于访问操作造成第一集群和第二集群数据不一致的问题，提升集群服务效果。
图5为本发明实施例提供的一种集群数据迁移装置的结构示意图，具体包括：
获取模块501，用于获取用户端访问第一集群中各节点的访问信息；
分类模块502，用于基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；
迁移模块503，用于基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，所述获取模块501，具体用于获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
在一个可能的实施方式中，所述获取模块501，还用于获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识；基于所述数据访问请求的类型，对目标数据进行访问控制。
在一个可能的实施方式中，所述分类模块502，具体用于根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列；根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
在一个可能的实施方式中，所述迁移模块503，具体用于基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，所述迁移模块503，还用于基于所述访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。
在一个可能的实施方式中，所述集群数据迁移装置还包括访问控制模块，具体用于若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据；若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态；若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示；若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作；若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
本实施例提供的集群数据迁移装置可以是如图5中所示的集群数据迁移装置，可执行如图2-4中集群数据迁移方法的所有步骤，进而实现图2-4所示集群数据迁移方法的技术效果，具体请参照图2-4相关描述，为简洁描述，在此不作赘述。
图6为本发明实施例提供的一种计算机设备的结构示意图，图6所示的计算机设备600包括：至少一个处理器601、存储器602、至少一个网络接口604和其他用户接口603。计算机设备600中的各个组件通过总线系统605耦合在一起。可理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。
其中，用户接口603可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器602存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6021和应用程序6022。
其中，操作系统6021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序6022中。
在本发明实施例中，通过调用存储器602存储的程序或指令，具体的，可以是应用程序6022中存储的程序或指令，处理器601用于执行各方法实施例所提供的方法步骤，例如包括：
获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
在一个可能的实施方式中，根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列；根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
在一个可能的实施方式中，基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识；基于所述数据访问请求的类型，对目标数据进行访问控制。
在一个可能的实施方式中，若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据；若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态。
在一个可能的实施方式中，若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示；若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作；若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
在一个可能的实施方式中，基于所述访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的计算机设备可以是如图6中所示的计算机设备，可执行如图2-4中集群数据迁移方法的所有步骤，进而实现图2-4所示集群数据迁移方法的技术效果，具体请参照图2-4相关描述，为简洁描述，在此不作赘述。
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在计算机设备侧执行的集群数据迁移方法。
所述处理器用于执行存储器中存储的集群数据迁移程序，以实现以下在计算机设备侧执行的集群数据迁移方法的步骤：
获取用户端访问第一集群中各节点的访问信息；基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
在一个可能的实施方式中，根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列；根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
在一个可能的实施方式中，基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
在一个可能的实施方式中，获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识；基于所述数据访问请求的类型，对目标数据进行访问控制。
在一个可能的实施方式中，若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据；若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态。
在一个可能的实施方式中，若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示；若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作；若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
在一个可能的实施方式中，基于所述访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种集群数据迁移方法，其特征在于，包括：
获取用户端访问第一集群中各节点的访问信息；
基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；
基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
2.根据权利要求1所述的方法，其特征在于，所述获取用户端访问第一集群中各节点的访问信息，包括：
获取预设时间段内用户端访问第一集群中各节点对应的访问频率。
3.根据权利要求2所述的方法，其特征在于，所述基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果，包括：
根据访问频率由大到小的顺序对所述各节点进行排序，得到节点序列；
根据预设比例，对所述节点序列中各节点进行数据迁移的优先级分类，得到分类结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群，包括：
基于所述分类结果，按照优先级类别将所述第一集群中各节点的数据迁移至第二集群。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取数据访问请求的类型，其中，所述数据访问请求中携带有目标数据标识；
基于所述数据访问请求的类型，对目标数据进行访问控制。
6.根据权利要求5所述的方法，其特征在于，所述基于所述数据访问请求的类型，对目标数据进行访问控制，包括：
若所述数据访问请求的类型为只读，则基于所述数据访问请求反馈目标数据；
若所述数据访问请求的类型为更新，则基于所述目标数据标识确定目标数据的数据状态。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述数据状态为迁移状态，则进行所述目标数据处于迁移状态无法访问的提示；
若所述数据状态为未被迁移，则允许所述数据访问请求的更新操作；
若所述数据状态为已完成迁移，则将所述第一集群和所述第二集群中的目标数据进行更新。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述访问信息以及当前时间，对不同优先级类别中的各节点的数据进行迁移控制。
9.一种集群数据迁移装置，其特征在于，包括：
获取模块，用于获取用户端访问第一集群中各节点的访问信息；
分类模块，用于基于所述访问信息对各节点进行数据迁移的优先级分类，得到分类结果；
迁移模块，用于基于所述分类结果将所述第一集群中各节点的数据迁移至第二集群。
10.一种计算机设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的集群数据迁移程序，以实现权利要求1～8中任一项所述的集群数据迁移方法。
11.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～8中任一项所述的集群数据迁移方法。
CN202111514759.8A 2021-12-10 2021-12-10 集群数据迁移方法、装置、计算机设备及存储介质 Active CN114490566B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111514759.8A CN114490566B (zh) 2021-12-10 2021-12-10 集群数据迁移方法、装置、计算机设备及存储介质
PCT/CN2022/120004 WO2023103519A1 (zh) 2021-12-10 2022-09-20 集群数据迁移方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111514759.8A CN114490566B (zh) 2021-12-10 2021-12-10 集群数据迁移方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114490566A true CN114490566A (zh) 2022-05-13
CN114490566B CN114490566B (zh) 2024-01-30

Family

ID=81492116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111514759.8A Active CN114490566B (zh) 2021-12-10 2021-12-10 集群数据迁移方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN114490566B (zh)
WO (1) WO2023103519A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115826877A (zh) * 2023-01-20 2023-03-21 中国华能集团清洁能源技术研究院有限公司 大数据环境下的数据对象迁移方法和装置
WO2023103519A1 (zh) * 2021-12-10 2023-06-15 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN116582547A (zh) * 2023-07-14 2023-08-11 浪潮通信信息系统有限公司 算力网络数据传输方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577249A (zh) * 2013-11-13 2014-02-12 中国科学院计算技术研究所 虚拟机在线迁移方法与系统
CN108255427A (zh) * 2017-12-29 2018-07-06 广东南华工商职业学院 一种数据存储和动态迁移方法及装置
CN110569233A (zh) * 2019-06-30 2019-12-13 华为技术有限公司 一种热点数据的管理方法、装置及系统
CN110795035A (zh) * 2019-10-18 2020-02-14 浪潮电子信息产业股份有限公司 一种迁移时间确定方法、装置、设备及可读存储介质
CN111880744A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、电子设备和介质
US20200379908A1 (en) * 2019-05-28 2020-12-03 Micron Technology, Inc. Intelligent Content Migration with Borrowed Memory
CN112688995A (zh) * 2020-12-16 2021-04-20 中国联合网络通信集团有限公司 一种系统迁移方法和装置
CN113032369A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种数据迁移方法、装置及介质
CN113468148A (zh) * 2021-08-13 2021-10-01 上海浦东发展银行股份有限公司 一种数据库的数据迁移方法、装置、电子设备及其存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015326B (zh) * 2019-05-28 2023-02-17 浙江宇视科技有限公司 集群数据处理方法、装置、设备及存储介质
CN112015347A (zh) * 2020-08-28 2020-12-01 北京浪潮数据技术有限公司 一种数据迁移方法、装置及相关设备
CN114490566B (zh) * 2021-12-10 2024-01-30 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577249A (zh) * 2013-11-13 2014-02-12 中国科学院计算技术研究所 虚拟机在线迁移方法与系统
CN108255427A (zh) * 2017-12-29 2018-07-06 广东南华工商职业学院 一种数据存储和动态迁移方法及装置
US20200379908A1 (en) * 2019-05-28 2020-12-03 Micron Technology, Inc. Intelligent Content Migration with Borrowed Memory
CN110569233A (zh) * 2019-06-30 2019-12-13 华为技术有限公司 一种热点数据的管理方法、装置及系统
CN110795035A (zh) * 2019-10-18 2020-02-14 浪潮电子信息产业股份有限公司 一种迁移时间确定方法、装置、设备及可读存储介质
CN111880744A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、电子设备和介质
CN112688995A (zh) * 2020-12-16 2021-04-20 中国联合网络通信集团有限公司 一种系统迁移方法和装置
CN113032369A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种数据迁移方法、装置及介质
CN113468148A (zh) * 2021-08-13 2021-10-01 上海浦东发展银行股份有限公司 一种数据库的数据迁移方法、装置、电子设备及其存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103519A1 (zh) * 2021-12-10 2023-06-15 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN115826877A (zh) * 2023-01-20 2023-03-21 中国华能集团清洁能源技术研究院有限公司 大数据环境下的数据对象迁移方法和装置
CN115826877B (zh) * 2023-01-20 2023-12-26 中国华能集团清洁能源技术研究院有限公司 大数据环境下的数据对象迁移方法和装置
CN116582547A (zh) * 2023-07-14 2023-08-11 浪潮通信信息系统有限公司 算力网络数据传输方法、装置、电子设备及存储介质
CN116582547B (zh) * 2023-07-14 2023-10-20 浪潮通信信息系统有限公司 算力网络数据传输方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023103519A1 (zh) 2023-06-15
CN114490566B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN114490566A (zh) 集群数据迁移方法、装置、计算机设备及存储介质
CN109948641B (zh) 异常群体识别方法及装置
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
CN111881133B (zh) 存储桶管理方法、装置、计算机设备及可读存储介质
CN109753443B (zh) 一种数据处理方法、装置及电子设备
JP2013509658A (ja) 将来の使用推量に基づく記憶メモリの割り当て
CN110231994B (zh) 内存分析方法、装置和计算机可读存储介质
CN110445828B (zh) 一种基于Redis的数据分布式处理方法及其相关设备
CN108459913B (zh) 数据并行处理方法、装置及服务器
CN110442480B (zh) 一种镜像数据清理方法、装置及系统
CN107247665B (zh) 一种c接口函数的测试方法及系统
CN110888668A (zh) 一种模型更新的系统、方法、装置、终端设备和介质
CN115269544A (zh) 一种数据库集群升级方法、装置、电子设备及存储介质
CN113342603A (zh) 告警数据处理方法、装置、计算机设备和存储介质
CN113923472B (zh) 视频内容分析方法、装置、电子设备及存储介质
CN111414377A (zh) 结构化查询语句的处理方法、装置及存储介质
CN115115004A (zh) 决策树模型构建及应用方法、装置和相关设备
CN108829345B (zh) 日志文件的数据处理方法和终端设备
US20210208945A1 (en) Information processing apparatus, information processing method, and computer readable medium
CN112015529B (zh) 数据任务调度方法、系统、电子设备及存储介质
CN110780820A (zh) 一种连续存储空间确定方法、装置及电子设备和存储介质
CN109558403B (zh) 数据聚合方法及装置、计算机装置及计算机可读存储介质
CN115203002A (zh) 日志处理方法、装置、电子设备及存储介质
CN114529965A (zh) 人物图像聚类方法、装置、计算机设备及存储介质
CN115543859A (zh) 多分区ssd的磨损均衡优化方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant