CN112363678A - 一种基于消息中间件的数据迁移方法及系统 - Google Patents

一种基于消息中间件的数据迁移方法及系统 Download PDF

Info

Publication number
CN112363678A
CN112363678A CN202110039304.9A CN202110039304A CN112363678A CN 112363678 A CN112363678 A CN 112363678A CN 202110039304 A CN202110039304 A CN 202110039304A CN 112363678 A CN112363678 A CN 112363678A
Authority
CN
China
Prior art keywords
storage unit
data
preset
source
target storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110039304.9A
Other languages
English (en)
Other versions
CN112363678B (zh
Inventor
李志鹏
李彦清
邹强
王开勇
田继东
李利军
于滨峰
张春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Original Assignee
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfangtong Software Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Dongfangtong Software Co ltd
Priority to CN202110039304.9A priority Critical patent/CN112363678B/zh
Publication of CN112363678A publication Critical patent/CN112363678A/zh
Application granted granted Critical
Publication of CN112363678B publication Critical patent/CN112363678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于消息中间件的数据迁移方法及系统，所述方法包括：当源存储单元满足预设的数据迁移条件时，根据源存储单元发送的迁移请求读取源数据；将源数据存入预设的数据队列中；根据目标存储单元发送的接收请求确定数据队列中与其匹配的源数据和合适的目标存储单元；将匹配的源数据传输至合适的目标存储单元。本发明的基于消息中间件的数据迁移方法及系统，通过消息中间件实现了数据的中转，自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。

Description

一种基于消息中间件的数据迁移方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于消息中间件的数据迁移方法及系统。
背景技术
当数据存储设备存储过载时，就要将其中的一部分数据迁移至其它存储设备，传统技术的做法是将过载存储设备中的部分数据直接迁移至任一空闲存储设备，想要选择合适且理想的空闲存储设备作为迁移目标时，还需要相关技术人员对其进行手动配置，效率低，人工和后期维护成本高。
发明内容
本发明目的之一在于提供了一种基于消息中间件的数据迁移方法及系统，通过消息中间件实现了数据的中转，自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。
本发明实施例提供的一种基于消息中间件的数据迁移方法，包括：
当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
将所述源数据存入预设的数据队列中；
根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
将匹配的源数据传输至合适的目标存储单元。
优选地，所述当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据，包括：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。
优选地，所述将所述源数据存入预设的数据队列中，包括：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
优选地，所述根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元，包括：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure 830792DEST_PATH_IMAGE001
；
其中，
Figure 13511DEST_PATH_IMAGE002
为性能评价指数，
Figure 58828DEST_PATH_IMAGE003
为目标存储单元的可用存储空间大小，
Figure 719616DEST_PATH_IMAGE004
为目标存储单元 的读取能力指标值，
Figure 674934DEST_PATH_IMAGE005
为目标存储单元的写入能力指标值，
Figure 762976DEST_PATH_IMAGE006
为目标存储单元的实时进程 数，
Figure 295588DEST_PATH_IMAGE007
、
Figure 760067DEST_PATH_IMAGE008
、
Figure 569892DEST_PATH_IMAGE009
和
Figure 94414DEST_PATH_IMAGE010
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
优选地，所述将匹配的源数据传输至合适的目标存储单元，包括：
获取多个预设的传输路径；
将匹配的源数据通过所述传输路径传输至合适的目标存储单元；
构建第一自学习模型：
Figure DEST_PATH_IMAGE011
Figure 114322DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
其中，
Figure 257859DEST_PATH_IMAGE014
为对第
Figure DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第
Figure 312403DEST_PATH_IMAGE016
次调节后的参数值，
Figure 883192DEST_PATH_IMAGE017
为对 第
Figure 390397DEST_PATH_IMAGE018
个传输路径的相对使用比例进行第
Figure 931100DEST_PATH_IMAGE016
次调节后的参数值，
Figure 840150DEST_PATH_IMAGE019
为传输路径数目总和，
Figure 578911DEST_PATH_IMAGE020
为对第
Figure 573412DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第n次调节的调节变化量，
Figure 917806DEST_PATH_IMAGE021
为多个传输路径第
Figure 556729DEST_PATH_IMAGE016
次调节后的总吞吐量，
Figure 593955DEST_PATH_IMAGE022
和
Figure 810173DEST_PATH_IMAGE023
为预设的调节系数，其中，
Figure 958257DEST_PATH_IMAGE024
；
构建第二自学习模型；
每隔预设的时间间隔，执行包括如下操作：
使用所述第一自学习模型对所述传输路径进行学习；
学习开始时，预设的计时器开始计时，当所述计时器计时达到预设的第一时间值时，停止学习，获取所述第一自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第一待更新参数组以及与所述第一待更新参数组对应的所述传输路径的第一总吞吐量；
使用所述第二自学习模型对所述传输路径进行学习；
学习开始时，所述计时器开始计时，当所述计时器计时达到预设的第二时间值时，停止学习，获取所述第二自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第二待更新参数组以及与所述第二待更新参数组对应的所述传输路径的第二总吞吐量；
获取当前多个传输路径的相对使用比例组合成原始参数组；
若所述第一总吞吐量大于等于所述第二总吞吐量，使用所述第一待更新参数组对所述原始参数组进行覆盖更新设置；
若所述第一总吞吐量小于所述第二总吞吐量，使用所述第二待更新参数组对所述原始参数组进行覆盖更新设置。
优选地，所述构建第二自学习模型，包括：
构建第二自学习模型：
Figure 451687DEST_PATH_IMAGE025
Figure 659814DEST_PATH_IMAGE026
Figure 363328DEST_PATH_IMAGE027
其中，
Figure 49524DEST_PATH_IMAGE028
为对第
Figure 663039DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 42068DEST_PATH_IMAGE030
次调节后的参数值，
Figure 232878DEST_PATH_IMAGE031
为 对第
Figure 722765DEST_PATH_IMAGE032
个传输路径的相对使用比例进行第
Figure 925207DEST_PATH_IMAGE030
次调节后的参数值，
Figure 475137DEST_PATH_IMAGE033
为传输路径数目总和，
Figure 153243DEST_PATH_IMAGE034
为对第
Figure 446821DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 769350DEST_PATH_IMAGE030
次调节的调节变化量，
Figure 224602DEST_PATH_IMAGE035
为多个传 输路径第
Figure 390004DEST_PATH_IMAGE030
次调节后的总吞吐量，
Figure 362639DEST_PATH_IMAGE036
为预设的调节系数。
本发明实施例提供的一种基于消息中间件的数据迁移系统，包括：
读取模块，用于当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
存入模块，用于将所述源数据存入预设的数据队列中；
确定模块，用于根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
传输模块，用于将匹配的源数据传输至合适的目标存储单元。
优选地，所述读取模块执行包括如下操作：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。
优选地，所述存入模块执行包括如下操作：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
优选地，所述确定模块执行包括如下操作：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure 929887DEST_PATH_IMAGE001
；
其中，
Figure 556040DEST_PATH_IMAGE002
为性能评价指数，
Figure 208738DEST_PATH_IMAGE003
为目标存储单元的可用存储空间大小，
Figure 719485DEST_PATH_IMAGE004
为目标存储单元 的读取能力指标值，
Figure 875660DEST_PATH_IMAGE005
为目标存储单元的写入能力指标值，
Figure 938294DEST_PATH_IMAGE006
为目标存储单元的实时进程 数，
Figure 950725DEST_PATH_IMAGE007
、
Figure 389796DEST_PATH_IMAGE008
、
Figure 666057DEST_PATH_IMAGE009
和
Figure 899592DEST_PATH_IMAGE010
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于消息中间件的数据迁移方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于消息中间件的数据迁移方法，如图1所示，包括：
S1、当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
S2、将所述源数据存入预设的数据队列中；
S3、根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
S4、将匹配的源数据传输至合适的目标存储单元。
上述技术方案的工作原理为：
源存储单元具体为存储器和硬盘等任意具有存储能力的存储设备；源存储单元为一个或多个；当源存储单元满足预设的数据迁移条件时，会自动发送迁移请求，请求将其中的部分数据迁移至其它存储单元；预设的数据队列具体为消息中间中提供的数据队列；当源存储单元发出迁移请求时，根据该迁移请求读取与该迁移请求对应的源数据；然后，将该源数据存入数据队列中；接着，目标存储单元就会发送接收请求，根据接收请求选择与该接收请求对应的数据队列中的源数据并根据该接收请求筛选出最合适的目标存储单元作为迁移目标；最后，将与接收请求对应的数据队列中的源数据传输至迁移目标；将数据从源存储单元存入数据队列中和将数据队列中的数据迁移至目标存储单元时，可以由多个任务同时进行；数据队列中的数据可以迁移至多个目标存储单元。
上述技术方案的有益效果为：本发明实施例将源存储单元中的源数据事先存入数据队列，根据目标存储单元发送的接收请求确定合适的目标存储单元后。将数据队列中的源数据传输至合适的目标存储单元，通过消息中间件实现了数据的中转，自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。
本发明实施例提供了一种基于消息中间件的数据迁移方法，所述当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据，包括：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。
上述技术方案的工作原理为：
预设的数目阈值具体为：源存储单元中数据过载的指标值；源存储单元中的数据数目大于该数目阈值时，则说明源存储单元存储数据过载；用户可以在客户端输入数据迁移指令，指出将源存储单元的某数据发布在消息中间件中；源存储单元还可以设置有数据暂存服务，可定义暂存时间，当对某数据的数据暂存服务结束时，也发出迁移请求；访问权限是源存储单元的独有访问权限，可以使用访问权限对源存储单元进行访问；访问许可时间，可以为1小时、2小时或永久等，意味着与源存储单元进行访问受时间限制；第一存储路径是需要迁移出源存储单元的数据在源存储单元中的存储路径，通过第一存储路径可以读取出需要迁移出源存储单元的源数据；预设的计时器具体为硬件或软件计时器。
上述技术方案的有益效果为：本发明实施例通过源存储单元发出的迁移请求中的访问权限与源存储单元建立连接，同时连接时长受访问许可时间限制，通过第一存储路径读取需要迁移出源存储单元的数据，提升了源存储单元的安全性，丰富了应用场景。
本发明实施例提供了一种基于消息中间件的数据迁移方法，所述将所述源数据存入预设的数据队列中，包括：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
上述技术方案的工作原理为：
预设的数据队列具体为消息中间中提供的数据队列；预设的判定规则具体为：若数据队列中有未被存储数据的位置且该位置未被标记活跃状态，将该位置作为空闲位置，多个空闲位置组合获得空闲队列；每当有新的源数据要存储到数据队列中时，都要将该源数据存入空闲队列的最前端即目标位置；当源数据存入目标位置时，就要将目标位置标记为活跃状态，防止其它数据也存入该目标位置；当源数据传输完毕时，取消对该目标位置的活跃状态标记；最前端具体为：当队列从上至下排序时，最上面的位置作为最前端；当队列从左至右排序时，最左边的位置作为最前端。
上述技术方案的有益效果为：本发明实施例将要迁移出源存储单元的源数据事先存入消息中间件中的数据队列中空闲位置的最前端即目标位置，并且在源数据传输至目标位置时，将该目标位置标记为活跃状态，避免其它数据误传至该目标位置，提升了对源数据传输的管理能力。
本发明实施例提供了一种基于消息中间件的数据迁移方法，所述根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元，包括：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure 136669DEST_PATH_IMAGE001
；
其中，
Figure 113853DEST_PATH_IMAGE002
为性能评价指数，
Figure 244620DEST_PATH_IMAGE003
为目标存储单元的可用存储空间大小，
Figure 649056DEST_PATH_IMAGE004
为目标存储单元 的读取能力指标值，
Figure 373430DEST_PATH_IMAGE005
为目标存储单元的写入能力指标值，
Figure 154304DEST_PATH_IMAGE006
为目标存储单元的实时进程 数，
Figure 405157DEST_PATH_IMAGE007
、
Figure 855861DEST_PATH_IMAGE008
、
Figure 192164DEST_PATH_IMAGE009
和
Figure 511150DEST_PATH_IMAGE010
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
上述技术方案的工作原理为：
用户级请求具体为：用户通过客户端输入的订阅请求，为一个或多个；系统级请求具体为：由目标存储单元独自发送的接收请求；第一、第二特征标识具体为：数据的主题名称、关键词和特征代码等任意可以进行方便查询的检索词；第二存储路径为目标存储单元提供的存储路径，可以根据此存储路径将数据存入目标存储单元；可用存储空间大小具体为目标存储单元还可以使用的存储空间；所需存储空间大小具体为要存入目标存储单元的源数据自身的数据大小；读取能力指标值和写入能力指标值具体为该目标存储单元每秒进行读取和写入操作的次数（IOPS）；实时进程数具体为：目标存储单元正在进行存入数据的进程数；目标存储单元必须同时满足可以存储空间大小大于所述存储空间大小，读取能力指标值大于等于预设的第一指标阈值，写入能力指标值大于等于预设的第二指标阈值，实时进程数小于预设的进程数阈值这四个条件才将其纳入待筛选队列；预设的第一指标阈值具体为对读取能力做出要求而设定的值；预设的第二指标阈值具体为对写入能力做出要求而设定的值；预设的进程数阈值具体为对进程数做出要求要设定的值；对待筛选队列中的目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数赋予对应的权重值计算性能评价指数；选取待筛选队列中性能评价指数最大的目标存储单元存入源数据；将匹配的源数据传输至合适的目标存储单元时，只要将匹配的源数据向合适目标存储单元的第二存储路径或第三存储路径传输即可。
上述技术方案的有益效果为：本发明实施例根据目标存储单元发送的接收要求确定与接收要求匹配的数据队列中的源数据和合适的目标存储单元，实现了自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。
本发明实施例提供了一种基于消息中间件的数据迁移方法，所述将匹配的源数据传输至合适的目标存储单元，包括：
获取多个预设的传输路径；
将匹配的源数据通过所述传输路径传输至合适的目标存储单元；
构建第一自学习模型：
Figure 616509DEST_PATH_IMAGE037
Figure 238115DEST_PATH_IMAGE038
Figure 796135DEST_PATH_IMAGE013
其中，
Figure 918812DEST_PATH_IMAGE014
为对第
Figure 878678DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第
Figure 671184DEST_PATH_IMAGE016
次调节后的参数值，
Figure 982080DEST_PATH_IMAGE017
为对 第
Figure 642868DEST_PATH_IMAGE018
个传输路径的相对使用比例进行第
Figure 457241DEST_PATH_IMAGE016
次调节后的参数值，
Figure 686228DEST_PATH_IMAGE019
为传输路径数目总和，
Figure 218840DEST_PATH_IMAGE020
为对第
Figure 683320DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第n次调节的调节变化量，
Figure 352198DEST_PATH_IMAGE021
为多个传输路径第
Figure 752087DEST_PATH_IMAGE016
次调节后的总吞吐量，
Figure 771995DEST_PATH_IMAGE022
和
Figure 774586DEST_PATH_IMAGE023
为预设的调节系数，其中，
Figure 563551DEST_PATH_IMAGE024
；
构建第二自学习模型；
每隔预设的时间间隔，执行包括如下操作：
使用所述第一自学习模型对所述传输路径进行学习；
学习开始时，预设的计时器开始计时，当所述计时器计时达到预设的第一时间值时，停止学习，获取所述第一自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第一待更新参数组以及与所述第一待更新参数组对应的所述传输路径的第一总吞吐量；
使用所述第二自学习模型对所述传输路径进行学习；
学习开始时，所述计时器开始计时，当所述计时器计时达到预设的第二时间值时，停止学习，获取所述第二自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第二待更新参数组以及与所述第二待更新参数组对应的所述传输路径的第二总吞吐量；
获取当前多个传输路径的相对使用比例组合成原始参数组；
若所述第一总吞吐量大于等于所述第二总吞吐量，使用所述第一待更新参数组对所述原始参数组进行覆盖更新设置；
若所述第一总吞吐量小于所述第二总吞吐量，使用所述第二待更新参数组对所述原始参数组进行覆盖更新设置。
上述技术方案的工作原理为：
确定好合适的目标存储单元后，将匹配的源数据采用多路径传输；第一自学习模型对多个传输路径进行学习时，可以对各个传输路径的相对使用比例这个参数根据对传输路径的总吞吐量的影响效果进行不断修正直至传输路径的总吞吐量达到最接近最大值时，输出各个传输路径对应的最理想化的应该设置的相对使用比例；相对使用比例具体为某一个传输路径中发送的数据量与多个路径发送的数据总量的比值；系统可以将要进行多路径传输的源数据按各个路径的相对使用比例进行划分后通过该多路径进行传输；第二自学习模型也可以输出各个传输路径对应的最理想化的应该设置的相对使用比例；在实际应用时，可以比较这个两个模型在停止学习前最后一次修正后多个传输路径的总体吞吐量的大小，来选择选取哪个自学习模型输出的参数对多个传输路径进行配置；覆盖更新设置具体为：使用新的参数组将原先设置的参数组一一对应进行覆盖，将多路径传输的参数组更改为新的参数组；传输路径的顺序具体为：传输路径的排列顺序，使用自学习模型对传输路径进行学习时，输入模型的各通道相对使用比例参数顺序也是该排列顺序。
上述技术方案的有益效果为：本发明实施例的第一自学习模型和第二自学习模型可以寻找出产生最接近最大吞吐量的各传输路径的相对使用比例参数，使用该相对使用比例参数可以极大地提升系统的传输能力，提升了工作效率，保障了传输的稳定性，同时，也更加智能化。
本发明实施例提供了一种基于消息中间件的数据迁移方法，所述构建第二自学习模型，包括：
构建第二自学习模型：
Figure 396990DEST_PATH_IMAGE039
Figure 638616DEST_PATH_IMAGE040
Figure 444898DEST_PATH_IMAGE027
其中，
Figure 229314DEST_PATH_IMAGE028
为对第
Figure 830060DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 824560DEST_PATH_IMAGE030
次调节后的参数值，
Figure 168954DEST_PATH_IMAGE031
为 对第
Figure 807877DEST_PATH_IMAGE032
个传输路径的相对使用比例进行第
Figure 579524DEST_PATH_IMAGE030
次调节后的参数值，
Figure 61321DEST_PATH_IMAGE033
为传输路径数目总和，
Figure 209405DEST_PATH_IMAGE034
为对第
Figure 702835DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 910962DEST_PATH_IMAGE030
次调节的调节变化量，
Figure 614476DEST_PATH_IMAGE035
为多个传 输路径第
Figure 300672DEST_PATH_IMAGE030
次调节后的总吞吐量，
Figure 914187DEST_PATH_IMAGE036
为预设的调节系数。
上述技术方案的工作原理为：
若对各个传输路径的相对使用比例进行调节后，多个传输路径的总吞吐量比之前一次修正后的总吞吐量大，说明修正的方向是正确的，对各个路径的相对使用比例参数继续增加修正值；若若对各个传输路径的相对使用比例进行调节后，多个传输路径的总吞吐量比之前一次修正后的总吞吐量小，说明修正的方向是错误的，首先要加载前一次进行修正后的参数值，还要减小修正量，重新对该参数值进行修正；以此循环，直至找出使各个传输路径的总吞吐量最接近最大吞吐量的各个传输路径相对使用比例的参数值。
上述技术方案的有益效果为：本发明实施例的第二自学习模型可以寻找出产生最接近最大吞吐量的各传输路径的相对使用比例参数，使用该相对使用比例参数可以极大地提升系统的传输能力，提升了工作效率，保障了传输的稳定性，同时，也更加智能化。
本发明实施例提供了一种基于消息中间件的数据迁移系统，包括：
读取模块，用于当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
存入模块，用于将所述源数据存入预设的数据队列中；
确定模块，用于根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
传输模块，用于将匹配的源数据传输至合适的目标存储单元。
上述技术方案的工作原理为：
源存储单元具体为存储器和硬盘等任意具有存储能力的存储设备；源存储单元为一个或多个；当源存储单元满足预设的数据迁移条件时，会自动发送迁移请求，请求将其中的部分数据迁移至其它存储单元；预设的数据队列具体为消息中间中提供的数据队列；当源存储单元发出迁移请求时，根据该迁移请求读取与该迁移请求对应的源数据；然后，将该源数据存入数据队列中；接着，目标存储单元就会发送接收请求，根据接收请求选择与该接收请求对应的数据队列中的源数据并根据该接收请求筛选出最合适的目标存储单元作为迁移目标；最后，将与接收请求对应的数据队列中的源数据传输至迁移目标；将数据从源存储单元存入数据队列中和将数据队列中的数据迁移至目标存储单元时，可以由多个任务同时进行；数据队列中的数据可以迁移至多个目标存储单元。
上述技术方案的有益效果为：本发明实施例将源存储单元中的源数据事先存入数据队列，根据目标存储单元发送的接收请求确定合适的目标存储单元后。将数据队列中的源数据传输至合适的目标存储单元，通过消息中间件实现了数据的中转，自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。
本发明实施例提供了一种基于消息中间件的数据迁移系统，所述读取模块执行包括如下操作：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。、
上述技术方案的工作原理为：
预设的数目阈值具体为：源存储单元中数据过载的指标值；源存储单元中的数据数目大于该数目阈值时，则说明源存储单元存储数据过载；用户可以在客户端输入数据迁移指令，指出将源存储单元的某数据发布在消息中间件中；源存储单元还可以设置有数据暂存服务，可定义暂存时间，当对某数据的数据暂存服务结束时，也发出迁移请求；访问权限是源存储单元的独有访问权限，可以使用访问权限对源存储单元进行访问；访问许可时间，可以为1小时、2小时或永久等，意味着与源存储单元进行访问受时间限制；第一存储路径是需要迁移出源存储单元的数据在源存储单元中的存储路径，通过第一存储路径可以读取出需要迁移出源存储单元的源数据；预设的计时器具体为硬件或软件计时器。
上述技术方案的有益效果为：本发明实施例通过源存储单元发出的迁移请求中的访问权限与源存储单元建立连接，同时连接时长受访问许可时间限制，通过第一存储路径读取需要迁移出源存储单元的数据，提升了源存储单元的安全性，丰富了应用场景。
本发明实施例提供了一种基于消息中间件的数据迁移系统，所述存入模块执行包括如下操作：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
上述技术方案的工作原理为：
预设的数据队列具体为消息中间中提供的数据队列；预设的判定规则具体为：若数据队列中有未被存储数据的位置且该位置未被标记活跃状态，将该位置作为空闲位置，多个空闲位置组合获得空闲队列；每当有新的源数据要存储到数据队列中时，都要将该源数据存入空闲队列的最前端即目标位置；当源数据存入目标位置时，就要将目标位置标记为活跃状态，防止其它数据也存入该目标位置；当源数据传输完毕时，取消对该目标位置的活跃状态标记；最前端具体为：当队列从上至下排序时，最上面的位置作为最前端；当队列从左至右排序时，最左边的位置作为最前端。
上述技术方案的有益效果为：本发明实施例将要迁移出源存储单元的源数据事先存入消息中间件中的数据队列中空闲位置的最前端即目标位置，并且在源数据传输至目标位置时，将该目标位置标记为活跃状态，避免其它数据误传至该目标位置，提升了对源数据传输的管理能力。
本发明实施例提供了一种基于消息中间件的数据迁移系统，所述确定模块执行包括如下操作：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure 27637DEST_PATH_IMAGE001
；
其中，
Figure 218447DEST_PATH_IMAGE002
为性能评价指数，
Figure 708334DEST_PATH_IMAGE003
为目标存储单元的可用存储空间大小，
Figure 176356DEST_PATH_IMAGE004
为目标存储单元 的读取能力指标值，
Figure 726286DEST_PATH_IMAGE005
为目标存储单元的写入能力指标值，
Figure 404392DEST_PATH_IMAGE006
为目标存储单元的实时进程 数，
Figure 432390DEST_PATH_IMAGE007
、
Figure 754919DEST_PATH_IMAGE008
、
Figure 475750DEST_PATH_IMAGE009
和
Figure 641152DEST_PATH_IMAGE010
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
上述技术方案的工作原理为：
用户级请求具体为：用户通过客户端输入的订阅请求，为一个或多个；系统级请求具体为：由目标存储单元独自发送的接收请求；第一、第二特征标识具体为：数据的主题名称、关键词和特征代码等任意可以进行方便查询的检索词；第二存储路径为目标存储单元提供的存储路径，可以根据此存储路径将数据存入目标存储单元；可用存储空间大小具体为目标存储单元还可以使用的存储空间；所需存储空间大小具体为要存入目标存储单元的源数据自身的数据大小；读取能力指标值和写入能力指标值具体为该目标存储单元每秒进行读取和写入操作的次数（IOPS）；实时进程数具体为：目标存储单元正在进行存入数据的进程数；目标存储单元必须同时满足可以存储空间大小大于所述存储空间大小，读取能力指标值大于等于预设的第一指标阈值，写入能力指标值大于等于预设的第二指标阈值，实时进程数小于预设的进程数阈值这四个条件才将其纳入待筛选队列；预设的第一指标阈值具体为对读取能力做出要求而设定的值；预设的第二指标阈值具体为对写入能力做出要求而设定的值；预设的进程数阈值具体为对进程数做出要求要设定的值；对待筛选队列中的目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数赋予对应的权重值计算性能评价指数；选取待筛选队列中性能评价指数最大的目标存储单元存入源数据；将匹配的源数据传输至合适的目标存储单元时，只要将匹配的源数据向合适目标存储单元的第二存储路径或第三存储路径传输即可。
上述技术方案的有益效果为：本发明实施例根据目标存储单元发送的接收要求确定与接收要求匹配的数据队列中的源数据和合适的目标存储单元，实现了自动选择合适且理想的存储设备作为迁移目标，提升了系统的运行效率，降低了人工成本和后期维护成本。
本发明实施例提供了一种基于消息中间件的数据迁移系统，所述传输模块执行包括如下操作：
获取多个预设的传输路径；
将匹配的源数据通过所述传输路径传输至合适的目标存储单元；
构建第一自学习模型：
Figure 472842DEST_PATH_IMAGE011
Figure 649876DEST_PATH_IMAGE012
Figure 541609DEST_PATH_IMAGE013
其中，
Figure 459886DEST_PATH_IMAGE014
为对第
Figure 702124DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第
Figure 123878DEST_PATH_IMAGE016
次调节后的参数值，
Figure 186512DEST_PATH_IMAGE017
为对 第
Figure 60927DEST_PATH_IMAGE018
个传输路径的相对使用比例进行第
Figure 375365DEST_PATH_IMAGE016
次调节后的参数值，
Figure 651626DEST_PATH_IMAGE019
为传输路径数目总和，
Figure 885161DEST_PATH_IMAGE020
为对第
Figure 246872DEST_PATH_IMAGE015
个传输路径的相对使用比例进行第n次调节的调节变化量，
Figure 833843DEST_PATH_IMAGE021
为多个传输路径第
Figure 230189DEST_PATH_IMAGE016
次调节后的总吞吐量，
Figure 634625DEST_PATH_IMAGE022
和
Figure 483633DEST_PATH_IMAGE023
为预设的调节系数，其中，
Figure 874294DEST_PATH_IMAGE024
；
构建第二自学习模型；
每隔预设的时间间隔，执行包括如下操作：
使用所述第一自学习模型对所述传输路径进行学习；
学习开始时，预设的计时器开始计时，当所述计时器计时达到预设的第一时间值时，停止学习，获取所述第一自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第一待更新参数组以及与所述第一待更新参数组对应的所述传输路径的第一总吞吐量；
使用所述第二自学习模型对所述传输路径进行学习；
学习开始时，所述计时器开始计时，当所述计时器计时达到预设的第二时间值时，停止学习，获取所述第二自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第二待更新参数组以及与所述第二待更新参数组对应的所述传输路径的第二总吞吐量；
获取当前多个传输路径的相对使用比例组合成原始参数组；
若所述第一总吞吐量大于等于所述第二总吞吐量，使用所述第一待更新参数组对所述原始参数组进行覆盖更新设置；
若所述第一总吞吐量小于所述第二总吞吐量，使用所述第二待更新参数组对所述原始参数组进行覆盖更新设置。
上述技术方案的工作原理为：
确定好合适的目标存储单元后，将匹配的源数据采用多路径传输；第一自学习模型对多个传输路径进行学习时，可以对各个传输路径的相对使用比例这个参数根据对传输路径的总吞吐量的影响效果进行不断修正直至传输路径的总吞吐量达到最接近最大值时，输出各个传输路径对应的最理想化的应该设置的相对使用比例；相对使用比例具体为某一个传输路径中发送的数据量与多个路径发送的数据总量的比值；系统可以将要进行多路径传输的源数据按各个路径的相对使用比例进行划分后通过该多路径进行传输；第二自学习模型也可以输出各个传输路径对应的最理想化的应该设置的相对使用比例；在实际应用时，可以比较这个两个模型在停止学习前最后一次修正后多个传输路径的总体吞吐量的大小，来选择选取哪个自学习模型输出的参数对多个传输路径进行配置；覆盖更新设置具体为：使用新的参数组将原先设置的参数组一一对应进行覆盖，将多路径传输的参数组更改为新的参数组；传输路径的顺序具体为：传输路径的排列顺序，使用自学习模型对传输路径进行学习时，输入模型的各通道相对使用比例参数顺序也是该排列顺序。
上述技术方案的有益效果为：本发明实施例的第一自学习模型和第二自学习模型可以寻找出产生最接近最大吞吐量的各传输路径的相对使用比例参数，使用该相对使用比例参数可以极大地提升系统的传输能力，提升了工作效率，保障了传输的稳定性，同时，也更加智能化。
本发明实施例提供了一种基于消息中间件的数据迁移系统，所述构建第二自学习模型，包括：
构建第二自学习模型：
Figure 125147DEST_PATH_IMAGE039
Figure 700484DEST_PATH_IMAGE041
Figure 36788DEST_PATH_IMAGE042
其中，
Figure 231140DEST_PATH_IMAGE028
为对第
Figure 336499DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 489263DEST_PATH_IMAGE030
次调节后的参数值，
Figure 312862DEST_PATH_IMAGE031
为 对第
Figure 435539DEST_PATH_IMAGE032
个传输路径的相对使用比例进行第
Figure 270771DEST_PATH_IMAGE030
次调节后的参数值，
Figure 187912DEST_PATH_IMAGE033
为传输路径数目总和，
Figure 498807DEST_PATH_IMAGE034
为对第
Figure 159596DEST_PATH_IMAGE029
个传输路径的相对使用比例进行第
Figure 849334DEST_PATH_IMAGE030
次调节的调节变化量，
Figure 202955DEST_PATH_IMAGE035
为多个传 输路径第
Figure 735568DEST_PATH_IMAGE030
次调节后的总吞吐量，
Figure 934468DEST_PATH_IMAGE036
为预设的调节系数。
上述技术方案的工作原理为：
若对各个传输路径的相对使用比例进行调节后，多个传输路径的总吞吐量比之前一次修正后的总吞吐量大，说明修正的方向是正确的，对各个路径的相对使用比例参数继续增加修正值；若若对各个传输路径的相对使用比例进行调节后，多个传输路径的总吞吐量比之前一次修正后的总吞吐量小，说明修正的方向是错误的，首先要加载前一次进行修正后的参数值，还要减小修正量，重新对该参数值进行修正；以此循环，直至找出使各个传输路径的总吞吐量最接近最大吞吐量的各个传输路径相对使用比例的参数值。
上述技术方案的有益效果为：本发明实施例的第二自学习模型可以寻找出产生最接近最大吞吐量的各传输路径的相对使用比例参数，使用该相对使用比例参数可以极大地提升系统的传输能力，提升了工作效率，保障了传输的稳定性，同时，也更加智能化。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于消息中间件的数据迁移方法，其特征在于，包括：
当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
将所述源数据存入预设的数据队列中；
根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
将匹配的源数据传输至合适的目标存储单元。
2.如权利要求1所述的一种基于消息中间件的数据迁移方法，其特征在于，所述当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据，包括：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。
3.如权利要求1所述的一种基于消息中间件的数据迁移方法，其特征在于，所述将所述源数据存入预设的数据队列中，包括：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
4.如权利要求1所述的一种基于消息中间件的数据迁移方法，其特征在于，所述根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元，包括：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE004
为性能评价指数，
Figure DEST_PATH_IMAGE006
为目标存储单元的可用存储空间大小，
Figure DEST_PATH_IMAGE008
为目标存储单元的读取能力指标值，
Figure DEST_PATH_IMAGE010
为目标存储单元的写入能力指标值，
Figure DEST_PATH_IMAGE012
为目标存储单元的实时进程数，
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE020
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
5.如权利要求1所述的一种基于消息中间件的数据迁移方法，其特征在于，所述将匹配的源数据传输至合适的目标存储单元，包括：
获取多个预设的传输路径；
将匹配的源数据通过所述传输路径传输至合适的目标存储单元；
构建第一自学习模型：
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE028
为对第
Figure DEST_PATH_IMAGE030
个传输路径的相对使用比例进行第
Figure DEST_PATH_IMAGE032
次调节后的参数值，
Figure DEST_PATH_IMAGE034
为对第
Figure DEST_PATH_IMAGE036
个传输路径的相对使用比例进行第
Figure 874447DEST_PATH_IMAGE032
次调节后的参数值，
Figure DEST_PATH_IMAGE038
为传输路径数目总和，
Figure DEST_PATH_IMAGE040
为对第
Figure 712959DEST_PATH_IMAGE030
个传输路径的相对使用比例进行第n次调节的调节变化量，
Figure DEST_PATH_IMAGE042
为多个传输路径第
Figure 430379DEST_PATH_IMAGE032
次调节后的总吞吐量，
Figure DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE046
为预设的调节系数，其中，
Figure DEST_PATH_IMAGE048
；
构建第二自学习模型；
每隔预设的时间间隔，执行包括如下操作：
使用所述第一自学习模型对所述传输路径进行学习；
学习开始时，预设的计时器开始计时，当所述计时器计时达到预设的第一时间值时，停止学习，获取所述第一自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第一待更新参数组以及与所述第一待更新参数组对应的所述传输路径的第一总吞吐量；
使用所述第二自学习模型对所述传输路径进行学习；
学习开始时，所述计时器开始计时，当所述计时器计时达到预设的第二时间值时，停止学习，获取所述第二自学习模型对多个传输路径的相对使用比例最后一次调节后的参数值按所述传输路径的顺序排序后组合成的第二待更新参数组以及与所述第二待更新参数组对应的所述传输路径的第二总吞吐量；
获取当前多个传输路径的相对使用比例组合成原始参数组；
若所述第一总吞吐量大于等于所述第二总吞吐量，使用所述第一待更新参数组对所述原始参数组进行覆盖更新设置；
若所述第一总吞吐量小于所述第二总吞吐量，使用所述第二待更新参数组对所述原始参数组进行覆盖更新设置。
6.如权利要求5所述的一种基于消息中间件的数据迁移方法，其特征在于，所述构建第二自学习模型，包括：
构建第二自学习模型：
Figure DEST_PATH_IMAGE050
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE056
为对第
Figure DEST_PATH_IMAGE058
个传输路径的相对使用比例进行第
Figure DEST_PATH_IMAGE060
次调节后的参数值，
Figure DEST_PATH_IMAGE062
为对第
Figure DEST_PATH_IMAGE064
个传输路径的相对使用比例进行第
Figure 592633DEST_PATH_IMAGE060
次调节后的参数值，
Figure DEST_PATH_IMAGE066
为传输路径数目总和，
Figure DEST_PATH_IMAGE068
为对第
Figure 328376DEST_PATH_IMAGE058
个传输路径的相对使用比例进行第
Figure 619680DEST_PATH_IMAGE060
次调节的调节变化量，
Figure DEST_PATH_IMAGE070
为多个传输路径第
Figure 73664DEST_PATH_IMAGE060
次调节后的总吞吐量，
Figure DEST_PATH_IMAGE072
为预设的调节系数。
7.一种基于消息中间件的数据迁移系统，其特征在于，包括：
读取模块，用于当源存储单元满足预设的数据迁移条件时，根据所述源存储单元发送的迁移请求读取源数据；
存入模块，用于将所述源数据存入预设的数据队列中；
确定模块，用于根据目标存储单元发送的接收请求确定所述数据队列中与其匹配的源数据和合适的目标存储单元；
传输模块，用于将匹配的源数据传输至合适的目标存储单元。
8.如权利要求7所述的一种基于消息中间件的数据迁移系统，其特征在于，所述读取模块执行包括如下操作：
所述数据迁移条件包括：
所述源存储单元中的数据数目大于预设的数目阈值，
和/或，
接收到用户输入的数据迁移指令，
和/或，
所述源存储单元中预设的数据暂存服务结束时；
所述迁移请求包括：访问权限、访问许可时间和第一存储路径；
根据所述访问权限与所述源存储单元建立连接；
通过所述第一存储路径读取所述源数据；
与所述源存储单元建立连接时，预设的计时器开始计时，当所述计时器计时达到所述访问许可时间时，断开与所述源存储单元的连接。
9.如权利要求7所述的一种基于消息中间件的数据迁移系统，其特征在于，所述存入模块执行包括如下操作：
获取预设的数据队列；
根据预设的判定规则确定所述数据队列中的空闲队列；
将所述空闲队列的最前端作为目标位置；
将所述源数据传输至所述目标位置；
当所述源数据传输至所述目标位置时，将所述目标位置标记为活跃状态，直至所述源数据传输完毕，取消该标记。
10.如权利要求7所述的一种基于消息中间件的数据迁移系统，其特征在于，所述确定模块执行包括如下操作：
所述接收请求包括：多个用户级请求和系统级请求；
解析所述用户级请求获得第一特征标识和第二存储路径；
根据所述第一特征标识确定所述数据队列中与其匹配的源数据；
将与所述第二存储路径对应的目标存储单元作为合适的目标存储单元；
和/或，
解析所述系统级请求获得第二特征标识、目标存储单元的可用存储空间大小、读取能力指标值、写入能力指标值、第三存储路径和实时进程数；
根据所述第二特征标识确定所述数据队列中与其匹配的源数据；
确定与所述第二特征标识匹配的源数据的所需存储空间大小；
在目标存储单元中查找满足预设的筛选条件的目标存储单元，将其列入待筛选队列；
所述筛选条件包括：
目标存储单元的可用存储空间大小大于所述所需存储空间大小，
且，
目标存储单元的读取能力指标值大于等于预设的第一指标阈值，
且，
目标存储单元的写入能力指标值大于等于预设的第二指标阈值，
且，
目标存储单元的实时进程数小于等于预设的进程数阈值；
计算所述待筛选队列中的目标存储单元的性能评价指数：
Figure 210248DEST_PATH_IMAGE002
；
其中，
Figure 347968DEST_PATH_IMAGE004
为性能评价指数，
Figure 62370DEST_PATH_IMAGE006
为目标存储单元的可用存储空间大小，
Figure 285541DEST_PATH_IMAGE008
为目标存储单元的读取能力指标值，
Figure 491395DEST_PATH_IMAGE010
为目标存储单元的写入能力指标值，
Figure 483622DEST_PATH_IMAGE012
为目标存储单元的实时进程数，
Figure 631575DEST_PATH_IMAGE014
、
Figure 342042DEST_PATH_IMAGE016
、
Figure 86007DEST_PATH_IMAGE018
和
Figure 198320DEST_PATH_IMAGE020
为预设的权重值；
选取所述待筛选队列中性能评价指数最大的目标存储单元作为合适的目标存储单元。
CN202110039304.9A 2021-01-13 2021-01-13 一种基于消息中间件的数据迁移方法及系统 Active CN112363678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039304.9A CN112363678B (zh) 2021-01-13 2021-01-13 一种基于消息中间件的数据迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110039304.9A CN112363678B (zh) 2021-01-13 2021-01-13 一种基于消息中间件的数据迁移方法及系统

Publications (2)

Publication Number Publication Date
CN112363678A true CN112363678A (zh) 2021-02-12
CN112363678B CN112363678B (zh) 2021-04-30

Family

ID=74534813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039304.9A Active CN112363678B (zh) 2021-01-13 2021-01-13 一种基于消息中间件的数据迁移方法及系统

Country Status (1)

Country Link
CN (1) CN112363678B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342783A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113849129A (zh) * 2021-09-18 2021-12-28 苏州浪潮智能科技有限公司 一种存储控制器间的io请求转发方法、装置及设备
CN116028433A (zh) * 2022-05-16 2023-04-28 荣耀终端有限公司 数据迁移方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092119A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Data migration between different types of storage systems
CN105718507A (zh) * 2016-01-06 2016-06-29 杭州数梦工场科技有限公司 一种数据迁移方法和装置
CN106406754A (zh) * 2016-08-31 2017-02-15 北京小米移动软件有限公司 数据迁移方法及装置
CN108089814A (zh) * 2016-11-23 2018-05-29 中移(苏州)软件技术有限公司 一种数据存储方法及装置
CN111694517A (zh) * 2020-05-28 2020-09-22 新浪网技术(中国)有限公司 分布式数据迁移方法、系统和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092119A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Data migration between different types of storage systems
CN105718507A (zh) * 2016-01-06 2016-06-29 杭州数梦工场科技有限公司 一种数据迁移方法和装置
CN106406754A (zh) * 2016-08-31 2017-02-15 北京小米移动软件有限公司 数据迁移方法及装置
CN108089814A (zh) * 2016-11-23 2018-05-29 中移(苏州)软件技术有限公司 一种数据存储方法及装置
CN111694517A (zh) * 2020-05-28 2020-09-22 新浪网技术(中国)有限公司 分布式数据迁移方法、系统和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342783A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113849129A (zh) * 2021-09-18 2021-12-28 苏州浪潮智能科技有限公司 一种存储控制器间的io请求转发方法、装置及设备
CN113849129B (zh) * 2021-09-18 2023-08-25 苏州浪潮智能科技有限公司 一种存储控制器间的io请求转发方法、装置及设备
CN116028433A (zh) * 2022-05-16 2023-04-28 荣耀终端有限公司 数据迁移方法和电子设备
CN116028433B (zh) * 2022-05-16 2023-10-20 荣耀终端有限公司 数据迁移方法和电子设备

Also Published As

Publication number Publication date
CN112363678B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112363678B (zh) 一种基于消息中间件的数据迁移方法及系统
US7877481B2 (en) Method and apparatus for overflowing data packets to a software-controlled memory when they do not fit into a hardware-controlled memory
US9929970B1 (en) Efficient resource tracking
RU2767602C1 (ru) Способ и устройство обратной связи по гибридному автоматическому запросу повторения передачи
US5594872A (en) Method of communicating messages in a distributed processing system
US20230409962A1 (en) Sampling user equipments for federated learning model collection
CN1333505A (zh) 用于管理在计算环境的存储设备上的空间分配的系统和方法
CN102036388B (zh) 移动通信系统中的资源调度方法与装置
WO2011040659A1 (ko) 무선 센서 네트워크에서 소비 에너지와 서비스 품질을 고려한 데이터 송신 방법
RU2008106439A (ru) Способ и устройство для расширенных индексов управления скоростью передачи данных в системе беспроводной связи
CN117292221A (zh) 基于联邦元学习的图像识别方法及系统
CN106878083B (zh) 一种节点选举方法及装置
CN112822051B (zh) 基于业务感知的业务加速方法
US7469203B2 (en) Wireless network hybrid simulation
CN110826915A (zh) 资源调度方法、设备及计算机可读存储介质
CN103034267A (zh) 用于控制设施装置的设备和方法
CN116050540B (zh) 一种基于联合双维度用户调度的自适应联邦边缘学习方法
CN112888004A (zh) 一种物联网中多源节点信息更新的信息年龄优化方法
CN111176846A (zh) 任务分配方法及装置
CN112532348B (zh) 基于通信信道的链路自适应方法、装置、设备及存储介质
CN116048413B (zh) 多路径存储的io请求处理方法、装置、系统及存储介质
CN109548048B (zh) 一种通信网络中的干扰建模方法
WO2021072862A1 (zh) 大数据集群的更新方法、装置、计算机设备和存储介质
EP1511236A1 (en) Packet transfer circuit and packet transfer method
CN112584525B (zh) 基于多用户接入的上行数据分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant