CN113282571A - 数据转移方法、装置、电子设备和存储介质 - Google Patents
数据转移方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113282571A CN113282571A CN202110578578.5A CN202110578578A CN113282571A CN 113282571 A CN113282571 A CN 113282571A CN 202110578578 A CN202110578578 A CN 202110578578A CN 113282571 A CN113282571 A CN 113282571A
- Authority
- CN
- China
- Prior art keywords
- metadata
- source device
- task
- data transfer
- recovery task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011084 recovery Methods 0.000 claims abstract description 98
- 238000013507 mapping Methods 0.000 claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 4
- 238000012795 verification Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据转移方法、装置、电子设备和存储介质，涉及数据存储技术领域。具体实现方案为：确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，确定源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成第一元数据恢复任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将对应的数据转移至对应的目标设备，本申请中调度端根据设备映射表中各存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，提高了数据转移的效率。
Description
技术领域
本公开涉及数据存储技术领域，尤其涉及一种数据转移方法、装置、电子设备和存储介质。
背景技术
分布式内存存储/访问技术，将实时数据分布存储在服务器集群的内存中，相比传统数据库，这种直接从内存中存取数据的方式不仅更快速，同时也能避免读取I/O的操作瓶颈，更符合企业短时间处理大量实时交易数据的需求。
然而，随着处理交易数据量的不断增大和存储设备使用年限的变化，当存储设备使用满足一定年限后，会有大批量的设备需要下线，并且替换为新的存储设备，而存储设备的升级更新会给数据的访问带来一定影响，因此，如何高效的进行存储设备的数据转移是亟待解决的技术问题。
发明内容
本公开提供了一种用于提高数据转移效率的数据转移方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种数据转移方法，包括：
确定待置换的源设备；
获取设备映射表；其中，所述映射表中包含所述待置换的源设备和目标设备的对应关系；
确定所述源设备中存在待恢复的元数据情况下，根据所述设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务；
将所述第一元数据恢复任务发送至所述源设备，以使得所述源设备根据所述第一元数据恢复任务将所述待恢复的元数据转移至对应的目标设备。
根据本公开的另一方面，提供了一种数据转移装置，其特征在于，包括：
第一确定装置，用于确定待置换的源设备；
获取装置，用于获取设备映射表；其中，所述映射表中包含所述待置换的源设备和目标设备的对应关系；
生成装置，用于确定所述源设备中存在待恢复的元数据情况下，根据所述设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务；
发送装置，用于将所述第一元数据恢复任务发送至所述源设备，以使得所述源设备根据所述第一元数据恢复任务将所述待恢复的元数据转移至对应的目标设备。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
本实施例所提供的技术方案，可以包含如下的有益效果：
确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，确定源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成第一数据转移任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将待恢复的元数据转移至对应的目标设备，本申请中调度端根据设备映射表中个存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，提高了数据转移的效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本申请实施例提供的一种数据转移方法的流程示意图；
图2为本申请实施例提供的另一种数据转移方法的流程示意图；
图3为本实施例提供的一种数据转移装置的结构示意图；
图4为本公开实施例提供的电子设备800的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的数据转移方法、装置、电子设备和存储介质。
图1为本申请实施例提供的一种数据转移方法的流程示意图。
如图1所示，该数据转移方法，由元信息服务器执行，可以包括以下步骤：
步骤101，确定待置换的源设备。
本实施例中的元信息服务器，用于对待置换的源设备进行数据转移的管理，其中，待置换的源设备，为服务时间达到服务阈值时间，或者是存储容量无法满足数据存储需求的设备。源设备为存储数据的设备，例如数据服务器。
步骤102，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系。
本实施例中，设备映射表是根据需要置换的源设备，和用于替代待置换的源设备的目标设备，预先建立的。
在一种场景下，源设备和目标设备存储容量相近，设备映射表中建立的是一个源设备和一个目标设备的对应关系，即一个源设备对应一个目标设备，如表1所示。
表1
作为第二种可能的实现方式，目标设备存储容量较大，则设备映射表中建立的是多个源设备和一个目标设备间的对应关系，即多个源设备对应一个目标设备，也就是说多个源设备上的数据转移至一个目标设备，如表2所示。
表2
| 源设备 | 目标设备 |
| A1 | C1 |
| A2 | C1 |
| B1 | D1 |
| B2 | D1 |
例如，源设备A1和A2上的数据，均转移至目标设备C1中。
需要说明的是，在预先建立映射表时，可按照待置换的源设备预先的存储结构关系进行建立，以使得在设备从源设备更新替换为目标设备后可保持原有的存储结构关系，以提高数据存储的安全性和可靠性。
步骤103，确定源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成源设备的第一元数据恢复任务。
本实施例中，确定待置换的源设备后，若待置换的源设备中存在待恢复的元数据情况下，可根据设备映射表中存储的源设备和目标设备间的对应关系，建立源设备中待转移数据的第一元数据恢复任务，其中，第一元数据恢复任务用于将源设备中相应待恢复元数据转移至目标设备，需要理解的是，若待转移的元数据数据量大于第一元数据恢复任务的数据传输量，则将待恢复的元数据中符合第一元数据恢复任务的待恢复数据量转移至目标设备，并通过再建立新的第一元数据恢复任务，进行剩余的待恢复数据的转移。
其中，为提高源设备向目标设备进行数据转移的可靠度，在本实施例的一个示例中，数据转移的方式为数据复制，从而实现源设备向目标设备的数据镜像转移，提高数据转移的可靠性。
步骤104，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将待恢复的元数据转移至对应的目标设备。
本实施例中，元信息服务器生成第一元数据恢复任务后，将第一元数据恢复任务发送至需要进行数据转移的源设备，以使得源设备在获取到第一元数据恢复任务后，根据第一元数据恢复任务将待恢复的元数据转移至对应的目标设备，通过元信息服务器作为调度端，实现了源设备中的元数据自动转移至目标设备中，提高了数据转移的效率。
可选地，第一元数据恢复任务中，还可以包含在将源设备中的数据转移至目标设备时，数据转移的速度和/或数据传输量，通过对数据转移速度和/或数据传输量的控制，以实现对源设备中数据转移所占用的带宽的控制，以满足源设备在进行数据转移时，还可以进行正常的读写等操作，满足不同场景的需求。
本实施例的数据转移方法中，确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，确定所述源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成第一元数据恢复任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将对应的数据转移至对应的目标设备，本申请中调度端根据设备映射表中个存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，提高了数据转移的效率。
基于上述实施例，本实施例提供了另一种数据转移方法，图2为本申请实施例提供的另一种数据转移方法的流程示意图，如图2所示，该方法包含以下步骤：
步骤201，确定待置换的源设备。
具体可参照上述实施例中的说明，本实施例中不再赘述。
步骤202，获取设备映射表。
其中，映射表中包含源设备中各个第一存储单元和目标设备中各个第二存储单元间的对应关系。
本实施例中，为了便于对源设备中的元数据转移进行管理，源设备中通常包含多个存储单元，分别用于存储不同的元数据，从而，本实施例中可预先设置映射表中包含源设备中各个第一存储单元和目标设备中各个第二存储单元间的对应关系，以便于对源设备中不同存储单元中待转移元数据进行数据转移的管理。
步骤203，获取源设备上执行的至少一个第二元数据恢复任务。
步骤204，根据每一个第二元数据恢复任务，确定每一个第二元数据恢复任务的任务参数。
本实施例中，在生成第一元数据恢复任务之前，需要先获取源设备上正在执行的至少一个第二元数据恢复任务，根据正在执行的至少一个第二元数据恢复任务的任务参数，确定是否可以生成第一元数据恢复任务，以进行元数据恢复任务的并行执行。
步骤205，根据每一个第二元数据恢复任务的任务参数，确定是否生成第一元数据恢复任务。
其中，任务参数包括数据转移速度和/或数据传输量。
在本实施例的一种实现方式中，根据每一个第二元数据恢复任务的任务参数，确定总数据转移速度和/或总数据传输量，如果总数据转移速度小于或等于速度阈值，且总数据传输量小于或等于数据量阈值，则生成第一元数据恢复任务，以实现多个元数据恢复任务并行执行，提高数据转移的效率和可靠性；如果总数据转移速度大于速度阈值，或者，总数据传输量大于数据量阈值，则不生成第一元数据恢复任务，也就是说在转移速度和总数据传输量任一条件不满足时，则不生成第一元数据恢复任务，以实现对并行执行的元数据恢复任务数量的控制，提高了可靠性。
步骤206，确定源设备中未进行数据转移的第一存储单元。
本实施例中，源设备中包含多个用于存储元数据的第一存储单元，从多个第一存储单元中，确定源设备中未进行数据转移的第一存储单元，也就是说该第一存储单元中存在待转移的元数据，以便于基于元信息服务器的调度，进行第一存储单元中存储的元数据的转移。
步骤207，确定可以生成第一元数据恢复任务，则根据设备映射表和第一存储单元，生成第一元数据恢复任务。
本实施例中，通过检测传输速度和数据传输量的限制条件，在确定可以生成第一元数据恢复任务时，根据设备映射表和第一存储单元，生成第一元数据恢复任务，实现了第一元数据恢复任务和第二元数据恢复任务的多个元数据恢复任务的并行执行，提高了数据转移的效率，同时平衡了系统的性能。
其中，第一元数据恢复任务用于将第一存储单元中的数据转移至目标设备中对应的第二存储单元。
步骤208，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将待恢复的元数据转移至对应的目标设备。
具体可参照前述方法实施例中的解释说明，原理相同，此处不再赘述。
本实施例的数据转移方法中，确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，根据设备映射表和待置换的源设备，生成第一元数据恢复任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将对应的待恢复元数据转移至对应的目标设备，本申请中调度端根据设备映射表中个存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，通过控制并行传输，提高了数据转移的效率，而在并行传输的过程中，通过传输速度和总传输数据量的控制，在保证数据传输效率的同时，平衡了系统的性能。
基于上述实施例，在本实施例的一个示例中，元信息服务器在将生成的第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将数据转移至目标设备，其中，第一元数据恢复任务中指示了源设备在将转移数据转移至目标设备时，携带了转移数据的验证信息，为了便于区分，称为第一验证信息，进而，目标设备根据获取到的数据，生成新的验证信息，称为第二验证信息，将第一验证信息和第二验证信息进行匹配，在一种场景下，若第一验证信息和第二验证信息匹配，则确定目标设备获取到的数据和源设备发送的数据相同，则目标设备向元信息服务器发送第一反馈信息，元信息服务器在获取到目标设备发送的第一反馈信息后，在元信息服务器中将数据的存储位置由源设备更新为目标设备，实现了数据存储位置的更新，可实现对数据的管理。在另一种场景下，若第一验证信息和第二验证信息不匹配，则确定目标设备获取到的数据和源设备发送的数据不相同，也就是说没有成功将源设备中的相应数据复制至目标设备中，则目标设备向元信息服务器发送第二反馈信息，元信息服务器在获取到目标设备发送的第二反馈信息后，清除当前的第一元数据恢复任务，并获取预设的数据转移规则，其中，预设的数据转移规则指示了待转移的源设备中数据转移的顺序，例如，若设备映射表中存储的是设备级的映射关系，则预设的数据转移规则则为设备级，如，源设备为A、B和C，预设的数据转移规则为源设备A、源设备C和源设备B，或者预设的数据转移规则为源设备A、源设备B和源设备C，本实施例中不一一列举。若设备映射表中存储的是存储单元级的映射关系，则预设的数据转移规则则为存储单元级。进而，根据预设的数据转移规则和设备映射表，确定第三元数据恢复任务，其中第三元数据恢复任务为第一元数据恢复任务时候后，建立的下一个待执行的元数据恢复任务。
为了实现上述实施例，本实施例提供了一种数据转移装置。
图3为本实施例提供的一种数据转移装置的结构示意图，如图3所示，该装置包括：
第一确定模块31，用于确定待置换的源设备。
获取模块32，用于获取设备映射表；其中，所述映射表中包含所述待置换的源设备和目标设备的对应关系。
生成模块33，用于确定所述源设备中存在待恢复的元数据情况下，根据所述设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务。
发送模块34，用于将所述第一元数据恢复任务发送至所述源设备，以使得所述源设备根据所述第一元数据恢复任务将待恢复的数据转移至对应的目标设备。
进一步，在本实施例的一种可能的实现方式中，所述映射表中包含所述源设备中各个第一存储单元和所述目标设备中各个第二存储单元间的对应关系，所述生成模块33，具体用于：
确定所述源设备中未进行数据转移的第一存储单元；
根据所述设备映射表和所述第一存储单元，生成第一元数据恢复任务，所述第一元数据恢复任务用于将所述第一存储单元中的数据转移至所述目标设备中对应的第二存储单元。
在本实施例的一种可能的实现方式中，还包括：
获取模块32，用于获取所述源设备上执行的至少一个第二元数据恢复任务；
第二确定模块，用于根据每一个所述第二元数据恢复任务，确定每一个所述第二元数据恢复任务的任务参数；
处理模块，用于根据每一个所述第二元数据恢复任务的任务参数，确定是否生成所述第一元数据恢复任务。
在本实施例的一种可能的实现方式中，所述任务参数包括数据转移速度和/或总数据传输量，其中，所述处理模块，具体还用于：
根据每一个所述第二元数据恢复任务的任务参数，确定总数据转移速度和/或总数据传输量；
如果所述总数据转移速度小于或等于速度阈值，且所述总数据传输量小于或等于数据量阈值，则生成所述第一元数据恢复任务；
如果所述总数据转移速度大于速度阈值，或者，所述总数据传输量大于数据量阈值，则不生成所述第一元数据恢复任务。
在本实施例的一种可能的实现方式中，所述装置还包括：
获取模块32，用于获取所述目标设备发送的第一反馈信息，其中，所述第一反馈信息由所述目标设备对获取的数据验证成功后生成；
更新模块，用于根据所述第一反馈信息，更新元信息服务器中记录的所述数据的存储位置。
在本实施例的一种可能的实现方式中，获取模块32，用于获取所述目标设备发送的第二反馈信息，其中，所述第二反馈信息由所述目标设备对获取的数据验证失败后生成。
所述第二确定模块，还用于根据所述第二反馈信息、所述设备映射表和预设的数据转移规则，确定第三元数据恢复任务。
需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再赘述。
本实施例的数据转移装置中，确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，确定所述源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成第一元数据恢复任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将待恢复的元数据转移至对应的目标设备，本申请中调度端根据设备映射表中个存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，提高了数据转移的效率。
为了实现上述实施例，本实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例所述的方法。
为了实现上述实施例，本实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例所述的方法。
为了实现上述实施例，本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述方法实施例所述的方法。
图4为本公开实施例提供的电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备800包括计算单元801，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)802中的计算机程序或者从存储单元808加载到RAM(Random AccessMemory，随机访问/存取存储器)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。I/O(Input/Output，输入/输出)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据转移方法。例如，在一些实施例中，数据转移方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的数据转移方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据转移方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (10)
1.一种数据转移方法，其特征在于，包括：
确定待置换的源设备；
获取设备映射表；其中，所述映射表中包含所述待置换的源设备和目标设备的对应关系；确定所述源设备中存在待恢复的元数据情况下，根据所述设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务；
将所述第一元数据恢复任务发送至所述源设备，以使得所述源设备根据所述第一元数据恢复任务将所述待恢复的元数据转移至对应的目标设备。
2.如权利要求1所述的方法，其特征在于，所述映射表中包含所述源设备中各个第一存储单元和所述目标设备中各个第二存储单元间的对应关系，所述根据设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务，包括：
确定所述源设备中未进行数据转移的第一存储单元；
根据所述设备映射表和所述第一存储单元，生成所述源设备的第一元数据恢复任务，所述第一元数据恢复任务用于将所述第一存储单元中的数据转移至所述目标设备中对应的第二存储单元。
3.如权利要求1或2所述的方法，其特征在于，在所述生成第一元数据恢复任务之前，还包括：
获取所述源设备上执行的至少一个第二元数据恢复任务；
根据每一个所述第二元数据恢复任务，确定每一个所述第二元数据恢复任务的任务参数；
根据每一个所述第二元数据恢复任务的任务参数，确定是否生成所述第一元数据恢复任务。
4.如权利要求3所述的方法，其特征在于，所述任务参数包括数据转移速度和/或数据传输量，其中，所述根据每一个所述第二元数据恢复任务的任务参数，确定是否生成所述第一元数据恢复任务，包括：
根据每一个所述第二元数据恢复任务的任务参数，确定总数据转移速度和/或总数据传输量；
若所述总数据转移速度小于或等于速度阈值，且所述总数据传输量小于或等于数据量阈值，则生成所述第一元数据恢复任务；
若所述总数据转移速度大于速度阈值，或者，所述总数据传输量大于数据量阈值，则不生成所述第一元数据恢复任务。
5.如权利要求1、2和4任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标设备发送的第一反馈信息，其中，所述第一反馈信息由所述目标设备对获取的数据验证成功后生成；
根据所述第一反馈信息，更新元信息服务器中记录的所述数据的存储位置。
6.如权利要求1、2和4任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标设备发送的第二反馈信息，其中，所述第二反馈信息由所述目标设备对获取的数据验证失败后生成；
根据所述第二反馈信息、所述设备映射表和预设的数据转移规则，生成第三数据转移任务。
7.一种数据转移装置，其特征在于，包括：
第一确定装置，用于确定待置换的源设备；
获取装置，用于获取设备映射表；其中，所述映射表中包含所述待置换的源设备和目标设备的对应关系；
生成装置，用于确定所述源设备中存在待恢复的元数据情况下，根据所述设备映射表和所述待置换的源设备，生成所述源设备的第一元数据恢复任务；
发送装置，用于将所述第一元数据转移任务发送至所述源设备，以使得所述源设备根据所述第一元数据转移任务将所述待恢复的元数据转移至对应的目标设备。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578578.5A CN113282571A (zh) | 2021-05-26 | 2021-05-26 | 数据转移方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578578.5A CN113282571A (zh) | 2021-05-26 | 2021-05-26 | 数据转移方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113282571A true CN113282571A (zh) | 2021-08-20 |
Family
ID=77281883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110578578.5A Pending CN113282571A (zh) | 2021-05-26 | 2021-05-26 | 数据转移方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113282571A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070239952A1 (en) * | 2006-04-10 | 2007-10-11 | Wen-Shyang Hwang | System And Method For Remote Mirror Data Backup Over A Network |
| CN102129377A (zh) * | 2010-01-20 | 2011-07-20 | 腾讯科技（深圳）有限公司 | 文件下载方法及系统 |
| CN102215268A (zh) * | 2011-07-14 | 2011-10-12 | 北京飞杰信息技术有限公司 | 一种迁移文件数据的方法和装置 |
| US20160154848A1 (en) * | 2013-08-30 | 2016-06-02 | Hitachi, Ltd. | Database management apparatus, database management method, and storage medium |
| CN106874389A (zh) * | 2017-01-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 数据的迁移方法和装置 |
| CN107315814A (zh) * | 2017-06-29 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种kdb数据库数据迁移后数据一致性验证方法及系统 |
| CN109857592A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 数据恢复控制方法、服务器及存储介质 |
| CN110365529A (zh) * | 2019-07-10 | 2019-10-22 | 广州博依特智能信息科技有限公司 | 一种边缘计算智能网关业务处理方法及边缘计算智能网关 |
| CN111382008A (zh) * | 2018-12-28 | 2020-07-07 | 北京金山云网络技术有限公司 | 一种虚拟机数据的备份方法、装置及系统 |
| CN111708763A (zh) * | 2020-06-18 | 2020-09-25 | 北京金山云网络技术有限公司 | 分片集群的数据迁移方法、装置和分片集群系统 |
| CN111831485A (zh) * | 2020-07-21 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据恢复方法、装置、电子设备及介质 |
| CN112256397A (zh) * | 2020-10-28 | 2021-01-22 | 上海英方软件股份有限公司 | 一种虚机跨平台迁移方法及系统 |
| CN112835717A (zh) * | 2021-02-05 | 2021-05-25 | 远光软件股份有限公司 | 一种用于集群的集成应用处理方法和装置 |
-
2021
- 2021-05-26 CN CN202110578578.5A patent/CN113282571A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070239952A1 (en) * | 2006-04-10 | 2007-10-11 | Wen-Shyang Hwang | System And Method For Remote Mirror Data Backup Over A Network |
| CN102129377A (zh) * | 2010-01-20 | 2011-07-20 | 腾讯科技（深圳）有限公司 | 文件下载方法及系统 |
| CN102215268A (zh) * | 2011-07-14 | 2011-10-12 | 北京飞杰信息技术有限公司 | 一种迁移文件数据的方法和装置 |
| US20160154848A1 (en) * | 2013-08-30 | 2016-06-02 | Hitachi, Ltd. | Database management apparatus, database management method, and storage medium |
| CN106874389A (zh) * | 2017-01-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 数据的迁移方法和装置 |
| CN107315814A (zh) * | 2017-06-29 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种kdb数据库数据迁移后数据一致性验证方法及系统 |
| CN111382008A (zh) * | 2018-12-28 | 2020-07-07 | 北京金山云网络技术有限公司 | 一种虚拟机数据的备份方法、装置及系统 |
| CN109857592A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 数据恢复控制方法、服务器及存储介质 |
| CN110365529A (zh) * | 2019-07-10 | 2019-10-22 | 广州博依特智能信息科技有限公司 | 一种边缘计算智能网关业务处理方法及边缘计算智能网关 |
| CN111708763A (zh) * | 2020-06-18 | 2020-09-25 | 北京金山云网络技术有限公司 | 分片集群的数据迁移方法、装置和分片集群系统 |
| CN111831485A (zh) * | 2020-07-21 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据恢复方法、装置、电子设备及介质 |
| CN112256397A (zh) * | 2020-10-28 | 2021-01-22 | 上海英方软件股份有限公司 | 一种虚机跨平台迁移方法及系统 |
| CN112835717A (zh) * | 2021-02-05 | 2021-05-25 | 远光软件股份有限公司 | 一种用于集群的集成应用处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10382380B1 (en) | Workload management service for first-in first-out queues for network-accessible queuing and messaging services | |
| CN113364877B (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN112650576A (zh) | 资源调度方法、装置、设备、存储介质及计算机程序产品 | |
| CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
| KR20210156243A (ko) | 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체 | |
| CN112988727B (zh) | 数据标注方法、装置、设备、存储介质及计算机程序产品 | |
| CN114285838A (zh) | 一种文件上传方法、装置、系统、存储介质及电子设备 | |
| EP4178170A1 (en) | Method and apparatus for updating instance configuration, storage medium, and program product | |
| CN115510036A (zh) | 数据迁移方法、装置、设备以及存储介质 | |
| CN112860796B (zh) | 用于同步数据的方法、装置、设备以及存储介质 | |
| CN113360689B (zh) | 图像检索系统、方法、相关装置及计算机程序产品 | |
| CN115878042A (zh) | 一种数据存储系统、数据处理方法及存储介质 | |
| US11662927B2 (en) | Redirecting access requests between access engines of respective disk management devices | |
| CN113282571A (zh) | 数据转移方法、装置、电子设备和存储介质 | |
| CN115061947A (zh) | 资源管理方法、装置、设备和存储介质 | |
| CN113641688A (zh) | 节点更新方法、相关装置及计算机程序产品 | |
| US20210241151A1 (en) | Device Component Management Using Deep Learning Techniques | |
| CN114500443A (zh) | 消息推送方法、装置、系统、电子设备和存储介质 | |
| CN110058790B (zh) | 用于存储数据的方法、设备和计算机程序产品 | |
| US10542087B1 (en) | System and method for managing storage tier migration | |
| US11513718B2 (en) | Method, electronic device and computer program product for configuring buffer size associated with backup threads | |
| CN112685218A (zh) | 用于管理备份系统的方法、装置和计算机程序产品 | |
| US11656950B2 (en) | Method, electronic device and computer program product for storage management | |
| US20230132173A1 (en) | Data reading method, device and storage medium | |
| CN117082046A (zh) | 数据上传方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |