CN117093147A - 基于数据存储的数据迁移方法、装置、服务器和存储介质 - Google Patents
基于数据存储的数据迁移方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN117093147A CN117093147A CN202311035593.0A CN202311035593A CN117093147A CN 117093147 A CN117093147 A CN 117093147A CN 202311035593 A CN202311035593 A CN 202311035593A CN 117093147 A CN117093147 A CN 117093147A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- client
- storage
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 170
- 238000013500 data storage Methods 0.000 title claims abstract description 111
- 230000005012 migration Effects 0.000 title claims abstract description 73
- 238000013508 migration Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004891 communication Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开一种基于数据存储的数据迁移方法、装置、服务器和存储介质，涉及数据处理技术领域，该方法包括：接收到数据写入请求后，将数据写入请求所包含的待写入数据写入目标存储层，其中，数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，当前客户端发送的；接收到数据获取请求后，在确定目标存储层中不存在数据获取请求对应的目标数据的情况下，在第一客户端对应的数据存储集群中获取目标数据，并将目标数据写入目标存储层，其中，数据获取请求为当前客户端发送的；将目标数据发送至当前客户端。上述技术方案，在对终端设备上运行的当前客户端进行变更后，实现无感知数据写入以及无感知数据获取，提升用户体验。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种基于数据存储的数据迁移方法、装置、服务器和存储介质。
背景技术
数据迁移是信息化建设中数据管理的重要任务。在存储网络中常见的情况是将数据从一个结点的存储设备移动到另一个结点的存储设备。
现有技术中，需要先中断迁移结点提供的服务，然后宕机进行数据迁移，迁移进行的时间和迁移的数据规模相关，迁移完成后启用新结点以代替迁移结点，并恢复中断的服务。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：
在数据迁移的过程中，新节点启用和迁移结点中断之间存在时间间隔，影响用户体验。
发明内容
本发明提供一种基于数据存储的数据迁移方法、装置、服务器和存储介质，以无感知实现客户端变更。
第一方面，本发明实施例提供了一种基于数据存储的数据迁移方法，包括：
接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
将所述目标数据发送至所述当前客户端。
第二方面，本发明实施例还提供了基于数据存储的数据迁移装置，包括：
写入模块，用于在接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
获取模块，用于在接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
发送模块，用于将所述目标数据发送至所述当前客户端。
第三方面，本发明实施例还提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的基于数据存储的数据迁移方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的基于数据存储的数据迁移方法。
上述发明中的实施例具有如下优点或有益效果：
本发明实施例提供一种基于数据存储的数据迁移方法，该方法包括：接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；将所述目标数据发送至所述当前客户端。上述技术方案，终端设备执行客户端切换指令以将终端设备上运行的当前客户端由第一客户端变更为第二客户端之后，服务器可以将接收到的第二客户端发送的数据写入请求所包含的待写入数据写入目标存储层，实现无感知数据写入，在确定目标存储层中存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，在目标存储层中获取数据获取请求对应的目标数据，在确定目标存储层中不存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，基于代理服务器在第一客户端对应的数据存储集群中获取数据获取请求对应的目标数据，此时，还可以将数据获取请求对应的目标数据写入目标存储层，以将数据存储集群中的目标数据复制至目标存储层，进而，可以将在目标存储层或者数据存储集群中获取到数据获取请求对应的目标数据发送至数据获取请求对应的当前客户端，通过代理服务器实现无感知数据获取，终端设备运行的当前客户端发生变更后，实现数据的无感知迁移，提升用户体验。
附图说明
图1为本发明实施例提供的一种基于数据存储的数据迁移方法的流程图；
图2为本发明实施例提供的另一种基于数据存储的数据迁移方法的流程图；
图3为本发明实施例提供的另一种基于数据存储的数据迁移方法中数据处理系统的示意图；
图4为本发明实施例提供的一种基于数据存储的数据迁移装置的结构示意图；
图5为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
传统的数据迁移方法通常采用一种同步迁移的方法，需要先中断迁移结点提供的服务，然后宕机进行数据迁移，迁移进行的时间和迁移的数据规模相关，迁移完成后启用新结点以代替迁移结点，并恢复中断的服务。在传统的数据迁移方法中，迁移过程中迁移结点(即要迁移的结点，是由存储服务器、硬盘和存储服务软件组成的单元)不能提供存储服务，因而造成了业务的中断。当前，在业务要求日益苛刻的情况下，业务中断可能会给企业带来一定的损失，且迁移过程进行的时间与数据规模相关，当需要迁移的数据规模巨大时，迁移的成本也相应变得难以承受。
因此，迫切需要一种能够保持应用在线的数据迁移技术，以满足迁移过程中业务不中断且迁移时间短的要求。
本申请提出一种基于数据存储的数据迁移方法，运行的客户端发生变更后，实现数据的无感知迁移，提升用户体验。
下面将结合示图和实施例对本申请提出的基于数据存储的数据迁移方法进行详细的描述。
图1为本发明实施例提供的一种基于数据存储的数据迁移方法的流程图，本发明实施例可适用于需要无感知实现客户端变更的情况。该方法可以由基于数据存储的数据迁移装置来执行，该装置可以由软件和/或硬件的方式来实现。如图1所述，该方法具体包括以下步骤：
步骤110、接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层。
其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的。
终端设备上挂载有至少两个客户端，例如，挂载有第一客户端和第二客户端。终端设备上运行的当前客户端为第一客户端时，第一客户端运行所需的数据存储在数据存储集群，数据存储集群包括多个块设备。
具体地，终端设备执行客户端切换指令以将终端设备上运行的当前客户端由第一客户端变更为第二客户端之后，由于块设备的原地覆盖特性，第二客户端运行所需的数据无法继续存储在数据存储集群。此时，服务器接收到第二客户端发送的数据写入请求后，可以将数据写入请求所包含的待写入数据写入目标存储层，实现对第二客户端运行所需数据的写入。
本发明实施例中，在对终端设备上运行的当前客户端进行变更后，实现无感知数据写入。
步骤120、接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层。
其中，所述数据获取请求为所述当前客户端发送的。
具体地，服务器接收到由第一客户端变更为第二客户端的当前客户端发送的数据获取请求后，可以确定目标存储层是否存在数据获取请求对应的目标数据，在确定目标存储层中存在数据获取请求对应的目标数据的情况下，可以在目标存储层中获取数据获取请求对应的目标数据，在确定目标存储层中不存在数据获取请求对应的目标数据的情况下，可以在第一客户端对应的数据存储集群中获取数据获取请求对应的目标数据，此时，还可以将数据获取请求对应的目标数据写入目标存储层，以将数据存储集群中的目标数据复制至目标存储层。
需要说明的是，服务器可以通过代理服务器与数据存储集群建立通信连接，具体可以加载数据存储集群的访问SDK。服务器在接收到由第一客户端变更为第二客户端的当前客户端发送的数据获取请求，并且确定目标存储层中不存在数据获取请求对应的目标数据的情况下，可以基于代理服务器访问数据存储集群，并在数据存储集群中获取数据获取请求对应的目标数据。
步骤130、将所述目标数据发送至所述当前客户端。
具体地，在目标存储层或者数据存储集群中获取到数据获取请求对应的目标数据后，可以将目标数据发送至数据获取请求对应的当前客户端，即，可以将目标数据发送至第二客户端。
本发明实施例中，在对终端设备上运行的当前客户端进行变更后，通过代理服务器实现无感知数据获取。
本发明实施例提供的基于数据存储的数据迁移方法包括：接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；将所述目标数据发送至所述当前客户端。上述技术方案，终端设备执行客户端切换指令以将终端设备上运行的当前客户端由第一客户端变更为第二客户端之后，服务器可以将接收到的第二客户端发送的数据写入请求所包含的待写入数据写入目标存储层，实现无感知数据写入，在确定目标存储层中存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，在目标存储层中获取数据获取请求对应的目标数据，在确定目标存储层中不存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，基于代理服务器在第一客户端对应的数据存储集群中获取数据获取请求对应的目标数据，此时，还可以将数据获取请求对应的目标数据写入目标存储层，以将数据存储集群中的目标数据复制至目标存储层，进而，可以将在目标存储层或者数据存储集群中获取到数据获取请求对应的目标数据发送至数据获取请求对应的当前客户端，通过代理服务器实现无感知数据获取，终端设备运行的当前客户端发生变更后，实现数据的无感知迁移，提升用户体验。
图2为本发明实施例提供的另一种基于数据存储的数据迁移方法的流程图，本发明实施例可适用于需要无感知实现客户端变更的情况。本发明实施例在上述实施例的基础上，增加了“在确定所述目标存储层中存在所述目标数据的情况下，在所述目标存储层中获取所述目标数据。”、“基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层。”和“确定所述数据存储集群中存储的所有数据均同步至所述目标存储层后，断开与所述数据存储集群的通信连接。”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本发明实施例提供的基于数据存储的数据迁移方法包括：
步骤210、接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层。
其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的。
图3为本发明实施例提供的另一种基于数据存储的数据迁移方法中数据处理系统的示意图，如图3所示，数据处理系统包括终端设备、数据存储集群、服务器集群，终端设备挂载有第一客户端和第二客户端，数据存储集群包括多个块设备，服务器集群包括服务器、代理服务器和目标存储层。其中，终端设备上挂载的第一客户端可以为ceph客户端、第二客户端可以为云盘客户端，数据存储集群可以为ceph集群，服务器集群中的服务器可以为IO服务器、代理服务器可以为Lazy IO代理服务器、目标存储层可以存储引擎层。
终端设备上运行的当前客户端为ceph客户端时，ceph客户端运行所需的数据存储在ceph集群中各块设备。
终端设备执行客户端切换指令以将终端设备上运行的当前客户端由ceph客户端变更为云盘客户端之后，由于块设备的原地覆盖特性，云盘客户端运行所需的数据无法继续存储在ceph集群。此时，IO服务器接收到云盘客户端发送的数据写入请求后，可以将数据写入请求所包含的待写入数据写入存储引擎层，实现对云盘客户端运行所需数据的写入。
一种实施方式中，将所述数据写入请求所包含的待写入数据写入目标存储层，包括：
根据所述数据写入请求所包含的所述待写入数据中的数据标识，将所述待写入数据写入云盘实例；根据所述待写入数据的数据标识，将所述云盘实例中写入的所述待写入数据写入所述目标存储层。
IO服务器初始化有多个云盘实例，IO服务器接收到数据写入请求后，首先可以根据数据写入请求所包含的待写入数据中的数据标识，将待写入数据写入云盘实例，再根据待写入数据的数据标识，将云盘实例中写入的待写入数据写入存储引擎层，实现无感知数据写入。将待写入数据写入云盘实例后再写入存储引擎层，使得IO服务器接受到数据获取请求后，可以根据云盘实例中存储的数据判断存储引擎层中是否存储有数据获取请求对应的目标数据，进而使得数据获取更加无感。
本发明实施例中，在对终端设备上运行的当前客户端进行变更后，实现无感知数据写入。
步骤220、接收到数据获取请求后，确定所述目标存储层中是否存在所述数据获取请求对应的目标数据。
其中，所述数据获取请求为所述当前客户端发送的。
具体地，IO服务器接收到由ceph客户端变更为云盘客户端的当前客户端发送的数据获取请求后，可以确定存储引擎层是否存在数据获取请求对应的目标数据，具体可以根据云盘实例中存储的数据判断存储引擎层中是否存储有数据获取请求对应的目标数据，进而使得数据获取更加无感。
在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，执行步骤230；否则，执行步骤260。
本发明实施例中，接收到数据获取请求后，实现确定目标存储层中是否存在数据获取请求对应的目标数据，为获取数据获取请求对应的目标数据提供数据基础。
步骤230、基于代理服务器与第一客户端对应的数据存储集群建立通信连接；基于所述代理服务器在所述数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层。
具体地，IO服务器可以基于Lazy IO代理服务器与ceph客户端对应的ceph集群建立通信连接，具体可以加载ceph集群对应的Ceph Client SDK。进而，IO服务器可以基于Lazy IO代理服务器访问ceph客户端对应的ceph集群，以在ceph客户端对应的ceph集群中获取数据获取请求对应的目标数据。此时，还可以将数据获取请求对应的目标数据写入存储引擎层，以将ceph集群中的目标数据复制至存储引擎层。具体而言，可以先将目标数据写入云盘实例，再将云盘实例中写入的目标数据写入存储引擎层。如前所诉，将目标数据写入云盘实例后再写入存储引擎层，使得IO服务器接受到数据获取请求后，可以根据云盘实例中存储的数据判断存储引擎层中是否存储有数据获取请求对应的目标数据，进而使得数据获取更加无感。
本发明实施例中，在确定目标存储层中不存在数据获取请求对应的目标数据的情况下，基于代理服务器，实现在第一客户端对应的数据存储集群中获取数据获取请求对应的目标数据，同时实现将目标数据写入目标存储层。
步骤240、基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层。
一种实施方式中，步骤240具体可以包括：
基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据写入云盘实例；将所述云盘实例中写入的所述剩余数据写入所述目标存储层。
服务器在根据数据获取请求获取到目标数据后，也可以将目标数据写入存储引擎层，实现将目标数据复制至存储引擎层。对于ceph集群中未被获取过的剩余数据，其仍未被复制值存储引擎层，因此，可以基于代理服务器将ceph集群中未被获取过的剩余数据同步至存储引擎层，实现将ceph集群中存储的所有数据复制至存储引擎层，便于云盘客户端更加流畅的运行，进一步使得云盘客户端的数据获取更加无感。
具体而言，首先可以基于代理服务器将ceph集群中未被获取过的剩余数据写入云盘实例，再将云盘实例中写入的剩余数据写入存储引擎层。如前所述，将剩余数据写入云盘实例后再写入存储引擎层，使得IO服务器接受到数据获取请求后，可以根据云盘实例中存储的数据判断存储引擎层中是否存储有数据获取请求对应的目标数据，进而使得数据获取更加无感。
本发明实施例中，基于代理服务器实现将数据存储集群中未被获取过的剩余数据写入目标存储层，实现将数据存储集群中存储的数据全部复制至目标存储层。
步骤250、确定所述数据存储集群中存储的所有数据均同步至所述目标存储层后，断开与所述数据存储集群的通信连接。
具体地，确定ceph集群中存储的所有数据均同步至存储引擎层后，可以断开IO服务器与ceph集群的通信连接，具体可以使Lazy IO代理服务器释放ceph集群对应的CephClient SDK。
步骤250之后执行步骤270。
步骤260、在所述目标存储层中获取所述目标数据。
具体地，IO服务器接收到由ceph客户端变更为云盘客户端的当前客户端发送的数据获取请求后，可以确定存储引擎层是否存在数据获取请求对应的目标数据，在确定存储引擎层中存在数据获取请求对应的目标数据的情况下，可以存储引擎层中获取数据获取请求对应的目标数据。
本发明实施例中，在确定目标存储层中存在数据获取请求对应的目标数据的情况下，实现在目标存储层中获取数据获取请求对应的目标数据。
步骤270、将所述目标数据发送至所述当前客户端。
具体地，在存储引擎层或者ceph集群中获取到数据获取请求对应的目标数据后，可以将目标数据发送至数据获取请求对应的当前客户端，即，可以将目标数据发送至云盘客户端。
本发明实施例中，在对终端设备上运行的当前客户端进行变更后，通过代理服务器实现无感知数据获取。
本发明实施例提供的基于数据存储的数据迁移方法包括：接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层；接收到数据获取请求后，确定所述目标存储层中是否存在所述数据获取请求对应的目标数据；在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，基于代理服务器与第一客户端对应的数据存储集群建立通信连接，基于所述代理服务器在所述数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层，确定所述数据存储集群中存储的所有数据均同步至所述目标存储层后，断开与所述数据存储集群的通信连接；在确定所述目标存储层中存在所述数据获取请求对应的目标数据的情况下，在所述目标存储层中获取所述目标数据；将所述目标数据发送至所述当前客户端。上述技术方案，终端设备执行客户端切换指令以将终端设备上运行的当前客户端由第一客户端变更为第二客户端之后，服务器可以将接收到的第二客户端发送的数据写入请求所包含的待写入数据写入目标存储层，实现无感知数据写入，在确定目标存储层中存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，在目标存储层中获取数据获取请求对应的目标数据，在确定目标存储层中不存在接收到的第二客户端发送的数据获取请求对应的目标数据的情况下，基于代理服务器在第一客户端对应的数据存储集群中获取数据获取请求对应的目标数据，此时，还可以将数据获取请求对应的目标数据写入目标存储层，以将数据存储集群中的目标数据复制至目标存储层，进而，可以将在目标存储层或者数据存储集群中获取到数据获取请求对应的目标数据发送至数据获取请求对应的当前客户端，通过代理服务器实现无感知数据获取，当然，还可以基于代理服务器将数据存储集群中未被获取过的剩余数据写入目标存储层，实现将数据存储集群中存储的数据全部复制至目标存储层，确定数据存储集群中存储的所有数据均同步至目标存储层后，断开与数据存储集群的通信连接。终端设备运行的当前客户端发生变更后，实现数据的无感知迁移，提升用户体验。
图4为本发明实施例提供的一种基于数据存储的数据迁移装置的结构示意图。该装置与上述各实施例的基于数据存储的数据迁移方法属于同一个发明构思，在基于数据存储的数据迁移装置的实施例中未详尽描述的细节内容，可以参考上述基于数据存储的数据迁移方法的实施例。
该基于数据存储的数据迁移装置的具体结构如图4所示，包括：
写入模块410，用于在接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
第一获取模块420，用于在接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
发送模块430，用于将所述目标数据发送至所述当前客户端。
在上述实施例的基础上，写入模块410，具体用于：
接收到数据写入请求后，根据所述数据写入请求所包含的所述待写入数据中的数据标识，将所述待写入数据写入云盘实例；根据所述待写入数据的数据标识，将所述云盘实例中写入的所述待写入数据写入所述目标存储层。
在上述实施例的基础上，该装置还包括：
第二获取模块，用于接收到数据获取请求后，在确定所述目标存储层中存在所述目标数据的情况下，在所述目标存储层中获取所述目标数据。
在上述实施例的基础上，第一获取模块420，具体用于：
接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，基于代理服务器与所述数据存储集群建立通信连接；基于所述代理服务器在所述数据存储集群中获取所述目标数据。
在上述实施例的基础上，该装置还包括：
同步模块，用于基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层。
在上述实施例的基础上，同步模块，具体用于：
基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据写入云盘实例；将所述云盘实例中写入的所述剩余数据写入所述目标存储层。
在上述实施例的基础上，该装置还包括：
断开模块，用于确定所述数据存储集群中存储的所有数据均同步至所述目标存储层后，断开与所述数据存储集群的通信连接。
本发明实施例所提供的基于数据存储的数据迁移装置可执行本发明任意实施例所提供的基于数据存储的数据迁移方法，具备执行基于数据存储的数据迁移方法相应的功能模块和有益效果。
值得注意的是，上述基于数据存储的数据迁移装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图5为本发明实施例提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器5的框图。图5显示的服务器5仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器5以通用计算电子设备的形式表现。服务器5的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器5典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器5访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器5可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器5也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器5交互的设备通信，和/或与使得该服务器5能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器5还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与服务器5的其它模块通信。应当明白，尽管图5中未示出，可以结合服务器5使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的基于数据存储的数据迁移方法，该方法包括：
接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
将所述目标数据发送至所述当前客户端。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的基于数据存储的数据迁移方法的技术方案。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的基于数据存储的数据迁移方法，该方法包括：
接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
将所述目标数据发送至所述当前客户端。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于数据存储的数据迁移方法，其特征在于，包括：
接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
将所述目标数据发送至所述当前客户端。
2.根据权利要求1所述的基于数据存储的数据迁移方法，其特征在于，将所述数据写入请求所包含的待写入数据写入目标存储层，包括：
根据所述数据写入请求所包含的所述待写入数据中的数据标识，将所述待写入数据写入云盘实例；
根据所述待写入数据的数据标识，将所述云盘实例中写入的所述待写入数据写入所述目标存储层。
3.根据权利要求1所述的基于数据存储的数据迁移方法，其特征在于，在接收到数据获取请求后，还包括：
在确定所述目标存储层中存在所述目标数据的情况下，在所述目标存储层中获取所述目标数据。
4.根据权利要求1所述的基于数据存储的数据迁移方法，其特征在于，在所述第一客户端对应的数据存储集群中获取所述目标数据，包括：
基于代理服务器与所述数据存储集群建立通信连接；
基于所述代理服务器在所述数据存储集群中获取所述目标数据。
5.根据权利要求4所述的基于数据存储的数据迁移方法，其特征在于，还包括：
基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层。
6.根据权利要求5所述的基于数据存储的数据迁移方法，其特征在于，基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据同步至所述目标存储层，包括：
基于所述代理服务器将所述数据存储集群中未被获取过的剩余数据写入云盘实例；
将所述云盘实例中写入的所述剩余数据写入所述目标存储层。
7.根据权利要求4所述的基于数据存储的数据迁移方法，其特征在于，还包括：
确定所述数据存储集群中存储的所有数据均同步至所述目标存储层后，断开与所述数据存储集群的通信连接。
8.一种基于数据存储的数据迁移装置，其特征在于，包括：
写入模块，用于在接收到数据写入请求后，将所述数据写入请求所包含的待写入数据写入目标存储层，其中，所述数据写入请求为终端设备将当前客户端由第一客户端变更为第二客户端后，所述当前客户端发送的；
第一获取模块，用于在接收到数据获取请求后，在确定所述目标存储层中不存在所述数据获取请求对应的目标数据的情况下，在所述第一客户端对应的数据存储集群中获取所述目标数据，并将所述目标数据写入所述目标存储层，其中，所述数据获取请求为所述当前客户端发送的；
发送模块，用于将所述目标数据发送至所述当前客户端。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于数据存储的数据迁移方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的基于数据存储的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035593.0A CN117093147A (zh) | 2023-08-16 | 2023-08-16 | 基于数据存储的数据迁移方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035593.0A CN117093147A (zh) | 2023-08-16 | 2023-08-16 | 基于数据存储的数据迁移方法、装置、服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117093147A true CN117093147A (zh) | 2023-11-21 |
Family
ID=88776836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311035593.0A Pending CN117093147A (zh) | 2023-08-16 | 2023-08-16 | 基于数据存储的数据迁移方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117093147A (zh) |
-
2023
- 2023-08-16 CN CN202311035593.0A patent/CN117093147A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10613788B2 (en) | Data migration between cloud storage systems | |
| CN110389935B (zh) | 一种启动小程序的方法、设备和计算机存储介质 | |
| CN113485962B (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
| CN111045781B (zh) | 一种云平台创建镜像的方法、装置和存储介质 | |
| US10936217B2 (en) | Providing virtual volume flexibility on a storage device cluster | |
| CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
| CN109471647B (zh) | 一种数据的更新方法、装置、电子设备及可读介质 | |
| CN113467873A (zh) | 虚拟机的调度方法、装置、电子设备及存储介质 | |
| CN111338834A (zh) | 数据存储方法和装置 | |
| CN112835862B (zh) | 一种数据同步方法、装置、系统及存储介质 | |
| CN110233791B (zh) | 数据去重方法和装置 | |
| CN110046138B (zh) | 一种iSCSI目标器多实例处理方法及分布式存储系统 | |
| US10680877B2 (en) | Information transmission, sending, and acquisition method and device | |
| CN115454666A (zh) | 消息队列集群间的数据同步方法和装置 | |
| CN117093147A (zh) | 基于数据存储的数据迁移方法、装置、服务器和存储介质 | |
| CN113220237B (zh) | 一种分布式存储方法、装置、设备及存储介质 | |
| CN111538717B (zh) | 数据处理的方法、装置、电子设备及计算机可读介质 | |
| CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
| CN112306746B (zh) | 在应用环境中管理快照的方法、设备和计算机程序产品 | |
| CN112506583A (zh) | 一种实例控制方法、装置、设备、存储介质以及程序产品 | |
| CN112883103A (zh) | 集群间数据转移的方法和装置 | |
| CN111083192A (zh) | 数据共识方法、装置及电子设备 | |
| CN117369952B (zh) | 集群的处理方法、装置、设备及存储介质 | |
| CN115237892B (zh) | 数据迁移方法和装置 | |
| US20110208930A1 (en) | Providing Shared Access to Data Storage Resources Across Cluster Computing Environment Boundaries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |