CN115793968A - 一种数据迁移方法、装置及电子设备 - Google Patents
一种数据迁移方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115793968A CN115793968A CN202211435342.7A CN202211435342A CN115793968A CN 115793968 A CN115793968 A CN 115793968A CN 202211435342 A CN202211435342 A CN 202211435342A CN 115793968 A CN115793968 A CN 115793968A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- migrated
- storage device
- storage cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 230000005012 migration Effects 0.000 title claims abstract description 105
- 238000013508 migration Methods 0.000 title claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 46
- 238000012795 verification Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 16
- 238000013524 data verification Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据迁移方法、装置及电子设备,涉及数据存储技术领域。在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对目标数据的操作指令;若目标数据已完整迁移至目标存储集群,则通过预设存储设备将操作指令发送给第二存储设备,以使第二存储设备对目标数据执行操作指令所指示的操作并存储结果数据;若目标数据未完整迁移至目标存储集群,则获取第一存储设备中的包括结果数据的目标待迁移数据,并通过预设存储设备将目标待迁移数据发送给目标存储设备,以使目标存储设备存储目标待迁移数据。与现有技术相比,应用本发明实施例所提供的方案,可以在数据迁移的过程中,为业务系统提供数据服务。
Description
技术领域
本发明涉及数据存储技术领域,特别是涉及一种数据迁移方法、装置及电子设备。
背景技术
随着业务范围的不断扩展,业务系统的业务数据不断增加,为业务系统提供数据服务的存储集群也需随之进行升级,以增加存储集群中的可用存储空间,并且,为了提高升级后的存储集群的存储效率,可以将升级前的存储集群中所存储的数据迁移至升级后的存储集群。
在相关技术中,通常在对升级前的存储集群中所存储的数据进行数据迁移时,往往会暂停为业务系统提供数据服务,并在数据迁移完成后,由升级后的存储集群为业务系统提供数据服务。
然而,在上述相关技术中,存储集群暂停为业务系统提供数据服务,会导致业务系统的业务中断,进而,导致业务系统的业务处理效率降低。其中,在数据迁移所需时间较长的情况下,业务中断的时间也较长,业务系统的业务处理效率将会更低。
发明内容
本发明实施例的目的在于提供一种数据迁移方法、装置及电子设备,以在数据迁移的过程中,为业务系统提供数据服务。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种数据迁移方法,应用于电子设备,所述方法包括:
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
可选的,一种具体实现方式中,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述待迁移存储集群中的指定数量个第一待校验数据的数据标识;
在所述目标存储集群中,确定具有所述数据标识的第二待验证数据;
针对每个数据标识,判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同;
若全部判断结果均为是,则确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
可选的,一种具体实现方式中,所述判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同,包括:
判断具有该数据标识的所述第二待验证数据与所述第一待验证数据所包括的字段是否相同,且在同一字段下的字段值是否相同;
若均相同,则具有该数据标识的所述第一待验证数据与所述第二待验证数据相同;
否则,具有该数据标识的所述第一待验证数据与所述第二待验证数据不相同。
可选的,一种具体实现方式中,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述目标存储集群中所存储的结果数据的时间戳对应的第一时间与所述待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内;
若是,则确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
可选的,一种具体实现方式中,所述获取针对目标数据的操作指令,包括:
接收所述客户端发送的针对目标数据的操作指令;或者,
接收所述待迁移存储集群中的指定存储设备发送的针对目标数据的操作指令;其中,所述操作指令是所述指定存储设备在接收到所述客户端发送的所述操作指令后发送的;或者,
接收所述待迁移存储集群中的第一存储设备在响应完针对目标数据的操作指令后,发送的所述操作指令。
可选的,一种具体实现方式中,所述获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,包括:
确定所述第一存储设备所对应的数据库的类型;
利用该类型数据库对应的数据迁移方法,通过所述预设存储设备获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备。
可选的,一种具体实现方式中,所述通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,包括:
将所述操作指令发送给所述目标存储集群中的预设存储设备,以使所述预设存储设备接收所述操作指令,若所述预设存储设备即为所述第二存储设备,则响应所述操作指令,若所述预设存储设备不是所述第二存储设备,则将所述操作指令发送给所述第二存储设备。
可选的,一种具体实现方式中,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,获取所述目标存储集群的目标域名;
向所述客户端发送携带有所述目标域名的域名更新消息,以使所述客户端接收所述域名更新消息,并将所存储的所述待迁移存储集群的域名更新为所述目标域名。
在本发明实施的第二方面,还提供了一种数据迁移装置,应用于电子设备,所述装置包括:
指令获取模块,用于在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
指令响应模块,用于若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
数据迁移模块,用于若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
可选的,一种具体实现方式中,所述装置还包括:
标识确定模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述待迁移存储集群中的指定数量个第一待校验数据的数据标识;
第一确定模块,用于在所述目标存储集群中,确定具有所述数据标识的第二待验证数据;
判断模块,用于针对每个数据标识,判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同;若全部判断结果均为是,则触发结果确定模块;
所述结果确定模块,用于确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
可选的,一种具体实现方式中,所述判断模块,具体用于:
判断具有该数据标识的所述第二待验证数据与所述第一待验证数据所包括的字段是否相同,且在同一字段下的字段值是否相同;
若均相同,则具有该数据标识的所述第一待验证数据与所述第二待验证数据相同;
否则,具有该数据标识的所述第一待验证数据与所述第二待验证数据不相同。
可选的,一种具体实现方式中,所述装置还包括:
第二确定模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述目标存储集群中所存储的结果数据的时间戳对应的第一时间与所述待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内;若是,则触发所述结果确定模块。
可选的,一种具体实现方式中,所述指令获取模块,具体用于:
接收所述客户端发送的针对目标数据的操作指令;或者,
接收所述待迁移存储集群中的指定存储设备发送的针对目标数据的操作指令;其中,所述操作指令是所述指定存储设备在接收到所述客户端发送的所述操作指令后发送的;或者,
接收所述待迁移存储集群中的第一存储设备在响应完针对目标数据的操作指令后,发送的所述操作指令。
可选的,一种具体实现方式中,所述数据迁移模块,具体用于:
确定所述第一存储设备所对应的数据库的类型;
利用该类型数据库对应的数据迁移方法,通过所述预设存储设备获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备。
可选的,一种具体实现方式中,所述指令响应模块,具体用于:
将所述操作指令发送给所述目标存储集群中的预设存储设备,以使所述预设存储设备接收所述操作指令,若所述预设存储设备即为所述第二存储设备,则响应所述操作指令,若所述预设存储设备不是所述第二存储设备,则将所述操作指令发送给所述第二存储设备。
可选的,一种具体实现方式中,所述装置还包括:
域名获取模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,获取所述目标存储集群的目标域名;
发送模块,用于向所述客户端发送携带有所述目标域名的域名更新消息,以使所述客户端接收所述域名更新消息,并将所存储的所述待迁移存储集群的域名更新为所述目标域名。
在本发明实施的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一方法实施例的步骤。
本发明实施例有益效果:
以上可见,应用本发明实施例提供的方案,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,可以首先获取由客户端生成的针对待迁移数据中的目标数据的操作指令;其中,上述操作指令可以被待迁移存储集群中存储目标数据的第一存储设备所接收,以使该第一存储设备存储可以执行上述操作指令所指示的的操作,得到的结果数据,并存储上述结果数据;之后,若上述目标数据已完整迁移至目标存储集群,则可以通过目标存储集群中的预设存储设备,将上述操作指令发送给目标存储集群中存储上述目标数据的第二存储设备,以使该第二存储设备可以对上述目标数据执行上述操作指令所指示的操作,所得到的结果数据并存储上述结果数据;若目标数据未完整迁移至目标存储集群,则可以获取第一存储设备中的包括上述结果数据的目标待迁移数据,并通过预设存储设备,将上述目标待迁移数据发送给目标存储集群中的目标存储设备,以使目标存储设备可以存储上述目标待迁移数据。
基于此,应用本发明实施例提供的方案,在数据迁移的过程中,待迁移存储集群可以继续响应客户端发送的操作指令,得到响应上述操作指令的结果数据并向客户端反馈通知消息,从而,可以无需暂停为业务系统提供数据服务;而对于目标存储集群而言,如果目标存储集群存储有上述目标数据,则目标存储集群可以响应上述操作指令;如果目标存储集群未存储有上述目标数据,则电子设备可以将包括上述结果数据的目标待迁移数据迁移至目标存储集群并进行存储,这样,待迁移存储集群与目标存储集群中均可以存储上述结果数据,保证了待迁移存储集群与目标存储集群中所存储的数据的一致性。从而,实现了在数据迁移的过程中,继续为业务系统提供数据服务,而无需中断业务、降低业务处理效率的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的数据迁移方法的一种流程示意图;
图2为本发明实施例提供的数据迁移方法的另一种流程示意图;
图3为本发明实施例提供的数据迁移方法的又一种流程示意图;
图4为本发明实施例提供的数据迁移方法的一种具体实例的示意图;
图5为本发明实施例提供的数据迁移装置的一种结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
在相关技术中,通常在对升级前的存储集群中所存储的数据进行数据迁移时,往往会暂停为业务系统提供数据服务,并在数据迁移完成后,由升级后的存储集群为业务系统提供数据服务。然而,在上述相关技术中,存储集群暂停为业务系统提供数据服务,会导致业务系统的业务中断,进而,导致业务系统的业务处理效率降低。其中,在数据迁移所需时间较长的情况下,业务中断的时间也较长,业务系统的业务处理效率将会更低。
为了解决上述技术问题,本发明实施例提供了一种数据迁移方法。
其中,该方法适用于需要进行数据迁移的各类应用场景,例如,增加存储集群中的可用存储空间,并将原存储空间中存储的数据迁移至新增的存储空间内;将本地存储设备中的数据迁移至云存储服务的存储空间等。上述存储集群可以包括多个独立的数据设备。
该方法可以应用于对数据迁移过程进行管理的电子设备,该电子设备可以是各类具有数据处理功能的电子设备,并且,该电子设备可以是一个单独的电子设备,也可以是由多个电子设备构成的设备集群。
其中,该电子设备可以与待迁移存储集群和目标存储集群中的各个存储设备进行通信,即该电子设备可以从待迁移存储集群的各个存储设备中获取待迁移数据,并将上述待迁移数据迁移至目标存储集群的各个存储设备中。这样,上述目标存储集群的各个存储设备便可以接收上述待迁移数据,并存储所接收到的上述待迁移数据。
基于此,本发明实施例不对该方法的应用场景和执行主体进行具体限定。
本发明实施例提供的一种数据迁移方法可以包括如下步骤:
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
以上可见,应用本发明实施例提供的方案,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,可以首先获取由客户端生成的针对待迁移数据中的目标数据的操作指令;其中,上述操作指令可以被待迁移存储集群中存储目标数据的第一存储设备所接收,以使该第一存储设备存储可以执行上述操作指令所指示的的操作,得到的结果数据,并存储上述结果数据;之后,若上述目标数据已完整迁移至目标存储集群,则可以通过目标存储集群中的预设存储设备,将上述操作指令发送给目标存储集群中存储上述目标数据的第二存储设备,以使该第二存储设备可以对上述目标数据执行上述操作指令所指示的操作,所得到的结果数据并存储上述结果数据;若目标数据未完整迁移至目标存储集群,则可以获取第一存储设备中的包括上述结果数据的目标待迁移数据,并通过预设存储设备,将上述目标待迁移数据发送给目标存储集群中的目标存储设备,以使目标存储设备可以存储上述目标待迁移数据。
基于此,应用本发明实施例提供的方案,在数据迁移的过程中,待迁移存储集群可以继续响应客户端发送的操作指令,得到响应上述操作指令的结果数据并向客户端反馈通知消息,从而,可以无需暂停为业务系统提供数据服务;而对于目标存储集群而言,如果目标存储集群存储有上述目标数据,则目标存储集群可以响应上述操作指令;如果目标存储集群未存储有上述目标数据,则电子设备可以将包括上述结果数据的目标待迁移数据迁移至目标存储集群并进行存储,这样,待迁移存储集群与目标存储集群中均可以存储上述结果数据,保证了待迁移存储集群与目标存储集群中所存储的数据的一致性。从而,实现了在数据迁移的过程中,继续为业务系统提供数据服务,而无需中断业务、降低业务处理效率的目的。
下面,结合附图,对本发明实施例提供的一种数据迁移方法进行具体说明。
图1为本发明实施例提供的一种数据迁移方法的流程示意图,该方法可以应用于对数据迁移过程进行管理的电子设备,如图1所示,该方法可以包括如下步骤S101-S103。
S101:在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对待迁移数据中的目标数据的操作指令;
其中,操作指令是由客户端生成的,且操作指令被待迁移存储集群中存储目标数据的第一存储设备所接收,以使第一存储设备对目标数据执行操作指令所指示的操作,并存储所得到的结果数据;
待迁移存储集群中存储的各个数据通常可以用于执行各类任务,其中,可以首先确定待存储集群的域名,从而,构建可以通过上述域名与待存储集群中的各个存储设备进行通信的客户端。
通常,可以在待迁移存储集群的各个存储设备中设置指定存储设备,用于接收客户端发送的操作指令。其中,在用户希望针对待迁移存储集群中的某个数据执行某种操作时,可以在客户端上执行针对该数据的指定操作,进而,客户端在检测到上述指定操作后,便可以生成针对上述数据的操作指令,并将上述操作指令发送至待迁移存储集群中所设置的指定存储设备。这样,上述指定存储设备便可以接收上述操作指令,并在接收到上述操作指令后确定待迁移存储集群中用于存储上述数据的存储设备,进而,将上述操作指令发送至该存储设备,以使该存储设备可以接收并响应上述操作指令,得到结果数据,并存储上述结果数据。之后,该存储设备可以向客户端反馈用于表征响应完成的通知消息,以告知客户端已完成响应上述操作指令。至此,客户端便可以输出上述通知消息,以使用户获知上述操作指令已被响应。其中,上述通知消息中可以携带有上述结果数据,也可以不携带有上述结果数据。
上述指定存储设备,可以是上述待迁移存储集群中的一个存储设备,也可以上述待迁移存储集群中的多个存储设备;并且,可以将上述待迁移存储集群中存储空间最大的存储设备作为指定存储设备,也可以将上述待迁移存储集群中响应速度最快的存储设备作为指定存储设备,还可以将上述待迁移存储集群中的任意一个存储设备作为指定存储设备,这都是合理的,在本发明实施例中不做具体限定。
通常,为了对待迁移存储集群中的数据进行迁移,可以首先确定待迁移存储集群和目标存储集群,这样,在确定待迁移存储集群和目标存储集群后,便可以将上述待迁移存储集群中的待迁移数据迁移至上述目标存储集群中。而在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,为了使待迁移存储集群可以继续为客户端提供数据服务,以使上述客户端的用户仍然可以通过客户端对待迁移存储集群中的数据进行各项操作,该待迁移存储集群可以继续接收客户端发送的各项操作指令。
并且,为了实现对数据迁移过程进行管理,可以预先设置用于管理上述数据迁移过程的电子设备,这样,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,该电子设备可以获取客户端生成的各项操作指令。
可选的,上述操作指令可以用于指示对数据进行CRUD(Create Retrieve UpdateDelete,增加、读取、更新和删除)。
可选的,可以将待迁移存储集群中在进行数据迁移前所存储的待迁移数据,称为“全量数据”;可以将数据迁移过程中,基于上述操作指令所产生的结果数据,称为“增量数据”。
可选的,电子设备可以在接收到上述操作指令后,将上述操作指令存储于预设的mq(messagequeue,消息队列)或者Topic(消息队列)中。
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,客户端可以基于用户针对待迁移存储集群中的目标数据的指定操作,生成针对目标数据的操作指令,并向待迁移存储集群中的指定存储设备发送上述操作指令。这样,上述操作指令可以被该指定存储设备所接收,并由上述指定存储设备发送给待迁移存储集群中用于存储上述目标数据的第一存储设备,即上述操作指令可以被待迁移存储集群中的第一存储设备所接收。
而上述第一存储设备在接收上述操作指令后,可以响应上述操作指令,即对所存储的目标数据执行上述操作指令所指示的操作,得到结果数据,进而,上述第一存储设备可以存储上述结果数据。之后,上述第一存储设备可以生成表征上述操作指令响应完成的通知消息,并向客户端反馈上述通知消息。
从而,客户端可以接收上述通知消息,并输出上述通知消息,以提示用户已对目标数据执行上述操作指令所指示的操作。
由于在数据迁移的过程中,客户端仍可以向待迁移存储集群发送操作指令,并接收上述待存储集群中的第一存储设备所反馈的通知消息。从而,在上述数据迁移过程中,客户端是无感的。
其中,所谓无感,是指上述数据迁移的过程不影响接收客户端向待迁移存储集群的指定存储设备发送操作指令,也不影响客户端接收待迁移存储集群中的各个存储设备反馈的用于表征操作指令响应完成的通知消息。即对于客户端来说,上述数据迁移的过程是透明无感的,所有的操作指令在数据迁移过程中均可以被处理,而不会出现指令丢失的情况,这样,上述客户端无需因上述数据迁移过程而中断业务。
在实际应用中,可能存在上述指定存储设备即为存储上述目标数据的第一存储设备的情况,基于此,可选的,在上述指定存储设备接收到上述操作指令时,还需进一步判断自身是否为第一存储设备。
进而,在确定自身为第一存储设备时,上述指定存储设备可以对所存储的目标数据执行上述操作指令所指示的操作,得到结果数据,存储上述结果数据,并向客户端反馈用于表征操作完成的通知消息;
反之,在确定自身不是上述第一存储设备时,上述指定存储设备可以在待迁移存储集群中,确定存储上述目标数据的第一存储设备,之后,可以将上述操作指令发送给所确定的第一存储设备,这样,上述第一存储设备可以接收上述操作指令。
可选的,在上述操作指令指示新增上述目标数据时,上述指定存储设备在接收到上述操作指令时,可以基于待迁移存储集群中各个存储设备所对应的数据库的数据特性,确定待迁移存储集群中用于存储上述目标数据的第一存储设备,并将上述操作指令发送给所确定的第一存储设备,以使上述第一存储设备接收上述操作指令,存储上述目标数据,并向客户端发送用于表征操作完成的通知消息。
在数据迁移的过程中,电子设备所接收到的操作指令,可以是由客户端发送的,也可以是由上述待迁移存储集群中的指定存储设备发送的,还可以是由上述待迁移存储集群中的第一存储设备发送的,这都是合理的,在本发明实施例中不做具体限定。
可选的,一种具体实现方式中,上述步骤S101,可以包括如下步骤11:
步骤11:接收客户端发送的针对目标数据的操作指令。
在本具体实现方式中,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,上述客户端可以生成针对目标数据的操作指令,并将上述操作指令发送给上述电子设备。这样,上述电子设备可以接收客户端发送的操作指令。
可选的,一种具体实现方式中,上述步骤S101,可以包括如下步骤21:
步骤21:接收待迁移存储集群中的指定存储设备发送的针对目标数据的操作指令;
其中,操作指令是指定存储设备在接收到客户端发送的操作指令后发送的。
在本具体实现方式中,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,上述客户端可以生成操作指令,并将上述操作指令发送给待迁移存储集群中的指定存储设备,这样,上述指定存储设备可以接收上述操作指令,并将上述操作指令发送给上述电子设备和上述待迁移存储集群中用于存储目标数据的第一存储设备。进而,上述电子设备可以接收上述客户端发送的操作指令。
可选的,一种具体实现方式中,上述步骤S101,可以包括如下步骤31:
步骤31:接收待迁移存储集群中的第一存储设备在响应完针对目标数据的操作指令后,发送的操作指令。
在本具体实现方式中,在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,上述客户端可以生成操作指令,并将上述操作指令发送给待迁移存储集群中的指定存储设备。之后,上述指定存储设备可以接收上述操作指令,并将上述操作指令发送给待迁移存储集群中用于存储目标数据的第一存储设备。进而,上述第一存储设备可以接收上述操作指令,响应上述操作指令,并在响应完成后,将上述操作指令发送给上述电子设备。这样,上述电子设备可以接收客户端发送的操作指令。
S102:若目标数据已完整迁移至目标存储集群,则通过目标存储集群中的预设存储设备,将操作指令发送给目标存储集群中存储目标数据的第二存储设备,以使第二存储设备对目标数据执行操作指令所指示的操作,并存储所得到的结果数据;
电子设备在接收到上述操作指令后,可以进一步确定该操作指令中所指示的目标数据是否已完整迁移至目标存储集群。
进而,在确定上述目标数据已完整迁移至目标存储集群时,则可以确定目标存储集群中已存储有上述目标数据。而由于上述待迁移存储设备存储上述目标数据的第一存储设备已对自身所存储的目标数据执行了上述操作指令所指示的操作,并将操作得到的结果数据进行了存储,这样,上述待迁移存储集群中存在新增的上述结果数据,而此时,目标存储集群中未存储有上述结果数据。
基于此,为了保持待迁移存储集群与目标存储集群中数据的数据一致性,电子设备可以将上述操作指令发送给上述目标存储集群中的预设存储设备,这样,上述预设存储设备可以确定目标存储集群中存储上述目标数据的第二存储设备,并将上述操作指令发送给该第二存储设备。从而,上述第二存储设备可以响应上述操作指令,即对自身所存储的目标数据执行上述操作指令所指示的操作,得到结果数据,并将存储上述结果数据。
这样,即可以使得目标存储集群和待迁移存储集群中用于存储上述目标数据的存储设备均对上述目标数据执行了上述操作指令所指示的操作,并均存储了响应上述操作指令所得到的结果数据,从而,可以使得目标存储集群和待迁移存储集群中均存储有上述结果数据。
其中,上述预设存储设备可以是目标存储集群中的一个存储设备,也可以是目标存储集群中的多个存储设备;并且,上述预设存储设备可以是目标存储集群中存储空间最大的存储设备,也可以是目标存储集群中响应速度最快的存储设备,这都是合理的,在本发明实施例中不做具体限定。
由于存在上述预设存储设备存储有目标数据,即上述预设存储设备即为第二存储设备的情况,在上述预设存储设备接收上述操作指令后,可以判断自身是否为第二存储设备。
可选的,一种具体实现方式中,上述步骤S102,可以包括如下步骤41:
步骤41:将操作指令发送给目标存储集群中的预设存储设备,以使预设存储设备接收操作指令,若预设存储设备即为第二存储设备,则预设存储设备响应操作指令,若预设存储设备不是第二存储设备,则预设存储设备将操作指令发送给第二存储设备。
在本具体实现方式中,电子设备可以将上述操作指令发送给目标存储集群中的预设存储设备,之后,上述预设存储设备可以接收上述操作指令,并判断自身是否为存储有目标数据的第二存储设备。
这样,在确定自身是第二存储设备时,上述预设存储设备可以响应上述操作指令;在确定自身不是第二存储设备,则上述预设存储设备可以将上述操作指令发送给所确定的第二存储设备。
S103:若目标数据未完整迁移至目标存储集群,则获取第一存储设备中的包括结果数据的目标待迁移数据,并通过预设存储设备将目标待迁移数据发送给目标存储集群中的目标存储设备,以使目标存储设备存储所接收到的目标待迁移数据。
如果上述操作指令中所指示的目标数据未完整迁移至目标存储集群,则目标存储集群中未包括上述目标数据,进而,电子设备可以获取上述第一存储设备中所存储的包括上述结果数据的目标待迁移数据。
由于上述第一存储设备已对目标数据执行了上述操作指令所指示的操作,并将所得到的结果数据进行了存储,则上述第一存储设备中所存储的目标待迁移数据可以包括上述结果数据。从而,电子设备在获取该第一存储设备中所存储的目标待迁移数据时,可以获取到上述结果数据。
进而,管理设备可以将上述目标待迁移数据发送给目标存储集群中的预设存储设备,这样,上述预设存储设备可以利用预设的算法,确定目标存储集群中用于存储上述目标待迁移数据的目标存储设备,并将所获取到的目标待迁移数据发送给上述目标存储设备,从而,上述目标存储设备可以接收上述目标待迁移数据并存储上述目标待迁移数据。
至此,由于电子设备所获取到的上述第一存储设备中所存储的目标待迁移数据中,可以获取到上述结果数据,则上述目标存储设备所存储的目标待迁移数据中,同样可以包括上述结果数据。这样,可以使得目标存储集群和待迁移存储集群中均存储有上述结果数据。
可选的,当待迁移存储集群中的各个存储设备对应的数据库的类型不同时,对各个存储设备中所存储的待迁移数据进行数据迁移时,所采用的数据迁移方法可以是不同的。
可选的,一种具体实现方式中,上述步骤S103,可以包括如下步骤51-52:
步骤51:确定第一存储设备所对应的数据库的类型;
步骤52:利用该类型数据库对应的数据迁移方法,通过预设存储设备获取第一存储设备中的包括结果数据的目标待迁移数据,并将目标待迁移数据发送给目标存储集群中的目标存储设备。
在本具体实现方式,为了提高数据迁移的效率,针对对应于某一类型的数据库的存储设备,可以采用该类型数据库对应的数据迁移方法,对该存储设备中的待迁移数据进行数据迁移。
其中,当存储设备中的待迁移数据是按照某一数据库的存储方式存储至该存储设备的,则可以认为上述存储设备与该数据库存在对应关系,即上述存储设备对应于该数据库。
基于此,在对第一存储设备中的待迁移数据进行数据迁移时,可以首先确定上述第一存储设备所对应的数据库的类型,之后,可以基于所确定的数据库的类型,利用该类型数据库对应的数据迁移方法,获取上述第一存储设备中的包括结果数据的目标待迁移数据,并将上述目标待迁移数据存储至目标存储设备。
示例性的,当上述第一存储设备所对应的数据库的类型为ES(Embeded Storage内嵌式存储系统),这样,可以采用ES对应的并且数据迁移效率较高的scroll快照方式对上述第一存储设备中的待迁移数据进行数据迁移。
以上可见,应用本发明实施例提供的方案,在数据迁移的过程中,待迁移存储集群可以继续响应客户端发送的操作指令,得到响应上述操作指令的结果数据并向客户端反馈通知消息,从而,可以无需暂停为业务系统提供数据服务;而对于目标存储集群而言,如果目标存储集群存储有上述目标数据,则目标存储集群可以响应上述操作指令;如果目标存储集群未存储有上述目标数据,则电子设备可以将包括上述结果数据的目标待迁移数据迁移至目标存储集群并进行存储,这样,待迁移存储集群与目标存储集群中均可以存储上述结果数据,保证了待迁移存储集群与目标存储集群中所存储的数据的一致性。从而,实现了在数据迁移的过程中,继续为业务系统提供数据服务,而无需中断业务、降低业务处理效率的目的。
由于存在待迁移数据在数据迁移过程中被丢失的可能,为了确保目标存储集群所存储的数据与待迁移存储集群中所存储的数据的数据一致性,可以在由待迁移存储集群至目标存储集群的数据迁移完成后,对目标存储集群中所存储的数据与待迁移存储集群中所存储的数据进行数据一致性验证,以确定待迁移存储集群中的待迁移数据的迁移准确性。
可选的,在由待迁移存储集群至目标存储集群的数据迁移完成后,可以对目标存储集群和待迁移存储集群进行灰度验证,或者,其他维度的验证。
可选的,一种具体实现方式中,如图2所示,本发明实施例提供的一种数据迁移方法,还可以包括如下步骤S104-S107:
S104:在由待迁移存储集群至目标存储集群的数据迁移完成后,确定待迁移存储集群中的指定数量个第一待校验数据的数据标识;
S105:在目标存储集群中,确定具有数据标识的第二待验证数据;
S106:针对每个数据标识,判断具有该数据标识的第一待验证数据与第二待验证数据是否相同;
S107:若全部判断结果均为是,则确定目标存储集群和待迁移存储集群的数据一致性验证成功。
在本具体实现方式中,在由待迁移存储集群至目标存储集群的数据迁移完成后,可以首先确定待迁移存储集群中的指定数量个第一待校验数据的数据标识,之后,可以在目标存储集群中,查找上述数据标识,确定具有上述数据标识的第二待验证数据。
其中,上述指定数量个第一待校验数据可以是待迁移存储集群中所存储的全部数据,也可以是待迁移存储集群中所存储的部分数据,还可以是待迁移存储集群中所存储的指定类型的数据,这都是合理的,在本发明实施例中不对上述指定处理进行具体限定。
并且,某一数据的数据标识用于唯一确定该数据,也就是说,该数据的数据标识和该数据之间具有一对一的对应关系。
可选的,可以确定待迁移存储集群中的指定数量个第一待校验数据的数据标识,之后,可以在目标存储集群中所存储的数据的数据标识中,确定是否具有上述全部数据标识。若在上述目标存储集群中所存储的数据的数据标识中缺少上述全部数据标识中的至少一个数据标识,则可以确定目标存储集群与待存储集群的数据一致性验证失败;反之,针对每个数据标识,可以确定目标存储集群中所存储的数据中具有上述数据标识的第二待验证数据。
之后,针对每个数据标识,电子设备可以判断具有该数据标识的第一待验证数据与第二待验证数据是否相同,得到判断结果。
若针对上述全部数据标识,判断结果均为是,则可以说明针对上述全部数据标识中的任意一个数据标识,具有该数据标识的第一待验证数据与第二待验证数据是相同的,则可以确定目标存储集群和待迁移存储集群的数据一致性验证成功;
若针对上述全部数据标识,存在至少一个判断结果为否,则可以说明上述全部数据标识中,存在至少一个数据标识,具有该数据标识的第一待验证数据与第二待验证数据是不同的,即目标存储集群中的数据与待迁移存储集群中的数据不完全一致,则可以确定目标存储集群和待迁移存储集群的数据一致性验证失败。
可选的,一种具体实现方式中,上述步骤S203,可以包括如下步骤61-63:
步骤61:判断具有该数据标识的第二待验证数据与第一待验证数据所包括的字段是否相同,且在同一字段下的字段值是否相同;若均相同,则执行步骤62:否则,则执行步骤63;
步骤62:具有该数据标识的第一待验证数据与第二待验证数据相同;
步骤63:具有该数据标识的第一待验证数据与第二待验证数据不相同。
在本具体实现方式中,任意一个待存储数据可以由至少一个字段,以及各个字段下的字段值构成。而针对任意两个相同的数据而言,二者的所包括的数据标识是相同的,二者所包括的各个字段均是相同的,并且,针对任一字段,该字段下的字段值也是相同的。
基于此,针对任一数据标识,在确定具有该数据标识的第二待验证数据与第一待验证数据是否相同时,可以判断具有该数据标识的第二待验证数据与第一待验证数据所包括的字段是否均相同并且在同一字段下的字段值是否均相同。
进而,针对任一数据标识,若具有该数据标识的第二待验证数据与第一待验证数据所包括的字段均相同,并且,针对任一字段,在该字段下的字段值均相同,则可以确定具有该数据标识的第二待验证数据与第一待验证数据相同;
反之,针对任一数据标识,若具有该数据标识的第二待验证数据与第一待验证数据所包括的字段不完全相同,或者,在任意一个字段下的字段值不相同,则可以确定具有该数据标识的第二待验证数据与第一待验证数据不相同。
基于此,若针对每个数据标识,具有该数据标识的第二待验证数据与第一待验证数据均相同,则可以确定目标存储集群和待迁移存储集群的数据一致性验证成功;
若针对任何一个数据标识,具有该数据标识的第二待验证数据与第一待验证数据不相同,则可以确定目标存储集群和待迁移存储集群的数据一致性验证失败。
在对目标存储集群和待存储集群进行数据一致性验证时,还可以对目标存储集群中的结果数据和待存储集群中的结果数据进行数据一致性验证。
可选的,一种具体实现方式中,本发明实施例提供的一种数据迁移方法,还可以包括如下步骤71-73:
步骤71:在由待迁移存储集群至目标存储集群的数据迁移完成后,确定目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内;若是,则执行步骤72;
步骤72:确定目标存储集群和待迁移存储集群的数据一致性验证成功。
在本具体实现方式中,如前,电子设备在接收到上述操作指令时,若上述操作指令所指示的目标数据已完整迁移至目标存储集群,则上述第一存储设备和上述第二存储设备可以分别对各自存储的目标数据执行上述操作指令所指示的操作,并分别得到并存储结果数据,而由于数据操作的速度是极快的,上述第一存储设备和上述第二存储设备近乎是同时得到上述结果数据的,也就是说,目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是极小的;
若上述目标数据未完整迁移至目标存储集群,则上述第一存储设备中所存储的结果数据的时间戳所对应的第一时间是确定的。在将上述结果数据迁移至目标存储集群中的目标存储设备的过程中,该结果数据的时间戳对应的第一时间都是不变的。进而,目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是相同的。
基于此,无论上述目标数据是否已完整迁移至目标存储集群,均可以认为目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间是极为接近的,也就是说,上述第一时间和第二时间的时间差在预设阈值范围内。
其中,上述预设阈值范围可以按照实际需要进行设定,可以是0.5秒,可以是1秒,也可以是5秒,这都是合理的,在本方面实施例中不做具体限定。
从而,在对目标存储集群和待迁移存储集群进行数据一致性验证时,可以确定目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内。
若目标存储集群中所存储的结果数据的时间戳对应的第一时间与待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差在预设阈值范围内,则可以确定目标存储集群和待迁移存储集群的数据一致性验证成功。
否则,可以确定目标存储集群和待迁移存储集群的数据一致性验证失败。
在对目标存储集群和待迁移存储集群进行数据一致性验证之后,可以基于所得到的验证结果采取对应的措施。
可选的,一种具体实现方式中,本发明实施例提供的一种数据迁移方法,还可以包括如下步骤81-82:
步骤81:在目标存储集群和待迁移存储集群的数据一致性验证成功时,输出用于表征一致性验证成功的通知消息;
步骤82:在目标存储集群和待迁移存储集群的数据一致性验证失败时,生成错误日志,并输出错误日志。
在本具体实现方式中,在上述目标存储集群和待迁移存储集群的数据一致性验证成功时,可以生成用于表征一致性验证成功的通知消息,并输出上述通知消息,以提示相关工作人员目标存储集群和待迁移存储集群的数据一致性验证成功;
其中,输出上述通知消息可以是:向预设邮箱发送上述通知消息;也可以是:在所在设备的显示屏幕上显示上述通知消息,这都是合理的,本发明实施例不做具体限定。
在目标存储集群和待迁移存储集群的数据一致性验证失败时,可以生成错误日志,并输出错误日志,以提示相关工作人员目标存储集群和待迁移存储集群的数据一致性验证失败,以使相关工作人员通过上述错误日志,对所存在的问题进行分析。
其中,输出上述错误日志可以是:向预设邮箱发送上述错误日志;也可以是:在所在设备的显示屏幕上显示上述错误日志,这都是合理的,本发明实施例不做具体限定。
通常,客户端可以存储待迁移存储集群的域名,并通过上述域名,与待迁移存储集群中的指定存储设备进行信令交互。基于此,在将上述待迁移存储集群中所存储的待迁移数据迁移至目标存储集群后,为了使目标存储集群可以代替待迁移存储集群为客户端提供数据服务,可以将目标存储集群的域名发送给客户端,并由客户端将所存储的待迁移存储集群的域名更新为目标存储集群的域名。
可选的,一种具体实现方式中,如图3所示,本发明实施例提供的一种数据迁移方法,还可以包括如下步骤S108-S109:
S108:在由待迁移存储集群至目标存储集群的数据迁移完成后,获取目标存储集群的目标域名;
S109:向客户端发送携带有目标域名的域名更新消息,以使客户端接收域名更新消息,并将所存储的待迁移存储集群的域名更新为目标域名。
在本具体实现方式中,在由待迁移存储集群至目标存储集群的数据迁移完成后,可以获取目标存储集群的目标域名,之后,生成携带有目标域名的域名更新消息,并向客户端发送上述域名更新消息,这样,客户端可以接收上述域名更新消息,并将自身所存储的待迁移存储集群的域名更新为上述目标域名。
这样,待迁移存储集群不再为客户端提供数据服务,而由目标存储集群为客户端提供数据服务,在客户端需要数据服务时,可以通过上述目标域名,与上述目标存储集群发送相应的指令。
为了便于理解上述本发明实施例提供的一种数据迁移方法,下面结合如图4所示的实例,进行说明。
如图4所示,图4中的数据迁移系统用于实现本发明实施例提供的一种数据迁移方法,该系统包括全量数据处理模块、增量数据处理模块、数据验证模块即DNS(Domain NameSystem,域名系统)切换模块。
图4中的服务A、服务B和服务C为客户端,Topic为消息队列,MYSQL(关系数据库管理系统)、ES、Couchbase(非关系型数据库)和Redis(缓存数据库)均可以是待迁移存储集群和目标存储集群中的存储设备对应的数据库。
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,全量数据处理模块用于确定待迁移存储集群中的任一存储设备的数据库类型,并按照该数据库类型对应的数据迁移方式,获取待迁移存储集群中的待迁移数据,并将上述待迁移数据发送给目标存储集群中的预设存储设备,以使该预设存储设备利用预设算法,确定目标存储集群中用于存储上述待迁移数据的目标设备。
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,服务A、服务B和服务C发送的针对待迁移存储集群中的目标数据的操作指令可以被待迁移存储集群中的指定存储设备以及Topic所接收。
指定存储设备可以在接收到上述操作指令时,将上述操作指令发送给待迁移存储集群中存储上述目标数据的第一存储设备,这样,上述第一存储设备存储可以响应该操作指令,存储所得到结果数据,并向服务A、服务B和服务C反馈用于表征操作完成的通知消息,这样,上述服务A、服务B和服务C可以接收上述通知消息,并确定上述第一存储设备已对上述目标数据执行上述操作指令所指示的操作。
而Topic在接收到上述操作指令时,数据迁移系统中的增量数据处理模块,可以确定上述操作指令所指示的目标数据是否已完整迁移至目标存储集群,在上述目标数据已完整迁移至目标存储集群时,则可以通过目标存储集群中的预设存储设备,将上述操作指令发送给目标存储集群中存储上述目标数据的第二存储设备,这样,上述第二存储设备可以响应上述操作指令,得到结果数据,并存储上述结果数据;而在上述目标数据未完整迁移至目标存储集群时,全量数据处理模块可以获取第一存储设备中的包括上述结果数据的目标待迁移数据,并将上述目标待迁移数据发送给上述预设存储设备,这样,上述预设存储设备可以基于预设算法,确定目标存储集群中用于存储目标待迁移数据的目标存储设备,进而,可以将所获取到的目标待迁移数据发送给上述目标存储设备,这样,上述目标存储设备可以存储所接收到的目标待迁移数据。
在由待迁移存储集群至目标存储集群的数据迁移完成后,可以通过数据验证模块,进行一致性验证、灰度验证或者其他维度验证等数据验证,以确定待迁移存储集群中的数据与目标存储集群中的数据的一致性。
之后,在完成上述数据验证后,可以通过DNS切换模块获取目标存储集群的目标域名,并向上述服务A、服务B和服务C发送携带上述目标域名的域名更新消息,这样,上述服务A、服务B和服务C可以接收上述域名更新消息,并将自身所存储的待迁移存储集群的域名更新为上述目标域名。
基于相同的发明构思,相应于上述本发明实施例提供的图1所示的一种数据迁移方法,本发明实施例还提供了一种数据迁移装置。
图5为本发明实施例提供的一种数据迁移装置的结构示意图,如图5所示,该装置可以包括如下模块:
指令获取模块510,用于在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
指令响应模块520,用于若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
数据迁移模块530,用于若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
以上可见,应用本发明实施例提供的方案,在数据迁移的过程中,待迁移存储集群可以继续响应客户端发送的操作指令,得到响应上述操作指令的结果数据并向客户端反馈通知消息,从而,可以无需暂停为业务系统提供数据服务;而对于目标存储集群而言,如果目标存储集群存储有上述目标数据,则目标存储集群可以响应上述操作指令;如果目标存储集群未存储有上述目标数据,则电子设备可以将包括上述结果数据的目标待迁移数据迁移至目标存储集群并进行存储,这样,待迁移存储集群与目标存储集群中均可以存储上述结果数据,保证了待迁移存储集群与目标存储集群中所存储的数据的一致性。从而,实现了在数据迁移的过程中,继续为业务系统提供数据服务,而无需中断业务、降低业务处理效率的目的。
可选的,一种具体实现方式中,所述装置还包括:
标识确定模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述待迁移存储集群中的指定数量个第一待校验数据的数据标识;
第一确定模块,用于在所述目标存储集群中,确定具有所述数据标识的第二待验证数据;
判断模块,用于针对每个数据标识,判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同;若全部判断结果均为是,则触发结果确定模块;
所述结果确定模块,用于确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
可选的,一种具体实现方式中,所述判断模块,具体用于:
判断具有该数据标识的所述第二待验证数据与所述第一待验证数据所包括的字段是否相同,且在同一字段下的字段值是否相同;
若均相同,则具有该数据标识的所述第一待验证数据与所述第二待验证数据相同;
否则,具有该数据标识的所述第一待验证数据与所述第二待验证数据不相同。
可选的,一种具体实现方式中,所述装置还包括:
第二确定模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述目标存储集群中所存储的结果数据的时间戳对应的第一时间与所述待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内;若是,则触发所述结果确定模块。
可选的,一种具体实现方式中,所述指令获取模块510,具体用于:
接收所述客户端发送的针对目标数据的操作指令;或者,
接收所述待迁移存储集群中的指定存储设备发送的针对目标数据的操作指令;其中,所述操作指令是所述指定存储设备在接收到所述客户端发送的所述操作指令后发送的;或者,
接收所述待迁移存储集群中的第一存储设备在响应完针对目标数据的操作指令后,发送的所述操作指令。
可选的,一种具体实现方式中,所述数据迁移模块,具体用于:
确定所述第一存储设备所对应的数据库的类型;
利用该类型数据库对应的数据迁移方法,通过所述预设存储设备获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备。
可选的,一种具体实现方式中,所述指令响应模块520,具体用于:
将所述操作指令发送给所述目标存储集群中的预设存储设备,以使所述预设存储设备接收所述操作指令,若所述预设存储设备即为所述第二存储设备,则响应所述操作指令,若所述预设存储设备不是所述第二存储设备,则将所述操作指令发送给所述第二存储设备。
可选的,一种具体实现方式中,所述装置还包括:
域名获取模块,用于在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,获取所述目标存储集群的目标域名;
发送模块,用于向所述客户端发送携带有所述目标域名的域名更新消息,以使所述客户端接收所述域名更新消息,并将所存储的所述待迁移存储集群的域名更新为所述目标域名。
本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述任一数据迁移方法的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的数据迁移方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据迁移方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (11)
1.一种数据迁移方法,其特征在于,应用于电子设备,所述方法包括:
在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述待迁移存储集群中的指定数量个第一待校验数据的数据标识;
在所述目标存储集群中,确定具有所述数据标识的第二待验证数据;
针对每个数据标识,判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同;
若全部判断结果均为是,则确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
3.根据权利要求2所述的方法,其特征在于,所述判断具有该数据标识的所述第一待验证数据与所述第二待验证数据是否相同,包括:
判断具有该数据标识的所述第二待验证数据与所述第一待验证数据所包括的字段是否相同,且在同一字段下的字段值是否相同;
若均相同,则具有该数据标识的所述第一待验证数据与所述第二待验证数据相同;
否则,具有该数据标识的所述第一待验证数据与所述第二待验证数据不相同。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,确定所述目标存储集群中所存储的结果数据的时间戳对应的第一时间与所述待迁移存储集群中所存储的结果数据的时间戳对应的第二时间的时间差是否在预设阈值范围内;
若是,则确定所述目标存储集群和所述待迁移存储集群的数据一致性验证成功。
5.根据权利要求1所述的方法,其特征在于,所述获取针对目标数据的操作指令,包括:
接收所述客户端发送的针对目标数据的操作指令;或者,
接收所述待迁移存储集群中的指定存储设备发送的针对目标数据的操作指令;其中,所述操作指令是所述指定存储设备在接收到所述客户端发送的所述操作指令后发送的;或者,
接收所述待迁移存储集群中的第一存储设备在响应完针对目标数据的操作指令后,发送的所述操作指令。
6.根据权利要求1所述的方法,其特征在于,所述获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,包括:
确定所述第一存储设备所对应的数据库的类型;
利用该类型数据库对应的数据迁移方法,通过所述预设存储设备获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备。
7.根据权利要求1所述的方法,其特征在于,所述通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,包括:
将所述操作指令发送给所述目标存储集群中的预设存储设备,以使所述预设存储设备接收所述操作指令,若所述预设存储设备即为所述第二存储设备,则所述预设存储设备响应所述操作指令,若所述预设存储设备不是所述第二存储设备,则所述预设存储设备将所述操作指令发送给所述第二存储设备。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在由所述待迁移存储集群至所述目标存储集群的数据迁移完成后,获取所述目标存储集群的目标域名;
向所述客户端发送携带有所述目标域名的域名更新消息,以使所述客户端接收所述域名更新消息,并将所存储的所述待迁移存储集群的域名更新为所述目标域名。
9.一种数据迁移装置,其特征在于,应用于电子设备,所述装置包括:
指令获取模块,用于在将待迁移存储集群中的待迁移数据迁移至目标存储集群的过程中,获取针对所述待迁移数据中的目标数据的操作指令;其中,所述操作指令是由客户端生成的,且所述操作指令被所述待迁移存储集群中存储所述目标数据的第一存储设备所接收,以使所述第一存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
指令响应模块,用于若所述目标数据已完整迁移至所述目标存储集群,则通过所述目标存储集群中的预设存储设备,将所述操作指令发送给所述目标存储集群中存储所述目标数据的第二存储设备,以使所述第二存储设备对所述目标数据执行所述操作指令所指示的操作,并存储所得到的结果数据;
数据迁移模块,用于若所述目标数据未完整迁移至所述目标存储集群,则获取所述第一存储设备中的包括所述结果数据的目标待迁移数据,并通过所述预设存储设备将所述目标待迁移数据发送给所述目标存储集群中的目标存储设备,以使所述目标存储设备存储所接收到的目标待迁移数据。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211435342.7A CN115793968A (zh) | 2022-11-16 | 2022-11-16 | 一种数据迁移方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211435342.7A CN115793968A (zh) | 2022-11-16 | 2022-11-16 | 一种数据迁移方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115793968A true CN115793968A (zh) | 2023-03-14 |
Family
ID=85438194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211435342.7A Pending CN115793968A (zh) | 2022-11-16 | 2022-11-16 | 一种数据迁移方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115793968A (zh) |
-
2022
- 2022-11-16 CN CN202211435342.7A patent/CN115793968A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108696581B (zh) | 分布式信息的缓存方法、装置、计算机设备以及存储介质 | |
CN109783258B (zh) | 一种消息处理方法、装置及服务器 | |
CN109213604B (zh) | 一种数据源的管理方法和装置 | |
CN111038906B (zh) | 一种订单分拣方法和装置 | |
CN111460129A (zh) | 标识生成的方法、装置、电子设备和存储介质 | |
CN111338834B (zh) | 数据存储方法和装置 | |
CN113220342A (zh) | 中心化配置方法、装置、电子设备及存储介质 | |
CN112433757A (zh) | 一种确定接口调用关系的方法和装置 | |
CN111444148A (zh) | 基于MapReduce的数据传输方法和装置 | |
CN110580216B (zh) | 一种应用提测的方法和装置 | |
CN114090268B (zh) | 容器管理方法及容器管理系统 | |
CN112395337A (zh) | 一种数据导出方法和装置 | |
CN112148705A (zh) | 数据迁移的方法和装置 | |
CN115793968A (zh) | 一种数据迁移方法、装置及电子设备 | |
CN110083509B (zh) | 一种日志数据的规整方法及装置 | |
CN112559233B (zh) | 识别故障类型的方法、装置、设备和计算机可读介质 | |
CN114756173A (zh) | 文件合并的方法、系统、设备和计算机可读介质 | |
CN113726885A (zh) | 一种流量配额的调整方法和装置 | |
CN111291127A (zh) | 一种数据同步方法、装置、服务器及存储介质 | |
CN110968267A (zh) | 数据管理方法、装置、服务器及系统 | |
CN117453665B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN117762812B (zh) | 一种处理日志信息的方法和装置 | |
CN110221869B (zh) | 用于配置数据中心运行环境的方法及装置 | |
CN113626409B (zh) | 一种测试资料处理方法、装置、设备及存储介质 | |
CN110750410B (zh) | 一种监听数据库日志的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |