CN117215501A - 一种位图的同步方法、装置、设备及介质 - Google Patents

一种位图的同步方法、装置、设备及介质 Download PDF

Info

Publication number
CN117215501A
CN117215501A CN202311481972.2A CN202311481972A CN117215501A CN 117215501 A CN117215501 A CN 117215501A CN 202311481972 A CN202311481972 A CN 202311481972A CN 117215501 A CN117215501 A CN 117215501A
Authority
CN
China
Prior art keywords
node
bitmap
data set
synchronized
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311481972.2A
Other languages
English (en)
Other versions
CN117215501B (zh
Inventor
史薇
张刚
蒋米传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311481972.2A priority Critical patent/CN117215501B/zh
Publication of CN117215501A publication Critical patent/CN117215501A/zh
Application granted granted Critical
Publication of CN117215501B publication Critical patent/CN117215501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种位图的同步方法、装置、设备及介质,应用于存储设备,存储设备包括至少一个第一节点;第一节点存储有用于管理存储设备中存储信息的第一位图;第一位图划分为至少一个数据组;存储设备新增第二节点时,为数据组分别分配对应位图同步标识;位图同步标识用于表示数据组是否被同步;遍历数据组,基于位图同步标识确定当前遍历数据组是否被同步;在当前遍历数据组被同步时,继续遍历剩余数据组是否被同步;在当前遍历数据组未被同步时,控制第一节点将当前遍历数据组同步至第二节点,解决了新增第二节点时,为了将第一位图整体同步至第二节点需要控制IO静默,且若位图数据较多,IO静默时间较长的问题。

Description

一种位图的同步方法、装置、设备及介质
技术领域
本发明涉及存储技术领域,特别是涉及一种位图的同步方法、一种位图的同步装置、一种电子设备以及一种计算机可读介质。
背景技术
在存储集群中,快照等灾备功能需要在不同存储设备之间做拷贝,存储设备可以是卷。存储设备中通过包括两个节点,两个节点上均存储有用于管理快照的拷贝进度的位图,标记存储设备的各个存储位置的存储信息是否已经拷贝到另一个存储设备中。两个节点上的位图互为备份,保证存储设备中两个节点的其中一个节点离线时,快照功能不受影响。
在存储设备中一个原有节点离线,同时又有一个新的节点上线的情况下,需要在原有节点存储的位图不被修改的情况下,将原有节点存储的位图同步至新的节点。因此,在有新的节点上线的情况下,需要先控制IO静默(数据的输入与输出暂停),保证位图不会发生变化;然后,将原有节点存储的位图同步至新的节点。在同步完成后,控制IO恢复正常处理。若位图数据较多,则将原有节点存储的位图同步至新的节点所花费的时间较长,IO静默时间较长,业务中断时间也会较长,影响业务的顺利进行。
发明内容
本发明实施例提供一种位图的同步方法、装置、设备以及介质,以至少解决存储设备中一个原有节点离线,一个新的节点上线的情况下,为了在原有节点存储的位图不被修改的情况下,将原有节点存储的位图同步至新的节点需要控制IO静默,且若位图数据较多,IO静默时间较长,影响业务的顺利进行的问题。
本发明实施例公开了一种位图的同步方法,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;所述方法包括:
所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
可选地,所述方法还包括:
在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
可选地,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
可选地,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
可选地,所述方法还包括:
接收所述存储设备中存储信息的更新请求;
基于所述更新请求记载的存储信息确定待更新存储位置;
控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
可选地,所述更新所述待更新存储位置的存储信息的步骤,还包括:
确定所述第一位图中与所述待更新存储位置对应的数据组;
读取所述数据组对应的位图同步标识;
在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
可选地,所述第二节点中存储有第二位图;所述更新所述待更新存储位置的存储信息的步骤之后,还包括:
控制所述第一节点基于更新后的存储设备更新所述第一位图;
控制所述第二节点基于更新后的存储设备更新所述第二位图。
可选地,所述更新所述待更新存储位置的存储信息的步骤,还包括:
在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
可选地,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
可选地,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
可选地,所述方法还包括:
控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
可选地,所述方法还包括;
控制所述第二节点更新所述第二节点的节点配置信息。
本发明实施例还公开了一种位图的同步装置,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;所述装置包括:
分配模块,用于所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历模块,用于遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
继续遍历模块,用于在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
当前遍历的数据组同步控制模块,用于在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
可选地,所述装置还包括:
上锁状态设置模块,用于在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
可选地,所述装置还包括:
解锁状态设置模块,用于将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
可选地,所述当前遍历的数据组同步控制模块,还包括:
当前遍历的数据组发送控制子模块,用于控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
当前遍历的数据组接收控制子模块,用于控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
可选地,所述装置还包括:
更新请求接收模块,用于接收所述存储设备中存储信息的更新请求;
待更新存储位置确定模块,用于基于所述更新请求记载的存储信息确定待更新存储位置;
存储信息更新模块,用于控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
可选地,所述存储信息更新模块还包括:
确定子模块,用于确定所述第一位图中与所述待更新存储位置对应的数据组;
位图同步标识读取子模块,用于读取所述数据组对应的位图同步标识;
数据组同步控制子模块,用于在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
第一存储信息更新子模块,用于在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
可选地,所述装置,还包括:
第一位图更新控制模块,用于控制所述第一节点基于更新后的存储设备更新所述第一位图;
第二位图更新控制模块,用于控制所述第二节点基于更新后的存储设备更新所述第二位图。
可选地,所述更新模块,还包括:
第二存储信息更新子模块,用于在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
可选地,所述装置,还包括:
修改模块,用于修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
可选地,所述当前遍历的数据组同步控制模块,还包括:
第一位置信息发送控制子模块,用于控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
可选地,所述当前遍历的数据组同步控制模块,还包括:
第二位置信息发送控制子模块,用于控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
同步成功数据组确定控制子模块,用于控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
可选地,所述装置还包括;
节点配置信息更新控制模块,用于控制所述第二节点更新所述第二节点的节点配置信息。
本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。
本发明实施例还公开了一个或多个计算机可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
本发明实施例包括以下优点:
本发明提供了一种位图的同步方法、装置、设备及介质,应用于存储设备,存储设备中还包括至少一个第一节点;第一节点中存储有第一位图;第一位图用于管理存储设备中预设的存储信息;第一位图划分为至少一个数据组;存储设备中新增第二节点时,为数据组分别分配对应的位图同步标识;位图同步标识用于表示数据组是否被同步;遍历数据组,基于位图同步标识,确定当前遍历的数据组是否被同步;在当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;在当前遍历的数据组未被同步的情况下,控制第一节点将当前遍历的数据组同步至第二节点。本发明通过为第一位图中的数据组分配位图同步标识,以表示位图同步标识对应的数据组是否被同步;在存储设备中新增第二节点且存储设备收到IO操作时,若IO操作涉及的数据组对应的位图同步标识表示数据组未同步时,存储设备先控制第一节点将相应的数据组同步至第二节点,再控制第一节点处理IO操作,解决了在第二节点上线时,为了将第一节点存储的第一位图整体同步至第二节点需要控制IO静默,且若第一位图数据较多,IO静默时间较长,影响业务的顺利进行的问题。
附图说明
图1是本发明实施例中提供的一种位图的同步方法的步骤流程图;
图2是本发明实施例提供的一种第一位图中的数据组与对应的位图同步标识的示意图;
图3是本发明实施例中提供的一种位图的同步装置的结构框图;
图4是本发明实施例中提供的一种电子设备的框图;
图5是本发明实施例中提供的一种计算机可读介质的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明实施例中提供的一种位图的同步方法的步骤流程图,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;具体可以包括如下步骤:
步骤101,所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
在本发明实施例中,存储设备中通常包括至少一个第一节点,第一节点是存储设备中已存在的节点。在存储设备接收到IO操作(数据的输入与输出)时,第一节点可以处理IO操作。在存储集群中,快照等灾备功能需要在不同存储设备之间做拷贝,存储设备中的第一节点中均存储有用于管理快照拷贝进度的第一位图,标记存储设备的各个存储位置的存储信息是否已经拷贝到另一个存储设备中。
在一具体示例中,存储设备中包括两个第一节点。在存储设备中的一个第一节点离线,一个第二节点上线(第二节点即存储设备中新增的节点)的情况下,为了保证在存储设备中的第一节点或第二节点再次离线时,存储设备中的存储信息拷贝业务不会受到影响,需要将第一节点中的第一位图同步至第二节点中,以使第一节点和第二节点中均存储有相同的位图,第一节点和第二节点中的位图互为备份。
在本发明实施例中,第一位图可以划分为至少一个数据组,一个数据组的大小为32k(32千字节)。每一个数据组即为一个grain(一个位图所管理的卷粒度)。在将第一节点的第一位图同步至第二节点时,存储设备为第一位图中的数据组分别分配对应的位图同步标识;其中,位图同步标识可以是bit,用于表示与位图同步标识对应的数据组是否被同步。在位图同步标识是0的情况下,位图同步标识对应的数据组已经被同步;在位图同步标识是1的情况下,位图同步标识对应的数据组没有被同步。
在本发明实施例中,存储设备可以在第一节点上申请一块内存空间(syncbitmap),存储设备可以将为第一位图中的数据组分配的位图同步标识存放入syncbitmap中。
步骤102,遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
在本发明实施例中,存储设备可以遍历数据组,并基于当前遍历的数据组对应的位图同步标识判断当前遍历的数据组是否被同步至第二节点。在位图同步标识是0的情况下,当前遍历的数据组已经被同步至第二节点;在位图同步标识是1的情况下,当前遍历的数据组未被同步至第二节点。
步骤103,在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
在本发明实施例中,在位图同步标识是0的情况下,当前遍历的数据组已经被同步至第二节点;存储设备可以继续遍历剩余的数据组,读取剩余数据组对应的位图同步标识以判断剩余数据组是否被同步。
步骤104,在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
在本发明实施例中,在位图同步标识是1的情况下,当前遍历的数据组未被同步,存储设备可以控制第一节点将第一位图中的当前遍历的数据组同步至第二节点。
在本发明实施例中,存储设备中包括至少一个第一节点;第一节点中存储有第一位图;第一位图用于管理存储设备中预设的存储信息;第一位图划分为至少一个数据组;存储设备中新增第二节点时,为数据组分别分配对应的位图同步标识;位图同步标识用于表示数据组是否被同步;遍历数据组,基于位图同步标识,确定当前遍历的数据组是否被同步;在当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;在当前遍历的数据组未被同步的情况下,控制第一节点将当前遍历的数据组同步至第二节点。本发明通过为第一位图中的数据组分配位图同步标识,以表示位图同步标识对应的数据组是否被同步。存储设备通过遍历第一位图中的数据组,基于位图同步标识判断当前遍历的数据组是否被同步至第二节点并将第一位图中的未同步的数据组同步至第二节点,解决了在第二节点上线时,为了将第一节点存储的第一位图整体同步至第二节点需要控制IO静默,且若第一位图数据较多,IO静默时间较长,影响业务的顺利进行的问题。
进一步地,在上述任一实施例中,所述方法还包括:
子步骤S11,在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
在本发明实施例中,存储设备可以为第一节点申请位图同步锁。存储设备读取位图同步标识,判断当前遍历的数据组是否被同步。在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点,存储设备可以利用位图同步锁将当前遍历的数据组设置为上锁状态,然后控制第一节点将第一位图中当前遍历的数据组同步至第二节点。若当前遍历的数据组处于上锁状态且当前遍历的数据组管理的存储设备中的存储信息需要输入或输出(即IO操作涉及当前遍历的数据组管理的存储信息)时,则当前遍历的数据组管理的存储信息的输入或输出暂停。在当前遍历的数据组被同步至第二节点后,当前遍历的数据组管理的存储信息的输入或输出恢复正常处理。
在本发明实施例中,在位图同步标识表示当前遍历的数据组未被同步的情况下,将当前遍历的数据组设置为上锁状态,当前遍历的数据组管理的存储信息的输入或输出暂停,第一位图中的其他数据组管理的存储信息的输入或输出继续正常处理,避免了为了将第一节点存储的第一位图整体同步至第二节点需要控制IO静默,且若位图数据较多,IO静默时间较长,影响业务的顺利进行的问题。
进一步地,在上述任一实施例中,步骤104之后,还包括:
子步骤S21,将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
在本发明实施例中,存储设备读取位图同步标识,在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点,存储设备可以首先将当前遍历的数据组设置为上锁状态,然后控制第一节点将当前遍历的数据组同步至第二节点。在当前遍历的数据组被同步至第二节点后,存储设备将当前遍历的数据组设置为解锁状态。存储设备可以继续遍历剩余的数据组,读取剩余数据组对应的位图同步标识以判断剩余数据组是否被同步,并在数据组未被同步的情况下,控制第一节点将未被同步的数据组同步至第二节点。
在本发明实施例中,在位图同步标识表示当前遍历的数据组未被同步的情况下,将当前遍历的数据组设置为上锁状态,第一位图中的当前遍历的数据组管理的存储信息的输入或输出暂停,当前遍历的数据组被同步至第二节点后,存储设备将当前遍历的数据组设置为解锁状态,当前遍历的数据组管理的存储信息的输入或输出恢复正常处理,保证了第一节点处理IO操作的顺利进行。
进一步地,在上述任一实施例中,步骤104,还包括:
子步骤S31,控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
子步骤S32,控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
在本发明实施例中,存储设备读取位图同步标识,在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点,存储设备控制第一节点将当前遍历的数据组发送至第二节点,第二节点接收当前遍历的数据组,并将当前遍历的数据组存储在第二节点,实现了第一节点中第一位图的当前遍历的数据组的同步。
进一步地,在上述任一实施例中,所述方法还包括:
子步骤S41,接收所述存储设备中存储信息的更新请求;
子步骤S42,基于所述更新请求记载的存储信息确定待更新存储位置;
子步骤S43,控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
在本发明实施例中,在第一节点中的第一位图同步至第二节点的过程中,若存储设备收到IO操作,存储设备仅控制第一节点处理IO操作,第二节点不能处理IO操作。其中,IO操作即存储信息的更新请求。在存储设备收到IO操作时,存储设备可以基于IO操作记载的存储信息对应的存储位置,即存储设备中的待更新位置。存储设备可以控制第一节点基于第一位图处理IO操作,更新存储设备中待更新存储位置的存储信息。
进一步地,在上述任一实施例中,子步骤S43,还包括:
子步骤S51,确定所述第一位图中与所述待更新存储位置对应的数据组;
子步骤S52,读取所述数据组对应的位图同步标识;
子步骤S53,在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
子步骤S54,在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
在本发明实施例中,在第一节点中的第一位图同步至第二节点的过程中,若存储设备收到IO操作,存储设备确定IO操作涉及的存储信息对应的待更新存储位置,并确定第一位图中与待更新存储位置对应的数据组。
存储设备读取数据组对应的位图同步标识,判断数据组是否被同步至第二节点。若数据组正在被同步的过程中,第一节点会等待数据组被同步完成后,再处理IO操作。若位图同步标识是1,表示数据组未被同步至第二节点,存储设备控制第一节点将数据组同步至第二节点;在数据组被同步完成后,存储设备控制第一节点处理IO操作。若位图同步标识是0,数据组已经被同步至第二节点,存储设备直接控制第一节点处理IO操作。
在本发明实施例中,在第一节点中的第一位图同步至第二节点的过程中,若存储设备收到IO操作,存储设备不控制IO操作静默。存储设备判断IO操作涉及的待更新位置对应的数据组是否被同步,在数据组被同步的情况下,第一节点处理IO操作;在数据组未被同步的情况下,第一节点等待数据组被同步后,再处理IO操作,避免了为了将第一节点存储的第一位图整体同步至第二节点需要控制IO静默,且若位图数据较多,IO静默时间较长,影响业务的顺利进行的问题。
进一步地,在上述任一实施例中,所述第二节点中存储有第二位图;子步骤S41之后,还包括:
子步骤S61,控制所述第一节点基于更新后的存储设备更新所述第一位图;
子步骤S62,控制所述第二节点基于更新后的存储设备更新所述第二位图。
在本发明实施例中,第一节点将第一位图中的数据组同步至第二节点,第二节点接收数据组并在第二节点中形成第二位图。在第一节点中的第一位图同步至第二节点的过程中,若存储设备收到IO操作,存储设备仅控制第一节点处理IO操作,基于第一位图更新存储设备中待更新存储位置的存储信息,第二节点不能处理IO操作。在待更新存储位置的存储信息更新结束后,存储设备控制第一节点更新第一位图中与待更新存储位置对应的数据组,控制第二节点更新第二位图中与待更新存储位置对应的数据组,保证了第一位图和第二位图完全相同,互为备份,且第一位图和第二位图分别与存储设备相对应。
进一步地,在上述任一实施例中,子步骤S41,还包括:
子步骤S71,在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
在本发明实施例中,在第一节点中的第一位图同步至第二节点的过程中,若存储设备收到IO操作,存储设备读取数据组对应的位图同步标识,判断数据组是否被同步至第二节点。若位图同步标识是0,数据组已经被同步至第二节点,存储设备可以直接控制第一节点处理IO操作,更新待更新存储位置的存储信息。
进一步地,在上述任一实施例中,步骤104之后,还包括:
子步骤S81,修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
在本发明实施例中,存储设备读取位图同步标识,在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点,存储设备可以控制第一节点将当前遍历的数据组同步至第二节点。在当前遍历的数据组被同步至第二节点后,存储设备可以修改当前遍历的数据组对应的位图同步标识,将1修改为0,以表示当前遍历的数据组已经被同步至第二节点。
进一步地,在上述任一实施例中,步骤104,还包括:
子步骤S91,控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
在本发明实施例中,存储设备读取位图同步标识,在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点。存储设备控制第一节点将当前遍历的数据组的起始位置、长度、目标同步节点等信息发送至第二节点。在本发明实施例中,第二节点即目标同步节点。
进一步地,在上述任一实施例中,步骤104,还包括:
子步骤S101,控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
子步骤S102,控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
在本发明实施例中,存储设备读取位图同步标识,在位图同步标识是1的情况下,第一节点存储的第一位图中的当前遍历的数据组未被同步至第二节点。存储设备控制第一节点将当前遍历的数据组的起始位置、长度、目标同步节点等信息发送至第二节点,并控制第一节点将当前遍历的数据组同步至第二节点。存储设备控制第二节点向第一节点发送同步成功的当前遍历的数据组的位置信息,第一节点基于同步成功的当前遍历的数据组的位置信息确定同步成功的数据组即为第一节点中的当前遍历的数据组。
进一步地,在上述任一实施例中,所述方法还包括;
子步骤S111,控制所述第二节点更新所述第二节点的节点配置信息。
在本发明实施例中,在存储设备中的第二节点上线后,存储设备会为第一节点申请位图同步锁和syncbitmap,存储设备还会控制第二节点更新第二节点的节点配置信息。
参见图2,示出了本发明实施例提供的一种第一位图中的数据组与对应的位图同步标识的示意图。快照位图即第一位图可划分为三个数据组。第一位图中的任一数据组的大小为32k,且第一位图中的数据组按顺序排列。第一位图中的第一数据组可以为0…(32k-1),第二数据组可以为32k…(32k*2-1),第三数据组可以为32k*2…(32k*3-1),与第一数据组对应的位图同步标识为Bit0,与第一数据组对应的位图同步标识为Bit1,与第二数据组对应的位图同步标识为Bit2。在存储设备中新增第二节点后,第一节点将第一位图同步至第二节点的过程中,存储设备可以依次读取第一数据组、第二数据组、第三数据组对应的位图同步标识以依次判断第一数据组、第二数据组、第三数据组是否被同步至第二节点,并控制第一节点将未同步至第二节点的数据组同步至第二节点。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明实施例中提供的一种位图的同步装置的结构框图,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;具体可以包括如下模块:
分配模块301,用于所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历模块302,用于遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
继续遍历模块303,用于在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
当前遍历的数据组同步控制模块304,用于在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
在本发明的一种可选实施例中,所述装置还包括:
上锁状态设置模块,用于在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
在本发明的一种可选实施例中,所述装置还包括:
解锁状态设置模块,用于将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
在本发明的一种可选实施例中,所述当前遍历的数据组同步控制模块,还包括:
当前遍历的数据组发送控制子模块,用于控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
当前遍历的数据组接收控制子模块,用于控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
在本发明的一种可选实施例中,所述装置还包括:
更新请求接收模块,用于接收所述存储设备中存储信息的更新请求;
待更新存储位置确定模块,用于基于所述更新请求记载的存储信息确定待更新存储位置;
存储信息更新模块,用于控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述存储信息更新模块还包括:
确定子模块,用于确定所述第一位图中与所述待更新存储位置对应的数据组;
位图同步标识读取子模块,用于读取所述数据组对应的位图同步标识;
数据组同步控制子模块,用于在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
第一存储信息更新子模块,用于在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述装置,还包括:
第一位图更新控制模块,用于控制所述第一节点基于更新后的存储设备更新所述第一位图;
第二位图更新控制模块,用于控制所述第二节点基于更新后的存储设备更新所述第二位图。
在本发明的一种可选实施例中,所述更新模块,还包括:
第二存储信息更新子模块,用于在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述装置,还包括:
修改模块,用于修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
在本发明的一种可选实施例中,所述当前遍历的数据组同步控制模块,还包括:
第一位置信息发送控制子模块,用于控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
在本发明的一种可选实施例中,所述当前遍历的数据组同步控制模块,还包括:
第二位置信息发送控制子模块,用于控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
同步成功数据组确定控制子模块,用于控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
在本发明的一种可选实施例中,所述装置还包括;
节点配置信息更新控制模块,用于控制所述第二节点更新所述第二节点的节点配置信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,本发明实施例还提供一种电子设备,如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现如下步骤:
所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
在本发明的一种可选实施例中,所述方法还包括:
在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
在本发明的一种可选实施例中,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
在本发明的一种可选实施例中,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
在本发明的一种可选实施例中,所述方法还包括:
接收所述存储设备中存储信息的更新请求;
基于所述更新请求记载的存储信息确定待更新存储位置;
控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述更新所述待更新存储位置的存储信息的步骤,还包括:
确定所述第一位图中与所述待更新存储位置对应的数据组;
读取所述数据组对应的位图同步标识;
在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述第二节点中存储有第二位图;所述更新所述待更新存储位置的存储信息的步骤之后,还包括:
控制所述第一节点基于更新后的存储设备更新所述第一位图;
控制所述第二节点基于更新后的存储设备更新所述第二位图。
在本发明的一种可选实施例中,所述更新所述待更新存储位置的存储信息的步骤,还包括:
在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
在本发明的一种可选实施例中,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
在本发明的一种可选实施例中,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
在本发明的一种可选实施例中,所述方法还包括:
控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
可选地,所述方法还包括;
控制所述第二节点更新所述第二节点的节点配置信息。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质501,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的一种位图的同步方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的一种位图的同步方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种位图的同步方法,其特征在于,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;所述方法包括:
所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述当前遍历的数据组未被同步的情况下,将所述当前遍历的数据组设置为上锁状态。
3.根据权利要求2所述的方法,其特征在于,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
将所述当前遍历的数据组设置为解锁状态,并继续遍历剩余的数据组是否被同步。
4.根据权利要求1所述的方法,其特征在于,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点将所述当前遍历的数据组发送至所述第二节点;
控制所述第二节点接收所述当前遍历的数据组,并将所述当前遍历的数据组存储在所述第二节点。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述存储设备中存储信息的更新请求;
基于所述更新请求记载的存储信息确定待更新存储位置;
控制所述第一节点基于所述第一位图更新所述待更新存储位置的存储信息。
6.根据权利要求5所述的方法,其特征在于,所述更新所述待更新存储位置的存储信息的步骤,还包括:
确定所述第一位图中与所述待更新存储位置对应的数据组;
读取所述数据组对应的位图同步标识;
在所述位图同步标识表示所述数据组未被同步的情况下,控制所述第一节点将所述数据组同步至所述第二节点;
在所述第一节点将所述数据组同步至所述第二节点的情况下,更新所述待更新存储位置的存储信息。
7.根据权利要求6所述的方法,其特征在于,所述第二节点中存储有第二位图;所述更新所述待更新存储位置的存储信息的步骤之后,还包括:
控制所述第一节点基于更新后的存储设备更新所述第一位图;
控制所述第二节点基于更新后的存储设备更新所述第二位图。
8.根据权利要求6所述的方法,其特征在于,所述更新所述待更新存储位置的存储信息的步骤,还包括:
在所述位图同步标识表示所述数据组被同步的情况下,更新所述待更新存储位置的存储信息。
9.根据权利要求1所述的方法,其特征在于,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤之后,还包括:
修改所述当前遍历的数据组对应的位图同步标识,以使所述位图同步标识表示所述当前遍历的数据组被同步至所述第二节点。
10.根据权利要求1所述的方法,其特征在于,所述控制所述第一节点将所述当前遍历的数据组同步至所述第二节点的步骤,还包括:
控制所述第一节点向所述第二节点发送所述当前遍历的数据组的位置信息。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
控制所述第二节点向所述第一节点发送同步成功的当前遍历的数据组的位置信息;
控制所述第一节点基于所述同步成功的当前遍历的数据组的位置信息确定同步成功的数据组。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括;
控制所述第二节点更新所述第二节点的节点配置信息。
13.一种位图的同步装置,其特征在于,应用于存储设备,所述存储设备中还包括至少一个第一节点;所述第一节点中存储有第一位图;所述第一位图用于管理所述存储设备中预设的存储信息;所述第一位图划分为至少一个数据组;所述装置包括:
分配模块,用于所述存储设备中新增第二节点时,为所述数据组分别分配对应的位图同步标识;所述位图同步标识用于表示所述数据组是否被同步;
遍历模块,用于遍历所述数据组,基于所述位图同步标识,确定当前遍历的数据组是否被同步;
继续遍历模块,用于在所述当前遍历的数据组被同步的情况下,继续遍历剩余的数据组是否被同步;
当前遍历的数据组同步控制模块,用于在所述当前遍历的数据组未被同步的情况下,控制所述第一节点将所述当前遍历的数据组同步至所述第二节点。
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行存储器上所存放的程序时,实现如权利要求1-12任一项所述的方法。
15.一个或多个计算机可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如权利要求1-12任一项所述的方法。
CN202311481972.2A 2023-11-08 2023-11-08 一种位图的同步方法、装置、设备及介质 Active CN117215501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311481972.2A CN117215501B (zh) 2023-11-08 2023-11-08 一种位图的同步方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311481972.2A CN117215501B (zh) 2023-11-08 2023-11-08 一种位图的同步方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117215501A true CN117215501A (zh) 2023-12-12
CN117215501B CN117215501B (zh) 2024-02-09

Family

ID=89051526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311481972.2A Active CN117215501B (zh) 2023-11-08 2023-11-08 一种位图的同步方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117215501B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043979A1 (en) * 2007-08-06 2009-02-12 International Business Machines Corporation Managing write requests to data sets in a primary volume subject to being copied to a secondary volume
WO2012110567A1 (de) * 2011-02-15 2012-08-23 Christmann Informationstechnik + Medien Gmbh & Co. Kg Verfahren zur deduplizierung von auf einem speichermedium gespeicherten daten und dateiserver dafür
CN102937882A (zh) * 2011-09-12 2013-02-20 微软公司 对具有使用位图的存储设备的有效访问
US20160149828A1 (en) * 2014-11-25 2016-05-26 Netapp, Inc. Clustered storage system path quiescence analysis
US20170344432A1 (en) * 2016-05-31 2017-11-30 Qnap Systems, Inc. Data synchronization method and device without redundant replication
CN111399772A (zh) * 2020-02-29 2020-07-10 苏州浪潮智能科技有限公司 一种节点间的位图信息同步方法、装置、设备及存储介质
CN113608672A (zh) * 2021-06-20 2021-11-05 苏州浪潮智能科技有限公司 一种数据同步的方法、装置、设备及可读介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043979A1 (en) * 2007-08-06 2009-02-12 International Business Machines Corporation Managing write requests to data sets in a primary volume subject to being copied to a secondary volume
WO2012110567A1 (de) * 2011-02-15 2012-08-23 Christmann Informationstechnik + Medien Gmbh & Co. Kg Verfahren zur deduplizierung von auf einem speichermedium gespeicherten daten und dateiserver dafür
CN102937882A (zh) * 2011-09-12 2013-02-20 微软公司 对具有使用位图的存储设备的有效访问
US20160149828A1 (en) * 2014-11-25 2016-05-26 Netapp, Inc. Clustered storage system path quiescence analysis
US20170344432A1 (en) * 2016-05-31 2017-11-30 Qnap Systems, Inc. Data synchronization method and device without redundant replication
CN111399772A (zh) * 2020-02-29 2020-07-10 苏州浪潮智能科技有限公司 一种节点间的位图信息同步方法、装置、设备及存储介质
CN113608672A (zh) * 2021-06-20 2021-11-05 苏州浪潮智能科技有限公司 一种数据同步的方法、装置、设备及可读介质

Also Published As

Publication number Publication date
CN117215501B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN107295080B (zh) 应用于分布式服务器集群的数据存储方法和服务器
CN109683826B (zh) 用于分布式存储系统的扩容方法和装置
KR101871383B1 (ko) 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템
CN107315825B (zh) 一种索引更新系统、方法及装置
CN112351051A (zh) 云服务处理方法、装置、云服务器、系统及存储介质
US10732904B2 (en) Method, system and computer program product for managing storage system
CN114817146A (zh) 一种处理数据的方法和装置
CN114356504A (zh) 集群中数据迁移方法、装置、电子设备和存储介质
CN117215501B (zh) 一种位图的同步方法、装置、设备及介质
CN111651419B (zh) 数据存储方法、装置及存储介质
CN111104250A (zh) 用于数据处理的方法、设备和计算机程序产品
CN110298031B (zh) 一种词典服务系统及模型版本一致性配送方法
CN110955460A (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN112035579A (zh) 图管理、数据存储、数据查询方法、装置及存储介质
CN111198782A (zh) 数据重分布方法、装置、设备及存储介质
CN111147226A (zh) 数据存储方法、装置及存储介质
CN111629054B (zh) 消息处理方法、装置、系统、电子设备及可读存储介质
CN113392067A (zh) 一种针对分布式数据库的数据处理方法、装置及系统
KR102033383B1 (ko) 분산데이터 환경에서의 데이터 관리방법 및 시스템
CN103685034A (zh) 路由管理的方法和节点
CN112579384B (zh) 一种sas域的节点监控方法、装置、系统及节点
US12032561B2 (en) Source-adapted data retrieval for multi-tenant system
CN115878696B (zh) 一种分布式数据处理集群高可用方法和装置
CN112732809B (zh) 一种etl系统及基于etl系统的数据处理方法
CN116049314A (zh) 一种数据获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant