CN113254424A - 数据服务迁移方法、装置及设备 - Google Patents
数据服务迁移方法、装置及设备 Download PDFInfo
- Publication number
- CN113254424A CN113254424A CN202110652644.9A CN202110652644A CN113254424A CN 113254424 A CN113254424 A CN 113254424A CN 202110652644 A CN202110652644 A CN 202110652644A CN 113254424 A CN113254424 A CN 113254424A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- migrated
- service
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据服务迁移方法、装置及设备,属于计算机技术领域。所述方法包括:确定与源端设备的第一数据集关联的待迁移数据;将待迁移数据发送至目的端设备;将接收到的数据变更信息发送至目的端设备,以使目的端设备根据待迁移数据和数据变更信息得到第二数据集;对第一数据集和第二数据集进行一致性校验;若第一数据集和第二数据集通过一致性校验,则将发送至源端设备的数据服务请求重定向至目的端设备,以使目的端设备根据第二数据集提供对应的数据服务。本申请实施例提供的技术方案中,无需直接读取第一数据集,仅通过待迁移数据和数据变更信息即可同步得到实时数据,能够不停服迁移数据服务,提升迁移效率。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种数据服务迁移方法、装置及设备。
背景技术
随着互联网技术的发展,用户在使用应用程序过程中产生的数据越来越多,并且用户对应用程序的依赖性也越来越强,如何完成应用程序的数据迁移成为值得关注的问题。
相关技术中,为了进行数据迁移,需要通知用户下线,并关停应用程序的服务器,再将服务器中的数据导出至新的服务器中,等待海量数据传输完成之后,再提供应用服务,因此,存在需要长时间停服的问题,并且相关技术中数据迁移耗时较长、迁移效率也较低。
发明内容
本申请实施例提供了一种数据服务迁移方法、装置及设备,能够在不停服的情况下成功迁移数据服务,缩短数据服务迁移时长,有效提升数据迁移效率。
根据本申请实施例的一个方面,提供了一种数据服务迁移方法,所述方法包括:
确定与所述源端设备的第一数据集关联的待迁移数据;
将所述待迁移数据发送至目的端设备;
将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,所述数据变更信息包括开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
对所述第一数据集和所述第二数据集进行一致性校验;
若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供对应的数据服务。
根据本申请实施例的一个方面,提供了一种数据服务迁移方法,所述方法包括:
接收待迁移数据,所述待迁移数据与源端设备的第一数据集相关联;
接收数据变更信息,所述数据变更信息表征所述源端设备开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
根据所述数据变更信息更新所述待迁移数据,得到第二数据集;
在所述第一数据集和所述第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求,所述重定向后的数据服务请求是指目的地址由所述源端设备重定向为所述目的端设备的请求;
基于所述第二数据集,为所述重定向后的数据服务请求提供数据服务。
根据本申请实施例的一个方面,提供了一种数据服务迁移装置,所述装置包括:
数据存储模块,用于确定与所述源端设备的第一数据集关联的待迁移数据;
所述数据存储模块,还用于将所述待迁移数据发送至目的端设备;
数据服务模块,用于将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,所述数据变更信息包括开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
数据校验模块,用于对所述第一数据集和所述第二数据集进行一致性校验;
所述数据服务模块,还用于若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供对应的数据服务。
根据本申请实施例的一个方面,提供了一种数据服务迁移装置,所述装置包括:
数据存储模块,用于接收待迁移数据,所述待迁移数据与源端设备的第一数据集相关联;
所述数据存储模块,还用于接收数据变更信息,所述数据变更信息表征所述源端设备开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
所述数据存储模块,还用于根据所述数据变更信息更新所述待迁移数据,得到第二数据集;
数据服务模块,用于在所述第一数据集和所述第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求,所述重定向后的数据服务请求是指目的地址由所述源端设备重定向为所述目的端设备的请求;
所述数据服务模块,还用于基于所述第二数据集,为所述重定向后的数据服务请求提供数据服务。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述数据服务迁移方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述数据服务迁移方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据服务迁移方法。
本申请实施例提供的技术方案可以带来如下有益效果:
源端设备会发送第一数据集关联的待迁移数据至目的端设备,还会进行数据双写,即在本地数据变更的情况下,将该变更对应的数据变更信息同时发送给目的端设备,以使目的端设备根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。通过数据双写的方式能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,源端设备可以通过一致性校验来检验是否完成数据的迁移和同步,在一致性检验通过的情况下即可进行服务切换。源端设备会将数据服务请求重定向至目的端设备,使得目的端设备在同步完成的情况下提供相应的数据服务。可见,整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的应用程序运行环境的示意图;
图2示例性示出了一种数据服务迁移系统的架构图;
图3是本申请一个实施例提供的数据服务迁移方法的流程图;
图4是本申请另一个实施例提供的数据服务迁移方法的流程图;
图5是本申请一个实施例提供的数据服务迁移方法的流程图;
图6示例性示出了一种数据服务迁移方案的技术架构示意图;
图7示例性示出了一种数据对账工具的工作流程示意图;
图8是本申请一个实施例提供的数据服务迁移装置的框图;
图9是本申请另一个实施例提供的数据服务迁移装置的框图;
图10是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
本申请实施例提供的方案涉及云技术和区块链技术,下面对此进行简要说明,以便于本领域技术人员理解。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
云技术(Cloud technology):基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云计算(Cloud computing):指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的应用程序运行环境的示意图。该应用程序运行环境可以包括:终端10、源端设备20和目的端设备30。
终端10可以是诸如手机、PC(Personal Computer,个人计算机)、便携式计算机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备等电子设备。终端10中可以安装应用程序的客户端。
在本申请实施例中,上述应用程序可以是任何能够提供应用服务的应用程序。在一种可能的实施方式中,该应用程序为游戏应用程序,如大逃杀生存(Battle Royale,BR)游戏、沙盒游戏(Sandbox Games)、云游戏(Cloud Gaming)、多人在线战术竞技(Multiplayer Online Battle Arena,MOBA)游戏、第三人称射击游戏(Third-PersonalShooting Game,TPS)、第一人称射击游戏(First-Person Shooting Game,FPS)和多人枪战类生存游戏,等等。当然,除了游戏应用程序之外,其它类型的应用程序中也能够提供应用服务。例如,社交类应用程序、互动娱乐类应用程序、虚拟现实(Virtual Reality,VR)类应用程序、增强现实(Augmented Reality,AR)类应用程序、三维地图程序、军事仿真程序等,本申请对应用服务类型以及应用程序类型不作限定。另外,对于不同的应用程序来说,其提供的应用服务也会有所不同,且相应的功能也会有所不同,这都可以根据实际需求预先进行配置,本申请实施例对此不作限定。可选地,终端10中运行有上述应用程序的客户端。在一些实施例中,上述应用程序是基于三维的虚拟环境引擎开发的应用程序,比如该虚拟环境引擎是Unity引擎或者Unreal引擎,该虚拟环境引擎能够构建三维的虚拟环境动画、虚拟对象动画和虚拟道具动画等,给用户带来更加沉浸式的应用体验。
源端设备20用于为终端10中的应用程序的客户端提供后台服务,在数据服务迁移之后,可由目的端设备30为终端10中的应用程序的客户端提供后台服务。源端设备20和目的端设备30均可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,源端设备20和目的端设备30均能同时为多个终端10中的应用程序提供后台服务。
源端设备20为终端10提供后台服务。在一些情况下会进行数据服务迁移,由目的端设备30替代源端设备20。数据服务迁移完成后,便由目的端设备30为终端10提供后台服务。可选地,目的端设备30还可以是新搭建的服务设备,用于替换上述源端设备20。可选地,上述源端设备20和目的端设备30可以在同一地域也可以在不同地域,源端设备20和目的端设备30还可以部署于同一台物理设备中,具体部署方式可根据数据服务迁移任务确定,本申请实施例对此不作限定。
可选地,终端10、源端设备20与目的端设备30之间可通过网络40进行互相通信。终端10、源端设备20与目的端设备30可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个示例中,如图2所示,其示例性示出了一种数据服务迁移系统的架构图。上述数据服务迁移系统包括终端10、源服务器21、源数据库22、目标服务器31、目标数据库32以及数据对账工具50。
1、源服务器21:数据服务迁移前为终端10中目标应用程序的客户端提供后台服务的服务器,可支持上述目标应用程序所需的完整的应用功能,具备应用数据读写能力,支持跨集群读写数据库。
2、目标服务器31:数据服务迁移后为终端10中目标应用程序的客户端提供后台服务的服务器,用于替代上述源端服务器,同样可支持上述目标应用程序所需的完整的应用功能,具备应用数据读写能力,支持跨集群读写数据库。
3、源数据库22:数据服务迁移前的应用数据库,存放完整的玩家数据,需要支持每天全量数据备份,备份文件导入导出,数据操作log记录,根据log恢复数据等能力。
4、目标数据库32:数据服务迁移后的应用数据库,架构及提供的能力与源数据库22相同。
5、数据对账工具23:能够根据一定的数据校验规则,对源数据库22和目标数据库32的数据进行对账,并生成数据对比报告。
可选地,上述源服务器21、源数据库22可组成上述源端设备20,上述目标服务器31、目标数据库32可组成上述目的端设备30,数据对账工具50可以部署于源端设备20或者目的端设备30任意一侧,也可以单数部署,本申请实施例对此不作限定。可选地,上述数据服务迁移系统是一种游戏应用程序的数据服务迁移系统,用于进行游戏数据服务的数据迁移。
在介绍本申请提供的方法实施例之前,先对本申请方法实施例中可能涉及的相关术语或者名词进行简要介绍,以便于本申请领域技术人员理解。
数据传输服务(Data Transmission Service,DTS)是提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务。
数据库(Database,DB)一般指数据信息的集合,也可以看作按照数据结构来存储和组织信息数据的软件容器或仓库。
键值数据库主要会使用到一个散列表,这个表中有一个特定的键和一个指针指向特定的数据。键值模型对于IT系统来说,其优势在于简单、易部署。键值数据库可以按照键对数据进行定位,还可以通过对键进行排序和分区,以实现更快速的数据定位。
请参考图3,其示出了本申请一个实施例提供的数据服务迁移方法的流程图。该方法可应用于计算机设备中,所述计算机设备是指具备数据计算和处理能力的电子设备,如各步骤的执行主体可以是图1所示的应用程序运行环境中的源端设备20。该方法可以包括以下几个步骤(310~350)。
步骤310,确定与源端设备的第一数据集关联的待迁移数据。
上述源端设备中存储有第一数据集。可选地,第一数据集存储于源端设备的数据存储设备中。例如,上述数据存储设备为源数据库。可选地,上述源数据库为键值数据库,例如键值内存数据库。可选地,源数据库提供分布式NoSQL(Not Only SQL,非关系型的数据库)数据存储服务,支持全区全服、分区分服的业务模式。上述第一数据集中存储有应用数据和用户数据。
在一种可能的实施方式中,应用程序可以按照地域划分为不同版本,运行相同版本应用程序的终端可构成一个集群。例如,应用程序包括北美版应用程序、新加坡版应用程序等地域的应用程序。运行北美版应用程序的终端可构成一个集群,运行新加坡版应用程序的终端可构成另外一个集群。
上述第一数据集可以是第一集群中各用户帐号的数据。本申请实施例对集群的划分方法不作限定,同属于应用程序的中一个服务分区的用户帐号对应的终端也可以构成一个集群。
在示例性实施例中,上述待迁移数据包括冷备数据和数据日志。上述冷备数据是第一数据集的备份数据,存储于上述第一数据集之外。可选地,冷备数据为确定待迁移数据之前,最近一次对第一数据集进行备份操作生成的数据。可选地,上述冷备数据为实时冷备数据。上述数据日志用于记录第一数据集内的数据操作信息。可选地,上述数据日志包括备份操作的起始时刻起,对第一数据集的数据操作信息。
相应的,上述待迁移数据的确定过程包括:获取冷备数据;获取数据日志;将冷备数据和目标数据日志确定为待迁移数据。
可选地,冷备数据存储于冷备文件中,冷备文件是从第一数据集中导出的,存储在第一数据集对应的源数据库所在设备的本地磁盘中,并非存储于源数据库中。上述目标数据日志用于记录在生成冷备数据之后,对于第一数据集的数据操作信息。例如,目标数据日志是开始进行数据备份的时刻起,第一数据集对应的数据操作信息。
获取冷备数据的方式可以是从磁盘中读取冷备数据。在一些实施例中,源端设备会定期对第一数据集进行备份,并将备份后的数据存储于上述源端设备的磁盘中,与第一数据集中的数据分开存储。分开存储的原因在于,源端设备提供数据服务的期间,第一数据集中的数据需要进行频繁的读写,可以称第一数据集中的数据为热数据,即数据服务需要频繁读写的数据,为了避免对数据服务读写第一数据集的效率造成影响,可以在数据服务低峰时对第一数据集进行备份,并存储于数据服务访问较少的磁盘中。这样,需要读取冷备数据时便从磁盘中进行读取,不会对数据服务读写第一数据集的效率造成影响。
获取目标时刻之后产生的数据日志的方式同样也可以是从磁盘中读取。在一些实施例中,源端设备会记录对第一数据集的数据操作信息,生成数据日志,但同样会将数据日志与第一数据集分开独立存储。这样一来,既可以节省第一数据集所占的数据存储空间,也不会影响数据服务读写第一数据集的效率。
在获取冷备数据并且获取数据日志的情况下,可以根据数据日志中的数据操作信息对冷备数据进行修改,既可以在冷备数据的基础上生成冷备数据对应时段之后的数据,也可以恢复至冷备数据对应时段之前的数据。通过数据日志对冷备数据修改得到实时数据的方式,可以不对第一数据集中的数据读写效率造成影响,进而为实现不停服进行数据服务迁移提供保障。
步骤320,将待迁移数据发送至目的端设备。
上述目的端设备是数据服务迁移后,替代源端设备提供数据服务的设备。
在获取冷备数据之后,便可将冷备数据发送至目的端设备,目的端设备可以存储于目的端设备的磁盘中,然后导入至目的端设备的目标数据库中。可选地,将包含有上述冷备数据的冷备文件传输至目的端设备,冷备数据在目的端设备中依然是以磁盘文件的形式存在。
对于待迁移数据中的数据日志,可以获取当前时刻之前的历史数据日志,并将上述历史数据日志发送至目的端设备,也可以将数据迁移过程实时产生的数据日志实时发送至目的端设备。发送实时数据日志的过程可以贯穿于整个数据迁移过程中。
步骤330,将接收到的数据变更信息发送至目的端设备,以使目的端设备根据待迁移数据和数据变更信息得到第二数据集。
数据变更信息包括开始发送待迁移数据之后,第一数据集产生的变化信息。
在步骤330之前,源端设备仍然在提供数据服务,所以会实时接收终端发送数据服务请求,上述数据服务请求可以是请求读取数据,也可是请求修改数据。上述数据变更信息便可以位于上述数据服务请求中,由终端发送至源端设备。
源端设备在数据迁移过程中的某个时间节点会开启数据双写。一方面,源端设备会根据接收到的数据变更信息,对本地的第一数据集中的数据进行变更修改,更新第一数据集;另一方面,源端设备会将数据变更信息发送至目的端设备,以使目的端设备根据待迁移数据和数据变更信息得到第二数据集。
目的端设备在数据迁移开始后,会收到冷备数据和数据日志。在未接收到数据变更信息之前,目的端设备会根据数据日志对冷备数据进行修改,生成第二数据集。在接收到数据变更信息后,目的端设备便可根据上述数据变更信息对第二数据集中的数据进行修改,更新第二数据集,得到第一数据集中的实时数据。
在某种程度上来说,数据变更信息和数据日志对第二数据集的作用有相同支出,均是对第二数据集中的进行更新。通过数据日志可以帮助第二数据集重构第一数据集在冷备数据对应时段之后的数据,通过数据变更信息可以帮助第二数据集重构数据双写之后产生的实时数据。通过实时传来的实时数据日志也可以对数据双写之后第一数据集的实时数据进同步,这里仅需数据变更信息或者实时数据日志一种数据即可,数据日志与数据变更信息对应的时间戳相同的情况下,可以仅使用数据变更信息对第二数据集进行更新。
在一种可能的实施方式中,上述第二数据集是上述目的端设备已有的数据集,上述第二数据集可以是第二集群中各用户帐号的数据。
步骤340,对第一数据集和第二数据集进行一致性校验。
可选地,上述一致性校验用于校验第一数据集中的数据和第二数据集中的数据是否相同。第一数据集和第二数据集之间的数据一致能够保障数据服务迁移之后,第二数据集中具有完整的最新的第一数据集中的数据,不会出现数据错误、数据丢失的问题。
一致性校验的方式可以是根据待校验数据列表,从第一数据集中读取与待校验数据列表对应的目标源数据,以及从第二数据集中读取与待校验数据列表对应的目标同步数据,将目标源数据的目标同步数据进行对比,得到目标源数据和目标同步数据之间的差异,进而将目标源数据和目标同步数据之间的差异确定为第一数据集和第二数据集之间的差异信息。通过上述差异信息可以判断第一数据集和第二数据集是否一致。
具体来说,上述一致性校验过程中需要获取待校验数据列表;基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息;根据差异信息,判断第一数据集和第二数据集是否一致;若差异信息表征第一数据集和第二数据集之间不具备一致性,则根据差异信息更新待校验数据列表,执行基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息的步骤;若差异信息表征第一数据集和第二数据集之间具备一致性,则判定第一数据集和第二数据集通过一致性校验。
其中,基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息的过程可以包括:根据待校验数据列表和第一数据集,确定目标源数据;根据待校验数据列表和第二数据集,确定目标同步数据;将目标源数据和目标同步数据之间的差异,确定为第一数据集和第二数据集之间的差异信息。
步骤350,若第一数据集和第二数据集通过一致性校验,则将发送至源端设备的数据服务请求重定向至目的端设备,以使目的端设备根据第二数据集提供对应的数据服务。
上述数据迁移过程中,源端设备仍然会提供数据服务,会接收终端发来的数据服务请求。若第一数据集和第二数据集通过一致性校验,则说明目的端设备中第二数据集中的数据与第一数据集中的数据保持一致,具备进行服务切换的条件。在第一数据集和第二数据集通过一致性校验的情况下,可由目的端设备替代源端设备,为终端提供数据服务。服务切换过程中,源端设备在接收到上述数据服务请求后,并不会向终端提供终端请求的数据信息;而是包含有目的端设备的地址的重定向信息发送至终端,终端可以根据上述重定向信息将数据服务请求发送至目的端设备。这样,源端设备便将发送至源端设备的数据服务请求成功重定向至目的端设备。目的端设备接收到上述重定向后的数据服务请求后,基于第二数据集提供与上述数据服务请求对应的数据服务。
在一些实施例中,若第一数据集和第二数据集通过一致性校验,源端设备则停止对第一数据集中公共数据的修改操作,避免在服务切换过程中源端设备与目的端同时对公共数据进行修改,导致公共数据出错。上述公共数据是指帐号的公用数据。例如,游戏应用中的战队的公共数据。
除停止对第一数据集中公共数据的修改操作之外,源端设备还会确定当前登录的目标帐号;然后断开与目标帐号的数据服务连接,以触发目标帐号对应的终端向源端设备发出数据服务请求。上述数据服务请求可以是尝试登录的请求。
源端设备接收目标帐号对应的终端发出数据服务请求后,停止提供与数据服务请求对应的数据服务;但会根据数据服务请求对应的帐号,确定帐号在第一数据集中对应的帐号数据;进而将帐号数据同步至第二数据集;在同步完成的情况下,标记帐号;最终向标记过的帐号对应的终端发送重定向信息,以使终端根据重定向信息向目的端设备发送数据服务请求。上述过程是对用户帐号数据的二次同步,通过直接将帐号数据写入至第二数据集的方式,进一步确保第二数据中的帐号数据是最新的实时数据。上述帐号数据写入至第二数据集
上述过程均不会被用户感知,均是通过终端后台与源端服务器静默连接的方式进行,已登录的用户不会感知到数据服务中断,只是提供数据服务的设备由源端设备改为目的端设备,新登录的用户也不会登录失败,而是会成功登录至目的端设备。
综上所述,本申请实施例提供的技术方案,源端设备会发送第一数据集关联的待迁移数据至目的端设备,还会进行数据双写,即在本地数据变更的情况下,将该变更对应的数据变更信息同时发送给目的端设备,以使目的端设备根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。通过数据双写的方式能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,源端设备可以通过一致性校验来检验是否完成数据的迁移和同步,在一致性检验通过的情况下即可进行服务切换。源端设备会将数据服务请求重定向至目的端设备,使得目的端设备在同步完成的情况下提供相应的数据服务。可见,整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
另外,源端设备是以循环校验的方式对第一数据集和第二数据集的数据进行校验,并且每次只校验存在上一轮校验过程中有差异的部分数据,有效降低了计算量,并且可以有效确保数据迁移前后的一致性。源端设备还会在服务切换的过程中停止对公共数据的写入,保证公共数据不会同时被修改,进而确保数据的正确性。此外,源端设备会在重定向数据服务请求之前,将相应的帐号数据进行双写,进一步同步第二数据集中该帐号的帐号数据,确保迁移之后的帐号数据不会因为延迟而不完整或者存在问题,进一步确保数据迁移的可靠性,保证服务切换后用户可以正常使用数据服务,确保用户对数据服务迁移过程无感知。
在一种可能的实施方式中,源端设备包括源服务器和源数据存储设备,目的端设备包括目标服务器和目标数据存储设备,第一数据集位于源数据存储设备,第二数据集位于目标数据存储设备。
相应的,上述步骤330的实现方式如下:
源服务器接收数据变更信息,将数据变更信息发送至源数据存储设备,以使源数据存储设备根据数据变更信息更新第一数据集;
源服务器将数据变更信息发送至目标数据存储设备,以使目标数据存储设备根据待迁移数据和数据变更信息得到第二数据集;
相应的,上述步骤350中将发送至源端设备的数据服务请求重定向至目的端设备,以使目的端设备根据第二数据集提供数据服务的实现方式如下:
源服务器将数据服务请求重定向至目标服务器,以使目标服务器根据第二数据集提供数据服务。
在一种可能的实施方式中,源端设备还包括数据对账工具。相应的,上述步骤340的实现方式为,数据对账工具对第一数据集和第二数据集进行一致性校验。
请参考图4,其示出了本申请另一个实施例提供的数据服务迁移方法的流程图。该方法可应用于计算机设备中,所述计算机设备是指具备数据计算和处理能力的电子设备,如各步骤的执行主体可以是图1所示的应用程序运行环境中的目的端设备30。该方法可以包括以下几个步骤(410~450)。
步骤410,接收待迁移数据。
待迁移数据与源端设备的第一数据集相关联。
在示例性实施例中,上述待迁移数据包括冷备数据和数据日志。相应的,接收上述冷备数据和数据日志。
步骤420,接收数据变更信息。
数据变更信息表征源端设备开始发送待迁移数据之后,第一数据集产生的变化信息。
数据迁移过程中,源端设备仍然在提供数据服务,所以会实时接收终端发送数据服务请求,上述数据服务请求可以是请求读取数据,也可是请求修改数据。上述数据变更信息便可以位于上述数据服务请求中,由终端发送至源端设备。
源端设备在数据迁移过程中的某个时间节点会开启数据双写。一方面,源端设备会根据接收到的数据变更信息,对本地的第一数据集中的数据进行变更修改,更新第一数据集;另一方面,源端设备会将数据变更信息发送至目的端设备,以使目的端设备根据待迁移数据和数据变更信息得到第二数据集。
在源端设备开启数据双写后,目的端设备会接收到实时的数据变更信息。
步骤430,根据数据变更信息更新待迁移数据,得到第二数据集。
在接收上述冷备数据和数据日志之后,目的端设备可以根据数据日志中的数据操作信息对冷备数据进行修改,生成第二数据集。通过数据日志对冷备数据修改得到第二数据集的方式,数据不会直接从第一数据集中进行同步,进而可以保证不对第一数据集中的数据读写效率造成影响,为实现不停服进行数据服务迁移提供保障。
在接收到实时的数据变更信息之后,目的端设备可以根据数据变更信息对第二数据集进行更新。
步骤440,在第一数据集和第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求。
重定向后的数据服务请求是指目的地址由源端设备重定向为目的端设备的请求。
上述数据迁移过程中,源端设备仍然会提供数据服务,会接收终端发来的数据服务请求。若第一数据集和第二数据集通过一致性校验,则说明目的端设备中第二数据集中的数据与第一数据集中的数据保持一致,具备进行服务切换的条件。在第一数据集和第二数据集通过一致性校验的情况下,可由目的端设备替代源端设备,为终端提供数据服务。服务切换过程中,源端设备在接收到上述数据服务请求后,并不会向终端提供终端请求的数据信息;而是包含有目的端设备的地址的重定向信息发送至终端,终端可以根据上述重定向信息生成重定向后的数据服务请求并发送至目的端设备。这样,目的端设备便会接收到上述重定向后的数据服务请求。
在一种可能的实施方式中,上述一致性校验也可以在目的端设备进行。上述步骤440之前,还包括:对第一数据集和第二数据集进行一致性校验。
一致性校验的方式可以是根据待校验数据列表,从第一数据集中读取与待校验数据列表对应的目标源数据,以及从第二数据集中读取与待校验数据列表对应的目标同步数据,将目标源数据的目标同步数据进行对比,得到目标源数据和目标同步数据之间的差异,进而将目标源数据和目标同步数据之间的差异确定为第一数据集和第二数据集之间的差异信息。通过上述差异信息可以判断第一数据集和第二数据集是否一致。
具体来说,上述一致性校验过程中需要获取待校验数据列表;基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息;根据差异信息,判断第一数据集和第二数据集是否一致;若差异信息表征第一数据集和第二数据集之间不具备一致性,则根据差异信息更新待校验数据列表,执行基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息的步骤;若差异信息表征第一数据集和第二数据集之间具备一致性,则判定第一数据集和第二数据集通过一致性校验。
其中,基于待校验数据列表,确定第一数据集和第二数据集之间的差异信息的过程可以包括:根据待校验数据列表和第一数据集,确定目标源数据;根据待校验数据列表和第二数据集,确定目标同步数据;将目标源数据和目标同步数据之间的差异,确定为第一数据集和第二数据集之间的差异信息。
在一种可能的实施方式中,目的端设备还会接收源端设备发送的帐号数据,基于上述帐号数据对第二数据集进行更新。
步骤450,基于第二数据集,为重定向后的数据服务请求提供数据服务。
可选地,上述数据服务包括登录授权操作。
可选地,上述数据服务包括对第二数据集中公共数据的修改操作。上述公共数据是指帐号的公用数据。例如,游戏应用中的战队的公共数据。
综上所述,本申请实施例提供的技术方案,目的端设备会接收源端设备发送的与第一数据集关联的待迁移数据,以及源端设备双写过程中发送的实时的数据更改信息,进而可以根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。目的端在对第二数据集中的数据的更新过程中,不会直接从第一数据集中读取数据,能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,目的端设备会在一致性检验通过的情况下进行服务切换,基于迁移同步完成第二数据集中的实时数据为重定向后的数据请求提供相应的数据服务。整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
请参考图5,其示出了本申请一个实施例提供的数据服务迁移方法的流程图。该方法可应用于图1所示的应用程序运行环境中。该方法可以包括以下几个步骤(501~528)。
S501:源端设备获取冷备数据。
S502:源端设备发送冷备数据至目的端设备。
相应的,目的端设备接收冷备数据。
S503:目的端设备根据冷备数据生成第二数据集。
S504:源端设备获取数据日志。
S505:源端设备发送数据日志至目的端设备。
相应的,目的端设备接收冷备数据。
S506:目的端设备根据数据日志,更新第二数据集中的数据。
S507:客户端发送数据变更信息至源端设备。
相应的,源端设备接收数据变更信息。源端设备开始数据双写后,源端设备的业务进程会同时连接源端设备中的源数据库和目的端设备的目标数据库,在客户端对数据进行修改或者产生新增数据时,会同时向源数据库和目标数据库发送数据操作请求。
S508:源端设备发送数据变更信息发送至目的端设备。
相应的,目的端设备接收数据变更信息。
S509:源端设备根据数据变更信息更新第一数据集。
S510:目的端设备根据数据变更信息更新第二数据集。
S511:源端设备获取待校验数据列表。
上述待校验数据列表包括待校验数据的目录信息,例如待校验数据的在数据库中的位置。
S512:源端设备根据待校验数据列表和第一数据集,确定目标源数据。
源端设备从第一数据集中读取与待校验数据列表对应的目标源数据,上述目标源数据是第一数据集中与待校验数据列表对应的数据。
S513:源端设备根据待校验数据列表和第二数据集,确定目标同步数据。
源端设备从第二数据集中读取与待校验数据列表对应的目标同步数据,上述目标同步数据是第二数据集中与待校验数据列表对应的数据。
S514:源端设备将目标源数据和目标同步数据之间的差异,确定为第一数据集和第二数据集之间的差异信息。
上述差异信息包括目标源数据和目标同步数据之间的差异数据对应的目录信息。
S515:源端设备根据差异信息,判断第一数据集和第二数据集是否一致。
若差异信息为空,则第一数据集和第二数据集之间具备一致性;若差异信息不为空,则第一数据集和第二数据集之间具备一致性。
若差异信息表征第一数据集和第二数据集之间不具备一致性,则执行S516后,从S512开始执行。
若差异信息表征第一数据集和第二数据集之间具备一致性,则执行S517。
S516:源端设备根据差异信息更新待校验数据列表。
在一种可能实施方式中,将上述差异信息覆盖上述待校验数据列表的内容。
S517:源端设备判定第一数据集和第二数据集通过一致性校验。
若第一数据集和第二数据集通过一致性校验,则执行S518。
S518:源端设备停止对第一数据集中公共数据的修改操作。
可选地,源端设备停止发送针对公共数据的修改指令。
S519:源端设备确定当前登录的目标帐号。
确定当前时刻登录至由源端设备提供的数据服务的目标帐号。
S520:源端设备断开与目标帐号的数据服务连接。
S521:客户端向源端设备发送数据服务请求。
客户端与源端设备之间的数据服务连接被断开后,可通过后台,以静默连接的方式向源端设备发送登录请求。
相应的,源端设备接收数据服务请求。可选地,数据服务请求为登录请求。
S522:源端设备停止提供与数据服务请求对应的数据服务。
可选地,源端设备停止对登录请求进行验证授权。
S523:源端设备根据数据服务请求对应的帐号,确定帐号在第一数据集中对应的帐号数据。
源端设备可从数据服务请求获取请求服务的帐号;确定帐号在第一数据集中对应的帐号专有数据。
S524:源端设备将帐号数据同步发送至目的端设备的第二数据集。
源端设备将帐号专有数据直接写入至目的端设备的第二数据集,对第二数据集中该帐号的帐号专有数据进行覆盖,第二数据集得到实时的帐号专有数据。
可选地,源端设备会同时将帐号数据在本地和目的端同时进行写入,以确保目的端设备存储到最新的帐号数据。
S525:在同步发送完成的情况下,标记帐号。
当帐号数据已写入至目的端设备后,会在源端设备做记录,这样的话,在标记过的帐号尝试登陆源端设备时,源端设备可以根据源端设备中的标记,引导玩家重新登陆目的端设备。
可选地,在第一数据集中标记帐号。
S526:向标记过的帐号对应的客户端发送重定向信息。重定向信息中包括目的端设备的连接信息,例如目的地址、目标服务器地址、目标数据库地址等信息
相应的,客户端接收重定向信息。
S527:客户端根据重定向信息向目的端设备发送重定向后的数据服务请求。
相应的,目的端设备接收重定向后的数据服务请求。
S528:目的端设备基于第二数据集,为重定向后的数据服务请求提供数据服务。
在一种可能的实施方式中,上述源端设备为第一集群提供数据服务,上述目的端设备为第二集群提供数据服务,目的端设备在基于第二数据集为第一集群提供数据服务的同时,也可以基于第二数据集为第二集群提供数据服务,在此种情况下,第一集群迁移至第二集群得到新的第二集群。
上述循环一致性校验以及在服务器切换时进行帐号数据二次同步,能够保证数据迁移前后的一致性,增强跨洲际、跨集群的数据服务迁移的可靠性,并且通过数据变更信息和帐号数据双写的方式可以保证的数据的实时性,避免传输时间长产生的延迟导致数据不一致的情况发生。
在一个示例中,如图6所示,其示例性示出了一种数据服务迁移方案的技术架构示意图。图6中,由终端、源数据库、目标数据库、源服务器、目标服务器、数据对账工具构成一个数据迁移系统完成不停服数据迁移任务。上述源数据库、目标数据库、源服务器、目标服务器、数据对账工具是私有化部署的设备。
阶段1:冷备导入阶段。在阶段1中,源数据库开始冷备后,进入冷备导出过程,源数据库中对数据库中的数据进行备份并导出至本地磁盘;冷备导出后,得到冷备文件;将冷备文件发送至目标数据数据库的本地磁盘中;目标数据库接收上述冷备文件后,进入冷备导入过程,目标数据库将本地磁盘中的冷备文件导入至数据库内。
阶段2:数据日志导入阶段。Ulog是一种数据日志名称。在阶段2中,在数据日志开始(开始记录数据日志)后,源数据库生成数据日志,得到数据日志文件;源数据库将数据日志文件发送至目标数据库;目标数据库收到数据日志文件后,进入数据日志导入流程,基于数据日志对源数据库内的冷备数据进行更新。上述Ulog是二进制的日志文件,用来记录数据库的修改操作,用于数据库的数据恢复。在不同的数据库中,日志文件的名称会有不同。在一些实施例中,上述日志文件也可是关系型数据库管理系统(MySQL)或者Redis(RemoteDictionary Server,远程字典服务)中的数据日志文件binlog(二进制日志)。可选地,数据日志与数据库是分离存储的。数据库中的数据发生变化就会产生新的数据日志,数据冷备过程中也会产生数据日志。
阶段3:数据双写阶段。在阶段3中,源服务器同时向源数据库和目标数据库进行数据写入,例如发送数据变更信息至源数据库和目标数据库。
阶段4:数据对账阶段,即上文实施例中对第一数据集和第二数据集进行一致性校验阶段。在阶段4中,由数据对账工具对源数据库和目标数据库各自的数据进行多轮对账,具体过程参见下文图7实施例。
阶段5:服务切换阶段。在阶段5中,服务切换开始后,源服务器会停止写入公共数据,限制用户新登录,并通知用户重登陆;接收到重登陆通知的客户端会下线,然后客户端尝试登录至源服务器;源服务器在接收到客户端的尝试登录请求后,会加载用户数据,并进行用户数据双写,向源数据库写入最新的用户数据并将源数据库中的该用户的用户数据写入至目标数据库,保证目标数据库中该用户的用户数据是最新的实时数据;用户数据双写完成后,会记录标记,上述标记表征该用户的用户数据已迁移完成;记录标记后,通知客户端重登陆,向客户端发送重定向信息;客户端根据重定向信息缓存目标服务器地址后,重登陆至目标服务器,最终登录成功。整个阶段5的过程均通过与客户端后台的静默连接进行,在客户端中不会显示任何断开连接、重登陆通知的显示消息,切换速度会很快,用户可正常使用客户端并且无感知。
在一个示例中,如图7所示,其示例性示出了一种数据对账工具的工作流程示意图。上述数据对账工具的工作流程如下:
S1、数据对账开始。
S2、数据对账工具根据传入的待校验数据列表(图中未示出)进行第1轮数据对账,数据对账工具分别从源数据库和目标数据库读取与待校验数据列表对应的数据,并在数据对账工具进程内部完成第1轮数据对账。
S3、将第1轮数据对账中不一致的数据,记录至文件差异信息1。
S4、第1轮数据对账完毕之后,数据对账工具获取差异信息1,开启第二轮数据对账。
S5、数据对账工具根据差异信息1,分别从源数据库和目标数据库读取与差异信息1对应的数据,在数据对账工具进程内部完成第2轮数据对账。
依次类推中间多轮对账过程。
S6、数据对账工具将第N-1轮数据对账中不一致的数据,记录至文件差异信息N-1;其中,N为大于1的正整数。
S7、第N-1轮数据对账完毕之后,数据对账工具获取差异信息N-1,开启第N轮数据对账。
S8、数据对账工具根据差异信息N-1,分别从源数据库和目标数据库读取与差异信息N-1对应的数据,在数据对账工具进程内部完成第N轮数据对账。
S9、输出对账结果。
综上所述,本申请实施例提供的技术方案,源端设备会发送第一数据集关联的待迁移数据至目的端设备,还会进行数据双写,即在本地数据变更的情况下,将该变更对应的数据变更信息同时发送给目的端设备,以使目的端设备根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。通过数据双写的方式能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,源端设备可以通过一致性校验来检验是否完成数据的迁移和同步,在一致性检验通过的情况下即可进行服务切换。源端设备会将数据服务请求重定向至目的端设备,使得目的端设备在同步完成的情况下提供相应的数据服务。可见,整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
另外,源端设备是以循环校验的方式对第一数据集和第二数据集的数据进行校验,并且每次只校验存在上一轮校验过程中有差异的部分数据,有效降低了计算量,并且可以有效确保数据迁移前后的一致性。源端设备还会在服务切换的过程中停止对公共数据的写入,保证公共数据不会同时被修改,进而确保数据的正确性。此外,源端设备会在重定向数据服务请求之前,将相应的帐号数据进行双写,进一步同步第二数据集中该帐号的帐号数据,确保迁移之后的帐号数据不会因为延迟而不完整或者存在问题,进一步确保数据迁移的可靠性,保证服务切换后用户可以正常使用数据服务,确保用户对数据服务迁移过程无感知。
下述为本申请装置实施例,可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图8,其示出了本申请一个实施例提供的数据服务迁移装置的框图。该装置具有实现上述数据服务迁移方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是计算机设备,也可以设置在计算机设备中。该装置800可以包括:数据存储模块810、数据服务模块820以及数据校验模块830。
数据存储模块810,用于确定与所述源端设备的第一数据集关联的待迁移数据。
所述数据存储模块810,还用于将所述待迁移数据发送至目的端设备。
数据服务模块820,用于将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,所述数据变更信息包括开始发送所述待迁移数据之后,所述第一数据集产生的变化信息。
数据校验模块830,用于对所述第一数据集和所述第二数据集进行一致性校验。
所述数据服务模块820,用于若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供对应的数据服务。
在示例性实施例中,所述数据校验模块830,包括:列表获取单元、差异确定单元以及校验判定单元。
列表获取单元,用于获取待校验数据列表。
差异确定单元,用于基于所述待校验数据列表,确定所述第一数据集和所述第二数据集之间的差异信息。
校验判定单元,用于若所述差异信息表征所述第一数据集和所述第二数据集之间具备一致性,则判定所述第一数据集和所述第二数据集通过一致性校验。
所述校验判定单元,还用于若所述差异信息表征所述第一数据集和所述第二数据集之间不具备一致性,则根据所述差异信息更新所述待校验数据列表,执行所述基于所述待校验数据列表,确定所述第一数据集和所述第二数据集之间的差异信息的步骤。
在示例性实施例中,所述差异确定单元,包括:源数据确定子单元、同步数据确定子单元以及差异确定子单元。
源数据确定子单元,用于根据所述待校验数据列表和所述第一数据集,确定目标源数据。
同步数据确定子单元,用于根据所述待校验数据列表和所述第二数据集,确定目标同步数据。
差异确定子单元,将所述目标源数据和所述目标同步数据之间的差异,确定为所述第一数据集和所述第二数据集之间的差异信息。
在示例性实施例中,所述数据服务模块820,包括:数据服务停止单元、帐号数据确定单元、帐号数据同步单元、帐号标记单元以及重定向信息发送单元。
数据服务停止单元,用于停止提供与所述数据服务请求对应的数据服务。
帐号数据确定单元,用于根据所述数据服务请求对应的帐号,确定所述帐号在所述第一数据集中对应的帐号数据。
帐号数据同步单元,用于将所述帐号数据同步至所述第二数据集。
帐号标记单元,用于在同步完成的情况下,标记所述帐号。
重定向信息发送单元,用于向标记过的帐号对应的终端发送重定向信息,以使所述终端根据所述重定向信息向所述目的端设备发送所述数据服务请求。
在示例性实施例中,所述数据服务模块820,还包括:公共数据停写单元、帐号确定单元以及连接断开单元。
公共数据停写单元,用于停止对所述第一数据集中公共数据的修改操作,所述公共数据是指帐号的公用数据。
帐号确定单元,用于确定当前登录的目标帐号。
连接断开单元,断开与所述目标帐号的数据服务连接,以触发所述目标帐号对应的终端向所述源端设备发出所述数据服务请求。
在示例性实施例中,所述数据存储模块810,包括:冷备数据获取单元、数据日志获取单元以及迁移数据确定单元。
冷备数据获取单元,用于获取冷备数据,所述冷备数据为确定所述待迁移数据之前,最近一次对所述第一数据集进行备份操作生成的数据。
数据日志获取单元,用于获取数据日志,所述数据日志包括所述备份操作的起始时刻起,对所述第一数据集的数据操作信息。
迁移数据确定单元,用于将所述冷备数据和所述数据日志确定为所述待迁移数据。
在示例性实施例中,所述源端设备包括源服务器和源数据存储设备,所述目的端设备包括目标服务器和目标数据存储设备,所述第一数据集位于所述源数据存储设备,所述第二数据集位于所述目标数据存储设备;
所述将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,包括:
所述源服务器接收所述数据变更信息,将所述数据变更信息发送至所述源数据存储设备,以使所述源数据存储设备根据所述数据变更信息更新所述第一数据集;
所述源服务器将所述数据变更信息发送至所述目标数据存储设备,以使所述目标数据存储设备根据所述待迁移数据和所述数据变更信息得到所述第二数据集;
所述将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供数据服务,包括:
所述源服务器将所述数据服务请求重定向至所述目标服务器,以使所述目标服务器根据所述第二数据集提供数据服务。
综上所述,本申请实施例提供的技术方案,源端设备会发送第一数据集关联的待迁移数据至目的端设备,还会进行数据双写,即在本地数据变更的情况下,将该变更对应的数据变更信息同时发送给目的端设备,以使目的端设备根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。通过数据双写的方式能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,源端设备可以通过一致性校验来检验是否完成数据的迁移和同步,在一致性检验通过的情况下即可进行服务切换。源端设备会将数据服务请求重定向至目的端设备,使得目的端设备在同步完成的情况下提供相应的数据服务。可见,整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
另外,源端设备是以循环校验的方式对第一数据集和第二数据集的数据进行校验,并且每次只校验存在上一轮校验过程中有差异的部分数据,有效降低了计算量,并且可以有效确保数据迁移前后的一致性。源端设备还会在服务切换的过程中停止对公共数据的写入,保证公共数据不会同时被修改,进而确保数据的正确性。此外,源端设备会在重定向数据服务请求之前,将相应的帐号数据进行双写,进一步同步第二数据集中该帐号的帐号数据,确保迁移之后的帐号数据不会因为延迟而不完整或者存在问题,进一步确保数据迁移的可靠性,保证服务切换后用户可以正常使用数据服务,确保用户对数据服务迁移过程无感知。
请参考图9,其示出了本申请一个实施例提供的数据服务迁移装置的框图。该装置具有实现上述数据服务迁移方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是计算机设备,也可以设置在计算机设备中。该装置900可以包括:数据存储模块910和数据服务模块920。
数据存储模块910,用于接收待迁移数据,所述待迁移数据与源端设备的第一数据集相关联。
所述数据存储模块910,还用于接收数据变更信息,所述数据变更信息表征所述源端设备开始发送所述待迁移数据之后,所述第一数据集产生的变化信息。
所述数据存储模块910,还用于根据所述数据变更信息更新所述待迁移数据,得到第二数据集。
数据服务模块920,用于在所述第一数据集和所述第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求,所述重定向后的数据服务请求是指目的地址由所述源端设备重定向为所述目的端设备的请求。
所述数据服务模块920,还用于基于所述第二数据集,为所述重定向后的数据服务请求提供数据服务。
综上所述,本申请实施例提供的技术方案,目的端设备会接收源端设备发送的与第一数据集关联的待迁移数据,以及源端设备双写过程中发送的实时的数据更改信息,进而可以根据实时的数据变更信息对待迁移数据进行数据操作,得到用于替代第一数据集的第二数据集。目的端在对第二数据集中的数据的更新过程中,不会直接从第一数据集中读取数据,能够在不影响第一数据集读写效率的情况下,完成对第一数据集的同步工作。然后,目的端设备会在一致性检验通过的情况下进行服务切换,基于迁移同步完成第二数据集中的实时数据为重定向后的数据请求提供相应的数据服务。整个数据服务迁移过程中数据服务不会间断,能够实现数据服务迁移前后的无缝对接,做到用户无感知,能够在不停服的情况下成功迁移应用数据以及应用服务,缩短数据服务迁移时长,有效提升数据迁移效率。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图10,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是服务器,以用于执行上述数据服务迁移方法。具体来讲:
计算机设备1000包括中央处理单元(Central Processing Unit,CPU)1001、包括随机存取存储器(Random Access Memory,RAM)1002和只读存储器(Read Only Memory,ROM)1003的系统存储器1004,以及连接系统存储器1004和中央处理单元1001的系统总线1005。计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O(Input/Output)系统)1006,和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说,大容量存储设备1007可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory,电可擦可编程只读存储器)、闪存或其他固态存储其技术,CD-ROM、DVD(Digital Video Disc,高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请的各种实施例,计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在系统总线1005上的网络接口单元1011连接到网络1012,或者说,也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括计算机程序,该计算机程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述数据服务迁移方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述数据服务迁移方法。
可选地,该计算机可读存储介质可以包括:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取记忆体)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据服务迁移方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据服务迁移方法,其特征在于,应用于源端设备,所述方法包括:
确定与所述源端设备的第一数据集关联的待迁移数据;
将所述待迁移数据发送至目的端设备;
将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,所述数据变更信息包括开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
对所述第一数据集和所述第二数据集进行一致性校验;
若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供对应的数据服务。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一数据集和所述第二数据集进行一致性校验,包括:
获取待校验数据列表;
基于所述待校验数据列表,确定所述第一数据集和所述第二数据集之间的差异信息;
若所述差异信息表征所述第一数据集和所述第二数据集之间具备一致性,则判定所述第一数据集和所述第二数据集通过一致性校验;
若所述差异信息表征所述第一数据集和所述第二数据集之间不具备一致性,则根据所述差异信息更新所述待校验数据列表,执行所述基于所述待校验数据列表,确定所述第一数据集和所述第二数据集之间的差异信息的步骤。
3.根据权利要求2所述的方法,其特征在于,所述基于所述待校验数据列表,确定所述第一数据集和所述第二数据集之间的差异信息,包括:
根据所述待校验数据列表和所述第一数据集,确定目标源数据;
根据所述待校验数据列表和所述第二数据集,确定目标同步数据;
将所述目标源数据和所述目标同步数据之间的差异,确定为所述第一数据集和所述第二数据集之间的差异信息。
4.根据权利要求1所述的方法,其特征在于,所述若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,包括:
停止提供与所述数据服务请求对应的数据服务;
根据所述数据服务请求对应的帐号,确定所述帐号在所述第一数据集中对应的帐号数据;
将所述帐号数据同步至所述第二数据集;
在同步完成的情况下,标记所述帐号;
向标记过的帐号对应的终端发送重定向信息,以使所述终端根据所述重定向信息向所述目的端设备发送所述数据服务请求。
5.根据权利要求4所述的方法,其特征在于,所述将发送至所述源端设备的数据服务请求重定向至所述目的端设备之前,还包括:
停止对所述第一数据集中公共数据的修改操作,所述公共数据是指帐号的公用数据;
确定当前登录的目标帐号;
断开与所述目标帐号的数据服务连接,以触发所述目标帐号对应的终端向所述源端设备发出所述数据服务请求。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述确定与所述源端设备的第一数据集关联的待迁移数据,包括:
获取冷备数据,所述冷备数据为确定所述待迁移数据之前,最近一次对所述第一数据集进行备份操作生成的数据;
获取数据日志,所述数据日志包括所述备份操作的起始时刻起,对所述第一数据集的数据操作信息;
将所述冷备数据和所述数据日志确定为所述待迁移数据。
7.一种数据服务迁移方法,其特征在于,应用于目的端设备,所述方法包括:
接收待迁移数据,所述待迁移数据与源端设备的第一数据集相关联;
接收数据变更信息,所述数据变更信息表征所述源端设备开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
根据所述数据变更信息更新所述待迁移数据,得到第二数据集;
在所述第一数据集和所述第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求,所述重定向后的数据服务请求是指目的地址由所述源端设备重定向为所述目的端设备的请求;
基于所述第二数据集,为所述重定向后的数据服务请求提供数据服务。
8.一种数据服务迁移装置,其特征在于,应用于源端设备,所述装置包括:
数据存储模块,用于确定与所述源端设备的第一数据集关联的待迁移数据;
所述数据存储模块,还用于将所述待迁移数据发送至目的端设备;
数据服务模块,用于将接收到的数据变更信息发送至所述目的端设备,以使所述目的端设备根据所述待迁移数据和所述数据变更信息得到第二数据集,所述数据变更信息包括开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
数据校验模块,用于对所述第一数据集和所述第二数据集进行一致性校验;
所述数据服务模块,还用于若所述第一数据集和所述第二数据集通过一致性校验,则将发送至所述源端设备的数据服务请求重定向至所述目的端设备,以使所述目的端设备根据所述第二数据集提供对应的数据服务。
9.一种数据服务迁移装置,其特征在于,应用于目的端设备,所述装置包括:
数据存储模块,用于接收待迁移数据,所述待迁移数据与源端设备的第一数据集相关联;
所述数据存储模块,还用于接收数据变更信息,所述数据变更信息表征所述源端设备开始发送所述待迁移数据之后,所述第一数据集产生的变化信息;
所述数据存储模块,还用于根据所述数据变更信息更新所述待迁移数据,得到第二数据集;
数据服务模块,用于在所述第一数据集和所述第二数据集通过一致性校验的情况下,接收重定向后的数据服务请求,所述重定向后的数据服务请求是指目的地址由所述源端设备重定向为所述目的端设备的请求;
所述数据服务模块,还用于基于所述第二数据集,为所述重定向后的数据服务请求提供数据服务。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的数据服务迁移方法,或者实现如权利要求7所述的数据服务迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110652644.9A CN113254424B (zh) | 2021-06-11 | 2021-06-11 | 数据服务迁移方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110652644.9A CN113254424B (zh) | 2021-06-11 | 2021-06-11 | 数据服务迁移方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113254424A true CN113254424A (zh) | 2021-08-13 |
CN113254424B CN113254424B (zh) | 2023-02-28 |
Family
ID=77187809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110652644.9A Active CN113254424B (zh) | 2021-06-11 | 2021-06-11 | 数据服务迁移方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113254424B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114676145A (zh) * | 2022-03-22 | 2022-06-28 | 阿里云计算有限公司 | 数据处理方法以及数据核对系统 |
CN115269648A (zh) * | 2022-07-07 | 2022-11-01 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050010609A1 (en) * | 2003-06-12 | 2005-01-13 | International Business Machines Corporation | Migratable backup and restore |
CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
US20180225288A1 (en) * | 2017-02-07 | 2018-08-09 | Oracle International Corporation | Systems and methods for live data migration with automatic redirection |
US10083199B1 (en) * | 2016-05-23 | 2018-09-25 | Sprint Communications Company L.P. | Data migration in active data store |
CN110399356A (zh) * | 2019-06-14 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 一种在线数据迁移方法、装置、计算设备及存储介质 |
CN111104392A (zh) * | 2019-12-12 | 2020-05-05 | 京东数字科技控股有限公司 | 一种数据库迁移方法、装置、电子设备及存储介质 |
CN111273872A (zh) * | 2020-02-14 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种数据迁移方法、装置、设备和介质 |
CN111737230A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 数据校验方法、装置、电子设备以及可读存储介质 |
CN112256676A (zh) * | 2020-11-11 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 一种数据库迁移的方法、装置、设备和介质 |
US20210149865A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | SEAMLESSLY MIGRATING DATA AND INDEX IN DISTRIBUTED NoSQL DATABASE SYSTEMS |
-
2021
- 2021-06-11 CN CN202110652644.9A patent/CN113254424B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050010609A1 (en) * | 2003-06-12 | 2005-01-13 | International Business Machines Corporation | Migratable backup and restore |
US10083199B1 (en) * | 2016-05-23 | 2018-09-25 | Sprint Communications Company L.P. | Data migration in active data store |
US20180225288A1 (en) * | 2017-02-07 | 2018-08-09 | Oracle International Corporation | Systems and methods for live data migration with automatic redirection |
CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
CN110399356A (zh) * | 2019-06-14 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 一种在线数据迁移方法、装置、计算设备及存储介质 |
US20210149865A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | SEAMLESSLY MIGRATING DATA AND INDEX IN DISTRIBUTED NoSQL DATABASE SYSTEMS |
CN111104392A (zh) * | 2019-12-12 | 2020-05-05 | 京东数字科技控股有限公司 | 一种数据库迁移方法、装置、电子设备及存储介质 |
CN111273872A (zh) * | 2020-02-14 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种数据迁移方法、装置、设备和介质 |
CN111737230A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 数据校验方法、装置、电子设备以及可读存储介质 |
CN112256676A (zh) * | 2020-11-11 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 一种数据库迁移的方法、装置、设备和介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114676145A (zh) * | 2022-03-22 | 2022-06-28 | 阿里云计算有限公司 | 数据处理方法以及数据核对系统 |
CN114676145B (zh) * | 2022-03-22 | 2023-05-30 | 阿里云计算有限公司 | 数据处理方法以及数据核对系统 |
CN115269648A (zh) * | 2022-07-07 | 2022-11-01 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
CN115269648B (zh) * | 2022-07-07 | 2023-08-18 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113254424B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281644B2 (en) | Blockchain logging of data from multiple systems | |
CN110442652B (zh) | 一种基于区块链的跨链数据处理方法及装置 | |
CN107391758B (zh) | 数据库切换方法、装置及设备 | |
US20170004055A1 (en) | Synchronizing replicated stored data | |
CN113711536A (zh) | 从区块链网络中提取数据 | |
CN111400112B (zh) | 分布式集群的存储系统的写入方法、装置及可读存储介质 | |
CN113254424B (zh) | 数据服务迁移方法、装置及设备 | |
US10515228B2 (en) | Commit and rollback of data streams provided by partially trusted entities | |
US11627122B2 (en) | Inter-system linking method and node | |
CN103703464A (zh) | 用于分布式配置管理的方法及装置 | |
CN111770149A (zh) | 基于分布式存储的新型联盟链 | |
CN113901005A (zh) | 一种基于区块链便携式文件存储的方法、系统和介质 | |
EP4379556A1 (en) | Blockchain-based data processing method, and device and computer-readable storage medium | |
CN110888858A (zh) | 数据库的操作方法和装置、存储介质、电子装置 | |
CN111931220A (zh) | 区块链网络的共识处理方法、装置、介质及电子设备 | |
JP2020190874A (ja) | 文書管理システム | |
CN112115203A (zh) | 云平台的资产管理方法、装置、设备及存储介质 | |
CN113687964A (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
CN114443908A (zh) | 图数据库构建方法、系统、终端及存储介质 | |
CN109246248B (zh) | 基于区块链技术的数据可信安全共享系统和方法 | |
CN112040015B (zh) | 一种共识节点列表生成方法及相关装置 | |
CN110362590A (zh) | 数据管理方法、装置、系统、电子设备及计算机可读介质 | |
US11860828B2 (en) | Methods, devices and systems for writer pre-selection in distributed data systems | |
GB2565932B (en) | Storing data in dispersed storage network with consistency | |
CN113318452B (zh) | 资源更新方法、装置、计算机可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052726 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |