CN115344585B - 数据版本管理方法、装置以及存储介质和电子设备 - Google Patents
数据版本管理方法、装置以及存储介质和电子设备 Download PDFInfo
- Publication number
- CN115344585B CN115344585B CN202210926576.5A CN202210926576A CN115344585B CN 115344585 B CN115344585 B CN 115344585B CN 202210926576 A CN202210926576 A CN 202210926576A CN 115344585 B CN115344585 B CN 115344585B
- Authority
- CN
- China
- Prior art keywords
- database table
- version number
- service field
- service
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据版本管理方法、装置以及存储介质和电子设备,该方法包括:获取存量数据,并将其存储至当前数据库表中;响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化;若发生升级变化,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。本发明实现了数据库表与服务字段的解耦,减少了人力劳动且降低了错误发生的机率。
Description
技术领域
本发明涉及计算机技术领域,尤其是涉及一种数据版本管理方法、装置以及存储介质和电子设备。
背景技术
现代互联网应用一般都会涉及到大型或超大型数据库表,这些表会有很多的字段,这些字段的值可能是其他服务(以下称为服务字段)的计算结果,而且每个字段可能会有频繁的版本更新。
以商业查询平台应用场景为例,其拥有一个大的数据库表,表的每一行都存储了一个公司的信息,其中有两个字段,公司的评分和公司名的分词结果,这两个字段的值都需要去访问专门的服务来得到,公司的评分逻辑和公司名的分词逻辑会经常变化,即这两个服务的版本会经常更新。
因此,在现有的数据库表具体应用中存在如下问题:
(1)字段版本的更新缓慢,只能通过脚本手动刷新全表,工作量大,而且容易出错;
(2)无法做到快速回滚,以公司名分词服务为例:假设某个时刻该服务发生了升级,那么我们手动启动了刷新全表的脚本,若刷到一半之后发现这一版的公司名分词服务有问题,需要回滚。那么这时就只能将该服务回滚之后,重新手动刷新全表才能保证数据的正确性;
(3)如果有多个服务字段需要升级,会产生很多协调成本,因为每一个服务字段的升级都会带来全表的刷新,所以这些服务一个个升级的成本是非常高的,因此这些服务的升级需要人为协调,分批进行。
发明内容
有鉴于此,本发明提供了一种数据版本管理方法、装置以及存储介质和电子设备,可避免手动管理数据库表的版本,实现了数据库表与服务字段的解耦,减少了人力劳动,并且降低了错误发生的机率。
为解决上述问题,本发明提供了一种数据版本管理方法,该方法包括:
获取存量数据,并将存量数据存储至当前数据库表中;
响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化;
若发生升级变化,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
可选地,该方法还包括:
若未发生变化,接收增量数据,并将增量数据存储至当前数据库表中作为存量数据。
可选地,该方法还包括:
若发生回滚变化,解析发生变化的服务字段版本号和已完成存储的数据库表的数据库表版本号,获取与发生变化的服务字段版本号相同的已完成存储的数据库表作为新的当前数据库表。
可选地,该方法还包括:
监测新的数据库表是否达到预设状态;
若新的数据库表达到预设状态,将新的数据库表的业务状态设置为就绪状态,并将其作为新的当前数据库表以为业务端进行调用;
若新的数据库表未达到预设状态,将当前数据库表的业务状态设置为异常状态,并发送报错信息至错误处理平台进行纠正。
可选地,该方法还包括:
为当前数据库表中的每个服务字段定义一个服务字段版本号,其中,服务字段版本号包括服务名称和版本号;
获取每个服务字段版本号中的版本号;
按照预设拼接顺序,依次拼接版本号,得到版本号序列;
根据哈希算法,计算版本号序列的哈希值,并将其作为数据库表版本号。
可选地,响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化,包括:
响应于调用与当前数据库表中的服务名称相同的服务的返回结果,获取返回结果中被调用的服务的被调用服务字段版本号;
将被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号进行比较;
若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号相同,则判定未发生改变;
若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号不同,则判定发生改变。
可选地,若在将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新时,当前数据库表中的任一服务字段版本号又发生改变,该方法还包括:
终止当前正在进行的将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新的操作;
创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
为解决上述问题,本发明还提供了一种数据版本管理装置,该装置包括:
数据获取模块,用于获取存量数据,并将存量数据存储至当前数据库表中;
判断模块,用于响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化;
执行模块,用于若发生升级变化,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
为解决上述问题,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如上述所述数据版本管理方法。
为解决上述问题,本发明还提供了一种电子设备,该电子设备包括:
存储器,用于存储计算机程序,该存储器包括缓冲区,用于存储在服务字段开始升级至升级完成的时间段内产生的增量数据;
处理器,用于执行存储器中存储的计算机程序,且该计算机程序被执行时,实现上述所述数据版本管理方法。
本发明提供的数据版本管理方法、装置以及存储介质和电子设备存在如下有益效果:
(1)为各个服务字段定义了一个版本号,其他服务能很方便地识别到服务字段版本号的变化(通过服务字段将版本信息贴在返回值里面,或者其他服务去访问服务字段来检查版本等方式),有效节省了人为沟通的成本;
(2)将各个服务字段的集合的某种映射定义为数据库表的版本;基于此,数据库表的版本历史可以完全体现服务字段的版本历史,反之亦然,进而对数据库表的版本管理得以转化为对各个服务字段的版本管理,实现解耦;
(3)设计了精细的数据库表的版本切换过程,全程自动化而且保证了数据安全。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本发明一示例性实施例提供的数据版本管理方法的流程示意图;
图2是本发明一示例性实施例提供的服务字段版本升级的流程示意图;
图3是本发明一示例性实施例提供的多服务字段版本升级的流程示意图;
图4是本发明一示例性实施例提供的检测新数据库表预设状态的流程示意图;
图5是本发明一示例性实施例提供的定义服务字段版本号的流程示意图;
图6是本发明一示例性实施例提供的数据版本管理装置的结构示意图;
图7是本发明一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面,将参考附图详细地描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本领域技术人员可以理解,本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本发明实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本发明实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本发明中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本发明中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本发明对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本发明一示例性实施例提供的数据版本管理方法的流程示意图。本实施例可应用在电子设备上,如图1所示,该方法包括以下步骤:
步骤101,获取存量数据,并将存量数据存储至当前数据库表中;
其中,对于存量数据的来源,本领域技术人员可以根据实际需要灵活选择,此处不做限定。例如,存量数据可以来源于第三方平台。
步骤102,响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化;
可选地,步骤102包括:
步骤1021,响应于调用与当前数据库表中的服务名称相同的服务的返回结果,获取返回结果中被调用的服务的被调用服务字段版本号;
步骤1022,将被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号进行比较;
步骤1023,若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号相同,则判定未发生改变;
步骤1024,若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号不同,则判定发生改变。
需要说明的是,步骤1021至步骤1024图中未标示。
步骤103,若发生升级变化,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
具体地,参考图2,当前数据库表(数据库表版本1)中包括第一版本的第一服务字段(即图中的字段1-版本1)和第一版本的第二服务字段(即图中的字段2-版本1),第一服务字段发生了版本变化,由第一版本升级至第二版本,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表(数据库表版本2),将存量数据即第一服务字段和第二服务字段以异步方式存储至新的数据库表中,对第一服务字段进行数据刷新,刷新后形成第二版本的第一服务字段(即图中的字段2-版本2)。同时,将增量数据以同步或异步方式存储至新的数据库表(数据库表版本2)中作为存量数据,以作为新的当前数据库表。
可选地,若在将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新时,当前数据库表中的任一服务字段版本号又发生改变,步骤103还包括:
步骤1031,终止当前正在进行的将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新的操作。
步骤1032,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
具体地,参考图3,若第一版本的第一服务字段发生升级,由第一版本升级至第二版本,正在将当前数据库表(数据库表版本1)的存量数据以异步方式存储至新的数据库表(数据库表版本2),即正在存储第一版本的第一服务字段(即图中的字段1-版本1)和第一版本的第二服务字段(即图中的字段2-版本1),此时,第二服务字段又发生了升级,由第一版本升级至第二版本,则终止上述存量数据的存储,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新数据库表(数据库表版本3),将当前数据库表(数据库表版本1)的存量数据以异步方式存储至新的数据库表(数据库表版本3),也就是将第一版本的第一服务字段和第一版本的第二服务字段进行存储,经过刷新后,第二版本的第一服务字段与第二版本的第二服务字段存储至所述新的数据库表中。同时,增量数据以同步或异步方式存储至新的数据库表(数据库表版本3)中作为存量数据,以作为新的当前数据库表。
需要说明的是,步骤1031至步骤1032图中未标示。
本发明还提供了一个实施例,于本实施例中,包括步骤101至步骤103的所有内容,还包括:
若未发生变化,接收增量数据,并将增量数据存储至当前数据库表中作为存量数据。
需要说明的是,若当前数据库表中的服务字段版本号没有发生升级变化,直接在当前数据库表中进行增量数据的存储,不建立新的数据库表。
本发明还提供了另一个实施例,于本实施例中,包括步骤101至步骤103的所有内容,还包括:
若发生回滚变化,解析发生变化的服务字段版本号和已完成存储的数据库表的数据库表版本号,获取与发生变化的服务字段版本号相同的已完成存储的数据库表作为新的当前数据库表。
具体地,若发生版本的回滚,基于已经完成存储的数据库表仍保存在数据库中,将与发生回滚的服务字段版本号相同的已经完成存储的数据库表作为新的当前数据库表即可,对于与未发生回滚的服务字段版本号相同的数据库表无需同步,可实现减少耗时,快速回滚的目的。
本发明还提供了又一个实施例,包括步骤101至步骤103的所有步骤,相同步骤不再赘述,图4是本发明一示例性实施例提供的检测新数据库表预设状态的流程示意图,如图4所示,本实施例还包括:
步骤201,监测新的数据库表是否达到预设状态;
步骤202,若新的数据库表达到预设状态,将新的数据库表的业务状态设置为就绪状态,并将其作为新的当前数据库表以为业务端进行调用;
步骤203,若新的数据库表未达到预设状态,将当前数据库表的业务状态设置为异常状态,并发送报错信息至错误处理平台进行纠正。
具体地,若新的数据表未达到就绪状态(如完成存储),其他业务方不能进行使用,发送报错信息至错误处理平台纠正后,达到就绪状态才能为业务端调用。
本发明还提供了另一个实施例,包括步骤101至步骤103的所有步骤,相同步骤不再赘述,图5是本发明一示例性实施例提供的定义服务字段版本号的流程示意图,如图5所示,本实施例还包括:
步骤301,为当前数据库表中的每个服务字段定义一个服务字段版本号,其中,服务字段版本号包括服务名称和版本号;
步骤302,获取每个服务字段版本号中的版本号;
步骤303,按照预设拼接顺序,依次拼接版本号,得到版本号序列;
步骤304,根据哈希算法,计算版本号序列的哈希值,并将其作为数据库表版本号。
也就是说,各个服务字段版本的集合的映射可以为:将服务字段的版本拼接起来,例如“服务A:1.0.1,服务B:0.0.1....”,将拼接后的整体进行哈希值(如MD5)计算。
可选地,在上述实施例中,确认服务字段升级是否完成可以为:通过包含本发明数据版本管理所对应的数据版本管理装置的一台机器检测到字段服务的版本发生变化时,其可以通过邮件、短信、电话等方式通知到负责人,由负责人决定字段服务升级是否完成,并向数据表版本管理装置发出指令。
需要说明的是,上述本发明提供的实施例中,应限于分布式系统中,且该分布式系统为有状态的系统,也就是,需要一致性协议对各个节点的状态进行同步,同步至分布式系统内的所有机器。
本发明提供的上述实施例基于分布式系统,数据版本管理装置对服务字段的升级和回滚进行灰度处理,也就是,任何服务字段的升级或者回滚都需要灰度进行,先发布一定数量的机器,待观察没有问题之后再发布一定数量的机器,直到该服务字段的所有机器都进行了升级。
本发明提供的上述实施例采用一致性协议:在灰度处理的过程会存在一段时间遇到版本不一致问题,也就是,服务字段升级时,一会儿访问老版本的服务字段,一会儿访问新版本的服务字段。因此,数据库表的版本切换需要建立在服务字段升级完成后进行。字段版本升级完成后,数据版本管理装置会从外部获得一个版本切换指令来标明服务字段升级已经完成,可以开始进行数据库表的版本切换。通过一致性协议将版本切换指令同步至分布式服务器,此外,通过一致性协议不限于对版本切换指令进行同步,还包括其他需要同步至所有机器的任何指令。
示例性装置
图6是本发明一示例性实施例提供的数据版本管理装置的结构示意图。如图6所示,本实施例包括:
数据获取模块61,用于获取存量数据,并将存量数据存储至当前数据库表中;
判断模块62,用于响应于调用与当前数据库表中的服务名称相同的服务的返回结果,比较返回结果中被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号是否发生变化;
可选地,判断模块62用于:
响应于调用与当前数据库表中的服务名称相同的服务的返回结果,获取返回结果中被调用的服务的被调用服务字段版本号;
将被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号进行比较;
若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号相同,则判定未发生改变;
若被调用服务字段版本号与当前数据库表中的与被调用服务字段版本号对应的服务字段版本号不同,则判定发生改变。
执行模块63,用于若发生升级变化,创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
可选地,若在将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新时,当前数据库表中的任一服务字段版本号又发生改变,执行模块63还用于:
终止当前正在进行的将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新的操作;
创建一个具有新的数据库表版本号且与当前数据库表的结构相同的新的数据库表,将当前数据库表中的存量数据以异步方式存储至新的数据库表中并对发生改变的服务字段进行数据刷新,同时将增量数据存储至新的数据库表中作为存量数据,以作为新的当前数据库表。
可选地,执行模块63还用于若未发生变化,接收增量数据,并将增量数据存储至当前数据库表中作为存量数据。
可选地,执行模块63还用于若发生回滚变化,解析发生变化的服务字段版本号和已完成存储的数据库表的数据库表版本号,获取与发生变化的服务字段版本号相同的已完成存储的数据库表作为新的当前数据库表。
可选地,本实施例的装置还包括:
检测模块,用于监测新的数据库表是否达到预设状态;
若新的数据库表达到预设状态,将新的数据库表的业务状态设置为就绪状态,并将其作为新的当前数据库表以为业务端进行调用;
若新的数据库表未达到预设状态,将当前数据库表的业务状态设置为异常状态,并发送报错信息至错误处理平台进行纠正。
可选地,本实施例的装置还包括:
定义模块,用于为当前数据库表中的每个服务字段定义一个服务字段版本号,其中,服务字段版本号包括服务名称和版本号;
获取每个服务字段版本号中的版本号;
按照预设拼接顺序,依次拼接版本号,得到版本号序列;
根据哈希算法,计算版本号序列的哈希值,并将其作为数据库表版本号。
需要说明的是,本发明实施例的数据版本管理装置与数据版本管理方法是一一对应的,本实施例中未描述部分可参考数据版本管理方法中的内容,此处不再赘述。
示例性电子设备
图7是本发明一示例性实施例提供的电子设备的结构示意图。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。如图7所示,电子设备包括一个或多个处理器71和存储器72。
处理器71可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器72缓冲区,用于存储在服务字段开始升级至升级完成的时间段内产生的增量数据,于服务字段升级完成后取出落库。
存储器72还可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器71可以运行所述程序指令,以实现上文所述的本公开的各个实施例的软件程序的数据版本管理方法以及/或者其他期望的功能。在一个示例中,电子设备还可以包括:输入装置73和输出装置74,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入装置73还可以包括例如键盘、鼠标等等。
该输出装置74可以向外部输出各种信息。该输出装置74可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据版本管理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据版本管理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使
本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种数据版本管理方法,其特征在于,所述方法包括:
获取存量数据,并将所述存量数据存储至当前数据库表中;
响应于调用与所述当前数据库表中的服务名称相同的服务的返回结果,比较所述返回结果中被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号是否发生变化;
若发生升级变化,创建一个具有新的数据库表版本号且与所述当前数据库表的结构相同的新的数据库表,将所述当前数据库表中的存量数据以异步方式存储至所述新的数据库表中并对发生改变的所述服务字段进行数据刷新,同时将增量数据存储至所述新的数据库表中作为存量数据,以作为新的当前数据库表;
若发生回滚变化,解析发生变化的所述服务字段版本号和已完成存储的数据库表的数据库表版本号,获取与发生变化的所述服务字段版本号相同的已完成存储的数据库表作为新的当前数据库表。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若未发生变化,接收增量数据,并将所述增量数据存储至所述当前数据库表中作为存量数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监测所述新的数据库表是否达到预设状态;
若所述新的数据库表达到所述预设状态,将所述新的数据库表的业务状态设置为就绪状态,并将其作为新的当前数据库表以为业务端进行调用;
若所述新的数据库表未达到所述预设状态,将所述当前数据库表的业务状态设置为异常状态,并发送报错信息至错误处理平台进行纠正。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
为当前数据库表中的每个服务字段定义一个服务字段版本号,其中,所述服务字段版本号包括服务名称和版本号;
获取每个所述服务字段版本号中的版本号;
按照预设拼接顺序,依次拼接所述版本号,得到版本号序列;
根据哈希算法,计算所述版本号序列的哈希值,并将其作为数据库表版本号。
5.根据权利要求1所述的方法,其特征在于,所述响应于调用与所述当前数据库表中的服务名称相同的服务的返回结果,比较所述返回结果中被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号是否发生变化,包括:
响应于调用与所述当前数据库表中的服务名称相同的服务的返回结果,获取所述返回结果中被调用的所述服务的被调用服务字段版本号;
将所述被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号进行比较;
若所述被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号相同,则判定未发生改变;
若所述被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号不同,则判定发生改变。
6.根据权利要求1所述的方法,其特征在于,若在将所述当前数据库表中的存量数据以异步方式存储至所述新的数据库表中并对发生改变的所述服务字段进行数据刷新时,所述当前数据库表中的任一服务字段版本号又发生改变,所述方法还包括:
终止当前正在进行的将所述当前数据库表中的存量数据以异步方式存储至所述新的数据库表中并对发生改变的所述服务字段进行数据刷新的操作;
创建一个具有新的数据库表版本号且与所述当前数据库表的结构相同的新的数据库表,将所述当前数据库表中的存量数据以异步方式存储至所述新的数据库表中并对发生改变的所述服务字段进行数据刷新,同时将增量数据存储至所述新的数据库表中作为存量数据,以作为新的当前数据库表。
7.一种数据版本管理装置,其特征在于,所述装置包括:
数据获取模块,用于获取存量数据,并将所述存量数据存储至当前数据库表中;
判断模块,用于响应于调用与所述当前数据库表中的服务名称相同的服务的返回结果,比较所述返回结果中被调用服务字段版本号与所述当前数据库表中的与所述被调用服务字段版本号对应的服务字段版本号是否发生变化;
执行模块,用于若发生升级变化,创建一个具有新的数据库表版本号且与所述当前数据库表的结构相同的新的数据库表,将所述当前数据库表中的存量数据以异步方式存储至所述新的数据库表中并对发生改变的所述服务字段进行数据刷新,同时将增量数据存储至所述新的数据库表中作为存量数据,以作为新的当前数据库表;
若发生回滚变化,解析发生变化的所述服务字段版本号和已完成存储的数据库表的数据库表版本号,获取与发生变化的所述服务字段版本号相同的已完成存储的数据库表作为新的当前数据库表。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现上述权利要求1至6中任一项所述的方法。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机程序,所述存储器包括缓冲区,用于存储在服务字段开始升级至升级完成的时间段内产生的增量数据;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210926576.5A CN115344585B (zh) | 2022-08-03 | 2022-08-03 | 数据版本管理方法、装置以及存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210926576.5A CN115344585B (zh) | 2022-08-03 | 2022-08-03 | 数据版本管理方法、装置以及存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115344585A CN115344585A (zh) | 2022-11-15 |
CN115344585B true CN115344585B (zh) | 2024-03-19 |
Family
ID=83949565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210926576.5A Active CN115344585B (zh) | 2022-08-03 | 2022-08-03 | 数据版本管理方法、装置以及存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115344585B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550206A (zh) * | 2015-12-01 | 2016-05-04 | 珠海多玩信息技术有限公司 | 结构化查询语句的版本控制方法及装置 |
CN108733744A (zh) * | 2018-04-02 | 2018-11-02 | 东方视界科技(北京)有限公司 | 数据存储、读取方法及装置 |
CN109189464A (zh) * | 2018-07-11 | 2019-01-11 | 高新兴科技集团股份有限公司 | 一种版本管理的方法和设备 |
CN109213769A (zh) * | 2017-06-30 | 2019-01-15 | 华为技术有限公司 | 一种数据对象的数据冲突识别方法 |
CN109299194A (zh) * | 2018-09-25 | 2019-02-01 | 平安科技(深圳)有限公司 | 多版本数据存储管理方法及装置、电子设备、存储介质 |
CN111666134A (zh) * | 2019-03-05 | 2020-09-15 | 北京京东尚科信息技术有限公司 | 一种分布式任务调度的方法和系统 |
CN111708764A (zh) * | 2020-06-22 | 2020-09-25 | 深圳前海微众银行股份有限公司 | 一种数据库变更版本的控制方法及装置 |
CN112738550A (zh) * | 2019-10-14 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 内容数据的处理方法、装置、电子设备及介质 |
CN112988280A (zh) * | 2021-04-22 | 2021-06-18 | 马上消费金融股份有限公司 | 一种配置数据处理方法及装置 |
CN114153862A (zh) * | 2021-12-09 | 2022-03-08 | 腾讯科技(成都)有限公司 | 业务数据处理方法、装置、设备及存储介质 |
CN114281779A (zh) * | 2021-12-01 | 2022-04-05 | 广州炒米信息科技有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN114490570A (zh) * | 2021-12-28 | 2022-05-13 | 合肥移瑞通信技术有限公司 | 生产数据同步方法、装置、数据同步系统及服务器 |
CN114760320A (zh) * | 2020-12-29 | 2022-07-15 | 广州视源电子科技股份有限公司 | 客户端与中台服务器的数据同步方法、系统及客户端 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080222296A1 (en) * | 2007-03-07 | 2008-09-11 | Lisa Ellen Lippincott | Distributed server architecture |
FI20070366A0 (fi) * | 2007-05-09 | 2007-05-09 | Webmedia As | Menetelmä ja järjestelmä luokan uudelleen lataamiseksi |
US11960922B2 (en) * | 2020-09-24 | 2024-04-16 | Intel Corporation | System, apparatus and method for user space object coherency in a processor |
-
2022
- 2022-08-03 CN CN202210926576.5A patent/CN115344585B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550206A (zh) * | 2015-12-01 | 2016-05-04 | 珠海多玩信息技术有限公司 | 结构化查询语句的版本控制方法及装置 |
CN109213769A (zh) * | 2017-06-30 | 2019-01-15 | 华为技术有限公司 | 一种数据对象的数据冲突识别方法 |
CN108733744A (zh) * | 2018-04-02 | 2018-11-02 | 东方视界科技(北京)有限公司 | 数据存储、读取方法及装置 |
CN109189464A (zh) * | 2018-07-11 | 2019-01-11 | 高新兴科技集团股份有限公司 | 一种版本管理的方法和设备 |
CN109299194A (zh) * | 2018-09-25 | 2019-02-01 | 平安科技(深圳)有限公司 | 多版本数据存储管理方法及装置、电子设备、存储介质 |
CN111666134A (zh) * | 2019-03-05 | 2020-09-15 | 北京京东尚科信息技术有限公司 | 一种分布式任务调度的方法和系统 |
CN112738550A (zh) * | 2019-10-14 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 内容数据的处理方法、装置、电子设备及介质 |
CN111708764A (zh) * | 2020-06-22 | 2020-09-25 | 深圳前海微众银行股份有限公司 | 一种数据库变更版本的控制方法及装置 |
CN114760320A (zh) * | 2020-12-29 | 2022-07-15 | 广州视源电子科技股份有限公司 | 客户端与中台服务器的数据同步方法、系统及客户端 |
CN112988280A (zh) * | 2021-04-22 | 2021-06-18 | 马上消费金融股份有限公司 | 一种配置数据处理方法及装置 |
CN114281779A (zh) * | 2021-12-01 | 2022-04-05 | 广州炒米信息科技有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN114153862A (zh) * | 2021-12-09 | 2022-03-08 | 腾讯科技(成都)有限公司 | 业务数据处理方法、装置、设备及存储介质 |
CN114490570A (zh) * | 2021-12-28 | 2022-05-13 | 合肥移瑞通信技术有限公司 | 生产数据同步方法、装置、数据同步系统及服务器 |
Non-Patent Citations (2)
Title |
---|
Development of digital products and services: Proposal of a framework to analyze versioning actions;José Osvaldo De Sordi 等;《European Management Journal》;20161031;第34卷(第5期);564-578 * |
云平台中虚拟镜像版本控制服务的研究与实现;辜聪林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20191115(第11期);I137-4 * |
Also Published As
Publication number | Publication date |
---|---|
CN115344585A (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022170782A1 (zh) | 微服务配置的方法、装置、电子设备、系统以及存储介质 | |
CN110781197B (zh) | 一种hive离线同步校验方法、装置及电子设备 | |
CN106411970A (zh) | 一种基于服务调用的故障处理方法、装置和系统 | |
CN112417042A (zh) | 一种处理业务请求的方法和装置 | |
CN112463261B (zh) | 接口调用方法、装置、电子设备、介质及产品 | |
CN112650804B (zh) | 大数据接入方法、装置、系统及存储介质 | |
CN115344585B (zh) | 数据版本管理方法、装置以及存储介质和电子设备 | |
CN110321505B (zh) | 数据一致性校验方法及装置 | |
CN111078764A (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
CN111176987A (zh) | 前端日志统一输出的方法、装置、计算机设备及存储介质 | |
CN112148705A (zh) | 数据迁移的方法和装置 | |
CN115827657A (zh) | 数据库的数据同步方法、存储介质以及设备 | |
CN116069725A (zh) | 文件迁移方法、装置、设备、介质和程序产品 | |
CN115640310A (zh) | 用于业务数据聚合的方法和装置、电子设备和存储介质 | |
CN114615025A (zh) | 一种密钥同步处理方法和装置 | |
US11675752B2 (en) | Systems and methods for generating schema notifications | |
CN114218313A (zh) | 数据管理方法、装置、电子设备、存储介质及产品 | |
CN113486116A (zh) | 一种数据同步方法、装置、电子设备及计算机可读介质 | |
CN113076343A (zh) | 数据查询方法、装置、设备及存储介质 | |
US20210096932A1 (en) | Systems and methods for generating schema notifications | |
CN110955722A (zh) | 数据同步方法及装置 | |
CN112214500A (zh) | 数据对比的方法、装置、电子设备和存储介质 | |
US11909707B2 (en) | Message schema migration in messaging systems | |
US20220191104A1 (en) | Access management for a multi-endpoint data store | |
CN117093274A (zh) | 一种应用运行堆栈解析方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230731 Address after: Room 404-405, 504, Building B-17-1, Big data Industrial Park, Kecheng Street, Yannan High tech Zone, Yancheng, Jiangsu Province, 224000 Applicant after: Yancheng Tianyanchawei Technology Co.,Ltd. Address before: 224000 room 501-503, building b-17-1, Xuehai road big data Industrial Park, Kecheng street, Yannan high tech Zone, Yancheng City, Jiangsu Province Applicant before: Yancheng Jindi Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |