CN113127564B - 一种参数同步方法和装置 - Google Patents
一种参数同步方法和装置 Download PDFInfo
- Publication number
- CN113127564B CN113127564B CN202110423699.2A CN202110423699A CN113127564B CN 113127564 B CN113127564 B CN 113127564B CN 202110423699 A CN202110423699 A CN 202110423699A CN 113127564 B CN113127564 B CN 113127564B
- Authority
- CN
- China
- Prior art keywords
- parameter
- updating
- service
- task
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了参数同步方法和装置,涉及大数据技术领域。该方法包括:接收业务参数同步请求,触发参数同步进程;确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录;将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,基于参数变更数据,更新各个参数更新引擎对应的目标数据库;响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。可以实现参数同步的稳定性和一致性,提高参数同步的实时性。
Description
技术领域
本申请涉及大数据技术领域,尤其涉及一种参数同步方法和装置。
背景技术
银行核心系统中存在多种类型的公共参数,不同的应用在实际业务应用中需要依赖相关的公共参数,完成交易处理。目前,主要的参数复制技术有数据库同步复制技术。其中,数据库同步复制技术,通过定时以数据库为维度,进行整库的数据远程完成拷贝。
在实现本申请过程中,发明人发现现有技术中至少存在如下问题:
目前参数复制技术的数据复制的实时性和性能不好,容易对业务交易的处理造成很大影响。
发明内容
有鉴于此,本申请实施例提供一种参数同步方法和装置,能够解决现有的参数复制技术的数据复制的实时性和性能不好,容易对业务交易的处理造成很大影响的问题。
为实现上述目的,根据本申请实施例的一个方面,提供了一种参数同步方法,包括:
接收业务参数同步请求,触发参数同步进程;
确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录;
将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库;
响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
可选地,确定对应该业务批次的参数分类记录,包括:
获取业务参数同步请求对应的业务批次所对应的更新任务集合;
确定参数类型状态表的更新时间;
基于业务批次时间、更新时间以及预设的超时时间阈值,确定更新任务集合中的超时更新任务;
调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果;
基于各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的参数类型状态表中的参数分类记录。
可选地,提取与参数分类记录对应的参数变更数据,包括:
响应于确定分布式缓存中不存在与参数分类记录对应的参数变更数据,从源数据库中查找并提取参数变更数据。
可选地,更新各个参数更新引擎对应的目标数据库,包括:
确定参数变更数据的索引;
基于索引、参数变更数据和目标数据库,执行结构化查询语言;
响应于确定执行结果异常,判断执行操作类型;
基于执行操作类型,确定对应的处理方式;
基于处理方式、索引、参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于更新执行结果,更新各个参数更新引擎对应的目标数据库。
可选地,执行参数同步失败异步重发进程,包括:
更新周期更新任务库,确定周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表;
基于各周期更新任务对应的业务批次、业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序;
基于执行顺序,确定目标周期更新任务;
执行目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果;
进而更新目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新目标周期更新任务对应的业务批次的参数分类记录。
可选地,参数同步方法还包括:
接收参数同步状态查询请求,获取参数同步状态查询请求中的批次标识;
调用批次流水表,确定批次标识对应的业务批次中各任务的参数同步状态,并输出。
可选地,参数同步请求包括:参数插入请求、参数更新请求和参数删除请求。
另外,本申请还提供了一种参数同步装置,包括:
接收单元,被配置成接收业务参数同步请求,触发参数同步进程;
参数分类记录确定单元,被配置成确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录;
更新单元,被配置成将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库;
异步重发单元,被配置成响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
可选地,参数分类记录确定单元进一步被配置成:
获取业务参数同步请求对应的业务批次所对应的更新任务集合;
确定参数类型状态表的更新时间;
基于业务批次时间、更新时间以及预设的超时时间阈值,确定更新任务集合中的超时更新任务;
调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果;
基于各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的参数类型状态表中的参数分类记录。
可选地,更新单元进一步被配置成:
响应于确定分布式缓存中不存在与参数分类记录对应的参数变更数据,从源数据库中查找并提取参数变更数据。
可选地,更新单元进一步被配置成:
确定参数变更数据的索引;
基于索引、参数变更数据和目标数据库,执行结构化查询语言;
响应于确定执行结果异常,判断执行操作类型;
基于执行操作类型,确定对应的处理方式;
基于处理方式、索引、参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于更新执行结果,更新各个参数更新引擎对应的目标数据库。
可选地,异步重发单元进一步被配置成:
更新周期更新任务库,确定周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表;
基于各周期更新任务对应的业务批次、业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序;
基于执行顺序,确定目标周期更新任务;
执行目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果;
进而更新目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新目标周期更新任务对应的业务批次的参数分类记录。
可选地,参数同步装置还包括查询单元,被配置成:
接收参数同步状态查询请求,获取参数同步状态查询请求中的批次标识;
调用批次流水表,确定批次标识对应的业务批次中各任务的参数同步状态,并输出。
可选地,参数同步请求包括:参数插入请求、参数更新请求和参数删除请求。
另外,本申请还提供了一种参数同步电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的参数同步方法。
另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的参数同步方法。
上述发明中的一个实施例具有如下优点或有益效果:本申请以高吞吐量的分布式发布订阅消息系统Kafka消息中间件为技术基础,通过接收由Kafka消息中间件转发的业务参数同步请求,触发参数同步进程。进而通过确定业务参数同步请求对应的业务批次时间,并调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,可以准确地确定出对应该业务批次的参数分类记录,并通过参数分类记录可以确定出变更参数和未变更参数,从而实现参数同步的稳定性和一致性。并通过分布式部署,将参数分类记录传输至各个参数更新引擎以执行更新任务,并通过缓存技术的引入,可以从分布式缓存中提取与参数分类记录对应的参数变更数据,避免了数据库层面的参数远程同步,进一步提升参数同步的性能。并且在各参数同步端接收参数变更数据后,执行本地数据库操作,基于参数变更数据,更新各个参数更新引擎对应的目标数据库,提高了参数同步的实时性,扩展了参数同步服务的适用场景和应用范围。并且针对消息消费过程中可能出现的异常情况,设计对应的容错机制,通过响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程,实现了参数同步的稳定性和一致性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请,不构成对本申请的不当限定。其中:
图1是根据本申请第一实施例的参数同步方法的主要流程的示意图;
图2是根据本申请第二实施例的参数同步方法的主要流程的示意图;
图3是根据本申请第三实施例的参数同步方法的应用场景示意图;
图4是根据本申请第四实施例的参数同步方法的主要流程的示意图;
图5是根据本申请第五实施例的参数同步方法的主要流程的示意图;
图6是根据本申请第六实施例的参数同步方法的主要流程的示意图
图7是根据本申请实施例的参数同步装置的主要模块的示意图;
图8是本申请实施例可以应用于其中的示例性系统架构图;
图9是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的参数同步方法的主要流程的示意图,如图1所示,参数同步方法包括:
步骤S101,接收业务参数同步请求,触发参数同步进程。
本实施例中,参数同步方法的执行主体(例如,可以是参数维护前端服务器中的参数同步单元)可以通过有线连接或无线连接的方式,从分布式消息接收业务参数同步请求。该业务参数同步请求可以在进行参数消费时触发发送。分布式消息可以接收参数维护前端直接或间接发送的业务参数同步请求,并发送给执行主体。参数消费,可以是业务的处理方获取所需的参数,并基于获取的参数进行业务逻辑处理。参数同步请求包括:参数插入请求、参数更新请求和参数删除请求。
参数同步请求可以是对参数进行插入、更新或删除的操作的请求。
步骤S102,确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录。
执行主体在触发参数同步进程后,可以确定当前的业务批次时间,并分别获取当前业务批次时间开始前的任意批次的初始参数类型状态表和当前业务批次处理结束后得到的更新参数类型状态表,进而调用SELECT DISTINCT语句,从更新参数类型状态表中选取与初始参数类型状态表唯一“不同”的参数,该“不同”可以指的是参数的类型、参数名称或参数值,例如,par是参数名,par_value是参数可以更改的值,本申请对不同的参数中“不同”的定义不做具体限定。执行主体在利用SELECT DISTINCT语句得到更新参数类型状态表与初始参数类型状态表唯一不同的参数后,可以将更新参数类型状态表中该唯一不同的参数(即变更参数)归为一类,将更新参数类型状态表中的其他的没有变更的参数归为一类,并由此生成更新参数类型状态表的参数分类记录,并保存。参数分类记录,例如,可以是更新参数类型状态表中的变更参数记录为:a、b、c,未变更参数记录为d、e、f、g,本申请对参数分类记录的具体内容及形式不做限定。
步骤S103,将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库。
执行主体在确定对应该业务批次的参数分类记录后,可以对各个参数使用端进行参数同步服务的调用。以调用各个参数使用端的参数更新引擎,基于参数分类记录从分布式缓存中获取参数变更数据,以对目标数据库进行参数更新。
步骤S104,响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
在参数同步过程中出现异常情况时,执行主体可以基于预设的容错机制,对异常情况进行处理。执行主体可以对执行结果为失败、不确定、成功的更新任务分配标识,例如,对执行结果为失败的更新任务分配的标识为0,对执行结果为不确定的更新任务分配的标识为2,对执行成功的更新任务分配的标识为1,并保存标识分配结果以及执行结果。其中,执行结果为不确定,可以指的是对该更新任务的内呼结果为异常,且内呼次数达到最大重试次数。示例的,当执行主体确定该业务批次的更新任务的执行结果为部分成功时,可以调用搜索引擎,基于执行主体对各执行后的更新任务分配并保存的标识,查找标识为0和2的更新任务,并将查找到的更新任务发送到参数同步失败异步重发进程对应的周期更新任务队列,进行排队,以等候执行参数同步失败异步重发进程。
本实施例以高吞吐量的分布式发布订阅消息系统Kafka消息中间件为技术基础,通过接收由Kafka消息中间件转发的业务参数同步请求,触发参数同步进程。进而通过确定业务参数同步请求对应的业务批次时间,并调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,可以准确地确定出对应该业务批次的参数分类记录,并通过参数分类记录可以确定出变更参数和未变更参数,从而实现参数同步的稳定性和一致性。并通过分布式部署,将参数分类记录传输至各个参数更新引擎以执行更新任务,并通过缓存技术的引入,可以从分布式缓存中提取与参数分类记录对应的参数变更数据,避免了数据库层面的参数远程同步,进一步提升参数同步的性能。并且在各参数同步端接收参数变更数据后,执行本地数据库操作,基于参数变更数据,更新各个参数更新引擎对应的目标数据库,提高了参数同步的实时性,扩展了参数同步服务的适用场景和应用范围。并且针对消息消费过程中可能出现的异常情况,设计对应的容错机制,通过响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程,实现了参数同步的稳定性和一致性。
图2是根据本申请第二实施例的参数同步方法的主要流程示意图,如图2所示,参数同步方法包括:
步骤S201,接收业务参数同步请求,触发参数同步进程。
步骤S202,确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录。
步骤S201~步骤S202的原理与步骤S101~步骤S102的原理类似,此处不再赘述。
具体地,步骤S202可以通过步骤S2021~步骤S2025来实现:
步骤S2021,获取业务参数同步请求对应的业务批次所对应的更新任务集合。
本实施例中,更新任务集合可以包括业务参数同步请求对应的业务批次下包含的所有一级和二级分类组合。其中,一级和二级分类组合可以是同一业务批次的不同更新任务组合。执行主体可以根据预设的更新任务的优先级,将同一业务批次的不同更新任务分为一级更新任务和二级更新任务,执行主体可以首先执行一级更新任务,然后执行二级更新任务。本申请对一级更新任务和二级更新任务的执行顺序不做具体限定。执行主体可以调用搜索引擎,根据业务参数同步请求对应的业务批次标识,从业务系统的本地数据库或云端数据库查找该业务批次下的所有更新任务集合,并获取。
步骤S2022,确定参数类型状态表的更新时间。
执行主体在执行该业务批次的所有更新任务之前,可以确定该业务批次的之前业务批次的各更新任务执行后的参数类型状态表的更新时间,并确定为参数类型状态表的更新时间。
步骤S2023,基于业务批次时间、更新时间以及预设的超时时间阈值,确定更新任务集合中的超时更新任务。
本实施例中的业务批次时间,即当前业务批次时间,可以是当前业务批次的预设触发执行时间。预设的超时时间阈值可以是业务批次执行生效的时间间隔阈值。执行主体可以判断业务批次时间是否小于参数类型状态表的更新时间,以确定当前业务批次的状态是否为废弃。当当前业务批次的状态为生效时,执行主体可以根据当前业务批次中各更新任务的预设触发执行时间来判断当前业务批次中各更新任务的状态是否均为生效,即当前业务批次中各更新任务的当前生效状态是否为全部成功。执行主体响应于确定当前业务批次中各更新任务的当前生效状态不是全部成功,可以通过当前业务批次中各更新任务的预设触发执行时间(即配置的生效时间)、参数类型状态表的更新时间(即参数类型状态表中记录更新时间)以及预设的超时时间阈值,以确定该业务批次的更新任务集合中的超时更新任务。超时更新任务,可以是当前业务批次中由生效状态为不成功转为生效状态为成功的更新任务。
步骤S2024,调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果。
执行主体在确定当前业务批次的超时更新任务后,可以调用线程池,进行并发同步微服务调度,并发同步执行各超时更新任务,并得到各超时更新任务的执行结果。执行结果,可以是该业务批次流水为全部同步成功、该业务批次存在问题,不再进行异步重试或该业务批次流水为部分成功,待异步同步。具体地,本申请中的业务批次流水可以是业务参数同步请求对应的业务批次中各更新任务的内呼结果。本申请中的内呼,可以是调度更新任务以执行的意思。内呼结果,可以是调度更新任务失败,失败原因可能是调度更新任务超时,或者调度的更新任务未找到等,本申请对调度更新任务失败的原因不做具体限定。
步骤S2025,基于各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的参数类型状态表中的参数分类记录。
执行主体在确定各超时更新任务的执行结果后,可以基于执行过程中的参数变更,进而更新参数类型状态表,进而调用SELECT DISTINCT语句确定更新的参数类型状态表中的参数分类记录。
图4是对应于图2所示的本申请第二实施例中步骤S202的例子。
具体地,图4执行的是对参数同步请求对应的业务批次所对应的参数的同步消息进行消费的进程,最终得到该业务批次对应的参数分类记录。如图4所示,在对该业务批次对应的参数的同步消息进行消费时,执行主体可以拉取参数同步消息,并更新批次流水表,将该业务批次在该批次流水表中的状态修改为1-同步中。进而,执行主体可以获取该业务批次下包含的所有一级和二级分类组合,根据每一个一级二级分类组合,比较参数类型状态表中的更新时间。
然后,执行主体可以判断该业务批次中的每一个一级二级分类组合在参数类型状态表中是否不存在记录(其中,本申请中的一级和二级分类组合可以是同一业务批次的不同更新任务组合)。如果存在记录,则执行主体可以判断当前业务批次时间是否小于参数类型状态表中的记录更新时间,响应于确定小于,则更新该业务批次状态为废弃,通知应用,结束处理;响应于确定不小于,则判断该业务批次中每一个一级二级分类组合的当前生效状态是否为全部成功,响应于确定不是全部成功,则执行主体可以获取当前业务批次一级二级分类组合配置的生效时间,进而分别减去参数类型状态表中的记录更新时间,得到各超时时间,然后判断各超时时间是否大于预设的超时时间阈值,响应于确定不大于,则执行该更新任务的线程挂住等待,查询更新任务状态,直到超时时间到,即直到该更新任务的超时时间大于预设的超时时间阈值。然后,执行主体可以返回继续判断该业务批次中每一个一级二级分类组合的当前生效状态是否为全部成功,直至确定当前生效状态全部成功。
执行主体响应于确定当前生效状态全部成功或者确定各超时时间均大于预设的超时时间阈值或者确定该业务批次中的每一个一级二级分类组合在参数类型状态表中均不存在记录,然后执行主体可以继续判断该业务批次中每一个一级二级分类组合是否全部判断完成,响应于确定没有全部判断完成,返回根据每一个一级二级分类组合,比较参数类型状态表中的更新时间步骤继续执行后续步骤;执行主体响应于确定全部判断完成,调用搜索引擎,查找源数据库对应的应用标识,并根据该应用标识查询交易码映射信息,进而获取映射出的寻址交易码,进而进行配置中心寻址,通过配置中心获取更新任务列表。然后执行主体可以通过线程池进行并发同步微服务调度,在线程池的每个线程内,串行执行内呼,内呼前,先记录内呼预计流水。
然后,执行主体可以判断各内呼是否异常,响应于确定存在内呼异常,则将重试次数+1,判断是否达到最大重试次数,响应于确定达到最大重试次数,则更新该内呼流水为不确定,响应于确定未达到最大重试次数,则返回判断内呼是否异常步骤;响应于确定内呼不存在异常,则继续判断内呼是否失败,响应于确定内呼失败,则重试次数+1,继续判断是否达到最大重试次数,响应于确定达到最大重试次数则更新该内呼流水为失败,响应于确定没有达到最大重试次数,则返回判断内呼是否异常步骤;响应于确定内呼成功,更新该内呼流水为成功。
执行主体响应于确定该内呼流水为成功或确定该内呼流水为失败或确定该内呼流水为不确定,则继续判断该线程是否执行完成。执行主体响应于确定该线程没有执行完成,则返回每个线程内,串行执行内呼,内呼前,先记录内呼预计流水的步骤;响应于确定该线程执行完成,则待所有线程执行完毕以后,统计是否存在失败的内呼。响应于确定存在失败的内呼,则判断是否全部失败,响应于确定部分失败,则选取此批次中唯一变更的参数并生成参数分类记录,在参数类型状态表中更新或者插入一条记录,更新时间为当前批次生成时间,状态为部分成功,更新批次流水为部分成功,待异步同步,结束该进程;响应于确定全部失败,则更新批次流水为废弃,确定此业务批次存在问题,不再异步重试,通知应用,结束该进程。执行主体响应于确定不存在失败的内呼,则选取此批次中唯一变更的参数并生成参数分类记录,在参数类型状态表中更新或者插入一条记录,更新时间为当前批次生成时间,状态为全部成功,结束进程。
本实施例通过基于业务批次时间、业务批次中各更新任务配置的生效时间以及参数类型状态表的更新时间,来确定需要内呼的更新任务,并进行并发同步微服务调度执行各更新任务,并基于执行结果来更新参数类型状态表,从而可以准确地确定出对应该业务批次的更新的参数类型状态表中的参数分类记录,提高了参数同步的准确性。
步骤S203,将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库。
在本实施例的一些可选地实现方式中,提取与参数分类记录对应的参数变更数据,包括:响应于确定分布式缓存中不存在与参数分类记录对应的参数变更数据,从源数据库中查找并提取参数变更数据。
步骤S203的原理与步骤S103的原理类似,此处不再赘述。
具体地,步骤S203还可以通过步骤S2031~步骤S2035来实现:
步骤S2031,确定参数变更数据的索引。
本实施例中,参数变更数据的索引,可以由根据预设的顺序,对指向各个业务批次对应的参数变更数据的指针进行排序得到。
步骤S2032,基于索引、参数变更数据和目标数据库,执行结构化查询语言。
执行主体可以基于索引提供的指向各个业务批次对应的参数变更数据的指针,从参数变更数据库中找到目标业务批次对应的参数变更数据,并基于索引排序依次执行结构化查询语言SQL。目标业务批次可以是当前需要进行参数同步的业务批次。
步骤S2033,响应于确定执行结果异常,判断执行操作类型。
当执行结构化查询语言SQL异常时,执行主体可以判断引起异常的原因。具体地,执行主体可以判断执行SQL时,在产生异常时的执行操作类型。
步骤S2034,基于执行操作类型,确定对应的处理方式。
执行主体在确定导致异常的执行操作类型后,执行主体可以调用预设的异常处理组件库,确定对应的处理方式,以对导致异常的操作类型进行处理。
步骤S2035,基于处理方式、索引、参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于更新执行结果,更新各个参数更新引擎对应的目标数据库。
执行主体可以基于处理后的执行操作类型,基于由索引提供的指向各个业务批次对应的参数变更数据的指针,从参数变更数据库中找到的目标业务批次对应的参数变更数据,继续执行结构化查询语言,得到更新执行结果。该更新执行结果可以是具体的对参数变更数据执行的操作,例如对参数变更数据执行更新执行操作后的插入、更新或删除操作。执行主体可以基于该更新执行结果将该参数变更数据同步更新至各个参数更新引擎对应的目标数据库中。
图5是对应于图2所示的本申请第二实施例中步骤S203的例子。
具体地,图5执行的是对参数同步请求对应的业务批次所对应的参数变更数据进行同步的进程。如图5所示,执行主体在接收到参数同步请求时,可以解析请求数据,开启参数更新任务。然后执行主体可以按照参数变更数据的索引从小到大的顺序执行结构化查询语言。
进而,执行主体可以判断执行过程是否发生异常,响应于确定执行过程中发生异常,则进行操作类型判断。执行主体响应于确定执行操作为参数数据插入且异常为主键冲突,则变更插入为更新操作,返回按照参数变更数据的索引从小到大的顺序执行结构化查询语言的步骤;响应于确定执行操作为参数数据更新且异常为记录不存在,则变更更新为插入操作,返回按照参数变更数据的索引从小到大的顺序执行结构化查询语言的步骤;响应于确定执行操作为删除且异常为记录不存在,则跳过该操作执行按照索引顺序执行下一业务批次的参数变更数据的同步请求的处理;响应于确定异常操作类型为插入且异常不是主键冲突、异常操作类型为更新且异常记录存在、异常操作类型为删除且异常记录存在,则确定最终存在异常,则回滚实务,返回失败;响应于确定执行过程没有发生异常且执行完索引列表,则提交实务,返回成功。执行主体可以基于返回成功时所确定的对各业务批次的参数变更数据的执行操作类型(例如,插入、更新或删除),来更新目标数据库。
本实施例通过对参数同步过程中的异常的处理来纠正对参数变更数据的执行操作,从而可以实现对目标数据库进行更准确地参数同步。
步骤S204,响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
步骤S204的原理与步骤S104的原理类似,此处不再赘述。
具体地,步骤S204还可以通过步骤S2041~步骤S2045来实现:
步骤S2041,更新周期更新任务库,确定周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表。
本实施例中,周期更新任务库中可以包括各业务批次的待更新周期任务。执行主体可以根据周期更新任务库中的各周期更新任务标识来确定对应的业务批次。执行主体可以从业务系统中的本地数据库或云端数据库中通过有线连接或无线连接的方式获取业务批次流水表。业务批次流水表中可以包括各业务批次的生效时间、各业务批次中各更新任务的参数同步状态等。本申请对业务批次流水表中的具体内容不做限定。
步骤S2042,基于各周期更新任务对应的业务批次、业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序。
本实施例中,业务批次时间可以是业务批次生效时间,也即业务批次开始被处理的时间。执行主体可以调用搜索引擎,查询业务批次流水表中的预设的参数同步状态所对应的业务批次。并根据确定出的周期更新任务库中的各周期更新任务对应的业务批次,从周期更新任务库中查找属于查询得到的预设的参数同步状态更新任务所对应的业务批次中的更新任务。并根据业务批次流水表中的各业务批次对应的业务批次时间,确定周期更新任务库中各预设的参数同步状态更新任务的执行顺序。
步骤S2043,基于执行顺序,确定目标周期更新任务。
步骤S2044,执行目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果。
步骤S2045,进而更新目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新目标周期更新任务对应的业务批次的参数分类记录。
其中,预设的参数同步状态可以是内呼状态为失败状态,也可以是内呼状态为不确定状态。
执行主体在确定周期更新任务库中各预设的参数同步状态更新任务的执行顺序后,可以按顺序依次执行各预设的参数同步状态更新任务。并基于执行结果更新对应业务批次的参数类型状态表,进而确定对应业务批次的参数分类记录。
图6是对应于图2所示的本申请第二实施例中步骤S204的例子。
具体地,图6执行的是对参数同步请求对应的业务批次所对应的参数同步服务失败异步重发进程。如图6所示,执行主体可以更新周期更新任务库中的各周期更新任务。然后,执行主体可以查询批次流水表中同步状态为部分成功的业务批次,然后按业务批次时间进行排序。进而,执行主体可以从时间最小的业务批次开始发起内呼,并获取该业务批次下包含的所有一级二级分类组合,然后根据每一个一级二级分类组合,比较参数类型状态表中的更新时间。
然后,执行主体可以判断当前业务批次时间是否小于参数类型状态表中记录更新时间,响应于确定当前业务批次时间小于参数类型状态表中记录更新时间,更新该业务批次流水状态为废弃,结束该业务批次重新发起内呼;响应于确定当前业务批次时间不小于参数类型状态表中记录更新时间,则继续判断该业务批次是否全部判断完成。响应于确定该业务批次没有全部判断完成,则返回根据每一个一级二级分类组合,比较参数类型状态表中的更新时间的步骤;响应于确定该业务批次全部判断完成,则继续查询该业务批次所有内呼状态为失败和不确定的流水,然后确定该业务批次所有内呼状态为失败和不确定的流水的任务编号,并根据该任务编号寻址开始内呼。
然后,执行主体可以判断各内呼是否异常,响应于确定存在内呼异常,则将重试次数+1,判断是否达到最大重试次数,响应于确定达到最大重试次数,则更新该内呼流水为不确定,响应于确定未达到最大重试次数,则返回判断内呼是否异常步骤;响应于确定内呼不存在异常,则继续判断内呼是否失败,响应于确定内呼失败,则重试次数+1,继续判断是否达到最大重试次数,响应于确定达到最大重试次数则更新该内呼流水为失败,响应于确定没有达到最大重试次数,则返回判断内呼是否异常步骤;响应于确定内呼成功,更新该内呼流水为成功。
执行主体响应于确定该内呼流水为成功或确定该内呼流水为失败或确定该内呼流水为不确定,则继续判断该业务批次是否全部发送完成。响应于确定该业务批次没有全部发送完成,则返回根据该任务编号寻址开始内呼的步骤;响应于确定该业务批次全部发送完成,则执行主体可以继续判断该业务批次是否全部成功。响应于确定该业务批次没有全部成功,则结束进程,并退出,等待下一次自动任务调度;响应于确定该业务批次全部成功,则更新该业务批次流水为全部同步成功,并选取该业务批次中唯一变更的参数并生成参数分类记录,然后执行主体可以更新记录,并将业务批次状态更新为全部成功。
然后,执行主体可以判断是否所有批次执行完成,响应于确定所有批次执行完成,则结束;响应于确定所述批次没有执行完成,则返回从时间最小的业务批次开始发起内呼的步骤。
本实施例针对参数同步服务过程中可能出现的异常情况,设计对应的容错机制,通过响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程,实现了参数同步的稳定性以及源数据库和各目标数据库之间的数据一致性,保证了参数同步服务的成功率,并通过消息异步处理机制,实现应用参数维护的时效性。
步骤S205,接收参数同步状态查询请求,获取参数同步状态查询请求中的批次标识。
执行主体在对业务参数同步请求处理完成后,可以接收由参数维护单元调用参数同步状态查询API接口发送的参数同步状态查询请求,然后执行主体(可以是参数同步单元)可以接收参数同步状态查询请求,并获取参数同步状态查询请求中的业务批次标识。
步骤S206,调用批次流水表,确定批次标识对应的业务批次中各任务的参数同步状态,并输出。
执行主体可以调用搜索引擎,进而查询批次流水表中该业务批次中每个更新任务的参数同步状态。然后执行主体可以统计该业务批次中每个参数更新任务的参数同步状态的结果,并将结果返回参数维护单元。
本实施例通过统计任意业务批次中各参数更新任务的参数同步状态,可以有效地掌握各业务批次中各参数更新任务的执行结果,以便于优化参数同步进程,实现更精确的业务参数的同步。
在本实施例的一些可选的实现方式中,在步骤S206的“调用批次流水表,确定批次标识对应的业务批次中各任务的参数同步状态”之后,参数同步方法还包括执行参数同步状态消息发送进程,参数同步状态消息包括参数同步状态明细流水。参数同步状态消息发送进程具体包括:获取业务参数同步请求对应的业务批次参数同步状态明细流水;发送参数同步状态明细流水至参数维护单元;响应于确定存在未发送、发送中或发送失败状态的批次流水,记录该业务批次状态为未发送,结束进程;响应于确定不存在未发送、发送中或发送失败状态的批次流水,确定是否发送异常,响应于确定发送消息发生异常,则记录该业务批次状态为发送失败,响应于确定发送消息未发生异常,结束进程,向参数维护单元返回结果。然后,在参数维护端,参数维护单元基于返回结果判断是否发生异常,进而响应于确定发生异常,判断是否达到重复执行次数,响应于确定未发生异常,返回批次号,结束;然后参数维护单元判断是否达到重复执行次数,进而响应于确定达到重复执行次数,则继续判断是否每次都是未发送出去异常,响应于确定每次都是未发送出去异常,则返回零值null,否则返回批次号,结束进程;参数维护单元响应于确定没有达到重复执行次数,则返回继续调用参数同步服务,以向参数同步单元发送业务参数同步请求,以使参数同步单元执行参数同步进程。
在本实施例的一些可选地实现方式中,响应于确定参数同步状态消息发送失败,执行参数同步状态消息发送失败异步重发进程。具体为:扫描周期任务库;调用搜索引擎,查询业务批次状态为未发送和发送失败的批次,按照业务批次状态为未发送和发送失败的批次生成时间排序从小到大进行重发;设置同步消息发送失败流水表中当前即将发送的参数同步状态消息的记录为发送中;进而发送该参数同步状态消息;响应于确定消息发送成功,则更新同步消息发送失败流水表中该参数同步状态消息的状态为发送成功;响应于确定消息发送失败,则判断是否达到最大重试次数,如果达到,则更新同步消息发送失败流水表中该参数同步状态消息的状态为废弃,否则重试计数+1,等待下一次周期任务调起。
本实施例通过消息异步处理机制,实现应用参数维护的时效性。
图3是根据本申请第三实施例的参数同步方法的应用场景示意图。本申请实施例的参数同步方法,可以应用于银行在处理实际业务时,需要依赖相关的实时性要求较高的公共参数,以便完成交易处理,因而需要进行实时的、高稳定性、高一致性的公共参数同步的场景。
如图3所示,实现参数同步所需的服务器可以是参数维护前端服务器,参数维护前端服务器可以将需要保存的初始参数或变更参数输出至参数维护单元,以使参数维护单元将获取的参数保存到源数据库中,并更新分布式缓存,以供参数同步时实时调用。通过消息消费触发参数同步进程,在触发参数同步进程后,分布式消息可以接受由参数维护单元发送的参数同步请求,并将该参数同步请求发送到参数维护前端服务器中的参数同步单元。参数同步单元在接收参数同步请求后,触发参数同步进程,进行分布式部署,记录消息消费记录、参数变更数据,同时识别消息消费和参数复制过程中的处理结果,一旦出现异常情况,进行针对性的容错处理。参数同步单元可以确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录。参数同步单元可以将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库。参数同步单元响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
其中,分布式消息通过Kafka消息中间件实现,Kafka是由Apache软件基金会开发的一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。参数同步单元接收参数同步请求,并对各个参数更新单元进行服务调用,具体调用的是参数同步服务,是参数同步服务的核心处理单元。参数更新单元,接收参数同步服务的请求,并基于参数变更数据更新本单元的目标数据库。参数更新引擎可以内置于参数更新单元中,本申请对参数更新引擎的位置不做具体限定。分布式缓存,是指与应用分离的缓存组件或服务,是一个独立的应用,与本地应用隔离,多个应用可直接共享缓存。源数据库,是参数维护前端的数据库,作为参数同步的数据源。参数复制单元,内置于参数使用端的服务中,通过消息消费的形式负责将变更的参数同步到本单元的目标数据库中。目标数据库,作为参数使用端的数据库副本,是参数同步至的目标数据库。消息中间件,是IT系统内部通信的核心手段,具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步远程过程调用的主要手段之一。应用参数,可以是本申请中的参数,在银行核心系统中存在多种类型的公共参数,不同的应用在实际业务应用中需要依赖相关的公共参数,完成交易处理。消息消费,可以是业务的处理方从消息服务器中获取订阅的消息,并进行业务逻辑处理的过程,在本申请中可以是参数消费,即业务的处理方获取所需的参数,并基于获取的参数进行业务逻辑处理的过程。
图7是根据本申请实施例的参数同步装置的主要模块的示意图。如图7所示,参数同步装置包括接收单元701、参数分类记录确定单元702、更新单元703和异步重发单元704。
接收单元701,被配置成接收业务参数同步请求,触发参数同步进程。
参数分类记录确定单元702,被配置成确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录。
更新单元703,被配置成将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,调用结构化查询语言,基于参数变更数据,更新各个参数更新引擎对应的目标数据库。
异步重发单元704,被配置成响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
在一些实施例中,参数分类记录确定单元702进一步被配置成:获取业务参数同步请求对应的业务批次所对应的更新任务集合;确定参数类型状态表的更新时间;基于业务批次时间、更新时间以及预设的超时时间阈值,确定更新任务集合中的超时更新任务;调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果;基于各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的参数类型状态表中的参数分类记录。
在一些实施例中,更新单元703进一步被配置成:响应于确定分布式缓存中不存在与参数分类记录对应的参数变更数据,从源数据库中查找并提取参数变更数据。
在一些实施例中,更新单元703进一步被配置成:确定参数变更数据的索引;基于索引、参数变更数据和目标数据库,执行结构化查询语言;响应于确定执行结果异常,判断执行操作类型;基于执行操作类型,确定对应的处理方式;基于处理方式、索引、参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于更新执行结果,更新各个参数更新引擎对应的目标数据库。
在一些实施例中,异步重发单元704进一步被配置成:更新周期更新任务库,确定周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表;基于各周期更新任务对应的业务批次、业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序;基于执行顺序,确定目标周期更新任务;执行目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果;进而更新目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新目标周期更新任务对应的业务批次的参数分类记录。
在一些实施例中,参数同步装置还包括查询单元,被配置成:接收参数同步状态查询请求,获取参数同步状态查询请求中的批次标识;调用批次流水表,确定批次标识对应的业务批次中各任务的参数同步状态,并输出。
需要说明的是,在本申请参数同步方法和参数同步装置在具体实施内容上具有相应关系,故重复内容不再说明。
图8示出了可以应用本申请实施例的参数同步方法或参数同步装置的示例性系统架构800。
如图8所示,系统架构800可以包括终端设备801、802、803,网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备801、802、803可以是具有参数同步处理功能并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器,例如对用户利用终端设备801、802、803所提交的业务参数同步请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的业务参数同步请求进行处理,并调用各个参数更新引擎,基于参数变更数据在本地的目标数据库执行参数更新任务,并且可以在确定参数更新任务的执行结果为部分成功时,执行参数同步失败异步重发进程,以实现参数同步的稳定性和一致性,提高参数同步的实时性。
需要说明的是,本申请实施例所提供的参数同步方法一般由服务器805执行,相应地,参数同步装置一般设置于服务器805中。
应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图9,其示出了适于用来实现本申请实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中,还存储有计算机系统900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本申请公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收单元、参数分类记录确定单元、更新单元和异步重发单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备接收业务参数同步请求,触发参数同步进程;确定业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,确定对应该业务批次的参数分类记录;将参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与参数分类记录对应的参数变更数据,基于参数变更数据,更新各个参数更新引擎对应的目标数据库;响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
根据本申请实施例的技术方案,本申请以高吞吐量的分布式发布订阅消息系统Kafka消息中间件为技术基础,通过接收由Kafka消息中间件转发的业务参数同步请求,触发参数同步进程。进而通过确定业务参数同步请求对应的业务批次时间,并调用参数同步引擎,获取参数类型状态表,以基于业务批次时间和参数类型状态表,可以准确地确定出对应该业务批次的参数分类记录,并通过参数分类记录可以确定出变更参数和未变更参数,从而实现参数同步的稳定性和一致性。并通过分布式部署,将参数分类记录传输至各个参数更新引擎以执行更新任务,并通过缓存技术的引入,可以从分布式缓存中提取与参数分类记录对应的参数变更数据,避免了数据库层面的参数远程同步,进一步提升参数同步的性能。并且在各参数同步端接收参数变更数据后,执行本地数据库操作,基于参数变更数据,更新各个参数更新引擎对应的目标数据库,提高了参数同步的实时性,扩展了参数同步服务的适用场景和应用范围。并且针对消息消费过程中可能出现的异常情况,设计对应的容错机制,通过响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程,实现了参数同步的稳定性和一致性。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (13)
1.一种参数同步方法,其特征在于,包括:
接收业务参数同步请求,触发参数同步进程;
确定所述业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于所述业务批次时间和所述参数类型状态表,确定对应该业务批次的参数分类记录;其中,所述确定对应该业务批次的参数分类记录,包括:获取所述业务参数同步请求对应的业务批次所对应的更新任务集合;确定所述参数类型状态表的更新时间;基于所述业务批次时间、所述更新时间以及预设的超时时间阈值,确定所述更新任务集合中的超时更新任务;调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果;基于所述各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的所述参数类型状态表中的参数分类记录;
将所述参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与所述参数分类记录对应的参数变更数据,调用结构化查询语言,基于所述参数变更数据,更新各个参数更新引擎对应的目标数据库;
响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
2.根据权利要求1所述的方法,其特征在于,所述提取与所述参数分类记录对应的参数变更数据,包括:
响应于确定分布式缓存中不存在与所述参数分类记录对应的参数变更数据,从源数据库中查找并提取所述参数变更数据。
3.根据权利要求1所述的方法,其特征在于,所述更新各个参数更新引擎对应的目标数据库,包括:
确定所述参数变更数据的索引;
基于所述索引、所述参数变更数据和目标数据库,执行结构化查询语言;
响应于确定执行结果异常,判断执行操作类型;
基于所述执行操作类型,确定对应的处理方式;
基于所述处理方式、所述索引、所述参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于所述更新执行结果,更新各个参数更新引擎对应的目标数据库。
4.根据权利要求1所述的方法,其特征在于,所述执行参数同步失败异步重发进程,包括:
更新周期更新任务库,确定所述周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表;
基于所述各周期更新任务对应的业务批次、所述业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序;
基于所述执行顺序,确定目标周期更新任务;
执行所述目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果;
进而更新所述目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新所述目标周期更新任务对应的业务批次的参数分类记录。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收参数同步状态查询请求,获取所述参数同步状态查询请求中的批次标识;
调用批次流水表,确定所述批次标识对应的业务批次中各任务的参数同步状态,并输出。
6.根据权利要求1~5中任一项所述的方法,其特征在于,所述参数同步请求包括:参数插入请求、参数更新请求和参数删除请求。
7.一种参数同步装置,其特征在于,包括:
接收单元,被配置成接收业务参数同步请求,触发参数同步进程;
参数分类记录确定单元,被配置成确定所述业务参数同步请求对应的业务批次时间,调用参数同步引擎,获取参数类型状态表,以基于所述业务批次时间和所述参数类型状态表,确定对应该业务批次的参数分类记录;其中,所述参数分类记录确定单元进一步被配置成:获取所述业务参数同步请求对应的业务批次所对应的更新任务集合;确定所述参数类型状态表的更新时间;基于所述业务批次时间、所述更新时间以及预设的超时时间阈值,确定所述更新任务集合中的超时更新任务;调用线程池,并发同步执行各超时更新任务,确定各超时更新任务的执行结果;基于所述各超时更新任务的执行结果,更新参数类型状态表,进而确定更新的所述参数类型状态表中的参数分类记录;
更新单元,被配置成将所述参数分类记录传输至各个参数更新引擎以执行更新任务,进而从分布式缓存中提取与所述参数分类记录对应的参数变更数据,调用结构化查询语言,基于所述参数变更数据,更新各个参数更新引擎对应的目标数据库;
异步重发单元,被配置成响应于确定更新任务的执行结果为部分成功,获取该业务批次中内呼状态为失败和不确定的更新任务,进而执行参数同步失败异步重发进程。
8.根据权利要求7所述的装置,其特征在于,所述更新单元进一步被配置成:
响应于确定分布式缓存中不存在与所述参数分类记录对应的参数变更数据,从源数据库中查找并提取所述参数变更数据。
9.根据权利要求7所述的装置,其特征在于,所述更新单元进一步被配置成:
确定所述参数变更数据的索引;
基于所述索引、所述参数变更数据和目标数据库,执行结构化查询语言;
响应于确定执行结果异常,判断执行操作类型;
基于所述执行操作类型,确定对应的处理方式;
基于所述处理方式、所述索引、所述参数变更数据和目标数据库继续执行结构化查询语言,得到更新执行结果,并基于所述更新执行结果,更新各个参数更新引擎对应的目标数据库。
10.根据权利要求7所述的装置,其特征在于,所述异步重发单元进一步被配置成:
更新周期更新任务库,确定所述周期更新任务库中的各周期更新任务对应的业务批次,并获取业务批次流水表;
基于所述各周期更新任务对应的业务批次、所述业务批次流水表以及业务批次时间,确定各周期更新任务的执行顺序;
基于所述执行顺序,确定目标周期更新任务;
执行所述目标周期更新任务中内呼状态为失败和不确定的更新任务,并获取执行结果;
进而更新所述目标周期更新任务对应的业务批次对应的参数类型状态表,进而更新所述目标周期更新任务对应的业务批次的参数分类记录。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括查询单元,被配置成:
接收参数同步状态查询请求,获取所述参数同步状态查询请求中的批次标识;
调用批次流水表,确定所述批次标识对应的业务批次中各任务的参数同步状态,并输出。
12.一种参数同步电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110423699.2A CN113127564B (zh) | 2021-04-20 | 2021-04-20 | 一种参数同步方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110423699.2A CN113127564B (zh) | 2021-04-20 | 2021-04-20 | 一种参数同步方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113127564A CN113127564A (zh) | 2021-07-16 |
CN113127564B true CN113127564B (zh) | 2023-02-28 |
Family
ID=76777943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110423699.2A Active CN113127564B (zh) | 2021-04-20 | 2021-04-20 | 一种参数同步方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113127564B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113297357B (zh) * | 2021-07-27 | 2021-11-16 | 北京健康之家科技有限公司 | 业务流程数据的异步处理方法和装置 |
CN113741942B (zh) * | 2021-09-18 | 2024-10-11 | 中国银行股份有限公司 | 分布式系统跨节点交易参数版本一致性处理方法及装置 |
CN113986396B (zh) * | 2021-11-10 | 2023-06-06 | 重庆紫光华山智安科技有限公司 | 一种基于分布式服务的集中配置方法、系统、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106598705A (zh) * | 2015-10-15 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种异步任务的调度方法、装置、系统以及电子设备 |
CN109376160A (zh) * | 2018-08-21 | 2019-02-22 | 平安科技(深圳)有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN111090699A (zh) * | 2019-12-13 | 2020-05-01 | 北京奇艺世纪科技有限公司 | 业务数据的同步方法和装置、存储介质、电子装置 |
CN111460031A (zh) * | 2020-03-23 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种数据同步的方法、装置、设备和介质 |
CN112634021A (zh) * | 2020-12-24 | 2021-04-09 | 中国建设银行股份有限公司 | 客户数据处理方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050055382A1 (en) * | 2000-06-28 | 2005-03-10 | Lounas Ferrat | Universal synchronization |
CN109634800A (zh) * | 2018-10-19 | 2019-04-16 | 深圳平安财富宝投资咨询有限公司 | 数据处理方法、系统、终端及可读存储介质 |
CN111277639B (zh) * | 2020-01-16 | 2022-08-09 | 中国建设银行股份有限公司 | 一种保持数据一致性的方法和装置 |
-
2021
- 2021-04-20 CN CN202110423699.2A patent/CN113127564B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106598705A (zh) * | 2015-10-15 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 一种异步任务的调度方法、装置、系统以及电子设备 |
CN109376160A (zh) * | 2018-08-21 | 2019-02-22 | 平安科技(深圳)有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN111090699A (zh) * | 2019-12-13 | 2020-05-01 | 北京奇艺世纪科技有限公司 | 业务数据的同步方法和装置、存储介质、电子装置 |
CN111460031A (zh) * | 2020-03-23 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种数据同步的方法、装置、设备和介质 |
CN112634021A (zh) * | 2020-12-24 | 2021-04-09 | 中国建设银行股份有限公司 | 客户数据处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113127564A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113127564B (zh) | 一种参数同步方法和装置 | |
US20190228303A1 (en) | Method and apparatus for scheduling resource for deep learning framework | |
CN111277639B (zh) | 一种保持数据一致性的方法和装置 | |
CN112445626B (zh) | 一种基于消息中间件的数据处理方法和装置 | |
US20220012692A1 (en) | Schedule information acquiring method, apparatus, device, storage medium and program product | |
CN113193947B (zh) | 实现分布式全局序的方法、设备、介质及程序产品 | |
CN110909022A (zh) | 一种数据查询方法和装置 | |
CN112839067A (zh) | 一种数据同步方法及装置 | |
CN113076304A (zh) | 一种分布式版本管理方法、装置和系统 | |
CN113190517B (zh) | 数据集成方法、装置、电子设备和计算机可读介质 | |
CN113127225A (zh) | 一种数据处理任务的调度方法、装置和系统 | |
CN110389976B (zh) | 一种多接口数据的调度方法和装置 | |
CN117950850A (zh) | 一种数据传输方法、装置、电子设备及计算机可读介质 | |
CN107729421B (zh) | 存储过程的执行方法、装置及存储介质 | |
CN114116247A (zh) | 基于Redis的消息处理方法、装置、系统、服务器和介质 | |
CN111782373B (zh) | 作业调度方法及装置 | |
CN115309558A (zh) | 一种资源调度管理系统、方法、计算机设备及存储介质 | |
CN115129438A (zh) | 任务分布式调度的方法和装置 | |
CN112182003A (zh) | 一种数据同步方法和装置 | |
CN113535768A (zh) | 生产监控方法和装置 | |
CN115529271B (zh) | 业务请求分发方法、装置、设备及介质 | |
CN117478535B (zh) | 一种日志存储的方法和装置 | |
CN110837409B (zh) | 一种定时执行任务的方法和系统 | |
CN116915870B (zh) | 任务创建请求处理方法、装置、电子设备和可读介质 | |
CN112948430B (zh) | 一种日期数据查询方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |