CN114020819A - 一种多系统参数同步方法及装置 - Google Patents
一种多系统参数同步方法及装置 Download PDFInfo
- Publication number
- CN114020819A CN114020819A CN202111248198.1A CN202111248198A CN114020819A CN 114020819 A CN114020819 A CN 114020819A CN 202111248198 A CN202111248198 A CN 202111248198A CN 114020819 A CN114020819 A CN 114020819A
- Authority
- CN
- China
- Prior art keywords
- parameter
- parameter change
- information
- synchronization
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008859 change Effects 0.000 claims abstract description 295
- 230000001360 synchronised effect Effects 0.000 claims abstract description 85
- 238000012423 maintenance Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 230000002085 persistent effect Effects 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明实施例提供一种多系统参数同步方法及装置，包括：从参数维护服务端获取各参数变更操作信息并写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；同步任务用于指示处于同一同步批次的各参数；参数变更信息为待变更的参数的参数信息；基于对缓存服务器的订阅机制，从缓存服务器拉取各参数变更操作信息；针对各参数变更操作信息中的任一同步任务，若已拉取到同步任务指示的各参数的参数变更信息，将同步任务指示的各参数的参数变更信息下发至各参数应用服务端。上述方法能够在保证上游系统正常的业务处理和数据一致性的前提下，实现参数实时下发，且均衡上游系统和下游系统的参数变更速度，保证下游系统正常进行业务处理。
Description
技术领域
本申请涉及网络技术领域，尤其涉及一种多系统参数同步方法及装置。
背景技术
随着计算机技术的快速发展，针对更多的应用需求和场景所开发的应用系统越来越多，相应的，在为人们提供便捷服务的同时，各大型企业也面临应用系统数量增多导致的应用系统的参数维护和管理困难。
如现有技术中，一般采用ETL软件每天日终定时的将上游系统的参数同步多个下游系统中，从而实现参数的集中管理和统一下发。但ETL同步的方案需要定时下发操作，时效性较差。而且在从上游系统中进行数据抽取时，为了保证数据一致性，往往需要暂停上游系统的参数写入操作,影响上游系统业务处理。另外，在上游系统参数变更数量大时，ETL软件不能很好的均衡上游系统和下游系统的参数变更速度，增加下游系统参数变更压力，影响下游系统业务处理。
因此，现在亟需一种多系统参数同步方法及装置，能够在保证上游系统正常的业务处理和数据一致性的前提下，实现参数实时下发，且均衡上游系统和下游系统的参数变更速度，保证下游系统正常进行业务处理。
发明内容
本发明实施例提供一种多系统参数同步方法及装置，能够在保证上游系统正常的业务处理和数据一致性的前提下，实现参数实时下发，且均衡上游系统和下游系统的参数变更速度，保证下游系统正常进行业务处理。
第一方面，本发明实施例提供一种多系统参数同步方法，该方法包括：
从参数维护服务端获取各参数变更操作信息并写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
上述方法中，参数同步服务端将所述参数变更操作信息写入缓存服务器。如此，可以均衡参数同步服务端参数变更速度和参数应用系统的服务端的参数变更速度，防止发生参数同步服务端参数变更速度大于参数应用系统服务端参数变更速度，导致的参数应用系统服务端耗费较大资源完成参数变更影响业务处理的情况。且相比于现有技术中的定时下发参数变更信息，本申请可以实时下发参数变更信息，保证参数应用系统服务端业务处理质量。另外，还可以判断，在参数变更操作信息中待变更的参数变更信息已经获取后，才将参数变更操作信息下发，保证参数应用系统服务端参数的准确变更。
可选的，写入缓存服务器，包括：针对任一参数变更操作信息，将所述参数变更操作信息中的同步任务写入缓存服务器的同步任务队列，并将所述参数变更操作信息中的参数变更信息写入缓存服务器的参数变更队列；
基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息，包括：
基于对所述缓存服务器的订阅机制，从所述缓存服务器的所述同步任务队列和所述参数变更队列中分别拉取各同步任务和各参数变更信息，并持久化到本地数据库。
上述方法中，参数同步服务端从参数维护服务端获取同步任务和同步任务对应的变更参数信息，将同步任务和变更参数信息分别写入缓存服务器的同步任务队列和参数变更队列，并从同步任务队列和参数变更队列中，分别将同步任务和参数变更信息持久化到本地数据库。如此，参数同步服务端从参数维护服务端获取同步任务和变更参数信息分别放在同步任务队列和参数变更队列，则当参数同步服务端从队列中获取同步任务和参数变更信息时，无需分辨同步任务和参数变更信息的结构，直接从对应队列中获取同步任务和参数变更信息即可，加快同步任务和参数变更信息下发的速度。
可选的，通过如下方式确定已拉取到所述同步任务指示的各参数的参数变更信息，包括：
针对所述本地数据库中任一同步任务，从所述本地数据库中查找到所述同步任务指示的各参数的参数变更信息。
上述方法中，当确定同步任务中的每个参数描述信息在参数变更信息中都有对应的变更参数时，确定已拉取到该同步任务指示的各参数的参数变更信息，将同步任务和参数变更信息下发，防止参数应用系统服务端参数变更失误，保证业务处理质量。
可选的，还包括：若存在从所述本地数据库中未查找到所述同步任务指示的参数的参数变更信息，则将所述同步任务存入循环等候队列；通过监控进程对所述循环等候队列定时轮询；在所述同步任务指示的各参数的参数变更信息均查找到后，将所述同步任务和所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端，并从所述循环等候队列中删除所述同步任务。
上述方法中，若存在从本地数据库中未查找到同步任务指示的参数的参数变更信息，则确定同步任务对应的变更参数信息不完整，需要等待从参数维护服务端拉取到该未查找到的参数变更信息，则将不完整的参数变更操作信息放在循环等候队列中，当从缓存服务器中订阅的循环等候队列中该同步任务的变更参数完整时下发，确保参数下发的及时性和完整性。
可选的，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端之后，还包括：
针对任一参数应用服务端，通过通知引擎确定所述同步任务和所述同步任务指示的各参数的参数变更信息均下发至所述参数应用服务端，从而实现各参数应用服务端的同步。
上述方法中，通过通知引擎确定同步任务指示的各参数的参数变更信息均下发至参数应用服务端。如此，保证参数应用系统的服务端参数变更的同步和可靠性。
可选的，从参数维护服务端获取各参数变更操作信息，包括：访问所述参数维护服务端的日志文件，从所述日志文件中获取针对设定数据库表的各操作指令，对所述各操作指令进行解析得到各参数变更操作信息。
上述方法中，通过将所述用户操作指令拆分为所述同步任务和所述任务变更参数。参数同步服务端不用识别同步任务结构和任务变更参数结构来识别任务和参数，加快处理速度。
可选的，还包括：接收参数应用服务端发送的参数查询请求；根据所述参数查询请求从本地数据库获取对应的参数变更信息，并发送至所述参数应用服务端。
上述方法中，若参数应用服务端不需要存储参数变更信息时，参数同步服务端还可以提供参数变更信息查询服务，提高参数变更的可用性。
第二方面，本发明实施例提供一种多系统参数同步装置，该装置包括：
获取模块，用于从参数维护服务端获取各参数变更操作信息并通过处理模块写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
所述获取模块用于，基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
所述处理模块，用于针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
第三方面，本申请实施例还提供一种计算设备，包括：存储器，用于存储程序；处理器，用于调用所述存储器中存储的程序，按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
第四方面，本申请实施例还提供一种计算机可读非易失性存储介质，包括计算机可读程序，当计算机读取并执行所述计算机可读程序时，使得计算机执行如第一方面的各种可能的设计中所述的方法。
本申请的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多系统参数同步的架构示意图；
图2为本发明实施例提供的一种多系统参数同步系统的架构示意图；
图3为本发明实施例提供的一种多系统参数同步方法的流程示意图；
图4为本发明实施例提供的一种多系统参数同步方法的流程示意图；
图5为本发明实施例提供的一种多系统参数同步装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种多系统参数同步的架构示意图，参数维护服务端101用于将用户的参数变更操作记录到数据库中。参数同步服务端102访问参数维护服务端101的数据库binlog文件，通过解析binlog文件获取针对特点数据库表的各操作指令，对该各操作指令进行解析得到各参数变更操作信息。每个参数变更操作信息中包含同步任务和该同步任务对应的参数变更信息，同步任务中可以包含一个或多个需要同时进行参数变更的待变更参数的描述信息，相应的，每个待变更参数的描述信息对应一个参数变更信息。参数同步服务端102分别将参数变更操作信息中的同步任务写入缓存服务器104的同步任务队列，将该参数变更操作信息中的参数变更信息写入缓存服务器104的参数变更队列。参数同步服务端102基于对缓存服务器104的订阅机制，从缓存服务器104的同步任务队列和参数变更队列中分别拉取各同步任务和各参数变更信息，并持久化到本地数据库。参数同步服务端102针对本地数据库中任一同步任务，从本地数据库中查找该同步任务指示的各参数的参数变更信息，若从本地数据库中查找到该同步任务指示的各参数的参数变更信息，则将该同步任务及同步任务指示的参数变更信息下发至参数应用服务端103。若存在从本地数据库中未查找到该同步任务指示的参数的参数变更信息，则将该同步任务存入循环等候队列，通过监控进程对该循环等候队列定时轮询；在该同步任务指示的各参数的参数变更信息均查找到后，将该同步任务和该同步任务指示的各参数的参数变更信息下发至各参数应用服务端103，并从该循环等候队列中删除所述同步任务。参数同步服务端102还可以确认参数应用服务端103是否接收到对应下发的同步任务和参数变更信息，若未接收到，则重新发送对应的同步任务和参数变更信息。另外，在一种可能的情况下，若参数应用服务端103不对参数变更信息存储，则参数同步服务端102在接收到参数应用服务端103发送的参数查询请求后，根据该参数查询请求从本地数据库获取对应的参数变更信息，并发送至参数应用服务端103。其中，参数维护服务端101、参数同步服务端102和参数应用服务端103都可以分别存在于参数维护服务端集群、参数同步服务端集群和参数应用服务端集群中。如此，实现实时下发参数变更信息，保证参数应用服务端业务处理质量。还可以判断参数变更操作信息完整的时，才将参数变更操作信息下发，保证参数应用服务端参数的准确变更。
基于上述系统架构，本发明实施例提供了一种多系统参数同步系统的架构示意图，如图2所示，包括：参数抽取模块201用于访问参数维护服务端101的数据库binlog文件，通过解析binlog文件获取针对设定数据库表的各操作指令，对该各操作指令进行解析得到同步任务和该同步任务对应的参数变更信息。参数抽取模块201分别将该同步任务写入缓存服务器104的同步任务队列，将该参数变更操作信息中的参数变更信息写入缓存服务器104的参数变更队列。参数消费模块202基于对缓存服务器104的订阅机制，从缓存服务器104的同步任务队列和参数变更队列中分别拉取该同步任务和该参数变更信息，并持久化到本地数据库。针对本地数据库中任一同步任务，从本地数据库中查找该同步任务指示的各参数的参数变更信息，若从本地数据库中查找到该同步任务指示的各参数的参数变更信息，则通过参数同步模块203将该同步任务及同步任务指示的参数变更信息下发至参数应用服务端103。若存在从本地数据库中未查找到该同步任务指示的参数的参数变更信息，则参数消费模块202将该同步任务存入循环等候队列，通过监控进程对该循环等候队列定时轮询；在该同步任务指示的各参数的参数变更信息均查找到后，通过参数同步模块203将该同步任务和该同步任务指示的各参数的参数变更信息下发至各参数应用服务端103，并从该循环等候队列中删除所述同步任务。另外，参数同步模块203中还可以包含通知引擎，若按照预先配置的同步规则将同步任务和该同步任务的变更参数下发至参数应用服务端103失败，通知引擎可以针对下发失败的参数应用服务端103重新发送对应的同步任务和参数变更信息。
基于上述架构，本申请实施例提供了一种多系统参数同步方法的流程，如图3所示，包括：
步骤301、从参数维护服务端获取各参数变更操作信息并写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
步骤302、基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
步骤303、针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
上述方法中，参数同步服务端将所述参数变更操作信息写入缓存服务器。如此，可以均衡参数同步服务端参数变更速度和参数应用系统的服务端的参数变更速度，防止发生参数同步服务端参数变更速度大于参数应用系统服务端参数变更速度，导致的参数应用系统服务端耗费较大资源完成参数变更影响业务处理的情况。且相比于现有技术中的定时下发参数变更信息，本申请可以实时下发参数变更信息，保证参数应用系统服务端业务处理质量。另外，还可以判断，在参数变更操作信息中待变更的参数变更信息已经获取后，才将参数变更操作信息下发，保证参数应用系统服务端参数的准确变更。
本发明实施例提供了一种参数变更操作信息持久化方法，写入缓存服务器，包括：针对任一参数变更操作信息，将所述参数变更操作信息中的同步任务写入缓存服务器的同步任务队列，并将所述参数变更操作信息中的参数变更信息写入缓存服务器的参数变更队列；基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息，包括：基于对所述缓存服务器的订阅机制，从所述缓存服务器的所述同步任务队列和所述参数变更队列中分别拉取各同步任务和各参数变更信息，并持久化到本地数据库。
此处，将用户的参数维护事件(如，用户操作指令日志信息等)拆分为同步任务和该同步任务的参数变更信息两部分。如此，通过将用户的参数维护事件拆分为同步任务和该同步任务的参数变更信息两部分，实现参数变更的事务性。相比于现有技术中参数维护服务端系统通过ETL软件向参数应用服务端系统发送变更参数的相关信息，需要参数维护服务端系统与参数应用服务端系统之间约定信息下发和接收形式来说，本发明降低参数维护服务端系统与参数应用服务端系统的耦合性。其中，同步任务中包含需要同时下发的待变更参数(需要同时被参数应用服务端变更的多个待变更参数)的描述信息，针对该同步任务的每个待变更参数的描述信息有对应的参数变更信息。即，同步任务中需要保存用户的一批次操作所涉及的全部参数的描述信息。将同步任务写入缓存服务器的同步任务队列，将参数变更信息写入缓存服务器的参数变更队列。如此，无需对同步任务和参数变更信息的结构识别来确定同步任务和参数变更信息，只需要从对应同步任务队列或参数变更队列中即可获取对应的同步任务或参数变更信息，节省对同步任务和参数变更信息结构识别步骤，加快处理速度。另外，基于对缓存服务器的订阅机制，可以实现均衡参数维护服务端和参数应用服务端的参数变更速度。在一种示例中，参数维护服务端每分钟可以达到接收5000条参数变更的操作指令，但参数应用服务端每分钟只能进行50条参数变更，为了防止参数应用服务端中的资源均用来进行参数变更而影响业务处理，引入缓存服务器，使得参数同步服务端可以依照参数应用服务端的参数变更能力下发同步任务和对应的参数变更信息，而不会造成参数同步服务端中同步任务和对应参数变更信息的堆积。将同步任务和对应的变更参数信息持久化到本地数据库。如此，可以支持参数应用服务端随时查阅参数变更信息或参数应用服务端参数应用系统版本的回滚。
本发明实施例提供了一种拉取同步任务指示的参数变更信息方法，通过如下方式确定已拉取到所述同步任务指示的各参数的参数变更信息，包括：针对所述本地数据库中任一同步任务，从所述本地数据库中查找到所述同步任务指示的各参数的参数变更信息。也就是说，可以针对本地数据库中同步任务中对各待变更参数的描述信息，从本地数据库中查找该同步任务中各待变更参数的描述信息对应的各参数变更信息。在一种示例中，同步任务中包含两个待变更参数的描述信息：每天交易金额不能超过【a(a用于标识该待变更参数描述信息对应的参数变更信息)】、每次交易金额不能超过【b(b用于标识该待变更参数描述信息对应的参数变更信息)】。该同步任务对应两个参数变更信息：a＝1亿、b＝100万。
本发明实施例提供了一种拉取同步任务指示的参数变更信息方法，还包括：若存在从所述本地数据库中未查找到所述同步任务指示的参数的参数变更信息，则将所述同步任务存入循环等候队列；通过监控进程对所述循环等候队列定时轮询；在所述同步任务指示的各参数的参数变更信息均查找到后，将所述同步任务和所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端，并从所述循环等候队列中删除所述同步任务。如此，若同步任务中存在待变更参数的描述信息没有对应的参数变更信息，则通过循环等候队列等待同步任务中的所有待变更参数的描述信息都有对应的参数变更信息后，才针对该同步任务和对应的参数变更信息进行下发操作，有效保证了同步事务的一致性。另外，参数维护服务端还可以维护同步任务和参数变更信息发送信息的记录，以便于运维人员根据该记录进行对业务系统和同步系统的运行维护。
本发明实施例提供了一种同步任务和对应的参数变更信息下发确认方法，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端之后，还包括：针对任一参数应用服务端，通过通知引擎确定所述同步任务和所述同步任务指示的各参数的参数变更信息均下发至所述参数应用服务端，从而实现各参数应用服务端的同步。也就是说，通过实现通知引擎的功能，参数应用服务端只需要按照该通知引擎的规范对接开发参数接收服务，即可实现通过通知引擎发送同步任务和对应的参数变更信息，以及同步任务和对应的参数变更信息下发确认。若同步任务和对应的参数变更信息下发失败，可以通过通知引擎重新下发。另外，还可以适配参数应用服务端业务系统的参数接收服务设置通知引擎，节约参数应用服务端的开发成本。另外，通知引擎还可以包含‘定制’推送能力，即，根据配置对设置的一个或多个参数应用服务端下发同步任务和参数变更信息。相应的，可以实现一对多场景下参数变更信息的一致性。
本发明实施例提供了一种参数变更操作信息获取方法，从参数维护服务端获取各参数变更操作信息，包括：访问所述参数维护服务端的日志文件，从所述日志文件中获取针对设定数据库表的各操作指令，对所述各操作指令进行解析得到各参数变更操作信息。也就是说，参数维护服务端的日志文件中可以存在设定数据库表用来存储参数变更的操作指令及相关信息，参数同步服务端从该设定数据库表中获取各操作指令，解析得到各参数变更操作信息。如此，通过直接访问设定数据库表的方式，能够有效实现整个过程对参数维护服务端是透明的，即，参数维护服务端中的系统无需针对参数同步服务端中的同步系统进行相应的开发，节约开发成本。
本发明实施例提供了一种参数变更信息查询方法，还包括：接收参数应用服务端发送的参数查询请求；根据所述参数查询请求从本地数据库获取对应的参数变更信息，并发送至所述参数应用服务端。也就是说，除了上述将同步任务和参数变更信息推送至参数应用服务端，满足参数应用服务端中参数变更需求的方式，还有一种接收参数应用服务端的参数查询请求，将参数查询请求对应的参数变更信息发送至参数应用服务端，满足参数应用服务端中参数变更需求。如此，即使参数应用服务端不对参数变更信息进行存储，仍然可以通过参数维护服务端中的参数查询服务，实现参数变更。满足参数应用服务端的多种参数变更方式需求。
基于上述架构和方法流程，本申请实施例提供了一种多系统参数同步方法的流程，如图4所示，包括：
步骤401、参数同步服务端通过参数抽取模块访问参数维护服务端的数据库binlog文件，通过解析binlog文件获取针对设定数据库表的各操作指令。
步骤402、参数同步服务端通过参数抽取模块对该各操作指令进行解析得到同步任务和该同步任务对应的参数变更信息。
步骤403、参数同步服务端通过参数抽取模块将该同步任务写入缓存服务器的同步任务队列，将该参数变更操作信息中的参数变更信息写入缓存服务器的参数变更队列。
步骤404、参数同步服务端通过参数消费模块基于对缓存服务器的订阅机制，从缓存服务器的同步任务队列和参数变更队列中分别拉取该同步任务和该参数变更信息，并持久化到本地数据库。
步骤405、参数同步服务端通过参数消费模块从本地数据库中查找该同步任务指示的各参数的参数变更信息。
步骤406、参数同步服务端通过参数消费模块判断是否获取到该同步任务指示的各参数的参数变更信息，若是，则执行步骤409，若否则执行步骤408。
步骤407、参数同步服务端通过参数消费模块将该同步任务存入循环等候队列，通过监控进程对该循环等候队列定时轮询。
步骤408、参数同步服务端通过参数同步模块将该同步任务和该同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
步骤409、参数同步服务端通过参数同步模块确定参数应用服务端是否成功接收该同步任务和该同步任务指示的各参数的参数变更信息，若是，则结束，若否，则重新下发该同步任务和该同步任务指示的各参数的参数变更信息。
步骤410、参数同步服务端接收参数应用服务端的参数查询请求。
步骤411、参数同步服务端根据参数查询请求确定对应的参数变更信息，或参数变更信息和该参数变更信息的同步任务下发至参数应用服务端。
此处，下发的信息内容可以根据参数应用服务端的具体需求下发，即，可以针对参数查询请求中的一个或多个参数变更信息获取本地数据库中的参数变更信息下发，也可以针对参数查询请求中的一个或多个参数变更信息分别确定这一个或多个参数变更信息的同步任务，进一步获取该同步任务的各参数的参数变更信息，将同步任务和参数变更信息下发，这里对具体下发的信息内容不做限制。
需要说明的是，上述方法流程并不唯一，如，步骤410和步骤411可以执行，也可以不执行。又如，步骤409可以执行，也可以不执行。
基于同样的构思，本发明实施例提供一种多系统参数同步装置，图5为本申请实施例提供的一种多系统参数同步装置，如图5示，包括：
获取模块501，用于从参数维护服务端获取各参数变更操作信息并通过处理模块502写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
所述获取模块501用于，基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
所述处理模块502，用于针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
可选的，所述处理模块502具体用于，针对任一参数变更操作信息，将所述参数变更操作信息中的同步任务写入缓存服务器的同步任务队列，并将所述参数变更操作信息中的参数变更信息写入缓存服务器的参数变更队列；所述处理模块502具体用于，基于对所述缓存服务器的订阅机制，从所述缓存服务器的所述同步任务队列和所述参数变更队列中分别拉取各同步任务和各参数变更信息，并持久化到本地数据库。
可选的，所述处理模块502具体用于，针对所述本地数据库中任一同步任务，从所述本地数据库中查找到所述同步任务指示的各参数的参数变更信息。
可选的，所述处理模块502还用于，若存在从所述本地数据库中未查找到所述同步任务指示的参数的参数变更信息，则将所述同步任务存入循环等候队列；通过监控进程对所述循环等候队列定时轮询；在所述同步任务指示的各参数的参数变更信息均查找到后，将所述同步任务和所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端，并从所述循环等候队列中删除所述同步任务。
可选的，所述处理模块502还用于，针对任一参数应用服务端，通过通知引擎确定所述同步任务和所述同步任务指示的各参数的参数变更信息均下发至所述参数应用服务端，从而实现各参数应用服务端的同步。
可选的，所述获取模块501具体用于，访问所述参数维护服务端的日志文件，从所述日志文件中获取针对设定数据库表的各操作指令，对所述各操作指令进行解析得到各参数变更操作信息。
可选的，所述获取模块501还用于，接收参数应用服务端发送的参数查询请求；所述处理模块502根据所述参数查询请求从本地数据库获取对应的参数变更信息，并发送至所述参数应用服务端。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种多系统参数同步方法，其特征在于，所述方法包括：
从参数维护服务端获取各参数变更操作信息并写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
2.如权利要求1中所述的方法，其特征在于，写入缓存服务器，包括：
针对任一参数变更操作信息，将所述参数变更操作信息中的同步任务写入缓存服务器的同步任务队列，并将所述参数变更操作信息中的参数变更信息写入缓存服务器的参数变更队列；
基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息，包括：
基于对所述缓存服务器的订阅机制，从所述缓存服务器的所述同步任务队列和所述参数变更队列中分别拉取各同步任务和各参数变更信息，并持久化到本地数据库。
3.如权利要求2中所述的方法，其特征在于，通过如下方式确定已拉取到所述同步任务指示的各参数的参数变更信息，包括：
针对所述本地数据库中任一同步任务，从所述本地数据库中查找到所述同步任务指示的各参数的参数变更信息。
4.如权利要求3中所述的方法，其特征在于，还包括：
若存在从所述本地数据库中未查找到所述同步任务指示的参数的参数变更信息，则将所述同步任务存入循环等候队列；
通过监控进程对所述循环等候队列定时轮询；
在所述同步任务指示的各参数的参数变更信息均查找到后，将所述同步任务和所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端，并从所述循环等候队列中删除所述同步任务。
5.如权利要求1中所述的方法，其特征在于，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端之后，还包括：
针对任一参数应用服务端，通过通知引擎确定所述同步任务和所述同步任务指示的各参数的参数变更信息均下发至所述参数应用服务端，从而实现各参数应用服务端的同步。
6.如权利要求1-5中任一所述的方法，其特征在于，从参数维护服务端获取各参数变更操作信息，包括：
访问所述参数维护服务端的日志文件，从所述日志文件中获取针对设定数据库表的各操作指令，对所述各操作指令进行解析得到各参数变更操作信息。
7.如权利要求6中所述的方法，其特征在于，还包括：
接收参数应用服务端发送的参数查询请求；
根据所述参数查询请求从本地数据库获取对应的参数变更信息，并发送至所述参数应用服务端。
8.一种多系统参数同步装置，其特征在于，所述装置包括：
获取模块，用于从参数维护服务端获取各参数变更操作信息并通过处理模块写入缓存服务器，其中，参数变更操作信息包括同步任务和参数变更信息；所述同步任务用于指示处于同一同步批次的各参数；所述参数变更信息为待变更的参数的参数信息；
所述获取模块用于，基于对所述缓存服务器的订阅机制，从所述缓存服务器拉取各参数变更操作信息；
所述处理模块，用于针对各参数变更操作信息中的任一同步任务，若已拉取到所述同步任务指示的各参数的参数变更信息，将所述同步任务指示的各参数的参数变更信息下发至各参数应用服务端。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，当所述程序在计算机上运行时，使得计算机实现执行权利要求1至7中任一项所述的方法。
10.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1至7任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248198.1A CN114020819A (zh) | 2021-10-26 | 2021-10-26 | 一种多系统参数同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248198.1A CN114020819A (zh) | 2021-10-26 | 2021-10-26 | 一种多系统参数同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114020819A true CN114020819A (zh) | 2022-02-08 |
Family
ID=80057621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111248198.1A Pending CN114020819A (zh) | 2021-10-26 | 2021-10-26 | 一种多系统参数同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020819A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115563224A (zh) * | 2022-11-23 | 2023-01-03 | 北京江融信科技有限公司 | 一种分布式参数缓存系统 |
| CN116884393A (zh) * | 2023-08-03 | 2023-10-13 | 北京中科深智科技有限公司 | 一种压弹式多级缓冲生成式ai通信方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800272A (zh) * | 2019-02-25 | 2019-05-24 | 广州虎牙信息科技有限公司 | 缓存数据同步方法、服务器、应用系统及存储装置 |
| CN111563102A (zh) * | 2020-04-10 | 2020-08-21 | 中国联合网络通信集团有限公司 | 缓存更新方法、服务器、系统及存储介质 |
-
2021
- 2021-10-26 CN CN202111248198.1A patent/CN114020819A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800272A (zh) * | 2019-02-25 | 2019-05-24 | 广州虎牙信息科技有限公司 | 缓存数据同步方法、服务器、应用系统及存储装置 |
| CN111563102A (zh) * | 2020-04-10 | 2020-08-21 | 中国联合网络通信集团有限公司 | 缓存更新方法、服务器、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115563224A (zh) * | 2022-11-23 | 2023-01-03 | 北京江融信科技有限公司 | 一种分布式参数缓存系统 |
| CN116884393A (zh) * | 2023-08-03 | 2023-10-13 | 北京中科深智科技有限公司 | 一种压弹式多级缓冲生成式ai通信方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN113254466B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN109815382B (zh) | 大规模网络数据的感知与获取方法和系统 | |
| CN112860393B (zh) | 一种分布式任务调度方法及系统 | |
| US10747776B2 (en) | Replication control using eventually consistent meta-data | |
| CN114020819A (zh) | 一种多系统参数同步方法及装置 | |
| CN111143382A (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN112416991A (zh) | 一种数据处理方法、装置以及存储介质 | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| CN114077518B (zh) | 数据快照方法、装置、设备及存储介质 | |
| CN111240936A (zh) | 一种数据完整性校验的方法及设备 | |
| CN111984723A (zh) | 数据同步方法、装置及终端设备 | |
| CN110941536B (zh) | 监控方法及系统、第一服务器集群 | |
| CN116383207A (zh) | 一种数据标签管理方法、装置、电子设备和存储介质 | |
| CN116775756A (zh) | 基于Uliweb的数据同步方法、装置及系统 | |
| CN115718690A (zh) | 一种数据准确性监控系统和方法 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| US20230334068A1 (en) | Data processing method and apparatus thereof, electronic device, and computer-readable storage medium | |
| CN111459931A (zh) | 数据查重方法和数据查重装置 | |
| CN109710673B (zh) | 作品处理方法、装置、设备和介质 | |
| CN118394772B (zh) | 一种数据库表变动下的数据资产实时更新方法 | |
| CN118796932A (zh) | 数据同步方法、装置、设备及存储介质 | |
| CN115269696A (zh) | 数据处理方法、统一数据处理器及可读存储介质 | |
| CN116910079A (zh) | 一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质 | |
| CN116561102A (zh) | 数据双向迁移方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |