CN116756163A - 一种数据同步改进方法、装置、设备及其存储介质 - Google Patents
一种数据同步改进方法、装置、设备及其存储介质 Download PDFInfo
- Publication number
- CN116756163A CN116756163A CN202310772254.4A CN202310772254A CN116756163A CN 116756163 A CN116756163 A CN 116756163A CN 202310772254 A CN202310772254 A CN 202310772254A CN 116756163 A CN116756163 A CN 116756163A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- preset
- batch
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000006872 improvement Effects 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 208
- 230000009471 action Effects 0.000 claims abstract description 54
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000005192 partition Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000032683 aging Effects 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 6
- 238000007726 management method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例属于人工智能及金融科技技术领域，应用于金融业务数据多端间同步更新过程中，涉及一种数据同步改进方法、装置、设备及其存储介质，包括基于流式传输组件，将解析后的日志消息传输给批式任务处理组件进行批式处理；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
Description
技术领域
本申请涉及人工智能及金融科技技术领域，应用于金融业务数据多端间同步更新过程中，尤其涉及一种数据同步改进方法、装置、设备及其存储介质。
背景技术
随着计算机行业的发展，越来越多的金融业务数据需要进行多端间的同步更新操作，目前，现有的处理方案一般通过流式处理的方式提升处理效率。然而，批式和流式数据同步方案各有优缺点，流式数据同步在数据时效性和数据准确性上的优越性毋庸置疑，可以近乎实时地在大数据一端重放数据库日志来完成数据同步，且数据准确性无限逼近100％，但其弊端也十分明显，即在端到端的系统之间传递数据库操作日志十分消耗网络带宽资源，且流式数据同步方案需要一直运行流式任务来重放数据库日志，计算资源的消耗是批式数据同步方案的数倍之多。
批式数据同步方案的优点是按需同步，消耗计算资源少，缺点是数据同步时效慢，通过查询的方式查询源端数据库的数据很有可能会碰到源端数据表没有索引或者数据库性能差，导致查询增量数据的任务时效慢，最终造成生产数据的同步延迟，目前金融数据在多端间的同步更新上，还缺少一个可以兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗的金融数据同步改进方法。
发明内容
本申请实施例的目的在于提出一种数据同步改进方法、装置、设备及其存储介质，以解决现有技术还缺少一个可以兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗的金融数据同步改进方法的问题。
为了解决上述技术问题，本申请实施例提供一种数据同步改进方法，采用了如下所述的技术方案：
一种数据同步改进方法，包括下述步骤：
获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内；
调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息；
基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；
根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；
根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；
基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
进一步的，所述调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息的步骤，具体包括：
统计预设的流式传输组件中消息队列的分区数量，其中，所述预设的流式传输组件为Apache Kafka架构的流式传输组件，所述消息队列的分区数量为Apache Kafka消息队列的Topic分区数；
将所述分区数量作为哈希散列的目标数量，以所述目标数据源端中各个数据表的主键字段为哈希标识，对所述目标数据源端中所有数据表对应的操作日志进行哈希散列化处理，获取哈希散列化处理结果；
将所述哈希散列化处理结果分开缓存到与所述分区数量相等个数的日志消息集合内，其中，将同一主键字段对应的日志消息作为一个元素值缓存到一个日志消息集合内。
进一步的，在执行所述基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果的步骤之前，所述方法还包括：
根据预设的服务监测组件，判断预设的批式任务处理组件是否发送新的批式任务消费请求，其中，所述预设的批式任务处理组件为Spark离线批式任务处理组件；
若预设的批式任务处理组件未发送新的批式任务消费请求，则继续执行当前监测任务，其中，所述监测任务用于监测所述预设的批式任务处理组件是否向预设的任务发布中心发送日志消息消费请求；
若预设的批式任务处理组件发送了新的批式任务消费请求，则按照一对一关系，将不同的日志消息集合传输到Apache Kafka消息队列的不同Topic分区内，供所述批式任务处理组件进行消费处理。
进一步的，所述基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果的步骤，具体包括：
获取从Apache Kafka消息队列的不同Topic分区内分别传输来的日志消息集合；
基于Spark离线批式任务处理组件对分别传输来的日志消息集合内元素进行消费处理，获取消费处理结果，作为所述批式处理结果。
进一步的，所述基于Spark离线批式任务处理组件对分别传输来的日志消息集合内元素进行消费处理，获取消费处理结果，作为所述批式处理结果的步骤，具体包括：
从预设的缓存组件内获取上一次被所述Spark离线批式任务处理组件消费处理后不同Topic分区内不同主键的数据表分别对应的日志记录存储偏移量，其中，所述日志记录存储偏移量的表达记录方式为：[起始偏移量，结束偏移量]，所述起始偏移量和所述结束偏移量都为非负整数值；
根据所述日志记录存储偏移量，获取不同Topic分区内不同主键的数据表分别对应的结束偏移量，并都进行加1处理，获得本次消费处理时不同主键的数据表分别对应的起始偏移量；
基于Spark离线批式任务处理组件对本次分别传输来的日志消息集合内元素进行消费处理，获取本次消费处理后不同Topic分区内不同主键的数据表分别对应的最大偏移量，作为结束偏移量；
以所述日志记录存储偏移量的表达记录方式：[起始偏移量，结束偏移量]，整理记录本次消费处理后不同Topic分区内不同主键的数据表分别对应的起始偏移量和结束偏移量，获取记录结果作为所述消费处理结果，并结合时间戳，将所述消费处理结果更新缓存到所述预设的缓存组件内，其中，所述预设的缓存组件为Apache Zookeeper缓存组件。
进一步的，所述根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务的步骤，具体包括：
根据目标时间戳，获取所述预设的缓存组件内最新缓存的消费处理结果；
根据所述最新缓存的消费处理结果，以及所述目标数据源端的各个数据表与所述目标更新端的各个映射表间的映射关系，识别出需要在目标更新端进行同步更新的映射表；
获取所述需要在目标更新端进行同步更新的映射表所对应的目标表，从所述最新缓存的消费处理结果中获取所述目标表对应的起始偏移量和结束偏移量；
根据所述目标表对应的起始偏移量和结束偏移量，从所述Apache Kafka架构的流式传输组件内获取所述目标表对应的数据操作日志信息；
根据所述目标表对应的数据操作日志信息在预设的目标更新端执行所述数据操作动作重放任务，其中，所述目标更新端包括Apache Hudi数据存储端。
进一步的，所述基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新的步骤，具体包括：
判断所述数据操作动作重放任务是否执行成功；
若所述数据操作动作重放任务执行失败，则所述目标数据源端的源数据表操作失败，不满足所述预设的更新条件，无需对所述目标更新端内相应的映射表进行同步更新；
若所述数据操作动作重放任务执行成功，则所述目标数据源端的源数据表操作成功，满足所述预设的更新条件，根据所述数据操作动作重放任务的执行结果对所述目标更新端内相应的映射表进行同步更新。
为了解决上述技术问题，本申请实施例还提供一种数据同步改进装置，采用了如下所述的技术方案：
一种数据同步改进装置，包括：
数据表操作日志获取模块，用于获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内；
哈希散列解析模块，用于调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息；
批式处理模块，用于基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；
偏移量获取模块，用于根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；
数据操作动作重放模块，用于根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；
同步更新模块，用于基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的数据同步改进方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的数据同步改进方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例所述数据同步改进方法，通过获取目标数据源端的数据表操作日志；采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析；基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用流式传输组件与批式任务处理组件相结合的方式对是否需要进行数据同步更新进行判断，本申请同时采用流式和批式相结合方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的数据同步改进方法的一个实施例的流程图；
图3是图2所示步骤202的一个具体实施例的流程图；
图4是图2所示步骤203的一个具体实施例的流程图；
图5是图4所示步骤402的一个具体实施例的流程图；
图6是图2所示步骤205的一个具体实施例的流程图；
图7根据本申请的数据同步改进装置的一个实施例的结构示意图；
图8根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的数据同步改进方法一般由服务器执行，相应地，数据同步改进装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的数据同步改进方法的一个实施例的流程图。所述的数据同步改进方法，包括以下步骤：
步骤201，获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内。
本实施例中，所述目标数据源端包括金融业务数据的数据源端，例如综合性金融业务系统中的数据源端，所述数据源端内存储了金融支付数据、金融协议数据、购物数据、价格数据、出售数据、保险数据、税务数据、银行流水数据等等。
步骤202，调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息。
本实施例中，所述预设的日志解析服务为Spark离线批式任务处理组件，其中，所述Spark离线批式任务处理组件内预先设置了以哈希散列方式对数据表操作日志进行解析的子服务。通过引入Spark离线批式任务处理组件，相较于流式任务长期运行可以实现按需调度，资源用完立即释放，更加灵活和避免长时间占用处理资源。
继续参考图3，图3是图2所示步骤202的一个具体实施例的流程图，包括：
步骤301，统计预设的流式传输组件中消息队列的分区数量，其中，所述预设的流式传输组件为Apache Kafka架构的流式传输组件，所述消息队列的分区数量为ApacheKafka消息队列的Topic分区数；
步骤302，将所述分区数量作为哈希散列的目标数量，以所述目标数据源端中各个数据表的主键字段为哈希标识，对所述目标数据源端中所有数据表对应的操作日志进行哈希散列化处理，获取哈希散列化处理结果；
步骤303，将所述哈希散列化处理结果分开缓存到与所述分区数量相等个数的日志消息集合内，其中，将同一主键字段对应的日志消息作为一个元素值缓存到一个日志消息集合内。
通过将同一主键字段对应的日志消息作为一个元素值缓存到一个日志消息集合内，使得将每个数据表对应的日志消息存储到一个Topic分区地址内，避免了单表对应的日志消息跨多Topic分区存储，更加便于复用和调用。
步骤203，基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果。
本实施例中，首先在日志解析阶段，首先使用了一次Spark离线批式任务处理组件，其目的在于，以批式处理方式解析所述目标数据源端的数据表操作日志，采用批式解析方式，实现了快速解析所述目标数据源端的数据表操作日志。
本实施例中，在执行所述基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果的步骤之前，所述方法还包括：根据预设的服务监测组件，判断预设的批式任务处理组件是否发送新的批式任务消费请求，其中，所述预设的批式任务处理组件为Spark离线批式任务处理组件；若预设的批式任务处理组件未发送新的批式任务消费请求，则继续执行当前监测任务，其中，所述监测任务用于监测所述预设的批式任务处理组件是否向预设的任务发布中心发送日志消息消费请求；若预设的批式任务处理组件发送了新的批式任务消费请求，则按照一对一关系，将不同的日志消息集合传输到Apache Kafka消息队列的不同Topic分区内，供所述批式任务处理组件进行消费处理。
通过分布式架构方式，将所述Apache Kafka消息队列作为流式传输组件，将所述Spark离线批式任务处理组件作为任务消费组件，在完成对日志消息的解析之后，通过所述Apache Kafka消息队列根据所述不同Topic分区，缓存到所述Apache Zookeeper缓存组件内，之后，通过监测组件识别所述Spark离线批式任务处理组件是否发送消费请求，若发送了消费请求，则从所述Apache Zookeeper缓存组件内或者Apache Kafka消息队列内获取日志消息进行批式处理，此时，所述Spark离线批式任务处理组件进行了第二次批式处理。通过在数据同步过程中，多次采用Spark离线批式任务处理组件，相较于流式任务长期运行，可以实现按需调度，资源用完立即释放，更加灵活和避免长时间占用处理资源。
继续参考图4，图4是图2所示步骤203的一个具体实施例的流程图，包括：
步骤401，获取从Apache Kafka消息队列的不同Topic分区内分别传输来的日志消息集合；
步骤402，基于Spark离线批式任务处理组件对分别传输来的日志消息集合内元素进行消费处理，获取消费处理结果，作为所述批式处理结果。
继续参考图5，图5是图4所示步骤402的一个具体实施例的流程图，包括：
步骤501，从预设的缓存组件内获取上一次被所述Spark离线批式任务处理组件消费处理后不同Topic分区内不同主键的数据表分别对应的日志记录存储偏移量，其中，所述日志记录存储偏移量的表达记录方式为：[起始偏移量，结束偏移量]，所述起始偏移量和所述结束偏移量都为非负整数值；
步骤502，根据所述日志记录存储偏移量，获取不同Topic分区内不同主键的数据表分别对应的结束偏移量，并都进行加1处理，获得本次消费处理时不同主键的数据表分别对应的起始偏移量；
步骤503，基于Spark离线批式任务处理组件对本次分别传输来的日志消息集合内元素进行消费处理，获取本次消费处理后不同Topic分区内不同主键的数据表分别对应的最大偏移量，作为结束偏移量；
步骤504，以所述日志记录存储偏移量的表达记录方式：[起始偏移量，结束偏移量]，整理记录本次消费处理后不同Topic分区内不同主键的数据表分别对应的起始偏移量和结束偏移量，获取记录结果作为所述消费处理结果，并结合时间戳，将所述消费处理结果更新缓存到所述预设的缓存组件内，其中，所述预设的缓存组件为Apache Zookeeper缓存组件。
步骤204，根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量。
步骤205，根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务。
继续参考图6，图6是图2所示步骤205的一个具体实施例的流程图，包括：
步骤601，根据目标时间戳，获取所述预设的缓存组件内最新缓存的消费处理结果；
步骤602，根据所述最新缓存的消费处理结果，以及所述目标数据源端的各个数据表与所述目标更新端的各个映射表间的映射关系，识别出需要在目标更新端进行同步更新的映射表；
步骤603，获取所述需要在目标更新端进行同步更新的映射表所对应的目标表，从所述最新缓存的消费处理结果中获取所述目标表对应的起始偏移量和结束偏移量；
本实施例中，所述从所述最新缓存的消费处理结果中获取所述目标表对应的起始偏移量和结束偏移量的方式，依然采用Spark离线批式任务处理组件，此时，所述Spark离线批式任务处理组件进行了第三次批式处理。通过在数据同步过程中，多次采用Spark离线批式任务处理组件，相较于流式任务长期运行，可以实现按需调度，资源用完立即释放，更加灵活和避免长时间占用处理资源。
步骤604，根据所述目标表对应的起始偏移量和结束偏移量，从所述Apache Kafka架构的流式传输组件内获取所述目标表对应的数据操作日志信息；
步骤605，根据所述目标表对应的数据操作日志信息在预设的目标更新端执行所述数据操作动作重放任务，其中，所述目标更新端包括Apache Hud i数据存储端。
本实施例中，所述数据操作动作重放任务包括所述目标表在对应的起始偏移量和结束偏移量之间对所述目标表内数据的所有操作动作，包括不限于增加、删除、修改、查训等所有操作动作。
本实施例中，所述根据所述目标表对应的数据操作日志信息在预设的目标更新端执行所述数据操作动作重放任务的方式，依然采用所述Spark离线批式任务处理组件，此时，所述Spark离线批式任务处理组件进行了第四次批式处理。通过在数据同步过程中，多次采用Spark离线批式任务处理组件，相较于流式任务长期运行，可以实现按需调度，资源用完立即释放，更加灵活和避免长时间占用处理资源。
步骤206，基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
本实施例中，所述基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新的步骤，具体包括：判断所述数据操作动作重放任务是否执行成功；若所述数据操作动作重放任务执行失败，则所述目标数据源端的源数据表操作失败，不满足所述预设的更新条件，无需对所述目标更新端内相应的映射表进行同步更新；若所述数据操作动作重放任务执行成功，则所述目标数据源端的源数据表操作成功，满足所述预设的更新条件，根据所述数据操作动作重放任务的执行结果对所述目标更新端内相应的映射表进行同步更新。
本申请通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，可以兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
本申请通过获取目标数据源端的数据表操作日志；采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析；基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中，通过基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
进一步参考图7，作为对上述图2所示方法的实现，本申请提供了一种数据同步改进装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例所述的数据同步改进装置700包括：数据表操作日志获取模块701、哈希散列解析模块702、批式处理模块703、偏移量获取模块704、数据操作动作重放模块705和同步更新模块706。其中：
数据表操作日志获取模块701，用于获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内；
哈希散列解析模块702，用于调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息；
批式处理模块703，用于基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；
偏移量获取模块704，用于根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；
数据操作动作重放模块705，用于根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；
同步更新模块706，用于基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
本申请通过获取目标数据源端的数据表操作日志；采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析；基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备8包括通过系统总线相互通信连接存储器8a、处理器8b、网络接口8c。需要指出的是，图中仅示出了具有组件8a-8c的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field －Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器8a至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器8a可以是所述计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，所述存储器8a也可以是所述计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器8a还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，所述存储器8a通常用于存储安装于所述计算机设备8的操作系统和各类应用软件，例如数据同步改进方法的计算机可读指令等。此外，所述存储器8a还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器8b在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器8b通常用于控制所述计算机设备8的总体操作。本实施例中，所述处理器8b用于运行所述存储器8a中存储的计算机可读指令或者处理数据，例如运行所述数据同步改进方法的计算机可读指令。
所述网络接口8c可包括无线网络接口或有线网络接口，该网络接口8c通常用于在所述计算机设备8与其他电子设备之间建立通信连接。
本实施例提出的计算机设备，属于人工智能及金融科技技术领域，应用于金融业务数据多端间同步更新过程中。本申请通过获取目标数据源端的数据表操作日志；采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析；基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被处理器执行，以使所述处理器执行如上述的数据同步改进方法的步骤。
本实施例提出的计算机可读存储介质，属于人工智能及金融科技技术领域，应用于金融业务数据多端间同步更新过程中。本申请通过获取目标数据源端的数据表操作日志；采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析；基于预设的流式传输组件，将解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；根据批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；根据各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；基于数据操作动作重放任务的执行结果，判断是否对所述目标更新端内相应的映射表进行同步更新。通过采用Apache Kafka架构的流式传输组件与Spark离线批式任务处理组件相结合的方式，兼顾数据同步时效、数据同步准确性和管控数据同步资源消耗。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种数据同步改进方法，其特征在于，包括下述步骤：
获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内；
调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息；
基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；
根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；
根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；
基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
2.根据权利要求1所述的数据同步改进方法，其特征在于，所述调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息的步骤，具体包括：
统计预设的流式传输组件中消息队列的分区数量，其中，所述预设的流式传输组件为Apache Kafka架构的流式传输组件，所述消息队列的分区数量为Apache Kafka消息队列的Topic分区数；
将所述分区数量作为哈希散列的目标数量，以所述目标数据源端中各个数据表的主键字段为哈希标识，对所述目标数据源端中所有数据表对应的操作日志进行哈希散列化处理，获取哈希散列化处理结果；
将所述哈希散列化处理结果分开缓存到与所述分区数量相等个数的日志消息集合内，其中，将同一主键字段对应的日志消息作为一个元素值缓存到一个日志消息集合内。
3.根据权利要求2所述的数据同步改进方法，其特征在于，在执行所述基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果的步骤之前，所述方法还包括：
根据预设的服务监测组件，判断预设的批式任务处理组件是否发送新的批式任务消费请求，其中，所述预设的批式任务处理组件为Spark离线批式任务处理组件；
若预设的批式任务处理组件未发送新的批式任务消费请求，则继续执行当前监测任务，其中，所述监测任务用于监测所述预设的批式任务处理组件是否向预设的任务发布中心发送日志消息消费请求；
若预设的批式任务处理组件发送了新的批式任务消费请求，则按照一对一关系，将不同的日志消息集合传输到Apache Kafka消息队列的不同Topic分区内，供所述批式任务处理组件进行消费处理。
4.根据权利要求3所述的数据同步改进方法，其特征在于，所述基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果的步骤，具体包括：
获取从Apache Kafka消息队列的不同Topic分区内分别传输来的日志消息集合；
基于Spark离线批式任务处理组件对分别传输来的日志消息集合内元素进行消费处理，获取消费处理结果，作为所述批式处理结果。
5.根据权利要求4所述的数据同步改进方法，其特征在于，所述基于Spark离线批式任务处理组件对分别传输来的日志消息集合内元素进行消费处理，获取消费处理结果，作为所述批式处理结果的步骤，具体包括：
从预设的缓存组件内获取上一次被所述Spark离线批式任务处理组件消费处理后不同Topic分区内不同主键的数据表分别对应的日志记录存储偏移量，其中，所述日志记录存储偏移量的表达记录方式为：[起始偏移量，结束偏移量]，所述起始偏移量和所述结束偏移量都为非负整数值；
根据所述日志记录存储偏移量，获取不同Topic分区内不同主键的数据表分别对应的结束偏移量，并都进行加1处理，获得本次消费处理时不同主键的数据表分别对应的起始偏移量；
基于Spark离线批式任务处理组件对本次分别传输来的日志消息集合内元素进行消费处理，获取本次消费处理后不同Topic分区内不同主键的数据表分别对应的最大偏移量，作为结束偏移量；
以所述日志记录存储偏移量的表达记录方式：[起始偏移量，结束偏移量]，整理记录本次消费处理后不同Topic分区内不同主键的数据表分别对应的起始偏移量和结束偏移量，获取记录结果作为所述消费处理结果，并结合时间戳，将所述消费处理结果更新缓存到所述预设的缓存组件内，其中，所述预设的缓存组件为Apache Zookeeper缓存组件。
6.根据权利要求5所述的数据同步改进方法，其特征在于，所述根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务的步骤，具体包括：
根据目标时间戳，获取所述预设的缓存组件内最新缓存的消费处理结果；
根据所述最新缓存的消费处理结果，以及所述目标数据源端的各个数据表与所述目标更新端的各个映射表间的映射关系，识别出需要在目标更新端进行同步更新的映射表；
获取所述需要在目标更新端进行同步更新的映射表所对应的目标表，从所述最新缓存的消费处理结果中获取所述目标表对应的起始偏移量和结束偏移量；
根据所述目标表对应的起始偏移量和结束偏移量，从所述Apache Kafka架构的流式传输组件内获取所述目标表对应的数据操作日志信息；
根据所述目标表对应的数据操作日志信息在预设的目标更新端执行所述数据操作动作重放任务，其中，所述目标更新端包括Apache Hudi数据存储端。
7.根据权利要求1或6所述的数据同步改进方法，其特征在于，所述基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新的步骤，具体包括：
判断所述数据操作动作重放任务是否执行成功；
若所述数据操作动作重放任务执行失败，则所述目标数据源端的源数据表操作失败，不满足所述预设的更新条件，无需对所述目标更新端内相应的映射表进行同步更新；
若所述数据操作动作重放任务执行成功，则所述目标数据源端的源数据表操作成功，满足所述预设的更新条件，根据所述数据操作动作重放任务的执行结果对所述目标更新端内相应的映射表进行同步更新。
8.一种数据同步改进装置，其特征在于，包括：
数据表操作日志获取模块，用于获取目标数据源端的数据表操作日志，其中，所述目标数据源端的数据表存储在预设的Oracle数据库内；
哈希散列解析模块，用于调用预设的日志解析服务，采用哈希散列方式对所述目标数据源端的数据表操作日志进行解析，获取解析后的日志消息；
批式处理模块，用于基于预设的流式传输组件，将所述解析后的日志消息传输给预设的批式任务处理组件进行批式处理，获取批式处理结果；
偏移量获取模块，用于根据所述批式处理结果，获取本次处理前后各个目标数据表分别对应的起始偏移量和结束偏移量；
数据操作动作重放模块，用于根据所述各个目标表分别对应的起始偏移量和结束偏移量，在目标更新端执行数据操作动作重放任务；
同步更新模块，用于基于预设的更新条件和所述数据操作动作重放任务的执行结果，对所述目标更新端内相应的映射表进行同步更新。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据同步改进方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据同步改进方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772254.4A CN116756163A (zh) | 2023-06-27 | 2023-06-27 | 一种数据同步改进方法、装置、设备及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772254.4A CN116756163A (zh) | 2023-06-27 | 2023-06-27 | 一种数据同步改进方法、装置、设备及其存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116756163A true CN116756163A (zh) | 2023-09-15 |
Family
ID=87953059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310772254.4A Pending CN116756163A (zh) | 2023-06-27 | 2023-06-27 | 一种数据同步改进方法、装置、设备及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756163A (zh) |
-
2023
- 2023-06-27 CN CN202310772254.4A patent/CN116756163A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666490B (zh) | 基于kafka的信息推送方法、装置、设备及存储介质 | |
| CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
| CN112860662B (zh) | 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质 | |
| CN113836235B (zh) | 基于数据中台的数据处理方法及其相关设备 | |
| CN117216114A (zh) | 一种数据流关联方法、装置、设备及其存储介质 | |
| CN117217684A (zh) | 指标数据的处理方法、装置、计算机设备及存储介质 | |
| CN116974927A (zh) | 性能自动化测试方法、系统、计算机设备及存储介质 | |
| CN116450723A (zh) | 数据提取方法、装置、计算机设备及存储介质 | |
| CN116483425A (zh) | 微服务灰度发版方法、装置、设备及其存储介质 | |
| CN114626352B (zh) | 报表自动化生成方法、装置、计算机设备及存储介质 | |
| CN116756163A (zh) | 一种数据同步改进方法、装置、设备及其存储介质 | |
| CN114663073B (zh) | 异常节点的发现方法及其相关设备 | |
| CN116483627A (zh) | 一种基于对象存储的数据处理方法及其相关设备 | |
| CN117873831A (zh) | Sql性能监控方法、装置、计算机设备及存储介质 | |
| CN117194032A (zh) | 一种任务执行方法、装置、设备及其存储介质 | |
| CN116401061A (zh) | 资源数据的处理方法、装置、计算机设备及存储介质 | |
| CN117271156A (zh) | 一种消息传递方法、装置、设备及其存储介质 | |
| CN117332012A (zh) | 一种数据关联方法、装置、设备及其存储介质 | |
| CN116992462A (zh) | 基于大数据传输场景的明文信息下线方法及其相关设备 | |
| CN116662418A (zh) | 基于配置化的报表实现方法、装置、设备及其存储介质 | |
| CN116450687A (zh) | 保险产品操作信息发布通知方法及其相关设备 | |
| CN117827988A (zh) | 一种数据仓库优化方法、装置、设备及其存储介质 | |
| CN117272077A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN116795511A (zh) | 一种唯一标识符生成方法、装置、计算机设备及存储介质 | |
| CN116737833A (zh) | 基于分区模式的cdc数据资源同步方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |