CN114547199A - 数据库增量同步响应方法、装置及计算机可读存储介质 - Google Patents
数据库增量同步响应方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114547199A CN114547199A CN202210168891.6A CN202210168891A CN114547199A CN 114547199 A CN114547199 A CN 114547199A CN 202210168891 A CN202210168891 A CN 202210168891A CN 114547199 A CN114547199 A CN 114547199A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- relational
- configuration information
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004044 response Effects 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims description 28
- 230000001360 synchronised effect Effects 0.000 title abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 115
- 230000004048 modification Effects 0.000 claims abstract description 36
- 238000012986 modification Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 37
- 238000013506 data mapping Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 230000032258 transport Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及服务器技术领域，公开了一种数据库增量同步响应方法，该方法包括：根据数据库修改请求，获取关系型数据库中的增量变更日志；根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列；获取消息队列中第一日志数据；根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；将第二日志数据输出至非关系型数据库。应用本发明的技术方案，能够使用户在业务上可以无感知的查询新数据源，确保用户接入数据库的准实时性，解决了传统关系型数据库数据查询慢、响应速度慢的问题，改善了用户体验。
Description
技术领域
本发明实施例涉及服务器技术领域，具体涉及一种数据库增量同步响应方法、装置及计算机可读存储介质。
背景技术
随着互联网行业的发展，用户的交互行为越来越多，数据种类越来越多，数据量越来越大。为了快速响应用户的复杂需求，系统设计者都会采用分而治之的理念，按照业务域拆分成一个个微服务，从而构建出一个大型的分布式系统。
很多情况下，用户会有各种各样的查询需求，而在分布式的系统架构中，往往需要多个业务域的应用程序组合后提供数据，对存储层而言，必然关联多个数据库的数据表。而传统关系型数据库显得力不从心，会出现慢查询、响应速度低等现象，影响用户体验。
发明内容
鉴于上述问题，本发明实施例提供了一种数据库增量同步响应方法，用于解决现有技术中存在的传统关系型数据库在响应用户各种各样查询需求时力不从心，出现慢查询、响应速度低等现象，降低用户体验的问题。
根据本发明实施例的一个方面，提供了一种数据库增量同步响应方法，所述方法包括：
根据数据库修改请求，获取关系型数据库中的增量变更日志；所述增量变更日志为所述关系型数据库修改数据时对应的日志数据；
根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列；
获取所述消息队列中所述第一日志数据；
根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据；所述第二日志数据包括所述增量变更日志的源数据信息；
将所述第二日志数据输出至非关系型数据库。
在一种可选的方式中，所述根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列，包括：
获取所述关系型数据配置信息；
解析所述增量变更日志，得到初始化增量变更日志；
根据所述关系型数据配置信息，对所述初始化增量变更日志进行转换、过滤、归并处理，得到所述第一日志数据；
将所述第一日志数据发送至所述消息队列。
在一种可选的方式中，在所述根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据，发送至消息队列之后，所述方法还包括：
记录所述增量变更日志在所述关系型数据库中的位置。
在一种可选的方式中，所述根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据，包括：
读取所述非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，解析所述第一日志数据；
根据解析后的第一日志数据，查询所述解析后的第一日志数据对应的一个或多个关联的源数据，并将所述源数据作为所述第二日志数据。
在一种可选的方式中，所述非关系型数据配置信息还包括数据映射关系；所述根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据，包括：
读取所述非关系型数据配置信息；
若所述数据映射关系为多对一模式时，则对所述第一日志数据进行溯源处理，得到所述第二日志数据；
若所述数据映射关系为一对一模式，识别所述非关系型数据配置信息是否包括溯源信息；
若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到所述第二日志数据。
在一种可选的方式中，还包括：
当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
根据本发明实施例的另一方面，提供了一种数据库增量同步响应装置，包括：
第一获取模块，用于根据数据库修改请求，获取关系型数据库中的增量变更日志；所述增量变更日志为所述关系型数据库修改数据时对应的日志数据；
解析模块，用于根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列；
第二获取模块，用于获取所述消息队列中所述第一日志数据；
溯源模块，用于根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据；所述第二日志数据包括所述增量变更日志的源数据信息；
输出模块，用于将所述第二日志数据输出至非关系型数据库。
在一种可选的方式中，所述解析模块，包括：
获取单元，用于获取所述关系型数据配置信息；
解析单元，用于解析所述增量变更日志，得到初始化增量变更日志；
处理单元，用于根据所述关系型数据配置信息，对所述初始化增量变更日志进行转换、过滤、归并处理，得到所述第一日志数据；
消息队列发送单元，用于将所述第一日志数据发送至所述消息队列。
在一种可选的方式中，还包括：
记录模块，用于记录所述增量变更日志在所述关系型数据库中的位置。
在一种可选的方式中，所述溯源模块，包括：
第一读取单元，用于读取所述非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，解析所述第一日志数据；
查询单元，用于根据解析后的第一日志数据，查询所述解析后的第一日志数据对应的一个或多个关联的源数据，并将所述源数据作为所述第二日志数据。
在一种可选的方式中，所述溯源模块，包括：
第二读取单元，用于读取所述非关系型数据配置信息；
多对一溯源单元，用于若所述数据映射关系为多对一模式时，则对所述第一日志数据进行溯源处理，得到所述第二日志数据；
识别单元，用于若所述数据映射关系为一对一模式，识别所述非关系型数据配置信息是否包括溯源信息；
一对一溯源单元，用于若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到所述第二日志数据。
在一种可选的方式中，还包括：
更新模块，用于当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
根据本发明实施例的另一方面，提供了一种数据库增量同步响应设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的数据库增量同步响应方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在数据库增量同步响应设备/装置上运行时，使得数据库增量同步响应设备/装置执行如上述的数据库增量同步响应方法的操作。
本发明实施例中根据数据库修改请求，将获取到的关系型数据库中增量变更日志解析后发送至消息队列，并根据非关系型数据配置信息将解析后的增量日志数据即第一日志数据进行处理，最后将处理后的数据即第二日志数据输出至非关系型数据库。可以得出本发明实施例将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明提供的数据库增量同步响应方法的第一实施例的流程示意图；
图2示出了本发明提供的数据库增量同步响应方法的第二实施例的流程示意图；
图3示出了本发明提供的数据库增量同步响应方法的第三实施例的流程示意图；
图4示出了本发明提供的数据库增量同步响应方法的第四实施例的流程示意图；
图5示出了本发明提供的数据库增量同步响应方法的第五实施例的流程图；
图6示出了本发明提供的数据库增量同步响应装置的第一实施例的结构示意图；
图7示出了本发明提供的数据库增量同步响应设备的实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明数据库增量同步响应方法的第一实施例的流程图，该方法由数据库增量同步响应设备执行。如图1所示，该方法包括以下步骤：
步骤110：根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据。
其中，可以理解的是，数据库修改请求是后台监听机制(另一个计算机线程)，用户修改在UI(前端)操作完成后，借助关系型数据库即Mysql的主从同步机制产生的。即本实施例通过模拟关系型数据库Mysql的主从同步的机制，在监听到用户在前端修改数据库时，根据生成的数据库修改请求，向关系型数据库发送获取增量变更日志的请求，其中，增量变更日志为关系型数据库修改数据时对应的日志数据，可以理解为当前的修改数据行(一条数据，修改前是怎样的，修改后是怎样的)。本实施例并不限定用户修改数据库的具体操作，可以是修改、删除、增加，还可以是其他操作。本申请实施例的执行主体为数据库增量同步响应设备(服务器或服务器集群)，具体的，步骤110为整体服务器的生产端程序(可称为生产端)所执行。
步骤120：根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列。
其中，可以理解的是，生产端在获取到关系型数据库的增量变更日志后，需要根据关系型数据配置信息解析该增量变更日志以使服务器能够识别，再将解析后的增量变更日志即第一日志数据发送至消息队列。本实施例中关系型数据配置信息为服务器与关系型数据库对接的配置信息，本实施例并不限定关系型数据配置信息的具体内容，例如可以包括表名称，IP信息等，可根据实际情况而定。本实施例并不限定解析的具体方式，可参考现有技术。本实施例也不限定消息队列的具体类型，可以是kafka，还可以是其他消息队列。
步骤130：获取消息队列中第一日志数据。
其中，步骤130的执行主体为服务器的消费端程序(可称为消费端)。可以理解的是，消费端订阅消息队列的数据，当消息队列接收到生产端发送的第一日志数据后，消费端可以获取该第一日志数据，获取消息队列中消息的行为可称为消费。
步骤140：根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息。
其中，消费端获取第一日志数据后，当非关系型数据配置信息包含溯源信息时，则对第一日志数据进行处理。本实施例并不限定非关系型数据配置信息的具体内容，可以包括溯源信息，还可以包括数据映射关系，还可以包括Elasticsearch搜索引擎的IP端口，用户名，密码等信息。其中，溯源信息可理解为用户请求获取第一日志数据所对应的源数据(也即增量变更日志的源数据信息)的要求信息；数据映射关系可以是一对一模式，也可以是多对一模式，其中，一对一模式可理解为源数据与目标数据基本相同，仅将关系型数据转化为非关系型数据输出，多对一模式可理解为当前数据可匹配或可溯源到多个源数据，多个源数据进行拼接或合并生成新的目标数据即本实施例中的第二日志数据。
本实施例并不限定对第一日志数据进行溯源处理，得到第二日志数据的具体过程。在一种具体的实施例中，根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，包括：
读取非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，解析第一日志数据；
根据解析后的第一日志数据，查询解析后的第一日志数据对应的一个或多个关联的源数据，并将源数据作为第二日志数据。
本实施例中首先读取非关系型数据配置信息，当非关系型数据配置信息中包含溯源信息时，则解析第一日志数据，并查询解析后的第一日志数据对应的一个或多个关联源数据，进而将查询的源数据作为第二日志数据。需要说明的是，当查询到第一日志数据对应的多个关联数据时，则将多个关联数据进行合并或拼接，生成新的目标数据即第二日志数据；当查询到第一日志数据的一个关联源数据时，将该源数据作为第二日志数据。
在一种具体的实施例中，当非关系型数据配置信息还包括数据映射关系时，步骤S140中根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，可以包括：
步骤S141：读取非关系型数据配置信息；
若数据映射关系为多对一模式时，执行步骤S142：则对第一日志数据进行溯源处理，得到第二日志数据；
若数据映射关系为一对一模式时，执行步骤S143：识别非关系型数据配置信息是否包括溯源信息；
步骤S144：若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据。
本实施例中消费端首先读取当前的非关系型数据配置信息，其中，非关系型数据配置信息包括数据映射关系，若数据映射关系为多对一模式时，则对第一日志数据进行溯源处理，得到第二日志数据，然后完成步骤S150中将第二日志数据输出至非关系型数据库的步骤；可以理解的是，当为多对一模式时，对第一日志数据溯源处理，查询多个关联源数据(源数据即是指源数据的数据内容)，再将多个源数据进行拼接即可得到第二日志数据。若数据映射关系为一对一模式时，识别非关系型数据配置信息是否包含溯源信息，若包含，则对第一日志数据进行溯源处理，具体的，可以是解析、过滤第一日志数据，再根据解析、过滤后的第一日志数据，查询解析、过滤后的第一日志数据对应的源数据，并将源数据写入到解析后的第一日志数据，得到第二日志数据，然后完成步骤S150中将第二日志数据输出至非关系型数据库的步骤；需要说明的是，当非关系型数据配置信息不包括溯源信息时，则解析、过滤第一日志数据，即可得到第二日志数据。
可以理解的是，溯源的执行是根据非关系型数据配置信息中包含的是否需要溯源的信息(即是否包含溯源信息)来进行，在其他可选实施例中，数据映射关系为一对一模式时，若非关系型数据配置信息中同样包含有需要溯源的信息，则在解析、过滤后也还会进行溯源的步骤，即：根据解析、过滤后的第一日志数据，查询解析、过滤后的第一日志数据对应的源数据，并将源数据写入到解析后的第一日志数据。
步骤150：将第二日志数据输出至非关系型数据库。
可以理解的是，本实施例中消费端根据当前配置的非关系型数据配置信息(包括数据源与输出源的数据映射关系)和跨数据源聚合需求进行数据加工计算，最后将数据输出到不同非关系型数据库存储引擎。整个处理过程工作延迟低，生产端程序采用低配置的关系型数据配置信息进行快速接入，消费端映射输出后，非关系型数据库能够采用开发者都通晓的通用语言(SQL，即结构化查询语言)，可以降低开发者接入的成本，快速处理各类复杂的多数据源查询需求。
需要说明的是，本申请实施例的执行主体为数据库增量同步响应设备的服务器，具体的，步骤110-120为整体服务器的生产端程序所执行，步骤130-150为整体服务器的消费端程序所执行。还可以理解的是，生产端程序所在服务器和消费端程序所在服务器可在一台服务器执行，也可在对应的服务器集群中运行，可根据实际情况进行设定；为了高可用性，通常布置于各自对应的服务器集群中。
本申请实施例将用户的数据库修改请求对应的增量变更日志即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库(NoSQL)存储引擎中进行异地存储，即通过建立数据异构的通道，将关系型数据库修改数据时对应的日志数据同步到非关系型数据库存储引擎中。具体的，数据异构的生产端程序获取关系型数据库中的增量变更日志，根据关系型数据配置信息，解析并发送至消息队列；数据异构的消费端消费并根据非关系型数据配置信息处理，并将处理后的数据输出至非关系型数据库(即NoSQL存储引擎)。
可见，本实施例中的数据库增量同步响应方法将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。
图2示出了本发明数据库增量同步响应方法的另一个实施例的流程图，该方法由数据库增量同步响应设备执行。如图2所示，该方法包括以下步骤：
步骤210：根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据。
其中，关于上述步骤210的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤220：获取关系型数据配置信息；
解析增量变更日志，得到初始化增量变更日志；
根据关系型数据配置信息，对初始化增量变更日志进行转换、过滤、归并处理，得到第一日志数据；
将第一日志数据发送至消息队列。
其中，由于Mysql即关系型数据库日志格式及事务的复杂性，本实施例中对增量变更日志进行解析使服务器能够识别后，还根据获取的关系型数据配置信息，对解析得到的初始化增量变更日志进行了转换、过滤、归并处理。其中，转换、过滤和归并处理是与用户操作数据库的具体行为有关的。可以理解的是，本实施例中关系型数据配置信息为服务器与关系型数据库对接的配置信息，本实施例并不限定当前关系型数据配置信息的具体内容，根据实际情况而定。本实施例并不限定对初始化增量变更日志进行转化、过滤和归并处理的具体方式，可参考现有技术。同时，本实施例也不限定转化、过滤和归并的操作顺序，可根据实际情况进行设定。
步骤230：获取消息队列中第一日志数据。
步骤240：根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息。
步骤250：将第二日志数据输出至非关系型数据库。
其中，关于上述步骤230-250的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本实施例中的数据库增量同步响应方法将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。还有，由于Mysql日志格式及事务的复杂性，本实施例还对解析后的增量变更日志进行了转换、过滤、归并处理，进一步改善了用户体验。
图3示出了本发明数据库增量同步响应方法的另一个实施例的流程图，该方法由数据库增量同步响应设备执行。如图3所示，该方法包括以下步骤：
步骤310：根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据。
其中，关于上述步骤310的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤320：根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列；
步骤330：记录增量变更日志在关系型数据库中的位置。
其中，本实施例在解析增量变更日志后，记录增量变更日志在关系型数据库中的位置。可以理解的是，数据库中用户修改一次Binlog日志(二进制日志)即增量变更日志，就在服务器中记录解析本次修改数据即增量变更日志在关系型数据库中位置，即可得知消费进度，能够保证生产端程序崩溃时，接着上一次继续消费，避免重复消费，使服务器高效进行。
步骤340：获取消息队列中第一日志数据。
步骤350：根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息。
步骤360：将第二日志数据输出至非关系型数据库。
其中，关于上述步骤330-350的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例中的数据库增量同步响应方法将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。还有，通过记录增量变更日志在关系型数据库中的位置，能够得知消费进度，保证生产端程序崩溃时，接着上一次继续消费，避免重复消费，使服务器高效运行工作。
图4示出了本发明数据库增量同步响应方法的另一个实施例的流程图，该方法由数据库增量同步响应设备执行。如图4所示，该方法包括以下步骤：
步骤410：根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据。
步骤420：根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列。
步骤430：获取消息队列中第一日志数据。
步骤440：根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息。
步骤450：将第二日志数据输出至非关系型数据库。
其中，关于上述步骤410-450的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤460：当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
其中，本实施例并不限定功能特性更新请求的具体内容，可根据实际情况进行设定。本实施例也不限定当前配置信息的具体内容，可以包括关系型数据配置信息和非关系型数据配置信息，还可以包括其他内容。可以理解的是，当接收到功能特性更新请求时，本申请中生产端程序和消费端程序支持插件机制，让输入源与输出源物理隔离，但逻辑上正常运转，即可支持动态化更新当前的配置信息，来增强当前功能特性，无需将服务器重启。其中，生产端程序支持插件机制快速配置数据库与表及数据分片的字段；消费端程序支持插件机制可快速配置一个输出源输出到多个输出源中。
可见，本实施例中的数据库增量同步响应方法将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验；还有，生产端程序和消费端程序支持插件机制可动态化更新当前配置，无需将服务器重启，增强当前功能特性，能够更加改善用户体验。
基于上述所有方案，本实施例提供又一具体实施例。图5示出了本发明数据库增量同步响应方法的一具体实施例的流程图。
整体的技术栈，关系型数据库为Mysql，非关系型数据库Nosql为elasticsearch，消息队列为kafka，开发语言为Java。
本发明采用的技术方案为：生产端程序将实时接受Binlog日志(二进制日志)即增量变更日志，经过转换、过滤、归并后发送到消息队列并保存最新的日志位置即记录解析当前数据库位置。消费端程序消费消息队列中的每一条数据，根据当前配置的非关系型数据配置信息(包括数据源与输出源的数据映射关系)和跨数据源聚合需求进行数据加工计算，最后将数据输出到NoSQL(非关系型数据库)存储引擎，请参见图5。
步骤S510，开始。
步骤S520，生产端程序开始dump(转存)并接受Binlog日志，首先它dump请求数据库，然后接受关系型数据库的增量变更日志；
步骤S530，生产端程序读取配置即关系型数据配置信息，解析、过滤、归并Binlog日志；
步骤S540，生产端程序将处理后的消息发送到消息队列；
步骤S550，发送成功后则确认(ack)并记录解析Binlog位置(当前增量变更日志在关系型数据库中的位置)，执行成功则终止生产端的本次执行；
步骤S560，消费端程序将批量获取消息队列中的消息；
步骤S570，消费端程序将根据每条消息的内容，读取非关系型数据配置信息做处理；
步骤S580，消费端程序将解析、过滤每条消息；如果配置溯源，将查询源数据并合并到当前数据行中；
步骤S590，消费端程序将加工处理后的数据持久化(长久保存)到Nosql存储引擎中(即输出保存至非关系型数据库，可防止丢失)；
步骤S591，成功则确认(ack)并结束；
本申请实施例中生产端程序可以完成关系型数据库的增量数据的监听与接受，支持对数据库日志位置点的持久化(长久保存)以免数据丢失，支持数据简单加工处理并写到消息队列(kafka)，支持插件机制快速配置数据库与表及数据分片的字段；消费端程序订阅消息队列的数据，根据当前配置的非关系型数据配置信息(包括数据源与输出源映射)和跨数据源聚合需求进行数据加工计算，最后将数据输出到不同NoSQL存储引擎，同样支持插件机制可以快速配置一个输出源输出到多个输出源中；Binlog日志可读性比较差，本申请支持一种更加扁平化的报文结构。解决了用户需要关联多个数据查询慢的问题，使用冗余的方式加工宽表来达到秒出；和开发者快速接入Nosql存储引擎低延迟的问题，理论上主从同步不延迟，整体方案基本上是准实时的；程序支持丰富插件机制，可以让输入源与输出源物理隔离(classloader隔离)但逻辑上正常运转。
图6示出了本发明数据库增量同步响应装置600的实施例的结构示意图。如图6所示，该数据库增量同步响应装置600包括：第一获取模块610、解析模块620、第二获取模块630、溯源模块640和输出模块650，其中：
第一获取模块610，用于根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据；
解析模块620，用于根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列；
第二获取模块630，用于获取消息队列中第一日志数据；
溯源模块640，用于根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息；
输出模块650，用于将第二日志数据输出至非关系型数据库。
在一种可选的方式中，解析模块620，包括：
获取单元，用于获取关系型数据配置信息；
解析单元，用于解析增量变更日志，得到初始化增量变更日志；
处理单元，用于根据关系型数据配置信息，对初始化增量变更日志进行转换、过滤、归并处理，得到第一日志数据；
消息队列发送单元，用于将第一日志数据发送至消息队列。
在一种可选的方式中，还包括：
记录模块，用于记录增量变更日志在关系型数据库中的位置。
在一种可选的方式中，溯源模块640，包括：
第一读取单元，用于读取非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，解析第一日志数据；
查询单元，用于根据解析后的第一日志数据，查询解析后的第一日志数据对应的一个或多个关联的源数据，并将源数据作为第二日志数据。
在一种可选的方式中，溯源模块640，包括：
第二读取单元，用于读取非关系型数据配置信息；
多对一溯源单元，用于若数据映射关系为多对一模式时，则对第一日志数据进行溯源处理，得到第二日志数据；
识别单元，用于若数据映射关系为一对一模式，识别非关系型数据配置信息是否包括溯源信息；
一对一溯源单元，用于若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据。
在一种可选的方式中，还包括：
更新模块，用于当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
图7示出了本发明数据库增量同步响应设备的实施例的结构示意图，本发明具体实施例并不对数据库增量同步响应设备的具体实现做限定。
如图7所示，该数据库增量同步响应设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述用于数据库增量同步响应方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机可执行指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。数据库增量同步响应设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以被处理器702调用使数据库增量同步响应设备执行以下操作：
根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据；
根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列；
获取消息队列中第一日志数据；
根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息；
将第二日志数据输出至非关系型数据库。
在一种可选的方式中，程序710具体可以被处理器702调用使数据库增量同步响应设备执行以下操作：
获取关系型数据配置信息；
解析增量变更日志，得到初始化增量变更日志；
根据关系型数据配置信息，对初始化增量变更日志进行转换、过滤、归并处理，得到第一日志数据；
将第一日志数据发送至消息队列。
在一种可选的方式中，在根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列之后，还包括：
记录增量变更日志在关系型数据库中的位置。
在一种可选的方式中，根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，包括：
读取非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，解析第一日志数据；
根据解析后的第一日志数据，查询解析后的第一日志数据对应的一个或多个关联的源数据，并将源数据作为第二日志数据。
在一种可选的方式中，非关系型数据配置信息还包括数据映射关系；根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，包括：
读取非关系型数据配置信息；
若数据映射关系为多对一模式，则对第一日志数据进行溯源处理，得到第二日志数据；
若数据映射关系为一对一模式，识别非关系型数据配置信息是否包括溯源信息；
若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据。
在一种可选的方式中，还包括：
当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
本发明实施例中的数据库增量同步响应设备将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。
本发明实施例提供了一种计算机可读存储介质，存储介质存储有至少一可执行指令，该可执行指令在数据库增量同步响应设备/装置上运行时，使得数据库增量同步响应设备/装置执行上述任意方法实施例中的数据库增量同步响应方法。
可执行指令具体可以用于使得数据库增量同步响应设备/装置执行以下操作：
根据数据库修改请求，获取关系型数据库中的增量变更日志；增量变更日志为关系型数据库修改数据时对应的日志数据；
根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列；
获取消息队列中第一日志数据；
根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据；第二日志数据包括增量变更日志的源数据信息；
将第二日志数据输出至非关系型数据库。
在一种可选的方式中，根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列，包括：
获取关系型数据配置信息；
解析增量变更日志，得到初始化增量变更日志；
根据关系型数据配置信息，对初始化增量变更日志进行转换、过滤、归并处理，得到第一日志数据；
将第一日志数据发送至消息队列。
在一种可选的方式中，在根据关系型数据配置信息，解析增量变更日志，得到第一日志数据，并将第一日志数据发送至消息队列之后，还包括：
记录增量变更日志在关系型数据库中的位置。
在一种可选的方式中，根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，包括：
读取非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，解析第一日志数据；
根据解析后的第一日志数据，查询解析后的第一日志数据对应的一个或多个关联的源数据，并将源数据作为第二日志数据。
在一种可选的方式中，非关系型数据配置信息还包括数据映射关系；根据非关系型数据配置信息，若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据，包括：
读取非关系型数据配置信息；
若数据映射关系为多对一模式，则对第一日志数据进行溯源处理，得到第二日志数据；
若数据映射关系为一对一模式，识别非关系型数据配置信息是否包括溯源信息；
若非关系型数据配置信息包括溯源信息，则对第一日志数据进行溯源处理，得到第二日志数据。
在一种可选的方式中，还包括：
当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
本发明实施例中的计算机可读存储介质将用户的数据库修改请求对应的增量变更日志，即关系型数据库修改数据时对应的日志数据搬运至非关系型数据库中，也就是借助数据异构(将数据按照需要异地构建存储)的方式，根据用户需求把关系型数据库数据在非关系型数据库存储引擎中异地构建存储，由于非关系型数据库具有非事务型、实时性强等特点，以及数据异构的接入数据源的准实时(低延迟)，有丰富逻辑计算能力，加工后数据可以输出不同非关系型数据库，能实现海量数据高效查询等的特点，解决了传统关系型数据库数据查询慢、响应速度慢的问题，使用户在业务上可以无感知的查询新数据源，能够确保用户接入数据库的准实时性，改善了用户体验。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。此外，本发明实施例也不针对任何特定编程语言。
在此处所提供的说明书中，说明了大量具体细节。然而能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。其中，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (10)
1.一种数据库增量同步响应方法，其特征在于，所述方法包括：
根据数据库修改请求，获取关系型数据库中的增量变更日志；所述增量变更日志为所述关系型数据库修改数据时对应的日志数据；
根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列；
获取所述消息队列中所述第一日志数据；
根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据；所述第二日志数据包括所述增量变更日志的源数据信息；
将所述第二日志数据输出至非关系型数据库。
2.根据权利要求1所述的方法，其特征在于，所述根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列，包括：
获取所述关系型数据配置信息；
解析所述增量变更日志，得到初始化增量变更日志；
根据所述关系型数据配置信息，对所述初始化增量变更日志进行转换、过滤、归并处理，得到所述第一日志数据；
将所述第一日志数据发送至所述消息队列。
3.根据权利要求1所述的方法，其特征在于，在所述根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列之后，所述方法还包括：
记录所述增量变更日志在所述关系型数据库中的位置。
4.根据权利要求1所述的方法，其特征在于，所述根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据，包括：
读取所述非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，解析所述第一日志数据；
根据解析后的第一日志数据，查询所述解析后的第一日志数据对应的一个或多个关联的源数据，并将所述源数据作为所述第二日志数据。
5.根据权利要求1所述的方法，其特征在于，所述非关系型数据配置信息还包括数据映射关系；所述根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据，包括：
读取所述非关系型数据配置信息；
若所述数据映射关系为多对一模式，则对所述第一日志数据进行溯源处理，得到所述第二日志数据；
若所述数据映射关系为一对一模式，识别所述非关系型数据配置信息是否包括溯源信息；
若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到所述第二日志数据。
6.根据权利要求1至5任一项所述的数据库增量同步响应方法，其特征在于，还包括：
当接收到功能特性更新请求时，动态化更新当前配置信息，以增强当前功能特性。
7.一种数据库增量同步响应装置，其特征在于，所述装置包括：
第一获取模块，用于根据数据库修改请求，获取关系型数据库中的增量变更日志；所述增量变更日志为所述关系型数据库修改数据时对应的日志数据；
解析模块，用于根据关系型数据配置信息，解析所述增量变更日志，得到第一日志数据，并将所述第一日志数据发送至消息队列；
第二获取模块，用于获取所述消息队列中所述第一日志数据；
溯源模块，用于根据非关系型数据配置信息，若所述非关系型数据配置信息包括溯源信息，则对所述第一日志数据进行溯源处理，得到第二日志数据；所述第二日志数据包括所述增量变更日志的源数据信息；
输出模块，用于将所述第二日志数据输出至非关系型数据库。
8.根据权利要求7所述的装置，其特征在于，所述解析模块，包括：
获取单元，用于获取所述关系型数据配置信息；
解析单元，用于解析所述增量变更日志，得到初始化增量变更日志；
处理单元，用于根据所述关系型数据配置信息，对所述初始化增量变更日志进行转换、过滤、归并处理，得到所述第一日志数据；
消息队列发送单元，用于将所述第一日志数据发送至所述消息队列。
9.一种数据库增量同步响应设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6任意一项所述的数据库增量同步响应方法的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在数据库增量同步响应设备/装置上运行时，使得数据库增量同步响应设备/装置执行如权利要求1-6任意一项所述的数据库增量同步响应方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168891.6A CN114547199A (zh) | 2022-02-23 | 2022-02-23 | 数据库增量同步响应方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168891.6A CN114547199A (zh) | 2022-02-23 | 2022-02-23 | 数据库增量同步响应方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114547199A true CN114547199A (zh) | 2022-05-27 |
Family
ID=81678260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210168891.6A Pending CN114547199A (zh) | 2022-02-23 | 2022-02-23 | 数据库增量同步响应方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114547199A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821245A (zh) * | 2023-07-05 | 2023-09-29 | 贝壳找房(北京)科技有限公司 | 分布式场景下数据聚合同步方法及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴（中国）科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
| CN109492012A (zh) * | 2018-10-31 | 2019-03-19 | 厦门安胜网络科技有限公司 | 一种数据实时统计和检索的方法、装置及存储介质 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| CN112000737A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于多云管理的数据同步方法、系统、终端及存储介质 |
| CN112182001A (zh) * | 2020-09-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 数据库增量同步至动态es索引库的方法、装置和介质 |
| CN112307037A (zh) * | 2019-07-26 | 2021-02-02 | 北京京东振世信息技术有限公司 | 一种数据同步方法和装置 |
| CN113742392A (zh) * | 2021-09-17 | 2021-12-03 | 中国银行股份有限公司 | 一种数据同步方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-23 CN CN202210168891.6A patent/CN114547199A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴（中国）科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
| CN108804237A (zh) * | 2017-05-05 | 2018-11-13 | 北京京东尚科信息技术有限公司 | 数据实时统计方法、装置、存储介质和电子设备 |
| CN109492012A (zh) * | 2018-10-31 | 2019-03-19 | 厦门安胜网络科技有限公司 | 一种数据实时统计和检索的方法、装置及存储介质 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| CN112307037A (zh) * | 2019-07-26 | 2021-02-02 | 北京京东振世信息技术有限公司 | 一种数据同步方法和装置 |
| CN112000737A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于多云管理的数据同步方法、系统、终端及存储介质 |
| CN112182001A (zh) * | 2020-09-27 | 2021-01-05 | 浪潮云信息技术股份公司 | 数据库增量同步至动态es索引库的方法、装置和介质 |
| CN113742392A (zh) * | 2021-09-17 | 2021-12-03 | 中国银行股份有限公司 | 一种数据同步方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821245A (zh) * | 2023-07-05 | 2023-09-29 | 贝壳找房(北京)科技有限公司 | 分布式场景下数据聚合同步方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11310313B2 (en) | Multi-threaded processing of search responses returned by search peers | |
| US11184467B2 (en) | Multi-thread processing of messages | |
| CN116737775A (zh) | 分布式事件处理系统中的数据序列化 | |
| US20120158655A1 (en) | Non-relational function-based data publication for relational data | |
| CN111209352B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN114880346B (zh) | 一种数据处理方法及相关组件、加速处理器 | |
| EP2947582A1 (en) | Computing device and method for executing database operation command | |
| US20190034500A1 (en) | Creating dashboards for viewing data in a data storage system based on natural language requests | |
| JP2018060570A (ja) | 単一テーブルから複数テーブルへの参照データセグメント化 | |
| CN114547199A (zh) | 数据库增量同步响应方法、装置及计算机可读存储介质 | |
| US8739184B2 (en) | System and method for aggregating data from multiple sources to provide a single CIM object | |
| CN110069565B (zh) | 一种分布式数据库数据批量处理的方法及装置 | |
| CN113254519A (zh) | 多源异构数据库的访问方法、装置、设备和存储介质 | |
| CN113934767A (zh) | 一种数据处理的方法及装置、计算机设备和存储介质 | |
| US11475017B2 (en) | Asynchronous data enrichment for an append-only data store | |
| US10516767B2 (en) | Unifying realtime and static data for presenting over a web service | |
| US20130238669A1 (en) | Using Target Columns in Data Transformation | |
| US11836146B1 (en) | Storing indexed fields per source type as metadata at the bucket level to facilitate search-time field learning | |
| US11757959B2 (en) | Dynamic data stream processing for Apache Kafka using GraphQL | |
| CN109062929B (zh) | 一种查询任务通信方法及系统 | |
| CN112765128B (zh) | 基于repl的数据开发方法、系统和电子设备 | |
| CN117390040B (zh) | 基于实时宽表的业务请求处理方法、设备及存储介质 | |
| US11714799B1 (en) | Automated testing of add-on configurations for searching event data using a late-binding schema | |
| US11902081B1 (en) | Managing collection agents via an agent controller | |
| US20230289354A1 (en) | Endpoint scan and profile generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220527 |
|
| RJ01 | Rejection of invention patent application after publication |