CN111611244B - 一种将数据库的数据进行级联的方法及装置 - Google Patents

一种将数据库的数据进行级联的方法及装置 Download PDF

Info

Publication number
CN111611244B
CN111611244B CN202010433654.9A CN202010433654A CN111611244B CN 111611244 B CN111611244 B CN 111611244B CN 202010433654 A CN202010433654 A CN 202010433654A CN 111611244 B CN111611244 B CN 111611244B
Authority
CN
China
Prior art keywords
data
target
cascade
target cascade
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010433654.9A
Other languages
English (en)
Other versions
CN111611244A (zh
Inventor
林晓华
温凌敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haoyun Technologies Co Ltd
Original Assignee
Haoyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haoyun Technologies Co Ltd filed Critical Haoyun Technologies Co Ltd
Priority to CN202010433654.9A priority Critical patent/CN111611244B/zh
Publication of CN111611244A publication Critical patent/CN111611244A/zh
Application granted granted Critical
Publication of CN111611244B publication Critical patent/CN111611244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种将数据库的数据进行级联的方法及装置，所述方法包括：实时接收数据来源环境发送的的数据变更通知；根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。本发明能够根据需要对需要进行级联的数据制定相应条件过滤规则，并能将数据根据需要级联到指定的目标环境中，从而有效提高了数据级联的灵活性。

Description

一种将数据库的数据进行级联的方法及装置
技术领域
本发明涉及数据级联技术领域，尤其是涉及一种将数据库的数据进行级联的方法及装置。
背景技术
数据库数据的级联实质上是一种数据同步。通常数据库官方会对这种数据同步需求提供支持，比如mysql的主从同步功能。但是，使用数据库官方提供的同步工具，往往存在一定的门槛，因为用户要用数据库的命令进行配置指定才能生效，而且缺乏同步状态的直观展示，使用门槛较高。目前一些第三方应用让用户可通过直观的网页操作，来指定数据如何同步，虽然可以降低使用门槛，但是这类第三方应用都只是将数据完整地搬到目标环境，不能对数据进行灵活的级联管理。
发明内容
本发明提供一种将数据库的数据进行级联的方法及装置，以解决现有技术缺乏灵活的数据级联服务的问题，从而提高数据级联的灵活性。
为了解决上述技术问题，本发明实施例提供了一种将数据库的数据进行级联的方法，包括：
实时接收数据来源环境发送的的数据变更通知；
根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；
根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体为：
查询出与所述发生变更的数据表相对应的路由规则配置信息；
根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述发生变更的数据表包括主表及附属表。
为了解决相同的技术问题，本发明还提供了一种将数据库的数据进行级联的装置，包括：
实时接收模块，用于实时接收数据来源环境发送的的数据变更通知；
过滤查询模块，用于根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；
数据过滤模块，用于根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
数据同步模块，用于将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述数据同步模块，具体包括：
路由规则查询单元，用于查询出与所述发生变更的数据表相对应的路由规则配置信息；
路由确定单元，用于根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
数据同步单元，用于将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述发生变更的数据表包括主表及附属表。
与现有技术相比，本发明具有如下有益效果：
本发明实施例提供了一种将数据库的数据进行级联的方法及装置，所述方法包括：实时接收数据来源环境发送的的数据变更通知；根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。本发明能够根据需要对需要进行级联的数据制定相应条件过滤规则，并能将数据根据需要级联到指定的目标环境中，从而有效提高了数据级联的灵活性。
附图说明
图1是本发明一实施例提供的将数据库的数据进行级联的方法的流程示意图；
图2是本发明一实施例提供的条件过滤流程示意图；
图3是本发明一实施例提供的条件过滤具体步骤流程示意图；
图4是本发明一实施例提供的条件路由流程示意图；
图5是本发明一实施例提供的条件路由具体步骤示意图；
图6是本发明一实施例提供的将数据库的数据进行级联的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明实施例提供了一种将数据库的数据进行级联的方法，包括步骤：
S1、实时接收数据来源环境发送的的数据变更通知；
S2、根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息。作为优选方案，所述发生变更的数据表包括主表及附属表。
S3、根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
S4、将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，步骤S4具体包括：
S410、查询出与所述发生变更的数据表相对应的路由规则配置信息；
S420、根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
S430、将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，步骤S430具体包括：
S431、当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
S432、将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，步骤S432具体包括：
S4320、根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
S4321、将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
需要说明的是，本发明技术方案的关键点包括：
(1)在提供灵活配置的同时，给用户的配置要易上手、易理解，要贴近现实世界的业务。
(2)对哪些数据要级联，不仅可支持到表，还要支持到行数据的颗粒程度。
(3)对要级联到哪个目标环境，不仅要能支持固定的目标，还要能根据数据本身进行动态的计算来确定。
基于上述方案，为便于更好的理解本发明实施例提供的将数据库的数据进行级联的方法，以下进行详细说明：
1、条件过滤
即指定表中每一行的数据，在其符合什么条件时才会被级联。
1.1、条件种类
在现实业务中，表和表之间的数据对应关系常出现以下两种类型：
a、主-附表关系：1对1、1对n；
常见于其中一张表为主表，另一张表(注：下文中以“附属表”代称)作为主表的扩展信息。
b、无强关联关系：1对0；
针对这两种常见的关系类型，本发明的条件支持两种工作模式：
(1)附属表模式：作用于主-附关系中的附表；
(2)普通单表模式：作用于主-附关系中的主表，以及无强关联关系的表。
1.1.1、附属表过滤模式
附属表数据是否符合条件过滤，其结果完全等同于对应主表数据是否符合该主表的条件过滤。若对应的主表数据通过该主表的条件过滤，那么此附表数据就视为通过条件过滤。反之同理。
在此模式下仅支持：附表数据是否符合条件将跟随对应的主表行数据的过滤条件判断。
1.1.2、普通单表过滤模式
此模式下支持：
1)可根据数据中某个字段的值是否与期望值相等、大于、小于、大于等于、小于等于进行过滤；
2)多个字段各自的过滤规则，可通过与、或进行组合。
1.2、工作流程
1.2.1、外部视角
图2简述了本服务和其它服务，在完成级联过程产生的交互流程，以及条件过滤发生在何处。
注：级联是两个及以上的环境之间的数据同步。
1.2.2具体示例
图3简述了本级联服务内部，条件过滤在整个级联处理过程中，处在何处，及有哪些具体步骤。
以下以具体数据为例，对条件过滤处理过程进行详述。
示例数据：
①表user将新增以下3条数据：
②表user_extend是user的附属表，也将对应新增以下3条数据：
③以上新增的数据，将会经过级联分组“active_user”(正常用户)的过滤：
此组要求过滤出status(用户状态)在1～4之间的用户及其附属表信息。
预期过滤结果为：
以及：
④以上新增的数据，还将会经过级联分组“senior_user”(高级用户)的过滤：
此组要求过滤出level(用户级别)在2以上的用户及其附属表信息。预期过滤结果为：
以及：
1.3.1、普通单表过滤示例
示例数据中，只有表user表为普通单表。只有表user_extend表为附属表。
2、条件路由
即指定表中每一行的数据，在其符合什么条件时会被级联到哪个目标环境。
2.1、条件种类
其中条件目前支持：
1)静态路由：指定某个环境标识，和匹配条件；
2)动态路由：指定某个字段，字段内容存储了环境标识；
2.1、工作流程
2.1.1、外部视角
图4简述了本服务和其它服务，在完成级联过程产生的交互流程，以及条件路由发生在何处。
2.1.2、内部视角
图5简述了本级联服务内部，条件路径在整个级联处理过程中，处在何处，及有哪些具体步骤。
2.2、具体示例
以下以具体数据为例，对内部视角中的条件路由处理过程进行详述。
2.2.1、示例数据描述
①存在以下级联环境
环境标识 环境地址
B 192.168.11.101
C 192.168.21.101
②表user将新增以下3条数据：
③以上新增的数据，将会经过级联分组“active_user”(正常用户)的过滤，过滤结果为：
④以上过滤结果，还会经过“静态路由”类型的路由计算，将level(用户级别)为5的用户的数据，级联到B环境。路由计算结果为：
⑤以上新增的user表数据，还将会经过级联分组“senior_user”(高级用户)的过滤，过滤结果为：
⑥以上过滤结果，还会经过“动态路由”类型的路由计算：
根据字段region来确定路由到哪个环境。路由计算结果为：
⑦由于A目标环境并不存在，故原user表变更的数据，经过各组过滤、路由计算后，最终计算结果为：
3、级联分组
每张表要级联的行数据，可视为一个数据块。多张表就是多个数据块。
将这些在业务层面，存在紧密联系的一个或多个数据块，按业务层面划为一个数据分组。
级联策略(内容为：实时还是定时进行级联，数据来源于哪个环境等)只对分组进行制定，不直接对表制定，分组内不同数据块由同一份级联策略控制。
比如，用户信息这一分组下，包含角色表、用户表、角色-用户关系表，3张表的数据按业务视角打包一起做级联。
3.2、具体示例
以下以用户要制定一条级联策略为视角，来描述级联分组的作用。
先对级联策略进行解释：
描述了哪些来自哪个环境的数据，要在什么时间条件下，级联到哪个目标环境的规则，就叫级联策略。
如上所述，一条级联策略可以包含以下4个要素：
1、目标数据：哪些数据要级联；
2、数据来源环境：目标数据来源于哪个环境；
3、数据目标环境：目标数据要级联到哪个环境；
4、触发时间条件：是级联所有实时发生的变化，还是到了某个时间点再对当前数据状态进行级联。
用户根据业务需求制定好策略，级联服务就会根据策略进行工作。
回到示例继续说明。
假设有一条需求为：将环境O的高级用户数据，在每天2：00的时候，根据各个用户的所属区域，级联到对应的区域的环境。
则要制定的级联策略为：
有了级联分组的概念，用户在策略新增时，
就可以直接复用我们在2.2条件路由具体示例中定好的senior_user分组，然后再选择时间模式、来源环境即可。
如：
如果没有级联分组的概念，那么用户在策略新增时，还需要思考目标数据包含哪些表，等于要求用户去了解底层实现逻辑。
与现有技术相比，本发明具有如下有益效果：
1)可指定出哪些表、表下的哪些行数据要级联，而不是只能全表数据级联。
2)可根据数据特征，指定要级联的数据要级联到哪个目标环境，而不是只能指定固定的目标环境。
3)可将多表指定要级联的数据，归属于一个分组，然后对分组进行级联方式配置，实现按业务视角的数据打包管理。而不是让制定级联策略的人去了解各个数据表的关系，孤立地配置各个表。本发现采用的方式，对用户来说离现实世界的业务模型更近、更易管理。
需要说明的是，对于以上方法或流程实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。
请参见图6，为了解决相同的技术问题，本发明还提供了一种将数据库的数据进行级联的装置，包括：
实时接收模块1，用于实时接收数据来源环境发送的的数据变更通知；
过滤查询模块2，用于根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；
数据过滤模块3，用于根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
数据同步模块4，用于将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述数据同步模块4，具体包括：
路由规则查询单元，用于查询出与所述发生变更的数据表相对应的路由规则配置信息；
路由确定单元，用于根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
数据同步单元，用于将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
进一步地，所述发生变更的数据表包括主表及附属表。
可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种将数据库的数据进行级联的装置，可以实现本发明任意一项方法项实施例提供的将数据库的数据进行级联的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种将数据库的数据进行级联的方法，其特征在于，包括：
实时接收数据来源环境发送的的数据变更通知；
根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；
根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步；所述目标级联环境是与所述数据来源环境不同的数据环境；
所述将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体为：
查询出与所述发生变更的数据表相对应的路由规则配置信息；
根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
2.根据权利要求1所述的将数据库的数据进行级联的方法，其特征在于，所述将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
3.根据权利要求2所述的将数据库的数据进行级联的方法，其特征在于，所述将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
4.根据权利要求3所述的将数据库的数据进行级联的方法，其特征在于，所述发生变更的数据表包括主表及附属表。
5.一种将数据库的数据进行级联的装置，其特征在于，包括：
实时接收模块，用于实时接收数据来源环境发送的的数据变更通知；
过滤查询模块，用于根据所述数据变更通知，查询出与发生变更的数据表相对应的条件过滤配置信息；
数据过滤模块，用于根据所述条件过滤配置信息，对所述发生变更的数据表进行遍历并筛选出目标级联数据集合；其中，所述目标级联数据集合包括若干项需要进行级联的目标级联数据；
数据同步模块，用于将所述目标级联数据集合进行压缩打包并发送至预设的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步；所述目标级联环境是与所述数据来源环境不同的数据环境；
所述数据同步模块，具体包括：
路由规则查询单元，用于查询出与所述发生变更的数据表相对应的路由规则配置信息；
路由确定单元，用于根据所述路由规则配置信息确定每一项所述目标级联数据的目标级联环境；
数据同步单元，用于将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
6.根据权利要求5所述的将数据库的数据进行级联的装置，其特征在于，所述将所述目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
当根据所述路由规则配置信息判断到所述目标级联数据的目标级联环境不存在时，将该项目标级联数据从所述目标级联数据集合中移除以更新所述目标级联数据集合；
将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
7.根据权利要求6所述的将数据库的数据进行级联的装置，其特征在于，所述将更新后的目标级联数据集合按照所述路由规则进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步，具体包括：
根据预设的级联策略将所述目标级联数据集合划分为若干个目标级联数据块；
将每一所述目标级联数据块按照所述级联策略进行压缩打包并发送至对应的目标级联环境，以使所述目标级联环境根据所述目标级联数据集合进行数据同步。
8.根据权利要求7所述的将数据库的数据进行级联的装置，其特征在于，所述发生变更的数据表包括主表及附属表。
CN202010433654.9A 2020-05-20 2020-05-20 一种将数据库的数据进行级联的方法及装置 Active CN111611244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433654.9A CN111611244B (zh) 2020-05-20 2020-05-20 一种将数据库的数据进行级联的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433654.9A CN111611244B (zh) 2020-05-20 2020-05-20 一种将数据库的数据进行级联的方法及装置

Publications (2)

Publication Number Publication Date
CN111611244A CN111611244A (zh) 2020-09-01
CN111611244B true CN111611244B (zh) 2023-07-28

Family

ID=72203631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433654.9A Active CN111611244B (zh) 2020-05-20 2020-05-20 一种将数据库的数据进行级联的方法及装置

Country Status (1)

Country Link
CN (1) CN111611244B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004745B (zh) * 2009-09-02 2013-06-12 中国银联股份有限公司 数据转移系统及方法
US10089374B2 (en) * 2012-05-24 2018-10-02 Telefonaktiebolaget Lm Ericsson (Publ) Meta model driven data base replication and synchronization
CN108228814B (zh) * 2017-12-29 2022-02-15 泰康保险集团股份有限公司 数据同步方法及装置
CN109325037A (zh) * 2018-08-17 2019-02-12 中国平安人寿保险股份有限公司 一种针对海量数据的数据同步方法、存储介质和服务器
CN109885581B (zh) * 2019-03-14 2021-09-17 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN110457334A (zh) * 2019-07-31 2019-11-15 北京三快在线科技有限公司 信息推送方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111611244A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
US10915822B2 (en) Complex event processing method, apparatus, and system
US7855978B2 (en) Method of displaying nodes and links
EP3457278B1 (en) Distributed processing system, data processing method, and control node apparatus
CN105956148A (zh) 资源信息的推荐方法和装置
CN106844405A (zh) 数据查询方法和装置
CN109756528A (zh) 频率控制方法及装置、设备、存储介质、服务器
US10296394B2 (en) Consistent hashing
CN110232291A (zh) 智能数据脱敏方法、装置、计算机设备和存储介质
CN111897643A (zh) 线程池配置系统、方法、装置和存储介质
CN106227597A (zh) 任务优先级处理方法和装置
CN111611244B (zh) 一种将数据库的数据进行级联的方法及装置
CN106789147B (zh) 一种流量分析方法及装置
US20180293317A1 (en) Prefix matching using distributed tables for storage services compatibility
CN109299148A (zh) 数据查询方法及服务器
CN104125146A (zh) 一种业务处理方法及装置
Scheller-Wolf Necessary and sufficient conditions for delay moments in FIFO multiserver queues with an application comparing s slow servers with one fast one
CN108733728B (zh) 时序数据统计方法、装置、计算机设备及可读存储介质
CN116303343A (zh) 数据分片方法、装置、电子设备及存储介质
CN110427390B (zh) 数据查询方法及装置、存储介质、电子装置
JP2000181933A (ja) 階層構造作成方法及び装置
US7930489B2 (en) Techniques for optimizing configuration partitioning
CN105847170B (zh) 用于进行消息路由的方法与设备
CN107729579A (zh) 数据库分离设计方法及装置
US10541895B2 (en) Apparatus and method for determining key performance indicators
CN117688594B (zh) 数据库加密混淆的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant