CN110807067A - 关系型数据库和数据仓库的数据同步方法、装置及设备 - Google Patents
关系型数据库和数据仓库的数据同步方法、装置及设备 Download PDFInfo
- Publication number
- CN110807067A CN110807067A CN201910930798.2A CN201910930798A CN110807067A CN 110807067 A CN110807067 A CN 110807067A CN 201910930798 A CN201910930798 A CN 201910930798A CN 110807067 A CN110807067 A CN 110807067A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- relational database
- task
- records
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000001360 synchronised effect Effects 0.000 claims abstract description 67
- 238000005192 partition Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/235—Update request formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。该方法包括：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。本公开涉及的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。
Description
技术领域
本公开涉及计算机信息处理领域，具体而言，涉及一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。
背景技术
关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。数据仓库的数据与关系型数据库中的数据差别甚大。第一，数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中，有许多重复和不一样的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能直接由关系型数据库直接得到。
因此在关系型数据库中的数据进入数据仓库进行数据处理之前，需要经过数据转化工作，这也是目前数据仓库技术中的关键点。目前经常是在每天的业务处理较少的时期，预留出一段时间专供数据库与数据仓库之间进行数据同步，但是随着很多业务数据对数据实时性要求的提高，目前的做法已经不能满足需要。因此，需要一种新的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本公开提供一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提出一种关系型数据库和数据仓库的数据同步方法，该方法包括：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
可选地，还包括：在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。
可选地，还包括：在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。
可选地，将所述多个数据更新记录分别传输到分布式发布订阅消息系统的多个分区中包括：获取所述关系型数据库中的多个数据表的哈希值；以及将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。
可选地，根据所述数据更新记录生成同步任务包括：将分区中的所述数据更新记录传输到缓存中；以及根据所述更新记录生成所述同步任务。
可选地，根据所述同步任务将所述多条数据更新记录同步到数据仓库中包括：将生成的多个同步任务合并为同步任务队列；按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。
可选地，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：加载所述同步任务队列；以及依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。
可选地，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。
可选地，将所述关系数据库中的数据更新同步到数据仓库之后还包括：回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。
可选地，所述同步任务包括删除指令、插入指令中的至少一个。
根据本公开的一方面，提出一种关系型数据库和数据仓库的数据同步装置，该装置包括：日志模块，用于实时获取来自关系型数据库的二进制日志文件；记录模块，用于将所述二进制日志文件进行解析，生成多条数据更新记录；传输模块，用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；任务模块，用于根据所述数据更新记录生成同步任务；以及同步模块，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
可选地，还包括：删除模块，用于在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。
可选地，还包括：回滚模块，用于在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。
可选地，所述传输模块包括：哈希单元，用于获取所述关系型数据库中的多个数据表的哈希值；以及传输单元，用于将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。
可选地，所述任务模块包括：缓存单元，用于将分区中的所述数据更新记录传输到缓存中；以及任务单元，用于根据所述更新记录生成所述同步任务。
可选地，所述同步模块包括：合并单元，用于将生成的多个同步任务合并为同步任务队列；更新单元，用于按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及同步单元，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
可选地，所述任务模块还包括：加载单元，用于加载所述同步任务队列；以及执行单元，用于依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。
可选地，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。
可选地，所述同步模块还包括：回传单元，用于回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。
可选地，所述同步任务包括删除指令、插入指令中的至少一个。
根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本公开的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法及装置的系统框图。
图2是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。
图3是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的示意图。
图4是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。
图5是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法及装置的系统框图。
如图1所示，系统架构10可以包括关系型数据库101，数据解析装置102，分布式发布订阅消息系统103，同步服务器104，数据仓库105。还可包括网络106，网络106用以在关系型数据库101，数据解析装置102之间；数据解析装置102，分布式发布订阅消息系统103之间；分布式发布订阅消息系统103，同步服务器104之间；同步服务器104，数据仓库105之间提供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
关系型数据库101可以为MySQL关系型数据库，关系型数据库101可采用表格的储存方式，数据以行和列的方式进行存储。关系型数据库101按照结构化的方法存储数据，每个数据表都必须对各个字段定义好(也就是先定义好表的结构)，再根据表的结构存入数据。关系型数据库101可支持数据库的CRUD(增加，查询，更新，删除)操作。
数据解析装置102可为Maxwell工具，Maxwell是一个能实时读取MySQL二进制日志binlog，并生成JSON格式的消息，作为生产者发送给Kafka或其它平台的应用程序。
分布式发布订阅消息系统103可为Kafka系统，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。可以用Kafka可以收集各种数据库的日志文件，通过kafka以统一接口服务的方式开放给各种消费者。分布式发布订阅消息系统103中发布订阅的对象是topic，即为消息存放的目录或主题。可以为关系型数据库中能够的每个表名均创建一个topic。
同步服务器104，可将分布式发布订阅消息系统103传输过来的数据，进行数据处理之后，实时同步到数据仓库105中。
数据仓库105可为Greenplum数据仓库，数据仓库105的架构可采用了MPP(大规模并行处理)。在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(Data Redistribution)。Greenplum支持50PB(1PB＝1024TB)级海量数据的存储和处理，Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放，并且存放详尽历史的数据轨迹，业务用户不用再面对一个又一个信息孤岛，也不再困惑于不同版本数据导致的偏差，同时对于IT人员也降低管理维护工作的复杂度。
在一个具体的应用场景中，关系型数据库101生成二进制日志文件，数据解析装置102实时获取二进制日志文件，并将所述二进制日志文件进行解析，生成多条数据更新记录，分布式发布订阅消息系统103获取多条数据更新记录，并将其存储在多个分区中，同步服务器104根据所述数据更新记录生成同步任务，并根据所述同步任务将所述多条数据更新记录同步到数据仓库105中。
图2是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。关系型数据库和数据仓库的数据同步方法20至少包括步骤S202至S210。
如图2所示，在S202中，实时获取来自关系型数据库的二进制日志文件。关系型数据库可以为MySQL关系型数据库，二进制日志文件可例如为binlog文件，binlog用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。
其中，MySQL需要先启用binlog功能，然后才能生成binlog文件。
在S204中，将所述二进制日志文件进行解析，生成多条数据更新记录。可通过Maxwell工具进行二进制文件的解析，Maxwell可以对数据进行分区，解决数据倾斜问题，发送到kafka的数据支持database、table、column等级别的数据分区。
在S206中，将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中。可包括：获取所述关系型数据库中的多个数据表的哈希值；以及将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。
更具体的可包括：根据数据表的数据量，由所述数据表生成至少一个数据任务；将所述数据表的名称的哈希值作为所述至少一个数据任务的名称；以及以所述数据任务为单位将所述多个数据表分别传输到分布式发布订阅消息系统的多个分区中。
分布式发布订阅消息系统可为Kafka系统，Kafka系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。Kafka基于发布-订阅模式进行两个应用之间的消息传输。
在发布-订阅消息系统中，消息被持久化到一个topic中。消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除，一直到接到了删除指令或者预定事件发生时，数据才会被删除，这种方式保证了数据的安全性，免得被误删除。
在S208中，根据所述数据更新记录生成同步任务。包括：将分区中的所述数据更新记录传输到缓存中；以及根据所述更新记录生成所述同步任务。所述同步任务包括删除指令、插入指令中的至少一个。
同步任务可为Task任务，Task任务表示一个通过或不通过线程实现的并发操作，任务是可组合的，使用延续可将它们串联在一起，它们可以使用线程池减少启动延迟，可使用回调方法避免多个线程同时等待I/O密集操作。
在缓存中生成不同的分区，按照分区将task依次存储，在后续的存储过程中，还可以以数据任务为存储单位通过同步工具将所述多个分区中的数据更新记录同步至数据仓库中
在S210中，根据所述同步任务将所述多条数据更新记录同步到数据仓库中。包括：将生成的多个同步任务合并为同步任务队列；按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。
其中，所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。
在一个实施例中，还包括将所述数据更新记录分别存储在删除表和插入表中。更具体的，将所述数据更新记录分别存储在删除表和插入表中包括：对数据更新记录中的数据进行筛选处理；根据筛选处理结果确定所述数据更新记录中的指令类别，基于所述指令类别将所述数据更新记录中的数据分别存储在所述删除表和所述插入表中。
在一个实施例中，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：加载所述同步任务队列；以及依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。
根据本公开的关系型数据库和数据仓库的数据同步方法，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。
应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的示意图。
图4是根据另一示例性实施例示出的一种关系型数据库和数据仓库的数据同步方法的流程图。图4所示的流程是对图2所示的流程的补充描述。
如图4所示，在S402中，根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
在S404中，回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。
在S406中，在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。
在S408中，在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。
其中，回滚(Rollback)指的是程序或数据处理错误，将程序或数据恢复到上一次正确状态的行为。回滚包括程序回滚和数据回滚等类型。具体可通过删除由一个或多个部分完成的事务执行的更新。为保证应用程序、数据库或系统错误后还原数据库的完整性。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图5是根据一示例性实施例示出的一种关系型数据库和数据仓库的数据同步装置的框图。如图5所示，关系型数据库和数据仓库的数据同步装置50包括：日志模块502，记录模块504，传输模块506，任务模块508，同步模块510。
日志模块502用于实时获取来自关系型数据库的二进制日志文件；
记录模块504用于将所述二进制日志文件进行解析，生成多条数据更新记录；
传输模块506用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；传输模块506包括：哈希单元，用于获取所述关系型数据库中的多个数据表的哈希值；以及传输单元，用于将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。
任务模块508用于根据所述数据更新记录生成同步任务；任务模块508包括：缓存单元，用于将分区中的所述数据更新记录传输到缓存中；以及任务单元，用于根据所述更新记录生成所述同步任务。
同步模块510用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
同步模块510包括：合并单元，用于将生成的多个同步任务合并为同步任务队列；更新单元，用于按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及同步单元，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
同步模块510还包括：加载单元，用于加载所述同步任务队列；以及执行单元，用于依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。所述同步任务包括删除指令、插入指令中的至少一个。所述预定规则包括下列的任一种或其组合：当读取分区中的数据更新记录的时间达到预定阈值；当读取分区中的数据更新记录条目数量达到预定阈值。
同步模块510还包括：回传单元，用于回传所述同步任务的执行情况，所述执行情包括执行成功和执行不成功。
关系型数据库和数据仓库的数据同步装置50还可包括：删除模块，用于在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。回滚模块，用于在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。
根据本公开的关系型数据库和数据仓库的数据同步装置，将关系型数据库的二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中的方式，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2，图4中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图7所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种关系型数据库和数据仓库的数据同步方法，其特征在于，包括：
实时获取来自关系型数据库的二进制日志文件；
将所述二进制日志文件进行解析，生成多条数据更新记录；
将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；
根据所述数据更新记录生成同步任务；以及
根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
2.如权利要求1所述的方法，其特征在于，还包括：
在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。
3.如权利要求1-2中任一所述的方法，其特征在于，还包括：
在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。
4.如权利要求1-3中任一所述的方法，其特征在于，将所述多个数据更新记录分别传输到分布式发布订阅消息系统的多个分区中包括：
获取所述关系型数据库中的多个数据表的哈希值；以及
将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。
5.如权利要求1-4中任一所述的方法，其特征在于，根据所述数据更新记录生成同步任务包括：
将分区中的所述数据更新记录传输到缓存中；以及
根据所述更新记录生成所述同步任务。
6.如权利要求1-5中任一所述的方法，其特征在于，根据所述同步任务将所述多条数据更新记录同步到数据仓库中包括：
将生成的多个同步任务合并为同步任务队列；
按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及
基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。
7.如权利要求1-6中任一所述的方法，其特征在于，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：
加载所述同步任务队列；以及
依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。
8.一种关系型数据库和数据仓库的数据同步装置，其特征在于，包括：
日志模块，用于实时获取来自关系型数据库的二进制日志文件；
记录模块，用于将所述二进制日志文件进行解析，生成多条数据更新记录；
传输模块，用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；
任务模块，用于根据所述数据更新记录生成同步任务；以及
同步模块，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910930798.2A CN110807067B (zh) | 2019-09-29 | 2019-09-29 | 关系型数据库和数据仓库的数据同步方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910930798.2A CN110807067B (zh) | 2019-09-29 | 2019-09-29 | 关系型数据库和数据仓库的数据同步方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807067A true CN110807067A (zh) | 2020-02-18 |
| CN110807067B CN110807067B (zh) | 2023-12-22 |
Family
ID=69487924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910930798.2A Active CN110807067B (zh) | 2019-09-29 | 2019-09-29 | 关系型数据库和数据仓库的数据同步方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807067B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767340A (zh) * | 2020-05-29 | 2020-10-13 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备和介质 |
| CN112015819A (zh) * | 2020-08-31 | 2020-12-01 | 杭州欧若数网科技有限公司 | 分布式图数据库的数据更新方法、装置、设备及介质 |
| CN112035422A (zh) * | 2020-08-20 | 2020-12-04 | 郑州信大捷安信息技术股份有限公司 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
| CN112100276A (zh) * | 2020-09-03 | 2020-12-18 | 上海微亿智造科技有限公司 | 实时处理数据库变化的数据同步系统、方法及介质 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112541816A (zh) * | 2020-12-21 | 2021-03-23 | 四川新网银行股份有限公司 | 互联网金融消费信贷批量业务分布式流计算处理引擎 |
| CN113254534A (zh) * | 2021-06-04 | 2021-08-13 | 四川省明厚天信息技术股份有限公司 | 数据同步方法、装置及计算机存储介质 |
| CN113360319A (zh) * | 2021-05-14 | 2021-09-07 | 山东英信计算机技术有限公司 | 一种数据备份方法和装置 |
| CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN113449043A (zh) * | 2021-07-21 | 2021-09-28 | 中国人民解放军61932部队 | 数据同步方法、装置、计算机设备和存储介质 |
| CN113760920A (zh) * | 2020-08-20 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种数据同步方法、装置、电子设备和存储介质 |
| CN114036226A (zh) * | 2021-11-03 | 2022-02-11 | 北京金山云网络技术有限公司 | 一种数据同步方法、装置、设备及存储介质 |
| CN114547193A (zh) * | 2022-01-29 | 2022-05-27 | 北京声智科技有限公司 | 数据处理方法、装置、系统、电子设备及存储介质 |
| US20230051934A1 (en) * | 2021-08-11 | 2023-02-16 | Jpmorgan Chase Bank, N.A. | Method and system for data synchronization |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060173926A1 (en) * | 2000-07-06 | 2006-08-03 | Microsoft Corporation | Data transformation to maintain detailed user information in a data warehouse |
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| CN107180116A (zh) * | 2017-06-28 | 2017-09-19 | 努比亚技术有限公司 | 一种数据同步处理方法、移动终端以及计算机可读存储介质 |
| CN109284334A (zh) * | 2018-09-05 | 2019-01-29 | 拉扎斯网络科技（上海）有限公司 | 实时数据库同步方法、装置、电子设备及存储介质 |
| CN109739929A (zh) * | 2018-12-18 | 2019-05-10 | 中国人民财产保险股份有限公司 | 数据同步方法、装置及系统 |
-
2019
- 2019-09-29 CN CN201910930798.2A patent/CN110807067B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060173926A1 (en) * | 2000-07-06 | 2006-08-03 | Microsoft Corporation | Data transformation to maintain detailed user information in a data warehouse |
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| CN107180116A (zh) * | 2017-06-28 | 2017-09-19 | 努比亚技术有限公司 | 一种数据同步处理方法、移动终端以及计算机可读存储介质 |
| CN109284334A (zh) * | 2018-09-05 | 2019-01-29 | 拉扎斯网络科技（上海）有限公司 | 实时数据库同步方法、装置、电子设备及存储介质 |
| CN109739929A (zh) * | 2018-12-18 | 2019-05-10 | 中国人民财产保险股份有限公司 | 数据同步方法、装置及系统 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN113377863B (zh) * | 2020-03-10 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN111767340B (zh) * | 2020-05-29 | 2024-01-05 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备和介质 |
| CN111767340A (zh) * | 2020-05-29 | 2020-10-13 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备和介质 |
| CN112035422B (zh) * | 2020-08-20 | 2022-03-25 | 郑州信大捷安信息技术股份有限公司 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
| CN113760920A (zh) * | 2020-08-20 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种数据同步方法、装置、电子设备和存储介质 |
| CN112035422A (zh) * | 2020-08-20 | 2020-12-04 | 郑州信大捷安信息技术股份有限公司 | 基于ipfs的分布式实时数据同步方法、节点设备及系统 |
| CN113760920B (zh) * | 2020-08-20 | 2024-09-20 | 北京沃东天骏信息技术有限公司 | 一种数据同步方法、装置、电子设备和存储介质 |
| CN112015819A (zh) * | 2020-08-31 | 2020-12-01 | 杭州欧若数网科技有限公司 | 分布式图数据库的数据更新方法、装置、设备及介质 |
| CN112100276A (zh) * | 2020-09-03 | 2020-12-18 | 上海微亿智造科技有限公司 | 实时处理数据库变化的数据同步系统、方法及介质 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112541816A (zh) * | 2020-12-21 | 2021-03-23 | 四川新网银行股份有限公司 | 互联网金融消费信贷批量业务分布式流计算处理引擎 |
| CN113360319A (zh) * | 2021-05-14 | 2021-09-07 | 山东英信计算机技术有限公司 | 一种数据备份方法和装置 |
| CN113254534A (zh) * | 2021-06-04 | 2021-08-13 | 四川省明厚天信息技术股份有限公司 | 数据同步方法、装置及计算机存储介质 |
| CN113449043A (zh) * | 2021-07-21 | 2021-09-28 | 中国人民解放军61932部队 | 数据同步方法、装置、计算机设备和存储介质 |
| US20230051934A1 (en) * | 2021-08-11 | 2023-02-16 | Jpmorgan Chase Bank, N.A. | Method and system for data synchronization |
| US11809452B2 (en) * | 2021-08-11 | 2023-11-07 | Jpmorgan Chase Bank, N.A. | Method and system for data synchronization |
| CN114036226A (zh) * | 2021-11-03 | 2022-02-11 | 北京金山云网络技术有限公司 | 一种数据同步方法、装置、设备及存储介质 |
| CN114547193A (zh) * | 2022-01-29 | 2022-05-27 | 北京声智科技有限公司 | 数据处理方法、装置、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807067B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807067B (zh) | 关系型数据库和数据仓库的数据同步方法、装置及设备 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN112948486B (zh) | 批量数据同步方法、系统及电子设备 | |
| CN109446274B (zh) | 大数据平台bi元数据管理的方法和装置 | |
| US9928288B2 (en) | Automatic modeling of column and pivot table layout tabular data | |
| CN113326247B (zh) | 云端数据的迁移方法、装置及电子设备 | |
| CN114417408B (zh) | 数据处理方法、装置、设备以及存储介质 | |
| CN109522341A (zh) | 实现基于sql的流式数据处理引擎的方法、装置、设备 | |
| CN112817720A (zh) | 一种可视化工作流调度方法、装置及电子设备 | |
| CN116009428A (zh) | 基于流式计算引擎的工业数据监控系统和方法、介质 | |
| CN112988741A (zh) | 实时业务数据合并方法、装置及电子设备 | |
| CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN112445866A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN110795478A (zh) | 一种应用于金融业务的数据仓库更新方法、装置和电子设备 | |
| CN113791586A (zh) | 一种新型的工业app与标识注册解析集成方法 | |
| CN116010452A (zh) | 基于流式计算引擎的工业数据处理系统和方法、介质 | |
| CN115640300A (zh) | 一种大数据管理方法、系统、电子设备和存储介质 | |
| CN110502566B (zh) | 近实时数据采集方法、装置、电子设备、存储介质 | |
| CN116361522A (zh) | 一种数据的展示方法和装置 | |
| CN113326261B (zh) | 数据血缘关系提取方法、装置及电子设备 | |
| CN117421328B (zh) | 基于人工智能的数据治理方法、系统、设备及可读介质 | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| CN116821098A (zh) | 数据仓库管理方法、服务系统和存储介质 | |
| CN115714807A (zh) | 工业场景数据中台的设计系统 | |
| CN114254081B (zh) | 企业大数据搜索系统、方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |