CN110555028A - 数据展示方法以及装置 - Google Patents
数据展示方法以及装置 Download PDFInfo
- Publication number
- CN110555028A CN110555028A CN201910777420.3A CN201910777420A CN110555028A CN 110555028 A CN110555028 A CN 110555028A CN 201910777420 A CN201910777420 A CN 201910777420A CN 110555028 A CN110555028 A CN 110555028A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- service system
- system database
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据展示方法以及装置。该方法包括基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。本申请解决了数据展示效果不佳的技术问题。通过本申请基于数据库日志的消费方式，与业务系统完全解耦合，不会对线上系统造成影响。此外，本申请可以实现实时流处理以及大屏展示功能。
Description
技术领域
本申请涉及大数据处理领域，具体而言，涉及一种数据展示方法以及装置。
背景技术
在一些大数据业务场景中，需要业务系统能实时展示重要的战略数据。
发明人发现，对于大数据的变化结果不能实时反映业务数据的变化。此外，对业务系统性能也有较大的影响。
针对相关技术中数据展示效果不佳的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据展示方法以及装置，以解决数据展示效果不佳的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种数据展示方法。
根据本申请的数据展示方法包括：基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
进一步地，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
进一步地，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
进一步地，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
进一步地，将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统包括：根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
为了实现上述目的，根据本申请的另一方面，提供了一种数据展示装置。
根据本申请的数据展示装置包括：解析模块，用于基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；封装发送模块，用于将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；消费模块，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；展示模块，用于接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
进一步地，所述解析模块包括：第一解析单元，所述封装发送模块包括：第一封装发送单元，
第一解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；
第一封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
进一步地，所述解析模块包括：第二解析单元，所述封装发送模块包括：第二封装发送单元，
第二解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；
第二封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
进一步地，所述解析模块包括：第三解析单元，所述封装发送模块包括：第三封装发送单元，
第三解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；
第三封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
进一步地，所述封装发送模块，还用于根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；
所述消费模块，还用于通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
在本申请实施例中数据展示方法以及装置，采用基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据的方式，通过将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统，达到了通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库的目的，从而实现了接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示的技术效果，进而解决了数据展示效果不佳的技术问题。此外，基于数据库日志的消费方式，与业务系统完全解耦合，不会对线上系统造成影响。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例的数据展示方法流程示意图；
图2是根据本申请第二实施例的数据展示方法流程示意图；
图3是根据本申请第三实施例的数据展示方法流程示意图；
图4是根据本申请第四实施例的数据展示方法流程示意图；
图5是根据本申请第一实施例的数据展示装置结构示意图；
图6是根据本申请第二实施例的数据展示装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S106：
步骤S102，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；
步骤S104，将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；
步骤S106，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；
步骤S108，接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
基于所述业务系统数据库进行日志解析后得到所述业务系统数据库中的变化数据。将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统，然后在通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库，在接收数据请求后在所述业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
具体地，由于用户的交易、申请或者绑定等行为，都是实时记录入数据库的。当数据库数据发生变化时，数据库都会以特定格式写日志文件到磁盘上作为数据变更记录(binlog)。此外，基于数据库binlog日志的消费方式，与业务系统完全解耦合，不会对线上系统造成影响。
基于业务系统数据库进行日志解析可以从binlog反解析出数据库的变化。将数据库中数据的变化封装成JSON格式的消息发送到分布式发布订阅消息系统。需要注意的是，在所述分布式发布订阅消息系统，用于划分为不同的topic，并且可将同一个数据库实例的同一个库的binlog消息放入同一个topic。然后就可以用常驻进程比如基于实时流组件SparkStreaming进行消息的消费。
优选地，可以采用D3+Ant.desig进行预设可视化展示。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据的方式，通过将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统，达到了通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库的目的，从而实现了接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示的技术效果，进而解决了数据展示效果不佳的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
步骤S202，基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
步骤S204，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
基于所述业务系统数据库进行数据变更记录日志解析，得到所述业务系统数据库中的新增数据，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的新增。将数据库中数据的新增封装成JSON格式的消息发送到分布式发布订阅消息系统。
需要注意的是，在所述分布式发布订阅消息系统，用于划分为不同的topic，并且可将同一个数据库实例的同一个库的binlog消息放入同一个topic。然后就可以用常驻进程比如基于实时流组件SparkStreaming进行消息的消费。
根据本申请实施例，作为本实施例中的优选，如图3所示，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
步骤S302，基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
步骤S304，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
基于所述业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的删除。将数据库中数据的删除封装成JSON格式的消息发送到分布式发布订阅消息系统。
需要注意的是，在所述分布式发布订阅消息系统，用于划分为不同的topic，并且可将同一个数据库实例的同一个库的binlog消息放入同一个topic。然后就可以用常驻进程比如基于实时流组件SparkStreaming进行消息的消费。
根据本申请实施例，作为本实施例中的优选，如图4所示，基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
步骤S402，基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
步骤S404，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
基于所述业务系统数据库进行数据变更记录日志解析，得到所述业务系统数据库中的修改数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的修改。将数据库中数据的修改封装成JSON格式的消息发送到分布式发布订阅消息系统。
需要注意的是，在所述分布式发布订阅消息系统，用于划分为不同的topic，并且可将同一个数据库实例的同一个库的binlog消息放入同一个topic。然后就可以用常驻进程比如基于实时流组件SparkStreaming进行消息的消费。
根据本申请实施例，作为本实施例中的优选，将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统包括：
根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
作为本实施例中的优选，根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列，然后通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
需要注意的是，Canal中间件仅仅为本申请实施例中的示例，并不用于限定根本申请的保护范围。
还需要注意的是，Kafka分布式消息队列仅仅为本申请实施例中的示例，并不用于限定根本申请的保护范围。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的装置，如图5所示，该装置包括：解析模块10，用于基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；封装发送模块20，用于将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；消费模块30，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；展示模块40，用于接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
基于所述业务系统数据库进行日志解析后得到所述业务系统数据库中的变化数据。将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统，然后在通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库，在接收数据请求后在所述业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
具体地，由于用户的交易、申请或者绑定等行为，都是实时记录入数据库的。当数据库数据发生变化时，数据库都会以特定格式写日志文件到磁盘上作为数据变更记录(binlog)。
基于业务系统数据库进行日志解析可以从binlog反解析出数据库的变化。将数据库中数据的变化封装成JSON格式的消息发送到分布式发布订阅消息系统。需要注意的是，在所述分布式发布订阅消息系统，用于划分为不同的topic，并且可将同一个数据库实例的同一个库的binlog消息放入同一个topic。然后就可以用常驻进程比如基于实时流组件SparkStreaming进行消息的消费。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述解析模块包括：第一解析单元101，所述封装发送模块包括：第一封装发送单元201，
第一解析单元101，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；
第一封装发送单元201，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
基于所述业务系统数据库进行数据变更记录日志解析，得到所述业务系统数据库中的新增数据，通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的新增。将数据库中数据的新增封装成JSON格式的消息发送到分布式发布订阅消息系统。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述解析模块包括：第二解析单元102，所述封装发送模块包括：第二封装发送单元202，
第二解析单元102，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；
第二封装发送单元202，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
基于所述业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的删除。将数据库中数据的删除封装成JSON格式的消息发送到分布式发布订阅消息系统。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述解析模块包括：第三解析单元103，所述封装发送模块包括：第三封装发送单元203，
第三解析单元103，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；
第三封装发送单元203，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述封装发送模块，还用于根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；
所述消费模块，还用于通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
基于所述业务系统数据库进行数据变更记录日志解析，得到所述业务系统数据库中的修改数据；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
具体地，基于业务系统数据库进行日志解析可以从binlog反解析出数据库的修改。将数据库中数据的修改封装成JSON格式的消息发送到分布式发布订阅消息系统。
需要注意的是，Canal中间件仅仅为本申请实施例中的示例，并不用于限定根本申请的保护范围。
还需要注意的是，Kafka分布式消息队列仅仅为本申请实施例中的示例，并不用于限定根本申请的保护范围。
本申请的实现原理如下：
以今日放款总金额为例，当kafka消息格式如下时：
{
"head":{
"binlog_pos":23906907,
"type":"INSERT",
"binlog_file":"mysql-bin-changelog.100318",
"db":"loan",
"table":"stage_order"},
"after":[
{"name":"order_no",
"update":true,
"value":"BT20190712034118"
},
{
"name":"uid",
"update":true,
"value":"73540d20-9031-4e97-9501-7000bae82066"
},
{
"name":"principle",
"update":true,
"value":"300000"
},
......]
}
经过如下处理：基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
上述伪代码的解释为：放款的表正在插入一行新数据，订单号为BT20190712034118，由ID为73540d20-9031-4e97-9501-7000bae82066的用户产生这一条行为，放款的总金额是3000元。所以今日放款总金额就应该再加上3000元。大屏的浏览器页面向服务器端发起请求，获取最新的今日放款总总金额。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据展示方法，其特征在于，包括：
基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；
将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；
接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
2.根据权利要求1所述的数据展示方法，其特征在于，
基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
3.根据权利要求1所述的数据展示方法，其特征在于，
基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
4.根据权利要求1所述的数据展示方法，其特征在于，
基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据包括：
基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
5.根据权利要求1所述的数据展示方法，其特征在于，
将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统包括：
根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；
通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库包括：
通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
6.一种数据展示装置，其特征在于，包括：
解析模块，用于基于业务系统数据库进行日志解析，得到业务系统数据库中的变化数据；
封装发送模块，用于将所述变化数据封装成预设格式的消息并发送至分布式发布订阅消息系统；
消费模块，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将处理结果存储至业务系统数据库；
展示模块，用于接收数据请求在业务系统数据库获取待展示数据，并在客户端进行预设可视化展示。
7.根据权利要求6所述的数据展示装置，其特征在于，所述解析模块包括：第一解析单元，所述封装发送模块包括：第一封装发送单元，
第一解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的新增数据；
第一封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将新增数据处理结果存储至业务系统数据库。
8.根据权利要求6所述的数据展示装置，其特征在于，所述解析模块包括：第二解析单元，所述封装发送模块包括：第二封装发送单元，
第二解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的删除数据；
第二封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将删除数据处理结果存储至业务系统数据库。
9.根据权利要求6所述的数据展示装置，其特征在于，所述解析模块包括：第三解析单元，所述封装发送模块包括：第三封装发送单元，
第三解析单元，用于基于业务系统数据库进行数据变更记录日志解析，得到业务系统数据库中的修改数据；
第三封装发送单元，用于通过所述分布式发布订阅消息系统，按照流数据实时消费所述消息并将修改数据处理结果存储至业务系统数据库。
10.根据权利要求6所述的数据展示装置，其特征在于，
所述封装发送模块，还用于根据Canal中间件从binlog反解析出数据库的变化，通过配置Cana中间件，将数据库行数据的变化封装成Json格式的消息发送到Kafka分布式消息队列；
所述消费模块，还用于通过Kafka分布式消息队列，划分为不同的topic并将同一个业务系统数据库实例的同一个库的binlog日志消息放入同一个topic。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910777420.3A CN110555028A (zh) | 2019-08-22 | 2019-08-22 | 数据展示方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910777420.3A CN110555028A (zh) | 2019-08-22 | 2019-08-22 | 数据展示方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110555028A true CN110555028A (zh) | 2019-12-10 |
Family
ID=68737890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910777420.3A Pending CN110555028A (zh) | 2019-08-22 | 2019-08-22 | 数据展示方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555028A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111198707A (zh) * | 2019-12-29 | 2020-05-26 | 航天信息股份有限公司 | 一种基于数据分析对系统软件进行维护的方法及系统 |
| CN111221793A (zh) * | 2019-12-31 | 2020-06-02 | 新华网股份有限公司 | 数据挖掘方法、平台、计算机设备及存储介质 |
| CN111311404A (zh) * | 2019-12-18 | 2020-06-19 | 上海金融期货信息技术有限公司 | 一种基于分布式的流式金融交易风控系统及方法 |
| CN111930861A (zh) * | 2020-08-19 | 2020-11-13 | 上海繁易信息科技股份有限公司 | 基于Kafka的实时数据解析订阅处理方法和装置 |
| CN112017752A (zh) * | 2020-08-31 | 2020-12-01 | 聚跑(广东)科技有限公司 | 一种收益数值转换方法及系统 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112800030A (zh) * | 2021-02-08 | 2021-05-14 | 中国银联股份有限公司 | 一种流程的组件数据管理方法、装置及计算机可读存储介质 |
| CN112835768A (zh) * | 2021-02-25 | 2021-05-25 | 紫光云技术有限公司 | 一种基于ceilometer可实时监控资源测量数据的方法 |
| CN113495705A (zh) * | 2020-04-07 | 2021-10-12 | 上海际链网络科技有限公司 | 大屏数据处理系统 |
| CN113934793A (zh) * | 2021-09-07 | 2022-01-14 | 华数传媒网络有限公司 | 一种运营系统的分布式数据管理系统和方法 |
| CN114077518A (zh) * | 2020-08-21 | 2022-02-22 | 湖南福米信息科技有限责任公司 | 数据快照方法、装置、设备及存储介质 |
| CN114780584A (zh) * | 2022-06-22 | 2022-07-22 | 云账户技术(天津)有限公司 | 多场景流式数据处理方法、系统、网络设备和存储介质 |
| CN115269208A (zh) * | 2022-09-29 | 2022-11-01 | 北京中科江南信息技术股份有限公司 | 基于公式配置的资源处理方法及系统 |
| CN115361444A (zh) * | 2022-08-18 | 2022-11-18 | 中国工商银行股份有限公司 | 流量数据分析方法、装置及系统 |
| CN113495705B (zh) * | 2020-04-07 | 2024-09-24 | 上海际链网络科技有限公司 | 大屏数据处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130198141A1 (en) * | 2012-01-28 | 2013-08-01 | Microsoft Corporation | Techniques for leveraging replication to provide rolling point in time backup with simplified restoration through distributed transactional re-creation |
| CN104506496A (zh) * | 2014-12-10 | 2015-04-08 | 山大地纬软件股份有限公司 | 基于Oracle Streams技术的准实时数据增量分发中间件及方法 |
| CN104866326A (zh) * | 2015-06-19 | 2015-08-26 | 长沙廖氏软件科技有限公司 | 一种集成交换中间件及其实现方法 |
| CN108073624A (zh) * | 2016-11-15 | 2018-05-25 | 平安科技（深圳）有限公司 | 业务数据处理系统及方法 |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的系统及方法 |
-
2019
- 2019-08-22 CN CN201910777420.3A patent/CN110555028A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130198141A1 (en) * | 2012-01-28 | 2013-08-01 | Microsoft Corporation | Techniques for leveraging replication to provide rolling point in time backup with simplified restoration through distributed transactional re-creation |
| CN104506496A (zh) * | 2014-12-10 | 2015-04-08 | 山大地纬软件股份有限公司 | 基于Oracle Streams技术的准实时数据增量分发中间件及方法 |
| CN104866326A (zh) * | 2015-06-19 | 2015-08-26 | 长沙廖氏软件科技有限公司 | 一种集成交换中间件及其实现方法 |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的系统及方法 |
| CN108073624A (zh) * | 2016-11-15 | 2018-05-25 | 平安科技（深圳）有限公司 | 业务数据处理系统及方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311404A (zh) * | 2019-12-18 | 2020-06-19 | 上海金融期货信息技术有限公司 | 一种基于分布式的流式金融交易风控系统及方法 |
| CN111311404B (zh) * | 2019-12-18 | 2023-10-17 | 上海金融期货信息技术有限公司 | 一种基于分布式的流式金融交易风控系统及方法 |
| CN111198707A (zh) * | 2019-12-29 | 2020-05-26 | 航天信息股份有限公司 | 一种基于数据分析对系统软件进行维护的方法及系统 |
| CN111221793A (zh) * | 2019-12-31 | 2020-06-02 | 新华网股份有限公司 | 数据挖掘方法、平台、计算机设备及存储介质 |
| CN113495705A (zh) * | 2020-04-07 | 2021-10-12 | 上海际链网络科技有限公司 | 大屏数据处理系统 |
| CN113495705B (zh) * | 2020-04-07 | 2024-09-24 | 上海际链网络科技有限公司 | 大屏数据处理系统 |
| CN111930861A (zh) * | 2020-08-19 | 2020-11-13 | 上海繁易信息科技股份有限公司 | 基于Kafka的实时数据解析订阅处理方法和装置 |
| CN114077518A (zh) * | 2020-08-21 | 2022-02-22 | 湖南福米信息科技有限责任公司 | 数据快照方法、装置、设备及存储介质 |
| CN112017752A (zh) * | 2020-08-31 | 2020-12-01 | 聚跑(广东)科技有限公司 | 一种收益数值转换方法及系统 |
| CN112162904A (zh) * | 2020-09-25 | 2021-01-01 | 同程网络科技股份有限公司 | 订单变更过程整合方法、提取方法、整合装置和提取装置 |
| CN112800030A (zh) * | 2021-02-08 | 2021-05-14 | 中国银联股份有限公司 | 一种流程的组件数据管理方法、装置及计算机可读存储介质 |
| CN112835768A (zh) * | 2021-02-25 | 2021-05-25 | 紫光云技术有限公司 | 一种基于ceilometer可实时监控资源测量数据的方法 |
| CN113934793A (zh) * | 2021-09-07 | 2022-01-14 | 华数传媒网络有限公司 | 一种运营系统的分布式数据管理系统和方法 |
| CN114780584A (zh) * | 2022-06-22 | 2022-07-22 | 云账户技术(天津)有限公司 | 多场景流式数据处理方法、系统、网络设备和存储介质 |
| CN115361444A (zh) * | 2022-08-18 | 2022-11-18 | 中国工商银行股份有限公司 | 流量数据分析方法、装置及系统 |
| CN115269208A (zh) * | 2022-09-29 | 2022-11-01 | 北京中科江南信息技术股份有限公司 | 基于公式配置的资源处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555028A (zh) | 数据展示方法以及装置 | |
| CN109302522A (zh) | 测试方法、装置以及计算机系统和介质 | |
| CN108647089A (zh) | 资源配置方法、装置、终端及存储介质 | |
| CN108009028A (zh) | 消息处理方法、装置、设备及计算机可读存储介质 | |
| EP2583197A1 (en) | Unified collection and distribution of data | |
| CN113727130B (zh) | 直播间的消息提示方法、系统、装置及计算机设备 | |
| CN112764795B (zh) | 一种面向服务的跨平台跨终端信息发布系统和方法 | |
| CN110704400A (zh) | 实时数据同步方法以及装置、服务器 | |
| CN110610376A (zh) | 行为数据的响应方法、装置、计算机设备及存储介质 | |
| CN105577772A (zh) | 素材接收方法、素材上传方法及装置 | |
| CN106534241A (zh) | 实时数据更新方法、装置和系统 | |
| CN108959199A (zh) | 一种日志的突出显示方法、装置、存储介质及安卓终端 | |
| CN104580310A (zh) | 日志处理方法和服务器 | |
| CN109033404A (zh) | 日志数据处理方法、装置和系统 | |
| CN108564462A (zh) | 征信数据的获取方法、终端设备及介质 | |
| CN109729376A (zh) | 一种生命周期的处理方法、装置、设备和存储介质 | |
| CN106503008A (zh) | 文件存储方法和装置及文件查询方法和装置 | |
| CN105512910A (zh) | 一种目标用户筛选方法和装置 | |
| CN111949521B (zh) | 软件性能测试方法及装置 | |
| CN112492372A (zh) | 评论消息的显示方法、装置、电子设备、系统及存储介质 | |
| CN110728558A (zh) | 虚拟物品包发送方法、装置、设备和存储介质 | |
| CN109151600B (zh) | 一种特效缺失的补偿方法、装置、服务器及存储介质 | |
| CN113055348B (zh) | 一种跨平台数据请求方法、装置及电子设备 | |
| CN109614603A (zh) | 用于生成信息的方法和装置 | |
| CN114124766B (zh) | 基于模拟数据的测试方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |
|
| RJ01 | Rejection of invention patent application after publication |