CN111381975A - 消息队列实现业务和报表系统数据传输及异地多活的方法 - Google Patents
消息队列实现业务和报表系统数据传输及异地多活的方法 Download PDFInfo
- Publication number
- CN111381975A CN111381975A CN201811617285.8A CN201811617285A CN111381975A CN 111381975 A CN111381975 A CN 111381975A CN 201811617285 A CN201811617285 A CN 201811617285A CN 111381975 A CN111381975 A CN 111381975A
- Authority
- CN
- China
- Prior art keywords
- message
- message queue
- activity
- business
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000000694 effects Effects 0.000 title claims abstract description 14
- 230000008676 import Effects 0.000 claims abstract description 4
- 238000011066 ex-situ storage Methods 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供消息队列实现业务和报表系统数据传输及异地多活的方法，包括以下步骤：S1：构建消息队列服务；S2：构建消息传输的打桩点：在业务系统层面，构建消息传输的打桩点；S3：发送消息体：在业务系统层面，将定义好的消息体发送到指定队列；S4：报表系统信息录入：报表系统消费者模块，消费消息，并将数据导入数据库到报表系统；S5：报表系统将指标反馈到前端模块。本发明通过消息队列的方式，实现业务系统数据到报表系统数据的数据传输服务的架构设计及分布式数据库的设计。
Description
技术领域
本发明主要涉及数据库架构领域，尤其涉及消息队列实现业务和报表系统数据传输及异地多活的方法。
背景技术
报表系统的数据来源及统计方式，通常是直接跟业务系统耦合，读取业务系统数据并通过业务系统或存储过程等方式进行计算，但这种方式报表系统会跟业务系统严重耦合，即业务系统的升级会间接导致报表系统的数据结构变更进而需要同步升级，另外随着业务系统规模的增长，报表系统的压力也会越来越多，进而影响业务系统的使用。
已公开中国发明专利，申请号CN201310445096.8，专利名称：创建数据报表业务的方法和相关装置及业务系统，申请日：20130926，本发明涉及创建数据报表业务的方法和相关装置及业务系统。其中一种创建数据报表业务的方法，可包括：报表平台接收来自第一客户端的数据报表业务创建请求；从预先创建的多个数据报表页面之中选择至少一个数据报表页面；创建并发布第一数据报表业务，其中，创建的第一数据报表业务包含了至少一个数据报表页面。本发明实施例提供的技术方案有利于降低数据报表业务的创建成本和创建复杂度。
发明内容
本发明提供消息队列实现业务和报表系统数据传输及异地多活的方法，针对现有技术的上述缺陷，提供消息队列实现业务和报表系统数据传输及异地多活的方法，包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务系统层面，构建消息传输的打桩点；
S3：发送消息体：在业务系统层面，将定义好的消息体发送到指定队列；
S4：报表系统信息录入：报表系统消费者模块，消费消息，并将数据导入数据库到报表系统；
S5：报表系统将指标反馈到前端模块。
优选的，在S1步骤中，采用消息队列服务为MessageQueue。
优选的，打桩点是指订单的新建，订单状态的更新。
优选的，在S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
优选的，在S3步骤中，业务系统层面是指生产者模块。
优选的，数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
优选的，消费者采用异地部署和异地库的方式部署报表系统。
本发明的有益效果：通过消息队列的方式，实现业务系统数据到报表系统数据的数据传输服务的架构设计及分布式数据库的设计。
具体实施方式
本发明包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务系统层面，构建消息传输的打桩点；
S3：发送消息体：在业务系统层面，将定义好的消息体发送到指定队列；
S4：报表系统信息录入：报表系统消费者模块，消费消息，并将数据导入数据库到报表系统；
S5：报表系统将指标反馈到前端模块。
在使用中，利用消息队列对应用系统及报表系统的解耦以及报表系统内消费的数据的入库及获取统计信息的内聚的实现方式；利用消息队列对报表系统的分布式数据库异地多活的实现方式。
在本实施中优选的，在S1步骤中，采用消息队列服务为MessageQueue。
采用MessageQueue服务，一方面，消息队列具有稳定性安全性，因消息存储在队列中并一直留在那里，直到被适当地处理；另一方面，异步及并发消峰能力突出，异步发送消息的时候，同时可以做其他的任务，如同消息已经得到了处理，且并发的事务通过排队的方式有效降低了服务器的压力起到了消峰的作用。
在本实施中优选的，打桩点是指订单的新建，订单状态的更新。
在打桩点中，集合订单的各种信息，实时变更利于信息的传输。
在本实施中优选的，在S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
设置上述信息编辑要求，便于信息的传输。
在本实施中优选的，在S3步骤中，业务系统层面是指生产者模块。
在生产者模块中实施发送消息体的步骤。
在本实施中优选的，数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
设置上述架构，采用广播模式可以达到一个生产者的消息，会被多个消费者消费的目的。
在本实施中优选的，消费者采用异地部署和异地库的方式部署报表系统。
设置上述结构，异地部署和异地库的方式，可以保证一份数据，会在多点多活，这样即使一个地方的库或系统由于各种原因导致系统不可用，可以及时切换到其他可用的地区及库上，保证系统的健壮性和可用性。
上述实施例仅例示性说明本专利申请的原理及其功效，而非用于限制本专利申请。任何熟悉此技术的人士皆可在不违背本专利申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本专利申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本专利请的权利要求所涵盖。
Claims (7)
1.消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于，包括以下步骤：
S1：构建消息队列服务；
S2：构建消息传输的打桩点：在业务系统层面，构建消息传输的打桩点；
S3：发送消息体：在业务系统层面，将定义好的消息体发送到指定队列；
S4：报表系统信息录入：报表系统消费者模块，消费消息，并将数据导入数据库到报表系统；
S5：报表系统将指标反馈到前端模块。
2.根据权利要求1所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：在所述S1步骤中，采用消息队列服务为MessageQueue。
3.根据权利要求2所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：所述打桩点是指订单的新建，订单状态的更新。
4.根据权利要求3所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：在所述S3步骤中，按消息队列要求的生产者及tag将消息体进行定义。
5.根据权利要求4所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：在所述S3步骤中，业务系统层面是指生产者模块。
6.根据权利要求5所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：所述数据库采用分布式异地多活的整体架构，采用广播模式配置生产者和消费者的模式为。
7.根据权利要求6所述的消息队列实现业务和报表系统数据传输及异地多活的方法，其特征在于：所述消费者采用异地部署和异地库的方式部署报表系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811617285.8A CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表系统数据传输及异地多活的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811617285.8A CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表系统数据传输及异地多活的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111381975A true CN111381975A (zh) | 2020-07-07 |
Family
ID=71219856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811617285.8A Pending CN111381975A (zh) | 2018-12-28 | 2018-12-28 | 消息队列实现业务和报表系统数据传输及异地多活的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111381975A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248475A1 (en) * | 2005-11-03 | 2009-10-01 | Ktfreetel Co., Ltd. | Open mobile business supporting system and method |
| CN103019866A (zh) * | 2012-10-24 | 2013-04-03 | 北京京东世纪贸易有限公司 | 基于消息队列的分布式方法和系统 |
| CN103984734A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院软件研究所 | 一种面向高性能计算的云服务消息传递方法 |
-
2018
- 2018-12-28 CN CN201811617285.8A patent/CN111381975A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248475A1 (en) * | 2005-11-03 | 2009-10-01 | Ktfreetel Co., Ltd. | Open mobile business supporting system and method |
| CN103019866A (zh) * | 2012-10-24 | 2013-04-03 | 北京京东世纪贸易有限公司 | 基于消息队列的分布式方法和系统 |
| CN103984734A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院软件研究所 | 一种面向高性能计算的云服务消息传递方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109756417B (zh) | 离线消息分发方法、服务器及存储介质 | |
| CN101645022B (zh) | 用于多个集群的作业调度管理系统及方法 | |
| CN110795503A (zh) | 分布式存储系统的多集群数据同步方法及相关装置 | |
| CN111143382B (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN106603711B (zh) | 通信方法、系统及消息服务器 | |
| CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、系统及存储介质 | |
| CN103401909A (zh) | 基于bs的数据交互方法与系统、客户端及服务器 | |
| CN112583931A (zh) | 消息处理方法、消息中间件、电子设备和存储介质 | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| CN109766201A (zh) | 任务分发方法、服务器、客户端和系统 | |
| CN102012899A (zh) | 一种数据更新的方法、系统及设备 | |
| EP2696297B1 (en) | System and method for generating information file based on parallel processing | |
| US8301750B2 (en) | Apparatus, system, and method for facilitating communication between an enterprise information system and a client | |
| CN105162869A (zh) | 一种用于数据备份管理的方法与设备 | |
| CN107562803A (zh) | 数据供应系统及方法、终端 | |
| CN107203437A (zh) | 防止内存数据丢失的方法、装置和系统 | |
| CN113220432A (zh) | 多云互联方法、装置、设备、存储介质及产品 | |
| CN105450733A (zh) | 一种业务数据分发处理方法及系统 | |
| CN111381975A (zh) | 消息队列实现业务和报表系统数据传输及异地多活的方法 | |
| CN110929126A (zh) | 一种基于远程过程调用实现的分布式爬虫调度方法 | |
| CN114401239B (zh) | 元数据传输方法、装置、计算机设备和存储介质 | |
| CN110188140A (zh) | 数据拉取方法、装置、存储介质和计算机设备 | |
| CN107273047B (zh) | 一种缓存管理方法、缓存管理器及存储管理软件 | |
| CN113918436A (zh) | 日志处理方法及装置 | |
| CN103870499A (zh) | 输电网的隐患信息处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |