CN112597249A - 一种业务数据的同步分发存储方法及系统 - Google Patents

一种业务数据的同步分发存储方法及系统 Download PDF

Info

Publication number
CN112597249A
CN112597249A CN202011574511.6A CN202011574511A CN112597249A CN 112597249 A CN112597249 A CN 112597249A CN 202011574511 A CN202011574511 A CN 202011574511A CN 112597249 A CN112597249 A CN 112597249A
Authority
CN
China
Prior art keywords
message middleware
data
producer
verification
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011574511.6A
Other languages
English (en)
Other versions
CN112597249B (zh
Inventor
喻俊
彭一
张志广
李小红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Original Assignee
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Happly Sunshine Interactive Entertainment Media Co Ltd filed Critical Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority to CN202011574511.6A priority Critical patent/CN112597249B/zh
Publication of CN112597249A publication Critical patent/CN112597249A/zh
Application granted granted Critical
Publication of CN112597249B publication Critical patent/CN112597249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种业务数据的同步分发存储方法及系统，方法包括：生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；消息中间件对生产者发送的数据进行分布式存储，并通知生产者数据发送成功；消费者通过验证接收数据Schema与消息中间件建立连接，并设置消费游标；消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。本发明能够有效的解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及尽量减少生产者、消费者的重复工作量。

Description

一种业务数据的同步分发存储方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种业务数据的同步分发存储方法及系统。
背景技术
数据同步是一种业界比较常见的场景，当前主要的处理方法有：通过消息中间件同步和通过HTTP(HyperText Transfer Protocol，超文本传输协议)API(ApplicationProgramming Interface，应用程序接口)通知+HTTP API/DB(Database，数据库)同步。其中，通过消息中间件同步是指，生产者通过消息中间件发送数据ID，消费者拿到数据ID后，再调用生产者的API或者访问生产者的数据库获取真实的数据。新消费者与回溯消费场景下，需要生产者提供全量方式：重新全量生产或提供离线DB给消费者。同一个主题下的消息是没有Scheme约束的，生产者可以在一个主题中发送多种数据格式的数据。通过HTTP API通知+HTTP API/DB同步是指，生产者直接通过HTTP的方式通知消费者数据ID，消费者根据数据ID，再调用生产者的API或者访问生产者的数据库获取真实的数据。新消费者与回溯消费场景下，需要生产者提供全量方式：重新全量生产或提供离线DB给消费者。生产者与消费者之间直连同步的方式，可能会带来性能问题。
以上两种方式，主要会有以下问题：
1、数据不一致，拿到数据ID后，由于多机房、并发、执行能力、软硬件异常等问题，都会导致数据脏读、覆盖等情况出现。
2、全量、回溯历史数据进行重新消费时，需要生产者、消费者重度参与。
3、工作量重复，为了解决上面的问题，生产者与消费者会浪费大量时间进行重复工作(数据补偿、重试、分布式事务、分布式锁、主从同步问题、并发问题)。
4、生产者与消费者很容易产生耦合。
5、当前业界主流消息中间件(Kafka、RabbitMQ、ActiveMQ、RocketMQ)的数据存储在Broker中的，导致Broker是有状态的，扩展性很差，故障应对能力差，且无法永久存储消息数据。
因此，需要解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及如何尽量减少生产者、消费者的重复工作量。
发明内容
有鉴于此，本发明提供了一种业务数据的同步分发存储方法，能够有效的解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及尽量减少生产者、消费者的重复工作量。
本发明提供了一种业务数据的同步分发存储方法，包括：
生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；
所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。
优选地，所述生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立，包括：
生产者从注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；
验证成功后，生产者与所述消息中间件建立连接。
优选地，所述在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功，包括：
在所述生产者与所述消息中间件建立连接后，所述消息中间件接收所述生产者发送的数据；
所述消息中间件将接收到的数据同时写入分布式文件存储系统的N个存储节点；
所述消息中间件将存储成功的数据写入所述消息中间件的本地队列；
所述消息中间件向所述生产者发送数据发送成功的通知。
优选地，所述消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标，包括：
所述消费者从所述注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；
验证成功后，设置消费游标，并建立与所述消息中间件的连接。
优选地，所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，包括：
当所述消费游标指定值在本地队列时，所述消息中间件从本地队列中拉取数据；
当所述消费游标指定值未在本地队列时，所述消息中间件从分布式存储中拉取数据。
一种业务数据的同步分发存储系统，包括：生产者、消息中间件和消费者；其中：
所述生产者，用于携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
所述消息中间件，用于在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
所述消费者，用于通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；
所述消息中间件，还用于根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。
优选地，所述生产者在执行携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立时，具体用于：
从注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；
验证成功后，与所述消息中间件建立连接。
优选地，所述消息中间件在执行在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功时，具体用于：
在所述生产者与所述消息中间件建立连接后，接收所述生产者发送的数据；
将接收到的数据同时写入分布式文件存储系统的N个存储节点；
将存储成功的数据写入所述消息中间件的本地队列；
向所述生产者发送数据发送成功的通知。
优选地，所述消费者在执行通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标时，具体用于：
从所述注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；
验证成功后，设置消费游标，并建立与所述消息中间件的连接。
优选地，所述消息中间件在执行根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据时，具体用于：
当所述消费游标指定值在本地队列时，从本地队列中拉取数据；
当所述消费游标指定值未在本地队列时，从分布式存储中拉取数据。
综上所述，本发明公开了一种业务数据的同步分发存储方法，当需要对业务数据进行同步分发存储时，首先生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立，在生产者与消息中间件建立连接后，消息中间件对生产者发送的数据进行分布式存储，并通知生产者数据发送成功；消费者通过验证接收数据Schema与消息中间件建立连接，并设置消费游标；消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。本发明能够有效的解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及尽量减少生产者、消费者的重复工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种业务数据的同步分发存储方法实施例的方法流程图；
图2为本发明公开的一种业务数据的同步分发存储方法的数据流示意图；
图3为本发明公开的另一种业务数据的同步分发存储方法的数据流示意图；
图4为本发明公开的一种业务数据的同步分发存储系统实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种业务数据的同步分发存储方法实施例的方法流程图，所述方法可以包括以下步骤：
S101、生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
当需要对业务数据进行同步分发存储时，首先生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立。其中，生产者为完整业务数据(消息)的生成服务系统；Schema是json字符串，包含数据模型的结构定义，每个字段包含：属性名、默认值、属性类型、扩展透传信息。生产者、消费者建立连接时，都进行Schema的验证。
具体的，如图2所示，生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立时，首先生产者从注册中心获取消息中间件地址，然后基于注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；验证成功后，生产者与消息中间件建立连接。
例如，视频信息包含id与name 2个信息，发送到topic-video：
1、定义数据结构Video；
2、根据Video类定义，使用SyncData Client生成Schema信息。
3、携带Schema信息到SyncData进行生产者连接建立；
4、当topic-video在SyncData不存在Schema，SyncData创建一个Schema返回，并允许建立连接；
5、当topic-video在SyncData存在Schema:
a、SyncData存在的Schema兼容生产者定义的Schema,返回最新Schema，并允许建立连接。
b、SyncData存在的Schema不兼容生产者定义的Schema,禁止建立连接。
Schema兼容性验证原则：
a)不允许修改字段类型；
b)不允许物理删除字段(逻辑删除标识)；
c)使用老版本Schema消费新版本Schema时，不会报错，只是无法反序列化到值而已；
d)使用新版本Schema生产新版本Schema时，不会报错，只是生产的数据没有新增的字段而已，会显示默认值。
6、发送Video数据。
7、某一天，需要新增一个字段title时，只要在Video中添加属性重启生产者就可以了。但是不能修改已经存在的属性信息(属性名与类型)，这样会造成历史数据与新的数据无法兼容，SyncData会拒绝连接。
S102、在生产者与消息中间件建立连接后，消息中间件对生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
在生产者与消息中间件建立连接后，消息中间件接收消费者发送的数据，并将接收到的数据进行分布式存储，并通知生产者数据发送成功。
具体的，如图2所示，在生产者与消息中间件建立连接后，消息中间件接收生产者发送的数据；消息中间件将接收到的数据同时写入分布式文件存储系统的N个存储节点，成功M个即算写入成功(N＞M且M＞1)；消息中间件将存储成功的数据写入消息中间件的本地队列，用于追加读消费者的消费提速；然后消息中间件向生产者发送数据发送成功的通知。
S103、消费者通过验证接收数据Schema与消息中间件建立连接，并设置消费游标；
当消费者需要消费消息时，消费者通过验证接收数据Schema与消息中间件建立连接，并设置消费游标。其中，消费者为具体使用完整数据的服务系统。
具体的，如图3所示，首先消费者从注册中心获取消息中间件地址，然后基于注册中心返回的目标主题所在地址，携带验证接收数据Schema到消息中间件进行验证；验证成功后，设置消费游标，并建立与消息中间件的连接。
S104、消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅目标主题的消费者。
在消费者与消息中间件建立连接后，消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅目标主题的消费者。
具体的，如图3所示，当消费游标指定值在本地队列时，消息中间件从本地队列中拉取数据；当消费游标指定值未在本地队列时，消息中间件从分布式存储中拉取数据。
综上所述，本发明简化了生产者与消费者的工作量，完全解耦了生产者与消费者，包括全量、回溯消费场景，也不需要依赖生产者重新生产，更不需要依赖生产者的API与数据库；所有的消费者消费同一份有序、完整的数据，不会出现数据中间态与并发问题导致的数据不一致情况。
如图4所示，为本发明公开的一种业务数据的同步分发存储系统实施例的结构示意图，所述系统可以包括：生产者、消息中间件和消费者；其中：
生产者，用于携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
消息中间件，用于在生产者与消息中间件建立连接后，对生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
消费者，用于通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；
消息中间件，还用于根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。
本实施例公开的业务数据的同步分发存储系统的工作原理与上述业务数据的同步分发存储方法实施例的工作原理相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种业务数据的同步分发存储方法，其特征在于，包括：
生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；
所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。
2.根据权利要求1所述的方法，其特征在于，所述生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立，包括：
生产者从注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；
验证成功后，生产者与所述消息中间件建立连接。
3.根据要求2所述的方法，其特征在于，所述在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功，包括：
在所述生产者与所述消息中间件建立连接后，所述消息中间件接收所述生产者发送的数据；
所述消息中间件将接收到的数据同时写入分布式文件存储系统的N个存储节点；
所述消息中间件将存储成功的数据写入所述消息中间件的本地队列；
所述消息中间件向所述生产者发送数据发送成功的通知。
4.根据权利要求3所述的方法，其特征在于，所述消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标，包括：
所述消费者从所述注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；
验证成功后，设置消费游标，并建立与所述消息中间件的连接。
5.根据权利要求4所述的方法，其特征在于，所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，包括：
当所述消费游标指定值在本地队列时，所述消息中间件从本地队列中拉取数据；
当所述消费游标指定值未在本地队列时，所述消息中间件从分布式存储中拉取数据。
6.一种业务数据的同步分发存储系统，其特征在于，包括：生产者、消息中间件和消费者；其中：
所述生产者，用于携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；
所述消息中间件，用于在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；
所述消费者，用于通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；
所述消息中间件，还用于根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。
7.根据权利要求6所述的系统，其特征在于，所述生产者在执行携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立时，具体用于：
从注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；
验证成功后，与所述消息中间件建立连接。
8.根据权利要求7所述的系统，其特征在于，所述消息中间件在执行在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功时，具体用于：
在所述生产者与所述消息中间件建立连接后，接收所述生产者发送的数据；
将接收到的数据同时写入分布式文件存储系统的N个存储节点；
将存储成功的数据写入所述消息中间件的本地队列；
向所述生产者发送数据发送成功的通知。
9.根据权利要求8所述的系统，其特征在于，所述消费者在执行通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标时，具体用于：
从所述注册中心获取消息中间件地址；
基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；
验证成功后，设置消费游标，并建立与所述消息中间件的连接。
10.根据权利要求9所述的系统，其特征在于，所述消息中间件在执行根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据时，具体用于：
当所述消费游标指定值在本地队列时，从本地队列中拉取数据；
当所述消费游标指定值未在本地队列时，从分布式存储中拉取数据。
CN202011574511.6A 2020-12-26 2020-12-26 一种业务数据的同步分发存储方法及系统 Active CN112597249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011574511.6A CN112597249B (zh) 2020-12-26 2020-12-26 一种业务数据的同步分发存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011574511.6A CN112597249B (zh) 2020-12-26 2020-12-26 一种业务数据的同步分发存储方法及系统

Publications (2)

Publication Number Publication Date
CN112597249A true CN112597249A (zh) 2021-04-02
CN112597249B CN112597249B (zh) 2023-06-20

Family

ID=75203423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011574511.6A Active CN112597249B (zh) 2020-12-26 2020-12-26 一种业务数据的同步分发存储方法及系统

Country Status (1)

Country Link
CN (1) CN112597249B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127411A (zh) * 2021-04-07 2021-07-16 华南理工大学 一种跨云服务应用分布式数据访问系统及方法
CN113342552A (zh) * 2021-07-05 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 数据处理方法及装置、存储介质及电子设备
CN113553346A (zh) * 2021-07-22 2021-10-26 中国电子科技集团公司第十五研究所 大规模实时数据流一体化处理、转发和存储方法及系统
CN114513513A (zh) * 2022-02-15 2022-05-17 湖南快乐阳光互动娱乐传媒有限公司 基于消息中间件的数据处理方法及装置
CN114553970A (zh) * 2022-02-07 2022-05-27 上海数依数据科技有限公司 一种基于Kafka分布式消息处理方法及数据总线系统
CN114598593A (zh) * 2022-02-16 2022-06-07 阿里巴巴（中国）有限公司 消息处理方法、系统、计算设备及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241813A1 (en) * 2006-07-26 2010-09-23 Xiaowei Shen Data subscribe-and-publish mechanisms and methods for producer-consumer pre-fetch communications
US20100306479A1 (en) * 2009-05-28 2010-12-02 Ezzat Ahmed K Providing shared memory in a distributed computing system
US20120303576A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Synchronous replication in a distributed storage environment
US8725684B1 (en) * 2011-03-31 2014-05-13 Amazon Technologies, Inc. Synchronizing data stores
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
US20180260409A1 (en) * 2017-03-13 2018-09-13 Wandisco, Inc. Methods, devices and systems for maintaining consistency of metadata and data across data centers
CN108769099A (zh) * 2018-04-02 2018-11-06 武汉斗鱼网络科技有限公司 一种消息中间件的消息去重的实现方法
CN110134439A (zh) * 2019-03-30 2019-08-16 北京百卓网络技术有限公司 无锁化的数据结构构建方法和写入数据、读取数据的方法
US20200142759A1 (en) * 2018-11-01 2020-05-07 Sap Se Rest gateway for messaging
CN111198923A (zh) * 2020-01-08 2020-05-26 北京仿真中心 一种基于消息队列的数据同步方法和系统
CN111381983A (zh) * 2020-03-06 2020-07-07 西安理工大学 虚拟试验靶场验证系统的轻量级消息中间件系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241813A1 (en) * 2006-07-26 2010-09-23 Xiaowei Shen Data subscribe-and-publish mechanisms and methods for producer-consumer pre-fetch communications
US20100306479A1 (en) * 2009-05-28 2010-12-02 Ezzat Ahmed K Providing shared memory in a distributed computing system
US8725684B1 (en) * 2011-03-31 2014-05-13 Amazon Technologies, Inc. Synchronizing data stores
US20120303576A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Synchronous replication in a distributed storage environment
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
US20180260409A1 (en) * 2017-03-13 2018-09-13 Wandisco, Inc. Methods, devices and systems for maintaining consistency of metadata and data across data centers
CN108769099A (zh) * 2018-04-02 2018-11-06 武汉斗鱼网络科技有限公司 一种消息中间件的消息去重的实现方法
US20200142759A1 (en) * 2018-11-01 2020-05-07 Sap Se Rest gateway for messaging
CN110134439A (zh) * 2019-03-30 2019-08-16 北京百卓网络技术有限公司 无锁化的数据结构构建方法和写入数据、读取数据的方法
CN111198923A (zh) * 2020-01-08 2020-05-26 北京仿真中心 一种基于消息队列的数据同步方法和系统
CN111381983A (zh) * 2020-03-06 2020-07-07 西安理工大学 虚拟试验靶场验证系统的轻量级消息中间件系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
匿名: "Pulsar2.5.0之schema管理", 《稀土掘金》 *
匿名: "Pulsar2.5.0之schema管理", 《稀土掘金》, 16 February 2020 (2020-02-16), pages 1 - 4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127411A (zh) * 2021-04-07 2021-07-16 华南理工大学 一种跨云服务应用分布式数据访问系统及方法
CN113342552A (zh) * 2021-07-05 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 数据处理方法及装置、存储介质及电子设备
CN113553346A (zh) * 2021-07-22 2021-10-26 中国电子科技集团公司第十五研究所 大规模实时数据流一体化处理、转发和存储方法及系统
CN113553346B (zh) * 2021-07-22 2022-08-16 中国电子科技集团公司第十五研究所 大规模实时数据流一体化处理、转发和存储方法及系统
CN114553970A (zh) * 2022-02-07 2022-05-27 上海数依数据科技有限公司 一种基于Kafka分布式消息处理方法及数据总线系统
CN114513513A (zh) * 2022-02-15 2022-05-17 湖南快乐阳光互动娱乐传媒有限公司 基于消息中间件的数据处理方法及装置
CN114598593A (zh) * 2022-02-16 2022-06-07 阿里巴巴（中国）有限公司 消息处理方法、系统、计算设备及计算机存储介质
CN114598593B (zh) * 2022-02-16 2023-08-29 阿里巴巴（中国）有限公司 消息处理方法、系统、计算设备及计算机存储介质

Also Published As

Publication number Publication date
CN112597249B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN112597249B (zh) 一种业务数据的同步分发存储方法及系统
CN109493076B (zh) 一种Kafka消息唯一消费方法、系统、服务器及存储介质
CN108076098B (zh) 一种业务处理方法及系统
JP3762479B2 (ja) 同期システム及び同期方法
US20120066411A1 (en) Synchronizing Events Between Mobile Devices and Servers
CN112069265B (zh) 配置数据的同步方法、业务数据系统、计算机系统和介质
CN114363407B (zh) 消息服务方法及装置、可读存储介质及电子设备
KR101545626B1 (ko) Ｄｄｓ-ｄｂ 연동 시스템
CN107678918B (zh) 一种分布式文件系统的osd心跳机制设置方法及装置
CN111143382B (zh) 数据处理方法、系统和计算机可读存储介质
CN109241186A (zh) 分布式事务的管理方法、系统、计算机设备及存储介质
CA2414952A1 (en) Adapting a document repository to support fine-grained change requests, lightweight transactions and asynchronous notifications
CN111597197B (zh) 数据库之间的数据对账方法和装置、存储介质及电子设备
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
US8301750B2 (en) Apparatus, system, and method for facilitating communication between an enterprise information system and a client
US20230110826A1 (en) Log execution method and apparatus, computer device and storage medium
CN112822091B (zh) 一种消息处理方法和装置
US7072912B1 (en) Identifying a common point in time across multiple logs
CN111460038A (zh) 一种数据准实时同步方法及装置
CN113438275B (zh) 数据迁移方法、装置、存储介质及数据迁移设备
US9201685B2 (en) Transactional cache versioning and storage in a distributed data grid
CN114900449B (zh) 一种资源信息管理方法、系统及装置
US7680838B1 (en) Maintaining data synchronization in a file-sharing environment
CN114064678A (zh) 事件数据处理方法、装置及终端设备
CN111367932B (zh) 数据库表单变更通知方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant