CN107451211A - 一种基于RabbitMQ和MongoDB的下载系统 - Google Patents

一种基于RabbitMQ和MongoDB的下载系统 Download PDF

Info

Publication number
CN107451211A
CN107451211A CN201710573719.8A CN201710573719A CN107451211A CN 107451211 A CN107451211 A CN 107451211A CN 201710573719 A CN201710573719 A CN 201710573719A CN 107451211 A CN107451211 A CN 107451211A
Authority
CN
China
Prior art keywords
task
rabbitmq
module
mongodb
producer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710573719.8A
Other languages
English (en)
Other versions
CN107451211B (zh
Inventor
马震远
林智勇
刘少鹏
方浩生
林安成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201710573719.8A priority Critical patent/CN107451211B/zh
Publication of CN107451211A publication Critical patent/CN107451211A/zh
Application granted granted Critical
Publication of CN107451211B publication Critical patent/CN107451211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于RabbitMQ和MongoDB的下载系统，包括MongoDB、生产者模块、RabbitMQ、消费者模块，所述MongoDB被配置为存储任务和接收生产者模块返回的数据；所述生产者模块，用于与MongoDB交互，查询任务、将任务传输至RabbitMQ中；所述生产者模块用于接收RabbitMQ任务，并将任务的更新返回到MongoDB；所述RabbitMQ，被配置为传递所述生产者模块与消费者模块之间的任务数据；所述消费者模块，接收、执行由RabbitMQ传入的任务，并通过RabbitMQ将任务的更新反馈给生产者模块。本发明提供了一种以MongoDB为任务源，RabbitMQ作为消息队列的下载系统，利用MongoDB的面向文档的数据库和类JSON特性简化在执行任务过程中繁琐的序列化操作，减少了资源消耗、提高了系统的性能。

Description

一种基于RabbitMQ和MongoDB的下载系统
技术领域
本发明属于计算机领域，涉及一种下载系统，特别涉及一种基于RabbitMQ和MongoDB的下载系统。
背景技术
MongoDB(Mongo数据库)是一种高可扩展性的NoSQL数据库，并且具有自动分片、应对大数据大规模运算以及高并发等性能。MongoDB是一种面向文档的数据库，以类似json的二进制数据格式BSON保存数据。
RabbitMQ是用Erlang语言实现的一个高并发高可靠AMQP(高级消息队列协议)消息队列中间件。它从生产者接收消息并传递给消费者，在这个过程中，根据路由规则实现缓存与持久化。因而将RabbitMQ用于任务分发，远程调用等业务，可以将一些无需即时返回且耗时的操作提取出来进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。RabbitMQ的这些特性恰恰满足爬虫系统在爬取过程中的异步性以及高并发和复杂性的需求。
如果将Mongo数据库作为消息队列，由于分布式爬虫系统的数据流动非常大，导致Mongo数据库读写操作负荷大、运行效率低，不能胜任日益扩大的数据规模；而RabbitMQ作为消息队列中间件，具有成熟的监控协议和监控系统，可靠性和速度都优于Mongo数据库。另一方面，若采用其他非文档格式的数据库系统作为任务源，RabbitMQ在取出任务放入任务队列时，会出现数据结构化的问题，产生不必要的转化操作。
发明内容
为解决分布式爬虫系统下载过程中，Mongo数据库作为消息队列的低效性和减少RabbitMQ与一般数据库在执行任务队列时需要繁琐的数据转换操作的问题，本发明提供了一种基于RabbitMQ和MongoDB的下载系统，融合了两者的优点，减少了分布式爬虫在下载过程中的资源消耗和提高了系统下载的性能。
为实现上述目的，本发明采用的技术方案为：一种基于RabbitMQ和MongoDB的下载系统，包括MongoDB、生产者模块、RabbitMQ、消费者模块，
所述生产者模块，被配置为查询MongoDB中存储的任务、和将任务传输至RabbitMQ中，以及接收经由RabbitMQ反馈的任务的更新并进一步将所述任务的更新返回到MongoDB；
所述消费者模块，被配置为接收并执行由RabbitMQ传入的所述任务，并将任务的更新经由RabbitMQ反馈给生产者模块。
所述消费者模块将RabbitMQ传入的任务反序列化，再通过补全数据，再序列化为JSON格式。
在本发明的一个实施例中，所述消费者模块包括任务调度单元、资源获取单元、后处理单元、云存储单元，所述任务调度单元用于实现资源获取单元和生产者模块的通讯，提供用于任务获取、结果提交、异常处理和数据同步的接口；
所述资源获取单元用于接收和执行任务调度单元分配的任务，将任务中的目标数据下载到本地或交给后处理模块；
所述后处理单元用于将所述资源获取单元传入的数据进行处理交给云存储单元处理；
所述云存储单元将数据进行格式转化并上传至云端，同时将数据更新提交给任务调度单元。
为了提高系统对不同目标下载平台的通用性，进一步的，所述资源获取单元根据不同的目标平台进行适配。
进一步地，所述后处理单元包括视频分析子单元、音频分析子单元。更进一步地，所述后处理单元包括视频分析子单元、音频分析子单元可插拔。
在本发明的一个实施例中，所述消费者模块还包括回滚点回滚单元，所述回滚点回滚单元位于主线程的内层和各子任务单元。
本发明还提供了基于上述系统的下载方法，具体包括：
生产者模块从MongoDB获取任务，将任务传输给RabbitMQ；
RabbitMQ将任务转发到消费者模块；
消费者模块对RabbitMQ传入的任务进行调度、执行，将任务结果作为任务的更新提交给RabbitMQ；
RabbitMQ将所述任务结果转发到生产者模块；
生产者模块将所述任务结果提交给MongoDB。
在本发明的一个实施例中，所述消费者模块对传入的任务的处理具体包括根据任务的目标平台进行解析，获得任务的额外信息，并将信息更新到任务中。
在本发明的一个实施例中，所述消费者模块对RabbitMQ传入的任务处理还包括全局异常处理，在关键过程会设置回滚点，若任务执行过程中出现异常时会进行回滚，删除临时数据并且释放任务回RabbitMQ中。
本发明的有益效果是：
1.提出了一种以MongoDB为任务源，RabbitMQ作为消息队列的下载系统，利用MongoDB的面向文档的数据库和类JSON的数据存储特性，简化在执行任务过程中繁琐的序列化操作，减少了资源消耗、提高了系统的性能。
2.RabbitMQ异步的处理机制节省了服务器的请求响应时间，从而提高了系统的吞吐量。
3.运用动态语言的后期绑定特性后，使得接口关联就变成了定义不同的键值对，便于多个成员维护平台接口，提高了系统的可扩展性、缩短系统的开发时间。
4.针对数据异常设置了一个异常捕获和回滚机制，便于系统的维护和升级。
附图说明
图1是本发明的基本原理图；
图2是本发明的数据流向示意图；
图3是本发明的生产者模块的结构示意图；
图4是本发明的消费者模块的结构示意图；
图5是现有技术中资源获取单元接口函数的部分代码示例之一；
图6是现有技术中资源获取单元接口函数的部分代码示例之二；
图7是本发明的资源获取单元接口函数的部分分代码示例；
图8是本发明的下载方法流程图；
图9是本发明的异常回滚结构原理图。
具体实施方式
为了更好的理解本发明所提出的技术方案，下面结合附图和具体的实施例对本发明作进一步阐述。
如图1所示，一种基于RabbitMQ和MongoDB的下载系统，包括MongoDB 1、生产者模块2、RabbitMQ 3、消费者模块4，所述MongoDB 1被配置为存储任务和接收生产者模块2返回的数据；
所述生产者模块2，用于与MongoDB 1交互，查询任务、将任务传输至RabbitMQ 3中；所述生产者模块2用于接收、反馈RabbitMQ 3任务，并将任务的更新返回到MongoDB 1；
所述RabbitMQ 3，被配置为传递所述生产者模块2与消费者模块4之间的任务数据；
所述消费者模块4，接收、执行由RabbitMQ 3传入的任务，并通过RabbitMQ 3将任务的更新反馈给生产者模块2。
如图2所示，所述消费者模块4将RabbitMQ 3传入的任务反序列化，再通过补全数据，再序列化为JSON格式。具体过程为：在爬虫的下载系统中，需要补全的原数据即任务实体都存在于Mongo数据库中，而MongoDB 1是基于文档的数据库，RabbitMQ 3也能很好支持分发文档格式的消息，所以很容易把任务直接分发到RabbitMQ 3，消费端接收到数据后反序列化为实体，后处理之后补全数据，再序列化为JSON提交给数据中心21最后更新到Mongo中。这样就节省了至少两次的序列化/反序列化操作，且JSON能实现和Python的Dict类型的无损转化。
如图3所示，在本发明的一个实施例中，所述生产者模块2至少包括1个数据中心21节点和1个监控22节点。所述数据中心21节点直接和MongoDB 1数据库打交道，作为任务生产者(Productor)同时提供Rpc服务。
如图4所示，在本发明的一个实施例中，所述消费者模块4包括任务调度单元41、资源获取单元42、后处理单元43、云存储单元44，所述任务调度单元41用于实现资源获取单元42和生产者模块2的通讯，提供用于任务获取、结果提交、异常处理和数据同步的接口；所述资源获取单元42用于接收和执行任务调度单元41分配的任务，将任务中的目标数据下载到本地或交给后处理模块；
所述后处理单元43用于将所述资源获取单元42传入的数据进行处理交给云存储单元44处理；进一步的，所述后处理单元43包括视频分析子单元、音频分析子单元。更进一步地，所述后处理单元43包括视频分析子单元、音频分析子单元可插拔。
所述云存储单元44将数据进行格式转化并上传至云端，同时将数据更新提交给任务调度单元41。
如图5和图6所示，为了提高系统对不同目标下载平台的通用性，所述资源获取单元42根据不同的目标平台进行适配。传统做法是针对每一个平台定义1个字段，共用一个主模块根据不同的字段ID调用不同的子模块；此外共用1个主模块，定义不同的子函数，每一个子函数对应不同的方法。前者系统的代码的可读性强，但当适配的平台(不同的目标)多了，又显得笨重。后者精简了适配函数，但增加了系统的设计要求：1、所有函数写在obtainer(资源获取单元42)中；2、函数名称要严格按照既定的业务层面上的key(关键字)字典。这样会导致系统的灵活性和适应性下降，而且资源获取单元42的主模块的封闭模式开发周期长，也不利于系统的协同性、可扩展性和维护。
如图7所示，本发明中资源获取单元42的设计方法：用一个dict维护Key和调用者的关联，不包含if-else语句；Switcher的位置可以分离到另外一个文件，进一步解耦并提供了默认函数用于容错。其优点是运用了动态语言的后期绑定特性，使得接口关联就变成键值对关联，便于自定义模块名称和接口方法，最后公用的文件只有分离出来的dict，因为不需要频繁更改也不存在冲突问题。
在本发明的一个实施例中，所述消费者模块4还包括回滚点回滚单元，所述回滚点回滚单元位于主线程的内层和各子任务单元。
在本发明的一个实施例中，所述消费者模块4对传入的任务的处理具体包括根据任务的目标平台进行解析，获得任务的额外信息，并将信息更新到任务中。本下载系统基于RabbitMQ 3和MongoDB 1，将爬虫系统无法完成抓取的数据(这些操作一般很耗资源)进行异步下载和后处理，最后补全原数据。由于提供了集群支持，并行处理耗资源的操作，使得运行周期缩短至尽可能接近原爬虫系统。
在本发明的一个实施例中，消费者模块4中的客户机有全局异常处理机制，在关键过程(进程)会进行“回滚点”，某步出现异常时会进行回滚，删除临时数据并且释放任务回RabbitMQ 3中。当爬虫的目标数据需要进行大量耗费资源并且可后续处理的操作时，可选择将其留空，由可横向拓展的异步系统进行处理，而且不完整的原数据经常是构建整体数据的关键，可以加快业务系统的开发进程而无需等待其他耗时部分的完成。当数据规模增大时，效果更明显。
因为系统是基于多模块(任务)的，不可避免地会因为错误(网络、硬件资源等客户机原因)而中断整个任务处理进程，便会产生垃圾文件或影响其他进程的数据变更，所以需要对任务进行捕获和回滚。在本发明的一个实施例中，所述消费者模块4的处理还包括全局异常处理，在关键过程会进行回滚点，若任务执行过程中出现异常时会进行回滚，删除临时数据并且释放任务回RabbitMQ 3中。
如图8所示，本发明还提供了基于上述系统的下载方法，具体包括：
S1：生产者模块从MongoDB获取任务，将任务交给RabbitMQ；
S2：RabbitMQ将任务转发到消费者模块；
S3：消费者模块对RabbitMQ传入的任务进行调度、执行或处理，将任务结果提交给RabbitMQ；
S4：RabbitMQ将任务结果转发到生产者模块；
S5：生产者模块将任务结果提交给MongoDB。
在本发明的一个实施例中，所述消费者模块对传入的任务的处理具体包括根据任务的目标平台进行解析，获得任务的额外信息，并将信息更新到任务中。
如图9所示，由于模块都是分工开发并且可随意插拔的，异常处理全部放在主线程的外层十分不方便维护，因此本发明采取了以下方案：主线程在子任务模块间都用一个公共的变量记录回滚点；子任务模块出现异常时应通知主线程，等待主线程处理。每个子任务模块都应该有一个遵循规范的异常处理接口，出现异常时给主线程调用。允许子任务内也有自己的一套回滚点、回滚机制，对主线程是透明的，整个系统异常处理形成级联。主线程回滚是按倒序(即出栈)回滚，回滚到初始点。系统结构统一，出现异常方便记录、回滚。
在本发明的一个实施例中，所述消费者模块对RabbitMQ传入的任务还包括全局异常处理，在关键进程会进行回滚点，若任务执行过程中出现异常时会进行回滚，删除临时数据并且释放任务回RabbitMQ中。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式的相关模块和软件架构做适应性变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.一种基于RabbitMQ和MongoDB的下载系统，其特征在于，包括MongoDB、生产者模块、RabbitMQ、消费者模块，
所述生产者模块，被配置为查询MongoDB中存储的任务、和将任务传输至RabbitMQ中，以及接收经由RabbitMQ反馈的任务的更新并进一步将所述任务的更新返回到MongoDB；
所述消费者模块，被配置为接收并执行由RabbitMQ传入的所述任务，并将任务的更新经由RabbitMQ反馈给生产者模块。
2.根据权利要求1所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述消费者模块将RabbitMQ传入的任务反序列化，再进行补全数据，再序列化为JSON格式。
3.根据权利要求1所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述消费者模块包括任务调度单元、资源获取单元、后处理单元、云存储单元，
所述任务调度单元用于实现资源获取单元和生产者模块的通讯，提供用于任务获取、结果提交、异常处理和数据同步的接口；
所述资源获取单元用于接收和执行任务调度单元分配的任务，将任务中的目标数据下载到本地或交给后处理模块；
所述后处理单元用于将所述资源获取单元传入的数据进行处理交给云存储单元处理；
所述云存储单元将数据进行格式转化并上传至云端，同时将数据更新提交给任务调度单元。
4.根据权利要求3所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述资源获取单元根据不同的目标平台进行适配。
5.根据权利要求3所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述后处理单元包括视频分析子单元、音频分析子单元。
6.根据权利要求3所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述后处理单元包括视频分析子单元、音频分析子单元可插拔。
7.根据权利要求3所述的基于RabbitMQ和MongoDB的下载系统，其特征在于，所述消费者模块还包括回滚点回滚单元，所述回滚点回滚单元位于主线程的内层和各子任务单元。
8.一种基于RabbitMQ和MongoDB的下载方法，其特征在于，包括如下步骤：
生产者模块从MongoDB获取任务，将任务传输给RabbitMQ；
RabbitMQ将任务转发到消费者模块；
消费者模块对RabbitMQ传入的任务进行调度、执行，将任务结果作为任务的更新提交给RabbitMQ；
RabbitMQ将所述任务结果转发到生产者模块；
生产者模块将所述任务结果提交给MongoDB。
9.根据权利要求8所述的下载方法，其特征在于，所述消费者模块对传入的任务的执行具体包括：根据任务的目标平台进行解析，获得任务的额外信息，并将额外信息更新到任务中。
10.根据权利要求8所述的下载方法，其特征在于，所述消费者模块的执行还包括：全局异常处理，在关键过程会设置回滚点，若任务执行过程中出现异常时会选择回滚点进行回滚，删除临时数据并且释放任务回RabbitMQ中。
CN201710573719.8A 2017-07-13 2017-07-13 一种基于RabbitMQ和MongoDB的下载系统 Active CN107451211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710573719.8A CN107451211B (zh) 2017-07-13 2017-07-13 一种基于RabbitMQ和MongoDB的下载系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710573719.8A CN107451211B (zh) 2017-07-13 2017-07-13 一种基于RabbitMQ和MongoDB的下载系统

Publications (2)

Publication Number Publication Date
CN107451211A true CN107451211A (zh) 2017-12-08
CN107451211B CN107451211B (zh) 2019-11-19

Family

ID=60488094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710573719.8A Active CN107451211B (zh) 2017-07-13 2017-07-13 一种基于RabbitMQ和MongoDB的下载系统

Country Status (1)

Country Link
CN (1) CN107451211B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833554A (zh) * 2018-06-22 2018-11-16 哈尔滨工业大学 一种面向大规模网络的实时高可靠消息分发系统及其方法
CN110035103A (zh) * 2018-01-12 2019-07-19 宁波中科集成电路设计中心有限公司 一种节点间数据可传递的分布式调度系统
WO2023024274A1 (zh) * 2021-08-25 2023-03-02 长鑫存储技术有限公司 一种数据处理系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064731A (zh) * 2012-12-26 2013-04-24 人民搜索网络股份公司 一种提高消息队列系统性能的装置及其方法
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
CN106534338A (zh) * 2016-12-05 2017-03-22 东北大学 一种云机器人系统及实现方法
CN106874424A (zh) * 2017-01-25 2017-06-20 杭州淘淘搜科技有限公司 一种基于MongoDB和Redis的网页数据采集处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064731A (zh) * 2012-12-26 2013-04-24 人民搜索网络股份公司 一种提高消息队列系统性能的装置及其方法
CN105338061A (zh) * 2015-09-29 2016-02-17 华中科技大学 一种轻量级消息中间件的实现方法与系统
CN106534338A (zh) * 2016-12-05 2017-03-22 东北大学 一种云机器人系统及实现方法
CN106874424A (zh) * 2017-01-25 2017-06-20 杭州淘淘搜科技有限公司 一种基于MongoDB和Redis的网页数据采集处理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035103A (zh) * 2018-01-12 2019-07-19 宁波中科集成电路设计中心有限公司 一种节点间数据可传递的分布式调度系统
CN108833554A (zh) * 2018-06-22 2018-11-16 哈尔滨工业大学 一种面向大规模网络的实时高可靠消息分发系统及其方法
CN108833554B (zh) * 2018-06-22 2021-05-18 哈尔滨工业大学 一种面向大规模网络的实时高可靠消息分发系统及其方法
WO2023024274A1 (zh) * 2021-08-25 2023-03-02 长鑫存储技术有限公司 一种数据处理系统和方法

Also Published As

Publication number Publication date
CN107451211B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
US8572236B2 (en) Distributing services in graph-based computations
US8818940B2 (en) Systems and methods for performing record actions in a multi-tenant database and application system
US7689709B2 (en) Native format tunneling
US10133797B1 (en) Distributed heterogeneous system for data warehouse management
US20100070553A1 (en) Dynamic service invocation and service adaptation in bpel soa process
CN107451211B (zh) 一种基于RabbitMQ和MongoDB的下载系统
CN109063017A (zh) 一种云计算平台的数据持久化分布方法
CN115665284A (zh) 基于分布式配置中心的报文处理方法、装置及计算机设备
CN105550351B (zh) 旅客行程数据即席查询系统及方法
CN106161520A (zh) 大数据应用平台及基于其的交互方法
CN114595051B (zh) 一种增强云计算协作数据处理的方法、系统及电子设备
CN115829715A (zh) 一种银行业交易调度中台控制方法和银行业交易调度中台
CN113360558B (zh) 数据处理方法、数据处理装置、电子设备及存储介质
US11614981B2 (en) Handling of metadata for microservices processing
CN114996246A (zh) 一种基于NiFi组件的表多个字段校验的数据清洗方法
CN113986222A (zh) 云计算的api接口翻译系统
CN107402752B (zh) 应用的定时触发方法和装置
EP1715653A1 (en) A system and method for mediating within a network
CN116795434B (zh) 一种流水线式任务处理方法、装置、电子设备及存储介质
CN109669793A (zh) 中间件进程内对象调用方法
CN117492959A (zh) 业务处理请求处理方法、装置、设备、存储介质和程序产品
CN113988861A (zh) 一种货币兑换方法及装置
CN115826931A (zh) 通用模块化的分布式数据分析和采集方法及系统
CN117014528A (zh) 消息处理方法、电子设备、存储介质及计算机程序产品
CN116991823A (zh) 数据迁移方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant