CN103024014A

CN103024014A - 通过消息队列的海量数据分发处理的方法和系统

Info

Publication number: CN103024014A
Application number: CN2012105111482A
Authority: CN
Inventors: 程忠
Original assignee: Beijing Jingdong Century Trading Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd
Priority date: 2012-12-03
Filing date: 2012-12-03
Publication date: 2013-04-03
Anticipated expiration: 2032-12-03
Also published as: CN103024014B

Abstract

本发明提供一种通过消息队列的海量数据分发处理的方法和系统。所述方法包括：由一个或多个客户端采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器；将来自所述一个或多个客户端的数据作为消息缓存在一个或多个消息队列中，并由所述分布式消息队列服务器将所述消息发送到分发处理器；由所述分发处理器对所接收到的消息进行过滤，以获得有效数据；由所述分发处理器向所述有效数据分配标识符；由所述分发处理器对所述有效数据执行对应的逻辑处理；以及由所述分发处理器将所述有效数据分发到对应的数据库。

Description

通过消息队列的海量数据分发处理的方法和系统

技术领域

本发明涉及一种海量数据分发处理的方法和系统，更具体地，涉及一种通过消息队列的海量数据分发处理的方法和系统。

背景技术

随着网络资源的日益丰富，需要将大量来自于不同地域、不同服务器的数据汇总起来，以便能够分析全网的数据来为人们的学习、生活、娱乐以及公司经营服务。然而，面对如此庞大的数据，要想迅速有效地对数据进行保存、连续处理和分发等操作，仅仅采取传统的单机式系统根本无法解决。

例如，为了核对客户端发来的数据，需对原始数据进行保存，以便当出现问题时能够拿出凭证。而且，汇总的服务器的并发能力是有限度的，不能无限制增加并发，所以需要一种能够以较少的并发进行持续处理的系统。另外，对于有效数据，业务还需要将其进行不同处理，以放入不同数据库，那么也需要一种用来分发各个数据的分发机制。

因此，需要一种能够高效地处理海量数据，保存所有接收到的数据，并且对海量数据进行处理和分发的方法和系统。

发明内容

根据本发明的一个实施例，提供了一种通过消息队列的海量数据分发处理的方法，所述方法包括：由一个或多个客户端采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器；将来自所述一个或多个客户端的数据作为消息缓存在一个或多个消息队列中，并由所述分布式消息队列服务器将所述消息发送到分发处理器；由所述分发处理器对所接收到的消息进行过滤，以获得有效数据；由所述分发处理器向所述有效数据分配标识符；由所述分发处理器对所述有效数据执行对应的逻辑处理；以及由所述分发处理器将所述有效数据分发到对应的数据库。

根据本发明的另一个实施例，提供了一种通过消息队列的海量数据分发处理的系统，所述系统包括：一个或多个客户端，所述一个或多个客户端被配置成采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器；分布式消息队列服务器，所述分布式消息队列服务器的输入端与所述多个客户端的输出端相连，并且其输出端与分发处理器相连，所述分布式消息队列服务器被配置成将来自所述一个或多个客户端的数据作为消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；以及分发处理器，所述分发处理器的输出端连接到多个数据库，所述分发处理器被配置成：对所接收到的消息进行过滤，以获得有效数据；向所述有效数据分配标识符；对所述有效数据执行对应的逻辑处理；以及将所述有效数据分发到对应的数据库。

根据本发明的一个实施例，提供了一种通过消息队列的海量数据分发处理的方法，所述方法包括：由一个或多个客户端采集网络数据并且将所采集到的数据作为消息发送到数据预处理器；对所接收到的数据进行预处理以提取满足用户要求的有效数据，并且将所述有效数据作为消息发送到分布式消息队列服务器；将所述消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；由所述分发处理器向所述消息分配标识符；由所述分发处理器对所述有效数据执行对应的逻辑处理；以及由所述分发处理器将所述消息分发到对应的数据库。

根据本发明的另一个实施例，提供了一种通过消息队列的海量数据分发处理的系统，所述系统包括：一个或多个客户端，所述一个或多个客户端被配置成采集网络数据并且将所采集到的数据作为消息发送到数据预处理器；数据预处理器，所述数据预处理器的输入端与所述多个客户端的输出端相连，并且其输出端连接到分布式消息队列服务器，所述数据预处理器被配置成对所接收到的数据进行预处理以提取满足用户要求的有效数据，并且将所述有效数据作为消息发送到分布式消息队列服务器；分布式消息队列服务器，所述分布式消息队列服务器的输入端与数据预处理器的输出端相连，并且其输出端与分发处理器相连，所述分布式消息队列服务器被配置成将从所述数据预处理器接收到的消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；以及分发处理器，所述分发处理器的输出端连接到多个数据库，所述分发处理器被配置成：向所接收到的消息分配标识符；对所述有效数据执行对应的逻辑处理；以及将所述消息分发到对应的数据库。

附图说明

附图图示了本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：

图1图示了根据本发明的一个实施例的通过消息队列的海量数据分发处理的系统的框图。

图2图示了根据本发明的另一个实施例的通过消息队列的海量数据分发处理的系统的框图。

图3图示了根据本发明的一个实施例的通过消息队列的海量数据分发处理的方法的流程图。

图4图示了根据本发明的另一个实施例的通过消息队列的海量数据分发处理的方法的流程图。

具体实施方式

本发明提供了一种通过分布式消息队列传递客户端与服务器约定的海量数据，并且通过分发处理服务器对所提取的消息队列数据进行设定的逻辑处理来将数据分发给各个应用系统的数据库的方法和系统，从而实现了对海量数据进行高效处理和分发的技术方案。

如本领域技术人员已知的，分布式消息队列利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统集成。通过提供消息传递和消息排队模型，它可以在分布式环境中扩展进程间的通信，支持多通信协议、语言、应用平台、硬件和软件平台。分布式消息队列为应用系统提供了可靠的通信手段。能够实现不同操作系统平台、数据库和硬件系统平台的数据通信。

具体来说，分布式消息队列最重要的功能就是及时提供可靠的消息通信手段。为了能够完成消息的可靠传输，一般使用队列的方式进行消息管理。也就是说，通常在进行数据传输时，将数据按照用户定义的大小，拆分成若干消息单元放入消息队列，分布式消息队列可以按照同步或异步的通信方式发送或者接收消息。在实际的操作过程中，为了保障消息可靠传输，经常使用消息优先级、断点续传、可靠消息队列、内存队列等技术，有些还加入了流量控制、预建连接等功能。分布式消息队列的核心本质是消息传递，该消息传递是一种能支持高速、异步、程序到程序的可靠通信技术。

分布式消息队列的以上特点，为海量数据处理提供了以下基础：

1）无论是发送方还是接收方都无需等待对方返回成功消息，即可执行余下代码，从而大大地提高了事务处理的能力；

2）在信息传送过程中，信息发送机制具有一定功能的故障恢复能力；

3）消息传递机制使得消息通信的双方具有不同的物理平台成为可能。

根据本发明的实施例，通过分布式消息队列的海量数据分发系统指的是运用分布式消息队列收发消息来驱动海量数据处理的各个环节，从而达到对海量数据分发流程的控制。

下面结合说明书附图详细描述本发明的实施例。

图1图示了根据本发明的一个实施例的通过消息队列的海量数据分发处理的系统100的框图。如图1所示，系统100包括客户端102、104、分布式消息队列服务器106、分发处理器108、高速缓存器（cache）110和数据库112、114、116。出于说明的目的，图1中仅图示了两个客户端和三个数据库，但是本领域技术人员理解，本发明不限于此，可以有更多或更少的客户端或数据库。

客户端102、104是提供数据的终端，并且例如可以是爬虫程序。客户端102、104主要作用是通过各种web协议来采集网络数据，然后将所采集到的数据作为消息发送到分布式消息队列服务器106的消息队列中。例如，爬虫程序可以根据用户提供的URL抓取网页源码或商品数据，并且然后将网页URL、网页抓取时间和网页本地存储路径或商品数据的价格、数量等信息元素作为消息发送给消息中间件108。

分布式消息队列服务器106用于将来自客户端102、104的数据作为消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器108用于进一步处理。分布式消息队列服务器106可以位于其中客户端102或104上，也可以与客户端102、104分离。当分布式消息队列服务器106位于其中一个客户端上时，该客户端与分布式消息队列服务器106之间的交互不涉及网络通信；当分布式消息队列服务器106与客户端102、104分离时，它们之间的交互涉及网络通信。

客户端102、104发送的大量数据都可以通过消息队列保存到分布式消息队列服务器106中。由于分布式消息队列服务器106可以保存客户端102、104发送的大量原始数据以及每一条分布式消息队列的日志，所以可以在需要时核对从客户端102、104发送的数据，以便当出现问题时能够提供凭证，从而可以在实际应用中避免可能的经济或法律纠纷。替代地，可以将原始数据保存在诸如内存、数据库中。

另外，如本领域技术人员已知的，一个分布式消息队列可以同时维护多条消息队列，每条消息队列可以具有多种消息类型，每种消息类型具有多条消息。如已知的，传统单机系统在达到处理极限时无法继续进行处理。类似地，分布式消息队列服务器106能够维护的消息队列的个数实际上也受到内存和性能的限制，或者可选地人为地设置有上限。然而，由于采用分布式消息队列，所以如果来自多个客户端的请求达到一个分布式消息队列服务器的上限，则能够根据数据量的要求直接增加部署消息队列的分布式消息队列服务器106，从而在海量数据的情况下仍能够以较少的并发进行持续处理。

根据本发明的一个实施例，分布式消息队列服务器106可以采用AcitveMQ。ActiveMQ是一种基于Apache 2.0 licenced发布并实现了JavaTM消息服务（JM）开放标准的消息传送解决方案。此外，ActiveMQ还提供了大规模企业部署所需的互操作性、安全性、可伸缩性、可用性、易管理型以及其他功能。

ActiveMQ采用Java语言开发，支持所有主流的操作系统和硬件平台，同时提供多种语言的调用接口，提供消息的安全可靠传输，并能够根据网络负载情况选择最佳路由。它实现了分布式消息队列的所有基本功能，同时还包含许多增强特性，是能高度满足客户需要的产品，可以解决大容量、快速、要求严格的消息传递需求。ActiveMQ是一种安全的、高性能的、成熟可靠的、经过实践验证的分布式消息队列，可以集成各种重要的计算平台，很多应用系统已经使用ActiveMQ作为企业消息传递框架，使得一个或多个应用能够克服各种障碍进行通信。

系统100中的分发处理器108从分布式消息队列服务器106接收消息，并且经过设定的逻辑处理将所接收到的消息分发给对应的数据库。例如，在业务处理上使用配置文件配置不同的请求对应不同的处理以分发到不同的数据库。举例来说，在消息是商品消息的情况下，该消息中可以包括例如商品名称、商品价格、商品库存状态信息等。在接收到该商品消息之后，可以将该商品消息中包括的商品价格与先前存储在数据库中的价格相比较。如果价格不同，则进行更新操作。

例如，根据接收到的消息的类型来决定做出何种业务处理。也就是说，分发处理器108可以根据传过来的消息的类型来判断数据要导向哪个应用数据库，并且使用例如Java连接数据库以及将其导向对应的数据库，以进行诸如CRUD的基本操作。CRUD是指在做计算处理时的创建（Create）、检索（Retriev）、更新（Update）和删除（Delete）几个单词的首字母简写，主要被用在描述软件系统中数据库或者持久层的基本操作功能。例如，如果接收到的商品消息类型指示该商品已经变为不可用，则需要从数据库中删除该商品消息。

例如，在比价系统中，分发处理器108接收消息队列中的关于商品数据的消息，并对关于商品数据的消息进行分析，例如，当商品价格的波动小于预定阈值（例如，50%），则认为需要进行更新数据库操作；而如果商品价格的波动大于预定阈值范围，则由于认为不正常而不更新数据库。然后，分发处理器108可以根据其传过的网站的域名而决定分发到哪个数据库，在这种情况下，例如可以将来自对应网站的商品信息放入该网站对应的数据库中。

根据本发明的实施例，分发处理器108可以根据数据格式要求来设置相应策略，过滤出不合要求的数据以获得有效数据，向有效数据分配全局唯一ID，并且对所述有效数据执行对应的逻辑处理。

另外，分发处理器108可以将数据缓存到高速缓存器110。高速缓存器110被用来缓存数据。当需要进行逻辑运算时，可以直接从高速缓存器110取出数据以进行业务处理。而且，如果从客户端发送的数据发生变化时，需要同时更新数据库和高速缓存器110，从而保证了高速缓存器110中不保留过期的数据。

因为高速缓存器110的存取速度比数据库快，因而将系统需要的数据对象存储在高速缓存器110中，使得在需要获取这些数据时，不需要经过繁琐的数据库连接、查询和复杂的逻辑运算。因此，配置高速缓存器110可以有效地降低数据库查询读取次数，从而缓解数据库的压力。

图2图示了根据本发明的另一个实施例的通过消息队列的海量数据分发处理的系统200的框图。图2的系统200除了包括与图1的系统100中的对应组件相同的客户端202、204、分布式消息队列服务器206、分发处理器208、高速缓存器210和数据库212、214、216之外，还包括数据预处理器203。在此仅详细描述数据预处理器203，而省略了对与图1相同的组件的描述。

如图2所示，系统200还包括数据预处理器203，数据预处理器203设置在客户端202、204与分布式消息队列服务器206之间。该数据预处理器203用于在将数据发送到分布式消息队列服务器206之前，对客户端202、204提供的原始数据进行预处理，提取满足用户要求的有效数据，并将所述有效数据作为消息发送到分布式消息队列服务器206的消息队列中。该数据预处理器203承担了图1中的分发处理器108的过滤功能，并且因此可以减轻图1中的分布式消息队列服务器106和分发处理器108的处理负荷。

因此，图2中的分发处理器208可以根据数据格式要求来设置相应策略，向数据分配全局唯一ID，并且对所述数据执行对应的逻辑处理。

图3图示了根据本发明的一个实施例的通过消息队列的海量数据分发处理的方法300的流程图。

如图3所示，在步骤304中，客户端102、104采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器106。在步骤306中，分布式消息队列服务器106将来自客户端102、104的数据作为消息缓存在一个或多个消息队列中，并发送到分发处理器108。在步骤308中，分发处理器108从分布式消息队列服务器106接收消息，对所接收到的消息进行过滤，以过滤出不合要求的数据并且获得有效数据。在步骤310中，分发处理器108向有效数据分配诸如全局唯一ID的标识符。在步骤312中，分发处理器108对所述有效数据执行对应的逻辑处理。在步骤314中，分发处理器108将有效数据分发到对应的数据库。然后，方法300结束。

另外，方法300可以包括可选步骤，例如，分发处理器108可以将数据库逻辑数据缓存到高速缓存器110中。当需要进行逻辑运算时，可以直接从高速缓存器110取出所述数据库逻辑数据以进行业务处理。而且，如果数据发生变化，则需要同时更新对应数据库和高速缓存器110，从而保证了高速缓存器110中不保留过期的数据。

图4图示了根据本发明的另一个实施例的通过消息队列的海量数据分发处理的方法400的流程图。

如图4所示，在步骤404中，客户端202、204采集网络数据并且将所采集到的数据作为消息发送到数据预处理器203。在步骤406中，数据预处理器203对客户端202、204提供的原始数据进行预处理，以提取满足用户要求的有效数据，并将所述有效数据作为消息发送到分布式消息队列服务器206。在步骤408中，分布式消息队列服务器206从数据预处理器203接收所提取的数据，将所接收到的数据作为消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器208。在步骤410中，分发处理器208从分布式消息队列服务器206接收消息，并向所接收到的消息分配诸如全局唯一ID的标识符；在步骤412中，分发处理器208对所述有效数据执行对应的逻辑处理。在步骤414中，分发处理器208将所述有效数据分发到对应的数据库。然后，方法400结束。

另外，方法400可以包括可选步骤，例如，分发处理器208可以将数据库逻辑数据缓存到高速缓存器210。当需要进行逻辑运算时，可以直接从高速缓存器210取出数据以进行业务处理。而且，如果数据发生变化，则需要同时更新对应数据库和高速缓存器210，从而保证了高速缓存器210中不保留过期的数据。

根据本发明的海量数据分发处理的方法和系统能够满足大数据量的要求，可使用多个客户端向消息队列（MQ）发送消息，并且因为采用分布式消息队列，所以使得可以根据数据量的要求增加而增加部署队列的服务器。而且，根据本发明的海量数据分发处理的方法和系统能够根据数据格式要求设置相应策略，过滤不合要求的数据并且获得有效数据，分配全局唯一ID，根据数据变化做出对应的逻辑处理。

上述实施例仅是本发明的优选实施例，并不用于限制本发明。对本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以对本发明的实施例进行各种修改和改变。因此，本发明意在涵盖落入如权利要求所限定的本发明的范围之内的所有这样的修改或变型。

Claims

1.一种通过消息队列的海量数据分发处理的方法，所述方法包括：

由一个或多个客户端采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器；

将来自所述一个或多个客户端的数据作为消息缓存在一个或多个消息队列中，并由所述分布式消息队列服务器将所述消息发送到分发处理器；

由所述分发处理器对所接收到的消息进行过滤，以获得有效数据；

由所述分发处理器向所述有效数据分配标识符；

由所述分发处理器对所述有效数据执行对应的逻辑处理；以及

由所述分发处理器将所述有效数据分发到对应的数据库。

2.根据权利要求1所述的方法，其中所采集到的数据被存储在所述分布式消息队列服务器中。

3.根据权利要求1所述的方法，其中所采集到的数据被存储在所述客户端中。

4.根据权利要求1所述的方法，进一步包括：将数据库逻辑数据缓存到高速缓存器，以及当需要进行逻辑运算时，直接从所述高速缓存器取出所述数据库逻辑数据以进行业务处理。

5.根据权利要求1-4中的任一项所述的方法，进一步包括：如果数据发生变化，则同时更新对应数据库和所述高速缓存器。

6.一种通过消息队列的海量数据分发处理的系统，所述系统包括：

一个或多个客户端，所述一个或多个客户端被配置成采集网络数据并且将所采集到的数据作为消息发送到分布式消息队列服务器；

分布式消息队列服务器，所述分布式消息队列服务器的输入端与所述多个客户端的输出端相连，并且其输出端与分发处理器相连，所述分布式消息队列服务器被配置成将来自所述一个或多个客户端的数据作为消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；以及

分发处理器，所述分发处理器的输出端连接到多个数据库，所述分发处理器被配置成：对所接收到的消息进行过滤，以获得有效数据；向所述有效数据分配标识符；对所述有效数据执行对应的逻辑处理；以及将所述有效数据分发到对应的数据库。

7.根据权利要求6所述的系统，其中所采集到的数据被存储在所述分布式消息队列服务器中。

8.根据权利要求6所述的系统，其中所采集到的数据被存储在所述客户端中。

9.根据权利要求6所述的系统，其中所述分发处理器的输出端进一步连接到高速缓存器，所述高速缓存器被配置成缓存数据库逻辑数据，并且当需要进行逻辑运算时，直接从所述高速缓存器输出所述数据库逻辑数据以进行业务处理。

10.根据权利要求6-9中的任一项所述的系统，其中如果数据发生变化，则同时更新对应数据库和所述高速缓存器。

11.一种通过消息队列的海量数据分发处理的方法，所述方法包括：

由一个或多个客户端采集网络数据并且将所采集到的数据作为消息发送到数据预处理器；

对所接收到的数据进行预处理以提取满足用户要求的有效数据，并且将所述有效数据作为消息发送到分布式消息队列服务器；

将所述消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；

由所述分发处理器向所述消息分配标识符；

由所述分发处理器将所述消息分发到对应的数据库。

12.根据权利要求11所述的方法，其中所采集到的数据被存储在所述分布式消息队列服务器中。

13.根据权利要求11所述的方法，其中所采集到的数据被存储在所述客户端中。

14.根据权利要求11所述的方法，进一步包括：将数据库逻辑数据缓存到高速缓存器，以及当需要进行逻辑运算时，直接从所述高速缓存器取出所述数据库逻辑数据以进行业务处理。

15.根据权利要求11-14中的任一项所述的方法，进一步包括：如果数据发生变化，则同时更新对应数据库和所述高速缓存器。

16.一种通过消息队列的海量数据分发处理的系统，所述系统包括：

一个或多个客户端，所述一个或多个客户端被配置成采集网络数据并且将所采集到的数据作为消息发送到数据预处理器；

数据预处理器，所述数据预处理器的输入端与所述多个客户端的输出端相连，并且其输出端连接到分布式消息队列服务器，所述数据预处理器被配置成对所接收到的数据进行预处理以提取满足用户要求的有效数据，并且将所述有效数据作为消息发送到分布式消息队列服务器；

分布式消息队列服务器，所述分布式消息队列服务器的输入端与数据预处理器的输出端相连，并且其输出端与分发处理器相连，所述分布式消息队列服务器被配置成将从所述数据预处理器接收到的消息缓存在一个或多个消息队列中，并将所述消息发送到分发处理器；以及

分发处理器，所述分发处理器的输出端连接到多个数据库，所述分发处理器被配置成：向所接收到的消息分配标识符；对所述有效数据执行对应的逻辑处理；以及将所述消息分发到对应的数据库。

17.根据权利要求16所述的系统，其中所采集到的数据被存储在所述分布式消息队列服务器中。

18.根据权利要求16所述的系统，其中所采集到的数据被存储在所述客户端中。

19.根据权利要求16所述的系统，其中所述分发处理器的输出端进一步连接到高速缓存器，所述高速缓存器被配置成缓存数据库逻辑数据，并且当需要进行逻辑运算时，直接从所述高速缓存器输出所述数据库逻辑数据以进行业务处理。

20.根据权利要求16-19中的任一项所述的系统，其中如果发生变化，则同时更新对应数据库和所述高速缓存器。