CN104954460A - 一种分布式消息获取方法 - Google Patents

Abstract

本发明提供了一种分布式消息获取方法，包括：发送获取消息指令到消息获取接口；消息获取接口发送获取一条消息的指令到消息处理模块；消息处理模块判断是否认证、注册和更改消息获取模式，以及资费权限，当消息获取失败，返回消息获取失败的指令到消息获取接口，消息获取接口向用户返回对应失败异常消息，并断开连接；当消息获取成功，返回消息获取成功的指令到消息获取接口，消息获取接口向用户返回获取成功的指令，结束。本发明提供的分布式消息获取方法，不需要占用太多的网络带宽和Hadoop资源，从而可以节省Hadoop资源。

Description

一种分布式消息获取方法

技术领域

本发明属于分布式数据处理领域，尤其涉及一种分布式消息获取方法。

背景技术

Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是一种适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。

现有的分布式消息获取方法是，消息认证注册权限验证以及计数权限，一般都保存在内存中，多个slaver的数据同步，需要增加额外的数据同步开销。

因此，如何设置出更好的消息获取方法，节省系统资源，成为技术人员需要考虑的问题。

发明内容

本发明所要解决的技术问题是提供一种分布式消息获取方法，节省Hadoop资源。

为了解决上述技术问题，本发明提供了一种分布式消息获取方法，包括：

发送获取消息指令到消息获取接口；

消息获取接口发送获取一条消息的指令到消息处理模块；

消息处理模块判断是否认证、注册和更改消息获取模式，以及资费权限，当消息获取失败，返回消息获取失败的指令到消息获取接口，消息获取接口向用户返回对应失败异常消息，并断开连接；当消息获取成功，返回消息获取成功的指令到消息获取接口，消息获取接口向用户返回获取成功的指令，结束。

优选的，所述认证，包括以下步骤：

发送用户认证请求到消息获取接口；

消息获取接口转发用户认证请求到认证模块；

认证模块判断用户的用户名和密码是否有效；如果无效，发送认证失败的消息到消息获取接口，消息获取接口发送认证失败消息到用户，并断开连接，结束；如果有效发送认证成功的消息到消息获取接口；消息获取接口发送认证成功的消息到用户，结束。

优选的，所述注册，包括以下步骤：

发送用户注册请求到消息获取接口；

消息获取接口转发用户注册请求到用户注册模块；

用户注册模块先判断是否已认证，如果已认证，根据appid判断此用户的权限，如果有权限发送注册成功消息到消息获取接口，消息获取接口发送注册成功消息到用户；如果没认证，发送注册失败消息到消息获取接口，则消息获取接口发送注册失败异常消息到用户，并断开连接，结束。

优选的，所述更改消息获取模式，包括以下步骤：

发送消息获取模式设置消息到消息获取接口；

消息获取接口发送消息获取模式设置消息到消息获取模式设置模块，

消息获取模式设置模块判断之前是否认证和注册，并判断模式；若模式更改失败，则消息获取模式设置模块发送模式更改失败消息到消息获取接口；消息获取接口发送模式更改失败异常消息到用户，并断开连接；若模式更改成功，则消息获取模式设置模块发送模式更改成功的消息到消息获取接口；消息获取接口返回模式更改成功的消息到用户；同时发送模式更改成功，建立获取连接的消息到kafka消息源；

kafka消息源发送处理消息到消息处理模块，将消息存放到小队列。

本发明提供的分布式消息获取方法，不需要占用太多的网络带宽和Hadoop资源，从而可以节省Hadoop资源。

附图说明

图1为本发明一个实施例的分布式消息获取方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的主要思想是所有的相关数据都保存在现在流行的分布式管理组件zookeeper上，保证数据的同步和原子性。这样的话就不需要占用多的网络带宽和Hadoop的资源。

参照图1所示，为本发明一个实施例的分布式文件获取方法流程图。所述方法包括：

认证步骤：

步骤101，用户发送用户认证请求到消息获取接口；

步骤102，消息获取接口转发用户认证请求到认证模块；

步骤103，认证模块判断用户的用户名和密码是否有效；如果无效，执行步骤104，如果有效执行步骤106；

步骤104，发送认证失败的消息到消息获取接口；

步骤105，消息获取接口发送认证失败消息到用，并断开连接，结束；

步骤106，发送认证成功的消息到消息获取接口；

步骤107，消息获取接口发送认证成功的消息到用户，结束；

注册步骤：

步骤108，用户发送用户注册请求到消息获取接口；

步骤109，消息获取接口转发用户注册请求到用户注册模块；

步骤110，用户注册模块先判断是否已认证，如果已认证，根据appid判断此用户的权限，如果有权限执行步骤113；如果没认证，则执行步骤111；

步骤111，发送注册失败消息到消息获取接口；

步骤112，消息获取接口发送注册失败异常消息到用户，并断开连接，结束；

步骤113，发送注册成功消息到消息获取接口；

步骤114，消息获取接口发送注册成功消息到用户；

消息获取模式更改步骤：

步骤115：用户发送消息获取模式设置消息到消息获取接口；

步骤116：消息获取接口发送消息获取模式设置消息到消息获取模式设置模块，(0:贪婪模式1:实时模式)；

步骤117：消息获取模式设置模块判断之前是否认证和注册，并判断模式；若模式更改失败，则执行步骤118；若模式更改成功，则执行步骤120；

步骤118，消息获取模式设置模块发送模式更改失败消息到消息获取接口；

步骤119，消息获取接口发送模式更改失败异常消息到用户，并断开连接；

步骤120，消息获取模式设置模块发送模式更改成功的消息到消息获取接口；消息获取接口返回模式更改成功的消息到用户；同时发送模式更改成功，建立获取连接的消息到kafka消息源；

步骤121，kafka消息源发送处理消息到消息处理模块，将消息存放到小队列。小队列很小(作用:阻塞)。

获取消息步骤：

步骤122，用户发送获取消息指令到消息获取接口；

步骤123，消息获取接口发送获取一条消息的指令到消息处理模块；

步骤124，消息处理模块判断是否认证注册和更改消息获取模式,以及资费权限，当消息获取失败，执行步骤125；当消息获取成功，执行步骤127；

步骤125，返回消息获取失败的指令到消息获取接口；

步骤126，消息获取接口向用户返回对应失败异常消息，并断开连接；

步骤127，返回消息获取成功的指令到消息获取接口；

步骤128，消息获取接口向用户返回获取成功的指令，结束。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种分布式消息获取方法，其特征在于，包括：

发送获取消息指令到消息获取接口；

消息获取接口发送获取一条消息的指令到消息处理模块；

消息处理模块判断是否认证、注册和更改消息获取模式，以及资费权限，当消息获取失败，返回消息获取失败的指令到消息获取接口，消息获取接口向用户返回对应失败异常消息，并断开连接；当消息获取成功，返回消息获取成功的指令到消息获取接口，消息获取接口向用户返回获取成功的指令，结束。

2.如权利要求1所述的方法，其特征在于，所述认证，包括以下步骤：

发送用户认证请求到消息获取接口；

消息获取接口转发用户认证请求到认证模块；

认证模块判断用户的用户名和密码是否有效；如果无效，发送认证失败的消息到消息获取接口，消息获取接口发送认证失败消息到用户，并断开连接，结束；如果有效发送认证成功的消息到消息获取接口；消息获取接口发送认证成功的消息到用户，结束。

3.如权利要求1所述的方法，其特征在于，所述注册，包括以下步骤：

发送用户注册请求到消息获取接口；

消息获取接口转发用户注册请求到用户注册模块；

用户注册模块先判断是否已认证，如果已认证，根据appid判断此用户的权限，如果有权限发送注册成功消息到消息获取接口，消息获取接口发送注册成功消息到用户；如果没认证，发送注册失败消息到消息获取接口，则消息获取接口发送注册失败异常消息到用户，并断开连接，结束。

4.如权利要求1所述的方法，其特征在于，所述更改消息获取模式，包括以下步骤：

发送消息获取模式设置消息到消息获取接口；

消息获取接口发送消息获取模式设置消息到消息获取模式设置模块，

消息获取模式设置模块判断之前是否认证和注册，并判断模式；若模式更改失败，则消息获取模式设置模块发送模式更改失败消息到消息获取接口；消息获取接口发送模式更改失败异常消息到用户，并断开连接；若模式更改成功，则消息获取模式设置模块发送模式更改成功的消息到消息获取接口；消息获取接口返回模式更改成功的消息到用户；同时发送模式更改成功，建立获取连接的消息到kafka消息源；

kafka消息源发送处理消息到消息处理模块，将消息存放到小队列。