CN105430048B - 一种基于多集群的消息投递系统和消息投递方法 - Google Patents
一种基于多集群的消息投递系统和消息投递方法 Download PDFInfo
- Publication number
- CN105430048B CN105430048B CN201510718228.9A CN201510718228A CN105430048B CN 105430048 B CN105430048 B CN 105430048B CN 201510718228 A CN201510718228 A CN 201510718228A CN 105430048 B CN105430048 B CN 105430048B
- Authority
- CN
- China
- Prior art keywords
- message
- server
- task
- cluster
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
- H04W8/20—Transfer of user or subscriber data
Abstract
本发明公开了一种基于多集群的消息投递系统和消息投递方法。该基于多集群的消息投递方法,包括:消息服务器接收待处理的任务消息;消息服务器将所述任务消息根据消息类型发送到对应的至少一个服务器集群;所述服务器集群将所述任务消息投递到一个服务器节点进行处理。通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。
Description
技术领域
本发明涉及消息调度领域,尤其涉及一种基于多集群的消息投递系统和消息投递方法。
背景技术
由于业务的增长以及市场的推广,互联网网站访问用户会有所增加,同时访问量和并发量也会相应增多。原有单台服务器可以满足部分人群的访问请求目前已远远无法满足需求,网站从架构设计考虑会横向扩展业务服务器形成服务器集群。因此在实际的生产环境一个大型网站会部署多个服务器集群,而服务器集群之间可能存在业务的通讯,集群之间通讯消息传递基本采用消息队列模型。
目前消息队列模型主要采用的是Topic模型(发布/订阅模型)和Queue模型(点对点模型)。Queue模型意味着一个消息只会被一个应用接收,不会被多个应用所接收。Topic模型与Queue模型区别在与消息接收的时候是允许独立接收到所有发送到Topic的消息的。
随着数据使用的越来越全面,在实际的消息处理过程中,单条消息,特别是等待有后续流程的任务消息,往往需要多方对应处理各自的相关任务。例如对于消息服务器中的任务消息1,节点A需要对其进行a操作,节点B需要对其进行b操作。如果采用Queue模型,那么消息服务器将任务消息1分配给节点A之后,b操作无法实施;如果采用Topic模型,将所有的消息都发送到所有的节点,只是少量的消息处理,各个节点还可以抛弃不与自己相关的任务消息,但是对于大量的消息,对于各个节点将会产生庞大的数据压力,并且造成这种数据压力的任务消息中有很大一部分可能都不是与自身相关的,整个信息处理的效度和速度都降低。
发明内容
本发明的主要目的在于提出一种基于多集群的消息投递系统和消息投递方法,旨在将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。
为实现上述目的,本发明提出一种基于多集群的消息投递系统,包括:
消息服务器和至少两个服务器集群,每个所述服务器集群包括至少两个服务器节点;
所述消息服务器包括:
消息汇集单元,用于接收待处理的任务消息;
消息发送单元,用于将所述任务消息根据消息类型发送到对应的至少一个服务器集群;
所述服务器集群包括:
消息投递单元,用于将所述任务消息投递到一个服务器节点进行处理。
其中,所述消息服务器,还包括:
队列生成单元,用于接收待处理的任务消息后,如果所述任务消息有明确的服务器节点,将该任务消息更新到消息队列;
所述消息投递单元,具体用于:
将所述任务消息投递到所述消息队列指定的服务器节点;或
根据所述服务器节点的任务请求投递任务消息。
其中,所述服务器集群,还包括:
消息订阅单元,用于向所述消息服务器发送用于订阅所述任务消息的订阅信息;
所述消息服务器还包括:
订阅记录单元,用于记录所述订阅信息。
其中,所述服务器集群,还包括:
节点更新单元,用于新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
其中,所述服务器集群,还包括:
第一确认单元,用于在接收到所述任务消息后向所述消息服务器发送确认消息;
所述服务器节点,包括:
第二确认单元,用于在接收到所述任务消息后向为其投递任务消息的消息调度节点发送确认消息。
另一方面采用一种基于多集群的消息投递方法,包括:
消息服务器接收待处理的任务消息;
消息服务器将所述任务消息根据消息类型发送到对应的至少一个服务器集群;
所述服务器集群将所述任务消息投递到一个服务器节点进行处理。
其中,所述消息服务器接收待处理的任务消息之后,还包括:
如果所述任务消息有明确的服务器节点,将该任务消息更新到消息队列;
所述服务器集群将所述任务消息投递到单个服务器节点进行处理,具体为:
所述服务器集群将所述任务消息投递到所述消息队列指定的服务器节点;或
根据所述服务器节点的任务请求投递任务消息。
其中,所述消息投递方法,还包括:
所述服务器集群向所述消息服务器发送用于订阅所述任务消息的订阅信息,所述消息服务器记录所述订阅信息。
其中,所述消息投递方法,还包括:
新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
其中,所述消息服务器将所述任务消息根据消息类型发送到对应的至少一个服务器集群之后,还包括:
所述服务器集群在接收到所述任务消息后向所述消息服务器发送确认消息;
所述服务器集群将所述任务消息投递到一个服务器节点进行处理之后,还包括:
所述服务器节点在接收到所述任务消息后向为其投递任务消息的消息调度节点发送确认消息。
本发明所提出的基于多集群的消息投递系统和消息投递方法,通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图;
图2为如图1所示的移动终端的无线通信系统示意图;
图3A为本发明的一种基于多集群的消息投递方法的第一实施例的方法流程图;
图3B为Queue模型的消息投递的过程示意图;
图3C为Topic模型的消息投递的过程示意图;
图3D为本发明的一种基于多集群的消息投递方法的第一实施例中消息投递的过程图;
图4为本发明的一种基于多集群的消息投递方法的第二实施例的方法流程图;
图5为本发明的一种基于多集群的消息投递系统的第一实施例的结构方框图;
图6为本发明的一种基于多集群的消息投递系统的第二实施例的结构方框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端的硬件结构示意。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件,其允许移动终端100与无线通信系统或网络之间的无线电通信。例如,无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且,广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供,并且在该情况下,广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在,例如,其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地,广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H),前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如,接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术,GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法,从而根据经度、纬度和高度准确地计算三维当前位置信息。当前,用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外,GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括摄像头121和麦克风122,摄像头121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示模块151上。经摄像头121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送,可以根据移动终端的构造提供两个或更多摄像头121,在本方案中,需要更多的摄像头实现对控制体的图像采集和相关数据处理。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息,并且可以包括键盘、锅仔片、触摸板(例如,检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地,当触摸板以层的形式叠加在显示模块151上时,可以形成触摸屏。
感测单元140检测移动终端100的当前状态,(例如,移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即,触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等,并且生成用于控制移动终端100的操作的命令或信号。例如,当移动终端100实施为滑动型移动电话时,感测单元140可以感测该滑动型电话是打开还是关闭。另外,感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。一般而言,感测单元140包括距离传感器141,感测单元140中的距离传感器141处理设置于音频输出模块152附近实现电话接听过程中的距离检测。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外,具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式,因此,识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外,当移动终端100与外部底座连接时,接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如,音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示模块151、音频输出模块152、警报模块153等等。
显示模块151可以显示在移动终端100中处理的信息。例如,当移动终端100处于电话通话模式时,显示模块151可以显示与通话或其它通信(例如,文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时,显示模块151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时,当显示模块151和触摸板以层的形式彼此叠加以形成触摸屏时,显示模块151可以用作输入装置和输出装置。显示模块151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式,移动终端100可以包括两个或更多显示模块(或其它显示装置),例如,移动终端可以包括外部显示模块(未示出)和内部显示模块(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且,音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报模块153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外,警报模块153可以以不同的方式提供输出以通知事件的发生。例如,警报模块153可以以振动的形式提供输出,当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时,警报模块153可以提供触觉输出(即,振动)以将其通知给用户。通过提供这样的触觉输出,即使在用户的移动电话处于用户的口袋中时,用户也能够识别出各种事件的发生。警报模块153也可以经由显示模块151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据(例如,电话簿、消息、静态图像、视频等等)。而且,存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如,控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外,控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810,多媒体模块181可以构造在控制器180内,或者可以构造为与控制器180分离。控制器180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在控制器180中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器160中并且由控制器180执行。
至此,己经按照其功能描述了移动终端。下面,为了简要起见,将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此,本发明能够应用于任何类型的移动终端,并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如,由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地,长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例,下面的描述涉及CDMA通信系统,但是这样的教导同样适用于其它类型的系统。
参考图2,CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造,所述接口包括例如E1/T1、ATM,IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是,如图2中所示的系统可以包括多个BSC2750。
每个BS270可以服务一个或多个分区(或区域),由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者,每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配,并且每个频率分配具有特定频谱(例如,1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下,术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者,特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示,广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中,示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中,描绘了多个卫星300,但是理解的是,可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外,可以使用可以跟踪移动终端的位置的其它技术。另外,至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作,BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280,其提供用于与PSTN290形成接口的额外的路由服务。类似地,PSTN290与MSC280形成接口,MSC与BSC275形成接口,并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
基于上述网络架构,提出本发明的基于多集群的消息投递方法的各个实施例。
请参考图3A,其是本发明的一种基于多集群的消息投递方法第一实施例的方法流程图,如图所示,该消息投递方法包括以下步骤:
S11:消息服务器接收待处理的任务消息。
对于消息模型而言,不管是图3B中所示的Queue模型,还是图3C所示的Topic模型,消息服务器都要接收可能是多个前端发送的多条消息,也就是图3B和图3C中消息服务器汇集的M1~M5,它们由应用端1和应用端2发送。两种消息模型的主要不同在于最后向后端发送的过程,在图3B所示的Queue模型中,消息服务器将每条消息只发送到一个后端,要么是应用端3,要么是应用端4;在图3C所示的Topic模型中,消息服务器将所有的消息都要想每个后端发送,也就是M1~M5均要发送应用端3和应用端4。
如果是特殊时段或特殊环境的大数据处理,Queue模型和Topic模型中的消息服务器虽然依然能接受数据,但是其数据投递过程已经不能实现数据处理的真实需求。特别是有相对复杂的后续响应的任务消息,例如集中时刻的大交易数据处理,消息不仅仅是消息,而是携带有对应的任务,需要后续进行对应操作,在此将这类消息定义为任务消息。
S12:消息服务器将任务消息根据消息类型发送到对应的至少一个服务器集群。
本方案中,为了提高数据处理精度,消息服务器不再将任务消息做精确投递,而是对任务消息进行分类。每个服务器集群处理一类或多类任务消息,并且因为存在不同的分类标准,进而让每条任务消息可能存在不同的分类标签。单条任务消息不同的分类标签如果对应到同一个服务器集群中,该任务消息会派发到一个服务器集群;如果不同的分类标签对应到不同的服务器集群,那么该任务消息会发送到多个服务器集群中。在这一步骤中,消息服务器对任务消息不再做精确投递,只圈定一条任务消息的受理范围。
对于一个任务消息处理系统而言,其所面对的可能需要处理的任务类型不会太多,这也意味着消息服务器对任务消息的类型进行判断和发送的复杂度不会太高,但是这一处理过程能有效明确任务消息的处理主体,减少任务消息的无效发送。
S13:服务器集群将任务消息投递到一个服务器节点进行处理。
对于单个任务消息而言,在一个确定的分类标准下,只能由同一服务器节点进行点对点的处理,以免造成任务的重复执行。例如支付任务,如果是多个节点对多个任务重复处理,则会造成重复付款。即使设置判断机制避免重复处理,但是从收到任务消息到判断该消息无需处理,依然耗费了时间,降低了工作效率。
具体的投递过程根据任务消息的实际情况进行处理,主要是两种处理方式。一种是任务消息已经明确属于一个确定的服务器节点,那么在消息服务器中会在消息队列中记录该任务消息对应的服务器节点,所述服务器集群会读取消息队列,将所述任务消息投递到所述消息队列指定的服务器节点。另一种是任务消息未指定明确的服务器节点,如果某个服务器节点当前的任务已经处理完成,则会向服务器集群请求任务,此时可以向其分配消息任务,随机抽取任务消息以点对点的方式向其发送,也就是说消息任务发送后不再保留。
现结合图3B、图3C和图3D进一步对本方案中的实现过程进行详细分析阐述。在某些消息处理过程单一的体系中,Queue模型和Topic模型方案基本能够解决消息处理的问题。但是对于需要多种类型的消息对应各自不完全相同的多个处理,那么这种投递方式要么无法处理数据,要么数据处理的冗余度过高。具体而言,假设M1和M2需要应用端3处理,M3和M4需要应用端4处理,M5同时需要应用端M3和应用端M4处理。如果消息模型是Queue模型,那么M5只能被消息服务器发送到应用端3和应用端4中的一个处理,消息处理不全;如果消息模型是Topic模型,那么M1和M2会冗余地发送到应用端4,M3和M4会冗余地发送到应用端3。
图3D是本实施例中消息任务的投递过程,如图所示,消息服务器收取到M1~M6总共六条任务消息,同时存在服务器集群A和服务器集群B,服务器集群A中存在服务器节点A1和服务器节点A2,服务器集群B中存在服务器节点B1和服务器节点B2,服务器集群A处理操作a,服务器集群B处理操作b。在消息服务器中,对M1~M6进行分类发现M1~M5需要进行操作a,M2~M6需要进行操作b。与该分类结果对应的,消息服务器以Topic模型的处理机制将M1~M5发送到服务器集群A,将M2~M6发送服务器集群B。在服务器集群内部,例如在服务器集群A中,M1、M2和M4投递到服务器节点A1,M3和M5投递到服务器节点A2,在服务器集群内部采用的是Queue模型的工作机制。通过这一工作机制投递的任务消息,既没有任务没有处理到,也没有任务被重复处理,实现了消息任务的高效投递。
本实施例的基于多集群的消息投递方法,通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。
请参考图4,其是本发明的一种基于多集群的消息投递方法第二实施例的方法流程图,如图所示,该消息投递方法包括以下步骤:
S21:消息服务器接收待处理的任务消息。
在将一批任务消息处理完之后,消息服务器会清除这一批任务消息,开始下一批任务消息的处理。
S22:如果任务消息有明确的服务器节点,将该任务消息更新到消息队列。
消息队列存储于消息服务器中用于对有明确处理主体的消息任务进行记录,并供服务器集群访问以做精确投递。
S23:消息服务器将任务消息根据消息类型发送到对应的至少一个服务器集群。
S24:服务器集群在接收到任务消息后向消息服务器发送确认消息。
为保证消息任务发送成功,服务器集群在接收到任务消息后,向消息服务器发送确认消息告知消息服务器该条任务消息发送成功。优选的,如果消息服务器在预设时间内未收到确认消息,对该消息做二次发送。更具体地,可以一批消息发送一个确认消息,也可以一条消息发送一个确认消息。
S25:服务器集群将任务消息投递到一个服务器节点进行处理。
S26:服务器节点在接收到任务消息后向为其投递任务消息的消息调度节点发送确认消息。
与S24中的作用类似,服务器集群需要服务器节点明确告知消息已经点对点投递成功。在服务器集群中,集群内部的点对点投递可以由一专门的服务器节点进行调度,也可将调度功能集成到一用于处理任务消息的节点。也就是说,消息调度节点可以是独立的服务器节点,可以是选中的一个用于处理任务消息的服务器节点。
S27:服务器集群向消息服务器发送用于订阅任务消息的订阅信息,消息服务器记录订阅信息。
对于服务器集群,其所处理的消息类型可能随着整个系统的改进或变化而发生变化,与这种变化相适应的,服务器集群会向消息服务器发送新的订阅消息,消息服务器也会记录该订阅消息。
S28:新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
服务器集群内部节点的增减以及服务器节点的配置文件的配置实现了整个消息投递处理的动态变化和快速适应,整个架构的扩展更加高效简洁,避免了扩展过程中系统的大变化。
本实施例的基于多集群的消息投递方法,通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。同时,任务消息发送或投递后的反馈确认提高了任务消息处理的准确率,进一步减少了遗漏;而发送订阅消息和新增服务器节点的操作实现了整个系统的平稳变化。
本发明进一步提供了一种基于多集群的消息投递系统,应用于前述网络架构。现基于上述移动终端硬件结构以及通信系统,提出本发明的基于多集群的消息投递系统的实施例。
请参考图5,其是本发明的一种基于多集群的消息投递系统第一实施例的结构方框图,如图所示,该消息投递系统,包括:
消息服务器10和至少两个服务器集群20,每个所述服务器集群20包括至少两个服务器节点22;
所述消息服务器10包括:
消息汇集单元11,用于接收待处理的任务消息;
消息发送单元12,用于将所述任务消息根据消息类型发送到对应的至少一个服务器集群;
所述服务器集群20包括:
消息投递单元21,用于将所述任务消息投递到一个服务器节点进行处理。
本实施例的请求应用下载的消息投递系统,通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。
请参考图6,其是本发明的一种基于多集群的消息投递系统第二实施例的结构方框图,如图所示,该消息投递系统,包括:
消息服务器10和至少两个服务器集群20,每个所述服务器集群20包括至少两个服务器节点22;
所述消息服务器10包括:
消息汇集单元11,用于接收待处理的任务消息;
消息发送单元12,用于将所述任务消息根据消息类型发送到对应的至少一个服务器集群;
所述服务器集群20包括:
消息投递单元21,用于将所述任务消息投递到一个服务器节点进行处理。
其中,所述消息服务器10,还包括:
队列生成单元13,用于接收待处理的任务消息后,如果所述任务消息有明确的服务器节点,将该任务消息更新到消息队列;
所述消息投递单元21,具体用于:
将所述任务消息投递到所述消息队列指定的服务器节点;或
根据所述服务器节点的任务请求投递任务消息。
其中,所述服务器集群20,还包括:
消息订阅单元23,用于向所述消息服务器发送用于订阅所述任务消息的订阅信息;
所述消息服务器10还包括:
订阅记录单元14,用于记录所述订阅信息。
其中,所述服务器集群20,还包括:
节点更新单元24,用于新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
其中,所述服务器集群20,还包括:
第一确认单元25,用于在接收到所述任务消息后向所述消息服务器发送确认消息;
所述服务器节点22,包括:
第二确认单元,用于在接收到所述任务消息后向为其投递任务消息的消息调度节点发送确认消息。
本实施例的基于多集群的消息投递系统,通过消息服务器汇集所有待处理的任务消息,将任务消息根据各服务器集群的订阅进行发送,再由服务器集群点对点投递到对应的服务器节点,实现了将大批量的消息没有冗余且没有遗漏地发送到对应的节点对信息进行处理,提高信息处理的效度和速度。同时,任务消息发送或投递后的反馈确认提高了任务消息处理的准确率,进一步减少了遗漏;而发送订阅消息和新增服务器节点的操作实现了整个系统的平稳变化。
上述实施例提供的基于多集群的消息投递系统与基于多集群的消息投递方法实施例属于同一构思,其具体实现过程详见消息投递方法实施例,且消息投递方法实施例中的技术特征在消息投递系统实施例中均对应适用,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种基于多集群的消息投递系统,其特征在于,包括:
消息服务器和至少两个服务器集群,每个所述服务器集群包括至少两个服务器节点;
所述消息服务器包括:
消息汇集单元,用于接收待处理的任务消息;
消息发送单元,用于将所述任务消息根据消息类型发送到对应的至少一个服务器集群,其中,所述任务消息的消息类型在所述至少一个服务器集群的受理范围内;
所述服务器集群包括:
消息投递单元,用于将所述任务消息投递到一个服务器节点进行处理;
所述消息服务器,还包括:
队列生成单元,用于接收待处理的任务消息后,如果所述任务消息有明确的服务器节点,将该任务消息更新到消息队列;
所述消息投递单元,具体用于:
将所述任务消息投递到所述消息队列指定的服务器节点;或
根据所述服务器节点的任务请求投递任务消息;
所述服务器集群,还包括:
第一确认单元,用于在接收到所述任务消息后向所述消息服务器发送确认消息;
所述服务器节点,包括:
第二确认单元,用于在接收到所述任务消息后向为其投递任务消息的消息调度节点发送确认消息;
所述服务器集群,还包括:
消息订阅单元,用于向所述消息服务器发送用于订阅所述任务消息的订阅信息;
所述消息服务器还包括:
订阅记录单元,用于记录所述订阅信息。
2.根据权利要求1所述的消息投递系统,其特征在于,所述服务器集群,还包括:
节点更新单元,用于新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
3.一种基于多集群的消息投递方法,其特征在于,包括:
消息服务器接收待处理的任务消息;
如果所述任务消息有明确的服务器节点,将该任务消息更新到消息队列;
消息服务器将所述任务消息根据消息类型发送到对应的至少一个服务器集群,其中,所述任务消息的消息类型在所述至少一个服务器集群的受理范围内;
所述服务器集群在接收到所述任务消息后向所述消息服务器发送确认消息;
所述服务器集群将所述任务消息投递到所述消息队列指定的服务器节点;或根据所述服务器节点的任务请求投递任务消息;
所述服务器节点在接收到所述任务消息后向为其投递任务消息的消息调度节点发送确认消息;
所述服务器集群向所述消息服务器发送用于订阅所述任务消息的订阅信息,所述消息服务器记录所述订阅信息。
4.根据权利要求3所述的消息投递方法,其特征在于,所述消息投递方法,还包括:
新增服务器节点,在新增的服务器节点的配置文件中配置所在服务器集群的集群ID。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510718228.9A CN105430048B (zh) | 2015-10-29 | 2015-10-29 | 一种基于多集群的消息投递系统和消息投递方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510718228.9A CN105430048B (zh) | 2015-10-29 | 2015-10-29 | 一种基于多集群的消息投递系统和消息投递方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105430048A CN105430048A (zh) | 2016-03-23 |
CN105430048B true CN105430048B (zh) | 2020-02-18 |
Family
ID=55507985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510718228.9A Active CN105430048B (zh) | 2015-10-29 | 2015-10-29 | 一种基于多集群的消息投递系统和消息投递方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105430048B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975614B (zh) * | 2016-05-18 | 2020-01-21 | 华为技术有限公司 | 一种集群配置装置、一种更新数据的方法及装置 |
CN107977275B (zh) * | 2017-12-05 | 2022-10-21 | 腾讯科技(深圳)有限公司 | 基于消息队列的任务处理方法及相关设备 |
CN109417691B (zh) * | 2018-09-17 | 2021-11-16 | 深圳市汇顶科技股份有限公司 | 一种蓝牙集群在线升级方法及装置 |
CN110086636B (zh) * | 2019-04-17 | 2022-03-25 | 平安科技(深圳)有限公司 | 一种基于mqtt的消息分发方法、服务器及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7035240B1 (en) * | 2000-12-27 | 2006-04-25 | Massachusetts Institute Of Technology | Method for low-energy adaptive clustering hierarchy |
CN102355413A (zh) * | 2011-08-26 | 2012-02-15 | 北京邮电大学 | 一种大规模实时统一消息空间的方法及其系统 |
CN101819540B (zh) * | 2009-02-27 | 2013-03-20 | 国际商业机器公司 | 在集群中调度任务的方法和系统 |
CN104506578A (zh) * | 2014-12-03 | 2015-04-08 | 郑州正信科技发展股份有限公司 | 发布/订阅网络的订阅信息的维护方法及装置 |
-
2015
- 2015-10-29 CN CN201510718228.9A patent/CN105430048B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7035240B1 (en) * | 2000-12-27 | 2006-04-25 | Massachusetts Institute Of Technology | Method for low-energy adaptive clustering hierarchy |
CN101819540B (zh) * | 2009-02-27 | 2013-03-20 | 国际商业机器公司 | 在集群中调度任务的方法和系统 |
CN102355413A (zh) * | 2011-08-26 | 2012-02-15 | 北京邮电大学 | 一种大规模实时统一消息空间的方法及其系统 |
CN104506578A (zh) * | 2014-12-03 | 2015-04-08 | 郑州正信科技发展股份有限公司 | 发布/订阅网络的订阅信息的维护方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105430048A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106302589B (zh) | 文件传输方法及终端 | |
CN106844029B (zh) | 一种自管理的Android进程冻结和解冻的装置及方法 | |
CN105188098B (zh) | 一种移动终端的网络切换装置和网络切换方法 | |
CN105303398B (zh) | 一种信息显示方法和系统 | |
CN106249989B (zh) | 一种分享内容时的社交应用程序图标排列方法及移动终端 | |
CN106453382A (zh) | 一种消息推送方法及装置 | |
CN106912034B (zh) | 一种短消息处理方法、系统及终端 | |
CN107066290B (zh) | 一种根据关联策略启动应用的方法和装置 | |
CN105282245A (zh) | 跨服务器消息推送系统及方法 | |
CN110928708B (zh) | 图标显示方法、装置、电子设备及计算机可读存储介质 | |
CN104731512A (zh) | 图片分享的方法、装置及终端 | |
CN105430048B (zh) | 一种基于多集群的消息投递系统和消息投递方法 | |
CN104978123A (zh) | 一种分屏方法和装置 | |
CN106657579B (zh) | 内容分享方法、装置及终端 | |
CN105764085A (zh) | 一种异常耗电的检测方法及终端 | |
CN105205159B (zh) | 一种信息自动反馈的装置和方法 | |
CN106973109B (zh) | 广播消息推送控制方法及装置 | |
CN106161790B (zh) | 一种移动终端及其控制方法 | |
CN104639428B (zh) | 即时通讯中会话场景的自适应方法和移动终端 | |
CN105827531A (zh) | 一种路由访问方法及终端 | |
CN106385494B (zh) | 移动终端应用的动态首页的获取方法及获取装置 | |
CN107027113B (zh) | Sim卡激活方法及移动终端 | |
CN105094733B (zh) | 分屏显示方法和装置 | |
CN105897994A (zh) | 一种联系人关联信息更新方法及装置 | |
CN105847575B (zh) | 调用录音机的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |