CN109428901B - 消息处理方法以及消息处理装置 - Google Patents

消息处理方法以及消息处理装置 Download PDF

Info

Publication number
CN109428901B
CN109428901B CN201710720819.9A CN201710720819A CN109428901B CN 109428901 B CN109428901 B CN 109428901B CN 201710720819 A CN201710720819 A CN 201710720819A CN 109428901 B CN109428901 B CN 109428901B
Authority
CN
China
Prior art keywords
message processing
message
client
messages
processing client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710720819.9A
Other languages
English (en)
Other versions
CN109428901A (zh
Inventor
林棋
夏勇
郑东建
肖庆云
段江南
黄景平
曾康
彭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201710720819.9A priority Critical patent/CN109428901B/zh
Publication of CN109428901A publication Critical patent/CN109428901A/zh
Application granted granted Critical
Publication of CN109428901B publication Critical patent/CN109428901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种消息处理方法以及消息处理装置,涉及数据处理技术领域。其中的消息处理方法包括:消息处理客户端在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息;消息处理客户端将拉取到的消息存储在消息缓存队列中;消息处理客户端在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理。本发明能够提升消息处理装置的吞吐率。

Description

消息处理方法以及消息处理装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种消息处理方法以及消息处理装置。
背景技术
消息处理装置是指支持与保障分布式应用程序之间收发消息数据的中间层,常见的产品有RabbitMQ、RocketMQ等。分布式应用程序之间的通信接口由消息处理装置提供,消息发送方和接收方之间的连接完全是松耦合的,通信是非阻塞的。
在如今互联网应用海量消息交互过程中,消息处理装置承载消息数据的存储和转发,消息处理装置资源利用的效率,直接影响系统平台的性能和可靠性。其基本工作原理是:消息数据存储于服务端的消息队列中,消息处理端从消息队列中拉取消息进行处理。
图1示出了传统方法中消息处理装置的消息处理流程。消息发送端向服务端的消息队列发送消息;各个系统应用中的消息客户端根据需求请求消息队列中的消息,服务端根据负载均衡策略分配消息所发往的客户端;消息客户端获取消息后进行消息数据的处理。
发明内容
发明人研究,传统的消息处理装置的吞吐率较低。传统的消息处理客户端在执行消息处理时,网络通常相对空闲,往往造成网络和硬件资源的浪费,从而降低消息处理装置系统的吞吐率。同时,当阶段性地出现消息请求高峰时,消息处理装置系统的压力过大,难以满足消息应用端性能需求。
本发明解决的一个技术问题是,如何提升消息处理装置的吞吐率。
根据本发明实施例的一个方面,提供了一种消息处理方法,包括:消息处理客户端在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息;消息处理客户端将拉取到的消息存储在消息缓存队列中;消息处理客户端在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理。
在一个实施例中,消息处理方法还包括:消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量;消息处理服务端根据为消息处理客户端分发的消息数量,向消息处理客户端分发消息。
在一个实施例中,消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量包括:消息处理服务端将消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和,确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理方法还包括:消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量包括:消息处理服务端将消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加,确定消息缓存队列的容量。
在一个实施例中,消息处理方法还包括:若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理方法还包括:若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理方法还包括:若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理方法还包括:若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理方法还包括:若消息缓存队列中的消息数量小于等于第一阈值,则消息处理客户端向消息处理服务端发送消息请求。
在一个实施例中,消息处理方法还包括:若消息缓存队列中的消息数量大于等于第二阈值,则消息处理客户端停止向消息处理服务端发送消息请求。
根据本发明实施例的另一个方面,提供了一种消息处理装置,包括消息处理客户端以及消息处理服务端,其中,消息处理客户端用于:在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息;将拉取到的消息存储在消息缓存队列中;在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理。
在一个实施例中,消息处理服务端用于:根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量;根据为消息处理客户端分发的消息数量,向消息处理客户端分发消息。
在一个实施例中,消息处理服务端用于:将消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和,确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理服务端还用于:根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理服务端用于:将消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加,确定消息缓存队列的容量。
在一个实施例中,消息处理服务端还用于:若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理服务端还用于:若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理服务端还用于:若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
在一个实施例中,消息处理服务端还用于:若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
在一个实施例中,消息处理客户端还用于:若消息缓存队列中的消息数量小于等于第一阈值,则向消息处理服务端发送消息请求。
在一个实施例中,消息处理客户端还用于:若消息缓存队列中的消息数量大于等于第二阈值,则停止向消息处理服务端发送消息请求。
本发明能够提升消息处理装置的吞吐率。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了传统方法中消息处理装置的消息处理流程。
图2示出了本发明一个实施例的消息处理方法的流程示意图。
图3示出了本发明另一个实施例的消息处理方法的流程示意图。
图4示出了本发明又一个实施例的消息处理方法的流程示意图。
图5示出了本发明一个实施例的消息处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
首先结合图2介绍本发明一个实施例的消息处理方法。
图2示出了本发明一个实施例的消息处理方法的流程示意图。如图2所示,本实施例中的消息处理方法包括:
步骤S202,消息处理客户端在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息。
消息处理客户端向消息处理服务端拉取消息后,进行消息处理,消息处理客户端与消息处理服务端之间的网络通道进入相对空闲周期。在该周期内,消息处理客户端再次向消息处理服务端发送消息请求。
步骤S204,消息处理客户端将拉取到的消息存储在消息缓存队列中。
步骤S206,消息处理客户端在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理。
上述实施例在消息客户端处理消息的过程中,有效地将空闲的网络资源利用起来,降低消息请求高峰时会带来系统的负载,从而通过一种基于消息处理装置的消息动态预拉取方法,保持稳定的高吞吐率性能,提高了消息处理装置的吞吐率。
下面结合图3介绍本发明另一个实施例的消息处理方法。
图3示出了本发明另一个实施例的消息处理方法的流程示意图。如图3所示,在图2所示实施例的基础上,本实施例中的消息处理方法还包括:
步骤S300,消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量。
消息处理服务端可以将消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和,确定为消息处理客户端分发的消息数量。
例如,设置客户端消息请求的请求消息数量为A,客户端优先级为B(范围正负0-10),优先级动态权重参数为x(范围正负0-1),客户端所在系统应用的吞吐量为tps,吞吐量动态权重参数为y(范围正负0-1),动态的向消息处理客户端分发的消息数量为S(S>0),则可以通过如下公式确定为消息处理客户端分发的消息数量:
S=A+B*x+tps*y
比如,当A=32,B=5,x=0.8,tps=20,y=0.3时,可以计算得到S=32+5*0.8+20*0.3=42。
步骤S301,消息处理服务端根据为消息处理客户端分发的消息数量,向消息处理客户端分发消息。
步骤S303,消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量。
消息处理服务端可以将消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加,确定消息缓存队列的容量。
例如,当A=32,B=5,tps=20时,计算消息缓存队列的容量L=32*5+20=180。
上述实施例能够根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,动态的确定为消息处理客户端分发的消息数量以及消息缓存队列的容量,从而进一步提升消息处理装置的吞吐率。
本领域技术人员应理解,客户端优先级可以用于确定为消息处理客户端分发的消息数量以及消息缓存队列的容量,还表示了消息处理客户端拉取消息的优先顺序。因此,相比于传统方案中的负载均衡策略,上述实施例中,客户端优先级越高,消息拉取速度越快,因此优先推送消息,并在同样权重下推送更多消息,从而能够保证高优先级的消息客户端能够优先获取消息,更加合理的利用网络资源。
下面结合图4介绍本发明又一个实施例的消息处理方法。
图4示出了本发明又一个实施例的消息处理方法的流程示意图。如图4所示,在图3所示实施例的基础上,本实施例中的消息处理方法还包括:
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则执行步骤S407,消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则执行步骤S408,消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
当消息处理客户端请求频率变低或者当客户端请求的消息数量A越来越少时,说明客户端业务数量减少或者业务处理慢,应该减慢推送消息的速度,将服务端带宽更多给其他客户端占用。
若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则执行步骤S409,消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则执行步骤S410,消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
例如,第一预定阈值设为6,当大于第一预定阈值多次时,说明缓存充足,拉取消息速度较慢,此时需要提升客户端优先级,从而提升为消息处理客户端分发的消息数量以及客户端的消息缓存队列的容量。
步骤S411,若消息缓存队列中的消息数量小于等于第一阈值,则消息处理客户端向消息处理服务端发送消息请求。
例如,消息缓存队列中消息数量低于队列容量的30%的时候,触发消息处理客户端向消息处理服务端请求消息。
步骤S412,若消息缓存队列中的消息数量大于等于第二阈值,则消息处理客户端停止向消息处理服务端发送消息请求。
例如,消息缓存队列中消息数量高于队列容量的95%的时候,消息处理客户端停止向消息处理服务端请求消息。
上述实施例通过预设阈值的触发情况,实时动态调整消息处理客户端的优先级,重新确定消息处理客户端分发的消息数量以及消息处理客户端的消息缓存队列的容量,更一步的提升了消息处理装置的吞吐率。
下面结合图5介绍本发明一个实施例的消息处理装置。
图5示出了本发明一个实施例的消息处理装置的结构示意图。如图5所示,本实施例中的消息处理装置50包括:消息处理客户端502以及消息处理服务端504。其中,所述消息处理客户端502用于:
在进行当前消息处理的同时,向消息处理服务端504发送消息请求以拉取消息;
将拉取到的消息存储在消息缓存队列5021中;
在当前消息处理结束后,对存储在消息缓存队列5021中的消息进行处理。
上述实施例在消息客户端处理消息的过程中,有效地将空闲的网络资源利用起来,降低消息请求高峰时会带来系统的负载,从而通过一种基于消息处理装置的消息动态预拉取方法,保持稳定的高吞吐率性能,提高了消息处理装置的吞吐率。
在一个实施例中,消息处理服务端504用于:
根据消息请求的请求消息数量、消息处理客户端502的优先级以及消息处理客户端502所在系统应用的吞吐量,确定为消息处理客户端502分发的消息数量;
根据为消息处理客户端502分发的消息数量,向消息处理客户端502分发消息。
在一个实施例中,消息处理服务端504用于:
将消息请求的请求消息数量、消息处理客户端502的优先级以及消息处理客户端502所在系统应用的吞吐量进行加权求和,确定为消息处理客户端502分发的消息数量。
在一个实施例中,消息处理服务端504还用于:
根据消息请求的请求消息数量、消息处理客户端502的优先级以及消息处理客户端502所在系统应用的吞吐量,确定消息处理客户端502的消息缓存队列的容量。
在一个实施例中,消息处理服务端504用于:
将消息请求的请求消息数量与消息处理客户端502的优先级相乘后与消息处理客户端502所在系统应用的吞吐量相加,确定消息缓存队列的容量。
在一个实施例中,消息处理服务端504还用于:
若在预设时间内消息处理客户端502发送消息请求的请求消息数量大于为消息处理客户端502分发的消息数量,则提升消息处理客户端502的优先级,并重新确定为消息处理客户端502分发的消息数量。
在一个实施例中,消息处理服务端504还用于:
若在预设时间内消息处理客户端502发送消息请求的请求消息数量大于为消息处理客户端502分发的消息数量,则提升消息处理客户端502的优先级,并重新确定消息处理客户端502的消息缓存队列的容量。
上述实施例能够根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,动态的确定为消息处理客户端分发的消息数量以及消息缓存队列的容量,从而进一步提升消息处理装置的吞吐率。
本领域技术人员应理解,客户端优先级可以用于确定消息处理客户端分发的消息数量以及消息缓存队列的容量,还表示了消息处理客户端拉取消息的优先顺序。因此,相比于传统方案中的负载均衡策略,上述实施例中,客户端优先级越高,消息拉取速度越快,因此优先推送消息,并在同样权重下推送更多消息,从而能够保证高优先级的消息客户端能够优先获取消息,更加合理的利用网络资源。
在一个实施例中,消息处理服务端504还用于:
若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端502的优先级,并重新确定为消息处理客户端502分发的消息数量。
在一个实施例中,消息处理服务端504还用于:
若在预设时间内消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端502的优先级,并重新确定消息处理客户端502的消息缓存队列的容量。
在一个实施例中,消息处理客户端502还用于:
若消息缓存队列中的消息数量小于等于第一阈值,则向消息处理服务端504发送消息请求。
在一个实施例中,消息处理客户端502还用于:
若消息缓存队列中的消息数量大于等于第二阈值,则停止向消息处理服务端504发送消息请求。
上述实施例通过预设阈值的触发情况,实时动态调整消息处理客户端的优先级,重新确定消息处理客户端分发的消息数量以及消息处理客户端的消息缓存队列的容量,更一步的提升了消息处理装置的吞吐率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种消息处理方法,其特征在于,包括:
消息处理客户端在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息;
消息处理客户端将拉取到的消息存储在消息缓存队列中;
消息处理客户端在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理;
其中,所述消息处理方法还包括:
若所述消息缓存队列中的消息数量小于等于第一阈值,则消息处理客户端向消息处理服务端发送消息请求。
2.如权利要求1所述的消息处理方法,其特征在于,所述消息处理方法还包括:
消息处理服务端根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量;
消息处理服务端根据为消息处理客户端分发的消息数量,向消息处理客户端分发消息。
3.如权利要求2所述的消息处理方法,其特征在于,所述消息处理服务端根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量包括:
消息处理服务端将所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和,确定为消息处理客户端分发的消息数量。
4.如权利要求2所述的消息处理方法,其特征在于,所述消息处理方法还包括:
消息处理服务端根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量。
5.如权利要求4所述的消息处理方法,其特征在于,所述消息处理服务端根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量包括:
消息处理服务端将所述消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加,确定消息缓存队列的容量。
6.如权利要求2所述的消息处理方法,其特征在于,所述消息处理方法还包括:
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
7.如权利要求4所述的消息处理方法,其特征在于,所述消息处理方法还包括:
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
8.如权利要求2所述的消息处理方法,其特征在于,所述消息处理方法还包括:
若在预设时间内所述消息缓存队列的消息数量大于第一预定阈值达到预设次数,则消息处理服务端提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
9.如权利要求4所述的消息处理方法,其特征在于,所述消息处理方法还包括:
若在预设时间内所述消息缓存队列的消息数量大于第一预定阈值达到预设次数,则消息处理服务端提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
10.如权利要求1至9中任一项所述的消息处理方法,其特征在于,所述消息处理方法还包括:
若所述消息缓存队列中的消息数量大于等于第二阈值,则消息处理客户端停止向消息处理服务端发送消息请求。
11.一种消息处理装置,其特征在于,包括消息处理客户端以及消息处理服务端,其中,所述消息处理客户端用于:
在进行当前消息处理的同时,向消息处理服务端发送消息请求以拉取消息;
将拉取到的消息存储在消息缓存队列中;
在当前消息处理结束后,对存储在消息缓存队列中的消息进行处理;
其中,所述消息处理客户端还用于:
若所述消息缓存队列中的消息数量小于等于第一阈值,则向消息处理服务端发送消息请求。
12.如权利要求11所述的消息处理装置,其特征在于,所述消息处理服务端用于:
根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定为消息处理客户端分发的消息数量;
根据为消息处理客户端分发的消息数量,向消息处理客户端分发消息。
13.如权利要求12所述的消息处理装置,其特征在于,所述消息处理服务端用于:
将所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和,确定为消息处理客户端分发的消息数量。
14.如权利要求12所述的消息处理装置,其特征在于,所述消息处理服务端还用于:
根据所述消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量,确定消息处理客户端的消息缓存队列的容量。
15.如权利要求14所述的消息处理装置,其特征在于,所述消息处理服务端用于:
将所述消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加,确定消息缓存队列的容量。
16.如权利要求12所述的消息处理装置,其特征在于,所述消息处理服务端还用于:
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
17.如权利要求14所述的消息处理装置,其特征在于,所述消息处理服务端还用于:
若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量,则提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
18.如权利要求12所述的消息处理装置,其特征在于,所述消息处理服务端还用于:
若在预设时间内所述消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端的优先级,并重新确定为消息处理客户端分发的消息数量。
19.如权利要求14所述的消息处理装置,其特征在于,所述消息处理服务端还用于:
若在预设时间内所述消息缓存队列的消息数量大于第一预定阈值达到预设次数,则提升消息处理客户端的优先级,并重新确定消息处理客户端的消息缓存队列的容量。
20.如权利要求11至19中任一项所述的消息处理装置,其特征在于,所述消息处理客户端还用于:
若所述消息缓存队列中的消息数量大于等于第二阈值,则停止向消息处理服务端发送消息请求。
CN201710720819.9A 2017-08-22 2017-08-22 消息处理方法以及消息处理装置 Active CN109428901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710720819.9A CN109428901B (zh) 2017-08-22 2017-08-22 消息处理方法以及消息处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710720819.9A CN109428901B (zh) 2017-08-22 2017-08-22 消息处理方法以及消息处理装置

Publications (2)

Publication Number Publication Date
CN109428901A CN109428901A (zh) 2019-03-05
CN109428901B true CN109428901B (zh) 2021-07-30

Family

ID=65499120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710720819.9A Active CN109428901B (zh) 2017-08-22 2017-08-22 消息处理方法以及消息处理装置

Country Status (1)

Country Link
CN (1) CN109428901B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138860B (zh) * 2020-01-17 2023-11-03 中国移动通信集团浙江有限公司 消息队列的管理方法及装置
CN113535420A (zh) * 2020-04-20 2021-10-22 北京沃东天骏信息技术有限公司 一种消息处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325602A (zh) * 2008-07-30 2008-12-17 广州市动景计算机科技有限公司 一种微浏览器智能预读网页的方法及系统
CN102789394A (zh) * 2011-05-19 2012-11-21 阿里巴巴集团控股有限公司 一种并行处理消息的方法、装置、节点及服务器集群
CN104866602A (zh) * 2015-06-01 2015-08-26 走遍世界(北京)信息技术有限公司 队列处理方法及装置
WO2017114165A1 (zh) * 2015-12-28 2017-07-06 阿里巴巴集团控股有限公司 消息流量控制方法、装置及相关系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325602A (zh) * 2008-07-30 2008-12-17 广州市动景计算机科技有限公司 一种微浏览器智能预读网页的方法及系统
CN102789394A (zh) * 2011-05-19 2012-11-21 阿里巴巴集团控股有限公司 一种并行处理消息的方法、装置、节点及服务器集群
CN104866602A (zh) * 2015-06-01 2015-08-26 走遍世界(北京)信息技术有限公司 队列处理方法及装置
WO2017114165A1 (zh) * 2015-12-28 2017-07-06 阿里巴巴集团控股有限公司 消息流量控制方法、装置及相关系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITXC:一种基于事务消息的分布式事务方案;彭亮等;《电信技术》;20170531(第5期);全文 *

Also Published As

Publication number Publication date
CN109428901A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
US20210311781A1 (en) Method and system for scalable job processing
CN104935622B (zh) 一种用于消息分配、消费的方法及装置,用于消息处理的系统
CN105007337A (zh) 集群系统负载均衡的方法和系统
CN105335231B (zh) 一种服务端线程的动态分配方法和设备
CN104980472A (zh) 网络访问量的控制方法及装置
CN109428901B (zh) 消息处理方法以及消息处理装置
CN110995617B (zh) 基于mqtt的数据报送方法、装置、计算机设备和存储介质
CN106533932A (zh) 一种用于推送即时消息的方法和装置
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN101635744A (zh) 一种数据传输方法及数据传输系统以及相关设备
CN112104679B (zh) 处理超文本传输协议请求的方法、装置、设备和介质
CN109587068B (zh) 流量切换方法、装置、设备及计算机可读存储介质
CN108023936B (zh) 一种分布式接口访问控制方法及系统
CN104580095A (zh) 一种获取api资源的方法及装置
CN112380011B (zh) 一种服务容量的动态调整方法及装置
CN112260962B (zh) 一种带宽控制方法及装置
CN113783822B (zh) 服务超时管理方法和装置,电子设备,可读介质
CN106899510B (zh) 一种基于iSCSI协议的传输速率控制方法和装置
CN109639795B (zh) 一种基于AcitveMQ消息队列的服务管理方法与装置
CN109981487B (zh) 一种数据调度方法、装置、电子设备及可读存储介质
CN104767772B (zh) 一种处理请求信息的方法及装置
CN109699081B (zh) 一种m2m和h2h混合业务下的接入控制方法及装置
CN111954031A (zh) 一种动态调整视频流抽帧速率的方法及系统
CN115586957B (zh) 一种任务调度系统、方法、装置及电子设备
CN114979276B (zh) 一种资源动态调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220207

Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing

Patentee after: Tianyiyun Technology Co.,Ltd.

Address before: No.31, Financial Street, Xicheng District, Beijing, 100033

Patentee before: CHINA TELECOM Corp.,Ltd.

TR01 Transfer of patent right