CN104539661A - 消息队列处理方法和装置 - Google Patents

消息队列处理方法和装置 Download PDF

Info

Publication number
CN104539661A
CN104539661A CN201410768901.5A CN201410768901A CN104539661A CN 104539661 A CN104539661 A CN 104539661A CN 201410768901 A CN201410768901 A CN 201410768901A CN 104539661 A CN104539661 A CN 104539661A
Authority
CN
China
Prior art keywords
role
message queue
message
server
increased
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410768901.5A
Other languages
English (en)
Other versions
CN104539661B (zh
Inventor
刘瑞贤
赵欢
原帅
解文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuguang Information Technology Co ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201410768901.5A priority Critical patent/CN104539661B/zh
Publication of CN104539661A publication Critical patent/CN104539661A/zh
Application granted granted Critical
Publication of CN104539661B publication Critical patent/CN104539661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/063—Content adaptation, e.g. replacement of unsuitable content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种消息队列处理方法和装置，该消息队列处理方法包括：角色通过消息的目的地址找到与所述目的地址对应的消息队列，并对所述消息队列中的消息进行处理，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；所述角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务。本发明通过角色和消息队列之间的对应关系，并且各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。

Description

消息队列处理方法和装置
技术领域
本发明涉及数据处理领域，具体来说，涉及一种消息队列处理方法和装置。
背景技术
消息队列在现代计算机技术中应用越来越广泛，通过消息队列传输的数据称为“消息”，消息具有消息体、消息来源、消息目的等属性。消息队列支持异步传输，从而提供了对数据多次处理的机会。消息指定消息目的后存放在消息队列中，所有知道消息目的的应用程序都可以获取，从而提供了应用解耦的机会。
目前，大多数消息队列系统都是针对企业集成应用设计的，企业集成的基本特点是把企业中现存的本不相干的各种应用进行集成，企业集成是一个持续渐进的过程，需求变化非常频繁，因此要求系统非常灵活，可定制性要求高。所以常见的消息队列系统通常都可以通过配置或插件开发进行定制以适应不同企业的业务流程的需要。但是这种定制的系统都不能进行扩展比较单一。
应用消息队列的系统大多注重结合业务场景的数据处理，如消息的数据结构、发送接收消息的策略、消息的处理、针对业务场景的性能优化，由于业务场景的限制，也很少关注扩展性。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种消息队列处理方法和装置，使得消息队列系统具有可扩展性。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种消息队列处理方法。
该消息队列处理方法，包括：
角色通过消息的目的地址找到与目的地址对应的消息队列，并对消息队列中的消息进行处理，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，当角色无法满足业务处理需求时，向角色中增加服务器。
另外，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
此外，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，通过修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
根据本发明的另一方面，提供了一种消息队列处理装置，包括：
查找模块，用于角色通过消息的目的地址找到与目的地址对应的消息队列，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块，用于对消息队列中的消息进行处理；
发送模块，用于角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，该装置可以包括：
增加模块，用于当角色无法满足业务处理需求时，向角色中增加服务器，其中，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
其中，该装置可以包括：
插入模块，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，该装置可以包括：
修改模块，用于修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
本发明通过角色和消息队列之间的对应关系，并且各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的消息队列处理方法的流程图；
图2是本发明实施例的消息队列系统的结构示意图；
图3是本发明实施例的消息队列系统进行纵向扩展的示意图；
图4是根据本发明实施例的消息队列处理装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种消息队列处理方法，使得消息队列系统具有可扩展性。
如图1所示，根据本发明实施例的消息队列处理方法包括：
步骤S101，角色通过消息的目的地址找到与目的地址对应的消息队列，并对消息队列中的消息进行处理，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
步骤S103角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，当角色无法满足业务处理需求时，可以向角色中增加服务器来提高角色的服务性能。
另外，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
此外，当有新的业务处理步骤发生时，可以插入新的角色和新的消息队列来分担新增加的业务处理步骤，从而可以提高消息队列整体的服务性能。
其中，可以通过修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
在一具体实施例中，如图2所示，该消息队列系统包括多个角色，依据业务场景需要设定每个服务器属于一种角色，一种角色可以包含多个服务器，同一角色的服务器之间并行运行，运行相同的程序，处理不同的数据；角色中的服务器数量的构成可以依据不同业务的需要灵活的划分。
根据业务场景中对数据的处理流程，服务器之间有消息队列提供服务，每种角色的服务器知道自身需要的消息的目的地址，并通过该地址可以找到消息队列，各个角色之间形成多层次的数据传输体系，如图2所示，角色A的服务器通过自身需要的消息的目的地址找到对应的消息队列1，并获取消息队列中的消息进行处理，处理完成后将处理后的数据发送到消息队列2中。角色B的服务器从消息队列2中获取数据再次处理，将处理后的消息再次发送到后续的消息队列，后续消息队列继续为后续的角色提供服务，以此构成角色之间的多层数据处理传输体系。
此外，本发明的消息队里系统还可以进行扩展，可分为横向扩展和纵向扩展。
横向扩展如下进行：
由于每个服务器运行的服务程序随角色不同而变化，每种角色的服务器运行相同的服务程序，因此当系统无法满足性能需求时，为成为瓶颈的角色增加新的服务器即可，即为横向扩展。
新增加的服务器与原有服务器完成的功能相同、访问的消息队列相同，仅处理的数据不同，扩展简单。
如图3所示，纵向扩展如下进行：
通过对角色的合理设计，纵向可以有多个层次，每个层次间通过消息队列服务进行数据传输，当在某个阶段需要新增数据处理步骤时，可以增加层次，即插入新的角色和消息队列，通过新增加的层次完成新增步骤的功能，同时与原有的上下层衔接，此时只需要修改相邻上下层的目标消息队列或少许数据结构即可实现层次扩充，增加了新的处理功能而又不影响非相邻的层次。
如图4示出了根据本发明实施例的消息队列处理装置，该装置包括：
查找模块41，用于角色通过消息的目的地址找到与目的地址对应的消息队列，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块42，用于对消息队列中的消息进行处理；
发送模块43，用于角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，该装置可以包括：
增加模块(未示出)，用于当角色无法满足业务处理需求时，向角色中增加服务器，其中，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
其中，该装置可以包括：
插入模块(未示出)，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，该装置可以包括：
修改模块(未示出)，用于修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
综上所述，借助于本发明的上述技术方案，本发明通过角色和消息队列之间的对应关系，各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。此外，本发明可以通过横向和纵向两种方式对消息队列系统进行扩展从而可以大大提高系统的性能和处理能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种消息队列处理方法，其特征在于，包括：
角色通过消息的目的地址找到与所述目的地址对应的消息队列，并对所述消息队列中的消息进行处理，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
所述角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务。
2.根据权利要求1的所述方法，其特征在于，当所述角色无法满足业务处理需求时，向所述角色中增加服务器。
3.根据权利要求2的所述方法，其特征在于，所述角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
4.根据权利要求1的所述方法，其特征在于，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
5.根据权利要求4的所述方法，其特征在于，通过修改新增的消息队列的相邻消息队列使所述新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
6.一种消息队列处理装置，其特征在于，包括：
查找模块，用于角色通过消息的目的地址找到与所述目的地址对应的消息队列，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块，用于对所述消息队列中的消息进行处理；
发送模块，用于角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务。
7.根据权利要求6的所述装置，其特征在于，包括：
增加模块，用于当所述角色无法满足业务处理需求时，向所述角色中增加服务器，其中，所述角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
8.根据权利要求6的所述装置，其特征在于，包括：
插入模块，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
9.根据权利要求8的所述装置，其特征在于，包括：
修改模块，用于修改新增的消息队列的相邻消息队列使所述新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
CN201410768901.5A 2014-12-11 2014-12-11 消息队列处理方法和装置 Active CN104539661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410768901.5A CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410768901.5A CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Publications (2)

Publication Number Publication Date
CN104539661A true CN104539661A (zh) 2015-04-22
CN104539661B CN104539661B (zh) 2018-11-06

Family

ID=52855128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410768901.5A Active CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Country Status (1)

Country Link
CN (1) CN104539661B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986792A (zh) * 2018-09-11 2018-12-11 苏州思必驰信息科技有限公司 用于语音对话平台的语音识别模型的训练调度方法及系统
CN111540190A (zh) * 2020-07-07 2020-08-14 南方电网数字电网研究院有限公司 基于双芯智能电表的数据分发方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099660A (ko) * 2004-04-12 2005-10-17 삼성탈레스 주식회사 멀티프로세서 시스템에서의 데이터 동기 방법
CN102457906A (zh) * 2010-10-26 2012-05-16 中国移动通信集团河南有限公司 一种消息队列的负载均衡控制方法及系统
CN102957594A (zh) * 2011-08-30 2013-03-06 深圳市金蝶友商电子商务服务有限公司 基于消息队列的消息处理方法、相关设备及系统
CN102970353A (zh) * 2012-11-08 2013-03-13 大唐软件技术股份有限公司 一种业务数据处理的方法及系统
CN103827830A (zh) * 2011-09-29 2014-05-28 甲骨文国际公司 用于在事务性中间件机器环境中防止单点瓶颈的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099660A (ko) * 2004-04-12 2005-10-17 삼성탈레스 주식회사 멀티프로세서 시스템에서의 데이터 동기 방법
CN102457906A (zh) * 2010-10-26 2012-05-16 中国移动通信集团河南有限公司 一种消息队列的负载均衡控制方法及系统
CN102957594A (zh) * 2011-08-30 2013-03-06 深圳市金蝶友商电子商务服务有限公司 基于消息队列的消息处理方法、相关设备及系统
CN103827830A (zh) * 2011-09-29 2014-05-28 甲骨文国际公司 用于在事务性中间件机器环境中防止单点瓶颈的系统和方法
CN102970353A (zh) * 2012-11-08 2013-03-13 大唐软件技术股份有限公司 一种业务数据处理的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986792A (zh) * 2018-09-11 2018-12-11 苏州思必驰信息科技有限公司 用于语音对话平台的语音识别模型的训练调度方法及系统
CN111540190A (zh) * 2020-07-07 2020-08-14 南方电网数字电网研究院有限公司 基于双芯智能电表的数据分发方法、装置和计算机设备
CN111540190B (zh) * 2020-07-07 2020-11-03 南方电网数字电网研究院有限公司 基于双芯智能电表的数据分发方法、装置和计算机设备

Also Published As

Publication number Publication date
CN104539661B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN101616083B (zh) 一种报文转发方法和装置
EP3200393B1 (en) Method and device for virtual network function management
CN109543455B (zh) 一种区块链的数据归档方法及装置
CN105933376A (zh) 一种数据操作方法，服务器及存储系统
CN105426245A (zh) 包括分散的部件的动态地组成的计算节点
CN106777311B (zh) 航班舱位状态缓存方法和系统
CN104135539A (zh) 数据存储方法、sdn控制器和分布式网络存储系统
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
CN103905508A (zh) 云平台应用部署方法及装置
CN105516325A (zh) 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN109981467B (zh) 静态路由更新方法和路由集中管理分发方法
CN104579977A (zh) 一种sdn控制器的带约束多路径路由方法及系统
CN104636286A (zh) 用于数据访问的方法和设备
CN111382114A (zh) 一种用于片上网络的数据传输方法、装置及电子设备
CN105740405A (zh) 存储数据的方法和装置
CN111382115A (zh) 一种用于片上网络的路径创建方法、装置及电子设备
CN106790489B (zh) 并行数据加载方法和系统
US9705978B1 (en) Dependency graph management
CN104539661A (zh) 消息队列处理方法和装置
CN103530253A (zh) 集群多全局缓冲池系统、中心节点、计算节点及管理方法
CN106559452A (zh) 集群环境下的数据处理方法及装置
CN104778125A (zh) 一种内存管理方法及系统
CN104123135A (zh) 一种统一后台接口的方法及装置
CN107547605A (zh) 一种基于节点队列的消息读写方法及节点设备

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220726

Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231026

Address after: 2nd and 3rd floors, Building D, Lianhui Science and Technology Innovation Center, No. 88 Lianhui Street, Xixing Street, Binjiang District, Hangzhou City, Zhejiang Province, 310052

Patentee after: Zhejiang Shuguang Information Technology Co.,Ltd.

Address before: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd.