CN104539661B - 消息队列处理方法和装置 - Google Patents

消息队列处理方法和装置 Download PDF

Info

Publication number
CN104539661B
CN104539661B CN201410768901.5A CN201410768901A CN104539661B CN 104539661 B CN104539661 B CN 104539661B CN 201410768901 A CN201410768901 A CN 201410768901A CN 104539661 B CN104539661 B CN 104539661B
Authority
CN
China
Prior art keywords
role
message queue
message
server
increased
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410768901.5A
Other languages
English (en)
Other versions
CN104539661A (zh
Inventor
刘瑞贤
赵欢
原帅
解文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuguang Information Technology Co ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201410768901.5A priority Critical patent/CN104539661B/zh
Publication of CN104539661A publication Critical patent/CN104539661A/zh
Application granted granted Critical
Publication of CN104539661B publication Critical patent/CN104539661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/063—Content adaptation, e.g. replacement of unsuitable content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种消息队列处理方法和装置，该消息队列处理方法包括：角色通过消息的目的地址找到与所述目的地址对应的消息队列，并对所述消息队列中的消息进行处理，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；所述角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务。本发明通过角色和消息队列之间的对应关系，并且各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。

Description

消息队列处理方法和装置
技术领域
本发明涉及数据处理领域，具体来说，涉及一种消息队列处理方法和装置。
背景技术
消息队列在现代计算机技术中应用越来越广泛，通过消息队列传输的数据称为“消息”，消息具有消息体、消息来源、消息目的等属性。消息队列支持异步传输，从而提供了对数据多次处理的机会。消息指定消息目的后存放在消息队列中，所有知道消息目的的应用程序都可以获取，从而提供了应用解耦的机会。
目前，大多数消息队列系统都是针对企业集成应用设计的，企业集成的基本特点是把企业中现存的本不相干的各种应用进行集成，企业集成是一个持续渐进的过程，需求变化非常频繁，因此要求系统非常灵活，可定制性要求高。所以常见的消息队列系统通常都可以通过配置或插件开发进行定制以适应不同企业的业务流程的需要。但是这种定制的系统都不能进行扩展比较单一。
应用消息队列的系统大多注重结合业务场景的数据处理，如消息的数据结构、发送接收消息的策略、消息的处理、针对业务场景的性能优化，由于业务场景的限制，也很少关注扩展性。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种消息队列处理方法和装置，使得消息队列系统具有可扩展性。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种消息队列处理方法。
该消息队列处理方法，包括：
角色通过消息的目的地址找到与目的地址对应的消息队列，并对消息队列中的消息进行处理，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，当角色无法满足业务处理需求时，向角色中增加服务器。
另外，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
此外，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，通过修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
根据本发明的另一方面，提供了一种消息队列处理装置，包括：
查找模块，用于角色通过消息的目的地址找到与目的地址对应的消息队列，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块，用于对消息队列中的消息进行处理；
发送模块，用于角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，该装置可以包括：
增加模块，用于当角色无法满足业务处理需求时，向角色中增加服务器，其中，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
其中，该装置可以包括：
插入模块，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，该装置可以包括：
修改模块，用于修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
本发明通过角色和消息队列之间的对应关系，并且各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的消息队列处理方法的流程图；
图2是本发明实施例的消息队列系统的结构示意图；
图3是本发明实施例的消息队列系统进行纵向扩展的示意图；
图4是根据本发明实施例的消息队列处理装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种消息队列处理方法，使得消息队列系统具有可扩展性。
如图1所示，根据本发明实施例的消息队列处理方法包括：
步骤S101，角色通过消息的目的地址找到与目的地址对应的消息队列，并对消息队列中的消息进行处理，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
步骤S103角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，当角色无法满足业务处理需求时，可以向角色中增加服务器来提高角色的服务性能。
另外，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
此外，当有新的业务处理步骤发生时，可以插入新的角色和新的消息队列来分担新增加的业务处理步骤，从而可以提高消息队列整体的服务性能。
其中，可以通过修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
在一具体实施例中，如图2所示，该消息队列系统包括多个角色，依据业务场景需要设定每个服务器属于一种角色，一种角色可以包含多个服务器，同一角色的服务器之间并行运行，运行相同的程序，处理不同的数据；角色中的服务器数量的构成可以依据不同业务的需要灵活的划分。
根据业务场景中对数据的处理流程，服务器之间有消息队列提供服务，每种角色的服务器知道自身需要的消息的目的地址，并通过该地址可以找到消息队列，各个角色之间形成多层次的数据传输体系，如图2所示，角色A的服务器通过自身需要的消息的目的地址找到对应的消息队列1，并获取消息队列中的消息进行处理，处理完成后将处理后的数据发送到消息队列2中。角色B的服务器从消息队列2中获取数据再次处理，将处理后的消息再次发送到后续的消息队列，后续消息队列继续为后续的角色提供服务，以此构成角色之间的多层数据处理传输体系。
此外，本发明的消息队里系统还可以进行扩展，可分为横向扩展和纵向扩展。
横向扩展如下进行：
由于每个服务器运行的服务程序随角色不同而变化，每种角色的服务器运行相同的服务程序，因此当系统无法满足性能需求时，为成为瓶颈的角色增加新的服务器即可，即为横向扩展。
新增加的服务器与原有服务器完成的功能相同、访问的消息队列相同，仅处理的数据不同，扩展简单。
如图3所示，纵向扩展如下进行：
通过对角色的合理设计，纵向可以有多个层次，每个层次间通过消息队列服务进行数据传输，当在某个阶段需要新增数据处理步骤时，可以增加层次，即插入新的角色和消息队列，通过新增加的层次完成新增步骤的功能，同时与原有的上下层衔接，此时只需要修改相邻上下层的目标消息队列或少许数据结构即可实现层次扩充，增加了新的处理功能而又不影响非相邻的层次。
如图4示出了根据本发明实施例的消息队列处理装置，该装置包括：
查找模块41，用于角色通过消息的目的地址找到与目的地址对应的消息队列，其中，角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块42，用于对消息队列中的消息进行处理；
发送模块43，用于角色将处理后的消息发送至后续消息队列，后续消息队列为后续角色提供服务。
其中，该装置可以包括：
增加模块(未示出)，用于当角色无法满足业务处理需求时，向角色中增加服务器，其中，角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
其中，该装置可以包括：
插入模块(未示出)，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
其中，该装置可以包括：
修改模块(未示出)，用于修改新增的消息队列的相邻消息队列使新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
综上所述，借助于本发明的上述技术方案，本发明通过角色和消息队列之间的对应关系，各个角色之间通过消息队列进行数据传输形成多层数据传输体系，角色的划分组成灵活，基于上述理由使得本发明的消息队列处理方法具备可扩展性。此外，本发明可以通过横向和纵向两种方式对消息队列系统进行扩展从而可以大大提高系统的性能和处理能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种消息队列处理方法，其特征在于，包括：
角色通过消息的目的地址找到与所述目的地址对应的消息队列，并对所述消息队列中的消息进行处理，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
所述角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务；
其中，当所述角色无法满足业务处理需求时，向所述角色中增加服务器；
所述角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
2.根据权利要求1的所述方法，其特征在于，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
3.根据权利要求2的所述方法，其特征在于，通过修改新增的消息队列的相邻消息队列使所述新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
4.一种消息队列处理装置，其特征在于，包括：
查找模块，用于角色通过消息的目的地址找到与所述目的地址对应的消息队列，其中，所述角色由至少一台服务器组成，属于相同角色中的不同服务器并行运行相同的程序，处理不同的数据，角色之间通过运行的程序类型进行划分；
处理模块，用于对所述消息队列中的消息进行处理；
发送模块，用于角色将处理后的消息发送至后续消息队列，所述后续消息队列为后续角色提供服务；
其中，增加模块，用于当所述角色无法满足业务处理需求时，向所述角色中增加服务器，其中，所述角色中增加的服务器与原有的服务器实现的功能相同、访问的消息队列相同，处理的数据不同。
5.根据权利要求4的所述装置，其特征在于，包括：
插入模块，当有新的业务处理步骤发生时，插入新的角色和新的消息队列。
6.根据权利要求5的所述装置，其特征在于，包括：
修改模块，用于修改新增的消息队列的相邻消息队列使所述新增的消息队列对应的新增的角色实现与其相邻的角色之间进行数据传输。
CN201410768901.5A 2014-12-11 2014-12-11 消息队列处理方法和装置 Active CN104539661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410768901.5A CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410768901.5A CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Publications (2)

Publication Number Publication Date
CN104539661A CN104539661A (zh) 2015-04-22
CN104539661B true CN104539661B (zh) 2018-11-06

Family

ID=52855128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410768901.5A Active CN104539661B (zh) 2014-12-11 2014-12-11 消息队列处理方法和装置

Country Status (1)

Country Link
CN (1) CN104539661B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986792B (zh) * 2018-09-11 2021-02-12 苏州思必驰信息科技有限公司 用于语音对话平台的语音识别模型的训练调度方法及系统
CN111540190B (zh) * 2020-07-07 2020-11-03 南方电网数字电网研究院有限公司 基于双芯智能电表的数据分发方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099660A (ko) * 2004-04-12 2005-10-17 삼성탈레스 주식회사 멀티프로세서 시스템에서의 데이터 동기 방법
CN102957594A (zh) * 2011-08-30 2013-03-06 深圳市金蝶友商电子商务服务有限公司 基于消息队列的消息处理方法、相关设备及系统
CN102970353A (zh) * 2012-11-08 2013-03-13 大唐软件技术股份有限公司 一种业务数据处理的方法及系统
CN103827830A (zh) * 2011-09-29 2014-05-28 甲骨文国际公司 用于在事务性中间件机器环境中防止单点瓶颈的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457906B (zh) * 2010-10-26 2014-01-08 中国移动通信集团河南有限公司 一种消息队列的负载均衡控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050099660A (ko) * 2004-04-12 2005-10-17 삼성탈레스 주식회사 멀티프로세서 시스템에서의 데이터 동기 방법
CN102957594A (zh) * 2011-08-30 2013-03-06 深圳市金蝶友商电子商务服务有限公司 基于消息队列的消息处理方法、相关设备及系统
CN103827830A (zh) * 2011-09-29 2014-05-28 甲骨文国际公司 用于在事务性中间件机器环境中防止单点瓶颈的系统和方法
CN102970353A (zh) * 2012-11-08 2013-03-13 大唐软件技术股份有限公司 一种业务数据处理的方法及系统

Also Published As

Publication number Publication date
CN104539661A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
US10824729B2 (en) Compliance management in a local network
CN107360248B (zh) 用于配置局部共识的方法和装置及计算机可读存储介质
CN102982141B (zh) 一种实现分布式数据库代理的方法及装置
CN109729040B (zh) 协议的选择的方法、设备以及计算机可读介质
EP2710470B1 (en) Extensible centralized dynamic resource distribution in a clustered data grid
CN106101232A (zh) 负载均衡方法及装置
US11563764B1 (en) Risk scoring based on compliance verification test results in a local network
US20140379928A1 (en) Method for implementing network using distributed virtual switch, apparatus for performing the same, and network system based on distributed virtual switch
CN102546424B (zh) 报文保序方法及装置
CN103023928A (zh) 一种p2p节点匹配系统及方法
CN103338252A (zh) 一种分布式数据库并发存储虚拟请求机制
CN112235193B (zh) 基于跨网络多级路由的数据传输方法、装置、设备和介质
CN103281361A (zh) 个人云协同系统及数据管理方法
CN109347647A (zh) 群组消息分发方法及装置
CN108512782A (zh) 访问控制列表分组调整方法、网络设备和系统
CN109711122A (zh) 一种权限管理方法、装置、系统、设备及可读存储介质
CN114924751A (zh) 一种业务访问请求流量分配的方法和装置
CN104539661B (zh) 消息队列处理方法和装置
CN105656978B (zh) 一种资源共享方法及装置
CN102624691A (zh) 可共用广告拦截配置信息的多代理上网方法
CN107844924A (zh) 一种控制工作流的执行方法、装置及介质
CN105933270B (zh) 一种云加密机的处理方法及装置
CN103795621B (zh) 一种虚拟机的数据交换方法、装置及物理主机
CN104158736A (zh) 一种确定下一跳、发布路由信息的方法和装置
RU2008141703A (ru) Способ передачи данных между неоднородными системами обработки, соединенными в локальную сеть, и система передачи, использующая этот способ

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220726

Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231026

Address after: 2nd and 3rd floors, Building D, Lianhui Science and Technology Innovation Center, No. 88 Lianhui Street, Xixing Street, Binjiang District, Hangzhou City, Zhejiang Province, 310052

Patentee after: Zhejiang Shuguang Information Technology Co.,Ltd.

Address before: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd.

TR01 Transfer of patent right